DeepSeek王炸：10倍壓縮率，97%解碼精度！上下文光學(xué)壓縮登場(chǎng)

來(lái)自DeepSeek的最新研究：DeepSeek-OCR，一種探索通過(guò)光學(xué)2D映射來(lái)壓縮長(zhǎng)上下文的新方法

LLM處理長(zhǎng)文本的計(jì)算成本，又有了新的破解思路。把長(zhǎng)長(zhǎng)的上下文，直接渲染成一張圖片，再喂給模型，這樣做的好處是，原本數(shù)千上萬(wàn)個(gè)文本token，現(xiàn)在可能只需要幾百個(gè)視覺(jué)token就能表示，實(shí)現(xiàn)了信息的高效壓縮

實(shí)驗(yàn)結(jié)果相當(dāng)驚人：

在壓縮率小于10倍時(shí)（即文本token數(shù)是視覺(jué)token數(shù)的10倍以內(nèi)），模型OCR解碼準(zhǔn)確率高達(dá)97%

即使在20倍的超高壓縮率下，準(zhǔn)確率依然能保持在60% 左右

在主流的文檔解析基準(zhǔn)測(cè)試 OmniDocBench 上，DeepSeek-OCR 用更少的視覺(jué)token，實(shí)現(xiàn)了超越SOTA模型的性能

更重要的是，這項(xiàng)技術(shù)不僅是科研探索，還具備極高的實(shí)用價(jià)值。在生產(chǎn)環(huán)境中，單臺(tái)A100-40G GPU每天就能處理超過(guò)20萬(wàn)頁(yè)的文檔，為大模型訓(xùn)練提供海量數(shù)據(jù)

目前，相關(guān)的代碼和模型權(quán)重均已開(kāi)源

https://github.com/deepseek-ai/DeepSeek-OCR/

https://huggingface.co/deepseek-ai/DeepSeek-OCR

什么是“上下文光學(xué)壓縮”？

LLM在處理長(zhǎng)文本時(shí)，面臨的核心挑戰(zhàn)是其固有的二次方計(jì)算復(fù)雜度。隨著序列長(zhǎng)度的增加，計(jì)算資源和時(shí)間會(huì)急劇增長(zhǎng)。

DeepSeek研究人員提出了一個(gè)反直覺(jué)卻又合乎邏輯的想法：利用視覺(jué)模態(tài)作為文本信息的壓縮媒介

相比于一長(zhǎng)串的數(shù)字文本token，一張包含同樣內(nèi)容的文檔圖像，可以用遠(yuǎn)少于前者的視覺(jué)token來(lái)表示。這就好比將一本書(shū)的內(nèi)容拍成一張照片，這張照片本身就包含了所有的文字和排版信息

這種“文本→圖像→視覺(jué)token”的轉(zhuǎn)換過(guò)程，就是所謂的上下文光學(xué)壓縮（Contexts Optical Compression）

為了驗(yàn)證這一想法，團(tuán)隊(duì)構(gòu)建了DeepSeek-OCR模型。從圖（a）的壓縮實(shí)驗(yàn)中可以看出，視覺(jué)token數(shù)量和OCR解碼精度之間的權(quán)衡關(guān)系：

64個(gè)視覺(jué)token（左側(cè)柱狀圖）：當(dāng)文本token數(shù)在600-700之間（壓縮率約10.5倍）時(shí)，精度為96.5%。隨著文本量增加到1200-1300（壓縮率接近20倍），精度下降到59.1%

100個(gè)視覺(jué)token（右側(cè)柱狀圖）：在600-700文本token（壓縮率6.7倍）時(shí)，精度高達(dá)98.5%。即使文本量增加，壓縮率達(dá)到12.6倍時(shí)，精度仍有87.1%

這意味著，在10倍壓縮的范圍內(nèi)，模型幾乎可以“無(wú)損”地從圖像中解碼出原文

DeepSeek-OCR是如何實(shí)現(xiàn)的？

DeepSeek-OCR的架構(gòu)由兩部分組成：一個(gè)核心的編碼器DeepEncoder，和一個(gè)解碼器DeepSeek3B-MoE-A570M

解碼器采用了高效的MoE（Mixture-of-Experts）架構(gòu)，而整個(gè)系統(tǒng)的創(chuàng)新關(guān)鍵在于DeepEncoder

為了在處理高分辨率圖像時(shí)，依然能保持較低的計(jì)算激活和可控的視覺(jué)token數(shù)量，DeepEncoder的架構(gòu)設(shè)計(jì)非常巧妙，它串聯(lián)了三個(gè)關(guān)鍵組件：

1.SAM-base (ViTDet)：利用窗口注意力（window attention）機(jī)制處理局部感知，將輸入圖像（如1024x1024）分割成大量patch（如4096個(gè)）。由于是窗口注意力且模型規(guī)模不大（80M），激活值是可控的

2.16倍卷積壓縮器：在特征進(jìn)入全局注意力模塊前，通過(guò)一個(gè)2層卷積網(wǎng)絡(luò)進(jìn)行16倍的下采樣，將視覺(jué)token數(shù)量從4096個(gè)銳減到256個(gè)

3.CLIP-large (ViT)：利用密集的全局注意力（dense global attention）機(jī)制提取視覺(jué)知識(shí)。由于輸入的token數(shù)量已經(jīng)大幅減少，這里的計(jì)算開(kāi)銷(xiāo)也變得可以接受

這種“先局部處理，再壓縮，后全局理解”的串行設(shè)計(jì)，使得DeepEncoder能夠在處理高清圖像的同時(shí)，生成數(shù)量極少的視覺(jué)token，實(shí)現(xiàn)了內(nèi)存和token的雙重壓縮

效果炸裂，token用得還少

在權(quán)威的文檔理解基準(zhǔn) OmniDocBench 上，DeepSeek-OCR展現(xiàn)了其卓越的實(shí)用性能。

從上圖的性能對(duì)比中可以看出，DeepSeek-OCR（紅色圓點(diǎn)）在“平均每張圖的視覺(jué)token數(shù)”（橫軸）上處于最左側(cè)區(qū)域，意味著它使用的token數(shù)量最少。而在“整體性能（編輯距離）”（縱軸，越低越好）上，它卻達(dá)到了SOTA水平

具體來(lái)看：

僅用100個(gè)視覺(jué)token（Small模式），就超越了使用256個(gè)token的 GOT-OCR2.0

使用不到800個(gè)視覺(jué)token（Gundam模式），性能就超過(guò)了需要 6000+ token的 MinerU2.0

這充分證明，DeepSeek-OCR在實(shí)際應(yīng)用中非常強(qiáng)大，并且由于其極高的token壓縮率，為未來(lái)的研究留下了更高的想象空間

不止于OCR的“深度解析”

除了常規(guī)的OCR能力，DeepSeek-OCR還具備對(duì)文檔內(nèi)圖像進(jìn)行深度解析的能力

無(wú)論是金融研報(bào)里的圖表：

還是化學(xué)文獻(xiàn)里的分子式：

甚至是數(shù)學(xué)題中的幾何圖形，它都能進(jìn)行結(jié)構(gòu)化的解析和轉(zhuǎn)換

此外，得益于其多語(yǔ)言的訓(xùn)練數(shù)據(jù)，模型還能處理包括阿拉伯語(yǔ)、僧伽羅語(yǔ)在內(nèi)的近百種語(yǔ)言的文檔

未來(lái)構(gòu)想：模擬人類(lèi)記憶遺忘

這項(xiàng)研究最引人遐想的部分，是它為實(shí)現(xiàn)LLM的記憶遺忘機(jī)制提供了一種可能的路徑

研究人員將上下文光學(xué)壓縮與人類(lèi)記憶的衰退過(guò)程進(jìn)行了類(lèi)比：

近期記憶 (Recent Contexts)：就像近處的物體，清晰可見(jiàn)?？梢詫⑵滗秩境筛叻直媛蕡D像，用較多的視覺(jué)token來(lái)保留高保真信息

遠(yuǎn)期記憶 (Older Contexts)：就像遠(yuǎn)處的物體，逐漸模糊。可以將其漸進(jìn)式地縮放成更小、更模糊的圖像，用更少的視覺(jué)token來(lái)表示，從而實(shí)現(xiàn)信息的自然遺忘和壓縮

通過(guò)這種方式，模型可以在處理超長(zhǎng)對(duì)話或文檔時(shí)，動(dòng)態(tài)地為不同時(shí)期的上下文分配不同數(shù)量的計(jì)算資源，從而可能構(gòu)建出一種理論上無(wú)限長(zhǎng)上下文的架構(gòu)。

總而言之，DeepSeek-OCR不僅驗(yàn)證了“上下文光學(xué)壓縮”這一新穎想法的可行性，還提供了一個(gè)性能強(qiáng)大、極具實(shí)用價(jià)值的開(kāi)源模型，為解決LLM的長(zhǎng)上下文難題開(kāi)辟了一個(gè)全新的、充滿希望的方向。

論文地址：

http://github.com/deepseek-ai/DeepSeek-OCR