(資料圖)

北京時(shí)間10月20日，DeepSeek 在 GitHub 上開源其最新研究成果 —— DeepSeek-OCR 模型。

據(jù)介紹，DeepSeek-OCR 參數(shù)量約3B ，是對“光學(xué)二維映射壓縮”技術(shù)在長文本上下文處理中的可行性的一次初步探索。

模型核心由 DeepEncoder 與 DeepSeek3B-MoE-A570M 解碼器構(gòu)成：DeepEncoder 負(fù)責(zé)在高分辨率輸入下保持低激活狀態(tài)，實(shí)現(xiàn)高壓縮比并生成適量視覺 token，解碼器則負(fù)責(zé)將這些 token 轉(zhuǎn)化為精確文本信息。

實(shí)驗(yàn)數(shù)據(jù)顯示，當(dāng)文本 token 數(shù)量控制在視覺 token 的10倍以內(nèi)（壓縮率 <10×）時(shí)，OCR 精度可達(dá)97%；即便壓縮率達(dá)到20×，準(zhǔn)確率仍保持在 約60%。研究團(tuán)隊(duì)稱，這一結(jié)果為長上下文壓縮和 LLM 記憶遺忘機(jī)制研究提供了新的思路。（袁寧）

關(guān)鍵詞： deepseek 解碼器 視覺 ocr 上下文 token