內存直降50%，token需求少56%！用視覺方式處理長文本
新智元報道
編輯：LRST
(資料圖)
【新智元導讀】在NeurIPS 2025論文中，來自「南京理工大學、中南大學、南京林業大學」的研究團隊提出了一個極具突破性的框架——VIST（Vision-centric Token Compression in LLM），為大語言模型的長文本高效推理提供了全新的「視覺解決方案」。值得注意的是，這一思路與近期引起廣泛關注的DeepSeek-OCR的核心理念不謀而合。
在處理短文本時，大語言模型（LLM）已經表現出驚人的理解和生成能力。但現實世界中的許多任務——如長文檔理解、復雜問答、檢索增強生成（RAG）等——都需要模型處理成千上萬甚至幾十萬長度的上下文。
與此同時，模型參數規模也從數十億一路飆升至萬億級別。
在「上下文長度激增」與「模型參數量膨脹」的雙重挑戰下，Token壓縮不再是優化項，而是必需品。
若不能有效縮減輸入規模，即便最強大的大語言模型，也難以高效處理我們需要它分析的海量信息。
南京理工大學、中南大學、南京林業大學的研究人員提出VIST（Vision-centric Token Compression in LLM）框架，正是為了解決這一痛點。
論文鏈接：https://arxiv.org/abs/2502.00791
研究團隊早在一年多以前NeurIPS 2024就開始探索——如何讓模型像人類一樣，以視覺的方式更高效地理解長文本。
論文鏈接：https://arxiv.org/pdf/2406.02547
人類閱讀文章時，不會逐字讀完每一個詞。
「的」「了」「和」這些功能性高頻詞，幾乎是被大腦自動略過的。真正讓我們停下來的，是那些承載意義的低頻詞——名詞、動詞、數字等。
VIST 的核心思想，就是讓大模型也具備這種「選擇性閱讀」能力。
它設計了一種模仿人類「快–慢閱讀通路（Slow–Fast Reading Circuit）」的視覺化壓縮機制，讓大模型在理解長文本時，既能快速掃讀，又能深入思考：
快路徑（Fast Path）：將遠處、相對次要的上下文渲染為圖像，由一個凍結的輕量級視覺編碼器快速提取顯著性語義；
慢路徑（Slow Path）：將關鍵的近處文本直接輸入 LLM，用于深層推理與語言生成。
這種「視覺+語言」的雙通道協作，就像人類的眼睛與大腦——一邊掃視全局，一邊聚焦要點，深度思考。
VIST讓模型真正具備了「像人一樣速讀」的能力。
憑借這一設計，在處理相同文本內容時，VIST所需的視覺Token數量僅為傳統文本分詞所需Token數量的56%，內存減少了50%。
用「視覺壓縮」解鎖長文本理解
早期的LLM主要通過tokenizer把文本拆分的離散token輸入給LLM去處理，這種范式帶來了很多好處如高度語義化。
但是已有研究發現，經過大規模圖文配對數據預訓練，CLIP等視覺編碼器能夠自發掌握 OCR 能力，這使它們可以直接理解文本圖像內容，為長文本的視覺化處理提供了強大工具。
VIST則借鑒了人類高效閱讀的技巧，提出了一種全新的快–慢視覺壓縮框架，用視覺方式處理長文本，讓模型既能快速掃讀，又能深度理解。
快路徑（Fast Path）
將次要的長距離上下文渲染成圖像，由輕量級視覺編碼器處理；
通過 Resampler 將視覺特征進一步壓縮為4倍；
壓縮后的視覺特征再通過cross-attention與LLM的主輸入整合。
慢路徑（Slow Path）
對近處或核心文本直接交給LLM處理，進行深度推理和語言生成。
這種「掃視遠處，專注近處」的方式，模擬了人類閱讀的自然策略，讓模型在長文本場景下既高效又精準。
概率感知視覺增強
教模型學會略讀
雖然視覺編碼器（如 CLIP）非常強大，但它們主要在自然圖像上訓練，對于渲染文本的理解能力有限。而且，長文本中往往充斥大量冗余信息，如果不加選擇地處理，浪費算力，還會被干擾得抓不住重點。
為此，VIST引入了一個巧妙的機制——概率感知視覺增強（PVE, Probability-informed Visual Enhancement），教模型「略讀」，抓住關鍵信息，忽略冗余詞。
在訓練中，PVE采用基于頻率的屏蔽策略（Frequency-based Masking Strategy）把高頻但信息量低的詞（如英文中的 「the」、「with」）掩碼而重點保留低頻、高信息量詞如名詞、動詞、數字等核心內容。
這些經過語義優化的文本嵌入（embeddings）有效指導Resampler從文本圖像中提取最重要的語義信息，讓視覺壓縮模塊更高效、更精準。
視覺壓縮的極大潛力
在開放域問答（Open-domainQA）任務以及11 個 In-Context Learning（ICL）基準任務上，VIST 顯著優于基于文本編碼器的壓縮方法 CEPE。
即便在極端條件下——所有篇章僅通過視覺編碼器處理——VIST仍能在開放域問答任務中達到與TinyLlama相當的性能，充分顯示了視覺壓縮在長文本處理中的可靠性。
此外，VIST在處理相同文本內容時，所需視覺 Token 數量比傳統文本 Token 少56%（壓縮比約為2.3，從 1024 個文本Token壓縮到448個視覺 Token），同時顯存使用減少50%，極大提高了計算效率。
讓大模型「用眼睛讀文字」
VIST利用輕量級視覺編碼器，將冗長的上下文信息壓縮處理，為大語言模型提供了一條高效、低成本的新路徑。
更妙的是，視覺編碼器還能充當視覺文本分詞器（Visual Text Tokenization），帶來四大優勢：
1. 簡化分詞流程傳統文本分詞器依賴復雜規則和固定詞表，通常涉及近十步人工預處理（如小寫化、標點符號處理、停用詞過濾等）。
視覺編碼器直接將渲染后的文本視作圖像輸入，無需繁瑣預處理，處理流程更直接高效。
2. 突破詞表瓶頸傳統分詞器在多語言環境下容易受詞表限制影響性能，而視覺編碼器無需詞表，統一處理多種語言文本，大幅降低嵌入矩陣和輸出層的計算與顯存開銷。
3. 對字符級噪聲更魯棒視覺編碼器關注整體視覺模式，而非單個 Token 匹配，因此對拼寫錯誤或低級文本攻擊具備天然抵抗力。
4. 多語言高效性盡管本文主要針對英文，視覺文本分詞器在其他語言中同樣高效：與傳統文本分詞相比，可減少62%的日文Token、78%的韓文Token、27%的中文Token，在處理長文本時優勢尤為顯著。
結語與未來展望
VIST 展示了「視覺 + 語言」協作在大模型長文本理解中的巨大潛力：
它讓大模型能夠「像人一樣讀」，快速掃視冗余信息，同時專注于關鍵內容；
它為多語言、長文本、甚至多模態場景提供了高效處理方案。
未來，視覺驅動的 Token 壓縮可能會成為長上下文 LLM 的標準組件。 隨著模型規模不斷增長，這種「先看再讀」的策略，將幫助大模型在保證理解能力的同時，大幅降低計算成本，為多模態智能理解鋪平道路。
參考資料：
https://arxiv.org/abs/2502.00791
相關閱讀
-
-
-
-
-
-
-
-
【快播報】特寫：“越是風高浪急，越要同舟共濟”
https: h xinhuaxmt com vh512 share 12804074?docid=12804074&newstype=1001&d=1350
2025-11-01 -
-
-
-
-
-
-
-
【播資訊】記者觀察｜在APEC會議舉辦地觸摸亞太合作發展新脈動
https: h xinhuaxmt com vh512 share 12803293?docid=12803293&newstype=1001&d=1350
2025-10-31 -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
時政新聞眼丨中美元首釜山會晤，這些重點值得關注
https: content-static cctvnews cctv com snow-book index html?item_id=1669894753
2025-10-31 -
-
-
-
-
-
-
播報:今天是神舟二十一號出征太空的日子，也是“中國導彈之父”錢學森逝世16周年，他在1967年首次提出“航天”一詞
10月31日，今天是神舟二十一號出征太空的日子，也是“中國導彈之父”錢
2025-10-31 -
-
-
視頻畫報 | 習近平主席韓國之行首日聚焦
https: h xinhuaxmt com vh512 share 12802190?newstype=1001&homeshow=1
2025-10-31 -
-
-
-
-
-
-
-
-
爸媽飯桌閑聊引出“喜歡”話題，剛滿11歲上五年級的兒子開始用他充滿童真的語言，生動地描繪起他心中那份純粹而美好的“喜歡”。
10月30日（報道時間），湖北襄陽。爸媽飯桌閑聊引出“喜歡”話題，剛滿
2025-10-30 -
-
-
精彩推薦
閱讀排行
相關詞
- 沃爾沃XC90
- 構建全場景品質生活矩陣 “胖永輝”重慶店再+1-每日觀點
- 演員江一燕官宣離婚
- 湖北首例！?？倒╇姍C器人“上崗” 高空接電更安全高效 每日速訊
- 聚焦：司機等紅綠燈時遇暖心一幕！交警幫駝背的老人挑菜過馬路，動作絲滑流暢。司機：希望大家能共同來溫暖這個社會，也能被社會溫暖到。
- 速讀：賽力斯發布2025年三季報
- 廣東省中學生田徑錦標賽賽場一保潔阿姨被迎面撞倒 肇慶市體育中心回應|每日快報
- 華龍會客廳｜助力山城火鍋香飄世界 “艷椒”如何成為重慶名片？
- “豆豆奇遇”非遺集市火熱開街 解鎖豆腐與咖啡豆碰撞新奇風味
- 焦點速遞！東湖評論：少些刻意規劃，多些自主成長
- 守護銀鷗南遷路！二連浩特市救助并放飛一只西伯利亞銀鷗 每日觀察
- 這雙眼睛曾感動無數中國人，一句“我要上學”改變了她一生的命運，“大眼睛女孩”蘇明娟如今過得怎樣？|天天資訊
- 廣州12歲女孩用流利英文幫媽媽賣了10多萬元文具 媽媽：她把學費都賺回來了
- 每日速遞:萬人說新疆|逐夢藍天：新疆職業大學無人機學子的奮進之路
- 小學課間辦公室成“迷你衙門”，老師被“小原告”層層包圍，判不完的“官司”笑翻網友。
- 教育家精神萬里行｜王哲雅：實踐課程創童趣，主題教育潤童心 熱消息
- 盧浮宮搶劫案第三名嫌疑人被捕 每日速看
- 焦點滾動:絕殺后會說什么？里夫斯打趣：詹姆斯東契奇可能會說我打得很爛
- 超長火車震撼再現！數數有多少節車廂？-焦點熱聞
- 訊息：中遠海科發布2025年第三季度業績
- 本周日重慶（長嘉匯）半程馬拉松開跑 部分公交線路有調整
- 焦點要聞：視聽日歷|你好昆明：昆明“首”遇②：打卡萬象城首店
- 一組海報，“數說”安徽自貿試驗區五周年
- MOS HOUSE因認股權獲行使發行480萬股股份|焦點熱文
- 沖超路上關鍵戰役！本周六，重慶銅梁龍對陣蘇州東吳
- 天齊鋰業早盤漲逾5% 第三季度凈利潤為9548.55萬元同比增長119.26% 熱頭條
- 要聞速遞：四川樂山一工地挖出古墓？官方回應：初步判斷為南宋時期
- 實時：多場景聯動打造“賞秋游”沉浸式新體驗 “秋日經濟”帶火文旅消費新實踐
- 每日速讀!新華鮮報｜超220萬場！“村字號”文體活動彰顯鄉村精氣神
- 神二十一乘組確定：張陸、武飛、張洪章 熱點
- 這才是重陽節該有的樣子！爬西山、買花、吃重陽糕……昆明人的過節“三件套”齊了~ 每日熱訊
- 東湖評論：在登高慢跑中迎接更美好的未來_通訊
- 今年前三季度我國空氣和水環境總體持續改善_每日熱文
- 直播 | 神舟二十一號載人飛行任務新聞發布會
- 今日報丨期貨平倉手續費怎么算？
- 每日看點!對話武大靖：“熱愛是扛過煎熬的良藥”
- 今日熱搜:小狗的同伴被意外撞死，它寸步不離守護一個多小時，直到好心大姐將它同伴埋葬。
- 六合“大學”來了_每日速訊
- 視聽日歷|你好昆明：此心安處是春城
- 視焦點訊！男孩騎車刮到邁巴赫，緊張害怕，強忍淚水，但也沒有逃跑，勇敢面對。車主讓他跑腿買一瓶水作為“賠償”，男孩也因此收獲了一堂無價的人生課。
- 重陽寄情長，敬老正當時|今日視點
- 每日熱議!豐收背后盡顯“科技范兒” 希望的田野繪就產業興旺“振興圖”
- 焦點短訊！小狗在馬路中間亂竄逼停車輛，大哥下車踩著小碎步找狗狗，做好事耽擱時間后還不忘給后車道歉。后續當事人周女士已將小狗收養。
- 今日快看!招商積余第三季度營收增長11.89% 凈利潤2.12億元
- TVB演員江美儀悼念許紹雄：上次見他還是在他女兒的婚禮上，大家都替他高興
- 重陽節的特別“禮物” “雷鋒的士”載老人游山城_最新資訊
- 給京東拉來1.5億新用戶 京喜自營雙11重在“盤貨” 快看點
- 重陽節：敬老傳美德 祈福享安康 新視野
- InXinjiang（81）丨研究新疆出土文獻的英國教授，認為佛教曾在此廣泛流行|焦點滾動
- 快看：美的集團：第三季度歸母凈利潤118.7億元 同比增長8.95%
- 最資訊丨在慶州，探尋中韓友好的千年足跡
- 百事通！重慶未來三天晴雨相間明日局地中雨
- 東湖評論：以衣載道詮釋教學相長|每日短訊
- 每日速讀!動海報｜看軌道穿樓 觀兩江交匯 2025年世界城市日中國主場活動舉行 在渝參觀嘉賓拍照停不下來
- （走進中國鄉村）游客變創客 新疆老村“圈粉”年輕人
- 嚴重可致敗血癥！知名護膚品牌，緊急召回 最資訊
- 觀焦點：時間的回響：東安“世紀微笑”中的百歲老人
- 學習手記 | 中韓是搬不走的近鄰 觀點
- 今日重陽
- 東湖評論：別讓“老漂族”的愛，漂在孤獨里
- 華電浙江新能源公司增資至約4.45億元 最新資訊
- “熊孩子”誤吞10克重金豆6天后排出 媽媽：天天叮囑他不要在外面拉屎
- 播報:劉歡34歲女兒低調舉行婚禮，新娘一頭紅發引人注目，新郎儒雅斯文。劉一絲畢業紐約大學，職業為攝影記者
- 12道創意菜驚艷登場！“鮮花豆腐宴”亮相呈貢七步場豆腐文化旅游節
- 芬蘭研究顯示每晚睡7至9小時者減重最成功|熱消息
- 焦點速看：今日24時起，安徽92號汽油將下調為6.81元/升
- 新聞多一點｜故宮博物院百年守護展：一脈文淵，守望相傳 今日報
- 每日資訊：城市更宜居 生活更美好
- 一男子在酸菜池中抽煙并吐痰，遼寧興城通報
- 何以中國·家住長江邊丨沁園春·大江流韻
- 精選！凡人微光 | 銀發“新”青年
- 宏觀政策落地見效！前三季度工業經濟穩中有進 企業利潤加速恢復
- 焦點訊息：成交價超86億元 安徽省首宗戰略性礦產探礦權成功出讓
- 泰瑞機器(603289.SH)：前三季度凈利潤6627.48萬元，同比增長51.01%
- 焦點要聞：體檢發現血脂偏高，就是得了高脂血癥……是真是假？| 謠言終結站
- 華菱鋼鐵：子公司擬新建大方坯連鑄機項目
- 體檢發現血脂偏高，就是得了高脂血癥……是真是假？| 謠言終結站
- 毛寧向世界分享中國“人造太陽”，預計2027年竣工，有望成為人類歷史上首個實現聚變發電的裝置。|每日焦點
- 微涼秋意，來一場秋日溫泉養生局!
- 里昂：中國生物醫藥股回調提供吸引部署機會 看好石藥集團(01093)及國藥控股(01099)
- 重慶未來三天晴雨相間 29日各地有陣雨-播報
- 天佑德酒前三季度虧損近3000萬元，凈利潤降幅超六成
- “雜草叢生”變“休閑樂園” 重慶這個口袋公園“改”到居民心坎上|播資訊
- 從購物到養生，“朱丹溪”帶你換個方式逛義烏-熱資訊
- 胡歌《瑯琊榜》播出10年后再演古裝權謀劇，出演張居正，陳道明擔任監制
- 每日訊息!CHO HYUNWOOK（趙炫旭）獲批擔任新韓銀行（中國）財務負責人
- 生意社：10月27日東明石化油品報價下滑 每日精選
- 熱議:東湖評論：小鑰匙里的民生大溫度
- 男孩躥出來被外賣小哥騎車撞倒，立馬起身說沒事就離開了 男孩：此事我也有責任，人家也不容易
- 從實驗室、生產線到千里沃野 解鎖農業“新吃法”“新玩法”|焦點信息
- 我國首艘、全球最大！上周，多領域重點工程傳來好消息 實時焦點
- 證券板塊反復活躍 東興證券漲超9%
- “有一種冷叫老師覺得你冷！” 老師挨個檢查學生秋褲
- 永贏基金高楠公募管理規模突破500億元 每日熱聞
- 每日快訊!昆明邀各方共享四季運動盛宴
- 【光明時評】耕好節糧減損這塊“無形良田”
- 百度集團-SW(09888.HK)現漲超5%
- 59年前的今天，我國成功進行首次“兩彈”結合熱實驗，中國導彈核武器橫空出世！
- 預計下月亮相！昆明市中心“超巨”地下商業綜合體來了，位置就在→ 即時焦點
- 快看：我們的5098——八百壯士孤軍浴血守四行
- 熱文：讓現代化建設成果更多更公平惠及全體人民
- 頭部私募發行熱情不減攻守兼備應對“收官之戰”
- 今明兩天重慶大部地區多云到晴，后天有小到中雨 快訊
- 前三季度人民幣貸款增14.75萬億元|每日資訊
- 為什么降溫了腸胃不舒服？記住4條“過冬錦囊”
- 【新視野】打進1球+2進球被吹+點球被撲！姆巴佩榮膺全場最佳球員
- 10月26日福彩中獎號碼 雙色球“井噴”11注一等獎 焦點精選
- 答應我！來賞昆明的秋?，好嗎？
- 信息:重慶八歲女孩學跳街舞五年，跳起舞來英姿颯爽，反差感滿滿。網友直呼：有被小孩姐傷到自尊
- 年休假能跨年再休嗎？官方解答來了
- 科技賦能家具 廣交會上這些展品設計有巧思
- 當前聚焦：“太空出差”超180天 神二十乘組開始返回前準備工作
- 神二十一船箭組合體垂直轉運有哪些技術細節？記者探訪 今日熱搜
- 招商公路(001965.SZ)第三季度凈利潤15.09億元 同比增長3.91% 每日快看
- ?安徽百戲城開展高校專場演出 900名青年學子現場感受黃梅戲魅力
- 一攬子增量政策實施超一年·“數”讀經濟“晴雨表” 多維度透視經濟向好態勢更穩
- 錢江摩托(000913.SZ)發布前三季度業績，歸母凈利潤3.2億元，同比下降31.38%|今日熱議
- 熱訊:隋文靜/韓聰獲得雙人滑季軍 花樣滑冰大獎賽結果出爐
- 焦點熱文：奧普光電(002338.SZ)發布前三季度業績，歸母凈利潤3805萬元，同比下降16.18%
- 今日熱文：《美人魚》里的噴氣背包照進現實，真的有人能原地起飛！網友：我夢里的場景已經實現了
- 未來三天我市晴雨相間，氣溫短暫回升，最高25℃！_每日動態
- 焦點播報:隋文靜/韓聰復出首站摘銅2025中國杯世界花樣滑冰大獎賽落幕
- 【焦點熱聞】把黨的領導貫穿經濟社會發展各方面全過程
- 快報:“太空出差”超180天 神二十乘組開始返回前準備工作
- 米利西奇：中國很大，需按適合自己的方式去制定足球發展計劃-熱聞
- 當前熱議!數說非凡“十四五”丨五年新增新能源裝機超1億千瓦！新疆打造國家能源安全“穩定錨”
- 看熱訊：隨手簽名引來五十萬元借款官司
- 精釀鮮啤賽道競爭加?。好垩┍鞘召徃Ｂ辜?，“低價”策略能否勝出
- 每日視點!民生政策 落地有聲｜Vlog：“退休”半日，打卡“15分鐘生活頤養圈”
- 前沿資訊!環球富盛理財給予易普力“買入”評級，中國民爆行業領軍者，爆破服務為增長的核心驅動力，目標價格為17.52元
- 快看：萬花瞳｜“環衛橙”攜手“黑科技” 共繪城市“美顏”新圖景
- 十四藝節｜話劇《正紅旗下》亮相重慶 京味兒戲劇演繹老舍筆下的時代浮沉 新資訊
- 超級大樂透第25121期開出10注一等獎，其中安徽2注
- 小孩頭卡防盜窗人懸掛在外面，外賣小哥徒手爬四樓救下孩子 “看到他就像看到自己孩子一樣”|天天快報
- 每日觀察!泰國王太后詩麗吉逝世
- 今日要聞!經緯線·天地求索（“十四五”里的中國聲音）
- 每日關注!經緯線·天地求索
- 曾被炒到1600元/粒，如今價格大跌，店長：一個月也賣不了幾顆！公司市值較高點蒸發1800億元
- 銀河成長優選一年持有混合A：2025年第三季度利潤695.31萬元 凈值增長率8.93%
- 東湖評論：給春秋以假期，贈成長一份留白之禮
- 熱議:重慶明日大部地區多陰雨 最低氣溫7℃
- 新質新造·兵團丨兵團“智”造賦能萬畝良田_今日播報
- 與世界各國共享機遇共同發展——國際社會熱議中共二十屆四中全會擘畫“十五五”發展藍圖 當前關注
- 凡人微光｜定格時光 新資訊
- 應對冷空氣出實招 多地提前開啟“溫暖過冬”保障模式
- 600w粉絲博主“辛吉飛”吃面時，突然倒地口吐白沫渾身抽搐，“初步診斷疑似癲癇，太累了，不光掉頭發心理壓力也大 ”
- 新聞1+1丨“十五五”，有哪些關鍵部署？
- 300元以下能否買到真羽絨？秋冬來臨，“羽絨服怎么選”有了新標準 快資訊
- 每日訊息!從“將就”到“講究”：西藏普蘭農牧區生活品質“節節高”
- 今日觀點!狀態良好、“飛天”在即！神舟二十一號船箭組合體轉運至發射區
- 微動態丨明起重慶公交317線、937線實行“響應式下客”
