一直被當成 “GPU 小跟班” 的機頭 CPU，早不是“GPU忙死我旁觀、算力大活我不擔“的角色了，尤其是至強處理器開啟AMX技術(shù)的支持后——英特爾近期就在多個與客戶及合作伙伴溝通的場合中披露了向量數(shù)據(jù)庫上的多個測試數(shù)據(jù)，如：在至強6性能核處理器上，開啟AMX進行加速后， FAISS IndexFlat向量檢索性能提升達3.35倍，Reranker性能也會拉到未啟用時的2.31倍。還有一組基于第五代至強可擴展處理器平臺的測試數(shù)據(jù)：在激活AMX加速后，其上的向量數(shù)據(jù)庫的Embedding性能也可拉到未開啟時的4.79 倍。所有這些基于實戰(zhàn)的數(shù)據(jù)都指向一點：至強CPU能幫 GPU分擔向量數(shù)據(jù)庫的工作。

如果你問這有啥意義？我就得反問你：讓CPU把數(shù)據(jù)預處理的“雜活”干好，讓GPU更專注高價值的AI訓練或推理加速，這難道不香么？

要是第四代之前的至強CPU，這種高度依賴矩陣計算能力的“雜活”它還真不太容易扛，但自從2023年開始內(nèi)置了AMX（高級矩陣擴展）技術(shù)后，它還真就從從容容，游刃有余了！有人曾戲稱AMX是“CPU里的 Tensor Core”，就是因為它天生就是為矩陣運算加速而設(shè)計的。

8 個 1KB 二維 TILE 寄存器組成高速緩存區(qū)，能少跑好多內(nèi)存訪問的冤枉路；TMUL 乘法單元一次能處理 16×16 矩陣塊，再加上 INT8、BF16和FP16低精度支持，每核心每時鐘周期能完成 2048 次操作，是傳統(tǒng) AVX-512 技術(shù)的 8 倍。

這些能力不是要搶GPU 風頭，而是要幫 GPU 卸包袱：各種數(shù)據(jù)預處理，特別是向量數(shù)據(jù)庫的雜活 CPU 接了，GPU 才能專心干大事，讓花在它身上的每分錢都更物有所值。

這里就要先說說數(shù)據(jù)預處理——這是AI工作的“前置準備”階段，以前常要 GPU 分心兼顧。AI 工作負載里的非結(jié)構(gòu)化數(shù)據(jù)解析、格式轉(zhuǎn)換、特征清洗，看著是“細活”，實則要高并行邏輯和高 I/O 吞吐，正好是機頭CPU的強項。更重要的是：CPU 把預處理扛了，GPU 就不用在訓練推理這樣的核心任務(wù)和預處理這種邊緣任務(wù)之間來回切換，算力與時間一點兒都不浪費。

對于向量數(shù)據(jù)庫，有AMX加成的至強則把 “幫 GPU 分擔” 做到了實處。向量存儲、索引構(gòu)建、相似度檢索等流程，都由Embedding、相似度計算等組成，本質(zhì)都是密集型矩陣運算 —— 這正是 AMX 的拿手戲。據(jù)英特爾曾經(jīng)公布的更多的測試結(jié)果：在 FAISS 庫測試里，1,000 萬級向量數(shù)據(jù)集，AMX 的加成讓單批次查詢速度快 5 到 6.66 倍。1

圖片嵌入場景下，4 核至強實例性能漲到 2.45 倍，16 核實例也能提升達 1.7 倍。2

最關(guān)鍵的 50 萬條記錄檢索，32 核至強直接把速度提到 21.9 倍。3這些活兒要是扔給GPU，不光檢索慢，還得擠占推理算力，整體效率得打?qū)φ邸?/p>

這套 “至強分擔跑向量數(shù)據(jù)庫 + GPU 專注做訓練與推理” 的分工機制，直接改寫了 AI 部署的性價比。傳統(tǒng)方案里，GPU 又做預處理又跑AI算力密集型任務(wù)，就像 “一人干兩份活”，吞吐量上不去還容易卡殼；現(xiàn)在至強把向量數(shù)據(jù)庫的活接穩(wěn)了，AI 集群整體吞吐量提升的基礎(chǔ)上，GPU 應(yīng)用的投資回報還能再上層樓。

另外，基于“至強+ AMX” 的機頭系統(tǒng)在AI推理上展現(xiàn)出的更優(yōu)性價比，有越來越多的用戶受到啟發(fā)，開始將AI模型預處理、小參數(shù)LLM推理交給機頭CPU來執(zhí)行。相對的，GPU則能解放生產(chǎn)力，更專注做高價值的任務(wù)，算下來每一分算力都花在刀刃上。

所以別再讓你的至強 CPU在AI服務(wù)器中“發(fā)呆”了，用好它，讓它真正做好協(xié)同的工作，能讓整個 AI 流程跑得更快、更省、投資回報更豐厚。所謂：不能幫 GPU 加速向量數(shù)據(jù)庫的 CPU，真算不上好至強。接下來隨著 AMX 支持更多數(shù)據(jù)類型、至強兼容高帶寬內(nèi)存，相信這種 “協(xié)同力” 還會更強。