高通發布新一代AI加速器：為數據中心提供10倍帶寬與768GB內存

高通AI200與AI250芯片以尖端能效實現更快速、低成本的生成式AI推理。

高通技術公司正式推出新一代面向推理場景優化的解決方案 —— AI200與AI250加速卡及機架系統，此舉或將重塑數據中心AI性能的未來格局。該系列產品標志著高通在向全球企業提供可擴展、高能效、高性能生成式AI能力的進程中實現重大飛躍。基于其在神經處理單元（NPU）領域的技術優勢，新平臺以卓越內存容量實現機架級性能。

高通明確表示，其目標是在現代AI基礎設施的關鍵指標 —— 每美元每瓦特性能上實現突破，以提供快速、經濟的生成式AI推理解決方案。

規模化驅動生成式AI

本次發布的核心產品AI200是專為大規模語言與多模態模型工作負載優化的機架級AI推理解決方案。每張AI200加速卡支持高達768GB的LPDDR內存，為應對海量AI推理需求提供高度可擴展性與靈活性。通過降低總擁有成本（TCO），高通旨在讓數據中心以更低門檻部署生成式AI模型，同時保障卓越能效。

AI250則進一步突破極限，首次采用新型近存計算架構。高通宣稱該架構可提供超過10倍的有效內存帶寬，并顯著降低功耗。這項創新支持分解式AI推理，使硬件在滿足嚴苛性能與成本要求的同時實現更高效利用。兩款機架解決方案均采用直接液冷散熱設計，配備PCIe縱向擴展與以太網橫向擴展接口。160kW的機架級功耗設計，彰顯高通在提供超大規模級性能時對可持續性與運營優化的雙重關注。

無縫集成設計理念

高通技術公司技術規劃、邊緣解決方案與數據中心業務高級副總裁杜爾加·馬拉迪表示：“通過AI200與AI250，我們正在重新定義機架級AI推理的邊界。這些創新AI基礎設施解決方案使客戶能夠以前所未有的總擁有成本部署生成式AI，同時滿足現代數據中心對靈活性與安全性的需求。”他補充道，高通豐富的軟件棧與開放生態支持將幫助開發者和企業更輕松地集成、管理及擴展已訓練的AI模型。該平臺支持主流AI框架并提供一鍵模型部署功能，實現“無縫適配與快速創新”。

端到端AI軟件棧

高通的超大規模級AI軟件棧為硬件提供底層支撐，提供從應用層到系統軟件層的端到端支持。該軟件棧針對主流機器學習框架、生成式AI平臺及推理引擎進行深度優化。開發者可通過高通高效Transformer庫與AI推理套件，直接部署Hugging Face模型。這些工具專為通過即用型應用、智能體與API實現AI業務化部署而設計。

據悉，AI200預計將于2026年投入商用，AI250則計劃于2027年跟進。高通表示將保持數據中心產品的年度更新節奏，持續聚焦AI推理領域的性能提升、能效優化與技術革新。此次發布使高通正式加入快速演進的AI硬件競賽，彰顯其立志成為生成式AI基礎設施時代領導力量的決心。

如果朋友們喜歡，敬請關注“知新了了”！