高通發布AI200和AI250：適用企業級數據中心AI推理運算

2025年10月28日，高通發布了其全新一代數據中心AI推理優化解決方案：基于高通AI200和AI250芯片的加速卡和機架。

AI200和AI250解決方案為數據中心提供了優化的硬件架構，以支持大規模生成式AI推理工作負載。高通AI200特別針對大型語言模型（LLM）和多模態模型（LMM）等AI推理任務進行了優化，旨在以較低的TCO提供高效的推理性能。

AI200加速卡搭載768GB LPDDR顯存，能夠提供更高的內存容量和更低的成本，確保生成式AI推理任務能夠實現高效和靈活的擴展。

AI250加速卡采用了創新的近內存計算架構，提供超過10倍的內存帶寬和顯著降低的功耗，從而實現了AI推理工作負載的代際飛躍。這一突破使得分布式AI推理能夠在滿足客戶性能和成本要求的同時，進一步提升硬件資源的利用效率，幫助客戶在高效能和低功耗之間取得更好的平衡。

為了確保高效、靈活的生成式AI部署，高通的AI200和AI250解決方案不僅在硬件層面進行了深度優化，還配備了全面的軟件棧。該軟件棧從應用層到系統軟件層端到端進行優化，專為AI推理而設計，能夠支持主流的機器學習（ML）框架、推理引擎、生成式AI框架以及LLM/LMM推理優化技術，如分布式服務。

通過Efficient Transformers Library和AI推理套件，開發人員可以輕松地實現無縫的模型加載和一鍵式模型部署，尤其是Hugging Face模型的快速集成。此外，高通的軟件棧還包括即用型AI應用、代理、工具、庫、API和服務，全面支持AI的高效運營化。

AI200和AI250這兩種解決方案均采用直接液體冷卻技術以提高熱效率，支持PCIe進行橫向擴展，利用以太網實現縱向擴展，同時通過機密計算技術確保AI推理任務的安全性。高通AI200和AI250的機架級功耗為160kW，滿足大規模數據中心的能效和散熱需求，降低總擁有成本。

據悉，高通AI200和AI250預計將分別于2026年和2027年正式進入商業市場。作為高通數據中心AI推理路線圖的一部分，未來這些解決方案將繼續推動生成式AI技術的發展，并引領行業邁向更加高效和可持續的AI應用時代。