![]()
2025年10月28日,高通發布了其全新一代數據中心AI推理優化解決方案:基于高通AI200和AI250芯片的加速卡和機架。
AI200和AI250解決方案為數據中心提供了優化的硬件架構,以支持大規模生成式AI推理工作負載。高通AI200特別針對大型語言模型(LLM)和多模態模型(LMM)等AI推理任務進行了優化,旨在以較低的TCO提供高效的推理性能。
AI200加速卡搭載768GB LPDDR顯存,能夠提供更高的內存容量和更低的成本,確保生成式AI推理任務能夠實現高效和靈活的擴展。
![]()
AI250加速卡采用了創新的近內存計算架構,提供超過10倍的內存帶寬和顯著降低的功耗,從而實現了AI推理工作負載的代際飛躍。這一突破使得分布式AI推理能夠在滿足客戶性能和成本要求的同時,進一步提升硬件資源的利用效率,幫助客戶在高效能和低功耗之間取得更好的平衡。
為了確保高效、靈活的生成式AI部署,高通的AI200和AI250解決方案不僅在硬件層面進行了深度優化,還配備了全面的軟件棧。該軟件棧從應用層到系統軟件層端到端進行優化,專為AI推理而設計,能夠支持主流的機器學習(ML)框架、推理引擎、生成式AI框架以及LLM/LMM推理優化技術,如分布式服務。
通過Efficient Transformers Library和AI推理套件,開發人員可以輕松地實現無縫的模型加載和一鍵式模型部署,尤其是Hugging Face模型的快速集成。此外,高通的軟件棧還包括即用型AI應用、代理、工具、庫、API和服務,全面支持AI的高效運營化。
![]()
AI200和AI250這兩種解決方案均采用直接液體冷卻技術以提高熱效率,支持PCIe進行橫向擴展,利用以太網實現縱向擴展,同時通過機密計算技術確保AI推理任務的安全性。高通AI200和AI250的機架級功耗為160kW,滿足大規模數據中心的能效和散熱需求,降低總擁有成本。
據悉,高通AI200和AI250預計將分別于2026年和2027年正式進入商業市場。作為高通數據中心AI推理路線圖的一部分,未來這些解決方案將繼續推動生成式AI技術的發展,并引領行業邁向更加高效和可持續的AI應用時代。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.