瞄準低延遲AI推理市場，英偉達(NVDA.US)Groq 3 LPX全面量產，首批系統將部署於NEBIUS(NBIS.US)

智通財經APP獲悉，Nvidia(NVDA.US)週一宣佈，Groq 3 LPX機架級系統已經進入全面量產階段，標誌著公司去年斥資約200億美元收購Groq相關資產後，這項低延遲AI推理技術正式進入商業化落地階段。首批系統將部署於AI雲端運算服務商NEBIUS(NBIS.US)，並計畫於今年晚些時候上線。

Nvidia高級總監Dion Harris向媒體表示，Groq 3 LPX將與Nvidia Vera中央處理器和Rubin圖形處理器共同部署在Nebius的數據中心。

此次Groq產品快速實現量產，反映出隨著AI應用從模型訓練進一步轉向實際部署，低延遲AI推理正成為Nvidia重點爭奪的新市場。尤其是在AI智能體和AI編程等應用中，模型需要以更快速度持續生成內容，減少用戶等待時間。

Nvidia於去年12月斥資約200億美元收購AI晶片初創公司Groq的相關資產，成為公司歷史上規模最大的收購交易。

Groq晶片架構的一大特點是在晶片內部整合500MB高速SRAM，以減少傳統記憶體存取可能造成的數據傳輸瓶頸，從而提高AI模型推理過程中的回應速度。

與Nvidia主要GPU由台積電(TSM.US)生產不同，Groq晶片由三星負責製造。

Nvidia目前將256顆Groq 3晶片整合至一個LPX機架中。根據Nvidia引用Artificial Analysis的基準測試數據，Groq 3 LPX系統能夠實現每秒產生約3400個token的效能。

對於生成式AI而言，token可以理解為模型處理和生成文本的基本單位。更高的每秒token產生速度意味著AI能夠更快回應用戶請求，對於AI編程、即時智能體等對延遲高度敏感的應用尤其重要。

Harris表示，對於提供AI推理服務的雲端運算企業而言，更低的延遲意味著它們能夠向對回應速度要求更高的客戶提供價格更高的高階服務。

不過，Groq晶片並不是為了取代Nvidia傳統GPU。

GPU仍然是當前AI運算基礎設施的核心，不僅能夠進行AI模型訓練，也能夠執行推理任務，同時擁有更強的通用性，可以適應不同模型與技術架構。

Groq這類低延遲晶片則更專注於AI推理過程中的特定環節，尤其是模型生成內容時的「解碼」階段。

Harris表示：「這並不是要取代GPU，而是針對工作負載的不同部分，使用價格與效能最合適的處理器。」

這意味著Nvidia正嘗試建立更加細分的AI運算架構：Vera CPU與Rubin GPU繼續承擔更廣泛的AI運算任務，而Groq晶片則針對延遲高度敏感的推理工作負載進行優化。

隨著AI產業逐漸從大規模模型訓練進入推理需求快速增長階段，低延遲推理市場的競爭正在升溫。

AMD(AMD.US)今年早些時候宣佈，將其機架級AI系統與Cerebras(CBRS.US)晶片進行整合，同樣重點瞄準低延遲AI推理。

這一領域的重要性正隨著AI編程等應用普及進一步提升。報導提到，OpenAI最新公佈的Ultrafast模式承諾達到每秒750個token，並由Cerebras提供底層算力支援。

相比之下，Nvidia引用的基準測試數據顯示，Groq 3 LPX能夠達到每秒3400個token。不過，不同系統的測試條件與應用場景可能存在差異，因此這些數字並不能簡單視為直接的效能對比。

與此同時，Nvidia正加快Vera Rubin系統的出貨，該平台已於今年早些時候進入生產階段。

Nvidia CEO黃仁勳今年3月在發佈Vera Rubin和Groq 3 LPX時曾預計，從目前的Blackwell晶片到新一代Vera Rubin系統，截至2027年的累計銷售額可能達到1萬億美元。

黃仁勳當時還透露，在專門用於AI編程應用的數據中心空間中，他計畫將約四分之一配置給Groq晶片，其餘部分則全部部署Vera Rubin系統。

這一配置比例進一步顯示出Nvidia對低延遲推理市場的重視。隨著AI智能體、AI編程以及即時生成式AI應用快速發展，推理速度正成為雲端運算企業與AI開發商競爭的重要指標。

Groq 3 LPX正式進入全面量產，也意味著Nvidia正從以GPU為核心的AI晶片供應商，進一步擴展至針對不同AI工作負載提供專用運算架構。

市場接下來還將關注Nvidia最新業績表現。公司將於本週三公佈財報，除Blackwell和Vera Rubin需求之外，AI推理業務以及Groq商業化進展也可能成為投資者關注的新焦點。