持續學習的AI仍在擴大存儲半導體市場

儘管出現AI放緩論，持續學習的AI仍在擴大存儲半導體市場1/ 儘管近期出現AI發展速度應當放緩的論調，讓人工智能不斷學習新資訊的持續學習技術，正成為存儲半導體市場的新增長動力。2/ 全球投資銀行花旗預計，明年全球HBM位元需求將較今年增長62%，達至752億Gb。3/ 花旗將持續學習列為HBM需求激增的主要原因之一，並分析認為，隨著訓練與推理反覆進行，不僅HBM，伺服器用DRAM與企業級SSD的需求也將同步增長。4/ 目前，大多數生成式AI採用預先訓練後再回應的方式，新資訊不會自動納入長期知識，因此產生效率問題。5/ 在持續學習中，訓練與推理之間的界限變得模糊，目標是讓AI在提供服務的過程中亦能學習新數據和經驗，並與現有知識相結合。6/ 在不斷學習新資訊的同時，還必須存取現有的海量數據，因此需要更大的存儲容量，除HBM外，同時使用伺服器用DRAM及基於NAND的eSSD的方式也變得重要。7/ 由於推理過程中也會進行學習，僅靠頻寬難以解決瓶頸，因此對PIM等在存儲器附近進行運算的技術的需求也可能增加。8/ 三星電子提出了將HBM直接堆疊在AI加速器上的zHBM，SK海力士則介紹了PIM、SALT-KV和HBF結構等，試圖突破現有GPU-HBM結構的侷限。