中信證券:系統(tǒng)級(jí)算力有望成為下一代AI算力基礎(chǔ)設(shè)施
中信證券研報(bào)指出,當(dāng)前AI大模型的訓(xùn)練、推理需求持續(xù)旺盛發(fā)展,scalinglaw在后訓(xùn)練、在線推理等方向上持續(xù)演進(jìn)。底層基礎(chǔ)設(shè)施朝著更大集群的方向發(fā)展,單芯片的算力提升在先進(jìn)制程的影響下未來(lái)迭代速度料將放緩,而系統(tǒng)級(jí)節(jié)點(diǎn)有望通過(guò)解決互連、網(wǎng)絡(luò)、內(nèi)存墻等問(wèn)題成為AI算力發(fā)展的重要方向。從近期算力龍頭企業(yè)系統(tǒng)級(jí)產(chǎn)品的發(fā)展趨勢(shì)以及過(guò)往半導(dǎo)體行業(yè)的并購(gòu)歷史來(lái)看,系統(tǒng)級(jí)算力有望成為AI發(fā)展的下一站,國(guó)產(chǎn)GPU芯片公司有望通過(guò)打造更高資源密度的算力基礎(chǔ)設(shè)施實(shí)現(xiàn)對(duì)海外產(chǎn)品的追趕和超越。建議關(guān)注:1)英偉達(dá)NVL72等系統(tǒng)級(jí)產(chǎn)品出貨情況;2)以華為CloudMatrix384超節(jié)點(diǎn)為代表的國(guó)產(chǎn)系統(tǒng)級(jí)產(chǎn)品進(jìn)展,建議關(guān)注國(guó)內(nèi)產(chǎn)業(yè)鏈相關(guān)公司。
全文如下計(jì)算機(jī)|從華為384超節(jié)點(diǎn)看下一代AI系統(tǒng)級(jí)算力
大模型架構(gòu)創(chuàng)新以及推理需求的日益增長(zhǎng)對(duì)底層基礎(chǔ)設(shè)施建設(shè)提出了新的要求,面向未來(lái)的AI基礎(chǔ)設(shè)施須具備前瞻性、通用性。當(dāng)前,單芯片算力提升對(duì)算力集群能力提升的邊際效應(yīng)在遞減,內(nèi)存通信、片間互連、網(wǎng)絡(luò)通信成為瓶頸。為解決這一問(wèn)題,技術(shù)角度,產(chǎn)業(yè)邁向Scaleup擴(kuò)展,通過(guò)提升單節(jié)點(diǎn)計(jì)算資源密度及高效的網(wǎng)絡(luò)架構(gòu)提升算力利用率。行業(yè)趨勢(shì)上,半導(dǎo)體芯片行業(yè)通常以收并購(gòu)的方式獲取技術(shù)能力及市場(chǎng)拓展,以海外為代表的龍頭公司做出了成功示范。系統(tǒng)級(jí)算力有望成為AI基礎(chǔ)設(shè)施的下一站,建議關(guān)注國(guó)內(nèi)以華為CloudMatrix384超節(jié)點(diǎn)為代表的產(chǎn)業(yè)發(fā)展趨勢(shì)。
▍系統(tǒng)級(jí)算力有望成為下一代AI算力基礎(chǔ)設(shè)施。
我們認(rèn)為,底層基礎(chǔ)設(shè)施的通用性就是為了前瞻性地應(yīng)對(duì)未來(lái)的模型發(fā)展。當(dāng)前AI產(chǎn)業(yè)發(fā)展迅速,Scalinglaw在后訓(xùn)練、在線推理等階段快速發(fā)展。訓(xùn)練端,模型架構(gòu)持續(xù)創(chuàng)新迭代,有望進(jìn)一步強(qiáng)化訓(xùn)練側(cè)scalinglaw的延續(xù),如阿里巴巴Qwen團(tuán)隊(duì)與浙江大學(xué)團(tuán)隊(duì)提出的ParallelScaling、騰訊混元團(tuán)隊(duì)采用Transformer、Mamba混合架構(gòu)訓(xùn)練的TurboS都取得了優(yōu)秀的性能表現(xiàn)。推理端,在MoE專家網(wǎng)絡(luò)架構(gòu)成為主流后,如何通過(guò)硬件部署實(shí)現(xiàn)更高的吞吐量和更低的延時(shí)成為焦點(diǎn)。我們認(rèn)為,采用類似推理集群的形式未來(lái)有望成為主流,計(jì)算節(jié)點(diǎn)有望通過(guò)提升計(jì)算密度滿足推理需求。系統(tǒng)級(jí)算力料將成為下一代AI算力基礎(chǔ)設(shè)施。
▍系統(tǒng)級(jí)算力需要系統(tǒng)級(jí)能力。
芯片層面,算力集群中涉及AI加速芯片、CPU芯片、Switch互連芯片、DPU數(shù)據(jù)處理芯片等,受限制于制程,國(guó)產(chǎn)AI加速芯片在峰值算力能力領(lǐng)域上相較于海外旗艦產(chǎn)品仍有差距,軟件生態(tài)上亦因產(chǎn)業(yè)發(fā)展時(shí)長(zhǎng)而相對(duì)落后,單芯片能力的競(jìng)爭(zhēng)并無(wú)直接優(yōu)勢(shì)。互連層面,傳統(tǒng)PCIe與英偉達(dá)NVLink等差距較大,NVLink5.0提供1.8TB/s雙向帶寬,超傳統(tǒng)PCIe方案的十倍,國(guó)產(chǎn)芯片采用自研技術(shù)方案助力系統(tǒng)集群發(fā)展。網(wǎng)絡(luò)層面,系統(tǒng)算力采用RDMA技術(shù)實(shí)現(xiàn)遠(yuǎn)程內(nèi)存訪問(wèn),目前主流技術(shù)方案包括InfiniBand、RoCE等。整機(jī)層面,系統(tǒng)級(jí)算力并非是上述部件的簡(jiǎn)單組裝,而是通過(guò)系統(tǒng)設(shè)計(jì)、規(guī)劃、測(cè)試完成的有機(jī)整體,與以往傳統(tǒng)AI服務(wù)器相比更需要垂直融合能力,產(chǎn)業(yè)上下游之間的關(guān)系也將隨著組件之間耦合程度的提升而變得更加緊密。生態(tài)層面,CPU+GPU+互連+網(wǎng)絡(luò)+整機(jī)+系統(tǒng)交付成為系統(tǒng)級(jí)算力入局門(mén)檻,海外巨頭通過(guò)收并購(gòu)的方式已構(gòu)筑起產(chǎn)業(yè)生態(tài)。
▍技術(shù)角度,英偉達(dá)NVL72、華為CloudMatrix384超節(jié)點(diǎn)先行示范。
當(dāng)前,單芯片算力能力的發(fā)展已顯著快于通信領(lǐng)域的發(fā)展速度,通信效率成為集群效率提升的關(guān)鍵因素。構(gòu)建大集群的方式主要兩種:1)Scaleup(縱向擴(kuò)展),增加單節(jié)點(diǎn)的資源數(shù)量;2)Scaleout(橫向擴(kuò)展),增加節(jié)點(diǎn)數(shù)量。相較于Scaleout網(wǎng)絡(luò),Scaleup能夠提供更大的帶寬、更低的通信時(shí)延,和更大的緩存一致性內(nèi)存空間,因此Scaleup即在單節(jié)點(diǎn)增加資源數(shù)量成為未來(lái)發(fā)展的重要方向,如2024年3月英偉達(dá)在2024GTC大會(huì)上發(fā)布的NVL72系統(tǒng)、2025年4月華為在華為云生態(tài)大會(huì)上發(fā)布的CloudMatrix384超節(jié)點(diǎn)為行業(yè)發(fā)展提供思路。
▍產(chǎn)業(yè)維度,半導(dǎo)體行業(yè)通常以收并購(gòu)方式進(jìn)行技術(shù)整合與市場(chǎng)拓展。
半導(dǎo)體行業(yè)長(zhǎng)坡厚雪,產(chǎn)業(yè)鏈涉及環(huán)節(jié)較多且技術(shù)復(fù)雜,整機(jī)資源耦合程度提升,上下游協(xié)作變得愈發(fā)緊密。因此,頭部企業(yè)通常采用投資并購(gòu)的方式來(lái)獲取進(jìn)入市場(chǎng)的機(jī)會(huì),同時(shí)進(jìn)一步擴(kuò)展技術(shù)能力以鞏固市場(chǎng)地位。英偉達(dá)通過(guò)收購(gòu)Mellanox,將原有的NVLink(主要用于Scaleup)連接技術(shù),擴(kuò)展至IB等RDMA網(wǎng)絡(luò)(用于Scaleout),從而為下一代大規(guī)模計(jì)算集群做好技術(shù)儲(chǔ)備;AMD通過(guò)收購(gòu)ZTSystems獲取了系統(tǒng)架構(gòu)設(shè)計(jì)能力以及數(shù)據(jù)中心解決方案交付經(jīng)驗(yàn),EPYCCPU以及InstinctGPU、網(wǎng)絡(luò)、軟件及ZTSystems的集群系統(tǒng)交付能力共同構(gòu)建了AI解決方案的核心。我們總結(jié),在面向未來(lái)基礎(chǔ)設(shè)施搭建的領(lǐng)域,底層通用性與技術(shù)前瞻性是至關(guān)重要的,在此基礎(chǔ)上,應(yīng)用的發(fā)展將會(huì)隨之帶來(lái)回報(bào)。
▍風(fēng)險(xiǎn)因素:
算力芯片供應(yīng)鏈風(fēng)險(xiǎn);芯片產(chǎn)能供給不足的風(fēng)險(xiǎn);互聯(lián)網(wǎng)大廠資本開(kāi)支不及預(yù)期的風(fēng)險(xiǎn);相關(guān)產(chǎn)業(yè)政策不及預(yù)期的風(fēng)險(xiǎn);AI應(yīng)用發(fā)展不及預(yù)期的風(fēng)險(xiǎn);芯片技術(shù)迭代不及預(yù)期的風(fēng)險(xiǎn);國(guó)產(chǎn)GPU廠商競(jìng)爭(zhēng)加劇的風(fēng)險(xiǎn)等。
▍投資策略:
當(dāng)前AI大模型的訓(xùn)練、推理需求持續(xù)旺盛發(fā)展,scalinglaw在后訓(xùn)練、在線推理等方向上持續(xù)演進(jìn)。底層基礎(chǔ)設(shè)施朝著更大集群的方向發(fā)展,單芯片的算力提升在先進(jìn)制程的影響下未來(lái)迭代速度料將放緩,而系統(tǒng)級(jí)節(jié)點(diǎn)有望通過(guò)解決互連、網(wǎng)絡(luò)、內(nèi)存墻等問(wèn)題成為AI算力發(fā)展的重要方向。從近期算力龍頭企業(yè)系統(tǒng)級(jí)產(chǎn)品的發(fā)展趨勢(shì)以及過(guò)往半導(dǎo)體行業(yè)的并購(gòu)歷史來(lái)看,系統(tǒng)級(jí)算力有望成為AI發(fā)展的下一站,國(guó)產(chǎn)GPU芯片公司有望通過(guò)打造更高資源密度的算力基礎(chǔ)設(shè)施實(shí)現(xiàn)對(duì)海外產(chǎn)品的追趕和超越。建議關(guān)注:1)英偉達(dá)NVL72等系統(tǒng)級(jí)產(chǎn)品出貨情況;2)以華為CloudMatrix384超節(jié)點(diǎn)為代表的國(guó)產(chǎn)系統(tǒng)級(jí)產(chǎn)品進(jìn)展,建議關(guān)注國(guó)內(nèi)產(chǎn)業(yè)鏈相關(guān)公司。
(文章來(lái)源:界面新聞)
來(lái)源:東方財(cái)富網(wǎng)