優(yōu)刻得首個(gè)「國(guó)產(chǎn)千卡智算集群」落地,支持智源千億大模型訓(xùn)練

　　在人工智能引領(lǐng)的時(shí)代浪潮中，算力已成為技術(shù)進(jìn)步與創(chuàng)新的核心驅(qū)動(dòng)力。面對(duì)當(dāng)下AI算力需求的飆升、高端AI芯片供應(yīng)受限的挑戰(zhàn)，加之OpenAI帶來(lái)的技術(shù)封鎖，唯有堅(jiān)定不移的發(fā)展自主可控的國(guó)產(chǎn)技術(shù)方案，持續(xù)壯大國(guó)產(chǎn)智算集群規(guī)模，才能一路突破圍追堵截，進(jìn)一步促進(jìn)國(guó)產(chǎn)大模型產(chǎn)業(yè)生態(tài)繁榮。

　　作為中立、安全的云計(jì)算服務(wù)廠商，優(yōu)刻得持續(xù)發(fā)力人工智能智算領(lǐng)域，與國(guó)內(nèi)主流AI芯片廠商深度合作，共同搭建的「國(guó)產(chǎn)千卡智算集群」現(xiàn)已上線商用。國(guó)內(nèi)頂尖的AI創(chuàng)新型研發(fā)機(jī)構(gòu)北京智源人工智能研究院(下稱：智源研究院)成為首批用戶，標(biāo)志著優(yōu)刻得自主可控的國(guó)產(chǎn)GPGPU算力底座有能力支撐大模型研發(fā)與驗(yàn)證，雙方在國(guó)產(chǎn)AI智算領(lǐng)域的合作正式開(kāi)啟。

　　國(guó)產(chǎn)千卡智算集群，支持千億參數(shù)大模型訓(xùn)推

　　優(yōu)刻得國(guó)產(chǎn)智算集群基于國(guó)產(chǎn)通用GPU(GPGPU)所建設(shè)，能夠快速構(gòu)建大規(guī)模分布式訓(xùn)練環(huán)境，可支持超千卡規(guī)模、千億參數(shù)級(jí)別的大模型訓(xùn)練和推理任務(wù)，旨在突破算力瓶頸，加速AI算力的國(guó)產(chǎn)化進(jìn)程。

　　國(guó)產(chǎn)千卡智算集群采用軟硬件一體化的架構(gòu)設(shè)計(jì)，提供低延遲、高吞吐、高可用的IB組網(wǎng)環(huán)境，支持GDR技術(shù)，使得集群在算力獲取、數(shù)據(jù)傳輸和算力調(diào)度等方面具有極高的效率。經(jīng)過(guò)精心適配和調(diào)優(yōu)，優(yōu)刻得國(guó)產(chǎn)智算集群現(xiàn)已在上海青浦智算中心全面部署，智源研究院正基于國(guó)產(chǎn)算力更高效地完成大模型的訓(xùn)推工作。

　　●突破算力瓶頸，技術(shù)自主可控

　　基于國(guó)內(nèi)知名AI芯片廠商所自研的高性能GPU IP，優(yōu)刻得國(guó)產(chǎn)智算集群具有強(qiáng)大的多精度混合算力、64G大容量高帶寬顯存以及先進(jìn)的多卡互聯(lián)技術(shù)，特別適合千億參數(shù)AI大模型的訓(xùn)練和推理，且增強(qiáng)了技術(shù)的自主性。在計(jì)算精度、穩(wěn)定性、易用性和算力利用率等方面，優(yōu)刻得國(guó)產(chǎn)智算集群均表現(xiàn)出優(yōu)異特性，助力智源研究院在千億MoE大模型訓(xùn)練方面取得了顯著成效。

　　智源研究院成立于2018年，其推出的「智源悟道大模型」，是中國(guó)首個(gè)大模型，為中國(guó)人工智能技術(shù)發(fā)展奠定了深遠(yuǎn)的研究基礎(chǔ)。在2024北京智源大會(huì)上，智源研究院公布了大模型全家桶。當(dāng)前，智源研究院正在優(yōu)刻得國(guó)產(chǎn)智算集群上持續(xù)進(jìn)行更為復(fù)雜的模型結(jié)構(gòu)設(shè)計(jì)和參數(shù)調(diào)整，以不斷提升大模型迭代速度和自研水平。

　　基于全自研的虛擬機(jī)技術(shù)和顯卡高效直通技術(shù)，優(yōu)刻得國(guó)產(chǎn)智算集群還實(shí)現(xiàn)了多用戶機(jī)器隔離和快速處理GPU故障等功能，確保GPU算力的高效利用。目前，優(yōu)刻得國(guó)產(chǎn)GPU算力底座不僅提供海量算力支持，有效支撐了智源研究院進(jìn)行國(guó)內(nèi)領(lǐng)先的大模型研發(fā)，也進(jìn)一步論證了國(guó)產(chǎn)芯片在收斂性上對(duì)于千億模型的訓(xùn)練的有效性，性能比肩國(guó)際一流的同類GPU產(chǎn)品。

　　●支持異構(gòu)混訓(xùn)，模型研發(fā)更高效

　　隨著多元異構(gòu)算力成為新的發(fā)展趨勢(shì)，當(dāng)前智源團(tuán)隊(duì)也正致力于研究在多芯片上實(shí)現(xiàn)大模型穩(wěn)定高效訓(xùn)練與推理的并行框架，助力國(guó)產(chǎn)算力規(guī)模應(yīng)用和大模型成果轉(zhuǎn)化。智源聯(lián)合優(yōu)刻得、國(guó)產(chǎn)芯片廠商，共同探索“混訓(xùn)集群”的構(gòu)建，并證實(shí)了優(yōu)刻得國(guó)產(chǎn)智算集群與英偉達(dá)主流計(jì)算平臺(tái)混合組網(wǎng)、異構(gòu)混訓(xùn)的可行性。

　　得益于國(guó)產(chǎn)AI算力加持，智源研究院基于優(yōu)刻得國(guó)產(chǎn)智算集群完成了多元異構(gòu)大模型訓(xùn)練平臺(tái)的搭建，并在實(shí)訓(xùn)中實(shí)現(xiàn)了長(zhǎng)時(shí)間的穩(wěn)定訓(xùn)練不中斷。聯(lián)合測(cè)試表明，智源研究院推出的開(kāi)源大模型并行訓(xùn)練框架FlagScale可以支持國(guó)產(chǎn)芯片做為算力支撐：FlagScale支持基于國(guó)產(chǎn)算力的8x16B千億參數(shù)MoE語(yǔ)言大模型1024卡40天以上的穩(wěn)定訓(xùn)練，全面幫助用戶實(shí)現(xiàn)高效穩(wěn)定的集群管理、資源優(yōu)化、大模型研發(fā)。

　　●生態(tài)兼容，靈活支撐業(yè)務(wù)發(fā)展

　　優(yōu)刻得國(guó)產(chǎn)智算集群全面兼容CUDA等主流GPU生態(tài)軟件棧，這意味著企業(yè)能夠?qū)UDA應(yīng)用零成本遷移到國(guó)產(chǎn)智算平臺(tái)，實(shí)現(xiàn)快速適配。集群還提供了完善高效的軟件棧工具，集成多種主流的深度學(xué)習(xí)編程框架，通過(guò)測(cè)試驗(yàn)證，確保了對(duì)行業(yè)領(lǐng)先人工智能模型的高效支持，做到開(kāi)箱即用，用戶可快速投入模型的開(kāi)發(fā)和部署，加速了其在人工智能領(lǐng)域的布局和發(fā)展。

　　其中，F(xiàn)lagGemm是智源研究院主導(dǎo)開(kāi)發(fā)的一套高性能大模型算子庫(kù)，技術(shù)路線上是基于OpenAI Triton編譯器，具有高性能、覆蓋廣、輕量級(jí)的多個(gè)優(yōu)勢(shì)。優(yōu)刻得國(guó)產(chǎn)智算集群通過(guò)適配和支持FlagGemm算子庫(kù)，實(shí)現(xiàn)了強(qiáng)大的生態(tài)兼容性和靈活的業(yè)務(wù)支撐能力。

　　隨著OpenAI決定終止對(duì)中國(guó)大陸的AI服務(wù)，國(guó)內(nèi)對(duì)于建設(shè)自主可控智算平臺(tái)的需求愈發(fā)迫切。優(yōu)刻得致力于構(gòu)建先進(jìn)的AGI算力底座，攜手合作伙伴共建大型國(guó)產(chǎn)智算集群，以高性能算力和全棧智算解決方案服務(wù)大模型訓(xùn)練和推理。隨著更多用戶的入駐和應(yīng)用深入，優(yōu)刻得國(guó)產(chǎn)千卡智算集群將不斷推動(dòng)我國(guó)科技創(chuàng)新與智算產(chǎn)業(yè)升級(jí)邁向新的高度。

　　轉(zhuǎn)自：中國(guó)網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀