近日,北京智源人工智能研究院在2021北京智源大會上發(fā)布超大規(guī)模智能模型“悟道2.0”。據(jù)悉,其參數(shù)規(guī)模達(dá)1.75萬億,是AI模型GPT-3的10倍,打破之前由Google Switch Transformer預(yù)訓(xùn)練模型創(chuàng)造的1.6萬億參數(shù)紀(jì)錄,是目前中國首個、全球最大的萬億級模型。
智源研究院學(xué)術(shù)副院長唐杰教授介紹說,“悟道”超大模型智能模型旨在打造數(shù)據(jù)和知識雙輪驅(qū)動的認(rèn)知智能,讓機(jī)器能夠像人一樣思考,實(shí)現(xiàn)超越圖靈測試的機(jī)器認(rèn)知能力?!拔虻馈眻F(tuán)隊在大規(guī)模預(yù)訓(xùn)練模型研發(fā)上做了很多基礎(chǔ)性工作,形成自主的超大規(guī)模智能模型技術(shù)創(chuàng)新體系,擁有從預(yù)訓(xùn)練理論技術(shù)到預(yù)訓(xùn)練工具,再到預(yù)訓(xùn)練模型構(gòu)建和最終模型測評的完整鏈條,從技術(shù)上是完整成熟的?!拔虻?.0”實(shí)現(xiàn)了“大而聰明”,具備大規(guī)模、高精度、高效率的特點(diǎn)。
據(jù)了解,“悟道”團(tuán)隊研發(fā)的FastMoE技術(shù),是打破國外技術(shù)瓶頸,實(shí)現(xiàn)“萬億模型”基石的關(guān)鍵。其研究并開源的FastMoE是首個支持PyTorch框架的MoE系統(tǒng),具有簡單易用、靈活、高性能等特點(diǎn),并且支持大規(guī)模并行訓(xùn)練。同時,其還支持Switch、GShard等復(fù)雜均衡策略以及不同模型。(華凌)
轉(zhuǎn)自:中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報
【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品,轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”,違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊,僅代表作者個人觀點(diǎn),不代表本網(wǎng)觀點(diǎn)和立場。版權(quán)事宜請聯(lián)系:010-65363056。
延伸閱讀