近日,中國(guó)電信人工智能研究院(TeleAI)聯(lián)合北京智源人工智能研究院發(fā)布全球首個(gè)單體稠密萬(wàn)億參數(shù)語(yǔ)義模型Tele-FLM-1T,成為國(guó)內(nèi)首批發(fā)布稠密萬(wàn)億參數(shù)大模型的機(jī)構(gòu)。
針對(duì)大模型訓(xùn)練算力消耗高的問(wèn)題,TeleAI與智源基于模型生長(zhǎng)和損失預(yù)測(cè)等關(guān)鍵技術(shù)聯(lián)合研發(fā)出Tele-FLM系列模型,僅使用了業(yè)界普通訓(xùn)練方案9%的算力資源。雙方基于112臺(tái)A800服務(wù)器,用4個(gè)月完成3個(gè)模型總計(jì)2.3T tokens的訓(xùn)練。模型訓(xùn)練全程做到了零調(diào)整零重試,算力能效高且模型收斂性和穩(wěn)定性好。Tele-FLM-1T版本即將開(kāi)源,有望為社區(qū)訓(xùn)練萬(wàn)億稠密模型提供技術(shù)參考,避免萬(wàn)億模型訓(xùn)練收斂難等問(wèn)題。
作為最早布局并首先開(kāi)源大模型的央企機(jī)構(gòu),TeleAI在中國(guó)電信CTO、TeleAI院長(zhǎng)李學(xué)龍的帶領(lǐng)下,堅(jiān)持全鏈路完全自主研發(fā)創(chuàng)新,去年發(fā)布了千億參數(shù)星辰語(yǔ)義大模型,性能處于國(guó)內(nèi)同級(jí)別參數(shù)模型的前列。今年2月,TeleAI自主研發(fā)的星辰大模型首次通過(guò)了境內(nèi)深度合成服務(wù)算法備案。5月15日,根據(jù)北京市生成式人工智能服務(wù)備案信息公告,星辰大模型再次通過(guò)產(chǎn)品備案?!半p備案”標(biāo)志著星辰大模型可正式對(duì)外提供生成式人工智能服務(wù)。
同時(shí),TeleAI積極通過(guò)開(kāi)源推動(dòng)大模型技術(shù)進(jìn)步和大模型國(guó)產(chǎn)化進(jìn)程,加快研發(fā)創(chuàng)新,接連開(kāi)源7B、12B、52B參數(shù)規(guī)模大模型,吸引國(guó)內(nèi)外開(kāi)源社區(qū)開(kāi)發(fā)者廣泛討論和使用,開(kāi)源模型下載量過(guò)萬(wàn),積累超40萬(wàn)用戶(hù)。隨著TeleChat系列模型的發(fā)布,TeleAI同步對(duì)多個(gè)大模型落地項(xiàng)目進(jìn)行了能力升級(jí),顯著提升了項(xiàng)目交付質(zhì)量。某市民生訴求場(chǎng)景項(xiàng)目引入TeleChat-52B模型能力,整體應(yīng)用效果提升40%,達(dá)到行業(yè)領(lǐng)先水平。
目前,TeleAI攜手行業(yè)領(lǐng)軍者共同打造了面向教育、政務(wù)、應(yīng)急等20多個(gè)行業(yè)的大模型,通過(guò)不斷升級(jí)的語(yǔ)音、視覺(jué)以及多模態(tài)大模型技術(shù)能力,共同推動(dòng)大模型技術(shù)與各行業(yè)的深度融合,助力千行百業(yè)轉(zhuǎn)型升級(jí)。未來(lái),TeleAI還將進(jìn)一步為客戶(hù)、生態(tài)伙伴、開(kāi)發(fā)者及個(gè)人用戶(hù)提供前沿的AI能力,切實(shí)推進(jìn)國(guó)內(nèi)AI技術(shù)進(jìn)步及落地應(yīng)用,加速全社會(huì)邁向通用人工智能時(shí)代。
轉(zhuǎn)自:人民郵電報(bào)
【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品,轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”,違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊,僅代表作者個(gè)人觀點(diǎn),不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系:010-65363056。
延伸閱讀
版權(quán)所有:中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)京ICP備11041399號(hào)-2京公網(wǎng)安備11010502035964