性能提升30％！中國電信開源12B星辰大模型

　　近日，中國電信開源12B參數(shù)規(guī)模星辰語義大模型TeleChat-12B，相較1月開源的7B版本，在內(nèi)容、性能和應(yīng)用等方面整體效果提升30％，其中，多輪推理、安全問題等領(lǐng)域的能力提升超40％。在CEval、MMLU、AGIEVAL等國際權(quán)威榜單上，TeleChat-12B排名處于國內(nèi)同級(jí)別參數(shù)開源模型前列。該模型的開源進(jìn)一步促進(jìn)了生態(tài)繁榮，助力AI產(chǎn)業(yè)加速發(fā)展。據(jù)悉，中國電信還將于年內(nèi)開源千億級(jí)參數(shù)大模型。

　　中國電信人工智能研究院（TeleAI）堅(jiān)持完全自研自主可控，在中國電信首席技術(shù)官、人工智能首席科學(xué)家、TeleAI院長李學(xué)龍的帶領(lǐng)下，加快研發(fā)創(chuàng)新，不斷優(yōu)化底層模型結(jié)構(gòu)，有效提升模型穩(wěn)定性和訓(xùn)練效果。海量高質(zhì)量數(shù)據(jù)是保證大模型效果的基礎(chǔ)，TeleChat-12B將7B版本1.5T訓(xùn)練數(shù)據(jù)提升至3T，優(yōu)化數(shù)據(jù)清洗、標(biāo)注策略，持續(xù)構(gòu)建專項(xiàng)任務(wù)SFT（監(jiān)督微調(diào)）數(shù)據(jù)，優(yōu)化數(shù)據(jù)構(gòu)建規(guī)范，大大提升數(shù)據(jù)質(zhì)量；同時(shí)，基于電信星辰大模型用戶真實(shí)回流數(shù)據(jù)，優(yōu)化獎(jiǎng)勵(lì)模型和強(qiáng)化學(xué)習(xí)模型，有效提升模型問答效果。

　　TeleAI通過更徹底的開源，推動(dòng)大模型技術(shù)進(jìn)步和大模型國產(chǎn)化進(jìn)程。此次開源提供基礎(chǔ)模型以及基于相應(yīng)版本的對(duì)話模型，不僅支持傳統(tǒng)的全量參數(shù)更新，還支持LoRa等只更新部分參數(shù)的高效微調(diào)方法，支持Deepspeed微調(diào)，支持int8和int4量化和國產(chǎn)芯片訓(xùn)練推理，推動(dòng)大模型國產(chǎn)化進(jìn)程。

　　在加速探索創(chuàng)新的同時(shí)，星辰大模型也在深入推動(dòng)人工智能與各行各業(yè)的融合，積極探索新興的應(yīng)用場(chǎng)景。星辰語義大模型已應(yīng)用于行文寫作、代碼編程、網(wǎng)絡(luò)故障分析以及經(jīng)營分析等場(chǎng)景，以行文寫作為例，其平均生成字?jǐn)?shù)超過1500字，有效采納率達(dá)到85.7％；支持企業(yè)經(jīng)營分析、政務(wù)公開咨詢、民生訴求接待等場(chǎng)景，可覆蓋95％的實(shí)際業(yè)務(wù)場(chǎng)景，多輪理解準(zhǔn)確率達(dá)到90％。除傳統(tǒng)行業(yè)應(yīng)用場(chǎng)景外，星辰大模型還積極探索前沿領(lǐng)域應(yīng)用，賦能具身智能，解決無人機(jī)編排投入多、開發(fā)量大的問題，實(shí)現(xiàn)無人機(jī)智能編排輕量化建設(shè)。

　　據(jù)悉，星辰大模型已在多個(gè)行業(yè)廣泛落地，賦能千行百業(yè)轉(zhuǎn)型升級(jí)?？头竽Ｐ驮谌珖圏c(diǎn)上線18個(gè)服務(wù)場(chǎng)景，充分賦能智慧客服和數(shù)字人，在激活十億級(jí)的日志、百億級(jí)的網(wǎng)絡(luò)參數(shù)等海量數(shù)據(jù)資產(chǎn)的基礎(chǔ)上，進(jìn)一步深化智能化運(yùn)營；星辰政務(wù)大模型已落地某市民生訴求場(chǎng)景，為市民提供在線文本問答服務(wù)，提升政務(wù)服務(wù)能力，提高市民滿意度；星辰經(jīng)分大模型已落地某市經(jīng)信局，該局利用大模型生成能力快速草擬相關(guān)產(chǎn)業(yè)研究報(bào)告，簡化知識(shí)檢索流程，快速精準(zhǔn)地查詢所需知識(shí)內(nèi)容，以便迅速準(zhǔn)確地掌握發(fā)展動(dòng)態(tài)，支持決策過程，并追蹤全球經(jīng)濟(jì)形勢(shì)和科技創(chuàng)新，滿足產(chǎn)業(yè)洞察和分析需求。

　　轉(zhuǎn)自：人民郵電報(bào)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀