AI考官自動(dòng)評(píng)估AI翻譯結(jié)果 達(dá)摩院獲WMT2021第一

　　記者近日獲悉，在業(yè)界權(quán)威的WMT2021國(guó)際機(jī)器翻譯大賽上，阿里巴巴達(dá)摩院翻譯團(tuán)隊(duì)打造的翻譯質(zhì)量評(píng)估系統(tǒng)，在極具挑戰(zhàn)的 Sentence-level Direct Assessment  QE Shared Task 2021質(zhì)量估計(jì)比賽上獲得第一名。該系統(tǒng)堪比AI考官，能夠自動(dòng)給AI翻譯的結(jié)果打分，以此不斷優(yōu)化翻譯模型，提升AI翻譯的質(zhì)量。

　　國(guó)際機(jī)器翻譯大賽WMT已有15年歷史，其賽事眾多。其中包括較為常見的翻譯任務(wù)，比如將新聞從英文翻譯為中文，其質(zhì)量好壞評(píng)估是用人類譯文來做參考，越接近越好，即BLEU值越高越好。大會(huì)還有更為挑戰(zhàn)的翻譯質(zhì)量估計(jì)比賽，參賽者需要?jiǎng)?chuàng)造一套AI系統(tǒng)，在沒有人類參考譯文的情況下，自動(dòng)評(píng)估機(jī)器翻譯的質(zhì)量，因?yàn)檎鎸?shí)世界就是如此，很少有人類標(biāo)準(zhǔn)答案。

　　達(dá)摩院翻譯團(tuán)隊(duì)打造的AI考官，參與了Sentence-level Direct Assessment任務(wù)的全部11項(xiàng)子任務(wù)，獲得總平均分第一，從華為、Unbabel等國(guó)內(nèi)外資深團(tuán)隊(duì)中脫穎而出。其中，達(dá)摩院在7項(xiàng)有樣本的語向中獲得5項(xiàng)第一，分別為英語-中文、羅馬尼亞語-英語、愛沙尼亞語-英語、尼泊爾語-英語、俄語-英語；在4項(xiàng)零樣本（zero-shot）語向中獲得3項(xiàng)第一，分別為英語-捷克語、普什圖語-英語、高棉語-英語。

（達(dá)摩院翻譯團(tuán)隊(duì)獲得總平均分第一名）

　　據(jù)介紹，該項(xiàng)目的創(chuàng)新之處在于，達(dá)摩院翻譯團(tuán)隊(duì)在大規(guī)模預(yù)訓(xùn)練模型和遷移學(xué)習(xí)的基礎(chǔ)上，改進(jìn)了機(jī)器翻譯的“白盒”特征，洞悉了機(jī)器翻譯模型的內(nèi)部狀態(tài)和原理，包括非常重要的翻譯解碼概率。與此同時(shí)，他們還發(fā)現(xiàn)了新的重要質(zhì)檢特征，先使用Levenshtein算法和Masked語言模型對(duì)原文進(jìn)行適度加噪，然后利用待評(píng)估質(zhì)量的翻譯模型提取相應(yīng)的譯文解碼概率，結(jié)果發(fā)現(xiàn)它與譯文質(zhì)量緊密相關(guān)。更關(guān)鍵的是，研究團(tuán)隊(duì)驗(yàn)證發(fā)現(xiàn)，這些創(chuàng)新方法能夠跨語言通用，在多語向項(xiàng)融合的翻譯質(zhì)量估計(jì)模型訓(xùn)練過程中也表現(xiàn)優(yōu)秀，有望推動(dòng)機(jī)器翻譯整個(gè)領(lǐng)域的進(jìn)步。

　　達(dá)摩院AI考官已用于阿里多個(gè)業(yè)務(wù)場(chǎng)景，包括全球速賣通AliExpress、Lazada、釘釘、阿里云技術(shù)文檔等，能實(shí)時(shí)監(jiān)測(cè)線上翻譯質(zhì)量，定向優(yōu)化翻譯模型，讓這些場(chǎng)景里的機(jī)器翻譯性能提升5%-15%不等。

　　據(jù)了解，這是達(dá)摩院翻譯團(tuán)隊(duì)第二次參與WMT的翻譯質(zhì)量估計(jì)比賽，2018年他們?cè)@得英-德、德-英語向句子級(jí)別和詞級(jí)別等六項(xiàng)質(zhì)量估計(jì)子任務(wù)冠軍。達(dá)摩院翻譯團(tuán)隊(duì)近兩年在國(guó)際頂會(huì)上發(fā)表論文100余篇，已實(shí)現(xiàn)214種語言的高質(zhì)量翻譯，日調(diào)用量突破13億次，創(chuàng)造了多項(xiàng)世界紀(jì)錄。他們還揭榜了工信部人工智能產(chǎn)業(yè)創(chuàng)新重點(diǎn)任務(wù)中的智能翻譯系統(tǒng)，在2021年第一期評(píng)比中榮獲優(yōu)勝單位。

　　轉(zhuǎn)自：C114通信網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀