論道AI | 特斯聯(lián)研發(fā)突破：引入物理輔助時(shí)空網(wǎng)絡(luò)（PastNet）應(yīng)對(duì)時(shí)空預(yù)測(cè)挑戰(zhàn)

　　時(shí)空視頻預(yù)測(cè)是指利用歷史視頻數(shù)據(jù)生成未來視頻幀的過程，在自動(dòng)駕駛、氣候與環(huán)境監(jiān)測(cè)等現(xiàn)實(shí)場(chǎng)景中有廣泛的應(yīng)用。然而現(xiàn)有的時(shí)空視頻預(yù)測(cè)方法面臨著諸多挑戰(zhàn)，為此特斯聯(lián)人工智能研發(fā)中心引入了一種能夠生成高質(zhì)量視頻預(yù)測(cè)的物理輔助時(shí)空網(wǎng)絡(luò)以應(yīng)對(duì)相應(yīng)局限。目前，該研究成果已被人工智能領(lǐng)域?qū)W術(shù)會(huì)議ACM Multimedia收錄，題為：PastNet：Introducing Physical Inductive Biases for Spatio-temporal Video Prediction。

　　不同視頻預(yù)測(cè)方法在MovingMNIST上的性能比較。團(tuán)隊(duì)所提出的PastNet在訓(xùn)練時(shí)間和圖像質(zhì)量方面優(yōu)于此前模型。具體而言，PastNet在訓(xùn)練100個(gè)周期時(shí)實(shí)現(xiàn)了最低的均方誤差(MSE)和最高的多尺度結(jié)構(gòu)相似性(MS-SSIM)分?jǐn)?shù)，并且其訓(xùn)練時(shí)間明顯短于其他模型。且，PastNet在訓(xùn)練過程中消耗時(shí)間最少。

　　以下為論文原文摘錄：

　　在該論文中，團(tuán)隊(duì)研究了時(shí)空視頻預(yù)測(cè)的挑戰(zhàn)，涉及基于歷史數(shù)據(jù)流生成未來視頻。現(xiàn)有的方法通常利用如語義地圖的外部信息來改善視頻預(yù)測(cè)質(zhì)量。然而這種方法往往忽略了視頻內(nèi)容本身所蘊(yùn)含的物理特性。加之，此類方法的高計(jì)算要求也限制了其在高分辨率視頻處理中的應(yīng)用。

　　為了克服前述局限，特斯聯(lián)人工智能研發(fā)中心引入了一種能夠生成高質(zhì)量視頻預(yù)測(cè)的物理輔助時(shí)空網(wǎng)絡(luò)(PastNet，Physics-assisted Spatio-temporal Network)，以生成高質(zhì)量的視頻預(yù)測(cè)。PastNet的核心在于其在傅立葉域中引入了光譜卷積算子。該設(shè)計(jì)巧妙地將基本物理定律作為歸納偏置融入其中。與此同時(shí)，通過采用具備估算內(nèi)在維度能力的存儲(chǔ)體來離散化局部特征，PastNet能夠在處理復(fù)雜時(shí)空信號(hào)時(shí)顯著簡(jiǎn)化計(jì)算開銷，從而支持更高效、更高分辨率的視頻預(yù)測(cè)。

　　該研究成果在廣泛的實(shí)驗(yàn)中展現(xiàn)出了相較于眾多前沿技術(shù)更為突出的有效性和效率，尤其在處理高分辨率場(chǎng)景時(shí)表現(xiàn)優(yōu)異。所提出的PastNet模型在諸多現(xiàn)實(shí)場(chǎng)景中具備廣泛的潛在應(yīng)用價(jià)值，例如：

　　氣候科學(xué)領(lǐng)域：PastNet能夠預(yù)測(cè)氣候變化和天氣模式，對(duì)于災(zāi)害預(yù)警、農(nóng)業(yè)規(guī)劃和資源管理等方面具有重要意義。

　　自動(dòng)駕駛領(lǐng)域：PastNet可以預(yù)測(cè)車輛、行人和其他物體的位置和運(yùn)動(dòng)，這對(duì)于自動(dòng)駕駛系統(tǒng)的決策和路徑規(guī)劃至關(guān)重要。

　　應(yīng)急響應(yīng)領(lǐng)域：在緊急情況下，如火災(zāi)或自然災(zāi)害，PastNet可以預(yù)測(cè)事件的發(fā)展，幫助救援團(tuán)隊(duì)制定更有效的救援計(jì)劃。

　　轉(zhuǎn)自：中國(guó)網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀