大數(shù)據(jù)存算分離成趨勢(shì) 華為加碼布局

　　數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)成為新的生產(chǎn)資料，數(shù)據(jù)驅(qū)動(dòng)體驗(yàn)、數(shù)據(jù)驅(qū)動(dòng)決策、數(shù)據(jù)驅(qū)動(dòng)流程的各種應(yīng)用正不斷上演。伴隨5G、AI等技術(shù)的發(fā)展，數(shù)據(jù)量將迎來(lái)爆發(fā)式增長(zhǎng)，這一形勢(shì)下，傳統(tǒng)大數(shù)據(jù)存算一體架構(gòu)，面臨不小沖擊。

　　“計(jì)算存算分離是大數(shù)據(jù)架構(gòu)演進(jìn)的必然趨勢(shì)，也是解決行業(yè)用戶數(shù)據(jù)痛點(diǎn)的一大利器。計(jì)算和存儲(chǔ)是兩套獨(dú)立的集群，把存儲(chǔ)從原來(lái)的系統(tǒng)中剝離出來(lái)形成獨(dú)立的存儲(chǔ)集群，可以按需投資，要多少計(jì)算買多少計(jì)算，要多少存儲(chǔ)買多少存儲(chǔ)，避免浪費(fèi)，提高分析效率?！痹?月26日召開(kāi)的2020（第五屆）大數(shù)據(jù)產(chǎn)業(yè)生態(tài)大會(huì)上，華為技術(shù)有限公司海量存儲(chǔ)領(lǐng)域副總裁徐強(qiáng)接受中國(guó)工業(yè)報(bào)采訪時(shí)表示。

　　在徐強(qiáng)看來(lái)，分布式架構(gòu)的專業(yè)存儲(chǔ)更適合企業(yè)級(jí)市場(chǎng)，不僅能實(shí)現(xiàn)統(tǒng)一的存儲(chǔ)資源池和靈活的擴(kuò)展，還能讓用戶享受更專業(yè)的存儲(chǔ)，更佳的可靠性和利用率?！鞍殡S中國(guó)制造業(yè)數(shù)字化轉(zhuǎn)型的深化，年底工業(yè)領(lǐng)域占整體分布式存儲(chǔ)的份額有望提升至30%?！毙鞆?qiáng)透露。
 
　　大數(shù)據(jù)架構(gòu)走向存算分離

　　存算分離正成為大數(shù)據(jù)架構(gòu)演進(jìn)的重要趨勢(shì)。

　　“5G、云、AI加速行業(yè)數(shù)字化轉(zhuǎn)型，海量數(shù)據(jù)時(shí)代已經(jīng)到來(lái)。海量數(shù)據(jù)促使企業(yè)從數(shù)據(jù)管理走向數(shù)據(jù)運(yùn)營(yíng)，正面臨成本高、存不下；效率低、流不動(dòng)；自動(dòng)化差、管不好三大挑戰(zhàn)?！毙鞆?qiáng)分析。

　　Hadoop1.0時(shí)代，計(jì)算和存儲(chǔ)是高度融合，僅能處理單一的MapReduce分析業(yè)務(wù)；Hadoop2.0時(shí)代，計(jì)算層與數(shù)據(jù)開(kāi)始解耦，通過(guò)Yarn實(shí)現(xiàn)了獨(dú)立的資源管理，并開(kāi)始支持Spark等更多的計(jì)算引擎；而如今來(lái)到Hadoop3.0時(shí)代，計(jì)算存儲(chǔ)已分開(kāi)演進(jìn)，通過(guò)Hadoop EC來(lái)支持冷數(shù)據(jù)的存儲(chǔ)，同時(shí)引入外置存儲(chǔ)，如S3，增強(qiáng)其存儲(chǔ)底座能力，逐步向數(shù)據(jù)湖架構(gòu)演進(jìn)。

　　“Hadoop3.0時(shí)代，計(jì)算正向輕量化和容器化方向發(fā)展，計(jì)算存儲(chǔ)分離演進(jìn)已成為事實(shí)。計(jì)算存儲(chǔ)分離后，我們用企業(yè)級(jí)的存儲(chǔ)基座替代原來(lái)的原生大數(shù)據(jù)存儲(chǔ)基座，好處是可以把當(dāng)前企業(yè)級(jí)存儲(chǔ)的先進(jìn)技術(shù)帶入到大數(shù)據(jù)里面來(lái)，如高可靠、高利用率、多協(xié)議融合等，更好地釋放數(shù)據(jù)的價(jià)值?！毙鞆?qiáng)表示。

　　資料顯示，華為從2002年涉足存儲(chǔ)技術(shù)研究，十幾年來(lái)不斷提升自主研發(fā)能力和核心競(jìng)爭(zhēng)力，截至2018年底，存儲(chǔ)產(chǎn)品已經(jīng)服務(wù)于全球150多個(gè)國(guó)家的超過(guò)9000家客戶。存儲(chǔ)產(chǎn)業(yè)經(jīng)過(guò)幾十年的發(fā)展，衍生出各種各樣的存儲(chǔ)產(chǎn)品，滿足了企業(yè)應(yīng)用的各種訴求。

　　2018年，華為創(chuàng)新性推出基于OceanStor Pacific系列的大數(shù)據(jù)存算分離方案。在成本方面，華為大數(shù)據(jù)存算分離方案實(shí)現(xiàn)存算分離，資源按需獨(dú)立擴(kuò)展，彈性EC、冷熱數(shù)據(jù)分級(jí)，存儲(chǔ)成本大幅降低。在數(shù)據(jù)應(yīng)用效率方面，華為OceanStor Pacific系列采用全對(duì)稱分布式NameNode，集群性能和支持文件數(shù)隨節(jié)點(diǎn)數(shù)目增加線性提升，單一命名空間支持文件數(shù)達(dá)百億級(jí)。在實(shí)際操作運(yùn)維方面，華為OceanStor Pacific系列提供的原生HDFS接口提供了更佳性能和使用體驗(yàn)。通過(guò)ViewFS或Hbase元數(shù)據(jù)網(wǎng)關(guān)方式可實(shí)現(xiàn)新老共存，實(shí)現(xiàn)存算一體向存算分離的平滑演進(jìn)，保護(hù)用戶已有投資。

　　據(jù)徐強(qiáng)透露，華為投入數(shù)百人力專門設(shè)計(jì)開(kāi)發(fā)了大數(shù)據(jù)存儲(chǔ)系統(tǒng)，目的就是提供和原有開(kāi)源的大數(shù)據(jù)底座一模一樣的能力，以無(wú)損的方式提供大數(shù)據(jù)存算分離的技術(shù)能力?？上驳氖?，自去年以來(lái)，華為大數(shù)據(jù)存算分離方案已逐步落地應(yīng)用在電信、金融、政務(wù)等各個(gè)領(lǐng)域，正幫助千行百業(yè)降低數(shù)據(jù)存儲(chǔ)成本，提升數(shù)據(jù)分析效率，加速數(shù)據(jù)價(jià)值釋放。
 
　　工業(yè)領(lǐng)域分布式存儲(chǔ)份額年底有望達(dá)三成

　　華為基于OceanStor Pacific系列的大數(shù)據(jù)存算分離方案發(fā)布兩年來(lái)，在各行業(yè)取得的實(shí)踐效果日漸顯現(xiàn)。

　　今年7月，中國(guó)聯(lián)通基于華為 OceanStor Pacific 海量存儲(chǔ)的大數(shù)據(jù)平臺(tái)正式上線，標(biāo)志著中國(guó)聯(lián)通和華為技術(shù)有限公司在大數(shù)據(jù)計(jì)算存儲(chǔ)分離架構(gòu)的規(guī)?；夹g(shù)創(chuàng)新方面取得了全面突破。華為大數(shù)據(jù)存算分離方案打破了傳統(tǒng)大數(shù)據(jù)平臺(tái)計(jì)算存儲(chǔ)緊耦合的部署架構(gòu)，使的大數(shù)據(jù)平臺(tái)建設(shè)的成本得到了很大的降低。這一方案的創(chuàng)新在于首次嘗試使用另一種更加高效的方式來(lái)解決大數(shù)據(jù)存儲(chǔ)方案，且通過(guò)存儲(chǔ)層全分布式架構(gòu)和協(xié)議融合互通的高效性，從而提升數(shù)據(jù)分析效率。

　　據(jù)徐強(qiáng)介紹，華為的海量存儲(chǔ)在制造業(yè)中的主要應(yīng)用場(chǎng)景是高性能計(jì)算。例如，車企的自動(dòng)駕駛場(chǎng)景，每輛汽車每天的訓(xùn)練數(shù)據(jù)接近100TB，每天有幾百上千輛汽車要做訓(xùn)練，從而催生海量的數(shù)據(jù)。

　　此外，芯片設(shè)計(jì)制造、氣象衛(wèi)星和石油勘探等行業(yè)，也會(huì)涉及高性能計(jì)算，對(duì)海量存儲(chǔ)的需求也較大。

　　“工業(yè)領(lǐng)域適合用分布式存儲(chǔ)的場(chǎng)景，主要有兩大類，第一類是數(shù)據(jù)量特別大的，傳統(tǒng)的存儲(chǔ)搞不定，因?yàn)閭鹘y(tǒng)存儲(chǔ)之間是獨(dú)立的，數(shù)據(jù)沒(méi)法共享。只有海量存儲(chǔ)才能把數(shù)據(jù)池做的足夠大，例如自動(dòng)駕駛。第二類是對(duì)數(shù)據(jù)訪問(wèn)有高性能需求的，如芯片設(shè)計(jì)。芯片設(shè)計(jì)過(guò)程中，都需要對(duì)數(shù)據(jù)進(jìn)行快速的、對(duì)時(shí)延要求非常高的訪問(wèn)，所以對(duì)分布式海量存儲(chǔ)也有需求。”徐強(qiáng)分析。

　　據(jù)其預(yù)測(cè)，盡管當(dāng)前工業(yè)領(lǐng)域的分布式存儲(chǔ)占整個(gè)分布式存儲(chǔ)的比例不到20%，鑒于工業(yè)領(lǐng)域旺盛的市場(chǎng)需求，這一占比年底前有望提至三成。

　　“還應(yīng)看到，在國(guó)內(nèi)做分布式存儲(chǔ)的廠家較多，但水平參差不齊。很多廠商基于開(kāi)源軟件涉足，加之云服務(wù)轉(zhuǎn)型也在對(duì)分布式存儲(chǔ)產(chǎn)生沖擊，整個(gè)分布式存儲(chǔ)產(chǎn)業(yè)面臨的各方壓力依然不小?！毙鞆?qiáng)提醒。（中國(guó)工業(yè)報(bào) 余娜）

　　轉(zhuǎn)自：中國(guó)工業(yè)新聞網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀