再現(xiàn)“換橋奇跡”｜人大金倉助力大型運(yùn)營(yíng)商完成營(yíng)銷系統(tǒng)國產(chǎn)化升級(jí)

堪稱傳統(tǒng)基建奇跡的“三元橋43小時(shí)換新橋”工程的相關(guān)報(bào)道還歷歷在目，而某運(yùn)營(yíng)商也經(jīng)歷著類似的考驗(yàn)，需要在2天內(nèi)完成某在線營(yíng)銷系統(tǒng)整體升級(jí)。作為某運(yùn)營(yíng)商的重要數(shù)據(jù)庫產(chǎn)品與服務(wù)提供商，留給人大金倉的時(shí)間只有每天夜間的4小時(shí)，更難的是：運(yùn)營(yíng)商整個(gè)“換橋”的過程中除這兩個(gè)4小時(shí)外，仍需保持“車輛通行”！

Tips：三元橋初建于1984年，日均車流量20.6萬輛，于2015年11月13日晚23時(shí)至11月15日18時(shí)完成新橋替換。在43小時(shí)內(nèi)完成了舊橋拆除、預(yù)制鋼梁現(xiàn)場(chǎng)拼裝及新橋整體置換的工作。

運(yùn)營(yíng)商營(yíng)銷系統(tǒng)升級(jí)項(xiàng)目實(shí)施計(jì)劃圖-數(shù)據(jù)庫部分

何謂奇跡？系統(tǒng)升級(jí)的三道關(guān)

“第一是性能關(guān)，數(shù)據(jù)庫必須進(jìn)行嚴(yán)格的性能壓力測(cè)試，以保證在未來三年及更長(zhǎng)時(shí)間段內(nèi)能夠滿足業(yè)務(wù)增長(zhǎng)需求；第二是上線關(guān)，長(zhǎng)期積累的大量歷史數(shù)據(jù)在業(yè)務(wù)運(yùn)行高連續(xù)性要求下，必須在有限窗口時(shí)間內(nèi)完成數(shù)據(jù)遷移及配合應(yīng)用完成業(yè)務(wù)系統(tǒng)的平滑切換；第三是回退關(guān)，當(dāng)全國產(chǎn)環(huán)境出現(xiàn)災(zāi)難性故障時(shí)，須保證可借助原有系統(tǒng)提供業(yè)務(wù)的連續(xù)性支撐?！?/p>

人大金倉項(xiàng)目負(fù)責(zé)人補(bǔ)充分析，“以上三點(diǎn)保障是本項(xiàng)目升級(jí)成功的關(guān)鍵，在金倉看來，照搬‘大力出奇跡’的傳統(tǒng)解題思路是下策，第一，疫情、春節(jié)及冬奧會(huì)多重因素疊加導(dǎo)致的運(yùn)營(yíng)商各類業(yè)務(wù)壓力增長(zhǎng)，讓該解題思路變得難以為繼；第二，這種方式與金倉長(zhǎng)期追求的精細(xì)化服務(wù)理念相悖。所以這次項(xiàng)目不止對(duì)運(yùn)營(yíng)商，對(duì)金倉來講也是一個(gè)不小的挑戰(zhàn)。” 

性能 | 以百米速度跑馬拉松是什么體驗(yàn)？

金倉項(xiàng)目負(fù)責(zé)人介紹，客戶原營(yíng)銷系統(tǒng)的存量數(shù)據(jù)近2TB，超百億條；業(yè)務(wù)量日均超千萬，峰值可達(dá)2000萬，未來預(yù)計(jì)將翻3倍。系統(tǒng)建成后需保證9500以上的TPS指標(biāo)要求，同時(shí)需保證業(yè)務(wù)處理整體響應(yīng)時(shí)間不超3秒?？紤]到未來近三倍的業(yè)務(wù)壓力提升，用戶選擇通用高性能x86服務(wù)器作為驗(yàn)證平臺(tái)，并選取10個(gè)典型業(yè)務(wù)場(chǎng)景，在不同的數(shù)據(jù)庫并發(fā)連接壓力下進(jìn)行嚴(yán)格的性能指標(biāo)測(cè)試。經(jīng)測(cè)，金倉數(shù)據(jù)庫在各測(cè)試中TPS平均值超38000，最高超42000，最低也有24000，比期望值平均高出3倍，遠(yuǎn)超指標(biāo)要求。

上線 | 隨風(fēng)潛入夜，換橋細(xì)無聲

基于對(duì)原系統(tǒng)數(shù)據(jù)庫結(jié)構(gòu)及數(shù)據(jù)規(guī)模的判斷，金倉對(duì)上線時(shí)的數(shù)據(jù)遷移過程總結(jié)出兩點(diǎn)風(fēng)險(xiǎn)：

風(fēng)險(xiǎn)和挑戰(zhàn)：

1）單次4小時(shí)左右的停服時(shí)間，只能保證完成基礎(chǔ)數(shù)據(jù)的全部遷移，而在遷移后創(chuàng)建索引等環(huán)節(jié)可能會(huì)占用較長(zhǎng)時(shí)間，存在較大風(fēng)險(xiǎn)；

2）系統(tǒng)運(yùn)行環(huán)境為基于云的虛擬化平臺(tái)，其性能影響可能進(jìn)一步放大。

為保證原業(yè)務(wù)連續(xù)性，最大限度減少對(duì)原系統(tǒng)的影響，金倉采用了柔性遷移方案。

基于上述柔性遷移方案，金倉團(tuán)隊(duì)于2021年xx月12日開始執(zhí)行系統(tǒng)遷移的實(shí)施工作。

xx月12日22:00，系統(tǒng)進(jìn)入第一個(gè)停服周期。

次日01:00完成近2TB存量數(shù)據(jù)遷移，隨即源端業(yè)務(wù)恢復(fù)，歷時(shí)共計(jì)3小時(shí)左右。同時(shí)， KFS持續(xù)解析增量數(shù)據(jù)并進(jìn)行本地緩存。

xx月13日10:10目標(biāo)端數(shù)據(jù)庫完成索引創(chuàng)建等后續(xù)工作后，KFS目標(biāo)端鏈路接通，并在20分鐘內(nèi)完成增量數(shù)據(jù)追平，達(dá)到兩端數(shù)據(jù)實(shí)時(shí)同步。

xx月13日22:10，系統(tǒng)進(jìn)入第二個(gè)停服周期，進(jìn)行兩端數(shù)據(jù)的一致性校驗(yàn)，并在次日00:30啟動(dòng)KES承載的國產(chǎn)化平臺(tái)應(yīng)用，歷時(shí)共計(jì)2小時(shí)左右。

在系統(tǒng)升級(jí)過程中，金倉實(shí)施團(tuán)隊(duì)分兩階段共占用5小時(shí)左右的停服時(shí)間，保證業(yè)務(wù)正常響應(yīng)的同時(shí)，高效完成了重載系統(tǒng)的“換橋”任務(wù)。

回退 | 升級(jí)不拆橋，保障多一道

國產(chǎn)基礎(chǔ)軟硬件在行業(yè)應(yīng)用的深水區(qū)實(shí)踐確實(shí)還在拓展階段，用戶對(duì)全國產(chǎn)平臺(tái)的穩(wěn)定性多少有所顧慮。據(jù)項(xiàng)目負(fù)責(zé)人披露，在做好常規(guī)的數(shù)據(jù)備份及高可用保障的同時(shí)，用戶提出系統(tǒng)回退需求，以保障當(dāng)全國產(chǎn)環(huán)境出現(xiàn)災(zāi)難性故障時(shí)，仍可借助原系統(tǒng)提供業(yè)務(wù)的連續(xù)性支撐。

雙軌運(yùn)行方案

借助異構(gòu)數(shù)據(jù)庫同步工具KFS，金倉提供完善的雙軌運(yùn)行方案，以滿足系統(tǒng)回退需求。

階段一：結(jié)合柔性遷移過程，在解決存量數(shù)據(jù)遷移及增量數(shù)據(jù)同步后，保持KFS從原系統(tǒng)數(shù)據(jù)庫到KES的鏈路暢通。此時(shí)系統(tǒng)運(yùn)行仍基于原數(shù)據(jù)庫。

階段二：當(dāng)KES作為生產(chǎn)系統(tǒng)承載庫后，通過KFS獨(dú)有能力，通過命令進(jìn)行數(shù)據(jù)同步方向的切換，即KES向原數(shù)據(jù)庫反向同步數(shù)據(jù)。此時(shí)原數(shù)據(jù)庫作為備份節(jié)點(diǎn)，與KES保持?jǐn)?shù)據(jù)實(shí)時(shí)一致，隨時(shí)可承接應(yīng)用負(fù)載。在整體方案確定后，金倉實(shí)施團(tuán)隊(duì)對(duì)每個(gè)階段的工作顆粒度都要細(xì)化到最優(yōu)：

歷經(jīng)3輪測(cè)試，該方案均保證了KES與原數(shù)據(jù)庫的高效數(shù)據(jù)同步，延時(shí)穩(wěn)定控制在5秒以內(nèi)，系統(tǒng)整體具備回退條件。

結(jié)語

通過雙方多次的方案細(xì)化迭代及緊張的項(xiàng)目實(shí)施，某運(yùn)營(yíng)商營(yíng)銷類業(yè)務(wù)系統(tǒng)于2021年底順利上線，成功實(shí)現(xiàn)關(guān)鍵系統(tǒng)國產(chǎn)化升級(jí)，并順利完成了春節(jié)及冬奧期間的重點(diǎn)保障服務(wù)，確保了系統(tǒng)的穩(wěn)定運(yùn)行，有效降低了數(shù)據(jù)庫管控風(fēng)險(xiǎn)，穩(wěn)定支撐運(yùn)營(yíng)商在全國31個(gè)省的線上營(yíng)銷賦能業(yè)務(wù)。人大金倉作為專業(yè)的數(shù)據(jù)庫管理系統(tǒng)產(chǎn)品及解決方案提供商，秉承“以客戶為中心”的服務(wù)理念，未來將繼續(xù)和千萬國產(chǎn)廠商一起，打造穩(wěn)定、安全、智能的數(shù)字化環(huán)境，為客戶搭建通往數(shù)字化高速公路的橋梁。

轉(zhuǎn)自：砍柴網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀