國(guó)產(chǎn)數(shù)據(jù)庫(kù)到底行不行？看金倉(cāng)KES如何助力CRM系統(tǒng)在線擴(kuò)容

2022年2月21日20:00點(diǎn)

正在項(xiàng)目現(xiàn)場(chǎng)支持的我突然接到客戶C經(jīng)理的電話，本以為是溝通確認(rèn)下一次常規(guī)數(shù)據(jù)庫(kù)運(yùn)維巡檢的時(shí)間，但電話那頭傳來(lái)的消息卻令人不安。

C經(jīng)理是X企業(yè)CRM系統(tǒng)的業(yè)務(wù)管理人員，X企業(yè)CRM系統(tǒng)（簡(jiǎn)稱X項(xiàng)目）采用了金倉(cāng)KingbaseES V8R6一主一備讀寫(xiě)分離集群架構(gòu)，業(yè)務(wù)系統(tǒng)自2021年1月上線以來(lái)，一直運(yùn)行穩(wěn)定，從未出過(guò)差錯(cuò)。但自從上周X企業(yè)陸續(xù)上線了一些新的業(yè)務(wù)模塊后，飛速增長(zhǎng)的業(yè)務(wù)需求使得業(yè)務(wù)高峰期集群壓力急劇增大，業(yè)務(wù)訪問(wèn)效率大幅降低，業(yè)務(wù)高峰期甚至出現(xiàn)了訪問(wèn)失敗的現(xiàn)象！對(duì)于X企業(yè)而言，CRM系統(tǒng)是業(yè)務(wù)的橋梁。訪問(wèn)失敗等問(wèn)題如不能及時(shí)解決，將給公司帶來(lái)難以估量的損失。因此，C經(jīng)理希望我盡快趕赴現(xiàn)場(chǎng)支持，定位問(wèn)題并優(yōu)化系統(tǒng)。

情況緊急，我當(dāng)即將手上的工作交接給其他同事，著手項(xiàng)目支援的前期準(zhǔn)備工作，并通知同事Z次日一起去現(xiàn)場(chǎng)支持。

2022年2月22日早8點(diǎn)

速度 | 分析利器，迅速定位

晨光熹微，我和Z抵達(dá)現(xiàn)場(chǎng)，在與C經(jīng)理就系統(tǒng)現(xiàn)狀簡(jiǎn)單溝通交流之后,就迅速和其他業(yè)務(wù)開(kāi)發(fā)人員、運(yùn)維人員一起定位問(wèn)題。

根據(jù)業(yè)務(wù)人員反饋，上周陸續(xù)上線的這些業(yè)務(wù)模塊主要以信息查詢?yōu)橹?，新的業(yè)務(wù)模塊投入使用后，在業(yè)務(wù)高峰期間并發(fā)的訪問(wèn)量非常高，集群主機(jī)的CPU在業(yè)務(wù)高峰期的負(fù)載峰值也在不斷攀升（主機(jī)節(jié)點(diǎn)CPU負(fù)載經(jīng)常達(dá)到90%以上），導(dǎo)致系統(tǒng)訪問(wèn)性能下降，嚴(yán)重影響了業(yè)務(wù)的正常訪問(wèn)。

在收集了各業(yè)務(wù)層反應(yīng)的問(wèn)題、初步了解系統(tǒng)性能下降的大致原因后，我們憑借多年來(lái)的現(xiàn)場(chǎng)支持經(jīng)驗(yàn)，決定借助KingbaseES性能分析利器KWR，定位具體的性能問(wèn)題。 

性能分析利器  Kingbase Auto WorkloadRepertories

TIPS：KWR是KingbaseES自動(dòng)負(fù)載信息庫(kù)（Kingbase Auto Workload Repertories），它通過(guò)周期性自動(dòng)記錄性能統(tǒng)計(jì)相關(guān)的快照，分析出KES的操作系統(tǒng)運(yùn)行環(huán)境、數(shù)據(jù)庫(kù)時(shí)間組成、等待事件和TOP SQL等性能指標(biāo)，為數(shù)據(jù)庫(kù)性能調(diào)優(yōu)提供指導(dǎo)。

鑒于該項(xiàng)目在集群部署后和業(yè)務(wù)上線之初就已經(jīng)完成了KWR工具的配置，此次可以直接運(yùn)行KWR工具，快速獲取KWR分析報(bào)告。

步驟1：數(shù)據(jù)庫(kù)主機(jī)業(yè)務(wù)負(fù)載分析

通過(guò)對(duì)KWR報(bào)告中DB time的分析，我們了解到了當(dāng)前數(shù)據(jù)庫(kù)的負(fù)載情況：DB time =CPU time + Wait time（非空閑等待，非后臺(tái)進(jìn)程）KWR報(bào)告顯示，此時(shí)采樣期間的DB time遠(yuǎn)大于Elasped的時(shí)間，說(shuō)明此時(shí)數(shù)據(jù)庫(kù)的負(fù)載比較大。

KWR報(bào)告CPU time分析

KWR報(bào)告CPU time分析 并且通過(guò)系統(tǒng)命令檢測(cè)到當(dāng)前高峰期cpu的負(fù)載確實(shí)達(dá)到了百分之90以上。

業(yè)務(wù)高峰期主機(jī)節(jié)點(diǎn)CPU壓力 鑒于此，我們決定進(jìn)一步通過(guò)Wait Events、TopSQL來(lái)確定DB time的具體消耗。

步驟2：統(tǒng)計(jì)和分析高峰期的SQL

通過(guò)KWR，對(duì)在業(yè)務(wù)高峰期間影響數(shù)據(jù)庫(kù)性能的SQL進(jìn)行統(tǒng)計(jì)和分析，找出業(yè)務(wù)高峰期引起數(shù)據(jù)庫(kù)性能下降的具體SQL語(yǔ)句。

TOP SQL信息

獲取的KWR報(bào)告中顯示，消耗CPU資源較多的SQL多為Select查詢語(yǔ)句。此外，我們還發(fā)現(xiàn)這些SQL語(yǔ)句結(jié)構(gòu)并不復(fù)雜，通過(guò)對(duì)一些慢查詢的SQL執(zhí)行計(jì)劃分析，絕大部分SQL的執(zhí)行計(jì)劃都比較合理，這些SQL在業(yè)務(wù)低峰時(shí)間段測(cè)試，其查詢響應(yīng)時(shí)間都是毫秒級(jí)，基本排除SQL語(yǔ)句編寫(xiě)較差引起慢查詢，從而導(dǎo)致的性能問(wèn)題。 

小結(jié)

通過(guò)KWR的各種分析，初步結(jié)論為：業(yè)務(wù)峰值期間CPU負(fù)載高，是近期業(yè)務(wù)模塊的并發(fā)訪問(wèn)量急劇增加所導(dǎo)致。目前一主一備的兩個(gè)節(jié)點(diǎn)，主機(jī)已經(jīng)無(wú)法承擔(dān)當(dāng)前的業(yè)務(wù)對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)壓力，需要對(duì)數(shù)據(jù)庫(kù)集群主機(jī)進(jìn)行擴(kuò)容。

安全 | 全面測(cè)試，保障運(yùn)行

集群擴(kuò)容方案分析

問(wèn)題定位清晰之后，接下來(lái)就是和業(yè)務(wù)組討論集群擴(kuò)容的具體方式。

集群擴(kuò)容方式

一般而言，集群擴(kuò)容可采用兩種方式：

垂直擴(kuò)容/Scale up：對(duì)于物理主機(jī)來(lái)講就是提升單臺(tái)主機(jī)的硬件配置（CPU、Memory、Disk等）。

水平擴(kuò)展/Scale out：通過(guò)添加節(jié)點(diǎn)擴(kuò)展集群的負(fù)載能力。

TIPS：垂直擴(kuò)容可以采取主備切換的方式，先對(duì)備庫(kù)進(jìn)行硬件升級(jí)，然后做主備切換，再升級(jí)原主庫(kù)主機(jī)的硬件，客戶端通過(guò)集群VIP地址訪問(wèn)數(shù)據(jù)庫(kù)，不會(huì)影響業(yè)務(wù)的正常訪問(wèn)。但對(duì)于物理主機(jī)來(lái)說(shuō)，CPU和Memory等資源都存在最大容量限制，超過(guò)限制就無(wú)法再提升其配置和性能。

水平擴(kuò)容可以通過(guò)增加主機(jī)的方式來(lái)動(dòng)態(tài)適應(yīng)業(yè)務(wù)的需求，尤其是對(duì)“寫(xiě)少讀多”的業(yè)務(wù)。理論上水平擴(kuò)容可以無(wú)限擴(kuò)容，解決了垂直擴(kuò)容的限制問(wèn)題

KingbaseES V8R6讀寫(xiě)分離集群通過(guò)jdbc驅(qū)動(dòng)對(duì)客戶端的應(yīng)用進(jìn)行判斷，并遵守相應(yīng)分發(fā)原則來(lái)執(zhí)行讀寫(xiě)分離。水平擴(kuò)容在增加了新的備用節(jié)點(diǎn)后，可以將更多對(duì)數(shù)據(jù)庫(kù)只讀的壓力分擔(dān)到多個(gè)備庫(kù)節(jié)點(diǎn)上。

本次項(xiàng)目上線的業(yè)務(wù)，其數(shù)據(jù)庫(kù)訪問(wèn)多以Select查詢?yōu)橹鳎捎诩号渲昧俗x寫(xiě)分離，對(duì)于Select的查詢可以通過(guò)更多的只讀節(jié)點(diǎn)（備庫(kù)）進(jìn)行分擔(dān)，并且添加新節(jié)點(diǎn)都是在線方式，不會(huì)影響業(yè)務(wù)的正常運(yùn)行。綜合前面對(duì)業(yè)務(wù)特點(diǎn)的分析，顯而易見(jiàn)，對(duì)于當(dāng)前的X項(xiàng)目，在線水平擴(kuò)容是最佳選擇。即使未來(lái)X企業(yè)發(fā)展戰(zhàn)略發(fā)生變化，業(yè)務(wù)模塊訪問(wèn)量下降，還可以在線縮容，縮減集群節(jié)點(diǎn)主機(jī)的數(shù)量并移作他用，不會(huì)造成任何資源的浪費(fèi)。

因此，通過(guò)水平擴(kuò)展增加備庫(kù)節(jié)點(diǎn)的方式來(lái)提升此集群的負(fù)載能力，解決性能瓶頸，從經(jīng)濟(jì)效益和技術(shù)可行性來(lái)看，都是一個(gè)比較好的方案。水平擴(kuò)容后的集群架構(gòu)，將從原來(lái)的一主一備集群架構(gòu)擴(kuò)展為一主兩備集群架構(gòu)，通過(guò)新增的備庫(kù)節(jié)點(diǎn)，分擔(dān)更多的只讀查詢，分擔(dān)集群的負(fù)載壓力。

水平擴(kuò)容后的讀寫(xiě)分離的集群架構(gòu)

在線擴(kuò)容操作方式

KingbaseES V8R6讀寫(xiě)分離集群在線水平擴(kuò)容有兩種方式，通過(guò)圖形化的工具在線添加新節(jié)點(diǎn)，或通過(guò)“repmgr standby clone”工具以命令行的方式執(zhí)行新節(jié)點(diǎn)添加。

圖形化擴(kuò)容和命令行擴(kuò)容的對(duì)比表

對(duì)于生產(chǎn)環(huán)境來(lái)講，如果數(shù)據(jù)庫(kù)數(shù)據(jù)量大，通過(guò)圖形化的工具在線添加新節(jié)點(diǎn)會(huì)增加主庫(kù)的網(wǎng)絡(luò)I/O壓力。

所以我們此次采用字符命令行的方式部署擴(kuò)容，在降低主庫(kù)網(wǎng)絡(luò)I/O壓力的同時(shí)，對(duì)新節(jié)點(diǎn)的克隆進(jìn)行定制（如指定數(shù)據(jù)存儲(chǔ)路徑、從指定的節(jié)點(diǎn)克隆等）。

確定了擴(kuò)容方案后，接下來(lái)就需要確定等待新服務(wù)器到位期間的保障方案，以及測(cè)試環(huán)境模擬擴(kuò)容。 

2022年2月22日20:00點(diǎn)

保障業(yè)務(wù)運(yùn)行的臨時(shí)方案

然而，擴(kuò)容方案驗(yàn)證和硬件采購(gòu)還需要兩周的時(shí)間。如何降低系統(tǒng)負(fù)荷，讓用戶業(yè)務(wù)系統(tǒng)安全度過(guò)這兩周的空窗期，是當(dāng)下急需考慮的問(wèn)題。

對(duì)于降低系統(tǒng)負(fù)荷，通常有以下三種方式：

1）業(yè)務(wù)的性能優(yōu)化，包括應(yīng)用層面業(yè)務(wù)邏輯的優(yōu)化，以及數(shù)據(jù)庫(kù)層面SQL運(yùn)行效率的優(yōu)化；

2）暫停部分非必要的應(yīng)用，確保關(guān)鍵應(yīng)用運(yùn)行；

3）調(diào)整批處理定時(shí)任務(wù)運(yùn)行時(shí)段，錯(cuò)峰運(yùn)行。

方案1，對(duì)于SQL性能的優(yōu)化。由于前期我們已經(jīng)幫客戶進(jìn)行了大量的優(yōu)化工作，從KWR報(bào)告的TOPSQL看，目前已無(wú)優(yōu)化的余地。而業(yè)務(wù)層面的邏輯優(yōu)化，需要涉及應(yīng)用的大改造，遠(yuǎn)水解不了近渴。方案2，暫停部分非必要的應(yīng)用。C經(jīng)理將此方案匯報(bào)給上級(jí)領(lǐng)導(dǎo)后，遭到否決，因?yàn)橛脩粢笏袠I(yè)務(wù)必須可訪問(wèn)。

那么，只有第三種方案可選了?？滩蝗菥?，我們緊急查看了服務(wù)器資源利用率的歷史曲線圖，發(fā)現(xiàn)業(yè)務(wù)的運(yùn)行高峰在早上9點(diǎn)到晚上21點(diǎn)之間，而其他時(shí)間CPU利用率不到白天高峰的一半。如果部分批處理定時(shí)任務(wù)能夠調(diào)整到晚上運(yùn)行，就可以降低白天的CPU負(fù)荷。

我們立即梳理了主節(jié)點(diǎn)上操作系統(tǒng)與數(shù)據(jù)庫(kù)定時(shí)任務(wù)，與客戶逐個(gè)分析每個(gè)任務(wù)的關(guān)鍵性。幸運(yùn)的是客戶與業(yè)務(wù)部門(mén)溝通后，答應(yīng)臨時(shí)降低部分定時(shí)任務(wù)的白天運(yùn)行頻率，轉(zhuǎn)而在晚上運(yùn)行。

事不宜遲，我們立即調(diào)整定時(shí)任務(wù)，觀察實(shí)際效果。確認(rèn)白天時(shí)段總體CPU 有5%左右的下降，CPU曲線也更平滑了，調(diào)整取得了立竿見(jiàn)影的效果。

又是一個(gè)通宵達(dá)旦，但業(yè)務(wù)系統(tǒng)運(yùn)行暫時(shí)得到了保障，令我們暫緩了一口氣。接下來(lái)還要繼續(xù)加緊驗(yàn)證測(cè)試擴(kuò)容方案，畢竟調(diào)整批處理定時(shí)任務(wù)只是權(quán)宜之計(jì)。

2022年2月24日8:00點(diǎn)

集群水平擴(kuò)容業(yè)務(wù)模擬壓測(cè)

為了確定最終方案的可行性，我們先在測(cè)試環(huán)境下進(jìn)行集群的擴(kuò)容測(cè)試。

在當(dāng)前一主一備的測(cè)試環(huán)境下，采用命令行方式擴(kuò)容，增加一個(gè)新的備庫(kù)節(jié)點(diǎn)。擴(kuò)容前后分別通過(guò)jmeter工具模擬業(yè)務(wù)對(duì)集群壓測(cè)，以驗(yàn)證方案的正確性。

測(cè)試環(huán)境使用命令行擴(kuò)容，擴(kuò)容完成總共耗時(shí)不到三小時(shí)。擴(kuò)容期間，監(jiān)控集群運(yùn)行正常，業(yè)務(wù)模塊可以正常訪問(wèn)。根據(jù)回退測(cè)試，在擴(kuò)容期間，在線刪除新的備庫(kù)節(jié)點(diǎn)對(duì)原集群運(yùn)行不造成任何影響。

通過(guò)jmeter工具對(duì)集群進(jìn)行性能壓測(cè)，主要采用Select查詢語(yǔ)句測(cè)試數(shù)據(jù)庫(kù)負(fù)載，為了能更好的體現(xiàn)測(cè)試效果，我們采用了簡(jiǎn)單的SQL查詢語(yǔ)句，分別在不同線程數(shù)下，對(duì)數(shù)據(jù)庫(kù)QPS的測(cè)試。結(jié)果顯示，測(cè)試環(huán)境的集群擴(kuò)容為一主兩備的架構(gòu)后，通過(guò)新的備庫(kù)節(jié)點(diǎn)分擔(dān)只讀查詢的訪問(wèn)，QPS相對(duì)于擴(kuò)容前得到了有效的提升，完全滿足了當(dāng)前業(yè)務(wù)的需求。

測(cè)試完成后，我們便與C經(jīng)理一起向領(lǐng)導(dǎo)匯報(bào)了包含臨時(shí)應(yīng)急處置措施和擴(kuò)容壓測(cè)的完整解決方案。X企業(yè)相關(guān)領(lǐng)導(dǎo)對(duì)我們的方案和效率表示高度認(rèn)可，最終拍板采用集群水平擴(kuò)展的方案，來(lái)解決當(dāng)前業(yè)務(wù)增長(zhǎng)產(chǎn)生的性能問(wèn)題。在原來(lái)一主一備的基礎(chǔ)上增加一個(gè)新的備庫(kù)節(jié)點(diǎn)，構(gòu)建一主二備的集群架構(gòu)。接下來(lái)就是等新的服務(wù)器到場(chǎng)后，在生產(chǎn)環(huán)境上實(shí)施在線擴(kuò)容方案。

2022年3月11日8:00點(diǎn)

可靠 | 在線擴(kuò)容，專(zhuān)業(yè)服務(wù)

擴(kuò)容服務(wù)器的硬件網(wǎng)絡(luò)環(huán)境準(zhǔn)備就緒，萬(wàn)事俱備。生成環(huán)境擴(kuò)容操作需要有一定經(jīng)驗(yàn)的技術(shù)人員來(lái)完成，所以由我親自操作，同事Z從旁監(jiān)控，雙重保險(xiǎn)。為減輕對(duì)X公司當(dāng)前業(yè)務(wù)的影響，按照原有的計(jì)劃于周六的凌晨12點(diǎn)，在業(yè)務(wù)低峰期正式開(kāi)始在線擴(kuò)容。白天繼續(xù)做一些環(huán)境準(zhǔn)備工作。

2022年3月12日0:00點(diǎn)

凌晨12點(diǎn)準(zhǔn)時(shí)開(kāi)始在線擴(kuò)容。做好數(shù)據(jù)備份工作后，正式開(kāi)始操作擴(kuò)容。

操作步驟如下：

1）配置新節(jié)點(diǎn)的系統(tǒng)環(huán)境（如網(wǎng)絡(luò)、ssh互信、內(nèi)核資源管理、防火墻配置等）。

2）從已有的節(jié)點(diǎn)（備庫(kù)）上傳集群相關(guān)目錄（除了data目錄）外，到新的節(jié)點(diǎn)。

3）修改新備節(jié)點(diǎn)下的repmgr.conf配置，指定節(jié)點(diǎn)ip、節(jié)點(diǎn)名稱、數(shù)據(jù)存儲(chǔ)路徑等。

4）在原主庫(kù)下創(chuàng)建復(fù)制槽（replication slots）。

5）在新的備節(jié)點(diǎn)執(zhí)行備庫(kù)克隆(-h：指定已有備庫(kù)節(jié)點(diǎn)的ip)

6）啟動(dòng)新備庫(kù)數(shù)據(jù)庫(kù)服務(wù)，注冊(cè)新的備庫(kù)到集群完成克隆。 

此次生產(chǎn)數(shù)據(jù)600G以上，完成在線擴(kuò)容實(shí)施共花費(fèi)兩個(gè)半個(gè)小時(shí)。在擴(kuò)容期間，監(jiān)控生產(chǎn)業(yè)務(wù)的運(yùn)行，沒(méi)有發(fā)現(xiàn)生產(chǎn)業(yè)務(wù)訪問(wèn)和業(yè)務(wù)的故障問(wèn)題。

凌晨2點(diǎn)半，本次集群在線擴(kuò)容操作順利完成。擴(kuò)容結(jié)束后，系統(tǒng)運(yùn)維人員對(duì)業(yè)務(wù)系統(tǒng)的所有模塊進(jìn)行了功能測(cè)試，所有業(yè)務(wù)模塊運(yùn)轉(zhuǎn)正常。功能全部正常，接下來(lái)就是等待業(yè)務(wù)高峰期的系統(tǒng)性能檢驗(yàn)。

轉(zhuǎn)眼凌晨5點(diǎn)半，但我們困意全無(wú)。為保險(xiǎn)起見(jiàn)，我還是決定對(duì)擴(kuò)容后集群環(huán)境先做一個(gè)性能壓力測(cè)試。再次通過(guò)jmeter工具對(duì)集群進(jìn)行性能壓測(cè)，測(cè)試結(jié)果顯示，在線擴(kuò)容構(gòu)建一主兩備的集群架構(gòu)后，訪問(wèn)性能得到極大的提升，一主兩備的架構(gòu)完全可以承載當(dāng)前及未來(lái)一段時(shí)間的業(yè)務(wù)壓力。

旭日東升，壓測(cè)完成后已經(jīng)早上7點(diǎn)，我們正式下班，準(zhǔn)備接受下周一正式業(yè)務(wù)高峰期的檢驗(yàn)。 

2022年3月14日9:00點(diǎn)

星期一到了，我們?cè)诟叻迤陂g進(jìn)行性能監(jiān)控，集群主機(jī)節(jié)點(diǎn)CPU的負(fù)載一直都在低位運(yùn)行，完全達(dá)到了擴(kuò)容前的預(yù)期結(jié)果，業(yè)務(wù)訪問(wèn)的效率得到了有效的提升。本次KingbaseES讀寫(xiě)分離集群在線水平擴(kuò)容圓滿結(jié)束。

項(xiàng)目擴(kuò)容順利完成，終于如釋重負(fù)。激動(dòng)并欣慰，作為金倉(cāng)人，為國(guó)產(chǎn)化信息事業(yè)建設(shè)又出了一份力。C經(jīng)理代表業(yè)務(wù)組對(duì)我們金倉(cāng)數(shù)據(jù)庫(kù)的技術(shù)服務(wù)響應(yīng)速度和解決問(wèn)題的能力，表示充分肯定和感謝。保障客戶的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)正常運(yùn)行是我們的責(zé)任，以后需要再接再厲，為數(shù)據(jù)庫(kù)國(guó)產(chǎn)化事業(yè)添磚加瓦。

結(jié)語(yǔ)

本次項(xiàng)目依靠金倉(cāng)的性能分析利器KWR、穩(wěn)定運(yùn)行的KingbaseES集群，以及專(zhuān)業(yè)的金倉(cāng)技術(shù)服務(wù)團(tuán)隊(duì)，通過(guò)KWR分析能快速定位到問(wèn)題，金倉(cāng)KingbaseES數(shù)據(jù)庫(kù)集群支持在線平滑擴(kuò)容，所以經(jīng)過(guò)金倉(cāng)技術(shù)工程師分析、測(cè)試和操作，迅速解決了業(yè)務(wù)運(yùn)行性能瓶頸問(wèn)題。

KingbaseES V8R6讀寫(xiě)分離集群的在線擴(kuò)容功能，可以實(shí)現(xiàn)在線平滑擴(kuò)容，在不影響企業(yè)業(yè)務(wù)的前提下快速解決企業(yè)面臨的性能瓶頸問(wèn)題。并且在企業(yè)前期業(yè)務(wù)需求較少的情況下，只需要投入少量資金，構(gòu)建最基本集群架構(gòu)，以滿足當(dāng)前的業(yè)務(wù)需求，在后期業(yè)務(wù)需求增大的情況下，只需要按需增加集群的節(jié)點(diǎn)，不會(huì)造成前期資金大量投入的浪費(fèi)，提升企業(yè)的投入產(chǎn)出比，獲取更好的經(jīng)濟(jì)效益。

金倉(cāng)數(shù)據(jù)庫(kù)專(zhuān)業(yè)的技術(shù)服務(wù)團(tuán)隊(duì)及時(shí)響應(yīng)客戶的在線擴(kuò)容需求，為您提供速度、安全、可靠的技術(shù)服務(wù)，堅(jiān)持7*24小時(shí)為客戶保駕護(hù)航。

轉(zhuǎn)自：砍柴網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀