柏睿實(shí)時(shí)云數(shù)倉(cāng)之「性能優(yōu)化篇」· 實(shí)戰(zhàn)分享

柏睿實(shí)時(shí)云數(shù)倉(cāng)性能優(yōu)化篇來(lái)也！本文分享實(shí)戰(zhàn)經(jīng)驗(yàn)。前情可前往歷史文章回顧～

RapidsDB在云端的整體優(yōu)化，可以概括為計(jì)算、存柏睿分布式內(nèi)存數(shù)據(jù)庫(kù)儲(chǔ)、網(wǎng)絡(luò)三個(gè)方面，我們?cè)谶@里分別做一些介紹。

再次強(qiáng)調(diào)我們優(yōu)化的整體思路：雖然云計(jì)算號(hào)稱“按需付費(fèi)”，但如果不精打細(xì)算，使用成本反而會(huì)增加很多。因此我們?cè)趦?yōu)化柏睿實(shí)時(shí)云數(shù)倉(cāng)的主要思路是：在成本可控的情況下，通過(guò)優(yōu)化相關(guān)的云資源，提升柏睿分布式內(nèi)存數(shù)據(jù)庫(kù)的性能。

一、計(jì)算如何優(yōu)化？

在第二篇“根據(jù)CPU選云主機(jī)”中已介紹過(guò)如何選擇CPU和云主機(jī)類型，對(duì)于“團(tuán)隊(duì)作戰(zhàn)”的RapidsDB集群，單純提升CPU 一點(diǎn)點(diǎn)頻率效果不會(huì)很明顯。

將數(shù)據(jù)庫(kù)集群規(guī)模擴(kuò)大，將任務(wù)分配到更多的數(shù)據(jù)庫(kù)節(jié)點(diǎn)，這才是提升性能的最直接而有效的方法。由于是團(tuán)隊(duì)作戰(zhàn)，所以要求所有數(shù)據(jù)庫(kù)節(jié)點(diǎn)CPU和內(nèi)存配置是統(tǒng)一的，以方便統(tǒng)一調(diào)度管理。

CPU與內(nèi)存的配置比率，我們?cè)凇斑x擇內(nèi)存容量”中已介紹過(guò)，推薦1：4或1：8。但在數(shù)據(jù)庫(kù)中還是需要一些優(yōu)化設(shè)置的。

RapidsDB是一個(gè)高度可擴(kuò)展的分布式系統(tǒng)，運(yùn)行在Linux 系統(tǒng)中。在每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)，通過(guò)本節(jié)點(diǎn)的數(shù)據(jù)分區(qū)技術(shù)，實(shí)現(xiàn)多任務(wù)并行操作。例如在一個(gè)8vCPU的數(shù)據(jù)庫(kù)云主機(jī)節(jié)點(diǎn)，數(shù)據(jù)的分區(qū)數(shù)據(jù)量為8。

最后再對(duì)操作系統(tǒng)做一些常規(guī)的優(yōu)化，如打開(kāi)文件數(shù)量等。由于一些云廠商會(huì)調(diào)整優(yōu)化Linux內(nèi)核，因此不建議調(diào)整云主機(jī)的內(nèi)核。

下圖是不同規(guī)模的實(shí)時(shí)云數(shù)倉(cāng)集群，在TPC-H 500G的測(cè)試數(shù)據(jù)量性能報(bào)表，能看到整體計(jì)算性能隨著節(jié)點(diǎn)數(shù)量的增加而提升。

二、存儲(chǔ)如何優(yōu)化？

在“選擇云硬盤”中已介紹過(guò)如何選擇硬盤，對(duì)于“團(tuán)隊(duì)作戰(zhàn)”的RapidsDB集群，單純提升云主機(jī)一點(diǎn)點(diǎn)IO能力，性能提升效果不會(huì)很明顯。

將數(shù)據(jù)庫(kù)的存儲(chǔ)設(shè)置為獨(dú)立磁盤，避免與其他程序同時(shí)讀寫同一磁盤，這將會(huì)大幅度提升數(shù)據(jù)庫(kù)的存儲(chǔ)能力。

如果在云中運(yùn)行的RapidsDB所在的業(yè)務(wù)有很頻繁的磁盤性能要求，可以通過(guò)在云主機(jī)中增加多塊云硬盤，組成RAID 0，實(shí)現(xiàn)更高的讀寫性能。對(duì)于為什么不做RAID 5，可以參考柏睿實(shí)時(shí)云數(shù)倉(cāng)的安全文章。

下圖是不同規(guī)模的實(shí)時(shí)云數(shù)倉(cāng)集群，從華為云存儲(chǔ)加載數(shù)據(jù)的時(shí)間，能看到隨著節(jié)點(diǎn)數(shù)量的增加，文件加載性能也有提升。

三、網(wǎng)絡(luò)如何優(yōu)化？

在“選擇網(wǎng)絡(luò)能力”中已介紹過(guò)如何選擇網(wǎng)絡(luò)，很多人認(rèn)為云主機(jī)在內(nèi)網(wǎng)通訊的速度會(huì)很快，但在實(shí)際測(cè)試過(guò)程中，我們還發(fā)現(xiàn)一個(gè)隱含的小問(wèn)題：

云廠商在不同物理位置有區(qū)域，在每個(gè)區(qū)域中又有不同的可用區(qū)。比如華為云在北京四區(qū)有4個(gè)可用區(qū)。

雖然在北京四這個(gè)區(qū)域中，每個(gè)可用區(qū)之間的網(wǎng)絡(luò)通信都是內(nèi)網(wǎng)，但跨可用區(qū)網(wǎng)絡(luò)通信時(shí)，網(wǎng)絡(luò)延時(shí)會(huì)增加。下面是通過(guò)ping不同可用區(qū)之間的延時(shí)比較：

PING本可用區(qū)云主機(jī)延時(shí)

PING其他可用區(qū)云主機(jī)延時(shí)

從上面PING的測(cè)試數(shù)據(jù)能看到，跨可用區(qū)的網(wǎng)絡(luò)訪問(wèn)對(duì)于柏睿云數(shù)倉(cāng)這種分布式數(shù)據(jù)庫(kù)來(lái)說(shuō)，還是有網(wǎng)絡(luò)影響的。如果需要高性能，還是將所有數(shù)據(jù)庫(kù)節(jié)點(diǎn)部署在同一可用區(qū)，如果出于數(shù)據(jù)安全考慮，可以參考原柏睿實(shí)時(shí)云數(shù)倉(cāng)的安全文章，使用數(shù)據(jù)多副本并將數(shù)據(jù)庫(kù)節(jié)點(diǎn)部署在不同可用區(qū)。

最后，雖然在云計(jì)算環(huán)境中不建議調(diào)整網(wǎng)絡(luò)幀大小，但可以對(duì)一些常規(guī)網(wǎng)絡(luò)參數(shù)調(diào)整，如調(diào)整重試次數(shù)、FIN完成時(shí)間等。

下圖是不同規(guī)模的實(shí)時(shí)云數(shù)倉(cāng)集群，網(wǎng)絡(luò)流量性能報(bào)表，能看到隨著節(jié)點(diǎn)數(shù)量的增加，網(wǎng)絡(luò)性能也有提升。

四、成本如何優(yōu)化？

由于是團(tuán)隊(duì)作戰(zhàn)，所以要求所有數(shù)據(jù)庫(kù)節(jié)點(diǎn)配置是統(tǒng)一的，以方便統(tǒng)一調(diào)度管理。

隨著集群規(guī)模的擴(kuò)大，使用成本也會(huì)擴(kuò)大?；赗apidsDB的實(shí)時(shí)云數(shù)倉(cāng)，使用云原生微服務(wù)架構(gòu)，支持在線彈性增加、刪除數(shù)據(jù)庫(kù)節(jié)點(diǎn)，用戶在處理大型任務(wù)時(shí)彈性增加數(shù)據(jù)庫(kù)集群規(guī)模，在不需要高性能計(jì)算時(shí)可以減少數(shù)據(jù)庫(kù)集群規(guī)模，以實(shí)現(xiàn)云成本的優(yōu)化。

守正出奇

最后，引用馮侖的自著《野蠻生長(zhǎng)》中對(duì)“守正出奇”的修改：

“守正出奇”，“正”正路、正道，“奇”出人意料，“守正出奇”正道而行。突破思維、出奇制勝。就是用百分之七十的時(shí)間去想“正確”的優(yōu)化方向，用百分之三十的時(shí)間研究運(yùn)行環(huán)境與業(yè)務(wù)需求的變通。既不墨守成規(guī)，又有創(chuàng)新。

轉(zhuǎn)自：太平洋財(cái)富網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀