東莞監(jiān)控安裝闡述云存儲系統(tǒng)難點技術(shù)解析

        云存儲在系統(tǒng)架構(gòu)和設(shè)計上，充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實，采用先進的管理思想和軟件系統(tǒng)，實現(xiàn)對大量普通存儲服務(wù)器存儲空間資源進行虛擬化整合，實現(xiàn)軟硬件故障高度容錯，搭建高度穩(wěn)定可靠的存儲集群。系統(tǒng)整體為應(yīng)用提供統(tǒng)一命名空間，使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負載均衡到集群內(nèi)的各節(jié)點上，充分利用集群各節(jié)點性能，以獲得很好的性能聚合能力以及保證了系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術(shù)，提供簡易部署和維護功能，系統(tǒng)在數(shù)據(jù)可靠方面，采用智能冗余重建技術(shù)，保證較高磁盤利用率的前提下，提供最佳冗余策略。另外，系統(tǒng)在節(jié)點軟硬件故障容錯方面，也進行充分考慮，具備屏蔽所有可屏蔽錯誤能力。

         快速文件索引技術(shù)

         云存儲系統(tǒng)可以支持上億級的文件，同時還需要支持上千個用戶同時訪問。這么大規(guī)模的元數(shù)據(jù)和并發(fā)訪問量，采用傳統(tǒng)的內(nèi)存加盟磁盤多級存儲，以及多級索引方式，尋址的開銷將非常大，直接影響到系統(tǒng)的可用性。為了提高系統(tǒng)的響應(yīng)速度，云存儲一般采用粗粒度的管理方式，以64M作為典型的塊大小進行索引，大幅減少元數(shù)據(jù)的數(shù)量，即使如此，系統(tǒng)的元數(shù)據(jù)規(guī)模還是會達到GB級別?；谶@種情況，系統(tǒng)采用全內(nèi)存態(tài)的元數(shù)據(jù)訪問模式，可以將文件尋址時間降到毫秒級別。

        負載自動均衡技術(shù)

        采用中心服務(wù)器模式來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上、文件則被按塊劃分存儲在不同的數(shù)據(jù)節(jié)點上。元數(shù)據(jù)維護了統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點的使用情況，當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請求時，元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點的磁盤使用情況、網(wǎng)絡(luò)負擔(dān)等情況，選擇負擔(dān)最輕的節(jié)點服務(wù)器對外提供服務(wù)，自動調(diào)解集群的負載狀態(tài)。數(shù)據(jù)節(jié)點內(nèi)同時有提供磁盤級的負載均衡，根據(jù)磁盤的10負載，空間容量情況，自動選擇負載最輕的磁盤存儲新的數(shù)據(jù)文件。另外對故障的數(shù)據(jù)節(jié)點上的數(shù)據(jù)快速恢復(fù)，只需將數(shù)據(jù)節(jié)點上的硬盤撥出，插入到其他數(shù)據(jù)節(jié)點，這樣即減少集群對數(shù)據(jù)恢復(fù)的壓力，又不對客戶端讀寫產(chǎn)生影響。

         高速并發(fā)訪問技術(shù)

        客戶端在訪問云存儲時，首先訪問元數(shù)據(jù)服務(wù)器，獲取將要與之進行交互的數(shù)據(jù)節(jié)點信息，然后直接訪問這些數(shù)據(jù)節(jié)點完成數(shù)據(jù)存取?？蛻舳伺c元數(shù)據(jù)服務(wù)器之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了元數(shù)據(jù)服務(wù)器的負載，使之不成為系統(tǒng)性能的一個瓶頸?？蛻舳伺c數(shù)據(jù)節(jié)點之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個節(jié)點之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個節(jié)點進行分布式存儲，客戶端可以同時訪問多個節(jié)點服務(wù)器，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。通常情況下，系統(tǒng)的整個吞吐率與節(jié)點服務(wù)器的數(shù)據(jù)呈正比。

         高可靠性保證技術(shù)

         對于元數(shù)據(jù)，通過操作日志來提供容錯功能。主要服務(wù)器本地SSD盤組建高可靠RAIDI，提供高可靠容錯能力。當(dāng)元數(shù)據(jù)服務(wù)器發(fā)生故障時，在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。且操作日志在主備元數(shù)據(jù)服務(wù)器之間實時同步，實現(xiàn)更高程度的可靠性。對于節(jié)點服務(wù)器，采用Erasure Code冗余方式實現(xiàn)容錯，數(shù)據(jù)冗余分布存儲在不同的數(shù)據(jù)節(jié)點上。任一數(shù)據(jù)節(jié)點的損壞，不會導(dǎo)致任何數(shù)據(jù)丟失，不會影響任何的數(shù)據(jù)訪問和寫入過程。之后，通過靈活數(shù)據(jù)恢復(fù)機制，進行數(shù)據(jù)重建過程。集群規(guī)模越大，恢復(fù)速度越快。

        以上文章來源由東莞監(jiān)控安裝http://www.shlyx.com創(chuàng)通寶科技整理提供。