海量儲存需求凸顯與分布式文件系統(tǒng)存儲工作原理
來源:數(shù)字音視工程網(wǎng) 編輯:ann 2013-01-08 00:00:00 加入收藏
隨著監(jiān)控對存儲系統(tǒng)的容量、擴展性、性價比、性能、 管理性、穩(wěn)定性等都提出了新的要求,傳統(tǒng)的存儲方式已經(jīng)不能滿足要求。為滿足安防視頻監(jiān)控的新要求,解決城市級海量視頻數(shù)據(jù)存儲、檢索難題,以視頻、圖片文件存儲和管理為核心的面向大規(guī)模數(shù)據(jù)密集型應(yīng)用的、可伸縮的分布式文件系統(tǒng)SDFS被提出。
分布式文件系統(tǒng)存儲工作原理
SDFS它通過分布式集群架構(gòu)將網(wǎng)絡(luò)中普通PC、通用服務(wù)器及各種存儲設(shè)備集合起來協(xié)同工作,并通過專用數(shù)據(jù)接口,向用戶提供海量數(shù)據(jù)存儲、管理和訪問服務(wù)。部署方式上支持全網(wǎng)分散部署,或
在數(shù)據(jù)中心集中部署。存儲介質(zhì)支持普通硬盤及通用存儲設(shè)備。在普通PC或通用服務(wù)器集群上部署的SDFS可以達到NAS/SAN的冗余及可靠性,同時又能提供NAS/SAN無法達到的高吞吐量及強大的水平擴展
能力。
SDFS通過元數(shù)據(jù)和存儲數(shù)據(jù)分離,控制流和數(shù)據(jù)流分離,通過負載均衡和數(shù)據(jù)并發(fā)訪問策略,在普通硬件條件下獲得高效的傳輸速率以及PB級的存儲容量,SDFS針對音視頻文件進行特別優(yōu)化,支持
分布式集群架構(gòu)下的音視頻文件幀級別的查詢及定位。為安防視頻監(jiān)控實現(xiàn)智能分析、智能檢索奠定基礎(chǔ)。
監(jiān)控存儲分布式文件系統(tǒng)技術(shù)特點
分布式文件系統(tǒng)SDFS(SkyDistributedFileSystem)滿足安防視頻監(jiān)控的新要求,解決城市級海量視頻數(shù)據(jù)存儲、檢索難題,以視頻、圖片文件存儲和管理為核心的面向大規(guī)模數(shù)據(jù)密集型應(yīng)用的、可
伸縮.
1、多服務(wù)器同時對外服務(wù)
SDFS性能優(yōu)異,支持高并發(fā)、帶寬飽和利用。云存儲系統(tǒng)將控制流和數(shù)據(jù)流分離,數(shù)據(jù)訪問時多個存儲服務(wù)器同時對外提供服務(wù),實現(xiàn)高并發(fā)訪問。自動均衡負載,將不同客戶端的訪問負載均衡到
不同的存儲服務(wù)器上。系統(tǒng)性能隨節(jié)點規(guī)模的增加呈線性增長。系統(tǒng)的規(guī)模越大,云存儲系統(tǒng)的優(yōu)勢越明顯,沒有性能瓶頸。有利于超大規(guī)模城市級監(jiān)控網(wǎng)絡(luò)的形成。
2、多數(shù)據(jù)塊副本實現(xiàn)冗余
高度可靠,采用多個數(shù)據(jù)塊副本的方式實現(xiàn)冗余可靠,數(shù)據(jù)在不同的存儲節(jié)點上具有多個塊副本,任意節(jié)點發(fā)生故障,系統(tǒng)將自動復(fù)制數(shù)據(jù)塊副本到新的存儲節(jié)點上,數(shù)據(jù)不丟失,實現(xiàn)數(shù)據(jù)完整可
靠;并支持通過編解碼算法的方式實現(xiàn)高度可靠,任意同時損壞多個存儲節(jié)點,數(shù)據(jù)可通過算法解碼自動恢復(fù)。該特性可適用于對數(shù)據(jù)安全級別極高的場合,同時相對于副本冗余的可靠性實現(xiàn)方式大大
提高了磁盤空間利用率,不到40%的磁盤冗余即可實現(xiàn)任意同時損壞三個存儲節(jié)點而不丟失數(shù)據(jù)。
元數(shù)據(jù)管理節(jié)點采用多機同步熱備份的高可用方式容錯,其中任一臺服務(wù)器故障,可無縫自動切換到另一臺服務(wù)器,服務(wù)不間斷。整個系統(tǒng)無單點故障,硬件故障自動屏蔽。
3、動態(tài)增減存儲節(jié)點
SDFS(SkyDistributedFileSystem)云存儲系統(tǒng)所有管理工作由云存儲系統(tǒng)管理監(jiān)控中心完成,使用人員無需任何專業(yè)知識便可以輕松地管理整個系統(tǒng)。通過專業(yè)的分布式集群監(jiān)控子系統(tǒng)對SDFS所有
節(jié)點實行無間斷監(jiān)控,用戶通過界面可以清楚地了解到每一個節(jié)點的運行情況。
在線伸縮,可以在不停止服務(wù)的情況下,動態(tài)加入新的存儲節(jié)點,只需簡單操作,即可實現(xiàn)系統(tǒng)容量從TB級向PB級平滑擴展;也可以摘下任意節(jié)點,系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù),并自動將摘下
的節(jié)點上的數(shù)據(jù)備份到其他節(jié)點上,保證整個系統(tǒng)數(shù)據(jù)的冗余數(shù)不變。并同步提升讀寫及網(wǎng)絡(luò)性能。
4、降低建設(shè)和運營成本
降低建設(shè)和運營成本,作為整個平臺的基礎(chǔ)層,文件系統(tǒng)和數(shù)據(jù)倉庫以廉價的高存儲PC或者單板機代替以往的小型機,聯(lián)合提供極高的運算能力和極低的存儲成本!采用分布式計算和存儲,結(jié)合優(yōu)
化的硬件,通過集群化運維管理系統(tǒng),實現(xiàn)計算,存儲,網(wǎng)絡(luò)等資源的動態(tài)分配及部署,大大提高資源使用率。
云存儲將推動安防視頻監(jiān)控系統(tǒng)向著集通信、運算、存儲及應(yīng)用于一身的統(tǒng)一平臺發(fā)展,而不是整體系統(tǒng)中重復(fù)建設(shè)的一個IT子系統(tǒng)。
關(guān)于分布式文件系統(tǒng)
分布式文件系統(tǒng)(DistributedFileSystem)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上,而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。分布式文件系統(tǒng)的設(shè)計基于客戶機/服務(wù)器模式。一個
典型的網(wǎng)絡(luò)可能包括多個供多用戶訪問的服務(wù)器。另外,對等特性允許一些系統(tǒng)扮演客戶機和服務(wù)器的雙重角色。例如,用戶可以“發(fā)表”一個允許其他客戶機訪問的目錄,一旦被訪問,這個目錄對客
戶機來說就象使用本地驅(qū)動器一樣,下面是三個基本的分布式文件系統(tǒng)。
評論comment