安防存儲(chǔ)中的新RAID技術(shù)
來源:數(shù)字音視工程網(wǎng) 作者:??低?張龍君 編輯:航行150 2014-10-16 09:10:41 加入收藏
近年來,隨著信息技術(shù)的不斷發(fā)展以及安防產(chǎn)品與系統(tǒng)的普及應(yīng)用,安防行業(yè)的數(shù)據(jù)安全問題不斷受到人們的重視。隨著高清監(jiān)控的快速發(fā)展,平安城市、智慧城市等大型項(xiàng)目的大量鋪開,數(shù)據(jù)量不斷增大,隨之而帶來的大數(shù)據(jù)下的存儲(chǔ)問題及數(shù)據(jù)安全問題,逐漸成為視頻網(wǎng)路監(jiān)控領(lǐng)域里新的課題。
安放數(shù)據(jù)的存儲(chǔ)伴隨著安防技術(shù)和存儲(chǔ)技術(shù)共同發(fā)展。先后經(jīng)歷里模擬前端+DVR存儲(chǔ)、模擬前端+DVS/DVR+網(wǎng)絡(luò)存儲(chǔ)、網(wǎng)絡(luò)前端+NVR、網(wǎng)絡(luò)前端+網(wǎng)絡(luò)存儲(chǔ)等階段。現(xiàn)在隨著網(wǎng)絡(luò)帶寬的提高,使得高清應(yīng)用越來越普遍,進(jìn)而對(duì)安防存儲(chǔ)系統(tǒng)提出了更高的要求。
一、安防數(shù)據(jù)存儲(chǔ)新需求
當(dāng)今安防發(fā)展特點(diǎn)可以概括為以下三點(diǎn):
1)高清化
l 高線模擬:600/650/700線模擬攝像機(jī)+高分辨率DVR
l 數(shù)字高清:SDI/HDSDI,HDCCTV
l 高清網(wǎng)絡(luò):130萬/200萬/500萬IPC+HDVR+NVR,4K應(yīng)用
2)智能化
l 從事后追責(zé),被動(dòng)應(yīng)用過渡到事先防控、主動(dòng)防御,進(jìn)一步解放人力、提高效率
l 從技術(shù)層面的智能分析進(jìn)入實(shí)戰(zhàn)應(yīng)用用階段,如周界防范、人員追蹤等,已經(jīng)在公安、交通、金融、司法等行業(yè)開始使用
3)融合應(yīng)用
從單系統(tǒng)獨(dú)立使用進(jìn)入多系統(tǒng)平臺(tái)融合使用階段,主要表現(xiàn)為
l 大容量視頻信息匯集、共享
l 安防系統(tǒng)內(nèi)部整合,對(duì)接上層業(yè)務(wù)管理系統(tǒng)
l 多系統(tǒng)融合,比如應(yīng)急聯(lián)動(dòng)、緊急布控、公安消防等
l 安防與IT技術(shù)高度融合
根據(jù)當(dāng)前安防系統(tǒng)新需求,對(duì)安防存儲(chǔ)系統(tǒng)的要求可以總結(jié)如下圖。
二、安防存儲(chǔ)新技術(shù):從底層保護(hù)數(shù)據(jù)安全
從以上分析可知,安防系統(tǒng)已經(jīng)步入實(shí)戰(zhàn)階段,而智能分析、主動(dòng)防御、融合應(yīng)用的實(shí)戰(zhàn)操作必須建立在可靠的監(jiān)控?cái)?shù)據(jù)存儲(chǔ)系統(tǒng)上。這里介紹兩種RAID技術(shù),該技術(shù)可以從底層保證數(shù)據(jù)的安全存儲(chǔ)。
1、VRAID(VedioRAID)技術(shù)
RAID技術(shù)已經(jīng)很熟悉,屬于磁盤陣列的基礎(chǔ)技術(shù),經(jīng)過不斷發(fā)展,現(xiàn)在已經(jīng)有了從RAID 0 到RAID7八種基本的RAID級(jí)別和類似RAID 10、RAID 50的二維RAID。不同的RAID級(jí)別可以為用戶提供相應(yīng)的RAID性能和數(shù)據(jù)安全性。但任何一種RAID技術(shù)都有故障盤容忍限度,即壞盤數(shù)量達(dá)到一定數(shù)量后整個(gè)RAID組失效,其中的數(shù)據(jù)全部丟失。例如,傳統(tǒng)RAID5中,一塊硬盤損壞時(shí),RAID通過冗余機(jī)制可以保證數(shù)據(jù)不丟失,但當(dāng)硬盤損壞2塊以上,很不幸RAID5已經(jīng)不能幫你恢復(fù)硬盤數(shù)據(jù),一般來說只好和你的所有數(shù)據(jù)說bye bye了!
這里介紹的VRAID技術(shù)是一種面向安防應(yīng)用的新RAID技術(shù)(??低?/a>針對(duì)視頻應(yīng)用推出的全新技術(shù))。VRAID技術(shù)可以有效的解決傳統(tǒng)RAID中多(2或以上)塊硬盤損壞后,整個(gè)RAID組中數(shù)據(jù)完全丟失的問題。即VRAID中壞2塊盤以上(理想情況下只要有1塊可用盤即可),剩余好盤中的數(shù)據(jù)仍然可讀,同時(shí)新數(shù)據(jù)可持續(xù)寫入。
技術(shù)原理:VRAID的實(shí)現(xiàn)是立足于存儲(chǔ)設(shè)備底層不同于傳統(tǒng)文件系統(tǒng)的流媒體數(shù)據(jù)管理結(jié)構(gòu)和RAID優(yōu)化技術(shù)來。當(dāng)VRAID中多塊盤損壞時(shí),在流媒體數(shù)據(jù)管理結(jié)構(gòu)下,好盤上各個(gè)條帶中的視頻數(shù)據(jù)仍可獨(dú)立播放;播放到壞盤條帶時(shí),直接自動(dòng)跳過并且自然播放下一個(gè)可用條帶上的數(shù)據(jù),保證錄像畫面播放流暢。同時(shí)新數(shù)據(jù)傳輸過來時(shí),仍然可寫。
2、網(wǎng)絡(luò)RAID技術(shù)
傳統(tǒng)RAID受限于硬盤數(shù)量,在數(shù)據(jù)容量劇增的年代無法滿足企業(yè)對(duì)資源統(tǒng)一靈活調(diào)配的需求。存儲(chǔ)智能高效的發(fā)展趨勢要求底層的數(shù)據(jù)分布架構(gòu)必須具有高度靈活性和擴(kuò)展性,隨著硬盤容量的增大,以硬盤為單位對(duì)數(shù)據(jù)進(jìn)行管理也顯得越來越力不從心。一般的磁盤陣列只能在同一個(gè)物理節(jié)點(diǎn)內(nèi)部做RAID,且一個(gè)硬盤只能位于一個(gè)RAID組內(nèi),當(dāng)發(fā)生控制器宕機(jī)或者磁盤損壞,這時(shí)所有數(shù)據(jù)就都都丟失了,這是傳統(tǒng)的磁盤陣列RAID可用性方面比較大的劣勢。
網(wǎng)絡(luò)RAID是一種Scale out技術(shù),通過網(wǎng)絡(luò)通訊可以在不同的物理節(jié)點(diǎn)之間建立RAID。并且組成RAID的基本單元不再是整個(gè)硬盤,而是每個(gè)硬盤Chunk塊,一個(gè)硬盤可以處于多個(gè)RAID組中。當(dāng)某個(gè)物理節(jié)點(diǎn)宕機(jī)后,整個(gè)系統(tǒng)的數(shù)據(jù)可以通過其他物理節(jié)點(diǎn)恢復(fù)出來;單個(gè)硬盤故障時(shí),可以由多個(gè)磁盤共同參與重構(gòu),重構(gòu)過程可在分鐘級(jí)內(nèi)完成。
技術(shù)原理:
1)把各個(gè)物理節(jié)點(diǎn)的所有硬盤劃分為Chunk塊
2)基于不同物理節(jié)點(diǎn)的硬盤Chunk塊創(chuàng)建RAID
整個(gè)RAID是基于Chunk來建立,Chunk來自不同的物理節(jié)點(diǎn)的磁盤。整個(gè)RAID組可以由所有物理節(jié)點(diǎn)(一塊或多塊硬盤)共同構(gòu)建。
第一組RAID:3+1——3個(gè)有效數(shù)據(jù),1個(gè)校驗(yàn)數(shù)據(jù)
第二組RAID:3+2——3個(gè)有效數(shù)據(jù),2個(gè)校驗(yàn)數(shù)據(jù)
3)單塊硬盤故障及處理
一塊硬盤可以位于多組RAID中,因此當(dāng)單塊硬盤損壞時(shí),會(huì)有多組RAID共同進(jìn)行重構(gòu)計(jì)算,極限情況下所有硬盤同時(shí)參與重構(gòu)計(jì)算,速度比普通RAID時(shí)大幅提高,可達(dá)分鐘甚至秒級(jí)。
4)整個(gè)物理節(jié)點(diǎn)故障及處理
假設(shè)第三臺(tái)設(shè)備故障。普通RAID時(shí),整臺(tái)設(shè)備的數(shù)據(jù)丟失。
在網(wǎng)絡(luò)RAID中,對(duì)各RAID的影響如下圖。每組RAID中只有部分Chunk數(shù)據(jù)丟失,通過該RAID中的剩余數(shù)據(jù)塊,是可以完全恢復(fù)的。
3+1RAID 3+2RAID
網(wǎng)絡(luò)RAID雖然稱為RAID,實(shí)際是分布式存儲(chǔ)技術(shù)??梢越鉀Q普通RAID下重構(gòu)時(shí)間長,多個(gè)存儲(chǔ)節(jié)點(diǎn)堆砌應(yīng)用時(shí)的管理負(fù)擔(dān)大,無法滿足熱點(diǎn)需求,節(jié)點(diǎn)故障時(shí)數(shù)據(jù)丟失等問題,消除更大的系統(tǒng)可用性風(fēng)險(xiǎn)。
在網(wǎng)絡(luò)RAID中,不再以整盤作為管理單位和校驗(yàn)單位,磁盤分段(Chunk)管理,化整為零,提供精細(xì)化管理、高級(jí)別容錯(cuò)和高性能數(shù)據(jù)恢復(fù),為數(shù)據(jù)存儲(chǔ)提供高可靠性。
在網(wǎng)絡(luò)RAID中,一般磁盤錯(cuò)誤,可以在秒級(jí)重構(gòu)完成;磁盤失效時(shí),大量磁盤參與重構(gòu),加速重構(gòu)過程數(shù)十倍;存儲(chǔ)資源跨節(jié)點(diǎn)分配,管理更簡單,更重要的是整個(gè)節(jié)點(diǎn)故障時(shí),可保證數(shù)據(jù)不丟失。高度容錯(cuò)設(shè)計(jì),無論是壞盤還是節(jié)點(diǎn)更換和擴(kuò)容,均能簡單應(yīng)對(duì)和實(shí)施,從而提升整體存儲(chǔ)方案的持續(xù)可用性。
三、安防數(shù)據(jù)存儲(chǔ)未來
安防存儲(chǔ)的發(fā)展必定是底層技術(shù)、物理設(shè)備、系統(tǒng)架構(gòu)的協(xié)同發(fā)展,單獨(dú)依賴任何一點(diǎn)都無法滿足需求。
對(duì)于通常的大中小型監(jiān)控系統(tǒng),無需存儲(chǔ)服務(wù)器的視頻流直寫存儲(chǔ)架構(gòu)+面向安防的VRAID技術(shù)可以既可以簡化系統(tǒng)部署,有充分保護(hù)用戶的數(shù)據(jù)安全。同時(shí)隨著GB/T28181標(biāo)準(zhǔn)的推行,采用標(biāo)準(zhǔn)流媒體協(xié)議的視頻流直寫存儲(chǔ)方案也將越來越受市場青睞。
對(duì)于特大型監(jiān)控系統(tǒng)(上萬路視頻前端),要求達(dá)到PB級(jí)的存儲(chǔ)容量,靠單設(shè)備堆疊和普通文件系統(tǒng)是無法提供安全、高效的應(yīng)用保證的,必須有虛擬化、集群化和離散存儲(chǔ)的解決方案。針對(duì)安防應(yīng)用的視頻云存儲(chǔ)技術(shù)采用云計(jì)算理念,底層配合網(wǎng)絡(luò)RAID技術(shù)可以為用戶提供虛擬化、集群化、一體化的便捷云存儲(chǔ)服務(wù)。
安防云存儲(chǔ)系統(tǒng)特征:
1) 虛擬化技術(shù)全面整合存儲(chǔ)容量,按需分配且能夠靈活調(diào)整大小。
2) 前端通過視頻流協(xié)議直寫云存儲(chǔ),節(jié)省用戶投資。
3) 視頻流通過離散算法均衡切片,以集群響應(yīng)方式提供數(shù)據(jù)并發(fā)服務(wù)。
4) 底層采用網(wǎng)絡(luò)RAID技術(shù),多層次保護(hù)用戶數(shù)據(jù)安全。
5) 全系統(tǒng)集群工作模式,保證各設(shè)備間業(yè)務(wù)實(shí)時(shí)負(fù)載均衡,提高設(shè)備利用率。
6) 全域一體化索引技術(shù),全面提升查詢速率,達(dá)到秒級(jí)響應(yīng)。
安防云存儲(chǔ)解決了當(dāng)前安防行業(yè)已經(jīng)開始面臨海量數(shù)據(jù)存儲(chǔ)的管理和應(yīng)用問題,2012年到2013年,??低曇呀?jīng)有多個(gè)平安城市項(xiàng)目實(shí)際應(yīng)用成功,并且通過用戶實(shí)際使用取得了非常成功的視頻業(yè)務(wù)應(yīng)用體驗(yàn)。未來幾年,大中型安防項(xiàng)目建設(shè)中,安防云存儲(chǔ)會(huì)占據(jù)視頻監(jiān)控存儲(chǔ)方案的主力位置,相信,安防云存儲(chǔ)必然很快發(fā)展成為視頻監(jiān)控存儲(chǔ)市場的主流解決方案,也會(huì)是首選的最佳方案。
評(píng)論comment