淺析軌道交通云存儲(chǔ)的架構(gòu)及技術(shù)

     寧波軌道交通已經(jīng)開通運(yùn)營(yíng)寧波地鐵1號(hào)線，寧波地鐵2號(hào)線，正在建設(shè)的包括寧波地鐵3號(hào)線，寧波地鐵4號(hào)線，寧波地鐵5號(hào)線等項(xiàng)目，本文就如何實(shí)現(xiàn)滿足反恐法要求的視頻圖像信息保存90天的高可靠存儲(chǔ)方式進(jìn)行闡述，提出了車站視頻云存儲(chǔ)相關(guān)方案進(jìn)行探討。

     軌道交通存儲(chǔ)現(xiàn)狀

     目前軌道交通視頻監(jiān)控領(lǐng)域的站點(diǎn)存儲(chǔ)主要指SAN、一體機(jī)設(shè)備，這類設(shè)備通過RAID、增加擴(kuò)展柜的方式獲得了單機(jī)的大規(guī)模寫入空間，滿足了高密度的需求，但是對(duì)于軌道行業(yè)視頻的高可靠性存儲(chǔ)需求依然存在不足，以及對(duì)于視頻應(yīng)用讀取仍無(wú)法做到按需分配；

     云存儲(chǔ)的架構(gòu)真正做到視頻的寫入、讀取按需分配、線性擴(kuò)展，增加獨(dú)立的存儲(chǔ)節(jié)點(diǎn)即可獲得更高的讀和寫性能，以及支持多硬盤、多設(shè)備節(jié)點(diǎn)故障，磁盤熱插拔與漂移等存儲(chǔ)的高可靠性需求，下位主要闡述軌道交通云存儲(chǔ)的建設(shè)。

     目前軌道交通行業(yè)云存儲(chǔ)以私有云建設(shè)模式，私有云的網(wǎng)絡(luò)是架設(shè)在建設(shè)方的數(shù)據(jù)中心的設(shè)備上，也就是內(nèi)部的物理服務(wù)器和網(wǎng)絡(luò)硬件之上，企業(yè)對(duì)于這些云中的所有要素都擁有完整的控制權(quán)，從一個(gè)安全的角度來(lái)看，這樣的私有云可以滿足企業(yè)對(duì)敏感和重要數(shù)據(jù)的保護(hù)的需求。

     從實(shí)際使用的角度來(lái)看，用戶對(duì)于存儲(chǔ)的主要需求是建、存、讀、管、維。由于軌道交通視頻監(jiān)控行業(yè)云存儲(chǔ)仍處于起步階段，沒有統(tǒng)一標(biāo)準(zhǔn)，市場(chǎng)上存在著云存儲(chǔ)產(chǎn)品參差不齊的狀況，這幾個(gè)標(biāo)準(zhǔn)對(duì)應(yīng)的衡量標(biāo)準(zhǔn)可以作以下幾點(diǎn)總結(jié)：

     ● 建的瓶頸體現(xiàn)在上線部署便利程度，能否做到分鐘級(jí)快速部署，能否降低設(shè)備分批上線的難易程度；

     ● 存的瓶頸體現(xiàn)在能否滿足海量規(guī)模存儲(chǔ)，單一的錄像存儲(chǔ)是否既能保證空間又能保證性能；

     ● 讀的瓶頸體現(xiàn)在能否按需讀取，特別是給予視頻監(jiān)控進(jìn)行的實(shí)戰(zhàn)業(yè)務(wù)部署，讀取的性能線性增長(zhǎng)，存儲(chǔ)能否給予保證；

     ● 管的瓶頸體現(xiàn)在易用性，能否實(shí)時(shí)準(zhǔn)確獲取設(shè)備狀態(tài)，能否把傳統(tǒng)存儲(chǔ)不友好的人機(jī)界面變成更加親切的交互；

     維的瓶頸在于保證設(shè)備的高可用性，如何在云存儲(chǔ)系統(tǒng)把發(fā)生的故障當(dāng)做一種常態(tài)并兼顧數(shù)據(jù)安全和成本二者的平衡點(diǎn)。

     傳統(tǒng)存儲(chǔ)服務(wù)器都提供服務(wù)器內(nèi)部磁盤間，利用RAID技術(shù)，組建各種容錯(cuò)等級(jí)的RAID組，來(lái)為數(shù)據(jù)可靠性提供保障。隨著硬盤的容量越來(lái)越大，RAID的重構(gòu)時(shí)間變得越來(lái)越長(zhǎng)。一塊3T的硬盤，在工作狀態(tài)下，重構(gòu)的時(shí)間有的時(shí)候甚至要達(dá)到2個(gè)星期之久。

（圖片源于網(wǎng)絡(luò)）

     在重構(gòu)的過程中，任一其他的數(shù)據(jù)的錯(cuò)誤，都將導(dǎo)致整個(gè)數(shù)據(jù)丟失或者RAID崩潰，顯然，存儲(chǔ)節(jié)點(diǎn)內(nèi)RAID技術(shù)，對(duì)于一定規(guī)模的云存儲(chǔ)系統(tǒng)而言，是無(wú)法提供數(shù)據(jù)可靠性保證的，且由于重構(gòu)時(shí)間以及重構(gòu)時(shí)出錯(cuò)概率增加，甚至?xí)?dǎo)致可靠性降低。

     在云存儲(chǔ)領(lǐng)域，互聯(lián)網(wǎng)企業(yè)廣泛使用副本技術(shù)來(lái)提供數(shù)據(jù)可靠性，即一份原始數(shù)據(jù)同樣的方式存多份，這對(duì)于海量低價(jià)值密度的視頻監(jiān)控存儲(chǔ)系統(tǒng)而言，其性價(jià)比相對(duì)較低。

     在大規(guī)模存儲(chǔ)應(yīng)用場(chǎng)景中，節(jié)點(diǎn)故障、數(shù)據(jù)失效是一種常態(tài)，使用EC糾刪碼來(lái)保證存儲(chǔ)可靠性、數(shù)據(jù)可用性是目前的最有效方式之一。其原理是將文件數(shù)據(jù)分割成N個(gè)大小相同的原始數(shù)據(jù)塊，然后編碼生成M個(gè)大小相同的校驗(yàn)數(shù)據(jù)塊，最后將原始數(shù)據(jù)塊和校驗(yàn)數(shù)據(jù)塊分別存儲(chǔ)在不同的位置，糾刪碼的容錯(cuò)能力正是來(lái)源于這些校驗(yàn)數(shù)據(jù)塊，在1～M個(gè)數(shù)據(jù)塊損壞的情況下，整體數(shù)據(jù)仍然可以通過剩余的數(shù)據(jù)塊計(jì)算得出，確保了數(shù)據(jù)仍有高可用性的同時(shí)，追求更高的存儲(chǔ)利用率。

     軌道交通云存儲(chǔ)系統(tǒng)采用單站點(diǎn)一套云存儲(chǔ)系統(tǒng)的建設(shè)方式，多個(gè)車站形成多云的形態(tài)，在系統(tǒng)正常的情況下，每套云存儲(chǔ)系統(tǒng)各自存儲(chǔ)站內(nèi)的高清視頻，當(dāng)某個(gè)站點(diǎn)整套云存儲(chǔ)系統(tǒng)出現(xiàn)故障時(shí)，支持鄰站或控制中心的云存儲(chǔ)系統(tǒng)自動(dòng)接管故障站點(diǎn)的攝像機(jī)，實(shí)現(xiàn)云存儲(chǔ)系統(tǒng)之間的災(zāi)備功能。

     軌道站點(diǎn)云存儲(chǔ)系統(tǒng)采用分布式的存儲(chǔ)機(jī)制，將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的存儲(chǔ)服務(wù)節(jié)點(diǎn)上。它采用包括元數(shù)據(jù)管理服務(wù)、數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)結(jié)構(gòu)構(gòu)成海量云存儲(chǔ)系統(tǒng)。

     其中，元數(shù)據(jù)服務(wù)節(jié)點(diǎn)主備保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)對(duì)整個(gè)文件系統(tǒng)的管理，元數(shù)據(jù)服務(wù)在邏輯上只有一個(gè)，但采用主備方式，保證系統(tǒng)的不間斷服務(wù)；數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)具體的數(shù)據(jù)存儲(chǔ)工作，采用對(duì)象存儲(chǔ)方式，數(shù)據(jù)以文件塊的形式存儲(chǔ)在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上，數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的個(gè)數(shù)可以有多個(gè)，它的數(shù)目直接決定了云存儲(chǔ)系統(tǒng)的規(guī)模；客戶端對(duì)外提供數(shù)據(jù)存儲(chǔ)和訪問服務(wù)的接口，為云業(yè)務(wù)平臺(tái)提供云存儲(chǔ)系統(tǒng)的訪問能力；同時(shí)，針對(duì)視頻業(yè)務(wù)，在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上集成了流媒體服務(wù)，讓存儲(chǔ)節(jié)點(diǎn)具備了流媒體直存能力，讓前端視頻流直接存儲(chǔ)至云存儲(chǔ)成為可能。

     云存儲(chǔ)優(yōu)勢(shì)

     數(shù)據(jù)穩(wěn)定可靠

     云存儲(chǔ)采用糾刪碼技術(shù)、離散技術(shù)把前端視頻數(shù)據(jù)在寫入存儲(chǔ)設(shè)備之前根據(jù)預(yù)定策略進(jìn)行離散并加入適量的糾刪碼，確保每個(gè)存儲(chǔ)節(jié)點(diǎn)只存放該視頻數(shù)據(jù)的一個(gè)數(shù)據(jù)片，一旦某個(gè)存儲(chǔ)節(jié)點(diǎn)故障則可以通過糾刪碼進(jìn)行數(shù)據(jù)恢復(fù)，從而實(shí)現(xiàn)整個(gè)云存儲(chǔ)系統(tǒng)的設(shè)備級(jí)容錯(cuò)。

     IPSAN只是通過本地RAID保護(hù)硬盤的故障，RAID5只能容忍1塊硬盤故障，RAID6也只能容忍2塊硬盤故障是無(wú)法保證多硬盤故障以及設(shè)備節(jié)點(diǎn)的故障，可靠性很低。

     下載快

     云存儲(chǔ)采用了帶寬聚合技術(shù)、磁盤I/O聚合技術(shù)確保在普通的千兆網(wǎng)絡(luò)環(huán)境用廉價(jià)的SATA盤就能實(shí)現(xiàn)高速下載。24小時(shí)大約43GB的數(shù)據(jù)能在幾分鐘之內(nèi)就可以下載完成，再也不用像以前一樣一旦發(fā)生重要案事件時(shí)通宵下載視頻的情況。

     IPSAN下載時(shí)的速度基本上在30MB/s，這也是為什么一旦案事件發(fā)生時(shí)需要通宵的下載視頻錄像。

     易維護(hù)

     云存儲(chǔ)通過就刪嗎技術(shù)來(lái)保障數(shù)據(jù)的安全可靠，而非傳統(tǒng)的RAID技術(shù)，因此允許多塊硬盤損壞后再批量換盤，同時(shí)通過多渠道通知告警信息。

     給業(yè)務(wù)帶來(lái)的好處：傳統(tǒng)存儲(chǔ)系統(tǒng)的日常維護(hù)需要耗費(fèi)運(yùn)維人員大量的時(shí)間，特別是經(jīng)常需要關(guān)注RAID組內(nèi)是否有壞盤，一旦有就要及時(shí)的更換才能規(guī)避數(shù)據(jù)丟失。

     云存儲(chǔ)系統(tǒng)允許批量更換硬盤，在減輕運(yùn)維人員的工作量同時(shí)也非常符合我們客戶集中硬盤采購(gòu)、集中更換的流程。同時(shí)，云存儲(chǔ)系統(tǒng)第一時(shí)間把告警信息用短信等途徑發(fā)送到客戶運(yùn)維人員手機(jī)上，方便快捷的管理云存儲(chǔ)系統(tǒng)。

     擴(kuò)容性好

     云存儲(chǔ)系統(tǒng)采用虛擬化技術(shù)將所有的存儲(chǔ)設(shè)備虛擬化統(tǒng)一的資源池通過唯一的IP地址給業(yè)務(wù)系統(tǒng)提供服務(wù)，因此可以在1分鐘內(nèi)實(shí)現(xiàn)單臺(tái)節(jié)點(diǎn)的在線擴(kuò)容。

     共享性好

     云存儲(chǔ)采用了對(duì)象存儲(chǔ)技術(shù)，在確保讀寫性能的同時(shí)又提供了高共享性，確保可以多個(gè)應(yīng)用系統(tǒng)同時(shí)訪問存放在云存儲(chǔ)系統(tǒng)中的數(shù)據(jù)。

     IPSAN系統(tǒng)采用塊存儲(chǔ)機(jī)制，不是對(duì)象存儲(chǔ)技術(shù)，因此其數(shù)據(jù)共享都需要通過監(jiān)控系統(tǒng)來(lái)翻譯數(shù)據(jù)。

     給業(yè)務(wù)帶來(lái)的好處：打破了傳統(tǒng)SAN模式數(shù)據(jù)孤島問題，云存儲(chǔ)系統(tǒng)允許監(jiān)控系統(tǒng)把視頻數(shù)據(jù)寫入到云存儲(chǔ)系統(tǒng)中，同時(shí)允許分析系統(tǒng)讀取視頻數(shù)據(jù)，無(wú)需經(jīng)過監(jiān)控系統(tǒng)的轉(zhuǎn)發(fā)就可以快速獲取數(shù)據(jù)。

     通過提出車站視頻云存儲(chǔ)設(shè)計(jì)方案，滿足軌道交通行業(yè)存儲(chǔ)的高可靠性要求的前提下，提供視頻寫入、讀取按需分配、海量存儲(chǔ)、線性擴(kuò)展、高速并發(fā)等享受云存儲(chǔ)帶來(lái)的優(yōu)勢(shì)，同時(shí)，通過開放透明的應(yīng)用接口和簡(jiǎn)單易用的管理界面，為整個(gè)監(jiān)控系統(tǒng)提供了高效、可靠的數(shù)據(jù)服務(wù)。

來(lái)源： ITS智能交通