大數(shù)據(jù)存儲與管理技術是用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應的數(shù)據(jù)庫，并進行管理和調用。主要解決大數(shù)據(jù)可存儲?？商幚砑坝行鬏?shù)汝P鍵問題。
大數(shù)據(jù)包括結構化和非結構化兩種類型，德緣泰科技安防大數(shù)據(jù)以視頻圖像為主，數(shù)量巨大而且是非結構化的。IDC將大數(shù)據(jù)技術定義為：大數(shù)據(jù)技術描述了新一代的技術和架構體系，通過高速采集、發(fā)現(xiàn)和分析，提取各種各樣的大量數(shù)據(jù)的經濟價值。
"大數(shù)據(jù)"通常指的是那些數(shù)量巨大、難于收集、處理、分析的數(shù)據(jù)集，也指那些在傳統(tǒng)基礎設施中長期保存的數(shù)據(jù)。這里的"大"有幾層含義，它可以形容組織的大小，而更重要的是，它界定了企業(yè)中IT基礎設施的規(guī)模。業(yè)內對大數(shù)據(jù)應用寄予了無限的期望，需要通過數(shù)據(jù)存儲與管理，進一步把其價值挖掘出來。數(shù)據(jù)永遠都在增長之中，只是存儲海量數(shù)據(jù)的能力是不夠的，因為這并不能保證我們能夠成功地從中搜尋出商業(yè)價值，還需要對數(shù)據(jù)進行管理。
隨著大數(shù)據(jù)應用的爆發(fā)性增長，它已經衍生出了自己獨特的架構，而且也直接推動了存儲、網(wǎng)絡以及計算技術的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動的，大數(shù)據(jù)分析應用需求正在影響著數(shù)據(jù)存儲基礎設施的發(fā)展，這一變化對存儲廠商和其他IT基礎設施廠商是一個機會。
隨著結構化數(shù)據(jù)和非結構化數(shù)據(jù)量的持續(xù)增長，以及分析數(shù)據(jù)來源的多樣化，此前存儲系統(tǒng)的設計已經無法滿足大數(shù)據(jù)應用的需要。存儲廠商已經意識到這一點，開始修改基于塊和文件的存儲系統(tǒng)的架構設計以適應這些新的要求。以下幾個與大數(shù)據(jù)存儲基礎設施相關的屬性，是迎接大數(shù)據(jù)的挑戰(zhàn)重點所在。
一、數(shù)據(jù)存儲管理技術難點
（一）容量問題
"大容量"通?？蛇_到PB級的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲系統(tǒng)也一定要有相應等級的擴展能力。與此同時，存儲系統(tǒng)的擴展一定要簡便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機?；谶@樣的需求，客戶現(xiàn)在越來越青睞Scale-out架構的存儲。Scale-out集群結構的特點是每個節(jié)點除了具有一定的存儲容量之外，內部還具備數(shù)據(jù)處理能力以及互聯(lián)設備，與傳統(tǒng)存儲系統(tǒng)的煙囪式架構完全不同，Scale-out架構可以實現(xiàn)無縫平滑的擴展，避免存儲孤島。
"大數(shù)據(jù)"應用除了數(shù)據(jù)規(guī)模巨大之外，還意味著擁有龐大的文件數(shù)量。因此如何管理文件系統(tǒng)層累積的元數(shù)據(jù)是一個難題，處理不當?shù)脑挄绊懙较到y(tǒng)的擴展能力和性能，而傳統(tǒng)的NAS系統(tǒng)就存在這一瓶頸。所幸的是，基于對象的存儲架構就不存在這個問題，它可以在一個系統(tǒng)中管理十億級別的文件數(shù)量，而且還不會像傳統(tǒng)存儲一樣遭遇元數(shù)據(jù)管理的困擾?；趯ο蟮拇鎯ο到y(tǒng)還具有廣域擴展能力，可以在多個不同的地點部署并組成一個跨區(qū)域的大型存儲基礎架構。
（二）延遲問題
有很多"大數(shù)據(jù)"應用環(huán)境需要較高的IOPS性能，比如HPC高性能計算。此外，服務器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲設備應運而生，小到簡單的在服務器內部做高速緩存，大到全固態(tài)介質的可擴展存儲系統(tǒng)等等都在蓬勃發(fā)展。
（三）安全問題
某些特殊行業(yè)的應用，比如公共安全、金融數(shù)據(jù)、醫(yī)療信息以及政府情報等都有自己的安全標準和保密性需求。雖然對于IT管理者來說這些并沒有什么不同，而且都是必須遵從的，但是，大數(shù)據(jù)分析往往需要多類數(shù)據(jù)相互參考，而在過去并不會有這種數(shù)據(jù)混合訪問的情況，因此大數(shù)據(jù)應用也催生出一些新的、需要考慮的安全性問題。
（四）成本問題
"大"，也可能意味著代價不菲。而對于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來說，成本控制是關鍵的問題。想控制成本，就意味著要讓每一臺設備都實現(xiàn)更高的"效率"，同時還要減少那些昂貴的部件。目前，像重復數(shù)據(jù)刪除等技術已經進入到主存儲市場，而且現(xiàn)在還可以處理更多的數(shù)據(jù)類型，這都可以為大數(shù)據(jù)存儲應用帶來更多的價值，提升存儲效率。在數(shù)據(jù)量不斷增長的環(huán)境中，通過減少后端存儲的消耗，哪怕只是降低幾個百分點，都能夠獲得明顯的投資回報。此外，自動精簡配置、快照和克隆技術的使用也可以提升存儲的效率。
很多大數(shù)據(jù)存儲系統(tǒng)都包括歸檔組件，尤其對那些需要分析歷史數(shù)據(jù)或需要長期保存數(shù)據(jù)的機構來說，歸檔設備必不可少。從單位容量存儲成本的角度看，磁帶仍然是最經濟的存儲介質，事實上，在許多企業(yè)中，使用支持TB級大容量磁帶的歸檔系統(tǒng)仍然是事實上的標準和慣例。
對成本控制影響最大的因素是那些商業(yè)化的硬件設備。因此，很多初次進入這一領域的用戶以及那些應用規(guī)模最大的用戶都會定制他們自己的"硬件平臺"而不是用現(xiàn)成的商業(yè)產品，這一舉措可以用來平衡他們在業(yè)務擴展過程中的成本控制戰(zhàn)略。為了適應這一需求，現(xiàn)在越來越多的存儲產品都提供純軟件的形式，可以直接安裝在用戶已有的、通用的或者現(xiàn)成的硬件設備上。此外，很多存儲軟件公司還在銷售以軟件產品為核心的軟硬一體化裝置，或者與硬件廠商結盟，推出合作型產品。
二、數(shù)據(jù)存儲管理發(fā)展趨勢
（一）存儲行業(yè)的重組和整合
存儲客戶需要時間來消化新的存儲技術，包括軟件定義存儲、私有云和公有云的優(yōu)勢，及功能和限制等問題，并逐漸將這些技術應用到存儲業(yè)務上。這種趨勢在傳統(tǒng)陣列收入的降低和全閃存存儲銷售的快速增長中體現(xiàn)出來。這種趨勢也將影響到2016年存儲廠商們在存儲新世界中的地位。
（二）從備份到恢復業(yè)務的存儲定價都發(fā)生了改變
存儲數(shù)據(jù)的成本傳統(tǒng)上是根據(jù)每GB或每TB位單位進行收費。然而隨著存儲數(shù)據(jù)容量的成本變化，根據(jù)是否預置在云中、下降到接近零存儲、不能訪問的數(shù)據(jù)的成本激增，都會導致成本的變化。幾個供應商,包括像Google和Asigra,已經著重在基于存儲恢復或還原上砸錢而不是一味用于存儲。這是一種顛覆性的模型,該模型將需要存儲提供商扔掉現(xiàn)有價格列表,但它更好地反映提供存儲容量的成本。
（三）超融合基礎架構打破計算機存儲之間的聯(lián)系
超融合基礎設施解決方案的最大賣點就是將計算，存儲，網(wǎng)絡和虛擬化資源緊密連接到單一設備，令其易于部署和管理。雖然在大型項目中它們也會變得相當昂貴。然而，密切聯(lián)系也是阻礙進一步采用該技術的障礙。需要更多計算，買一個有更多計算和存儲的節(jié)點。當2016年眾多的超合基礎設施架構供應商們不負諾言，為內部部署和私有云提供了簡單的易于部署的平臺時，這種聯(lián)系也將會被打破。除非他們?yōu)榭蛻籼峁┝藶槊總€組件分別實現(xiàn)擴展的功能。
（四）超融合云存儲將要稱霸
公共云存儲的試驗階段已完成?？蛻糁懒斯性瓶梢宰鲂┦裁础８匾氖撬麄冎拦苍撇荒鼙ＷC數(shù)據(jù)的安全性，同時實現(xiàn)成本的逐漸下降。在2016年，存儲行業(yè)的發(fā)展將會促進公有云歸屬于最正確的地方，適用于存儲生命周期即將結束的工作負載需求，同時性能對于他們來說不是主要問題，包括災難恢復、長期存檔、臨時的容量爆發(fā)和數(shù)據(jù)共享。遠程監(jiān)控。
到今年年底，沒有云組件的存儲啟動安裝設備將會變得很少見。大多數(shù)新的存儲安裝啟用設備內部將會部署私有云，以處理高性能或者高安全性的工作負載，并綁定一到兩個公有云以獲得最好的工作負載管理。
（五）軟件定義存儲占據(jù)近主流位置
在過去幾年中已經出現(xiàn)了軟件定義存儲，是用于分隔底層硬件存儲陣列的功能，使其能在商用硬件中配置存儲設備，2016年將看到軟件定義存儲解決方案被越來越多客戶接受，尤其在企業(yè)中，因為其他的新存儲模式，例如云計算已經被接受了。軟件定義存儲解決方案的優(yōu)勢也將變得越來越明顯，因為一些領先的解決方案供應商們正在想方設法銷售他們的大型產品，尤其是在存儲周期開始不斷被刷新時。
（六）服務器成為新存儲平臺
從傳統(tǒng)的存儲陣列中走出，轉移到新的基礎設施架構，例如軟件定義存儲和云計算等舉動，意味著服務器將會統(tǒng)治新的存儲平臺。這種趨勢已悄然在行業(yè)內發(fā)生，可以看到業(yè)內有大量的服務器出貨，同時服務器收入也獲得了增長，在2016年將會加速發(fā)展。
今年，將會看到增加了內存和存儲容量不斷豐富的服務器配置功能。這樣的配置允許在使用軟件定義存儲架構時可以增加容量，同時提供更好的性能，可以為需要移動到云中的工作負載所使用。
這也將會導致傳統(tǒng)存儲陣列銷售下降，進而推動更豐富的服務器配置發(fā)展，這可能會成為一個永無止境的循環(huán)變化。
Industry dynamics 創(chuàng)意安防
數(shù)據(jù)存儲與管理
