對象存儲九大關鍵特征
作者:存儲在線  來源:存儲在線  發表時間:2017-2-9  點擊:3844
  對象存儲是一(yī)個(gè)相(xiàng)對較新并且在持續穩步增長(cháng)的市(shì)場部分。對于新手而言,對象存儲用于保存大量非結構化數據,其中每個(gè)“對象”實際上(shàng)是一(yī)個(gè)沒有特定格式的文件(jiàn)(也稱二進制文件(jiàn))。實際上(shàng),從(cóng)小(xiǎo)的對象(人類可讀(dú)取文件(jiàn))到(dào)媒體(音(yīn)頻和視頻)或其它行業(yè)特定格式(石油&天然氣,醫(yī)學成像等),對象存儲可以保存任何類型的數據。

  與傳統存儲相(xiàng)比,采用對象存儲的好處良多(duō)。基于塊的系統(例如光(guāng)纖通(tōng)道和iSCSI)無法很好地向外擴展,并且沒有真正的了解所存儲的數據。它們是以低(dī)延遲和高(gāo)粒度提供内容的“啞”塊設備。文件(jiàn)系統将一(yī)些結構放(fàng)在數據上(shàng),将文件(jiàn)對象放(fàng)入層級結構(文件(jiàn)夾/目錄)然後将元數據附加到(dào)這些對象上(shàng)。然而,元數據通(tōng)常隻是基于存儲文件(jiàn)所需的信息(創建時間,時間更新,訪問規則)存儲文件(jiàn)。

  對象存儲更進一(yī)步消除了文件(jiàn)夾層次結構,具有高(gāo)度可搜索的可擴展元數據。在規模方面,對象存儲可以增加到(dào)多(duō)(即便不是上(shàng)百)PB容量,通(tōng)常對數據沒有地域限制。因為(wèi)對象存儲平台提供了優于傳統存儲的形式,越來越多(duō)的企業(yè)開(kāi)始采用它。基于塊的存儲陣列無法很好地擴展,且帶有大量HDD和SSD的數據保護(例如RAID)的問題。基于文件(jiàn)的系統受到(dào)系統自(zì)身的可擴展性限制,無論是在對象計數、并發、并行訪問或恢複時間方面,都能(néng)檢驗出文件(jiàn)系統結構的一(yī)緻性。對象存儲代表一(yī)種更簡單、更可擴展的解決方案,通(tōng)過标準的基于網絡的協議可輕松訪問。

  對于尋求采用對象存儲的IT企業(yè)來說,最大的挑戰是如何選用平台以及如何評估供應商的産品。對象存儲使用基于Web的協議,因此需要一(yī)定程度的編碼才能(néng)使用。這方面正在發生(shēng)改變,我們将在後面讨論。

  從(cóng)特性的角度來看(kàn),對象存儲在諸多(duō)方面能(néng)使某個(gè)平台在适用性方面更加突出。接下(xià)來,我們對IT組織在對象存儲平台中的尋找目标來做一(yī)下(xià)識别分類和描述。

  1.可擴展性——大和小(xiǎo)

  正如我們已讨論的那樣,對象存儲的設計比諸如橫向擴展型NAS那樣的傳統數據存儲的可擴展性範圍要更進一(yī)步。供應商産品具有多(duō)PB級容量,可以存儲數十億個(gè)對象。然而,實現高(gāo)可擴展性不僅僅是簡單地測量對象和數據量。注意事(shì)項包括:

  a.對象大小(xiǎo)。對象存儲處理大/小(xiǎo)對象方面的表現如何?處理小(xiǎo)對象的方式是什麽?

  b.容量限制。容量是否真的有限制?容量增長(cháng)是否需要添加更多(duō)的硬件(jiàn)或軟件(jiàn)節點?可以簡單地擴展存儲嗎(ma)?

  c.分層和緩存。對象存儲該如何管理數據分層?随著(zhe)容量的增加,大量數據通(tōng)常是不活躍的,并且存檔到(dào)更廉價的介質上(shàng)。在這一(yī)點上(shàng),分層能(néng)力成為(wèi)關鍵。閃存介質還(hái)可用作緩存或分層時以提高(gāo)性能(néng)。

  d.元數據管理。随著(zhe)對象存儲的發展,元數據該如何管理?對象存儲的容量大小(xiǎo)是否影響搜索性能(néng)?

  e.對象訪問。随著(zhe)對象存儲的發展,針對對象的單獨訪問時間是否要增加(還(hái)是不希望增加)?

  最後一(yī)點對于構建對象存儲特别重要,為(wèi)多(duō)個(gè)對象存儲/檢索請求的提供并行訪問,例如CDN網絡的後端系統服務。在一(yī)個(gè)對象存儲中增加存儲數量是不應增加檢索時間的,更重要的是“到(dào)第一(yī)個(gè)字節的時間”,這是從(cóng)接收點開(kāi)始将對象回流到(dào)請求者所花費(fèi)的時間要求。

  當然,我們不應該忘記對象存儲可能(néng)需要啓動小(xiǎo)的對象,不需要有幾百TB或PB級初始容量。小(xiǎo)的初級容量有助于降低(dī)進入并采用對象存儲的障礙,随之而來的需求是,以最小(xiǎo)的影響從(cóng)小(xiǎo)到(dào)大進行容量擴展。

  2.數據保護

  數據保護的概念涵蓋了對象存儲中的許多(duō)方面。與傳統的主存儲相(xiàng)比,對象存儲可能(néng)用于長(cháng)期保存數據,因此數據耐久性是一(yī)個(gè)重要因素。我們可以将耐久性視為(wèi)需要确保由于一(yī)系列錯(cuò)誤(包括硬件(jiàn)讀(dú)取失敗和數據損壞)而不損壞正在存儲中的數據。

  與25年(nián)前的設備相(xiàng)比,現代硬盤非常可靠。盡管如此,仍然會(huì)出現讀(dú)取錯(cuò)誤和其他瞬态問題。對象存儲應執行一(yī)系列磁盤管理的功能(néng),包括數據清理、CRC的損壞檢驗,以及對不一(yī)緻數據的重建。這些後台任務代表了長(cháng)期保持數據健康的重要性。

  第二個(gè)要考慮的是對硬件(jiàn)故障的保護。當今,大多(duō)數的存儲陣列将RAID(獨立磁盤冗餘陣列)作為(wèi)一(yī)種從(cóng)硬件(jiàn)故障導緻的丢失中恢複數據的方法。随著(zhe)數據量的上(shàng)升,RAID在可擴展性方面出現問題。存儲供應商已經實現了雙重甚至三重奇偶校驗,以防止載有大硬盤容量的多(duō)個(gè)驅動器(qì)發生(shēng)故障。然而,延長(cháng)驅動器(qì)重建時間對RAID對象存儲中的大量數據而言是不切實際的。

  替代方案是用糾删碼的方式來保護數據。糾删碼是對數據劃分和變換為(wèi)多(duō)個(gè)冗餘片段的描述過程,恢複原始信息所需的最小(xiǎo)計數。例如,編碼方案可以将數據翻譯成12條數據,重建原始數據所需的其中的任何8條數據。這12條數據可以分布在多(duō)個(gè)驅動器(qì)上(shàng),服務器(qì)/節點甚至在地理上(shàng)提供高(gāo)彈性。在12/8方案中,跨越三個(gè)位置分布數據意味著(zhe)任何一(yī)個(gè)位置的丢失都是允許的。

  對象存儲應根據客戶需要提供具有可變保護值的糾删碼。由于糾删碼有處理開(kāi)銷,因此RAID還(hái)可以用于保護較小(xiǎo)的對象并改善訪問性能(néng)。當數據在地理上(shàng)分布時,重建對網絡的影響變得尤其重要。因此,糾删碼系統的具體實現(以及需要通(tōng)過WAN檢索數據)将直接影響恢複時間和客戶SLA(服務水(shuǐ)平協議)。當本地LAN延遲較高(gāo)時,也會(huì)發生(shēng)此問題——任何基于分布式網絡的恢複都将一(yī)直受到(dào)網絡性能(néng)的影響。快速恢複非常重要,因為(wèi)不受保護的數據需要快速重新保護,以避免潛在的數據丢失。

  3.搜索、索引和元數據

  在對象存儲中搜索和檢索數據的能(néng)力是最關鍵的要求之一(yī)。與結構化數據(如數據庫和文件(jiàn)系統)相(xiàng)比,對象存儲将數據保存在平面層次結構中,隻有少量的邏輯或物(wù)理分隔(例如存儲段或池)。這意味著(zhe)存儲的每個(gè)對象都需要有大量的信息,以便于數據檢索。

  對象存儲通(tōng)常使用的兩種方法的其中之一(yī)——終端用戶設置對象的名稱(可能(néng)看(kàn)起來像标準文件(jiàn)名),或者使用系統生(shēng)成的對象ID(OID)存儲和訪問對象。對象ID通(tōng)常是由象存儲本身随機(jī)生(shēng)成的長(cháng)字符串和數字。

  在使用OID的情況下(xià),元數據很關鍵。對象存儲用戶還(hái)可以維護對象ID及其使用的單獨數據庫。元數據提供關于對象本身(系統元數據)的信息,例如對象大小(xiǎo)、訪問權限、創建對象的用戶等。用戶元數據的擴展是與對象存儲信息相(xiàng)對應的,用于傳遞搜索和有索引能(néng)力的應用程序。

  元數據的搜索性能(néng)應該與存儲在對象存儲自(zì)身的數據量相(xiàng)互獨立,這是管理可擴展性的關鍵要求。

  4.性能(néng)

  目前,在我們讨論的需求中,性能(néng)是實現可擴展性,數據保護和搜索的一(yī)個(gè)主題。但在對象存儲第一(yī)次開(kāi)發時,性能(néng)理念卻并非主要因素,因為(wèi)很多(duō)對象存儲隻是用作長(cháng)期存檔或是備份數據庫。随著(zhe)越來越多(duō)的對象平台适用于更加活躍的數據——用作主動存檔,或媒體及其他流式内容的資源庫。

  因此,我們需要對象存儲平台提供高(gāo)吞吐量,線性可擴展功能(néng)以及處理高(gāo)級并發請求。在将對象平台用作CDN(内容交付網絡)或其他軟件(jiàn)即服務(SaaS)解決方案的後備存儲時,對并發性的需求尤其重要。并發就(jiù)意味著(zhe)能(néng)夠同時傳輸多(duō)個(gè)對象,每秒(miǎo)處理大量的單個(gè)數據請求。在衡量标準方面,通(tōng)常基于IOPS和吞吐量。

  5.安全性

  和任何數據存儲一(yī)樣,安全是一(yī)個(gè)關鍵特性。在對象存儲中,安全特性則涵蓋了許多(duō)方面。

  因為(wèi)數據可能(néng)保存到(dào)對象存儲區域,多(duō)租戶變得非常重要。業(yè)務用戶(企業(yè)中的獨立部門(mén)或獨立企業(yè))都希望自(zì)己的數據與其他人訪問的數據隔離開(kāi)。這表示擁有了獨立的安全憑證,并為(wèi)每位客戶提供了加密密鑰。

  對象存儲通(tōng)常是憑借HTTP調用對象存儲本身提供的認證密鑰來提供數據訪問。因為(wèi)數據可能(néng)通(tōng)過公共互聯網傳輸,這些密鑰就(jiù)是憑證,而非普通(tōng)的用戶/密碼組合。管理憑證更大的任務是身份管理功能(néng)的部分,它還(hái)能(néng)夠提供标準化平台集成,如LDAP和MicrosoftActiveDirectory。

  訪問單個(gè)對象或存儲段是通(tōng)過訪問控制列表進行分配,這些列表決定或單個(gè)或組級數據訪問。許多(duō)對象存儲會(huì)允許通(tōng)過用于存儲和檢索數據,同樣基于Web的REST接口來設置和管理訪問控制。

  除身份管理以外,不論在傳輸還(hái)是保存狀态都必須要通(tōng)過數據加密來提供安全性。通(tōng)常在數據傳輸狀态使用TLS(如HTTPS)實現數據保護。

  而數據保存狀态時,為(wèi)了防止物(wù)理服務器(qì)或驅動器(qì)/設備直接訪問,應對數據進行加密。加密的具體點或實現可取決于終端用戶想要管理加密密鑰的方式。數據可以在被添加到(dào)對象存儲之前或同時被加密。

  6.合規性&審計

  合規性是數據安全的另一(yī)個(gè)方面,側重于滿足特定受控的行業(yè)(如醫(yī)療保健和金融)保存數據的監管要求。

  通(tōng)常,兼容系統需要能(néng)規定數據的不可變性,提供對象版本控制(以便可以追蹤更改的數據),實現對象鎖定或WORM(一(yī)寫多(duō)讀(dú)),再次用于不可變的數據。相(xiàng)比塊系統和基于文件(jiàn)的系統,大多(duō)數對象存儲不更新數據。這一(yī)點提供了一(yī)定程度的控制權,符合合規性要求。

  審計與合規性互補,能(néng)對數據如何在對象存儲系統中存儲進行追蹤。審計追蹤還(hái)可以提供附加信息,例如層之間的數據遷移,内容校驗和驗證(确保無篡改)以及對單個(gè)數據對象存儲段的所有訪問。

  7.部署模型

  對象存儲一(yī)直在走向軟件(jiàn)定義存儲(SDS)的前列。大型向外擴展型部署的本質意味著(zhe)對象存儲與商用硬件(jiàn)和供應商所提供軟件(jiàn)的成本模式能(néng)夠進行很好地協作。最終,我們看(kàn)到(dào)許多(duō)基于純軟件(jiàn)的對象存儲實現。

  當然,商用硬件(jiàn)的采用無法滿足所有的要求。很多(duō)潛在客戶可能(néng)不情願或無法管理采購和構建一(yī)個(gè)定制對象存儲解決方案的過程,而甯願從(cóng)供應商那裡(lǐ)拿到(dào)一(yī)個(gè)軟硬件(jiàn)的組合解決方案。

  在這種情況下(xià),供應商為(wèi)了滿足客戶需求要提供設備,可能(néng)會(huì)與已經進入客戶數據中心的服務器(qì)和存儲供應商合作。

  為(wèi)什麽?因為(wèi)支持模式,内部技(jì)術(shù)和部署藍圖都已經是基于首選硬件(jiàn)供應商的了。為(wèi)了最大的靈活性,供應商可能(néng)提供以下(xià)三種選項:

  純軟件(jiàn)——用作VSA(虛拟存儲設備)或本地部署到(dào)硬件(jiàn)上(shàng)。

  設備——專用硬件(jiàn)設備,構建為(wèi)一(yī)個(gè)白(bái)盒子或與要硬件(jiàn)提供商之一(yī)配合使用。

  雲——在公有雲中作為(wèi)一(yī)個(gè)實例部署。

  每一(yī)個(gè)選項,客戶應該希望完全的互操作性和一(yī)緻的管理接口。

  8.協議支持和标準

  初期的對象存儲是基于HTTP(S)協議,采用基于REST的API調用存儲和檢索數據。HTTP的使用很靈活,可以在網絡((局部或廣域網)上(shàng)的任何地方訪問數據,然而,相(xiàng)比在橫向擴展型文件(jiàn)系統中訪問數據,為(wèi)了使用對象存儲,應用程序必須進行編碼。

  因此,供應商已經開(kāi)始對其産品增加NFS和SMB支持,允許通(tōng)過基于文件(jiàn)的标準協議來存儲和檢索數據。為(wèi)了完全支持向外擴展型功能(néng),其中還(hái)應包括支持并行文件(jiàn)系統。

  擴展協議支持意味著(zhe)數據采用了對象存儲,現有應用程序能(néng)夠輕松地進行移植或修改。而值得我們深思的是,與橫向擴展型文件(jiàn)存儲相(xiàng)比,對象存儲的架構差異在于,它是通(tōng)過使用模拟了文件(jiàn)存儲的對象存儲提供。

  基本數據并不是用基于inode(索引節點)和目錄架構進行存儲,因此系統崩潰後,FSCK(文件(jiàn)系統掃描)的概念并不适用。與傳統文件(jiàn)系統相(xiàng)比,這對(支持文件(jiàn)系統的)對象存儲的可擴展性和性能(néng)有很大的影響。

  協議支持還(hái)需要擴展到(dào)采用業(yè)界标準。對對象存儲而言,這意味著(zhe)要使用AmazonS3和Swift——兩個(gè)已經獲得廣泛普及的“标準”。亞馬遜憑借2006年(nián)發布的S3平台進入對象市(shì)場,因為(wèi)S3API經曆了成長(cháng),成熟以及完善的過程,所以成為(wèi)了許多(duō)供應商選擇遵循的标準。Swift已經發展成OpenStack項目的對象存儲組件(jiàn)。

  9.成本

  沒有價格和總擁有成本讨論的對象存儲,不是完整的對象存儲。最顯而易見(jiàn)的認證模式是基于容量的——向平台增加更多(duō)可用或原始容量,并以實際增量為(wèi)認證支付更多(duō)的錢(qián)。供應商還(hái)可以選擇針對每個(gè)節點收費(fèi),那麽終端用戶就(jiù)要确保它們部署的硬件(jiàn)能(néng)夠提供盡可能(néng)大的容量。

  還(hái)有一(yī)個(gè)選擇就(jiù)是按功能(néng)收費(fèi),一(yī)些供應商看(kàn)準了這個(gè)機(jī)會(huì),構建了一(yī)個(gè)包含所有功能(néng)選項的收費(fèi)結構。從(cóng)終端用戶的角度來看(kàn),這顯然更具競争力,但隐藏的額外成本可能(néng)是一(yī)個(gè)問題。

  計算(suàn)TCO(總擁有成本)提出了關于對象存儲平台效率的一(yī)個(gè)有趣的問題。橫向擴展節點設計采用計算(suàn),系統内存和磁盤或閃存存儲來提供一(yī)定的用戶容量。

  一(yī)旦在白(bái)盒硬件(jiàn)上(shàng)構建,軟件(jiàn)的效率與構建解決方案的成本直接相(xiàng)關。到(dào)目前為(wèi)止,沒有實際的标準來對比對象存儲的效率,這是需要行業(yè)發展的一(yī)個(gè)領域。

  結論

  以上(shàng)就(jiù)是對象存儲的九大主要特征。供應商将以實現這些功能(néng)的方式來使其産品架構更具吸引力。

服務項目

維保運維服務

信息系統集成服務

機(jī)房搬遷服務

 
 
 
QQ 在線客服
QQ 在線客服
 
電(diàn)話:
0531-88818533
客服QQ
2061058957
1905215487