TWI322942B - Topology independent storage arrays and methods - Google Patents

Description

九、發明說明： 【明 】 本申凊要求2GG5年3$ 14日提㈣序號為祕62〇69的 美國臨時專利申請的優先權。 發明領域 本發明的領域為存儲陣列。 【先前技術3 發明背景 在整個資料存儲的歷史上，存儲手段的容量在不斷增 長。在-開始，電腦的資料存儲容量在數元組(咖)級上， 隨後上升到磁盤級。磁盤容量從幾百個千數元組⑽咖㈣ 上升到幾百個百萬數元組(megabytes)、幾百個十億數元組 (gigabytes)，而且還在繼續增加。隨著電腦 長 ，環境對存财段容量的要求也越來料。在每 段’存儲手段的基本單位也在錢增長，從單個磁盤增長 為夕個磁盤、直至包括錢A磁盤陣列的存儲場所構成的 完整系統。 在資料存儲領域，縮略語RAID[磁盤陣列]代表「 Redundant Array of Inexpensive Disks[廉價磁盤冗餘陣列]」 。符合堅實可靠存儲要求的傳統RAID存儲陣列付諸實施的 成本極其高昂’與其名稱實際大相徑庭。每個存儲陣列包 含-套與所要求標準相符的陣列參數，包括以成本、可靠 性、性能 '容量、可用性、規模的可伸縮性、或者其它用 戶所要求的度量參數。在典型情況下’ RAID系統要求專門 1322942 的硬體設備，包括SCSI盤、iSCSI設備、或者光纖信道開關 ’從而迫使消費者付出昂貴的代價獲取他們所希冀的存儲 方案要求。其價格昂貴使存儲陣列解決方案為消費者與中 5 小企業（SMB)所可望而不可及。而對大型企業來說，可靠性 或者性能的重要性則遠遠超過成本，因此它們寧肯付出獲 取有效存儲方案所需付出的代價。 RAID系統及其相關的硬體為用戶的存儲提供一個相 當粗線條的解決方案。每個RAID級別，例如RAID-Ο級、1 級、0+1級、10級、5級' 53級等，提供一個由控制器或者 10 15 複雜的軟體操控的具體的磁盤配置。這種粗線條的方案透 過磁盤級的存儲映射（或者更差—些m统級的映射) 將資料映射到實際的存儲位置之上。因此，這些系統有_ 個由，、存儲映射所定義的單—佈局由這個存儲映射規定 陣列磁盤所包含的資料集之間的相互關係。此外，每個系 統都有-個與之相關連的具體存儲陣列參數集。例如， RAID_G磁條分财管㈣_盤數所枝祕能，但並不 透過冗餘資料提供更乡料紐。rahm透衫個磁盤的 資料冗餘提供可靠性’但並不提供性能上的增進。每個 RAID級別都可以列舉出此種特點與局限性。—旦用戶部署 20 -個襲系統後，他們就必須面對轉移到看來更接近他們 所要求標準的新系統後所必須面對的許多_題。㈣― 旦部署之後，用戶很難再對陣列參數進行微調。 ，^定的佈局、粗線條的細映像和具體的陣列參 數的存儲线迫❹戶在事先對他們所衫的解決方案提 6 出準確的標準。一旦決定了陣列參數的標準，用戶就必須 購置最符合上述標準的存儲方案，迫使用戶按最符合其方 案榡準的RAID級別購置設備，並且希望它但願能滿足他今 谈的需求。故陣列的成本很高，因為用戶必須在系統層次 上尋找固定的佈局解決方案，在此層次上，系統由控制器 支配，無從進行細線條調控。如果用戶可以對其存儲方案 進订細線條調控，他們就能更有效地進行成本管理，從他 們所希冀的存儲方案中獲取更多的回報。 用戶顯然需要一項更具可塑性的存儲解決方案，以便 在對自己需求逐步認識之後或者在其發生變化時，能對陣 列參數進行調整，使其更貼切吻合應用程式的確切要求。 此外，解決方案應允許用戶對現有解決方案進行調整，而不 必更換系統’或者另行購置—套與整《統完全相同的重複 系統。因此，改進的存儲陣列必須具備以下性能特點： •存儲陣列必須不受佈局的影響，從而允許陣列能隨時 間推移而修改變動’而不必考慮在佈局上是否需要作相應 的修改變動 · •存儲陣列應該允許在可靠性、性能、容量、單位存儲 谷里成本、可用性等方面進行調整 •存儲陣舰模應自然Μ地具有在讀或磁盤以下 層- 人上的可伸縮性’從而將存儲方案的最基本單位降低到 最小的可識別尺度之上 •存儲陣列的存儲映像應在磁盤或磁盤以下層次上提 供資料存儲的細線條難，而不必將最基本的存^單元聚 合成為較大的存儲結構 •陣列内部資料的實際存儲位置應置於動態狀態，允許 資料從-個實際位置遷移到另一個實際位置，並對操作系 統、文檔系統、或者應用程式保持透明。 ，過去就曾作過-系列的嚐試，試圖透過將各種級別的 磁盤陣歹URAID]結合，以提供此種解決方案。遺憾的 是，所有的此類嚐試均未能在保持可靠性、性能、或者可 用性的前提下’為W充份提供-個具有成本效益的解決 方案。所有現存的解決方案在規模的可伸縮性上均存在缺 陷，都只具備在系統層次上的粗線條存儲映像。 英特爾公3提供-種Matdx RAID[矩陣式磁盤陣列]， 在词服器㈣署兩個磁盤。Matrix RAm提供—種每個磁盤 内具有-個資料分割分區和一個鏡像分區的佈局。第一個 磁盤的鏡像部份映射第二個磁盤的資料分割部份。透過此 種佈局，Matrix RAID线提供了比單_純高-倍的性 能’因為資料分割於兩個磁盤之間，並在磁盤界面允許的 範圍内進行平行輸入輸出操作。此外，資料具有可靠性， 因為透過資料映射提供了—個磁盤失靈時所需的資料冗餘 。Matrix RAID與RAID-10系統十分相似，其中系統容量為 磁盤容量的-半；但資料映射在分區層次上，而不是在磁 盤層次上，這對我們是十分有利的。雖然MatrixRAlD系統 從可罪性和性能角度看有若干項好處，但它畢竟還有一些 其它方面的局限性。其佈局是固定的，這意味著用戶一旦 對系統進行了部署’就無法改變陣列的配置。系統的規模 沒有可伸缩性’因為Matrix RAID需要專門的BIOS[基本輸 入輸出系统]硬體和晶片組來實現，而且還進一步受到兩個 磁盤的限制。一旦系統部署之後，Matrix RAID的用戶要對 系統進行微調的話，需要付出相當可觀的精力或代價。 在美國專利第6,557,123號中所概括描述的InoStor公司 的RAIDn系統所遵循的是較傳統的RAID[磁盤陣列]路子。 磁盤被組合到—起，產生一個存儲陣列，用戶通過選擇陣 列中可允許出現故障而不致造成資料丟失的磁盤數目來定 義所要求的可靠性。資料在陣列的各磁盤之間的分割與 RAID-5系統相似，並加上多重奇偶校驗分割。一旦用戶選 擇了所要求的可靠性之後，則奇偶分驗的數量及其在 陣列中的排列透過數學方法確定。In〇St〇r公司的解決方案 提供了可靠性和性能兩者的結合，但⑽在職的可伸縮 性上仍然存在問題，因為管理與計算複_奇偶校驗需要 專門的硬體。如果用戶希望增加系統的容量，就必須另外 購置-套陣列。所以，InoStor公司的解決方案與其它尺她 系統同樣地存在固定佈局所導致的局限性，即陣列一旦部 署之後’要想進行調整十分難難。 優利公司[Umsys Corporation]專利號為6 785 788的美 國專利概括描述了試圖提供靈活的存儲陣列的另一項嘴試 。優利公司放棄了奇偶校驗，並代之以鏡像映射，路子與 英特爾公司的Matrix RAID[矩陣式磁盤陣列]相同只不過 是在-級容量磁盤之間進行資料分割，而在二級容=磁= 之間進行資料鏡像映射。這種佈局仍然是固定佈局，但在 提供性能的優越性的同時允許用戶 從而提供了-種比較經濟的解決方案。==盤， 綁在整個磁盤之上，系統更新不易進Γ。、續仍然捆 具備在磁盤層次上的自然可伸縮性^ 料系統規模不 較早期的叫賴衫缺供真^利 因為它們咖定的佈局捆綁在—起，並 的集中式硬體或者只能作粗線條存儲映像的複雜ΙΓ二 資料與其實際位置脫鉤的虛擬化方案使我們能由= 們的重新配置方針支配的、具有靈活佈局的陣列。 映射到磁盤或磁盤以下層次邏輯分區的節點代替基㈣射 到磁盤的節點的這種佈局具有最大的靈活性。如果 與實際位置脫鉤，則可以從一個實際位置遷移到另一個: 置，而且採取的是對陣列用戶透明的方式。此外，每位用 戶可以存儲不同的存儲映像，因而所「見到」的是不同的 陣列，儘管實際的存儲系統由若干位用戶所共同分享。不 受佈局影響的陣列降低了成本，因為系統中的每個單元獨 立運作’不再需要複雜賴中式管理_，從而允許在單 磁盤層次上進行擴充。透過對佈局配置的恰當選擇，存儲 陣列的可靠性可以超過RAID_ i 0、RAID_5、乃至RAID_6系 統。即便不受佈局影響的陣列可以採用包括奇偶校驗在内 的RAID[磁盤陣列]概念，運用冗餘提高可靠性所要付出的 成本也較低，因為奇偶校驗不需要用特殊硬體進行。即便 在部署之後，只要有一個能納入所要求的資料分割與規模 的恰當方針，就可以透過增加磁盤自然而然地得到優異的 陵忐。容量也可以透過在陣列中增加磁盤自然地在磁盤層 j上加大。用戶可以隨時購置具有最高容量價格比（或者最 生月Μ賈格比）的磁盤。資料的高度可用性可以得到^r呆證， 因為資料可以以對應用程式透明的形式映射，以獲取資料 几餘，或者可以把資料從不甚可靠的位置遷移 ήίι w 非 丄置上去。用戶還可以用一個陣列參數去和另一個參數 交換。例如’在私建与受佈局影響的存儲陣列的方針 ^，在陣列t磁盤數量固定的前提下，如果通過增加額外 =像來提高陣_可靠性，則陣列可供使用的容量就會 机兀旰用戶對存儲陣列進行細線條的調控，而 2投入大量金錢減取得他們所要求的可靠性、性能' :量二規模上的可伸縮性、或者可用性標準而: 者相當可觀的需求。 疋仔在 t發明内容】 發明概要

…，q到·的是存儲陣列，I 訊的資訊封包提出的要求進行含控制資 陣列至少包括兩個存錯節點，該項節點=局衫響的存儲 _-改二件據_交換的 ，存錯陣列被虛擬化為多個㈣、"之上的位置。此外 尺度低於麵科層次的存.，其具體佈局取決於 |J。不受佈局影響的存儲 ^列，置包括向存儲節點指定存儲映像、指示至少_個 m 點接受來自陣列之外㈣訊封包、以及允許—個陣 而變化k括可* ^或者性能)隨著另-個陣列參數的變化 以下各節描述本文件中所使用的術語。 陣…狀以者從存儲 ° 轉的讀。資料區塊以標識符進行訪 10 戶機與存料列交互時，向存儲陣舰出包含資料 ^識符的資料封包’存儲陣列依照資料區塊的標識符 括3儲映像決定資料區塊如何處理。預計的資料區塊包 括攸數讀直到若干千數元的各種大小甚至可以更大。 15 =卜預4身料區塊可允許固定的區塊尺寸或者可變的資 广’品鬼尺f f先選擇的資料區塊位址長度是犯數元组。 預計的資料區塊標識符包括任意長度的邏輯區塊。更具體 預相位址長度包括48數元、64數元、或者職元的位址 〇 存儲嫫介 20 「存儲媒介」細是資料存㈣實際地點 有多種形式，包括磁性和非❹Μ 琛” 括磁非魏媒介。磁性媒介的例子包 盤或者磁帶。非磁性媒介的例子包括隨機接達記憶器 [RAM]、閃存記憶器、光存儲器、物理結構、或者其它資 ，存儲機構。存健媒介存在於存儲器件之内。例如，磁盤 子在於硬盤驅動器之内’閃逮記憶器存在於媒體卡或者記 12 憶器晶片之上。 者探討的媒介。預4的媒體還包括還有待於發明 、發現或 係故h 器件」指的是包含存儲媒介，並提#^^% 便將資料存储於 耻供界面’以 的例子包括旋隸Γ 媒介上的器件。存儲器件 、或光驅動ϋιΓ轉器件。旋轉器件包括硬盤驅動器 儲晶片、USB接疋轉器件包括隨機接達記憶器或閃速存 動或in 軟體保護密_SB dongles]、以直線運 10 匕目對運動糾平面或體積，形成 機 态件。預計的存儲哭1 町機槭 器件。 。件已括在區塊層次上存儲資料的存儲 存儲映％ 15 、其中二指的ί存健於記憶器内的-個邏輯構念 」3 ’貝；'·區塊標識符轉譯為存儲器件内存儲媒介 將貫::置：資訊。存健映像包含任意的複雜程度，允許 少至夕個貝料區塊標識符映射到實際位置之上。此外°， 20 =儲映像允許-個到多個映射，其中—個單—的資料 一符映射到一個以上的實際位置之上。存儲映像還包括 二割為子映像的映像。例如’第一個陣列元件知道如何依 據第-個子映像將資料區塊標識符映射到第二個陣列元件 =上。第二個元件知道如何依據第二個子映像將資料區塊 一符進-步映射到存難的存㈣介上。因此，「子 」指的是作為完整存儲映像1份的存儲映像其中 如何將資料區塊標識符映射到實際位置之上的部份映射資 13 5 。。特㈣像的子映像將分佈於__或者使用存 ^列器件的任何數量料件之中。存儲映像可包含任意 =存儲資料’從系統層次、到存儲器件層次、到存儲 =區層次、到分區内的資料區塊層次、或者到區塊 ^的數讀層次^優先選擇的存儲映像尺度在磁盤層次

JiA p 〇 &MM. 10 陣列夕「卜的是一個具有位址的邏輯構念，它允許 像相結合:媒介尋址°存健區與存儲映 儲區運_映像映射:===的邏輯表示。存 ;從而允許將__:個或==介 *計的位址包括名稱餐 中。 要該模式能提供允許系匕換式，只 15 。存儲區的例子包括具有ΙΡ位址的即可 已被_動器字母的閃存記憶器:件:二 D己隐器£ &。邏輯分區的例一 之上的 腦73509的美國專 < —疋2咖公司巾請號為 _财讀咖™㈣存儲分區。 20

。。存錯相」指的是執行處理單元 A 理單元能透過存儲區訪問存 構心’氣 元以及處理來自存儲陣列外部或者陳—節點包括處理單 的資訊封包，以便摔浐：列内部其它存錯節點 足夠的峨淘==崎增科所需的， 存储即點以位址或者與存儲區相關 14 1322942 5 # 1〇 15 20 的名稱代表其本身。存儲節點的· 盤驅動器相關的虛擬器件該、例子包括與網路賦能的磁 戶機本機的原裝磁盤驅動器I:虛擬器件看來可仿佛像客 的磁盤驅動器具有多個存儲節:如’經由知⑽加技術適配 驅動器以及磁盤驅動器的八J’’·，因為Zetera™技術為磁盤 存储節點彼此獨立運^指定名稱或朴位址。 個存儲節點的存在。每個存錯r個存儲節點不必知道另-存儲映像，瞭解它所負責曰即點根據與其存儲區相關的 儲節點所要作出回應的；料區塊。因此，存 其存儲區範圍之内的的資料封^ ’只是資料區塊標識符在 ，形成-個完整的存儲陣列:二=·點可以相互組合 果因操作需要指示它們這樣做的=即=切相互m 向另一個位置複製資料。 匕括彳文一個貫際位置 以上術語用於本文件的範 主題進行闡述，並應從最廣的疋為了便於對本發明的 這些術語代表其獨特的功能1義上對其進行解釋。儘管 相互結合，以實現某項 旦故些概念可以以任何方式 的概念可以結合成為單—的户例如’存儲區和存储節點 者的功能概念，即存储節勢:=，點:念’並有效體現兩 例中，存儲節點位址相當於存儲區:：。鄭在這—實 痒列 「陣列方針」&者「方針」指的是存館於定 列的:憶器之中的資料、軟體、或 基於陣财數_耻置以存 15 丄以2942 映像的佈局。存儲陣列可根據包含與陣列交換的控制 的控制封包對方針進行配置或者重新配置。此外，方針可 允許以用戶為中心的陣列視圖，從而得出多個用户，每個 用戶有其自身的用戶視圖，他們共享相同的基礎結構，作 所見到的卻;I：不同的ρ車列；或者也可設置為讓多個用户此 享同一陣列的同—視圖。 、 陣列參數 每個存儲陣列都有—組與陣列方針相關的「陣列參數 」’用以決定取決於陣列佈局的系統的總體特性。陣列表 數的例子包括與可靠性相_量度值、性能m & · 應時間、或與鏡像數量相關的其它值、規模可伸縮性、容 量、或成本。—個陣列參數應另—個陣列參數的變2 行調整。具體預計的變更包括降低可供使用存儲容量 適應提高陣列可靠性的要求。 佈局 rp /5j」

相讦储卽點與存儲於節點的資 間的邏輯聯繫。例如，讓我 一

,r ^ 下有二個存儲節點A 、和C，其中所有三個節點均 等其它參數加以區分猶^實際位置、標識_ 20 假弋由郎點A定義的第一個佈局自 與Β相同，但與C不同的資料。 並假疋由郎點A、Β和C笼 的第二個佈局均包含不同的 式通信連接，第一個佈局盘第二點之間以何箱 ，、第—個佈局始終是不同的。 在讓我們假定第-個佈局㈣點α、β、Μ改變了它^ 區分參數’從而使每個節點具有了新的實際位置、制 16 識符、或者新的名稱，形成第三個佈局，而 資料則仍然保持相同的相互關係。第—個佈局和第即點的 局具有相㈣佈局，gj為資料集的關係並 個佈 答々々βι_ 王改變’ >(专 即點之間的聯繫發生了改變。因此，就存 谧 乳而二 计碎即點的通作

言，陣列的佈局是一個不變量。佈局 D 沾β ‘ w J所按昭 的疋存儲於記憶器之令的陣列方針。當用戶 ‘、、、 陣列方針的話，佈局就發生了改變。 '更 ίο 15 20 「不受佈局影響的」存儲陣列指的是陣列的佈局可祀 據陣列方針的改變而改變。因此，在陣列方針最初配置時 或者在其按照控制資訊重新配置時，佈局即發生改變。 例如’當存鱗助料雜節點改變編號時、或者當存 儲節點相對於其它節點而言改變其資料集内容時，佈:就 發生改變」。基於RAID[磁盤陣列]系統的傳統陣列包括 D〇 1'10、5等’具有gj定的佈局，因為Raid系統有 ，定的預設結構’-旦部署之後，結構餘更改。這意味 著就傳統的RAID陣列而言，如果不改變整個系統的實際排 列，疋無法改變其佈局，以提供更適合於應用程式需求的 解决方案的。不重建一個新陣列，不把整套的資料集實際 地或以邏輯方式從一個固定佈局遷移的另一個佈局之上， 一個RAID-1 〇陣列是不能變成一個RAID_5陣列的。 研發人員可以頗有所獲地利用本文的提示建立動態存 儲陣列，從而做到即便在存儲陣列配置之後，也可以變動 與更新’以滿足用戶的需求。由於存儲陣列具有可配置的 佈局，存儲陣列可透過配置來滿足用戶在可靠性、性能、 17 1322942 容量、可用性、或者規模的可伸縮性方面的需求，並在同 時使系統的總體成本低於傳統的存儲陣列。此外，與已知 的RAID系統相比，不受佈局影響的陣列還具有不少其它優

透過以下對本發明的優先選擇的實施例的詳細描述， 以及相同數字代表相同部件的所附插圖之中本發明的备 項目的、特點、方面、以及♦點相信將變得更加—目瞭然。 圖式簡單說明 10 第圖所不為攸邏輯角度觀察，一個存儲陣列的示意圖 ’圖中存儲陣列包含多個存儲節點。 所科從實際角度觀察，-個存储陣列的示意圖。 ，二？從實際角度觀察，-個存儲節點的示意圖 關Γ存儲節點、存儲區，器件之間的相立

15 20 第4A圖所示為存儲映 器中的存儲映像的第lj::::不意圖’描繪第-個記憶 存錯映像的第二個子映^ 、像’以及第二個記憶器中的 際實包:兩個軸器件的存儲陣列的-種實 一個分割分^ ”中每個存㈣件有-個鏡像分區和 第5B圖所示為從邏短 列示意圖，親二士★觀察的兩個存儲器件存儲陣

’顯示存儲器件上分區 之間的佈局 18 1322942 第6圖所不的不意圖描繪一個由Z-10跨越多個存儲器 牛的佈局，、巾#料跨越㈣器件分割分㈣資料跨越 存儲為件鏡像映射，鏡像映射的資料按相對於分割資料的 方式參差交錯。 第7圖所V為由Z_11G跨越多個存儲器件佈局的邏輯示 意圖。 第8圖所不為分割與鏡像映射資料在存儲媒介上如何 參差交錯的示意圖。 帛9目所7^為與不受佈局影響的存料舰互與配置 步驟的示意圖。 【贫 ^ 較佳實施例之詳細說明 本文件中所描述的許多概念均為存儲於記憶器中並在 15 4料元執㈣虛_念。因此，㈣元件可存在於任何 具有處理早疋以及足夠的用於支配元件的軟體或勃體的賦 ^ 能系統之中。 存儲陳列 第1圖所不為所設想的存儲陣列100的邏輯視圖，陣列 •扣巾包含多鱗料點舰直到刪。制程式⑽透過通 .㈣㈣0訪問存儲陣列刚，與陣列腳以及存儲節點醒 直到11GN進彳了封包的交換。封包可以衫送往存儲節點 110A至11GN之中的至少一個，也可以指定集體送往一組節 ·.』因此’縣路徑13〇提供了與存错㈣⑽連接的界面 。當存儲節點接到-個控制封包或者一個資料封包時它 19 5 5 10

。#封匕㈣包含的資訊確定如何_包進行恰當的處理 ，:制封包疋包含存儲陣列或者存儲節點控制資訊的封包 :將改變存儲陣列_佈局配置。資料封包是包含資料 2心識相封包’它將被送往存儲節點丨說至！丽之中 户…個節點。存儲節點11〇A至110N隨後決定如何經由 堵器件通彳5軸12s與存儲器件1撕至丨5_交互。預計 、'存儲^牛通信路徑包括Ip網路、ρα匯流排、心匯流排 光纖、或者㈣接達存鮮件㈣信匯祕。如第丄 ^所示，存儲節點的數衫必與存儲时的數量相對應， ★二子儲節點是—種映射到存儲器件中内部所包含的資料 二間:的虛擬構念。因此，存儲陣列⑽被虛擬化了，正像 子錯即點110A至譲一樣。預計單—的存儲節點將跨越一 個以上的存儲器件。 15 子儲陣列100有命多可能的實施例。存儲陣列的一個優 ，擇的實&例採用通信路徑13()作為與IP網路的界面其 士每個即點在網路上單獨存在並具有1?位址或者名稱，

20 X址或名稱此最終解析為與節點的存儲區相關的IP位址 u因而，存健陣列100包含—個分佈式節點集，其實際位置 °、彼此77離’每個節點能接達-個存㈣件。存儲陣列 10 0的另—個預計的實施例以通信路肋G作為應用程式 140的應用程式界面_)。例如，文«、統可以代表應用 &式⑽，用應用程式界面[API]接達存儲陣列100。文檔系 統隨=將存儲_1GG視為本機的實際存在ϋ件，而在實際 不過/、疋實際位置彼此分離的_組虛擬器件而已。 20 第2圖描緣一個不受佈局影響的存儲陣列的可能的實 際實施例。存儲陣列細包含處理單元加和記憶㈣卜應 用程式240透過由通信路徑23〇提供的界面與存儲陣列獅 交互。處理單元2U)從應用程式接受封包，並依照記憶 器220中的存儲映像223和方針227決定如何處置封包中所 含的資料或者控制資訊。處理單元21〇透過資料路徑Μ接 達《•己隐器220由於存儲陣列2qq的虛擬性質， 和記憶器-的實際位置可以與作為存储陣列細-部份的 存儲節點彼此分離。例如’在—個優歧擇的實施例中， 可考慮與存儲陣列交互的電腦讀站(僅作舉例，並無限制 之意）。工作站的CPU[中央處理機]起處理單元21〇的作用， 而工作站的記憶器起記憶器22〇的作用，即便存健節點及其 構成存儲陣列200的相關存儲器件實際駐留於與工作站相 距很遠的地方《存儲節點經由網路與工作站連接。工作站 與節點交互時’依照記憶器22〇中的存儲映像如以及依照 方針227接達資料存儲器。另一個可選擇的實施例包括架裝 機殼’並有其自身的中央處理機[CPU]和記憶器來支持多台 存儲器件。在此種情況下，機殼内的中央處理機[CPU]和記 憶器分別代表處理單和記憶器22()，並與駐留於工作 站的應用程式的實際位置彼此分離。在所有情況下存儲 陣列200均包含足夠多的軟體與㈣，足以允許應用程式 240接達陣列的資料。 方針227包含決定存儲陣列2〇〇佈局與特性的資料敕 體、或韌體。方針227是在存儲陣列200設計或者建造時最 1322942 10 15 ==的。在最初配置中，管理貝對㈣參數進行調整， 。其存儲料方案標準。方針置的 構成陣列的存儲節點資訊、用於將資料區塊映射。二含 儲映像、或者允許細程式24G或其它系統接達= 的一要資訊。在一個優先選擇的實 έ己憶器將保存方針227。在一個更理想 的 存放於客戶機之外單獨的記憶器之中方針功 存儲映像的充份資料、軟體、或韌體，能允接收代表 恰，也交互，而，方針227支配存儲陣列二機= 戶機提供具體的陣列視圖。這就允許多台客戶機或者共 =同的陣列視圖，或者分別得到各不相同的陣列視I 、子視圖的—個實例是多台客戶機接人共享的邏輯卷使 其看來仿佛是所有客戶機都能看到的單—的驅動器。單獨 視圖的-個實例是每台單獨的客戶機接入—個單獨的、非 共享的、只有一台客戶機能夠看見的邏輯卷。在兩種情況 下’方針透過對構祕列2_存儲節_恰當定義以及給 予每台客戶機_個恰當的存儲映像223，做到允許所有的客 戶機共享相同的基礎設施。

20 在配置之後，方針227可依照傳送到陣列2〇〇的控制資 訊重新配置。方針227的重新配置允許更動陣列200的佈局 ’使其更加適合取決於陣卿叫列參數變化的存儲解決方 案標準的要求。例如’如果在陣卿〇巾加人更多的存儲器 件’則如有必要的話，方針227進行更新，以反映所增加的 存儲節點’從而導致佈局的變動。存儲映像223也作相應的 22 a d厶厶7叶乙 ^戈^的方針變更可由軟體自動進行、以手動方式變 ^者相管__行。料227的預計 ::Γ=映像223的文檔系統之下的器件驅動器 ]:中：rr 數配置、陣列方車列技藝者都能辨認存健陣列參 和建立存儲映像之間的相互關係。 細的_、所T為從實際角度觀察的個存儲節點的較詳 10 的二存儲節點300包含一個基於運行於處理單元310 的軟體或靭體的虛擬構今。存 330提供的界面魅二 透過由通信路徑 理„的界面與其它存儲陣列元件或遠程主機通信。在處 ^310執行其存儲節點職責時，它透過資料路徑犯訪 转儲於記憶器320之中的存儲區323。存儲㈣包含足夠 15 =軟體或者資料，足以指示處理單元31〇如何依照資料封包 :所包含的資料區塊標識符接達存儲器件350。此外，存儲 區3=包含—個供存儲節點期用來與其它存儲陣列元件或 ^ 機又互的位址或者名稱。在一個優先選擇的實施 •中通彳。。卩份3〇〇提供封包交換網路的界面。更優先選擇 20 丄：包例匕括一個IP網路界面，其中捆綁於存儲區M3的名 知最終解析為—個1p位址。使用名稱允許在存儲節點改變 ，址，接達存點。如果應用DHcp[動態主機配置協議 j 或者Auto-IP[自動π»位址分配器]指定存儲節點位址 的話’每次接通電源時’存儲節點均可得到一個不同的位 & ’而名_可以最終解析為一個位址’無論位址如何變 23 350 Λ βΡ _透過存儲11件通信路徑325接達存儲器# 寫入°/儲區323包含至少"'部份存儲映像，由其定議 〇 _媒介355的哪-部份或者從哪—部份讀取。此外 =區3㈣綱357，_較增韻細的一 然分區357作為-個「分區」而被訪問，但此術語 ;儲:解為一個磁盤分區’倒不如說應解釋為較大的 ㈣：的：子集。因此’記憶器、磁帶、RAM[隨機接 2、閃存記憶器、或者其它資料存儲媒介都可以有分 =選擇的實施例允許多個存儲節點應㈣—個處理 =同一個記憶器。此外，多個存儲節點可以共享相 …存儲H件或者共享朗时儲媒介。 存儲節點300包含足夠的軟體，足以處理 15 二!:封包、依照存儲區資訊接達存儲器件、或者與 ;釋=:機父互。存儲節點將來自控制封包的控制資 ;:解=，點的指示。對節點的指示包括改變節點的狀 ::鲨連接於其上的存儲器件的狀態、從陣列中清除該 即點、在其它地點複製該節點、或者 … 20

節點3_釋資料封包内部的資料區塊標識^°，儲 封W應如何處置侧㈣存儲：所:更的= = 的預計實施例包括代表多 儲節點作二 制。-提供相㈣_編碼機 選擇的實施例包括用單-編碼結構同時處理 24 1322942 多個節點。在此類實施例中，編碼結構從資料結構訪問存 儲節點資訊。存儲節點資料結構在節點複製時，可以十八 便捷地輸送到其它處理單元或者記憶器之中。 存儲映像 第4A圖所示為一個可能的存儲映像。存儲映像4⑻存儲 於記憶器405之中，包含軟體或者資料。在所示的例子中’ 存餘映像4GG包含-張至少包括兩個字段的資料表…個字 段代表資料區塊410A至4應。如同所示，此處列出了多個 10 資料區塊賴符，以表河叫任意數量的條目。另一個 字段代表資料區塊存儲的實際位置。實際位置樣八至4細 分別對應_核塊標識符佩湖N。實際位置佩至 4細指神儲節點在存㈣件上存㈣介的何處寫入資料 或者在何處讀取資料。每個資料區塊標識符在存儲映像働 上也可以有-個以上的實際位置。 15 雖然第4A圖顯示置於記憶器彻之中的表格，存儲映像 400包含備用的形式。如1 20 包含能執行―邮數運㈣’㈣韻先賴的雜映像_ 符決定資料存儲位置。作的=體，以便依據資料區塊標識 算來判斷資料區塊是否已^例的—項函數包括使用模運 運算函數，若干個存財Γ儲節點所存儲。通過運用模 分割卷），在此結構中二丨t合起來，形成謂撼(一種 算函數剩餘部份決定的的每個存儲節點負貴由模運 -種方案，另-個優先選擇2"料區塊標識符。作為另 函數’該項函數包括存儲映像_包含J軟體 豉小區塊標識符和一個最大區塊 25 *纖付t巴祜。j聪列爾罝。如果資料區塊標識符處於存 :像·中憾减蚊的標識符·之内，則存儲節點 將處理該資料區塊。 透過存儲映像400使資料區塊標識符41〇a至41〇顺實 =料位置420A至謂脫釣’存儲陣列的性質進一步虛擬 匕為存儲節點。由於存儲映像可表㈣資料或者函數， 存儲映像侧可以改變實際位置42〇八至刪，而不被席用 =式察覺此種改變。此外，駐留於多個存儲節點之内的多 10 ::儲映像可以負責同-組資料區塊標識符，但訪問不同 際^置。透過此種途徑’存儲節點組合起來，形成 :卷’即鏡像映射卷。此外’如果第一個存儲節點上 (U固存㈣像負責—系列按順序排列資料區塊標識符 儲咏至某個大數值X)，而第二個存儲節點上的第二個存 15 2映像負責按順序排列的列表的後續部份(例如糾至Y，且 x)，則第一個和第二個存儲節點結合，形成跨越卷Γ 第4B圖所示為分割存健映像，其中存儲映像的第一個 、像駐留於第-個記憶器，而存儲映像的第二個子映像 像4留:第二個記憶器中。存儲映像伽包含第一個存儲子映 20

駐留㈣和第：:子映像4_。第一個存儲子映像4°°A

駐1： 個記憶器415中，第二個存儲子映像4〇〇B 駐留於記憶器425中。在所述的例子中，第 料區塊標識符魏至41崎析為存儲節點德 ^樣’存儲子映像中的條目數量是料的。第二 子錯子映像侧進_步將f料區塊標識符佩至4遍 26 1322942 10 15 20 解析為實際位置440A至440M。第二個存儲子映像4〇〇b被表 示為專屬於某個存儲節點，因此其條目數量與第一個存儲 子映像400A不同。透過將存儲映像400分割為子映像，並將 存儲映像的子映像置於客戶機記憶器之中，客戶機就能與 相關的節點直接交互，而不必與陣列中所有的存儲節點交 互了。在一個優先選擇的實施例中，客戶機用存儲映像的 子映像去解析哪一個節點負責一個資料區塊。客戶機向所 有負責該資料區塊的節點送出一個帶資料區塊標識符的資 科封包。存儲節點進-步將資料區塊標識符解析為位於一 多存儲器件上的實際位置。透過分割存鍺映像柳， 「口戶機可以看到彼此各不相同的陣列。用於本文 但優先選擇的存_和：： 。我們具體預計存並包括模函數 在低於存健器件的層次上映射;=子― 施例中，存儲映、在一項優先選擇的實 區的層次上提供映射。子储子映像在分區層次或者低於分 存錯映像與射㈣點的 的產生，因為它們形成—個虛二：不受佈局影響技術 接物崎料段，射魏細節點提供 個貝料集之間的關係。因此，如改變陣子=點所存儲的各 ’就會改變陣列的佈局 j内部的存儲節點 了以透過在陣列中增加或者清除 27 5 10 15 20 2節點改變陣列的佈局，或者透過改變存料點的存錯 括改變佈局。此外，存儲節點可以透過在存儲區複製包 括八位址或名稱的射讀像從—組硬體遷移的另—，複製時亦可在必要時爭，硬體儲映像的實際位置、並亦可 :原有位置向新位置複製任何資料'最後亦可在必要時從 =除舊節點。存物遷移時，需要對存储節點的 B或者可能是存儲節點正在使用的存儲器件的狀態進行 狀態控制 豐择盤不受種響存健陣而丨 第5Α圖所示為雙存儲器件存儲陣列的例子，用以介切 不受佈局影響的存儲陣列的概念。存储陣列包含四個存° :節點篇至獅’它們透過由通信部份53〇提供的界面 ”陣列之外通信聯繫。存儲陣邪崎—步包含—個由磁盤 550代表、具有分區552和554的第一個存儲器件；和一個由 «560代表、具有分區562和564的第二個存儲器件。存儲 郎點5·至5膽透過存儲器件通信路徑仍與磁盤別和 通信。儘管存儲❹测的例子提供了 _個存儲器件為 磁盤的實例，但並未暗示對存㈣件作纽何限制。 一個方針確立了存儲陣列5〇〇的所述配置，該項配置包 含一個分區分割群組（分區552和分區562)和一個分割分= 鏡像映射群組(分區554和撕)。分區564包含存储於分區说 之上的資料鏡像，分區554包含存儲於分區562上的資料鏡 像。存儲節點510A至510D各負責磁盤550和56〇上的特定^ 區。存儲節點510A負責駐留於分區552上的資料區塊，並包

28 含設計來作為分割分區運作的存儲映像。存儲節點別C負 責駐留於分區562之上的資料區塊，並包含另-個設計來作 為第一個分割分區運作的存儲映像。此外，存儲節點遍 包含-個與存健節點510C所使用存儲映像相似的存儲映像 以便使其對同樣的資料區塊也負有與存儲節點則C相同 的^責，但將資料區塊存儲於磁盤550的分區554之内而 不是存儲於磁盤560之上，以便將資料鏡像映射於分區泥 。與此相似，存點編包含—轉懸像該存儲映 像與存儲或點51〇a的存儲映像訪問相同的資料區塊標識符 1〇 ，因而將資料區塊存儲於磁盤560的分區564之内。 第5B圖所不為與第5A圖相統的邏輯視圖，以清 =顯示分區如何組合，形成邏輯群組，並清楚顯示其各： 資料集的相互關係。分割分區说和S62組合，形成分割邏 輯群、、且57〇 ’而鏡像映射分區州和⑽組合，形成鏡像映射 15邏輯群組篤。兩個群組570和580組合起來後，就使用存儲 陣列500的應用程式的角度而言，形成了一個邏輯卷。鏡像 映射邏輯卷5_資料，相對於分㈣輯卷57G而言，產生 了位移存儲陣列5〇〇的佈局由存儲於分區内的資料集之間 的關係定義。儘管存儲陣列5〇〇的佈局與英特爾Matrix 20 RAID系統相似’但有若干項區別。存儲陣列500可以透過 在陣列中增加磁盤和增加存儲節點重新配置，以處理送往 外加磁盤的資料，而英特爾MatHx不能這樣做。存儲節點' 磁盤、或者分區的數量是任意的，存储陣列5〇〇的存儲映像 在刀區層次上運作，而英特爾Matrix尺八1〇的存儲映像則在 29 ^22942 5 系統層次上運作。此外，存儲陣列500在規模上具有可縮放 性’而英特爾的Matrix RAID則沒有這種可伸縮性。存儲陣 列200的佈局最後得出一個與RAID-10相似的系、统，在此我 們稱之為「Z-RAID™」’此項系統由於跨越多個存儲器件進 行資料分割，㈣具有良好祕能；其鏡像映射資料相對 於原始分割資料而言’出現位移或參差交錯，從而提供 可靠姓。 z' 10 15 20 第沾圖顯讀其資料角度觀察，每個純彼此如何相 關’從而形成—個佈局。在-項優細擇的實施例中，每 7儲器件包含多個分區，這些分區均為存儲陣列500的成 -個優先選擇的實施例中’每個存物具有 舉例 像z-raid™彡統$樣料㈣钟冑 以透過與·5相似的奇偶校驗、或者透過資料 Γ靠性；相透科越多個存㈣件相資料，== 此。此外，存_财特啦件升性 個存儲節點是-個虛擬構念，只需要—個 記憶器。Z-RAJD'系統的容量隨系统 W和一個 節點數量(取決，二= 果可祕透似餘鏡料立，取切 W遞增。如 每片磁盤上參差交錯的鏡像數目的=的可靠性隨 例顯示―局的各種切實可二‘加。以下的舉 Μ編tm佈局配置按照鏡像的數量^系統中分割

30 1322942 的數置進行命名。一個旦古 . 八有一個交錯鏡像和一個分割的 =娜'系統稱為Z_RAID 1〇，其中「i」表示一個_」 鏡象，而「0」表示-她樣G分割。Z R職表 2參差交錯鏡像映射分區邏輯群組相對—個分區分割邏 存儲由此形成具有W的佈局。用於 本文中時，「Z-10配置」指的县 的疋一類存儲陣列佈局，其中存 儲Γ既存麟始_，也存存儲放於其它存㈣件上的 貢料複本。™ u嶋具有兩個參差交錯鏡像映射分 10 區邏輯群組相對於—個分割邏輯群_存儲陣列，由此形 成一個具有ζ-uo配置的佈局。用於本文中時，「2_則配置 、」.指的是—類存聯列佈局，其中存儲器件畴儲原始資 料’也存存儲放於其它兩個存儲器件上的資料複本。在 Z-RAID™系統中的鏡像與分割的數量^意的。—個陣列 15 的佈局取決於由陣列方針定義的、指定給陣列的存儲節點 數量。

20 舉例：Z-RATD10 第6圖所示為具有Z]〇配置的Z_RAID 1〇存儲陣列的邏 輯示意圖。存儲陣列6GG包含任意數量的存儲器件在圖中 表示為磁盤650A至650N。每個磁盤包含兩個分區—個八 區參與資料分割，一個分區鏡像映射一個分割分區。八$ yj 651A至651N形成分割邏輯群組670。分區652八至652^形成 形成鏡像映射邏輯群組680，與群組670參差交錯 列600的佈局與Z-10配置610相符。Z-10配置 最低數量為兩個。 。存儲陣 的存儲器件的 31 1322942 基於Z-10配置610的佈局與現有RAID系統相比從可靠 性、性能、可用性、或者規模可伸縮性角度看，提供了一 5 系列優點。存儲陣列600提供可靠性以防止資料丟失，因為 有其它磁盤能提供備份資料。例如，如果磁盤650B失靈時 ，鏡像分區652A從分區651B提供備份資料。當磁盤650B重 建時，重建失靈磁盤的資料從鏡像分區652A調出，以重建 分割分區651B;資料從分割分區651C調出，以重建鏡像映 射分區652B。此外，存儲陣列6〇〇具有健全性，能抵禦額外 的磁盤故障，只要磁盤在邏輯上與第_個失靈的磁盤並不

15 20 题钭相鄰」扣的疋分區上的資料集之間的佈局關 。由於存_列_具有基於㈣配置61㈣佈局，它提 高於RAID·5存料列的可靠性，因為raid_5只提供抵紫 個磁盤失靈的健全性。㈣射树财的所有磁盤都能」 =與^輸出麟，存儲__所提供的讀取性能£ 倍，在RAID_10陣列中’只有一半磁 ㈣。陣_〇中的每個分區均由—個存儲 」 :儲節點是個虛擬構念。因此，透過更新陣列方針::: 佈局中增加節點，可以在存儲陣列 2 W 創建新的存儲節點。ζ·置的存儲映二= 提供兩個實際位置。在—㈣先__讀㈣ 運用分割射接像的—部份 蝴中’客戶相 個存儲節點由哪-個負責資料。客户:1G系統t的译 點單獨送出-崎_包， 料麵每個存錯幹 單—_一，心=:=:

32 1322942 資料區塊標識符解析為實際的位置β 鱼例：Z-RAmiin 第7圖所示為具有Z-n〇配置的Z_RAID u〇存儲陣列的 邏輯示意圖。存儲陣列700包含任何數量的存儲器件，在圖 中表示為磁盤750A至750Ν〇Ζ-11〇配置710與前述Zl〇配置 10 15 相似，所不同的是在分割分區之外，每個磁盤有兩個鏡像 映射的分區。分割分區麗至7則組合，形成分割邏輯群 組770。鏡像映射分區752八至7谓組合，形成第一個鏡像 映射邏輯群組，該邏輯群組與分割邏輯群組77〇參差交錯。 鏡像映射分區753A至753N組合，形成第二個鏡像映射邏輯 群組790 ’與第一個鏡像映射邏輯群組78〇參差交錯。邏輯 群組組合’形成存儲陣列700,從應用程式的角度看，代表 一個單-的邏輯卷。預計z_則配置包括把—個^_分區置 於每個器件之上。Z_則配置的存儲器件的最低數量為刀三個。 配置的存儲映像為每個資料區塊提供三個實際 =置。在優先選擇的實施例中，客戶機運用分割存儲 二=來判斷Z_RAID1_統中的三個細節點中哪— 、貝貝料。客戶機或者向每個存儲節點單獨送出一個資 ㈣包’或者向所有存儲節點集體送出單 、 20 然後存儲節點運用1自身㈣㉑㈣封包。 識符解析為實際的2存储映像進一步將資料區塊標 由於其額外的鏡像，基於ζ·11〇配置的佈局與ζ ι〇配置 2能提供更大的可純。在存儲陣列中的 陣列中任何其它磁盤也可以失靈，而不致導致陣^ 33 首貝料去失。此外’如果兩個邏輯相鄰的磁盤失靈時，與 先失靈的兩個磁料邏輯相_其它磁财可失靈/而 =然不致導致資料丢失。因此，基於z_110配置710的存儲 列700比RAID-6系統更為可靠，後者的健全性只足以抵紫 :::靈的磁盤。z_10配置和z-n〇配置都是透過犧牲現: 的谷量來換取的可靠性。 ζ-ι〇配置和ζ·110配置並非佈局，而是佈局的類別。使 用其中之—種配置的存儲陣列的實際佈局取決於負責陣列 10

内分區的存儲節點數量。此外，預計會有由存儲陣列之外 的存儲節點支配的額外分區駐留於存儲ϋ件上，而並不參 =存儲陣列的佈局。另外’預計這兩種配置均包括將單一 :區置於每個磁盤上，而不是每個磁盤有多個分區因為 早的分區可以負責原始資料和由存儲映像定義的鏡像映 射資料。 15 其它舉例 20 了、有更夕種類的佈局，母種佈局都能得出一組對用 戶有用的不同的陣列參數集。預計的佈局配置包括ζ-〇+ι 、或者Ζ-0+11配置。ζ_0+1配置和ζ·_配置分別與ζ·舰 置和Z-11G配置相似，所不同的只是每個存儲器件只有單一 的分區’從而得出與傳統的尺仰㈣相似的結構其中資 料分割跨越若干個磁盤，然後這些磁盤鏡像映射於一組複 製磁盤之上。乙〇+1和2-〇+11得出稍高一些的可靠性，但以 犧牲讀取性能和規模可伸縮性為代價。讀取性能下降是因 為陣列中只有—部份磁盤參與I/O[輸入輸出]過程；規模可 34 縮拴下降是因為陣列更新時採 ::’-是增加軍-的存_二:::二個存储 ^有所減少’使存储節點管理較為簡=節點 的存錯陣列再一次為 f不又佈局影響 合其應用程式標準的解決們能設計適 局配置都屬本發明預計之列。、㈣陣列的所有可能的佈 不梵佈局影響的存儲陣列的 2切D1Z-磁盤陣_ 〃〜用包括滚動 10 局隨時間的推移而變動，它在H^RAIDni系統的稀 之後，就啟動_存_點===的存錯區佔滿 :個存儲節點包含—個 因此 15 存儲節點的「活動窗口」，它=歹^固沿陣列滚動的 料的快照β Ζ·Μ 5 ^列隨時間的推移建立資 7 (-待用磁盤巨型I5車列、呈古ώ ·& Z-RAIDxm系統相似的佈局， 車队、有與滾動 存儲器件狀態。磁盤m 存儲陣列控制陣列内部的 ，將資料跨越磁盤送^的存儲陣列建立新的存儲節點 20 達新的磁盤，該磁盤的件中。隨著資料跨越适 源斷開以求節’、、而在待用期間，磁盤電 儲器件包含由控制封：:件的使用壽命。因此陣列内的存 z-ArChive[z__磁2适往陣列的控制資訊支配的狀態。 L保案场盤陣列a 士 ，所不同的是資料「快日s -。2擺11)相似的佈局 盤關斷電源對資料進由鏡像映射磁盤建立。快照礤 仃長期存檔。對於本門技藝有-般知 35 丄 識的人士可以看出他們可明用不受佈局影 建立傳統雜峨__統 陣列 -塊大小、在存健節點内部包括奇偶校驗方法或=資 它傳統的RAID概念。 飞考運用其 在以上的每個例子之中，陣列的佈局具有可 ::隨者:間的推移’按照為陣列建立的方 制育訊傳送到陣列’然後再傳送到陣列中的存儲節點 10 ^佈局影響的存儲陣列為應用程式提供一個邏輯卷 、’^因朗财就仿佛是—個與本機連接的 進ν對其進行分區或者進一舟則八h 待與本機連接的存儲ϋ件—樣。 s刀’就像對

豈料的參羔H 15 參差= 圖資料與鏡像映射資料在存儲器件上 磁討論資料的參差交錯，存健器件由 制。按二:=不:=為對此種概念規模的限 存儲陣列透過對資料參二升佈州^ 20 對資料鏡像映射㈣，㈣_ 在鏡像映射分區 在存儲媒介上按順序⑽ 交錯排列，獲取 該節點既代类 資料是有好處的。與存儲節點（ 映像m 2割刀區又代表鏡像映射分區）相關的存儲 不二子堵節點按順序將資料置於存儲媒介之上。它並 早—磁盤的不同位置先寫人所有分割分區資料，然 36 1322942 後再寫入所有鏡像映射資料，從而迫使磁頭大幅度來回移 動，而是將資料先寫入分割區塊810,然後寫入鏡像區塊82〇 ，然後是830等等，直到880，令分割區塊與鏡像映射區塊 相互參差交錯。這種資料的參差交錯減少了磁盤内部的磁 頭移動W而在流式寫入大資料集時，或者在重建失去的 磁盤時，提升性能^在此處使用時，「參差交錯」意味著以 =利的排列方式在存儲媒介上放置資料以提升存儲陣 I少—項陣列參數。預計所提升的陣列參數之-是性 配豎方法 第9圖描述一备而,本取 列如何按照封包内所Γ含的局影響的存储陣 按照資料封包存錯資料。 、4重新配置，以及如何 步驟9〇〇啟動不受佈 15 含建立存儲節點所必需的資料曰的^陣列的方針。方針包 集之間的關係。此外 L括陣列和每個節點資料 用於建立陣列佈局、存儲節參數，這些參數 必要的配置資訊。 、存储映像、或者其它 20 數、每個存儲器件的鏡像數歹c成本的度量參 、可供使用容量、或者_㈣ 性能、等待時間 統的總預算設計陣列可处 '實際位置。例如’在依據系 存錯於遠種客戶機的記佈局時，可以運用成本。 多個存儲陣W，同時又二的方針允許多*客戶機建立 客戶機可Μ據其所套實際設備。因此’每台 要久的解決方案標準得到—個微調的 37 :。此外，由於每個存錯節點是 ，自的陣列視圖中共享存錯節點構念 ^驟905透過允許變更陣列

的變更，繼續進行不受佈1 ，M曰應其它陣列參I ，如里土 佈局影響的存儲陣列的 如果陣列具有一組固 ㈣的配置。例々

件所要求鏡像數量的增加，可則隨著每個存儲I -項選擇，隨著所要求的性能言的谷篁減少。作為另 件數量增加。步驟9GG和㈣增加’建議的存储器 10 立所要求陣列的存㈣：: = =-個用於建 干個陣列元件之中。 象在必要時可分佈於若 ^驟鶴將存儲映像指定給射轉列 二點。步_也將存儲映像指定給陣列之： 「即點。依據存儲映像，存儲節點 ’ 一 1 15 區塊是哪-個，以及在存儲器件内 ^負貝的1 ，塊。優先選擇的存心：= 戶機2储映㈣第—個子映像駐留於使用存储陣列的 接到==上，映像的第二個子映像駐留於 20 各戶梢

其它排列方式。：它預：預計分割存儲映像的所 數的映像。〃科的存儲映像包括基於表格或者

在步驟920，陣列接受來自陣列之外的封包。封包中 含陣列或者節闕使用的控财訊，或者包含指示 點如何處理存儲媒介上資料的資料區·識符。 I 步驟930判斷封包是否控制封包。如果是控制封包，負 38 1322942 包含指不陣列重新配置陣列佈局所需的控制資訊 訊封包括令㈣重新配置陣列佈局的—系列指 貝 指示陣列麵心增加或者從陣財清除—個存儲 步_指不節點接受内部傳遞的封包，即在陣列交 的封包、來自系統其它節點的封包。步驟933指^換 10 個節點向另1節點複製資料。步驟934指示陣列更新= 映像。步驟935指示陣列採用保密措施以保證與: 資料在保密性、完好性、和驗證方面安全可靠。保密= 在交換適當密鍮之後透過密碼加以確立。完好性可以透過 杈驗檢查或者其它完好性檢驗手段加以保持。客 15 儲1=:它陣列元件可以透過眾多的規一 乂換、RAIDUS認證'或者Kerberos規約認證。 存__局改變的其它控制資訊均屬本發明主 ==:r得到處理之後，陣列回™ 斷其是否資料封包r %果封包並非控制封包，則陣列判 勺步驟925判斷封包是否是資料封包。如果封包是資料封 20 符^驟954中陣顺據#料封包内部的f料區塊標識 ^二貧料’或者從一個存儲節點讀取資料。資料區塊駐 ^個以上節點之上。資料將跨越存儲節點分割，或者 鏡像映射一旦資料封包得到處理後，陣列 勺J步驟920’準備接文其它的封包。如果封包並非資料封 匕，障列再次回到步驟92〇，準備接受其它的封包。 步驟930和950並無優先選擇的順序。步驟㈣可以在步 39 1322942 驟930判斷封包是否控制封包之前，先行判斷封包是否資料 封包。 不受佈局影響的存儲陣列的優越性 不受佈局影響的存儲陣列，特別是按照Z-10或者Z-110 5 配置創建的陣列，與按照傳統的RAID[磁盤陣列]系統定義 的固定佈局存儲陣列相比，具有若干項優越性。我們建立 了一個數學模型，以便在傳統的RAID結構與排除了對存儲 器件依賴性的不受佈局影響的結構之間，進行一項體系結 構對體系結構的對比，以增進我們在這方面的領會。 馨 10 可靠性 存儲陣列的可靠性指的是在最初的磁盤失靈之後遭受 災難性資料丟失的可能性。資料丟失的幾率取決於若干項 因素，包括磁盤容量、磁盤重建過程中的磁盤傳送速率、 兩次磁盤故障之間的磁盤平均時間、丟失磁盤重建所需時 15 間、磁盤位誤碼讀取速度、存儲陣列中的磁盤數量、以及 其它因素。兩個可能的資料丟失原因包括第一個磁盤出現 故障之後接著失去另一個磁盤、或者在最初丟失磁盤的重 ® 建過程中出現災難性的讀取錯誤。假定在等效的系統之中 有專效的磁盤*並在陣列中有相同數1的磁盤’具有以與 20 Ζ-10配置相符的佈局配置的不受佈局影響的存儲陣列具有 與具有固定佈局的RAID-ίο系統相似的可靠性，其中Ζ-10 配置在隨後另外丟失一個磁盤時具有一半的可靠性，在遭 遇災難性的讀取錯誤時具有與此相同的可靠性。就這兩種 原因的災難性資料丟失而言，具有Ζ-10配置的陣列的可靠 40 性遠遠超過RAID-5系統。由於不受佈局影響的存儲陣列可 以改變其佈局，它可以重新配置成符合Z-110的配置，從而 得出可靠性遠遠超過RAID-10和RAID-5兩者的可靠性。此 外，此種陣列的可靠性超過RAID-6系統。從z_1〇配置轉換 為Z-110配置是以犧牲總體容量的代價換取可靠性，因為它 需要額外的鏡像映射資料。 性能 s賣取性能指的疋假定不出現陣列界面瓶頸堵塞的前提 下’陣列中每個磁盤平均總持續處理能力之和。符合z_1〇 或z-110配置的不受佈局影響的存儲陣列所提供的讀取性 能優於相對應的RAID-ίο或RAID-5系統，其原因是在不受 佈局影響的陣列中，由於資料分割跨越所有磁盤，所有的 磁盤都能平行參與i/o[輸入輸出]處理。而在RAID1〇中， 只有一半磁盤能夠參與’在RAID-5中只有(N—丨)個磁盤[其 中Ν代表陣列中的磁盤數量]能夠參與1/〇處理。此外，不受 佈局影響的陣列以參差交錯方式排列資料，進—步提高了 性能，不會因為奇偶校驗維護而影響其性能。 與一個磁盤只有一個分區的磁盤相比，每個磁盤包含 多個鏡像的佈局要求磁盤寫入更多的資料。不受佈局影響 的陣列可以透過以下兩種方式提高其寫入性能，一種方式 是資料參差交錯，另一種方式是合理排列鏡像映射分區， 使磁盤在按順序寫入過程中能有恢復的機會。 有些磁盤驅動器自動將邏輯區塊位址映射到磁盤的實 際位置之上，以繞過壞扇區。其中一個例子是Sata硬盤。 ^=_映射的磁盤有可能對性能帶來負面影響，因 以此類磁^=序㈣時有可能要作A幅度的移動。但在 區回應請求Γ·陣列中’透過允 對請求作出回:。在第—個分區 該項請求料=可作細應岐繼分區隨即將 置的分區首先心 通過此項操作，位於最佳位 上大幅度移動的^應’從而免除了特磁頭在其餘磁盤 可用性 ίο R A 佈局影響的存料列的f财祕高於傳統的 ^統’不受佈局影響的陣列採用虛擬存儲節點。虛擬 H點Γ對使㈣制應難歧8㈣方式，為系統提 :z 個實際位置遷移到另一個實際位置的能力。 15 次個實際位置出現風險或者消失陣列按照方針複製 貝枓’並由陣列對其重新配置。此外，實際位置可以用來 _車列的佈局’以保證㈣受到賴，不致受到環境風 =威脅包括機殼故障、電源故障、或者其它威脅資料 的事健節點遷移資料的最低限度要求是節點的 20 洁映像更新= 貝料區塊的實際位置，現存的資料則複製到 新的實際位置。 取決於不受佈局影響的存儲陣列的配置，可供使㈣ 存儲容量大小不等，從各個磁盤容量之和，直到容量的一 J 份’取決於佈局的配置。就基於Z-10配置的佈局而言 42 ’陣列的可供使用容瞀发祕础—旦u 為虼體谷里的一半，而對基於Z-11〇 、佈局而。’可供使用的容量是總體容量的三分之一 新^的容量隨著向陣㈣加額外的磁盤而增加，並建立 新的存儲節點，以處理額外的可供使用容量。 I模可伸縮& 不又佈H的存儲陣列的規模在基本器件層次上（ =磁盤層次上)伸縮。這㈣方面_因。首先，存_ 列遵循基於記憶器的方 陣列中加4的虛擬結構，並隨著 10 變°此外’存㈣響可存在於遠 戶機的記憶器之中，從而允許客戶機在陣列中増 =而並不影響其它客戶機的陣列。其次，管理存儲媒介 =儲節點也是虛擬性質，從而允許額外的磁盤整合^ 之中，箱_的細節點，以管理額相資料 識符，或者作為其 鬼‘ 15 儲_選擇方案，可以改變現有節點的存 、^以容納更大型㈣料區塊標識符群組。就應用程 二而S，它只能看到陣列可供使用的容量的增長。 不文佈局影響的存儲陣列的規模亦可在宏的層次上 放。裝有多個磁盤的機殼、遠程磁盤、或者客 ' 可以蚊人？丨i 機。己憶器 20 “到一起，形成更大的陣列。在不受佈局影響 儲陣列隨著新硬體而擴大時，舊的硬體仍然有用^為^ 體所提供的資源已被虛擬化。此外，不受佈局影響的存= 陣列未雨綢繆地著眼於未來需求，因為其佈局可以在^署 之後變更’以保證適合用戶所要求的標準。 威本 43 不受佈局f彡響的__為用戶提供他們的財力所能 承受的解決方案，因為存儲陣列用價袼較為低廉的設備建 ^部又保持很冋的可祕與性能。例如以較低廉的ΜΑ 硬盤建以的具有Z-10配置的存儲陣列所提供的讀取性能和 Y靠性高於基於SCSI磁盤的RAI㈣統。在以現有網路實 存儲陣m用戶不必n置額外的存儲光纖網路以實現 Γ們的解決讀，這料費者或者巾小企業環境用戶來說 特別重要$因為就這些用戶來說，相對於性能和可靠 10

2而言，成本是一項更大的制約因素。另外，不受佈局影 θ的存儲陣列將其功能分散到各個陣列it件上，減少了以 2中式硬體管理整個陣列的需求，從而進—步降低了陣列 的成本。 貫施你 15 不受佈局影響的存儲陣列可以以多種不同方式實施。 S可實施為獨立機般的單機，以硬趙處理存储節點和訪 雜2賴器件。陣列亦可實施為網路基礎設施，以減輕的硬

ίΜΜΜ. 20 優先選擇的不受佈局影響的存料列應用硬體、 。：殼=體的組合，在機内匯流排上形成陣列通信路徑 、讀15中存儲陣_方針，並在本機内心 ^存儲節點。機殼代表整個阵列，以機内通^ 客^節點。單機殼法的長處是集t式的系統，料^ 機接達完全相同的陣列，客戶機不需要存儲映像^但 44 1322942 ^不能做到完全延伸，因為機㈣的存儲節點很難與來 的存儲節點組合。集中式的方法也造成了人為 通堵塞’因為所有的客戶機都必須通過這個堵 到服務。分散式的方法允許所有節點平等參 硬體投為地製造瓶頸。要支持硬體提速，需要額外的 網路中心、、土 ΙΟ 替2輕先選㈣實括在祕上❹屬於虛 7件的存儲節點，其中存储節點具有輯能的分區，如 15 美TLt的專利《具有ΙΡ賦能分區的:_儲器件叫 =㈣請魏侧9_要福述的那樣。每個磁盤分 ^點尋址固朗⑽位址，供客戶機和其它節點用來對存儲 夕個存儲節點經衫信道群驗合，形成較大 跟儲結構。客戶機透過陣列方針或者透過存儲映像 點直接、Γ區形成陣列。客戶機透過ιρ單點傳送與存儲節 中=:=透過1與群組通信。在此項結構 铋眛德*、 於所有其它即點，因為它運用自身的存 20 不理/匈斷它是否應該處理資料，或者默默地對其置之 二？此不必從其它節點獲取額外的資訊。獨立的節點 土性。曰、Γ系統中’從而自動延伸其性能、容量、或者可 成更二優點包括：允許多個陣列組合到一起形 同的陣歹㈣^ Γ客戶機共享同r個存儲器件但具有不 陣列7乡台客戶機透過共享同-視圖共享同一個 -者調整陣列參數量體裁衣地完全滿足客戶機的各 45 項需求。 存儲陣列的-個例子 包括一個駐留於文檔 例，並無任何限制含義) 驅動器，以及—個為磁用以接達存錯陣列的器件 器。器件驅動器允許客^提供網路連接的磁盤適配 將其視為單—的原::戶，到蝴列的至少-部份， 10 15 器為與操作系統m機連接的卷。此外，器件驅動 區塊指定資料區棟標其它應用程式交換的資料 適配器内的存儲節二二=驅動器也透過網路與磁盤 接通信。磁盤適配Μ的—纽存儲節點直 此通信或與客戶mr的軟蝴體，《建立能彼 用單_現存：配器可透過運 位址、或存健映像。另外，存=找存健節點名稱、 操作系統内部的任務或線索上得J實現:用TCP/IP堆校在 2應用網路基礎設施處理從客戶機到節點的封包路 处。厂坐了硬體線速率處理的負擔，提升了系統的總體性 '此外’制疋與部署存錯陣列的管理人員可以不再需要 t備冰入理解’只要知道它是一種能減少系統部署所耗 20 、的時間並能降低成本的聯網設備即可因為並沒有要求 他們努力克服的學習曲線。 軟體 =還有：個方面，預計我們可以編寫能配置、模擬、 或者官理R佈局影響的存儲㈣及其相關基礎減的軟 體個角度看，本發明的主題應包括編寫軟體的方法 46 1322942 、將其刻錄為可以機讀的形式、頒發特許、鎖售、配送、 安裝、或者在適當硬體上運行該項軟體。此外，軟體 也應被視為屬於本發明主題的範圍之内。 因此’本項申請披露了不受佈局影響的存儲陣列的且 構成以及方法。但雜諸本行技#的 =實例外’尚可設想出無數的修改方案，而並： 神:述:明的基本構思。因此，本發明的主題除其基本精 l〇 内容進=局限於所披露的内容。此外，在對所披露各項 理解。 ^牛、部件'步驟有可能存在 未明確提到的其它元件、部 =成者與其匕 15 (昀式簡單說明驟結合使用。 ，所示為從邏輯角度觀察 圖中存儲陣列包含多個存儲節點。子_的不意圖 示為從實際角度觀察’-個存儲陣列的示意圖。 20 ，圖中二了?從實際角度觀察，—個存儲節點的示意圖 關係。"子儲即點、存儲區、和存健器件之間的相互 符及所示為軸映像的示意圖，福繪資料區塊標識 第4子儲媒介上的實際位置之間的關係。 器中的2所示為分割存儲映像示意圖，贿第—個記憶 子映像的第一個子映像，以及第二個記憶器中的 47 存儲映像的第二個子映像。 第5A圖所示為包括兩個存 際實施例的示意圖，其中每個存儲器件^儲陣列的-種實 —個分割分區。 D有個鏡像分區和 第5B圖所示為從邏輯角 列示意圖，顯示存儲器件上分區之儲器件存健陣 第6圖所不的不意圖描繪—個由z跨 件的佈局，其中資料跨越存儲器件分割，存健器 存儲器件鏡像映射，鏡像映射 刀。的貝料跨越 方式參差Μ。讀映射的貝料按相對於分割資料的 第7圖所示為由Ζ七叫越多個存儲器件佈局的 第8圖所示為分割與鏡像映射資料在存儲媒介上如心 參差交錯的示意圖。 可 15

邏輯示 意圖 第9圖所示為與不受佈局影響的存儲陣列交互與配置 步驟的示意圖。 ' 【主要元件符號說明】 100'200'500'600'700··· 存儲陣列 110Α—110Ν、300、510Α〜 510D…存儲節點 125、130、230、325、330··· 通信路徑 140、240···應用程式 150Α〜150Μ、350…存储器件 210、310…處理單元 215、315…資料路徑 220、229、405、425..·記憶器 223、400.·.存儲映像 227…方針 323…存儲區

48 1322942 ’ 355…存儲媒介 580…映射邏輯群組 357、552、554、562、564、 610…Z-10配置 651A〜651N、652A〜652N 670…群組 …分區 680…邏輯群組 400A〜400B…存儲子映像 710…Z-110配置 410A 〜410N、430A 〜430M …資 751A 〜751N.·.分割分區 料區塊標識符 752A〜752N…鏡像映射分區 420A〜420N、440A〜440M... 753A〜753N...鏡像映射分區 # 實際位置 780、790…鏡像映射邏輯群組 530…通信部份 810、830…分割區塊 550、560、650A〜650N、750A 820、880…鏡像區塊 〜750N、800…磁盤 900〜954..·步驟 570、770…分割邏輯群組 49

Claims (1)

1. 牌丨丨月f日修正g '~~^9仙312號申請案申請專利範圍修正本98.u.09 十、申請專利範菌： 1.-種用以組配存儲陣列之方法，其包含下列步驟： 對一個存_賴供第—存儲子映像，簡多個資 :區塊識別符映射至位於—個存儲裝置上的 的多個實雜位置’該第-存料映像係特定於該存料 對—_戶端裝置提供第二存料映像 =資料區塊識別符中的-個資料區塊識別符映射： f存儲節點’該第—存儲子映像與該第二存儲子映像传 組配來實施依據一個陣列方針的-個存儲器陣列之佈 局=Γ陣列具有包括該存儲節點的多個存儲節點 以及包括該裝置的多個存儲裝置。 2· 2請專利範圍第1項之方法’其中該第二存儲子映像 15 =另另一個資料區塊識別符映射至該等多個存儲 : 個錢即點，並且該方法更包含下列步驟 20 對該另—個存储節點提供第三存儲子映像，以將該 至另—個存儲裝置上的— 另-個資料區塊識別符映射 個實體位置 3.如 中請專利範圍第丨項之方法，其令 更係， 第二存儲子映像 節點中的广區塊識別符映射至料多個存儲 ： 個存儲節點，並且該料更包含下列步驟 對該另 個存儲節點提供第三存儲子映像， 以將該 50 1322942 另一個資料區塊識別符映射至該存儲裝 體位置a

   ίο 15

   20 4.如申請專利範圍第i項之方法’其中該第二存儲子映像 更係要將該資料區塊識別符映射至另一個存儲節點，、 提供該客戶端裝置對於來自於該等存儲節點中之二 個存儲節點的直接存取。 5·如申請專利範圍第旧之方法，其中在該存儲裝置上之 對應的該等多個實體位置係位於第—分割區内:， 方法更包含下列步驟： 且。亥 —將第二存儲子映像提供給另—個存儲節點，以將 I組多個資料區塊識別符映射至在該存儲袭置之第二 刀割區上的另一組對應的多個實體位置。 一 6::= 一法’其中提—， 二::::通訊路徑而_二存错子映像提 7. ^申請專利範圍第丨項之方法，其更包含將該 才曰示成可接受從兮在蚀哭郎點 —個内部封包-陣列的另-個存儲節點接收 8’ Μ請專利範圍第丨項之方法 指示成可接受來自於該存儲器随將該存健節點 9·如申請專利範圍第㈣之方法封包。 —存儲子映像及/或該第，子映像祕改該= 針 51 1322942 1〇.如申請專利範圍第1項之方法，其中該第二存儲子映像 係組配來允許該用戶端裝置與該_節點互動，以以 :包括該資料區塊識別符的—個封包傳送至該相 點，而存取該等多個實體位置中的—個對應的實體位置 U•一種存儲器陣列，其包含： ^個存儲裝置通聯的第一存錯節點 即點藉由具有第一存儲映像 存储 10 15 20 別符映射至第—分割區，而負責^二夕心料區塊識 ，該第，節點係可藉由從=之存取 網路以及盥一鉻.思#被 D車歹丨外。Ρ的一個 —直 與該存儲裝置通聯的第二存 點藉由具有第二以，该第二存儲節 別符映射至第將另一組多個資料區塊識 ，該第二存儲節由f對該第-分割區之存取 接收之通訊而直接定:、仗"亥網路與該第二分割區所 的第二分割區。 ’以鏡射與該條切邏輯群相關聯 申^•利|_糾項之_ 包括該存·裝置的多個存財置/、更包含·· 包括該等第—虚第，置，以及 等多個存儲節點具C多個存错節點，該 建立該存錯器陣列之〜的夕個存館映像 ’以界定 13.如申請專利範圏第=—個陣列方針。 項之存錯器陣列，其令該体局包含 52 心7*+乙 5 橫越該等多個存儲裝置而條切的該條切邏輯群與用以鏡射該條切邏輯群的橫越該等多個存儲裝置而條切的一鏡射邏輯群，該鏡射邏輯群相對於該條切邏輯群而移 位至少一個存儲裝置。

   14.如申請專利範㈣⑽之存儲器陣列，其中該佈局更包 含橫越該等多個存儲裝置而條切並相對於該鏡射邏輯群而移位至少-個存儲裳置的另—鏡射邏輯群，以鏡射 該鏡射邏輯群。 10 15

   20 15·如申請專利範圍第12項之存健器陣列，其中該陣列方針 包含第-陣列參數與第二陣列參數，其中，該第一陣列 參數響應於該第二陣列參數之改變而被修改。 16·如申請專利範圍第15項之存儲器陣列，其中該第一陣列 參數與第二陣列參數係獨立地自一列參數中選出該列 ^數包括-個成本參數、—個每個存儲裝置的鏡像數量 參數、—個可隸參數、—他能錄…個延遲時間 參數、或一個可用容量參數。 171申請專利範圍第12項之存儲器_，其中該組對應的 :個存儲映像係-組對應的多個第—存儲子映像，以將 2個資料區塊識別符映射至該等多個存儲裝置的數個 ::位置，並且該陣列方針更係由-個或多個第二存儲 、像界定的，該-個•個第二存料㈣被提供給 哼:私個或夕個用戶端裝置’以將數個資料區塊識別 付映射至該等多個存儲節點。 18·如申請專利觸11項之存陣列，其更包含： 53 —個網路通訊介面，以將該第一存儲節點與該第二 存儲節點通訊式地耦接至該網路。 19. 如申請專利範圍第12項之存儲器陣列，其中至少一些該 等多個存儲節點係組配來接收控制資訊，以更新一個個 別的存儲映像，而改變該存儲陣列之佈局。 20. 如申請專利範圍第丨丨項之存儲器陣列，其更包含： —個控制器，該控制器係組配來將第三存儲映像提 供給一個客户端，以將第一資料區塊識別符映射至該第 ίο 存儲節點，並將第二資料區塊識別符映射至該第二 儲節點。 子 21·如申請專利範圍第_之存儲器陣列，其中該 料區塊識別符與另依組多個資料區塊識別符均包括第 一資料區塊識別符。 15 22. 如申請專利範圍第_之存儲器陣列，其中該第— 區被以該第二分割區内插。 刀〇 23. —種用以組配存儲陣列之系統，其包含·· 用以對一個存儲節點提供第一存儲子映像 ，以將多個資料區塊朗符映射至位於_個存 的一組對應的多個實體位置，該第—存 、 20 於該存儲節點； 、像係特定 用以對-個用戶端裝置提供第二存儲 件’以將該等多個資料區塊識別符中的構 別符映射至該麵節點，該第—存 -塊識 儲子映像係組配來實施依攄彻击、像與該第二存 來實减據一個陣列方針的-個存儲 54 ==局:該存儲器陣列具有包括該存儲節點的多 P" 以及包括該裝置的多個存儲裝置。 24·ίΓΓ利範圍第23項之系統，其中該第二存料映像 ==將另-個資料區塊識別符映射至該等多個存儲 即中的另—個存儲節點，並且該系統更包含： 構件用:：另另一Λ存儲節點提供第三存儲子映像之 事置^ ㈣塊制符_以—個存儲 裝置上的一個實體位置。 25 ίΐΐ專利範圍第1項之方法，其中該第二存儲子映像 ί=Γ個資料區塊識別符映射至該等多個存健 ·、的另個存儲節點，並且該系統更包含： 對該另-個存儲節點提供第三存儲子映像，以將該 另一個資料區塊識別符映射至該存儲裝置上的—個: 體位置。 頁 26::=!圍第23項之系統’其中該第二存儲子映像 ㈣要將該資料區塊識別符映射至另_個存儲節點 提供該客戶端裝置對於來自於該等存健節點 個存儲節點的直接存取。 一 27·如申請專利範圍第23項之純，其中在該雜裝置 對應的該等多個實體位置係位於第—分割 系統更包含： 且該 用以將第三存儲子映像提供給另—個存儲節點之 裝置之Γ另—組多㈣料區塊朗符崎至在該存健 第-分龍上的另-組對應的多”體位置。 55 1322942 28. 如申請專利範圍第23項之系統，其更包含： 用以將該存儲節點指示成可接受來自於該存儲器 陣列外部的一個封包之構件。 29. 如申請專利範圍第23項之系統，其更包含： 5 用以藉由更新該第一存儲子映像及/或該第二存儲 子映像而修改該陣列方針之構件。

   56