New! View global litigation for patent families

JP4530372B2 - Wide area sparing the distributed storage system - Google Patents

Wide area sparing the distributed storage system

Info

Publication number
JP4530372B2
JP4530372B2 JP2007173121A JP2007173121A JP4530372B2 JP 4530372 B2 JP4530372 B2 JP 4530372B2 JP 2007173121 A JP2007173121 A JP 2007173121A JP 2007173121 A JP2007173121 A JP 2007173121A JP 4530372 B2 JP4530372 B2 JP 4530372B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007173121A
Other languages
Japanese (ja)
Other versions
JP2008027437A (en )
Inventor
ジェイ.シコラ スティーブン
Original Assignee
シーゲイト テクノロジー エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は一般に分散データ記憶システムの分野に関するものであって、より詳しくはデータの移動の目的で分散記憶システム内に記憶容量を広域に配置するための機器および方法に関するが、これに限定するものではない。 The present invention has been generally relates to the field of distributed data storage system, intended more particularly relates to devices and methods for placing the storage capacity in a distributed storage system for the purpose of moving the data to a wide area, limited to this is not.

産業標準構造のデータ転送速度がインテル(登録商標)社製の80386プロセッサのデータ・アクセス速度に追いつかなくなると、コンピュータ・ネットワーク化が急速に広まった。 When the data transfer rate of the industry standard structure can not keep up with the data access speed of 80386 processor Intel (R) Corporation, computer networking has spread rapidly. ネットワーク内のデータ記憶容量を強化することにより、ローカル・エリア・ネットワーク(LAN)は記憶エリア・ネットワーク(SAN)に発展した。 By strengthening the data storage capacity in a network, a local area network (LAN) has evolved in a storage area network (SAN). SAN内の設備と、この設備が処理する関連するデータとを強化することにより、例えば直接付属する記憶装置より一回り大きな記憶を妥当なコストで処理することができるなどの非常に大きな利益をユーザは実現した。 And equipment in SAN, a user by strengthening the relevant data, for example, a very large benefit, such as can be processed a large storage slightly from the storage device that comes directly at a reasonable cost this equipment handles It was realized.

最近の動向は、データ記憶サブシステムを制御するというネットワーク中心方式に移ってきた。 Recent developments have been moved to the network center system that controls the data storage subsystem. すなわち、記憶を強化したのと同じようにして、記憶の機能を制御するシステムもサーバからネットワーク自身に移されている。 That is, in the same way as with enhanced storage, a system for controlling the function of the storage is also transferred from the server to the network itself. 例えば、ホスト・ベースのソフトウエアは、保全および管理の仕事をインテリジェント・スイッチにまたは専用のネットワーク記憶サービス・プラットフォームに任せる。 For example, host-based software, left to the work of conservation and management to the intelligent switch or a dedicated network storage services platform. 機器ベースの方式を用いるのでホスト内で走るソフトウエアは必要でなくなり、またこの方式は企業内のノードとして設けられたコンピュータ内で動作する。 Since use of equipment based scheme software running in the host is no longer necessary, and this method is operated in a computer which is provided as a node in the enterprise. いずれにしても、インテリジェント・ネットワーク方式は、記憶割当てルーチン、バックアップ・ルーチン、および耐故障性設計などの仕事をホストから独立して集中化することができる。 In any event, the intelligent network scheme, memory allocation routine can be centralized independently of the host work such as backup routines, and fault tolerance design.

知能をホストからネットワークに移すことにより問題の一部は解決されるが、ホストへの仮想記憶の提示を変更することが一般に困難であるという固有の問題は解決されない。 Although part of the problem is solved by transferring intelligence from the host to the network, a unique problem that it is generally difficult to change the presentation of the virtual storage to the host can not be solved. 例えば、信頼性を高めるためには記憶されたデータを移す必要があり、また成長するネットワークに適応するためには記憶容量を追加する必要がある。 For example, in order to improve the reliability, it is necessary to transfer the stored data, also to accommodate the network to grow, it is necessary to add a storage capacity. このような場合は、新しいまたは変更された記憶空間が存在することが分かるようにホストまたはネットワークを変更しなければならない。 In such a case, you must change the host or network so it can be seen that a new or modified storage space exists. 必要なのは、それぞれのデータ記憶容量を自発的に決定して割当て、管理し、保護して、その容量を仮想記憶空間としてネットワークに提示して広域の記憶要求に適応するインテリジェント・データ記憶サブシステムである。 What is needed is assigned voluntarily determine their data storage capacity, and the management, protection to an intelligent data storage subsystem to adapt to a wide area of ​​the storage request by presenting the network its capacity as a virtual storage space is there. この仮想記憶空間は多重記憶ボリュームとして配置することができる。 The virtual storage space can be arranged as multiple storage volumes. 分散計算環境では、かかるインテリジェント記憶装置を広域配置ならびに故障時の広域予備として用いる。 In a distributed computing environment, use of such intelligent storage device as a Global placement and at the time of failure wide reserve. 本発明の実施の形態はこの方式に関するものである。 Embodiments of the present invention relates to this method.

本発明の実施の形態は、一般に広域配置能力を持つ分散記憶システムに関するものである。 Embodiments of the present invention is generally related to distributed storage system with global placement capabilities.
或る実施の形態では、アクセス・コマンドを遠隔装置と記憶空間との間で渡すための、ネットワークにより遠隔装置に接続可能な仮想エンジンを備えるデータ記憶システムを提供する。 In one embodiment, for passing access commands between the remote device and the storage space, to provide a data storage system including a virtual engine connectable to a remote device via a network. またこのデータ記憶システムは、アクセス・コマンドを渡すために仮想エンジンはユニークにアドレス指定できる複数のインテリジェント記憶要素を有する。 Also, this data storage system, the virtual engine to pass access command includes a plurality of intelligent storage elements that can be uniquely addressed. インテリジェント記憶要素は、アクセス・コマンドが同時に仮想エンジンと第1のインテリジェント記憶要素との間で渡されていることとは独立に、データを第1のインテリジェント記憶要素から第2のインテリジェント記憶要素に移す。 Intelligent storage element, independent of the access commands are passed between the virtual engine and first intelligent storage element simultaneously transferring data from the first intelligent storage element in the second intelligent storage element .

或る実施の形態では、仮想エンジンとインテリジェント記憶要素との間のアクセス・コマンドを処理し、同時にインテリジェント記憶要素から別の記憶空間にデータを移す方法を提供する。 In some embodiments, processing the access command between the virtual engine and intelligent storage element, provides a method for simultaneously transferring data from the intelligent storage element to another storage space.
或る実施の形態では、仮想エンジンが個別にアドレス指定できる複数のインテリジェント記憶要素と、インテリジェント記憶要素の間でデータを移す手段とを備えるデータ記憶装置を提供する。 In one embodiment, provides a plurality of intelligent storage elements virtual engine individually addressable, data storage and means for transferring data between the intelligent storage element.
本発明の特徴を示すこれらの機能や利点は以下の詳細な説明を読みまた関連する図面を参照すれば明らかになる。 These features and advantages of showing the features of the present invention will become apparent upon reference to the following detailed description read also associated drawings.

図1は本発明の実施の形態が有用である例示のコンピュータ・システム100である。 Figure 1 is an illustration of a computer system 100 forms are useful in the practice of the present invention. 1台以上のホスト102が、ローカル・エリア・ネットワーク(LAN)および/またはワイド・エリア・ネットワーク(WAN)106を介して1台以上のネットワーク付属のサーバ(NAS)104にネットワーク接続されている。 One or more hosts 102 are networked to a local area network (LAN) and / or wide area network (WAN) one or more network comes through the 106 server (NAS) 104. 好ましくは、LAN/WAN106は、ワールド・ワイド・ウェブにより通信するためにインターネット・プロトコル(IP)ネットワーキング・インフラストラクチャを用いる。 Preferably, LAN / WAN106 is, using the Internet Protocol (IP) networking infrastructure in order to communicate with the World Wide Web. ホスト102は、サーバ104内に常駐して多数のインテリジェント記憶要素(ISE)108の1台以上に記憶されたデータを日常的に必要とするアプリケーションにアクセスする。 The host 102 accesses the applications that routinely need data stored on one or more of a number of intelligent storage elements (ISE) 108 reside on the server 104. このため、記憶されたデータにアクセスできるようにSAN110はサーバ104をISE108に接続する。 Therefore, SAN 110 to access the stored data to connect the server 104 to the ISE 108. ISE108は直列ATAやファイバ・チャネルなどの種々の選択された通信プロトコルによりデータを記憶するデータ記憶容量109のブロックを備え、その中に企業クラスまたはデスクトップ・クラスの記憶媒体を含む。 ISE108 includes various comprising a block of data storage capacity 109 for storing data by the selected communication protocol, storage medium enterprise-class or desktop class therein such as serial ATA and Fiber Channel.

図2は、図1のコンピュータ・システム100の簡単な線図である。 Figure 2 is a simplified diagram of a computer system 100 of FIG. ホスト102は、ネットワークまたは構造110を介して相互におよび1対のISE108(それぞれAおよびBで示す)と情報を交換する。 The host 102, via a network or structure 110 to each other and 1 (indicated by, respectively A and B) a pair of ISE108 and exchanging information. 各ISE108は二重冗長コントローラ112(A1,A2およびB1,B2で示す)を含む。 Each ISE108 comprises (indicated by A1, A2 and B1, B2) dual redundant controller 112. 好ましくはコントローラ112は、独立ドライブの冗長アレイ(RAID)として特徴づけられる一組のデータ記憶装置であるデータ記憶容量109に作用する。 Preferably the controller 112 acts on the data storage capacity 109 is a data storage device set characterized as an independent drive redundant array (RAID). コントローラ112およびデータ記憶容量109は好ましくは耐故障性配置を用いるので、種々のコントローラ112は並列の冗長なリンクを用い、システム100内に記憶されるユーザ・データの少なくとも一部はデータ記憶容量109の少なくとも一組内に冗長形式で記憶される。 Since the controller 112 and data storage capacity 109 is preferably used fault tolerance arrangement, various controller 112 using redundant links parallel, the user data stored in the system 100 within at least a portion of the data storage capacity 109 It is stored in a redundant form in at least one set in.

更に、Aホスト・コンピュータ102およびA−ISE108は物理的に第1のサイトにあり、Bホスト・コンピュータ102およびB−ISE108は物理的に第2のサイトにあり、Cホスト・コンピュータ102は更に第3のサイトにあってよい。 Furthermore, A host computer 102 and A-ISE 108 is physically first site, B a host computer 102 and B-ISE 108 is physically the second site, C host computer 102 further first it may be in the 3 of the site. ただしこれは単なる例であって、限定するものではない。 However, this is merely exemplary, not limiting. 分散コンピュータ・システム上の全てのエンティティは或るタイプのコンピュータ・ネットワークにより接続される。 All entities on the distributed computer system are connected by some type of computer network.

図3は本発明の実施の形態に従って構築されたISE108を示す。 Figure 3 shows a ISE108 constructed in accordance with an embodiment of the present invention. 棚114は、コントローラ112を受けて係合して中央板116と電気的に接続するための空洞を定義する。 Shelf 114 defines a cavity for electrically connecting the central plate 116 engages receiving controller 112. 棚114はキャビネット(図示しない)内に支持される。 Shelf 114 is supported in the cabinet (not shown). 棚114は1対の多重ディスク組立体(MDA)118を中央板116の同じ側に受けて係合する。 Shelf 114 engaging receiving multiple disk assembly (MDA) 118 a pair on the same side of the central plate 116. 中央板116の反対側には、緊急電源である二重電池122、二重交流電源124、および二重インターフェース・モジュール126が接続する。 On the opposite side of the central plate 116, an emergency power supply dual battery 122, dual AC power source 124, and dual interface module 126 is connected. 好ましくは、二重構成要素ではMDA118の一方または両方が同時に動作するので、1つの構成要素が故障した場合はバックアップ保護を行うことができる。 Preferably, the one or both of the MDA118 is a double component operate simultaneously, if one component fails can backup protection.

図4は本発明の或る実施の形態に従って構築されたMDA118の拡大部分組立分解等角図である。 Figure 4 is an enlarged partial exploded isometric view of MDA118 constructed in accordance with certain embodiments of the present invention. MDA118は上部130と下部132とを有し、それぞれは5個のデータ記憶装置128を支持する。 MDA118 has an upper 130 and lower 132, each of which supports five data storage device 128. 区画130,132は、中央板116(図3)と係合するコネクタ136を有する共通回路板134と接続できるようにデータ記憶装置128を揃える。 Compartments 130, 132 align the data storage device 128 so that it can connect to a common circuit board 134 having a connector 136 which engages with the central plate 116 (FIG. 3). カバー138は電磁妨害を遮蔽する。 Cover 138 shields the electromagnetic interference. MDA118のこの例示の実施の形態は、特許出願10/884,605、「多重ディスク・アレイの搬送装置および方法(Carrier Device and Method for a Multiple Disc Array)」の主題である。 The exemplary embodiment of MDA118 is patent application 10 / 884,605, the subject of "conveying apparatus and method of multiple disk array (Carrier Device and Method for a Multiple Disc Array)". これは本発明の被譲渡人に譲渡されたものであって、ここに援用する。 This is a one that is assigned to the assignee of the present invention, incorporated herein. MDAの別の例示の実施の形態は同じタイトルの特許出願10/817,378の主題である。 Another exemplary embodiment of the MDA are the subject of patent application 10 / 817,378 of the same title. これも本発明の被譲渡人に譲渡されたものであって、ここに援用する。 This be those assigned to the assignee of the present invention, incorporated herein. 後で説明するが、別の同等の実施の形態では、密閉された容器内にMDA118を収めてよい。 As described below, in another equivalent embodiment may videos MDA118 the sealed container.

図5は、本発明の実施の形態で用いるのに適した、回転する媒体ディスク・ドライブの形の例示のデータ記憶装置128の等角図である。 Figure 5 is suitable for use in the embodiment of the present invention is an isometric view of a media disc drives in the form of the example data storage device 128 to rotate. 以下の説明のために、動くデータ記憶媒体と共に回転するスピンドルを用いるが、別の同等の実施の形態では、固体メモリ装置などの非回転媒体装置を用いる。 For the following description, the spindle which rotates together with the moving data storage medium, but in the alternative equivalent embodiments, using a non-rotating media device, such as a solid state memory device. データ記憶ディスク140はモータ142により回転して、ディスク140のデータ記憶位置を読取り/書込みヘッド(単に「ヘッド」と呼ぶ)143に提示する。 Data storage disk 140 is rotated by a motor 142, presenting data storage position of the disc 140 read / write head (referred to simply as "head") 143. ヘッド143は、ディスク140の内側と外側のトラックの間にヘッド143を半径方向に動かす回転アクチュエータ144の先端に支持される。 Head 143 is supported on the tip of the rotary actuator 144 for moving the head 143 in the radial direction between the inner and outer tracks of the disk 140. ヘッド143は可撓回路146により回路板145に電気的に接続する。 Head 143 is electrically connected to the circuit board 145 by flex circuit 146. 回路板145はデータ記憶装置128の機能を制御する制御信号を受けたり送ったりする。 Circuit board 145 or send or receive a control signal for controlling the function of the data storage device 128. コネクタ148は回路板145に電気的に接続し、データ記憶装置128とMDA118の回路板134(図4)とを接続する。 Connector 148 is electrically connected to the circuit board 145, to connect the circuit board 134 of the data storage device 128 and MDA118 and (Figure 4).

図6は本発明の実施の形態に従って構築されたISE108の線図である。 6 is a diagram of ISE108 constructed in accordance with an embodiment of the present invention. コントローラ112はインテリジェント記憶プロセッサ(ISP)150と共に動作してデータの完全性の信頼性を管理する。 The controller 112 manages the reliability of data integrity and operating in conjunction with an intelligent storage processor (ISP) 150. ISP150は、コントローラ112内、MDA118内、またはISE108内のどこか別のところに常駐してよい。 ISP150 is, within the controller 112, may reside somewhere elsewhere in the inside MDA118, or ISE108.

管理された信頼性の態様はRAID方式などの信頼できるデータ記憶フォーマットを作ることを含む。 Managed reliability aspect involves making reliable data storage formats, such as RAID method. 例えば、複数の異なるRAIDフォーマットの選択された1つを選択的に用いるシステムを形成することによりデータ記憶のための比較的強いシステムを作り、またMDA118を管理するのに用いるソフトウエアの複雑さを軽減すると共に記憶の故障状態から比較的速く回復できるようにファームウエア・アルゴリズムを最適にすることができる。 For example, create a relatively strong system for data storage by forming a system using a selected one of a plurality of different RAID format Optionally, also the software complexity used to manage the MDA118 firmware algorithms to allow relatively fast recovery from the failure state of the storage as well as reduce can be optimized. この多重RAIDフォーマット・システムのこれらの態様は、特許出願10/817,264、「記憶媒体データ構造および方法(Storage Media Data Structure and Method)」に記述されている。 This These aspects of multiple RAID format systems, patent application 10 / 817,264, are described in "storage medium data structure and method (Storage Media Data Structure and Method)". これは本発明の被譲渡人に譲渡されたものであって、ここに援用する。 This is a one that is assigned to the assignee of the present invention, incorporated herein.

管理された信頼性は、システムを監視して使用することに基づく診断および訂正ルーチンのスケジューリングも含んでよい。 Managed reliability can also include scheduling of diagnostic and correction routine based on the use of monitoring the system. データ回復の方法はデータをコピーしまた再構築することで行う。 The method of data recovery is carried out by reconstructing also copy the data. ISP150は、データを失わずにデータ記憶容量全体を「自己治癒」しやすくするようにしてMDA118と共に組み込む。 ISP150 is, the entire data storage capacity with no loss of data so as to facilitate "self-healing" incorporated along with the MDA118. ここで考えた管理された信頼性のこれらの態様は、特許出願10/817,617、「管理された信頼性の記憶システムおよび方法(Managed Reliability Storage System and Method)」に開示されている。 Here thought managed these aspects of reliability, patent application 10 / 817,617, are disclosed in "managed reliability storage system and method (Managed Reliability Storage System and Method)". これは本発明の被譲渡人に譲渡されたものであって、ここに援用する。 This is a one that is assigned to the assignee of the present invention, incorporated herein. 管理された信頼性の他の態様は、予め決められた規則に関する予測的故障表示への応答の速さを含む。 Other aspects of the managed reliability include the speed of response to predictive failure indication as to a predetermined rule. これは例えば、特許出願11/040,410、「分散記憶システムにおける予測された故障からの決定論的な予防的回復(Deterministic Preventive Recovery From a Predicted Failure in a Distributed Storage System)」に開示されている。 This example, Patent Application 11 / 040,410, are disclosed in "deterministic preventive recovery from the predicted fault in a distributed storage system (Deterministic Preventive Recovery From a Predicted Failure in a Distributed Storage System)" . これは本発明の被譲渡人に譲渡されたものであって、ここに援用する。 This is a one that is assigned to the assignee of the present invention, incorporated herein.

図7は1対の冗長なISP150が常駐するISP回路板152を示す線図である。 Figure 7 is a diagram showing the ISP circuit board 152 which a pair of redundant ISP150 resides. ISP150は、データ記憶容量109とSAN構造110とをインターフェースする。 ISP150 will interface the data storage capacity 109 and the SAN structure 110. 各ISP150は、経路選択、ボリューム管理、およびデータ移動および複製などの種々の記憶サービスを管理してよい。 Each ISP150, the path selection, volume control, and various may manage the storage services such as data movement and replication. ISP150はISP回路板152を、バス158により結合される2つのISPサブシステム154,156に分割する。 ISP150 divides the ISP circuit board 152, the two ISP subsystems 154, 156 are coupled by a bus 158. ISPサブシステム154は「B」で示すISP150を含む。 ISP subsystem 154 includes a ISP150 indicated by "B". これはリンク160によりSAN構造110に、またリンク162によりデータ記憶容量109に接続する。 This is SAN structure 110 by a link 160, also connected by a link 162 to the data storage capacity 109. ISPサブシステム154は実時間オペレーティング・システムを実行するポリシー・プロセッサ164も含む。 ISP subsystem 154 also includes a policy processor 164 to perform a real-time operating system. ISP150とポリシー・プロセッサ164とはバス166により通信し、また両者はメモリ168と通信する。 ISP150 is and the policy processor 164 communicate via a bus 166, also both of which communicates with the memory 168.

図8は、本発明の実施の形態に従って構築された例示のISPサブシステム154の線図である。 Figure 8 is a diagrammatic view of ISP subsystem 154 illustrated constructed in accordance with an embodiment of the present invention. ISP150は、クロス・ポイント・スイッチ(CPS)186メッセージ・クロスバーを介してリスト・マネージャ182,184と通信する多数の機能コントローラ(170−180)を含む。 ISP150 includes a number of function controller in communication with the list manager 182 via the cross-point switch (CPS) 186 message crossbar (170-180). このように、機能コントローラ(170−180)は所定の条件に応じてそれぞれCPSメッセージを生成し、CPS186を通してこのメッセージをリスト・マネージャ182,184に送り、メモリ・モジュールにアクセスしたりISP150の活動を起こしたりしてよい。 Thus, function controllers (170-180) each generate a CPS messages according to a predetermined condition, sends this message to the list manager 182 through CPS186, activity accesses the memory module or ISP150 it may be or cause. 同様に、リスト・マネージャ182,184からの応答はCPS186を介して機能コントローラ(170−180)のどれかに送ってよい。 Similarly, the response from the list manager 182, 184 may be sent to any of the function controller (170-180) through the CPS186. 図8の配置および関連する説明は例であって、本発明の考えられる実施の形態を制限するものでなない。 Arrangement and related description of FIG. 8 is an example, without such a limitation of the contemplated embodiments of the present invention.

ポリシー・プロセッサ164は、ISP150を介して望ましい動作を実行するようプログラムすることができる。 Policy processor 164 can be programmed to perform the desired behavior via the ISP 150. 例えば、ポリシー・プロセッサ164はCPS186を介してリスト・マネージャ182,184と通信して(すなわち、メッセージを送りまた受けて)よい。 For example, the policy processor 164 communicates with the list manager 182 via the CPS186 (i.e., also receives and sends messages) good. ポリシー・プロセッサ164への応答は、メモリ168レジスタの読取りを知らせる割込みとして働いてよい。 Response to the policy processor 164 may act as an interrupt to inform the reading of memory 168 registers.

図9は、インテリジェント・コントローラ112により、予め選択された複数の通信プロトコル(FC、iSCSI、またはSASなど)のどれかでホスト102と通信するISE108の優れた柔軟性を示す線図である。 9, the intelligent controller 112 is a diagram showing pre-selected plurality of communication protocols (FC, iSCSI, or SAS etc.) excellent flexibility ISE108 to communicate with the host 102 in any of. ISE108は、ホスト・コマンドの取出しレベルを確認し、これに従ってコマンドに関連する物理的記憶109に仮想記憶ボリュームをマップするようプログラムしてよい。 ISE108 checks the extraction level of the host commands, may be programmed to map the virtual storage volume accordingly the physical storage 109 associated with the command.

本発明の目的では、「仮想記憶ボリューム」という用語は、物理的記憶の論理的取出しに一般に対応する論理エンティティを意味する。 For the purposes of the present invention, the term "virtual storage volume" means a logical entity corresponding to general logical retrieval of physical storage. 「仮想記憶ボリューム」は、例えば、固定のブロック構造内の連続的にアドレス指定されたアドレス・ブロックまたはカウント・キー・データ(count−key−data)構造内の記録であるかのように(論理的に)扱われるエンティティを含んでよい。 "Virtual storage volume", for example, as if it were continuously recorded of the addressed address block or count-key-data (count-key-data) within the structure of the block structure of the fixed (logical to) may include entities that are treated. 仮想記憶ボリュームは物理的に2台以上の記憶要素上にあってよい。 Virtual storage volume physically may be on two or more storage elements.

図10は、任意のホスト102と独立にISE108が行ってよいデータ管理サービスのタイプを示す線図である。 Figure 10 is a graph showing the type of any host 102 and independently may data management service performs the ISE 108. 例えば、耐故障性のデータの完全性のためにRAID管理を局所で制御して、データのストライピングを望ましい数のデータ記憶装置128 1 ,128 2 ,128 3 ,. For example, the RAID management is controlled by a local for the data integrity of fault tolerance, the desired number striping data of the data storage device 128 1, 128 2, 128 3,. . . ,128 n内で行ってよい。 It may be carried out in a 128 n. 仮想化サービスを局所で制御して、メモリ容量を論理エンティティに割り当てたり割り当てを外したりしてよい。 Virtualization services controlled by the local, may or disconnect the allocated allocation or memory capacity to the logical entity. 上に説明した管理された信頼性方式や同じISE108内の論理ボリュームの間のデータの移動などのアプリケーション・ルーチンも同様に局所で制御してよい。 Application routine, such as movement of data between logical volumes in reliability scheme and same ISE108 managed discussed above may be similarly controlled by locally. この記述およびクレームの目的では、「移動」という用語はデータを原始から宛先に移すことにより、移動完了の一部として原始のデータをなくすことを指す。 For the purposes of this description and claims, the term "transfer" is by transferring the data from the source to the destination, it refers to eliminate primitive data as part of the movement completion. これはデータを「コピーする」こととは逆で、コピーの場合はデータを原始から宛先に複写する。 This is contrary to the "copy" data, in the case of copying for copying data from the source to the destination. ただし、宛先では別の名前になる。 However, it is another name at the destination.

図11は、アクセス・コマンド(I/Oコマンド)をホスト装置102と複数のISE108との間で渡すために仮想エンジン200がSAN106により遠隔ホスト装置102と通信する、というデータ記憶システム100の実施の形態を示す。 11, the access command (I / O command) the host device 102 and the virtual engine 200 to pass between a plurality of ISE108 to communicate with a remote host device 102 by SAN 106, the implementation of the data storage system 100 that show the form. 各ISE108は、アクセス・コマンドを渡すために仮想エンジン200がユニークにアドレス指定できる2つのポート202,204および206,208を有する。 Each ISE108 has two ports 202, 204 and 206, 208 virtual engine 200 can uniquely address to pass the access command. データ転送ボトルネックを作らずにデータ移動を促進するため、以下にこの実施の形態が、ホスト・アクセス・コマンドの処理とは独立に、同時にISE108の間でデータを移す方法を説明する。 To facilitate data movement without creating data transfer bottlenecks, this embodiment below is independently of the processing of the host access commands, a method of transferring data between ISE108 simultaneously. また、データを移すときのデータ転送速度を変えることにより、システム100のアプリケーション性能への影響を最適にすることができる。 Further, by changing the data transfer rate when transferring data, it is possible to optimize the impact on the application performance of the system 100.

ISE108−1では、ISP150はデータ記憶装置128の物理的データ・パック212に関する論理ボリューム210を作成する。 In ISE108-1, ISP150 creates a logical volume 210 about the physical data pack 212 of the data storage device 128. 説明のために、データ・パック212の記憶容量の40%を論理ボリューム210内の論理ディスク214に割り当てたと仮定する。 Assume for the sake of explanation, and assigned 40% of the storage capacity of the data pack 212 in the logical disk 214 of the logical volume 210. やはり説明のために、データ・パック212および以下の全ての他のデータ・パックは、データ記憶のための8個のデータ記憶装置128と2個の予備データ記憶装置128とを含むと仮定する。 Again for the sake of explanation, the data pack 212 and any other data pack below assumes eight data storage device 128 for data storage and comprising a two preliminary data storage device 128. 更に図11から認識されるように、ISE108−1では他方のデータ・パック216は93%を論理ディスク218に割り当て、ISE108−2ではデータ・パック220,222は論理ディスク224,226にそれぞれ30%および40%を割り当てたと仮定する。 As will be appreciated further from FIG. 11, the other data packs 216 in ISE108-1 allocates 93% to logical disk 218, to the data packs 220, 222 are logical disk 224 in ISE108-2 30% and assume that allocation of 40%.

仮想エンジン200は論理ディスク214から論理ボリューム224を作成し、またホストからの記憶空間の要求に応じて論理ディスク226を作成してこれをホスト102にマップした。 Virtual engine 200 creates a logical volume 224 from the logical disk 214, also mapped this by creating a logical disk 226 to the host 102 in response to a request of the storage space from the host.

上に述べたように、各ISE108内のISP150は、記憶の故障を検出すると決定論的な予防的回復ステップを自発的に開始する。 As mentioned above, ISP 150 in each ISE108 is deterministic preventive recovery steps to detect a failure of the storage spontaneously initiated. 例えば、ISE108−1はデータ・パック212内の記憶装置128の故障を検出すると、故障した記憶装置128を直ちにラインから外す。 For example, ISE108-1, upon detecting a failure of the storage device 128 in the data pack 212, remove the failed storage device 128 immediately from the line. 故障した記憶装置128からのデータはデータ・パック212の予備容量の最初の10%上にコピーするかまたは再構築して、冗長性が働く状態を回復する。 It failed the data from the storage device 128 and or rebuilding to copy the first on 10% of the reserve capacity of the data pack 212, to restore the state of redundancy works. 次にISE108−1は、故障した記憶装置128の中に自発的な再較正または再製作により回復できる部分があるかどうか判断する。 Then ISE108-1 determines whether there is a failed spontaneous recalibration or portions can be recovered by re-fabrication in the storage device 128.

最初の故障した記憶装置128が全く回復不可能であると仮定して、更にISE108−1の第2の記憶装置128の故障が発生した場合は、これもラインから外してそのデータをデータ・パック212の予備容量の最後の10%上にコピーするかまたは再構築する。 Assuming that the first of the failed storage device 128 is completely unrecoverable, if further failures of the second storage device 128 ISE108-1 occurs, the data pack that data also removed from the line either or rebuild copying the end of the 10% of the reserve capacity of 212.

第2の故障した記憶装置128が第1と同様に回復不可能であると仮定して、更にISE108−1の第3の記憶装置128の故障が発生した場合は、ISE108−1が必要とする予備容量の割当ては20%を超える。 Storage device 128 that the second failure is assumed to be similar unrecoverable the first, if further failures in the third storage device 128 ISE108-1 occurs, the required ISE108-1 assignment of spare capacity is greater than 20%. この条件でISE108−1の運転を続けると冗長性が部分的に失われる恐れがある。 Redundancy Continuing operation of ISE108-1 in this condition is likely to be partially lost. 好ましくは、完全に冗長性を回復するようにISE108−1の運転を落として、適当なときに取り替えるよう計画する。 Preferably, drop the operation of ISE108-1 to recover fully redundant, planning to replace at the appropriate time.

一方で、この実施の形態はISE108−1が内部だけでなく異なる仮想記憶ボリュームにわたって割り当てることを考える。 On the other hand, this embodiment consider assigning across different virtual storage volume not ISE108-1 only internally. この場合は、好ましくはISE108−1は割当て可能な空間があるかどうか内部の他方のデータ・パック216を調べる。 In this case, preferably ISE108-1 examine the other data pack 216 of the internal whether there are assignable space. しかしこの場合は、データ・パック216はすでに93%が割り当てられているのでデータ・パック212の予備とするのに必要な容量はない。 In this case, however, the data pack 216 is not capacity necessary for a spare data pack 212 because already 93% is assigned. しかしISE108−2内のデータ・パック220,222は共にデータ・パック212の予備とするのに必要な利用可能な容量を有する。 But data packs 220, 222 in ISE108-2 both have available capacity necessary for a spare data pack 212.

図12は、ISE108−1内のISP150が外部に論理ディスク230を作成して、運転を落とした記憶装置128に関連する論理ディスク214からここにデータを移したことを示す。 Figure 12 shows that ISP150 in ISE108-1 is to create a logical disk 230 to the outside, and transferred data here from the logical disk 214 associated with the storage device 128 has been dropped operation. 認識されるように、データの移動によりホスト102とISE108−1との間のアクセス・コマンドI/Oは必ずしも中断されない。 As will be appreciated, the access command I / O between the movement of the data host 102 and ISE108-1 is not necessarily interrupted. データ移動が完了すると、論理ディスク230のデータ経路を仮想エンジン200に変更する間ホスト102との通信を一時的に凍結し、次に図13に示すように仮想エンジン200はI/O経路を切り換えて、ISE108−2内の新たに移動したデータにI/O経路を導く。 When data move is completed, temporarily freezing the communication and between host 102 to change the data path of logical disk 230 to the virtual engine 200, then the virtual engine 200 as shown in FIG. 13 switches the I / O path Te directs I / O path to the newly moved data in ISE108-2. こうすれば、I/Oサービスを中断せずにデータ・パック212を取り替えることができる。 This makes it possible to replace the data pack 212 without interrupting I / O services.

図14は、本発明の実施の形態に係る広域予備化の方法250のステップの流れ図である。 Figure 14 is a flow chart of the steps of the wide sparing method 250 according to an embodiment of the present invention. 方法250はブロック252で開始し、ISE108は通常のI/Oモードで処理中である。 The method 250 begins at block 252, ISE 108 is being processed in the normal I / O mode. ブロック254で、最後のI/Oコマンドの処理が終わったかどうか判定する。 At block 254, it determines whether the processes have been performed for the last I / O command. 終わった場合はこの方法は終了する。 If you have finished the method ends. 終わらない場合は制御はブロック256に進み、ISE108がデータ・パックの故障を検出したかどうか判定する。 If not end control proceeds to block 256, it determines whether ISE108 detects a failure of the data pack. ブロック256の判定がノーの場合は、ブロック252で通常のI/O処理を続ける。 If decision block 256 is no, continue with the normal I / O processing at block 252. 以下同じである。 The following is the same.

ブロック256の判定がイエスの場合は制御はブロック258に進み、故障のデータ・パック内に十分な予備容量が存在するかどうか判定する。 If decision block 256 is yes the control proceeds to block 258 to determine if sufficient spare capacity exists in the data pack failure. データ・パック212の記憶装置が故障した上の例の場合は、ブロック258ではデータ・パック212自身を調べる。 Storage of the data pack 212 is in the case of the above example of a failure, it checks the data pack 212 itself in block 258. 言い換えると、予備容量があるかどうか「局所で」調べる。 In other words, "the local" if there is spare capacity investigate. ブロック258の判定がイエスの場合は、ブロック260でISP150は局所のLUNを割り当て、ブロック262で故障のデータ・パックから局所のLUNにデータを移し、制御はブロック252に戻る。 If decision block 258 is yes, ISP 150 assigns a local LUN in block 260, transferred to the data to local LUN from the data pack of a failure at block 262, control returns to block 252.

ブロック258の判定がノーの場合は制御はブロック264に進み、同じISE108内の別のデータ・パック内に予備容量が存在するかどうか、言い換えると、予備容量が「内部に」存在するかどうか、判定する。 If decision block 258 is NO control is transferred to block 264, whether the spare capacity on another data pack in the same ISE108 exists, in other words, whether the spare capacity exists "inside" judge. ブロック264の判定がイエスの場合は、ブロック266でISPは内部のLUNを割り当て、ブロック268で故障のデータ・パックから内部のLUNにデータを移し、制御はブロック252に戻る。 If decision block 264 is yes, ISP assigns an internal LUN in block 266, transferred to the data inside the LUN from the data pack of a failure at block 268, control returns to block 252.

ブロック264の判定がノーの場合は制御はブロック270に進み、別のISE108内のデータ・パック内に予備容量が存在するかどうか、言い換えると予備容量が「外部に」存在するかどうか、判定する。 If decision block 264 is NO control is transferred to block 270, if spare capacity exists in the data pack in another ISE 108, whether other words spare capacity exists "outside", determines . ブロック270の判定がイエスの場合はブロック272でISPは外部のLUNを割り当て、ブロック274で故障のデータ・パックから外部のLUNにデータを移し、制御はブロック252に戻る。 ISP at block 272 if the determination in block 270 is yes assigns an external LUN, transferred data to an external LUN from the data pack of a failure at block 274, control returns to block 252.

しかしブロック270の判定がノーの場合は予備容量が存在せず、制御はブロック276に進んで、データ・パックの運転を落とし、保全計画をたてる。 But spare capacity does not exist If the determination of block 270 is NO, control proceeds to block 276, dropping the operation of the data pack, make a conservation plan. 次に制御はブロック252に戻る。 Control then returns to block 252.

最後に、図15は図4と同様の図であるが、複数のデータ記憶装置128および回路板134は、ベース190とこれに付属する密閉カバー192とで形成される密閉容器内に収められる。 Finally, although FIG. 15 is a view similar to FIG. 4, a plurality of data storage devices 128 and circuit board 134, which is housed in a sealed container formed by the sealing cover 192 that is included with the base 190. MDA118Aを形成するデータ記憶装置128を密閉して係合すると、データ記憶装置128の配置が予め選択された最適配置から変わることがないなどの種々の利点がある。 When engaging sealingly the data storage device 128 for forming a MDA118A, there are various advantages such as the arrangement of the data storage device 128 will not vary from the preselected optimum arrangement. またデータ記憶装置128の数、サイズ、タイプを明確に定義できる場合は、かかる配置によりMDA118Aの製作者は最適性能になるようにシステムを調整することができる。 The number of data storage device 128, the size, if the type can be clearly defined, the producer of MDA118A Such arrangement can adjust the system to optimize performance.

またMDA118Aを密閉すると、製作者は内部の記憶媒体のグループの信頼性および耐故障性を最大にすることができると同時に、MDA118Aの寿命がある限りほとんどサービスをしなくてよい。 Further, when sealing the MDA118A, producer at the same time capable of maximizing the reliability and fault tolerance of a group of internal storage medium, it is not necessary to most service as long as the life of MDA118A. これは、多スピンドル配置のドライブを最適化することにより行う。 This is done by optimizing the multi-spindle arrangement of the drive. 設計の最適化により、コストが下がり、性能が向上し、信頼性が向上し、MDA118A内のデータの寿命が一般に延びる。 Optimized design, cost is lowered, and improved performance, improved reliability, lifetime of data in MDA118A extends generally. 更に、MDA118A自体の設計により回転振動がほとんどなくなり、冷却効率の高い環境が得られる。 Moreover, almost no rotational vibration by the design of MDA118A itself, high cooling efficiency environment is obtained. これは出願中の米国特許出願11/145,404、「強化されたRVIを持つ記憶アレイ(Storage Array with Enhanced RVI)」の主題である。 This U.S. Patent Application 11 / 145,404 in the application which is the subject of the "storage array with enhanced RVI (Storage Array with Enhanced RVI)". これは本出願の被譲渡人に譲渡されている。 Which is assigned to the assignee of the present application. これにより、MDA118 の信頼性、性能、または容量を落とさずに内部の記憶媒体を低コストで製作することができる。 This makes it possible to manufacture reliable MDA 118 A, performance, or the internal storage medium without reducing the capacity at a low cost. このようにMDA118Aを密閉すると、単点故障がなくなり、回転振動の除去と冷却効率がほとんど完全になる。 With this seal the MDA118A, eliminates single point failure, removal and cooling efficiency of the rotational vibration becomes almost completely. これにより、ディスク媒体特性が最適になるようにMDA118Aを設計し、コストを下げ、同時に信頼性および性能を高めることができる。 Thus, to design MDA118A as disk media characteristics are optimal, lower costs, it is possible to improve the reliability and performance at the same time.

要約すると、複数の回転可能なスピンドルを含む分散記憶システム用の内蔵のISEを提供する。 In summary, to provide ISE built for distributed storage system including a plurality of rotatable spindles. 各スピンドルはそれぞれ独立に動くアクチュエータに近接して記憶媒体を支持し、アクチュエータは記憶媒体との間でデータを記憶しまた検索する。 Each spindle close to the actuator to move independently support the storage medium, the actuator is also retrieves stored data to and from the storage medium. ISEは更に、分散記憶システムの遠隔装置が用いるように仮想記憶ボリュームを複数の媒体にマップするISPを含む。 ISE further includes an ISP that maps virtual storage volume to a plurality of media for use remote devices distributed storage system.

或る実施の形態では、ISEは共通の密閉されたハウジング内に収められた複数のスピンドルおよび媒体を有する。 In one embodiment, ISE has a plurality of spindles and medium housed in a common sealed housing. 好ましくは、ISPはRAID方式などの故障に耐える方法でデータを記憶するために仮想記憶ボリューム内にメモリを割り当てる。 Preferably, ISP allocates memory in the virtual storage volume for storing data in a way to withstand failure such as RAID scheme. 更にISPはデータ記憶プロセス中に、予測される記憶の故障を検出すると決定論的な予防的回復ステップを自発的に開始するなどの管理された信頼性方式を実行することができる。 Further ISP During data storage process, it is possible to execute the managed reliability system such as expected deterministic preventive recovery steps to detect a failure spontaneously start of storage. 好ましくは、ISEは、それぞれが2個以上のディスクのデータ記憶媒体から形成されディスク・スタックを有する複数のデータ記憶装置で形成する。 Preferably, ISE are formed respectively from the data storage medium of two or more disks are formed by a plurality of data storage devices having a disk stack.

別の実施の形態では、ISEは、内蔵の複数の離散的データ記憶装置と、データ記憶装置と通信して遠隔装置から受信したコマンドを取り出してこれに関係するメモリを関連付けるISPとを備える分散記憶システムに用いる。 Another In the embodiment, ISE is built a plurality of discrete data storage devices, distributed storage and a ISP which communicates with the data storage device associates the memory relating to retrieve the commands received from a remote device used in the system. 好ましくは、分散記憶システムの1つ以上の遠隔装置が用いるために、ISPは仮想記憶ボリュームを複数のデータ記憶装置にマップする。 Preferably, for use one or more remote devices of the distributed storage system, ISP maps the virtual storage volume to a plurality of data storage devices. 前と同様に、複数のデータ記憶装置および媒体は共通の密閉されたハウジング内に収めてよい。 As before, a plurality of data storage devices and media may housed in a common sealed housing. 好ましくは、RAID方式などの故障に耐える方法でデータを記憶するために、ISPは仮想記憶ボリューム内にメモリを割り当てる。 Preferably, in order to store data in a way to withstand failure such as RAID scheme, ISP allocates memory in the virtual storage volume. 更にISPは、予測された記憶の故障を検出するとデータ記憶装置内で決定論的な予防的回復ステップを自発的に開始する。 Furthermore ISP spontaneously initiate deterministic preventive recovery steps when detecting the failure of the predicted stored in the data storage device.

別の実施の形態では、ホストと、ネットワークによりホストと通信する後部記憶サブシステムと、ホストに無関係に内蔵の記憶容量を仮想化する手段とを備える分散記憶システムを提供する。 In another embodiment, there is provided a host, and a rear storage subsystem to communicate with the host via a network, a distributed storage system and means for virtualizing a storage capacity of independent internal to the host.

仮想化する手段は、複数の離散的で個別にアクセス可能なデータ記憶ユニットを特徴としてよい。 It means for virtualization may feature a plurality of discrete, individually accessible data storage unit. 仮想化する手段は、複数のデータ記憶ユニットに関連する記憶容量の仮想ブロックをマップすることを特徴としてよい。 Means for virtualization may be characterized in that maps the virtual block storage capacity associated with a plurality of data storage units. 仮想化する手段は、複数のデータ記憶ユニットおよび関連する制御を密閉して収めることを特徴としてよい。 Means for virtualization may be characterized in that fit tightly closed plurality of data storage units and associated control. 仮想化する手段は、限定されないがRAID方式などの故障に耐える方法でデータを記憶することを特徴としてよい。 It means for virtualization, but are not limited to be characterized in that for storing data in a way to withstand failure such as RAID scheme. 仮想化する手段は、予測される記憶の故障を検出すると決定論的な予防的回復ステップを自発的に開始することを特徴としてよい。 Means for virtualization may be characterized in that to start spontaneously the predicted deterministic preventive recovery steps to detect a failure of the storage is. 仮想化する手段は、多重スピンドル・データ記憶アレイを特徴としてよい。 It means for virtualization may feature a multi-spindle data storage array.

ここの目的では、「仮想化する手段」という用語は、それぞれのデータ記憶サブシステム以外のどこかにデータ記憶空間をマップするためのシステム知能を含む前に試みた解決策を明白には考えない。 In the herein objects, the term "means for virtualizing" is not considered obvious solutions tried before including the system intelligence to map the data storage space somewhere other than the respective data storage subsystem . 例えば、「仮想化する手段」は記憶マネージャを用いてデータ記憶サブシステムの機能を制御することは考えないし、またSAN構造内またはホスト内にマネージャまたはスイッチを置くことも考えない。 For example, "it means for virtualizing" the do not think to control the function of the data storage subsystem by using the storage manager, nor conceivable to place the manager or switch SAN structure or in a host.

またはこの実施の形態は、アクセス・コマンドを遠隔装置と記憶空間との間で渡すための、ネットワークにより遠隔装置に接続する仮想エンジンを備えるデータ記憶システムを特徴とする。 Or this embodiment, for passing access commands between the remote device and the storage space, and wherein the data storage system comprising a virtual engine to connect to the remote device by the network. データ記憶システムは更に、アクセス・コマンドを渡すために仮想エンジンがユニークにアドレス指定できる複数のインテリジェント記憶要素(ISE)を有する。 Data storage system further comprises a plurality of intelligent storage elements virtual engine can uniquely address (ISE) to pass access commands. 仮想エンジンと第1のISEとの間でアクセス・コマンドが渡されていることとは独立に、同時にISEは第1のISEから第2のISEにデータを移す。 That independently of the access command is passed between the virtual engine and first ISE, simultaneously ISE transfers the data to the second ISE from the first ISE.

或る実施の形態では、各ISEは複数の回転可能なスピンドルを有し、各スピンドルはそれぞれ独立に動くアクチュエータに近接して記憶媒体を支持し、アクチュエータは記憶媒体との間でデータを記憶しまた検索する。 In one embodiment, each ISE has a plurality of rotatable spindles, close to the actuator by supporting the storage medium to move each of the spindle independently actuator stores data to and from the storage medium want Search was. 複数のスピンドルおよび媒体は共通の密閉されたハウジング内に収めてよい。 A plurality of spindles and medium may housed in a common sealed housing.

各ISEは仮想記憶ボリュームを複数の媒体にマップして管理するためのプロセッサを有する。 Each ISE includes a processor for managing map the virtual storage volume to a plurality of media. 各ISEプロセッサは、好ましくは複数の異なる独立ドライブの冗長アレイ(RAID)方式の選択された1つなどの故障に耐える方法でデータを記憶するために仮想記憶容量内にメモリを割り当てる。 Each ISE processor preferably allocates memory in the virtual storage space to store the data in a way to withstand failure such as a selected one of a plurality of different independent drives redundant array (RAID) system.

各ISEプロセッサは記憶の故障を検出すると決定論的な予防的回復ステップを自発的に行ってよい。 Each ISE processor may perform deterministic preventive recovery steps to detect a failure of the storage spontaneously. これを行うとき、各ISEプロセッサは記憶の故障を検出すると第2の仮想記憶容量を割り当ててよい。 When doing this, each ISE processor may assign a second virtual storage capacity when detecting a failure of the storage. 或る実施の形態では、各ISEプロセッサは異なるISE内に第2の仮想記憶容量を割り当てる。 In one embodiment, each ISE processor assigns a second virtual storage capacity in different ISE.

この実施の形態は更に、仮想エンジンとインテリジェント記憶要素との間のアクセス・コマンドを処理し、同時にインテリジェント記憶要素から別の記憶空間にデータを移すための方法として特徴づけられる。 This embodiment further processes the access command between the virtual engine and intelligent storage element is characterized as a method for transferring data from the intelligent storage element to another storage space at the same time.

処理するステップは、インテリジェント記憶要素が仮想記憶ボリュームを内蔵の物理的記憶にマップして管理することを特徴としてよい。 The step of processing may be characterized in that the intelligent storage element is managed to map the virtual storage volume to the physical storage of the built. 好ましくは移すステップは、記憶の故障を検出するとインテリジェント記憶要素が決定論的な予防的回復ステップを自発的に開始することを特徴とする。 Step preferably transfers is characterized in that upon detecting a failure of the storage intelligent storage element is spontaneously initiated a deterministic preventive recovery steps.

移すステップは、記憶の故障を検出するとインテリジェント記憶要素が第2の仮想記憶ボリュームを割り当てることを特徴としてよい。 The step of transferring the intelligent storage element upon detecting a failure of the storage good as characterized by assigning a second virtual storage volume. 或る実施の形態では、移すステップは、処理するステップで仮想エンジンが異なるアドレスを指定した物理的記憶に関して第2の仮想記憶ボリュームを割り当てることを特徴とする。 In one embodiment, the step of transferring is characterized by assigning a second virtual storage volume terms of physical storage that virtual engine specifies a different address in the step of processing. 例えば、移すステップは、第2の仮想記憶ボリュームをインテリジェント記憶要素の内部に割り当てることを特徴としてよい。 For example, the step of transferring is good as characterized by assigning a second virtual storage volume to the inside of the intelligent storage element. または、移すステップは、第2の仮想記憶ボリュームをインテリジェント記憶要素の外部に割り当てることを特徴としてよい。 Or, the step of transferring is good as characterized by assigning a second virtual storage volume to an external intelligent storage element. すなわち、移すステップは、第2のインテリジェント記憶要素内に第2の仮想記憶ボリュームを割り当てることを特徴としてよい。 That is, the step of transferring is good as characterized by assigning a second virtual storage volume to a second intelligent storage element.

処理するステップは、メモリを割り当てて故障に耐える方法でデータを記憶することを特徴としてよい。 The step of processing may be characterized by storing data in a way to withstand fault allocates memory. また処理するステップは、共通の密閉されたハウジング内でデータを転送しながらデータ転送要素および記憶媒体を互いに動かすことを特徴としてよい。 The step of processing may be characterized by moving together the data transfer element and a storage medium while transferring the data in a common sealed housing.

またはこの実施の形態は、仮想エンジンが個別にアドレス指定できる複数のインテリジェント記憶要素と、データをインテリジェント記憶要素の間で移す手段とを備えるデータ記憶システム特徴とする。 Or this embodiment, the plurality of intelligent storage elements virtual engine individually addressable, and a data storage system, wherein and means for transferring data between the intelligent storage element. この記述およびクレームの目的では、ここに説明した構造およびその同等物に関して「移す手段」という用語は、ホストのアクセス・コマンドに関連する通常のI/Oコマンド処理を中断せずにデータを或る論理ユニットから別の論理ユニットに移すことを意味する。 For the purposes of this description and claims, the term "means to transfer" with respect to the structure and its equivalents described herein, certain data without interrupting normal I / O command process related to the access command of the host means that the transfer from the logical unit to another logical unit.

理解されるように、これまでの記述で本発明の種々の実施の形態の多くの特徴および利点を、本発明の種々の実施の形態の構造および機能の詳細と共に述べたが、この詳細な記述は単なる例示であって、詳細に関しては、特に本発明の原理内の部分の構造および配置に関してクレームを表現する用語の広い一般的な意味で示す範囲で、変更を行ってよい。 As will be appreciated, the previous many features and advantages of various embodiments of the present invention in the description, has been described together with details of the various embodiments of the structure and function of the present invention, this detailed description it is illustrative only, for more particularly in the range indicated by the broad general meaning with respect to the structure and arrangement of parts within the principles of the terms representing the claims of the present invention may make changes. 例えば、本発明の精神と範囲から逸れない限り特定の要素を特定の処理環境に従って変えてよい。 For example, the particular elements may vary according to the particular processing environment unless departing from the spirit and scope of the invention.

更に、ここに述べた実施の形態はデータ記憶アレイに関するものであるが、当業者が認識するように、クレームされた主題はこれに限定されるものではなく、本発明の精神および範囲から逸れない限り種々の他の処理システムを用いてよい。 Further, the embodiments described herein is in terms of data storage array, those skilled in the art will recognize that the claimed subject matter is not limited to this, not departing from the spirit and scope of the present invention it may be used various other processing systems as long.

本出願は2005年6月3日に出願されて本出願の被譲渡人に譲渡された米国出願番号11/145,403の一部継続出願である。 This application is a continuation-in-part application of June 3, 2005 to be filed is assigned to the assignee of the present application US application Ser. No. 11 / 145,403.

図1は、本発明の実施の形態が有用であるコンピュータ・システムの線図である。 Figure 1 is a diagram of a computer system embodiment of the present invention are useful. 図2は、図1のコンピュータ・システムの簡単な線図である。 Figure 2 is a simplified diagram of the computer system of Figure 1. 図3は、本発明の実施の形態に従って構築されたインテリジェント記憶要素の組立分解等角図である。 Figure 3 is an exploded isometric view of an intelligent storage element constructed in accordance with an embodiment of the present invention. 図4は、図3のインテリジェント記憶要素の多重ディスク・アレイの部分的組立分解等角図である。 Figure 4 is a partially exploded isometric view of a multiple disk array of intelligent storage elements in FIG. 図5は、図4の多重ディスク・アレイに用いられる例示のデータ記憶装置である。 Figure 5 is an illustration of a data storage device for use in multiple disk array of FIG. 図6は、図3のインテリジェント記憶要素の機能的ブロック図である。 Figure 6 is a functional block diagram of an intelligent storage element of FIG. 図7は、図3のインテリジェント記憶要素のインテリジェント記憶プロセッサ回路板の機能的ブロック図である。 Figure 7 is a functional block diagram of an intelligent storage processor circuit board of the intelligent storage element of FIG. 図8は、図3のインテリジェント記憶要素のインテリジェント記憶プロセッサの機能的ブロック図である。 Figure 8 is a functional block diagram of an intelligent storage processor of the intelligent storage element of FIG. 図9は、図3のインテリジェント記憶要素が行うコマンド取出しおよび関連するメモリ・マッピング・サービスの機能的ブロック図表現である。 Figure 9 is a functional block diagram representation of a command fetch and associated memory mapping service performed by the intelligent storage element of FIG. 図10は、図3のインテリジェント記憶要素が行う別の例示のデータ・サービスの機能的ブロック図である。 Figure 10 is a functional block diagram of a data service of another exemplary performed by the intelligent storage element of FIG. 図11は、本発明の実施の形態に係る広域予備化の方法を示す線図である。 Figure 11 is a diagram showing a method of global sparing according to the embodiment of the present invention. 図12は、本発明の実施の形態に係る広域予備化の方法を示す線図である。 Figure 12 is a diagram showing a method of global sparing according to the embodiment of the present invention. 図13は、本発明の実施の形態に係る広域予備化の方法を示す線図である。 Figure 13 is a diagram showing a method of global sparing according to the embodiment of the present invention. 図14は、本発明の実施の形態に係る広域予備化の方法を実行するステップの流れ図である。 Figure 14 is a flow diagram of steps for performing the method of global sparing according to the embodiment of the present invention. 図15は、図と同様であるが、密閉された容器の中にデータ記憶装置および回路板を収めるものを示す図である。 Figure 15 is similar to Figure 4, showing what accommodate the data storage device and a circuit board in a closed container.

符号の説明 DESCRIPTION OF SYMBOLS

102 遠隔装置(ホスト) 102 remote device (host)
108 インテリジェント記憶要素(ISE) 108 intelligent storage element (ISE)
109 記憶空間 200 仮想エンジン 109 storage space 200 virtual engine

Claims (15)

  1. データ記憶システムであって、 A data storage system,
    アクセス・コマンドを遠隔装置と記憶空間との間で渡すための、ネットワークにより前記遠隔装置に接続可能な仮想エンジンと、 For passing access commands between the remote device and the storage space, and the virtual engine connectable to the remote device by the network,
    前記記憶空間内の複数のインテリジェント記憶要素(ISE)であって、前記アクセス・コマンドを前記記憶空間の選択された論理的な記憶位置へ通信するために、前記仮想エンジンが、複数の通信経路を介して、各々の前記ISEに対してユニークにアドレスを指定することができ、前記ISEは、 前記記憶空間の記憶装置内で検出された故障に応答して、前記ネットワークを介して前記ISEと通信する前記遠隔装置または他の装置ではなく、前記ISEが前記記憶装置内で前記検出された故障について予測する予防的回復ステップを自発的に実行し、全て前記ISEに基づいて、予備の記憶容量が存在するか否かを決定し、前記ISEは更に、前記アクセス・コマンドが同時に前記仮想エンジンと第1の論理的な記憶位置との間で前記 A plurality of intelligent storage elements of the storage space (ISE), said access command in order to communicate to a selected logical storage position of the storage space, the virtual engine, a plurality of communication paths through, uniquely able to specify an address for each of the ISE, the ISE, in response to the detected failure in the storage device of the storage space, communicating with the ISE through the network wherein instead of the remote device or other apparatus, the ISE is voluntarily perform preventive recovery predicting for said detected failure in said storage device, based on all the ISE, the storage capacity of the spare determining whether there is, the ISE further wherein between said virtual engine and the first logical storage position wherein the access command at the same time 数の通信経路のうちの第1の通信経路を介して通信されている間に、 前記決定の結果に基づいて、記憶されたデータを、前記第1の通信経路を介して前記仮想エンジンがアドレスを指定した前記第1の論理的な記憶位置から、前記複数の通信経路のうちの異なる第2の通信経路を介して前記仮想エンジンがアドレスを指定した第2の論理的な記憶位置に移す、前記ISEと、 First while being communicated via a communication path, based on a result of the determination, the stored data, the virtual engine address via the first communication path among the number of communication paths from the specified first logical storage position and transferred to a second logical storage position where the virtual engine has specified address via different second communication path ones of the plurality of communication paths, said the ISE,
    を備える前記データ記憶システム。 The data storage system comprising a.
  2. 各ISEは複数の回転可能なスピンドルを備え、各スピンドルはそれぞれ独立に動くアクチュエータに近接して記憶媒体を支持し、前記アクチュエータは記憶媒体との間でデータを記憶しまた検索する、請求項1記載のデータ記憶システム。 Each ISE includes a plurality of rotatable spindles, each spindle proximate to the actuator to move independently support the storage medium, said actuator is also retrieves stored data to and from the storage medium, according to claim 1 data storage system according.
  3. 各ISEは共通の密閉されたハウジング内に収められた複数のスピンドルおよび媒体を備える、請求項2記載のデータ記憶システム。 Each ISE includes a plurality of spindles and medium housed in a common sealed housing, the data storage system of claim 2.
  4. 各ISEは、前記遠隔装置に対して仮想化された前記記憶空間内の仮想記憶ボリュームを前記複数の媒体にマップして管理するプロセッサを備える、請求項2記載のデータ記憶システム。 Each ISE is virtualized comprises a processor for managing map to the plurality of media virtual storage volume of the storage space, according to claim 2, wherein the data storage system to the remote device.
  5. 各ISEプロセッサは、データを冗長方式で記憶して故障に耐える方法でデータを記憶するために前記仮想記憶ボリュームにメモリを割り当てる、請求項4記載のデータ記憶システム。 Each ISE processor, the allocated memory to a virtual storage volume, claim 4 data storage system according to store data in a way to withstand the failure to store the data in a redundant manner.
  6. 各ISEプロセッサは複数の異なる独立ドライブの冗長アレイ(RAID)方式の選択された1つにデータを記憶する、請求項5記載のデータ記憶システム。 Each ISE processor to store data in a selected one of a plurality of different independent drives redundant array (RAID) system, a data storage system of claim 5, wherein.
  7. 各ISEプロセッサは異なるISE内に第2の仮想記憶ボリュームを前記記憶空間に割り当てる、請求項記載のデータ記憶システム。 Each ISE processor differs assigning a second virtual storage volume to the storage space in the ISE, a data storage system of claim 4, wherein.
  8. 仮想エンジンと複数のインテリジェント記憶要素(ISE)との間のアクセス・コマンドを処理するステップであって、各々の前記ISEは、記憶空間内の離散的および物理的な記憶位置を有し、前記仮想エンジンは、遠隔装置と前記記憶空間との間で前記アクセス・コマンドを渡すためにネットワークにより前記遠隔装置に接続され、前記仮想エンジンは、前記仮想エンジンと第1のISEとの間の第1の通信経路を介して前記アクセス・コマンドを前記第1のISE 内の第1の論理的な記憶位置に渡すために複数の通信経路を介して、前記記憶空間内の各々の前記ISEに対してユニークにアドレスを指定することができる、前記処理するステップと、 A step of processing the access command between the virtual engine and a plurality of intelligent storage elements (ISE), each of said ISE has discrete and physical storage location of the storage space, the virtual engine is connected to the remote device by the network to pass the access commands between the remote device and the storage space, the virtual engine, first between the virtual engine and first ISE via a plurality of communication paths for passing the access command to the first logical storage position of the first in the ISE via a communication path, unique to the ISE of each of the storage space it is possible to specify the addresses in the steps of the process,
    前記処理するステップと同時に、 各々の前記ISEが個々に、前記記憶位置のうちの1つで検出された故障に応答して、前記ネットワークを介して前記ISEと通信する前記遠隔装置または他の装置ではなく、前記ISEが前記記憶位置内で前記検出された故障について予測する予防的回復ステップを自発的に実行し、全て前記ISEに基づいて、予備の記憶容量が存在するか否かを決定し、前記ISEは更に、前記決定の結果に基づいて、前記第1の論理的な記憶位置から前記仮想エンジンがアドレスを指定した異なる第2の論理的な記憶位置に、前記仮想エンジンおよび前記第1のISEの間の第2の通信経路を介してデータを移すステップとを含む方法。 Simultaneously with the step of the process, the individual each of the ISE is the storage in response to the detected failure in one of the position, the remote device or another device in communication with the ISE through the network rather, the ISE is voluntarily perform preventive recovery predicting for said detected failure in said storage position, all based on the ISE, to determine whether the storage capacity of the spare is present the ISE further based on the result of the determination, the the first logical storage position from the virtual engine given different second logical storage location addresses, the virtual engine and the first method comprising the steps of transferring data via a second communication path between the ISE.
  9. 前記処理するステップは前記第1の ISEが、前記遠隔装置に対して仮想化された前記記憶空間内に対する仮想記憶ボリュームを内蔵の物理的記憶にマップして管理することを特徴とする、請求項記載の方法。 Wherein the step of processing the first ISE, characterized in that manages mapped to internal physical storage virtual storage volume for virtualized the storage space to the remote device, according to claim the method of 8, wherein.
  10. 前記移すステップは、前記記憶位置内前記検出された故障を検出すると前記ISEが第2の仮想記憶ボリュームを前記記憶空間に割り当てることを特徴とする、請求項記載の方法。 The transferring step, wherein the detecting the detected fault in the storage position ISE characterized in that it is assigned a second virtual storage volume to the storage space 10. The method of claim 9, wherein.
  11. 前記移すステップは、前記第2の仮想記憶ボリュームを前記第1の ISEの内部の前記記憶空間に割り当てることを特徴とする、請求項10記載の方法。 Step is characterized by allocating the second virtual storage volume to the storage space of the interior of the first ISE, 11. The method of claim 10, wherein transferring the.
  12. 前記移すステップは、前記第2の仮想記憶ボリュームを前記第1の ISEの外側の前記記憶空間に割り当てることを特徴とする、請求項10記載の方法。 Step is characterized by allocating the second virtual storage volume to the storage space outside of the first ISE, 11. The method of claim 10, wherein transferring the.
  13. 前記移すステップは、 異なる第2のISEの前記記憶空間に前記第2の仮想記憶ボリュームを割り当てることを特徴とする、請求項12記載の方法。 Step, different second and allocates the second virtual storage volume to the storage space of the ISE method of claim 12, wherein transferring the.
  14. 前記処理するステップは、前記記憶空間に対する前記仮想記憶ボリュームにメモリ容量を割り当てて、データを冗長方式で記憶して記憶装置の故障に耐える方法でデータを記憶することを特徴とする、請求項記載の方法。 Wherein the treating step allocates a memory capacity to the virtual storage volume to the storage space, and to store the data in a way to withstand the failure of the storage device stores data in a redundant manner, claim 9 the method described.
  15. アクセス・コマンドを処理するステップの処理速度に合わせてデータを移す速度を設定するステップを更に含む、請求項記載の方法。 Further comprising The method of claim 8, the step of setting the speed of transferring data in accordance with the processing speed of the step of processing access commands.
JP2007173121A 2005-06-03 2007-06-29 Wide area sparing the distributed storage system Expired - Fee Related JP4530372B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11478028 US7984258B2 (en) 2005-06-03 2006-06-29 Distributed storage system with global sparing

Publications (2)

Publication Number Publication Date
JP2008027437A true JP2008027437A (en) 2008-02-07
JP4530372B2 true JP4530372B2 (en) 2010-08-25

Family

ID=39117959

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007173121A Expired - Fee Related JP4530372B2 (en) 2005-06-03 2007-06-29 Wide area sparing the distributed storage system
JP2010030428A Active JP5150947B2 (en) 2005-06-03 2010-02-15 Wide area sparing the distributed storage system

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010030428A Active JP5150947B2 (en) 2005-06-03 2010-02-15 Wide area sparing the distributed storage system

Country Status (1)

Country Link
JP (2) JP4530372B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05314674A (en) * 1991-04-01 1993-11-26 Hitachi Ltd System for recovering fault in storage device and method therefor
JP2005018193A (en) * 2003-06-24 2005-01-20 Hitachi Ltd Interface command control method for disk device, and computer system
JP2005115506A (en) * 2003-10-06 2005-04-28 Hitachi Ltd Storage system
JP2005157739A (en) * 2003-11-26 2005-06-16 Hitachi Ltd Disk array device and method for avoiding failure of disk array device
JP2005525619A (en) * 2002-01-23 2005-08-25 シスコ テクノロジー インコーポレイテッド Method and apparatus for implementing virtualization storage in a storage area network
JP2005266933A (en) * 2004-03-16 2005-09-29 Fujitsu Ltd Storage management system and storage management method
JP2006012156A (en) * 2004-06-29 2006-01-12 Hitachi Ltd Method for controlling storage policy according to volume activity
JP2006048676A (en) * 2004-08-03 2006-02-16 Hitachi Ltd Fail-over and data migration which use data duplication
US20060069864A1 (en) * 2004-09-30 2006-03-30 Veritas Operating Corporation Method to detect and suggest corrective actions when performance and availability rules are violated in an environment deploying virtualization at multiple levels
JP2006099763A (en) * 2004-09-29 2006-04-13 Hitachi Ltd Method for managing volume group considering storage tier

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05314674A (en) * 1991-04-01 1993-11-26 Hitachi Ltd System for recovering fault in storage device and method therefor
JP2005525619A (en) * 2002-01-23 2005-08-25 シスコ テクノロジー インコーポレイテッド Method and apparatus for implementing virtualization storage in a storage area network
JP2005018193A (en) * 2003-06-24 2005-01-20 Hitachi Ltd Interface command control method for disk device, and computer system
JP2005115506A (en) * 2003-10-06 2005-04-28 Hitachi Ltd Storage system
JP2005157739A (en) * 2003-11-26 2005-06-16 Hitachi Ltd Disk array device and method for avoiding failure of disk array device
JP2005266933A (en) * 2004-03-16 2005-09-29 Fujitsu Ltd Storage management system and storage management method
JP2006012156A (en) * 2004-06-29 2006-01-12 Hitachi Ltd Method for controlling storage policy according to volume activity
JP2006048676A (en) * 2004-08-03 2006-02-16 Hitachi Ltd Fail-over and data migration which use data duplication
JP2006099763A (en) * 2004-09-29 2006-04-13 Hitachi Ltd Method for managing volume group considering storage tier
US20060069864A1 (en) * 2004-09-30 2006-03-30 Veritas Operating Corporation Method to detect and suggest corrective actions when performance and availability rules are violated in an environment deploying virtualization at multiple levels

Also Published As

Publication number Publication date Type
JP2008027437A (en) 2008-02-07 application
JP2010157257A (en) 2010-07-15 application
JP5150947B2 (en) 2013-02-27 grant

Similar Documents

Publication Publication Date Title
US6553408B1 (en) Virtual device architecture having memory for storing lists of driver modules
US7434090B2 (en) Method and apparatus for just in time RAID spare drive pool management
US6009481A (en) Mass storage system using internal system-level mirroring
US6978324B1 (en) Method and apparatus for controlling read and write accesses to a logical entity
US6766412B2 (en) Data storage media library with scalable throughput rate for data routing and protocol conversion
US7003687B2 (en) Fail-over storage system
US6678788B1 (en) Data type and topological data categorization and ordering for a mass storage system
US6839824B2 (en) System and method for partitioning a storage area network associated data library employing element addresses
US20020069317A1 (en) E-RAID system and method of operating the same
US7089448B2 (en) Disk mirror architecture for database appliance
US6691209B1 (en) Topological data categorization and formatting for a mass storage system
US20080178025A1 (en) System and method for data manipulation
US20060107010A1 (en) Storage system and data migration method of storage system
US6098119A (en) Apparatus and method that automatically scans for and configures previously non-configured disk drives in accordance with a particular raid level based on the needed raid level
US20040260967A1 (en) Method and apparatus for efficient fault-tolerant disk drive replacement in raid storage systems
US6314503B1 (en) Method and apparatus for managing the placement of data in a storage system to achieve increased system performance
US6457139B1 (en) Method and apparatus for providing a host computer with information relating to the mapping of logical volumes within an intelligent storage system
US20050050381A1 (en) Methods, apparatus and controllers for a raid storage system
US20080189484A1 (en) Storage control unit and data management method
US7181578B1 (en) Method and apparatus for efficient scalable storage management
US7146521B1 (en) Preventing damage of storage devices and data loss in a data storage system
US20020188697A1 (en) A method of allocating storage in a storage area network
US20050120263A1 (en) Disk array system and method for controlling disk array system
US20050022051A1 (en) Disk mirror architecture for database appliance with locally balanced regeneration
US20100241793A1 (en) Storage system and method for controlling storage system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090527

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090601

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090629

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090702

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090727

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090730

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090826

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100215

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100604

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees