JP3078972B2 - ディスクアレイ装置 - Google Patents
ディスクアレイ装置Info
- Publication number
- JP3078972B2 JP3078972B2 JP05276317A JP27631793A JP3078972B2 JP 3078972 B2 JP3078972 B2 JP 3078972B2 JP 05276317 A JP05276317 A JP 05276317A JP 27631793 A JP27631793 A JP 27631793A JP 3078972 B2 JP3078972 B2 JP 3078972B2
- Authority
- JP
- Japan
- Prior art keywords
- disk
- data
- disk array
- mirror
- failure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000007726 management method Methods 0.000 claims description 29
- 230000005856 abnormality Effects 0.000 claims description 20
- 238000007689 inspection Methods 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 abstract description 8
- 238000010276 construction Methods 0.000 abstract 2
- 238000012423 maintenance Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 230000003449 preventive effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 238000012546 transfer Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 230000008439 repair process Effects 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2087—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring with a common controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/008—Reliability or availability analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1045—Nested RAID, i.e. implementing a RAID scheme in another RAID scheme
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Description
複数のディスク装置を上位装置からの命令に基づいて並
列的にアクセスするディスクアレイ装置に関し、特にデ
ィスク障害が発生してもデータの復元が瞬時にできるデ
ィスクアレイ装置に関する。近年の計算機システムにお
ける高信頼化の要求に伴い、磁気ディスク装置を用いた
入出力サブシステムでの高信頼化が要求されている。
のディスク装置を並列的に動作させることでデータ及び
冗長情報を格納するようにしたディスクアレイ装置が実
用化されている。ディスクアレイ装置は、障害等により
1台のディスクのデータが失われた場合、代替先として
準備している予備のディスク装置に残りのディスク装置
のデータを用いて失われたデータを修復することがで
き、高い信頼性が得られる。
ディスク装置で異常が発生した場合には、もはやデータ
の修復は不可能であり、この点の改善が望まれる。
して、記録の不揮発性、大容量性、データ転送の高速性
等の特長を持つ磁気ディスク装置、光ディスク装置等の
ディスク装置が広く用いられている。ディスク装置に対
する要求は、高速データ転送、信頼性重視、大容量性、
低価格である。これらの要求を満たすものとして、ディ
スクアレイ装置が注目されてきている。
置を数台から数十台並べ、複数のディスク装置に分散し
てデータを記録して、並列的にアクセスする装置であ
る。ディスクアレイ装置で並列的に複数のディスク装置
にデータ転送を行えば、一台のディスク装置の場合と比
べて、ディスクの台数倍の高速データ転送が可能にな
る。
どの冗長な情報を付け加えて記録しておくことで、ディ
スク装置の故障等を原因とするデータエラーの検出と訂
正が可能となり、ディスク装置の内容を二重化して記録
する方法と同程度の信頼性重視を、二重化より低価格で
実現することができる。従来、カルフォルニア大学バー
クレイ校のデビット・A・パターソン(DavidA. Patter
son) らは、高速に大量のデータを多くのディスクにア
クセスし、ディスク故障時におけるデータの冗長性を実
現するディスクアレイ装置について、レベル1からレベ
ル5までに分類付けを行って評価した論文を発表してい
る(ACMSIGMOD Conferance, Chicago, Illinois, June
1-3, 1988 P109-P116)。
たディスクアレイ装置を分類するレベル1〜5は、RA
ID(Redundant Arrays of Inexpensive Disks )1〜
5と略称される。RAID1〜5を簡単に説明すると次
のようになる。RAID0は、データの冗長性をもたな
いディスクアレイ装置であり、デビット・A・パターソ
ンらの分類には含まれていないが、これを仮にRAID
0と呼ぶ。
として同一データを書込むミラーディスク装置であり、
ディスク装置の利用効率が低いが冗長性をもっており、
簡単な制御で実現できるため、広く普及している。RA
ID2は、データをビットやバイト単位でストライピン
グ(分割)し、それぞれのディスク装置に並列に読み書
きを行う。ストライピングしたデータは全てのディスク
装置で物理的に同じセクタに記録する。
ドを記録するためのディスク装置を持ち、ハミングコー
ドから故障したディスク装置を特定して、データを復元
する。しかし、実用化されていてない。
単位にストライピングしてパリティを計算し、ディスク
装置に対しデータおよびパリティを並列的に書込む。
う場合には有効であるが、少量のデータをランダムにア
クセスするトランザクション処理のような場合には、デ
ータ転送の高速性が生かせず、効率が低下する。
にストライピングして同じディスク装置に書込む。
格納している。データ書込みは、書込み前のデータとパ
リティを読み出してから新パリティを計算して書き込む
ため、1度の書込みについて、合計4回のアクセスが必
要になる。
ク装置へのアクセスが起きるため、複数のディスク装置
の書込みを同時に実行できない。
るが、メリットが少ないため現在のところ実用化の動き
は少ない。 RAID5は、パリティ用のディスク装置を
固定しないことで、並列的なリード、ライトを可能にし
ている。
ィスク装置が異なっている。パリティディスクが重複し
なければ異なるディスク装置にセクタデータを並列的に
書込むことができる。
ィスク装置にアクセスしてリード又はライトを実行でき
るため、少量データをランダムにアクセスするトランザ
クション処理に向いている。
化が進められているRAID3およびRAID5の動作
形態をもつディスクアレイ装置にあっては、例えば1つ
のパリティグループを構成するランクごとに予備用のデ
ィスク装置を準備しておき、1台のディスク装置が故障
した場合には、他の正常なディスク装置のデータを読出
して故障ディスク装置のデータを予備用ディスク装置に
修復するようにしている。
われても復元できるため、極めて高い信頼性が得られ
る。
で故障が発生してデータが失われた場合には、残りの正
常なディスク装置から失われたデータを修復することは
できず、システムダウンとなってしまう問題があった。
てなされたもので、並列動作しているディスク装置の複
数が同時に故障してもデータを喪失することなく瞬時に
処理要求に対処できるディスクアレイ装置を提供するこ
とを目的とする。
エラー状態を監視して障害発生の可能性が高くなった場
合には事前に障害対処状態に切替えて障害発生を未然に
防止するようにしたディスクアレイ装置を提供する。
図である。 本発明は、同一データを格納する2台のディ
スク装置36を備えたミラーディスク手段36を並列ア
クセス可能に複数配置したディスクアレイ手段18と、
上位装置10からの書込データをストライピングした後
にディスクアレイ手段18に並列書込みすると共に、デ
ィスクアレイ手段18からの並列読出データを合成して
前記上位装置10に転送する制御手段20とで構成され
る。
複数のディスク装置の状態を管理するデバイス管理テー
ブル手段62を設け、制御手段20は、上位装置10か
らのアクセス要求時にデバイス管理テーブル手段62を
参照してディスクアレイ手段18に対する処理を実行す
る。 具体的には、デバイス管理テーブル手段62にミラ
ーディスク手段36に設けたディスク装置の一方を現用
とし、他方を予備用とする情報を登録する。
ス時にデバイス管理テーブル手段62の参照でミラーデ
ィスク手段36の現用側のディスク装置からデータを読
出し、ライトアクセス時には現用および予備用の両方の
ディスク装置にデータを書込む。 ミラーディスク手段3
6に対する切替は、ディスクアレイ手段18の切替制御
手段40が行う。切替制御手段40は、制御手段20か
らのリード動作の指示に対しミラーディスク手段36の
現用側のディスク装置に切換えてデータを読出し、ライ
ト動作の指示に対しては現用および予備用の両方のディ
スク装置にデータを書込むように切替える。
としたディスクアレイ手段18は、コストが増加し、ま
た設置スペースも増加する。この点を解決するため、次
のような実装構造をとる。 まずディスクアレイ手段18
は、着脱自在な少くとも2台のディスクモジュール50
を内蔵したディスクユニット46と、ディスクユニット
46の収納部を複数備え、予め定めたアレイ構成に従っ
て複数台の前記ディスクユニット46を実装した装置筐
体44とで構成する。
媒体サイズの異なる単一のディスクモジュールを内蔵し
た他のディスクユニットの収納を予定したディスクアレ
イ筐体に、本発明のディスクモジュールを実装してミラ
ーディスク手段36を構成要素とするディスクアレイを
簡単に実現できる。 またアレイ構成要素のミラード化に
伴い、ディスク装置の障害を可能な限り速かに知って対
応することが信頼性を更に高めるために必要となる。
手段12に対するアクセスの実行に対しチェック回路手
段74において異常が発生したか否かを判定するアクセ
ス判定手段64と、アクセス判定手段64で判定した異
常の回数を計数する異常回数数計数手段66と、異常回
数計数手段66の異常回数が所定の閾値以上となったと
きにデバイス障害を判定し、デバイス管理テーブル手段
62に障害情報を登録する障害判定手段72を設ける。
状態)で、ディスクアレイ手段18に対し擬似的なアク
セス動作、すなわちシミュレーションを実行して各ディ
スク装置の状態を検査するデバイス検査手段70を設け
る。
ク手段で構成すると同時に冗長情報も格納し、ミラード
化と冗長化を複合した信頼性をさらに向上する。すなわ
ち、同一データを格納する2台のディスク装置36を備
えたミラーディスク手段36を並列アクセス可能に複数
配置したディスクアレイ手段18と、上位装置10から
の書込データをストライピングしてパリティデータと共
にディスクアレイ手段36に並列に書込み、ディスクア
レイ手段36からの並列読出データを合成して前記上位
装置10に転送する制御手段20とで構成する。
ク装置を備えたディクスアレイとして機能するが、その
中の1台に障害発生の可能性ありと予測的に判定された
場合に、予備のディスク装置とのミラード化を動的に行
い、実際のディスク故障時に予備側への切替が瞬時にで
きるようする。このため、複数のディスク装置32を並
列アクセス可能に配置したディスクアレイ手段18と、
ディスクアレイ手段18の同一ランクに属する少なくと
も1台のディスク装置を予備用に割当ると共に他の複数
ディスク装置をデータ格納用に割当て、上位装置10か
らの書込データをストライピングしデータ格納用ディス
ク装置に並列的に書込み、前記データ格納用ディスク装
置からの並列読出データを合成して上位装置10に転送
する制御手段20を設ける。
ータ格納用ディスク装置の異常回数を異常回数係数手段
66で計数し、この計数結果が通常の障害半手用いる閾
値より低い所定の閾値を越えたときに、近い将来、障害
がは発生することを予測的に判定する障害判定手段72
を設け、障害判定手段72で障害を予測判定した時に、
構成制御手段により予備用ディスク装置を選択してミラ
ード化する。
達する前の状態でプリアラーム的に障害を予測判定し、
この段階で構成制御手段は、障害判定ディスク装置の格
納データを複写し、複写後に障害判定ディスク装置と予
備用ディスク装置でミラーディスク手段36を構成し、
制御手段20に両方のディスク装置への同時データの書
込といずれか一方のディスク装置からのデータ読出をセ
ットする。
装置を現用にセットして制御手段20によるデータ読出
しを行わせる。また障害判定手段72は、障害判定ディ
スク装置の修理交換を促すため、障害の予測的な判定が
行われたことを外部に出力表示させる手段を備える。
ば、ディスクアレイ装置の各構成要素を2台のディスク
装置を1組として同一データを格納するミラーディスク
構成とすることで、冗長情報を必要とすることなく、い
ずれかのディスク装置の故障によるデータ喪失に対し瞬
時に対応することができ、きわめて高い信頼性を確保す
ることができる。
スクモジュールを着脱自在に実装可能としたことで、通
常は1台のディスクモジュールの実装によるアレイ構成
であっても、残り1台を追加実装することで、ミラーデ
ィスク構成に簡単に変更できる。更に、3.5インチ・
ディスクモジュールを2台実装可能なディスクユニット
を、既存の5インチ・ディスクモジュールを1台備えた
ディスクユニットと同一ユニットとしておくことで、5
インチ・ディスクユニットを用いたディスクアレイを、
3.5インチ・ディスクモジュールを2台備えたディス
ユニットに交換することで、簡単にミラード化された本
発明のディスクアレイ装置を構築できる。
を予備用に割当て、通常は、データ書込は現用と予備用
の両方に対し行い、データ読出しは現用から行っている
が、統計的に求めたシークエラー、リードエラー、ライ
トエラーなどの異常発生の計数値を監視し、現用のディ
スク装置のエラー回数が所定の閾値を越えた場合には、
故障の可能性が高いと判定し、故障が発生する以前に、
現用と予備用との割当てを切替える。
た場合にも、既に予備用への割当て切替えが済んでいる
ため、予備用ディスク装置の故障となり、特にリードア
クセスに対する処理を全く中断することなく、障害に対
処できる。また障害判定結果を予防保守情報として上位
装置で常に参照可能に保持しているため、上位装置側で
ディスクアレイの障害状況が出力表示でき、オペレータ
又は保守要員が迅速且つ適切に障害判定ディスク装置に
対する保守作業を行うことができる。
のアクセスがない空き状態を利用して制御装置側が書込
シミュレーションによる検査処理を実行し、積極的にデ
ィスク装置の状態を検査し、速かに故障の可能性のある
ディスク装置を認識して対応することができる。このよ
うなミラード化されたディスクアレイ装置の信頼性をさ
らに向上するためには、ミラード化されたデイスクアレ
イに対し冗長情報としてパリティをミラード化して格納
するRAID3あいはRAID5の動作形態を取ればよ
い。
り、障害と判定される少し前にミラーディスク構成に切
替えるダイナミックなミラード構成とする。このため同
一ランクに少なくとも予備用のディスク装置を1台割当
てておき、通常は、予備以外のディスク装置の並列アク
セスを行う。運用中にいずれかのディスク装置のエラー
回数が、予め定めた通常の障害判定より低めの閾値を越
え、近い将来、障害と判定される状況に至ったら、予備
用ディスク装置を選択し、障害判定対象となったディス
ク装置のデータを複写する。
は、通常の障害判定より早い段階で行われるため、ディ
スク装置の障害で複写不能となってしまう事態を極力回
避できる。このプリアラーム的な障害判定は、通常の障
害判定の閾値の半分というように、かなり早い段階で行
うことが望ましい。この予備ディスク装置へのデータ複
写は、アイドル状態で行えばよい。予備へのデータ複写
が済んだならば、障害判定ディスク装置と予備用ディス
ク装置でミラーディスクを構成し、以後、同一データの
書込みを行う。またデータの読出しは、予備用ディスク
装置を現用に割当てて行う。
ド化により、必要最小限のディスク装置で、実質的なミ
ラーディスク構成のディスクアレイを実現できる。
れる計算機の入出力サブシステムのハードウェア構成を
示す。図2において、上位装置としてのホストコンピュ
ータ10にはチャネル装置14が設けられ、チャネル装
置14に対しチャネルインタフェースバス16を介して
コントローラ12を接続している。
は、BMCインタフェース(ブロック・マルチプレクサ
・チャネルインタフェース)やSCSIを使用すること
ができる。コントローラ12には入出力デバイスとして
ディスクアレイ18が接続されている。
す横方向に並んだポートP0〜P3と、横方向のP0〜
P3の並びを縦方向に多段構成したランクR0〜R3の
構成をもち、ポートP0〜P3とランクR0〜R3で定
まる位置にディスクアレイの構成要素として、本発明に
あっては、ミラーディスク装置36−1〜36−34を
配置している。
は例えばポート番号P0、ランク番号R0のミラーディ
スク装置36−1を例にとると、2台のディスク装置3
2−1,32−2を接続しており、それぞれをコントロ
ーラ12側に設けたミラード制御部30−1からのデバ
イスバスに接続している。このようなミラーディスク装
置36−1の構成は他のミラーディスク装置36−2〜
36−34についても同じである。
ラ12により同一データの書込みを受ける。従って、デ
ィスク装置32−1,32−2には常に同一データが格
納されている。一方、データ読出しはいずれか一方のデ
ィスク装置32−1,32−2から行えばよい。本発明
にあっては、コントローラ12において予めミラーディ
スク装置36−1の左側のディスク装置32−1を現用
に割り当て、右側のディスク装置32−2を予備用に割
り当てている。
用のディスク装置32−1,32−2に対し行われる
が、データ読出しは現用のディスク装置32−1のみか
ら行われることになる。コントローラ12にはMPU2
0が設けられ、MPU20の内部バス34にチャネルイ
ンタフェース制御部22,制御記憶部24,データバッ
ファ26およびデバイスインタフェース制御部28を接
続している。
に、プログラム制御に従ってディスクアレイ18のミラ
ーディスク装置群を対象としたホストコンピュータ10
からの要求に基づく処理動作を実行する。尚、この実施
例において、ディスクアレイ18側は4つのポートP0
〜P3についてディスク装置を実装した場合を示してお
り、ミラード制御部30−5についてディスク装置は空
き状態となっている。
ラード制御部30−1の詳細をディスクアレイ側と共に
示した実施例構成図である。図3において、コントロー
ラ12側に設けたミラード制御部30−1には切替制御
部38,ディスク制御部40−1,40−2が設けられ
ている。ディスク制御部40−1,40−2のそれぞれ
からはデバイスインタフェースバス42−1,42−2
が引き出され、この実施例にあっては2台でミラーディ
スク装置36−1〜36−31を構成する磁気ディスク
装置をランクごとに2台ずつ接続している。
したミラーディスク装置の動作モードの割当て、即ち現
用割当てと予備用割当てに従った切替処理を行う。ここ
で例えばディスク制御部40−1側を現用、ディスク制
御部40−2側を予備用に割り当てていたとすると、M
PU20からのライト動作の指示に対してはライト動作
命令をディスク制御部40−1,40−2の両方に供給
する。
る例えばランクR0のミラーディスク装置36−1にお
けるディスク装置32−1,32−2に対する書込動作
を行わせる。一方、MPU20側から読出動作を指示さ
れた場合には現用となるディスク制御部40−1側のみ
に切り替え、同時に、指定されたデバイスIDに対応す
る例えばミラーディスク装置36−1の現用側のディス
ク装置32−1からの読出動作を行う。
−1の構成は図2に示した残りのミラード制御部30−
2〜30−5についても同様である。図4は本発明に用
いるディスクアレイの筐体構造の実施例を示した実施例
構成図である。図4において、ディスクアレイ筐体44
は、この実施例にあっては5段2列の収納部を形成して
おり、各収納部に図示のように10台のディスクユニッ
ト46−1〜46−10を実装している。
自在な扉45には内蔵した2列5段構成のディスクユニ
ット46−1〜46−10に対応して5箇所に通風口が
設けられており、通風口の内側に図示のようにフィルタ
48−1〜48−5を装着している。図4のディスクア
レイ筐体44は10台のディスクユニット46−1〜4
6−10を全て実装した最大構成状態を示しているが、
必要に応じた台数のディスクユニットを実装することが
できる。
装したディスクユニット46−1を取り出して示す。図
5において、ディスクユニット46−1内には、この実
施例にあっては2台の3.5インチ・ディスクモジュー
ル50−1,50−2が実装されている。即ち、ディス
クユニット46−1のケース内の中央にはモジュール実
装基板54が装着されており、ケース背後が開口してい
る。
ール回路基板52−1,52−2のそれぞれに組み付け
られたディスクモジュール50−1,50−2を差し込
んでコネクタにより接続することで、動作可能状態に組
み込むことができる。またモジュール実装基板54の右
側には電源ユニット56と冷却ファン装置58が組み込
まれている。
インチ・ディスクモジュール50−1,50−2の2台
を実装しているが、このユニット形状は例えば1つ媒体
サイズが上の5インチ・ディスクモジュールを1台内蔵
したディスクユニットと同一形態および構造としてい
る。また容量的にも3.5インチ・ディスクモジュール
50−1,50−2のそれぞれは同じユニットサイズの
5インチ・ディスクユニットと同じ容量を有する。
ル50−1,50−2のいずれか一方の1台のみの実装
状態で従来の5インチ・ディスクユニットを用いたディ
スクアレイ筐体に実装すれば、そのまま3.5インチ・
ディスクユニットを用いたディスクアレイを実現でき
る。一方、図5に示すように、2台の3.5インチ・デ
ィスクモジュール50−1,50−2を実装した状態で
従来の5インチ・ディスクユニットに置き換えれば、従
来の5インチ・ディスクユニットを3.5インチ・ディ
スクモジュール2台を実装したディスクミラー装置に簡
単に変更することができる。
の実装数とユニット数を適宜に決めることで、入出力サ
ブシステムの性能に見合ったディスクミラー装置を構成
要素とする場合を含む適宜のディスクアレイ構成を実現
することができる。図6は本発明の処理機能を示した実
施例構成図である。図6において、コントローラ12に
設けられたMPU20のプログラム制御およひファーム
ウェアによって、ディスクアレイ制御部60,デバイス
管理テーブル62,アクセス制御部64、異常回数計数
部66,予防保守情報格納部68,障害判定部72、デ
ータ転送制御部75およびチェック回路部74としての
機能が実現される。
イ18としては、説明を簡単にするため、1ランク分の
ミラーディスク36−1〜36−4のみを示している。
まずディスクアレイ18はデバイス管理テーブル62に
基づいて各種の動作を行い、デバイス管理テーブル62
は例えば図7に示す構成をもつ。図7において、デバイ
ス管理テーブル62はミラードID,デバイスID,ラ
ンク番号およびポート番号の4つのパラメータによって
ディスク装置を特定することができる。
ると、ミラーディスク装置36−1〜36−4に予め割
り当てられた識別番号であり、この例では00,01,
02,03で表わしている。またデバイスIDはディス
クアレイ18におけるデバイス物理番号であり、例えば
ランクR0の8台のディスク装置を例にとると、物理デ
バイスID「00」〜「07」で表わしている。更にラ
ンク番号はディスクアレイ18のランク位置R0〜R3
を示すもので、例えばランク番号R0については「0
0」で示している。
けるミラーディスク単位のポート番号であり、例えばR
0を例にとると、ポート番号「00」〜「03」で表わ
している。このポート番号に続いて、ディスクアレイ1
8に設けたディスク装置の状態を示す現用フラグ,予備
用フラグ,異常回数および故障フラグの各情報が登録さ
れている。
によるシステム立上げ時に初期化され、図7のようにミ
ラードIDで指定されるミラーディスク装置の先のデバ
イスIDに現用フラグ1がセットされ、次のデバイスI
Dに予備用フラグ1がセットされている。また異常回数
は立上げ時には0にリセットされ、同様に故障フラグも
立上げ時には0にリセットされている。
6の計数結果を格納している。すなわちコントローラ1
2に設けたアクセス判定部64は、ディスクアレイ制御
部60でディスクアレイ部18に対しリード動作又はラ
イト動作を実行した際のチェック回路部74によるチェ
ックにおいてシークエラー,リードエラー,ライトエラ
ーなどエラーが発生したか否かを判定している。アクセ
ス範囲部64でエラーが判定されると、異常回数計数部
66の計数値が1つカウントアップされ、カウントアッ
プした値をデバイス管理テーブル62上の異常回数とし
て更新する。
計数部66で計数するごとに、予め定めた障害判定の閾
値と比較しており、異常回数が障害判定の閾値に達する
と、障害発生と判定し、デバイス管理テーブル62の故
障フラグを1にセットする。図8はミラードID=00
をもつミラーディスク装置36−1の現用のディスク装
置32−1の異常回数が10回となり、閾値に達して障
害ディスクと判定することで故障フラグが1にセットさ
れた状態を示している。
情報格納部68が設けられている。この予防保守情報格
納部68にはアクセス判定部64でエラー判定が行われ
るごと、エラー発生デバイスを示すデバイスIDとエラ
ー種別が予防保守情報として格納される。予防保守情報
格納部68に格納された予防保守情報は、障害範囲部7
2による障害判定の通知以前に、ホストコンピュータ1
0側から常に参照することができる。
ローラ12に対し任意の入出力要求が行われたときのス
テータス情報の中に予防保守情報を含めて送り返すこと
で、ホストコンピュータ10側で予防保守情報の存在を
認識し、ディスプレイやプリンタに取得した予防保守情
報を出力表示する。このため、オペレータや保守要員は
コントローラ12側でディスク装置のエラー発生の状況
をリアルタイムで把握できる。
部70が設けられている。デバイス検査部70はホスト
コンピュータ10からのアクセスのない空き状態、即ち
コントローラ12のアイドル状態で起動し、ディスクア
レイ18に対しダミーデータを用いた書込動作のシミュ
レーションを実行する。このため、ディスクアレイ18
の各ディスク装置には予めデバイス検査部70によるダ
ミーデータの書込みのシミュレーションに使用される、
通常CE領域として知られた固有の検査領域が確保され
ている。
シミュレーションについても、アクセス判定部64がエ
ラー判定を行っており、エラーが検出されると異常回数
計数部66の計数値を1つカウントアップする。また異
常回数計数部66の計数値が所定の閾値に達すると障害
判定部72が障害を判定し、ホストコンピュータ10の
要求処理時と同様、デバイス管理テーブル62に対する
故障フラグのセットを行う。勿論、アクセス判定部64
でデバイス検査部70により擬似的なアクセス動作でエ
ラーが判定されると、保守情報格納部68に対しホスト
コンピュータ10から参照可能な予防保守情報の格納が
その都度行われる。
部60による制御のもとに、ホストコンピュータ10か
らのアクセス要求に従ったディスクアレイ18とホスト
コンピュータ10との間のデータ転送を行う。次にディ
スクアレイ制御部60によるミラーディスク装置を構成
要素としたディスクアレイ18に対する処理動作を説明
する。
制御部60で行われる書込データのストライピングと、
ディスクアレイ18側のデータ格納状態を示している。
図9において、ホストコンピュータ10がアクセスする
データ単位を論理ブロック(ホストブロック)76で示
しており、例えばディスク装置の1セクタを512バイ
トとすると、論理ブロック76は2セクタ即ち1,02
4バイトのサイズをもつ。
書込データとしての論理ブロック74を受けると、ディ
スクアレイ18の並列アクセス数の整数倍で割った数の
ストライプデータ78に分割する。この例では並列デバ
イス数4の4倍となる16分割した場合を示している。
このため、1,024バイトの論理ブロック74を16
分割すると1つのストライプデータのサイズは64バイ
トとなる。
トライプデータ76をストライプデータL00〜L15
で示している。論理ブロック74のストライピングが済
むと、ストライプデータ78を並列デバイス数単位に取
り出してミラーディスク装置36−1〜36−4に対し
並列的に書き込む。この並列書込みを4回繰り返すこと
で、1論理ブロック分のデータをミラーディスク装置3
6−1〜36−4に格納することができる。
−4の中の1台のディスク装置について見ると、64バ
イトのデータが4つ置きに分散して2セクタ分格納され
た状態となる。このようなデータストライピングおよび
データの格納はRAID3の動作モードと基本的に同じ
であり、パリティデータを計算して格納していない点だ
けが相違する。
4にあっては、それぞれ現用と予備用の2台のディスク
装置で構成されており、それぞれに同じデータを格納し
ていることが明らかである。図10は図6に示したコン
トローラ12による本発明のディスクアレイ装置の処理
動作を示したフローチャートである。
てシステムを立ち上げると、ステップS1でデバイス管
理テーブル62の初期化が例えば図7に示したように行
われる。続いてステップS2でホストコンピュータ10
からのアクセス要求の有無をチェックしており、アクセ
ス要求のないアイドル状態ではステップS15のデバイ
ス検査処理を行っている。アクセス要求があるとステッ
プS3で指定されたデバイスIDとなるミラーディスク
装置に対しセットアップ処理を行う。
要求に対し、指定されたミラーディスク装置の各ディス
ク装置からは正常応答または異常応答を返す。ミラーデ
ィスク装置を構成する2台のディスク装置が共に正常で
あればステップS4でデバイスエラーなしとしてステッ
プS5に進み、アクセス要求がリード要求かライト要求
かを判別する。
み、ミラーディスク装置の現用側からのリード処理を実
行する。一方、ライト要求であればステップS7に進
み、現用および予備用のディスク装置に同一データを書
き込むライト処理を実行する。ステップS8にあって
は、ステップS6のリード処理またはステップS7のラ
イト処理が正常終了したか否かチェックしており、正常
終了であればステップS9でリード処理またはライト処
理においてリトライで回復したシークエラー,ライトエ
ラー,リードエラーのいずれかがあるかを判定する。
2に戻って、次のホストコンピュータ10からのアクセ
ス要求を待つ。ステップS9でリード処理中またはライ
ト処理中にリトライで回復したシークエラー,リードエ
ラーまたはライトエラーがあった場合にはステップS1
0に進み、異常回数計数部66でエラー回数を1つカウ
ントアップする。
を所定の閾値と比較する。閾値に達していなければステ
ップS16で、このときのエラーに関する予防保守情報
を予防保守情報格納部66にセットしてステップS2に
戻る。もしエラー回数が閾値に達していた場合にはステ
ップS12に進んで、近い将来、ハードウェアエラーな
どの故障により動作不能となことから、デバイス障害を
判定してデバイス管理テーブル62上に故障フラグをセ
ットする。
ィスク装置32−1に示すように、異常回数が10回と
なって閾値に達すると故障フラグ1のセットが行われ
る。このように故障フラグのセットが行われると、次の
ステップS13でもし故障フラグのセットが現用のディ
スク装置に対し行われていた場合には、ステップS1の
初期化処理で割り当てた現用フラグの予備用フラグへの
代替を行う。
号00のディスク装置32−1は現用フラグが1にセッ
トされて最初、現用となっていたものが、図8に示す故
障フラグ1のセットで現用フラグを0にリセットし、そ
れまで予備用として予備用フラグが割り当てられていた
デバイスID番号01のディスク装置32−1の予備用
フラグを0にリセットして現用フラグを1にセットす
る。
たそれまでの現用ディスク装置36−1について、現用
フラグを0にリセットすると同時に予備用フラグも0に
リセットしているが、並行してライト動作を継続したい
場合には予備用フラグを1にセットすればよい。このよ
うなデバイス管理テーブル62における現用フラグと予
備用フラグの入替えに対し、その後の処理においてディ
スクアレイ制御装置60は現用フラグが1にセットされ
た側を現用、予備用フラグが1にセットされた側を予備
用としてライト処理またはリード処理を実行するように
なる。
での現用のディスク装置はリード処理の対象から除外さ
れ、新たに現用となった予備用のディスク装置からのリ
ード処理に切り替わる。またライト処理については現用
および予備用の如何に関わらず、同時にデータ書込みが
行われる。しかし、図8に示すように予備用フラグも0
にしていた場合には、それまでの予備用で現用に切り替
わったディスク装置に対してのみデータ書込みが行われ
る。
で現用から予備用への代替が済むと、ステップS14で
ホストコンピュータ10に障害は発生を通知し、障害と
判定されたディクス装置の修理交換をオペレータや保守
要員に促す。一方、ステップS3のセットアップ処理に
対し、デバイスIDで指定されたディスク装置がハード
ウェア故障を起こし、全く動作できずにデバイスエラー
を判定した場合には、直ちにステップS12に進み、ス
テップS16の予防保守情報のセットで、ハードウェア
エラーがホストコンピュータ10側から参照できるよう
にする。この場合、もし現用のディスク装置の障害であ
れば、予備用への割当ての代替を行い、更にステップS
16で予防保守情報を格納してホストコンピュータ10
側でデバイスエラーを参照可能とする。
11のエラー回数の判定に基づく障害判定とは異なり、
回復不可能な故障であることから、予防保守情報にディ
スク装置の機能停止である旨の識別表示をつけ、ソフト
エラーによる予防保守情報と区別できるようにする。図
11のフローチャートは図6のステップS15に示した
コントローラ12のデバイス検査部70によるデバイス
検査処理を示す。
トローラ12がアイドル状態か否かチェックしており、
アイドル状態にあるとステップS2以降の処理を行う。
ステップS2にあっては、所定の順番に従った指定ラン
クの現用および予備用のディスク装置に設けられた保守
用のデータ領域に対し、ダミーデータの書込みを検査シ
ミュレーションとして実行する。
クエラー,ライトエラーなどのエラーが発生すると、ス
テップS3でエラーありを判定し、ステップS4で異常
回数計数部66を使用して、それまでのエラー回数を1
つカウントアップする。続いてステップS5でエラー回
数を所定の閾値と比較し、閾値に達していなければ、ス
テップS10で予防保守情報をセットしてステップS1
に戻る。エラー回数が閾値に達していればステップS6
で故障フラグをデバイス管理テーブル62にセットす
る。
て、現用のディスク装置については予備用のディスク装
置への代替を行うためのフラグ割当ての入替えを行う。
続いてステップS8でホストコンピュータ10に対し障
害発生通知を行う。以上の処理を終了するとステップS
9で次のランクを指定し、再びステップS1のアイドル
状態のチェックに戻る。
ンシステムにあっては、処理負荷の少ない夜間などの時
間帯においても、自動的にミラーディスク装置を構成す
るディスクアレイのディスク装置に対する書込シミュレ
ーションが一定の検査周期ごとに実行され、常にディス
ク装置の状態を監視し、可能な限り早めに、故障する可
能性のあるディスク装置を予測判定することができる。
判定あるいはデバイス故障判定に基づく予防保守情報や
障害情報の出力表示で、保守要員が障害対象となったデ
ィスク装置をディスクアレイ筐体から外して修理し、正
常なディスク装置を筐体に実装した後に行う復旧処理の
フローチャートを示す。図12において、まずステップ
S1で正常なディスク装置の筐体への組込み完了に伴う
保守要員のホストコンピュータからのコマンドあるいは
保守パネルからのスイッチ操作による復旧指示の有無を
チェックしている。
み、コントローラ12がアイドル状態か否かチェックす
る。アイドル状態にあるとステップS3に進み、復旧に
よりミラーディスク装置の一方のディスク装置として組
み込まれた復旧側ディスク装置に対し、現用のディスク
装置のデータを複写する処理を開始する。
ードか否かチェックしている。即ち、ミラーディスク装
置における2台のディスク装置に対する現用と予備の割
当てを固定的に定めていた場合には、データの複写が完
了した時点でデバイス管理テーブル62の現用フラグお
よび予備用フラグをシステム立上り時の初期化時と同じ
状態に初期化する。
ていた場合には、ステップS5におけるデバイス管理テ
ーブル62の初期化は行わず、現在、機能しているディ
スク装置を現用のまま維持し、復旧により組み込んだデ
ィスク装置を予備用とする。更にステップS6におい
て、予防保守情報のクリア、およびデバイス管理テーブ
ルの故障フラグおよび異常回数のクリアを行う。
レイを使用してデータの並列アクセスと同時に冗長情報
としてパリティを同時に格納するようにしたことを特徴
とする。即ち、ディスクアレイのミラード化により信頼
性は極めて向上するが、更にミラード化に冗長情報の格
納を加えることで極めて高い信頼性を実現することがで
きる。
スクの構成は図2の実施例と同じであるが、パリティ格
納用にミラード制御部30−5よりのポートP4にミラ
ーディスク装置36−5〜36−35を4ユニット設け
ている。図14は図13のパリティ格納を行うミラーデ
ィスク構成のディスクアレイにおけるRAID3の動作
モードにおける処理動作を示す。
76のストライピングは、図9に示したパリティを格納
しない場合と同じであるが、新たに設けたパリティ用の
ミラーディスク装置36−5に対し並列デバイス数4単
位の4つのストライピングデータ78、例えばストライ
ピングデータL00〜L03からパリティP00を計算
して、ミラーディスク装置36−5の現用および予備用
のディスク装置に同時に格納するようにしている。
の動作形態とした場合には、ミラーディスク装置36−
1〜36−5のいずれかを構成する現用と予備の2台の
ディスク装置が同時に故障してデータが失われた場合に
も、残りの正常なミラーディスク装置のデータから失わ
れたデータを復元することができる。図15は図13に
ついてRAID5の動作形態によるデータのストライピ
ングとデータの格納状態を示す。
ディスク装置の例えば1セクタ(512バイト)のサイ
ズであり、この場合には論理ブロックL0〜L5の6つ
が書込データとして提供された状態を示している。この
ような書込データにつき、論理デバイス数4に対応した
4つの論理ブロック例えば論理ブロックL0〜L3をス
トライピングし、各論理ブロックL0〜L3のそれぞれ
をミラーディスク36−1〜36−4に並列的に格納す
る。
ィP0を計算し、このセクタについてはミラーディスク
装置36−5に格納する。RAID5にあっては、セク
タごとにパリティの格納位置がP0,P1,P2,P
3,P4に示すように順次変化するようになる。このR
AID5のミラーディスクを構成要素としたディスクア
レイの動作形態にあっても、1つのミラーディスクを構
成する現用と予備の2台のディスク装置が同時に故障し
ても、他の正常なミラーディスク装置からデータを修復
することができる。
うミラーディスク装置によるディスクアレイの構成につ
いて、各ミラーディスク装置の予備側のディスク装置を
取り外して通常のRAID構成のディスクアレイ装置と
した場合を示している。ここで本発明にあっては、図5
に示した2台の3.5インチ・ディスクモジュール50
−1,50−2を実装したディスクユニット46−1の
ディスクアレイ筐体に対する組込みでミラーディスク装
置を構成要素としたディスクアレイを構成している。
る1台のディスクモジュールを外すことで簡単に通常の
RAID構成の実装状態を実現できる。逆に図16の通
常のRAID構成について、ディスクモジュールを追加
することで図2あるいは図13に示したミラーディスク
構成のディスクアレイを簡単に実現できる。
する本発明のディスクアレイ装置の他の実施例を示した
実施例構成図であり、この実施例にあってはコントロー
ラ12からの独立したポートに接続しているディスク装
置を組み合わせてミラーディスク装置として動作するよ
うにしたことを特徴とする。即ち、図2の実施例にあっ
ては、コントローラ12はデバイスインタフェース制御
部28に対しミラード制御部30−1〜30−5を設
け、ミラード制御部については図3に示すように、切替
制御部38によって切り換えることでミラーディスク装
置としての機能を実現している。
ントローラ12のデバイスインタフェース制御部28に
対し個別にディスク制御部40−1〜40−8を設けて
独立にディスクアレイ18のポートP0〜P7を構成
し、各ポートに4ランク分のディスク装置32−1〜3
2−38を接続している。このようなディスクアレイ1
8の独立したポートP0〜P7に対し、図7に示したよ
うなデバイス管理テーブル62におけるミラードID番
号,デバイスID番号の割当てを行うことで、結果とし
てミラーディスク装置36−1〜36−34をディスク
アレイ18に割り付けることができる。
ィスクアレイ18のミラーディスク装置に対するデータ
ストライピングとデータ格納状態を示している。図18
において、コントローラ12はディスクアレイ18がミ
ラーディスク構成か否かは特に意識しておらず、論理ブ
ロック76からストライピングしたデータをデバイスI
Dで指定されるディスク装置に転送するに過ぎない。
ングについて、この場合には論理ブロック76を例えば
16分割してストライピングデータL00〜L15を得
る。同時に、同じデータL00〜L15を生成し、図示
のようにL00〜L15を2つずつ並べたダブルストラ
イプデータ80を生成する。このダブルストライプデー
タ80の生成に対し、ミラーディスク装置を意識せずに
並列デバイス数8台分のダブルストライプデータ例えば
L00,L00,・・・L03,L03を取り出して並
列的に書き込むことで、結果的にミラーディスク装置と
同じデータ格納状態を実現することができる。
ディスク装置固有の切替制御機構をもたなくとも、通常
のRAID構成のコントローラのポート数を増加させる
だけで簡単にミラーディスク装置を構成要素としたディ
スクアレイ装置が実現できる。図19は本発明のディス
クアレイ装置の他の実施例を示したもので、ディスク装
置の障害予測判定時に動的にミラーディスク装置を構成
するようにしたことを特徴とする。
ク装置としたディスクアレイ装置の最大の欠点は、ディ
スクアレイに使用するディスク装置が通常の2倍に増加
し、コストアップになってしまう点である。しかしなが
ら、磁気ディスク装置の小型化と低価格化に伴い、この
問題は必ずしも妨げとはなっていないが、ディスクアレ
イに使用するディスク装置の台数を少なくすることは依
然として望まれる。
12に設けたディスク制御部40−1〜40−5に対応
してディスクアレイ18にポートP0〜P4を設け、4
段のランク構成を例にとっている。ディスクアレイ18
のポートP0〜P3はデータ格納用であり、各ランクご
とに単一のディスク装置を接続している。
スク装置32−5,32−10,32−15,32−2
0を接続している。通常はディスクアレイ18のランク
ごとにポートP0〜P3を対象に並列的なデータ読み書
きを行っている。この状態でいずれかのディスク装置の
エラー回数が閾値に達して障害が判定されると、同一ラ
ンクに存在する予備用ディスク装置の使用によるミラー
ディスク装置の構成制御が実行される。ここで予備ディ
スク装置の使用によるミラーディスク装置の構成制御に
は、現用から予備へのデータ複写が必要であり、現用に
ついて通常の障害判定が行われた場合には、データ複写
ができないことから、障害判定に使用するエラー回数の
閾値を低めに設定し、早い段階で障害を予測的に判定し
てミラーディスク装置への構成制御を行う。この構成制
御を開始するための閾値としては、例えば通常のエラー
回数の障害判定に用いる閾値の半分程度の値でよい。例
えば通常、10回で障害を判定していたならば、この場
合は5回の閾値で早めに障害を判定する。
害と判定されたディスク装置は予備用ディスク装置との
組合せでミラーディスク装置として、以後、動作するこ
ととなり、その後に通常の閾値による障害判定となった
場合、直ちにミラーディスク装置の一方である予備用の
ディスク装置による正常なデータアクセスに切り替える
ことが瞬時にできる。
ミラーディスクへの構成制御を示したフローチャートで
ある。図6に示した障害判定部64あるいはデバイス検
査部70により適宜のディスク装置で障害予測判定が行
われると、図20の処理が開始される。まずステップS
1で障害対象として判定されたディスク装置と同一ラン
クの予備用ディスク装置を選択し、ステップS2でコン
トローラ12がアイドル状態か否かチェックする。
判定ディスク装置のデータを、選択された予備用ディス
ク装置に複写する処理を開始する。複写中にホストコン
ピュータ10からリード要求又はライト要求があった場
合は、複写処理を一旦中止し、リード又はライト動作を
優先的に実行する。またその後の複写処理の再開は、一
定時間を越えてアクセス要求がなかったときに再開す
る。これはディスクキャッシュにおけるキャッシュ書込
後の空き時間を使用してディスク装置への書込みを行う
ライトバック処理に類似する。
るデータの複写が終了すると、ステップS5で障害判定
されたディスク装置とデータ複写が済んだ予備用ディス
ク装置を1つのミラーディスク装置とするデバイス管理
テーブル62に対するセッティングが行われ、通常処理
に復旧する。従って、この動的なミラーディスク構成制
御が行われた以降については、予測障害が判定されたデ
ィスク装置と予備用ディスク装置で構成されるミラーデ
ィスク装置をディスクアレイの構成要素の1つに含んだ
処理動作が行われる。
にハードウェアエラーで故障が起きても、ミラード化さ
れた予備用ディスク装置による切替えで直ちに上位装置
からの要求に対応することができる。また、予測障害の
判定結果は予防保守情報としてホストコンピュータ10
側で見ることができるため、予測障害の判定対象となっ
たディスク装置の修理交換を速やかに行うことができ
る。
装置によるミラーディスク装置の構成制御が完了してい
ると、特別なディスク装置の代替などを行うことなく予
測障害の対象となったディスク装置を取り外して修理交
換することができる。尚、図19の実施例にあっては、
同一ランクに予備のディスク装置を1台設けた場合を例
にとっているが、予備のディスク装置を2台とすれば同
一ランクの2台のディスク装置の同時故障に対し瞬時に
要求データの対応状態に切り替えることができる。
常のRAIDの形態で動作するディスクアレイに設けて
いる予備ディスク装置の場合と同等なディスク台数で、
実質的にディスクアレイの構成要素をミラーディスク装
置としたと同じ極めて高い信頼性のディスクアレイ装置
を実現することができる。また上記の実施例は4ポー
ト,4ランクのミラーディスク装置を構成要素としたデ
ィスクアレイを例にとるものであったが、ポート数およ
びランク数は必要に応じて適宜に定めることができる。
定は受けない。
ば、ディスク構成要素をミラーディスク装置とすること
で、異なるポートの複数ディスク装置の同時故障が起き
ても瞬時に上位装置の要求に対応することができ、極め
て高い信頼性を得ることができる。
したときに将来故障する可能性が高いものと予測して、
故障発生に対処できるようにミラーディスク装置におけ
る現用と予備の切替えを予め行っておくことで、実際に
ディスク故障となってもディスク装置の機能を失うこと
なく瞬時に上位装置の要求に対し対応することができ
る。
ディスクユニットを用いてディスクアレイ筐体を構成す
ることでディスクアレイの実現が簡単にでき、またディ
スクアレイの増設や構成変更も簡単にできる。更にま
た、構成要素をミラーディスク装置としたことに加えて
パリティデータも併せて格納することで、ミラード化さ
れたRAID3あるいはRAID5の動作形態を実現し
て極めて高い信頼性を得ることができる。
装置を用いたディスクアレイについて、ランクごとに少
なくとも1台の予備用ディスク装置を設け、特定のディ
スク装置で予測障害が判定されたときに予備用のディス
ク装置を選択してデータを複写し、複写後に障害判定対
象となったディスク装置と組み合わせて動的にミラーデ
ィスク装置を構成することで、通常のRAID構成にお
ける予備用ディスク装置を含めたディスク台数と同等の
台数で、実質的に全構成要素をミラーディスク装置とし
た場合と同等の信頼性を低コストで実現することができ
る。
図
して示した説明図
理テーブルの説明図
の説明図
ャート
発明の実施例構成図
図
図
変更を示した実施例構成図
施例構成図
図
の他の実施例構成図
したフローチャート
ル 52−1,52−2:モジュール回路基板 54:モジュール実装基板 56:電源ユニット 58:冷却ファン装置 60:ディスクアレイ制御部 62:デバイス管理テーブル 64:アクセス判定部 66:異常回数計数部 68:予防保守情報格納部 70:デバイス検査部 72:障害判定部 74:チェック回路部 75:データ転送制御部 76:論理ブロック(ホストブロック) 78:ストライプデータ 80:ダブルストライプデータ
Claims (8)
- 【請求項1】同一データを格納する2台のディスク装置
(36)を備えたミラーディスク手段(36)を並列ア
クセス可能に複数配置したディスクアレイ手段(18)
と、上位装置(10)からの書込データをストライピン
グした後に前記ディスクアレイ手段(36)に並列書込
みすると共に、前記ディスクアレイ手段(36)からの
並列読出データを合成して前記上位装置(10)に転送
する制御手段(20)と、前記ディスクアレイ手段(18)に設けた複数のディス
ク装置の状態を管理するデバイス管理テーブル手段(6
2)を設け、 前記制御手段(20)は、上位装置(10)からのアク
セス要求時に前記デバイス管理テーブル手段(62)を
参照して前記ディスクアレイ手段(18)に対する処理
を実行する ことを特徴とするディスクアレイ装置。 - 【請求項2】請求項1記載のディスクアレイ装置に於い
て、 前記デバイス管理テーブル手段(62)に、前記ミラー
ディスク手段(36)を設けたディスク装置の一方を現
用とし、他方を予備用とする情報を登録し、 前記制御手段(20)は、リードアクセス時に前記デバ
イス管理テーブル手段(62)の参照で前記ミラーディ
スク手段(36)の現用側のディスク装置からデータを
読出し、ライトアクセス時には現用および予備用の両方
のディスク装置にデータを書込むことを特徴とするディ
スクアレイ装置。 - 【請求項3】請求項1記載のディスクアレイ装置に於い
て、前記ディスクアレイ手段(18)は、 着脱自在な少くとも2台のディスクモジュール(50)
を内蔵したディスクユニット(46)と、 前記ディスクユニット(46)の収納部を複数備え、予
め定めたアレイ構成に従って複数台の前記ディスクユニ
ット(46)を実装した装置筐体(44)と、で構成さ
れたことを特徴とするディスクアレイ装置。 - 【請求項4】請求項3記載のディスクアレイ装置に於い
て、 前記ディスクユニット(46)を、媒体サイズの異なる
単一のディスクモジュールを内蔵した他のディスクユニ
ットの収納を予定したディスクアレイ筐体に実装してミ
ラーディスク手段(36)を構成要素とするディスクア
レイ構成を実現したことを特徴とするディスクアレイ装
置。 - 【請求項5】請求項1記載のディスクアレイ装置に於い
て、更に、 前記ディスクアレイ手段(12)に対するアクセスの実
行に対しチェック回路手段(74)において異常が発生
したか否かを判定するアクセス判定手段(64)と、 前記アクセス判定手段(64)で判定した異常の回数を
計数する異常回数計数手段(66)と、 前記異常回数計数手段(66)の異常回数が所定の閾値
以上となったときにデバイス障害を判定し、前記デバイ
ス管理テーブル手段(62)に障害情報を登録する障害
判定手段(72)と、 を設けたことを特徴とするディスクアレイ装置。 - 【請求項6】請求項1記載のディスクアレイ装置に於い
て、更に、 前記制御手段(20)の空き状態で、前記ディスクアレ
イ手段(18)に対し擬似的なアクセス動作を実行して
各ディスク装置の状態を検査するデバイス検査手段(7
0)を設けたことを特徴とするディスクアレイ装置。 - 【請求項7】同一データを格納する2台のディスク装置
(36)を備えたミラーディスク手段(36)を並列ア
クセス可能に複数配置したディスクアレイ手段(18)
と、 上位装置(10)からの書込データをストライピングし
てパリティデータと共に前記ディスクアレイ手段(3
6)に並列に書込み、前記ディスクアレイ手段(36)
からの並列読出データを合成して前記上位装置(10)
に転送する制御手段(20)と、 を備えたことを特徴とするディスクアレイ装置。 - 【請求項8】複数のディスク装置(32)を並列アクセ
ス可能に配置したディスクアレイ手段(18)と、 前記ディスクアレイ手段(18)の同一ランクに属する
少なくとも1台のディスク装置を予備用に割当てると共
に他の複数ディスク装置をデータ格納用に割当て、上位
装置(10)からの書込データをストライピングし前記
データ格納用ディスク装置に並列的に書込み、前記デー
タ格納用ディスク装置からの並列読出データを合成して
前記上位装置(10)に転送する制御手段(20)と、 前記ディスクアレイ手段(12)に対するアクセスの実
行に対しチェック回路手段(74)において異常が発生
したか否かを判定するアクセス判定手段(64)と、 前記アクセス判定手段(64)で判定した異常の回数を
計数する異常回数計数手段(66)と、 前記異常回数計数手段(66)の異常回数が、通常の障
害判定に用いる閾値より小さい所定の閾値以上となった
とき、近い将来、障害発生の可能性があることを予測的
に判定する障害判定手段(72)と、 前記障害判定手段(72)の障害の予測判定時に前記予
備用ディスク装置を選択して障害ディスク装置の格納デ
ータを複写し、該複写後に障害ディスク装置と前記予備
用ディスク装置でミラーディスク手段(36)を構成
し、前記制御手段(20)に両方のディスク装置への同
時データの書込みといずれか一方のディスク装置からの
データ読出しをセットする構成制御手段と、 を備えたことを特徴とするディスクアレイ装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05276317A JP3078972B2 (ja) | 1993-11-05 | 1993-11-05 | ディスクアレイ装置 |
US08/273,887 US5611069A (en) | 1993-11-05 | 1994-07-12 | Disk array apparatus which predicts errors using mirror disks that can be accessed in parallel |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05276317A JP3078972B2 (ja) | 1993-11-05 | 1993-11-05 | ディスクアレイ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07129331A JPH07129331A (ja) | 1995-05-19 |
JP3078972B2 true JP3078972B2 (ja) | 2000-08-21 |
Family
ID=17567773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05276317A Expired - Lifetime JP3078972B2 (ja) | 1993-11-05 | 1993-11-05 | ディスクアレイ装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5611069A (ja) |
JP (1) | JP3078972B2 (ja) |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680574A (en) * | 1990-02-26 | 1997-10-21 | Hitachi, Ltd. | Data distribution utilizing a master disk unit for fetching and for writing to remaining disk units |
US5826046A (en) * | 1994-12-30 | 1998-10-20 | International Business Machines Corporation | Method and apparatus for polling and selecting any paired device in any drawer |
US6467054B1 (en) * | 1995-03-13 | 2002-10-15 | Compaq Computer Corporation | Self test for storage device |
US5758057A (en) * | 1995-06-21 | 1998-05-26 | Mitsubishi Denki Kabushiki Kaisha | Multi-media storage system |
JPH0934784A (ja) * | 1995-07-14 | 1997-02-07 | Sony Corp | データ書込み回路、データ読出し回路及びデータ伝送装置 |
US6098128A (en) | 1995-09-18 | 2000-08-01 | Cyberstorage Systems Corporation | Universal storage management system |
US5790773A (en) * | 1995-12-29 | 1998-08-04 | Symbios, Inc. | Method and apparatus for generating snapshot copies for data backup in a raid subsystem |
US5901327A (en) * | 1996-05-28 | 1999-05-04 | Emc Corporation | Bundling of write data from channel commands in a command chain for transmission over a data link between data storage systems for remote data mirroring |
US6052797A (en) * | 1996-05-28 | 2000-04-18 | Emc Corporation | Remotely mirrored data storage system with a count indicative of data consistency |
JPH1011878A (ja) * | 1996-06-28 | 1998-01-16 | Toshiba Corp | ディスク装置及び同装置におけるモニター値保存制御方法 |
US6038680A (en) * | 1996-12-11 | 2000-03-14 | Compaq Computer Corporation | Failover memory for a computer system |
US6035411A (en) * | 1996-12-23 | 2000-03-07 | Hitachi Computer Products, Inc. | Method for multiple verticle and/or horizontal levels of memory redundancy |
US6154853A (en) * | 1997-03-26 | 2000-11-28 | Emc Corporation | Method and apparatus for dynamic sparing in a RAID storage system |
US5987621A (en) * | 1997-04-25 | 1999-11-16 | Emc Corporation | Hardware and software failover services for a file server |
US6076143A (en) * | 1997-09-02 | 2000-06-13 | Emc Corporation | Method and apparatus for managing the physical storage locations for blocks of information in a storage system to increase system performance |
US6366988B1 (en) * | 1997-07-18 | 2002-04-02 | Storactive, Inc. | Systems and methods for electronic data storage management |
US6073220A (en) | 1997-09-03 | 2000-06-06 | Duocor, Inc. | Apparatus and method for providing a transparent disk drive back-up |
JP3597349B2 (ja) * | 1997-09-05 | 2004-12-08 | 株式会社日立製作所 | 記憶サブシステムおよびその障害回復方法 |
US6223252B1 (en) * | 1998-05-04 | 2001-04-24 | International Business Machines Corporation | Hot spare light weight mirror for raid system |
JPH11345095A (ja) * | 1998-06-02 | 1999-12-14 | Toshiba Corp | ディスクアレイ装置およびその制御方法 |
US6167531A (en) * | 1998-06-18 | 2000-12-26 | Unisys Corporation | Methods and apparatus for transferring mirrored disk sets during system fail-over |
US6148419A (en) * | 1998-09-30 | 2000-11-14 | International Business Machines Corp. | System diagnostic location codes |
US6470464B2 (en) * | 1999-02-23 | 2002-10-22 | International Business Machines Corporation | System and method for predicting computer system performance and for making recommendations for improving its performance |
US6493656B1 (en) | 1999-02-26 | 2002-12-10 | Compaq Computer Corporation, Inc. | Drive error logging |
US7000069B2 (en) * | 1999-04-05 | 2006-02-14 | Hewlett-Packard Development Company, L.P. | Apparatus and method for providing very large virtual storage volumes using redundant arrays of disks |
JP4461511B2 (ja) * | 1999-06-09 | 2010-05-12 | 株式会社日立製作所 | ディスクアレイ装置及びディスク装置へのデータ読み出し/書き込み方式 |
US6397292B1 (en) | 1999-08-19 | 2002-05-28 | Emc Corporation | Asymmetrical striping of mirrored storage device arrays and concurrent access to even tracks in the first array and odd tracks in the second array to improve data access performance |
US6505306B1 (en) * | 1999-09-15 | 2003-01-07 | International Business Machines Corporation | Redundant bit steering mechanism with delayed switchover of fetch operations during redundant device initialization |
US6816986B1 (en) * | 1999-12-28 | 2004-11-09 | Intel Corporation | Remapping memory devices during operation |
WO2001093064A1 (en) * | 2000-05-30 | 2001-12-06 | Emikolo Networks Inc. | Dynamic peer-to-peer network content-serving |
US6938039B1 (en) | 2000-06-30 | 2005-08-30 | Emc Corporation | Concurrent file across at a target file server during migration of file systems between file servers using a network file system access protocol |
US6757841B1 (en) * | 2000-09-14 | 2004-06-29 | Intel Corporation | Method and apparatus for dynamic mirroring availability in a network appliance |
US7386610B1 (en) | 2000-09-18 | 2008-06-10 | Hewlett-Packard Development Company, L.P. | Internet protocol data mirroring |
US6804819B1 (en) | 2000-09-18 | 2004-10-12 | Hewlett-Packard Development Company, L.P. | Method, system, and computer program product for a data propagation platform and applications of same |
US6977927B1 (en) | 2000-09-18 | 2005-12-20 | Hewlett-Packard Development Company, L.P. | Method and system of allocating storage resources in a storage area network |
US6823336B1 (en) | 2000-09-26 | 2004-11-23 | Emc Corporation | Data storage system and method for uninterrupted read-only access to a consistent dataset by one host processor concurrent with read-write access by another host processor |
JP4499909B2 (ja) * | 2000-12-19 | 2010-07-14 | 東芝テック株式会社 | 多重化記憶制御装置 |
US6606690B2 (en) | 2001-02-20 | 2003-08-12 | Hewlett-Packard Development Company, L.P. | System and method for accessing a storage area network as network attached storage |
JP2003044230A (ja) * | 2001-05-23 | 2003-02-14 | Hitachi Ltd | 記憶装置システム |
US7222257B1 (en) * | 2001-06-12 | 2007-05-22 | Emc Corporation | Method and system for repairing a redundant array of disk drives |
US7076686B2 (en) * | 2002-02-20 | 2006-07-11 | Hewlett-Packard Development Company, L.P. | Hot swapping memory method and system |
JP4061960B2 (ja) * | 2002-04-26 | 2008-03-19 | 株式会社日立製作所 | コンピュータシステム |
US7546364B2 (en) * | 2002-05-16 | 2009-06-09 | Emc Corporation | Replication of remote copy data for internet protocol (IP) transmission |
US6922752B2 (en) * | 2002-08-23 | 2005-07-26 | Hewlett-Packard Development Company, L.P. | Storage system using fast storage devices for storing redundant data |
US7085953B1 (en) * | 2002-11-01 | 2006-08-01 | International Business Machines Corporation | Method and means for tolerating multiple dependent or arbitrary double disk failures in a disk array |
JP3778171B2 (ja) * | 2003-02-20 | 2006-05-24 | 日本電気株式会社 | ディスクアレイ装置 |
US7143305B2 (en) * | 2003-06-25 | 2006-11-28 | International Business Machines Corporation | Using redundant spares to reduce storage device array rebuild time |
JP2005031928A (ja) * | 2003-07-11 | 2005-02-03 | Hitachi Ltd | 記憶システム及び記憶システムの障害特定方法 |
US7281177B2 (en) * | 2003-07-14 | 2007-10-09 | International Business Machines Corporation | Autonomic parity exchange |
US7254754B2 (en) * | 2003-07-14 | 2007-08-07 | International Business Machines Corporation | Raid 3+3 |
JP2005100259A (ja) | 2003-09-26 | 2005-04-14 | Hitachi Ltd | ドライブの2重障害を防止するアレイ型ディスク装置、プログラム、及び方法 |
JP2005122338A (ja) | 2003-10-15 | 2005-05-12 | Hitachi Ltd | スペアディスクドライブをもつディスクアレイ装置及びデータスペアリング方法 |
US7237056B2 (en) * | 2003-11-17 | 2007-06-26 | Hewlett-Packard Development Company, L.P. | Tape mirror interface |
JP2005166212A (ja) * | 2003-12-05 | 2005-06-23 | Mitsubishi Electric Corp | 情報記憶システム |
US20050166022A1 (en) * | 2004-01-28 | 2005-07-28 | Hitachi, Ltd. | Method and apparatus for copying and backup in storage systems |
JP2005266933A (ja) * | 2004-03-16 | 2005-09-29 | Fujitsu Ltd | ストレージ管理システム及びストレージ管理方法 |
US7822937B2 (en) * | 2004-05-03 | 2010-10-26 | Gateway, Inc. | Method and apparatus for modifying reserve area of disk drive or memory |
JP4404353B2 (ja) * | 2004-05-25 | 2010-01-27 | 株式会社日立製作所 | ディスク故障を抑止するディスクアレイ |
JP4555036B2 (ja) | 2004-09-16 | 2010-09-29 | 株式会社日立製作所 | ストレージ装置及びストレージ装置のデバイス切替制御方法 |
GB2418273A (en) * | 2004-09-18 | 2006-03-22 | Hewlett Packard Development Co | An array of discs with stripes and mirroring |
JP2006107351A (ja) * | 2004-10-08 | 2006-04-20 | Fujitsu Ltd | データ移行方法、記憶装置及びプログラム |
JP2006163818A (ja) * | 2004-12-07 | 2006-06-22 | Sony Corp | 情報処理装置及び情報処理方法 |
JP4324088B2 (ja) | 2004-12-17 | 2009-09-02 | 富士通株式会社 | データ複製制御装置 |
JP4457019B2 (ja) | 2005-01-05 | 2010-04-28 | 富士通株式会社 | 情報処理システム及び一次ストレージ装置 |
JP2006195759A (ja) * | 2005-01-14 | 2006-07-27 | Fujitsu Ltd | ディスク接続ユニット、ディスクパッケージ、ディスク装置、ディスク接続方法 |
JP2006227856A (ja) * | 2005-02-17 | 2006-08-31 | Hitachi Ltd | アクセス制御装置及びそれに搭載されるインターフェース |
JP2006252239A (ja) * | 2005-03-11 | 2006-09-21 | Fujitsu Ltd | ファイル制御装置 |
US7587630B1 (en) * | 2005-04-29 | 2009-09-08 | Network Appliance, Inc. | Method and system for rapidly recovering data from a “dead” disk in a RAID disk group |
US7574623B1 (en) * | 2005-04-29 | 2009-08-11 | Network Appliance, Inc. | Method and system for rapidly recovering data from a “sick” disk in a RAID disk group |
JP2007004297A (ja) * | 2005-06-21 | 2007-01-11 | Fujitsu Ltd | 記憶ユニット管理装置 |
TWI287190B (en) * | 2005-10-31 | 2007-09-21 | Inventec Corp | Stable storage method |
JP4786312B2 (ja) * | 2005-11-22 | 2011-10-05 | 株式会社日立製作所 | 記憶制御装置及び記憶制御装置のエラー情報管理方法 |
JP2007299114A (ja) | 2006-04-28 | 2007-11-15 | Hitachi Ltd | 記憶システム及びデータ保存方法 |
JP4821426B2 (ja) * | 2006-05-11 | 2011-11-24 | 富士ゼロックス株式会社 | エラー回復プログラム、エラー回復装置及びコンピュータシステム |
JP5131271B2 (ja) | 2007-04-20 | 2013-01-30 | 富士通株式会社 | 組み合わせ決定プログラム、組み合わせ決定装置、および組み合わせ決定方法 |
US8380950B2 (en) * | 2007-09-28 | 2013-02-19 | Emc Corporation | System and method for dynamic storage device reconfiguration |
JP4542163B2 (ja) * | 2008-02-27 | 2010-09-08 | 富士通株式会社 | ディスクアレイ装置、ディスクアレイ制御方法及びディスクアレイ制御装置 |
JP2009217362A (ja) * | 2008-03-07 | 2009-09-24 | Nec Corp | ディスクアレイ装置および制御方法 |
JP2010097385A (ja) * | 2008-10-16 | 2010-04-30 | Fujitsu Ltd | データ管理プログラム、ストレージ装置診断プログラム、およびマルチノードストレージシステム |
EP2515223A4 (en) * | 2010-03-08 | 2014-03-05 | Hitachi Ltd | STORAGE DEVICE COMPRISING RAID RAID1 TYPE AND METHOD OF WRITING CONTROL IN RAID RAID1 GROUP |
JP2012079100A (ja) * | 2010-10-01 | 2012-04-19 | Canon Inc | ディスク制御装置及びディスク制御方法、並びにプログラム |
JP2013041430A (ja) * | 2011-08-16 | 2013-02-28 | Konica Minolta Business Technologies Inc | 画像形成装置、画像形成装置の制御方法 |
JP5910213B2 (ja) * | 2012-03-19 | 2016-04-27 | 富士通株式会社 | ストレージシステム、ストレージ制御方法およびストレージ制御プログラム |
JP5982909B2 (ja) | 2012-03-19 | 2016-08-31 | 富士通株式会社 | 制御装置、ストレージ装置、ストレージ装置の試験方法及びストレージ装置の試験プログラム |
JP6078984B2 (ja) * | 2012-05-23 | 2017-02-15 | 富士通株式会社 | 処理装置,処理方法,処理プログラム及び管理装置 |
JP5535343B1 (ja) * | 2013-01-10 | 2014-07-02 | 株式会社東芝 | ディスクアレイ制御装置およびサーバ |
JP6191346B2 (ja) * | 2013-09-09 | 2017-09-06 | 富士通株式会社 | ストレージ制御装置、ディスクアレイ装置の制御方法及びディスクアレイ装置の制御プログラム |
CN103970486A (zh) * | 2014-05-22 | 2014-08-06 | 浪潮(北京)电子信息产业有限公司 | 一种数据存储方法和系统 |
CN104461733A (zh) * | 2014-11-24 | 2015-03-25 | 浪潮电子信息产业股份有限公司 | 一种高端磁盘阵列多控制器间的并行io调度方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03271923A (ja) * | 1990-03-20 | 1991-12-03 | Nec Corp | 障害対応処理付き磁気ディスク装置 |
JPH04205619A (ja) * | 1990-11-30 | 1992-07-27 | Toshiba Corp | ディスク制御システム |
JP2895644B2 (ja) * | 1991-03-07 | 1999-05-24 | 富士通株式会社 | アレイディスク装置 |
US5455934A (en) * | 1993-03-23 | 1995-10-03 | Eclipse Technologies, Inc. | Fault tolerant hard disk array controller |
US5392244A (en) * | 1993-08-19 | 1995-02-21 | Hewlett-Packard Company | Memory systems with data storage redundancy management |
-
1993
- 1993-11-05 JP JP05276317A patent/JP3078972B2/ja not_active Expired - Lifetime
-
1994
- 1994-07-12 US US08/273,887 patent/US5611069A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5611069A (en) | 1997-03-11 |
JPH07129331A (ja) | 1995-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3078972B2 (ja) | ディスクアレイ装置 | |
US5566316A (en) | Method and apparatus for hierarchical management of data storage elements in an array storage device | |
JP2912802B2 (ja) | ディスクアレイ装置の故障対処方法および装置 | |
JP3187730B2 (ja) | Raid記憶サブシステムにおけるデータのスナップショットコピー作成方法及びその装置 | |
US6154853A (en) | Method and apparatus for dynamic sparing in a RAID storage system | |
JP3732869B2 (ja) | 外部記憶装置 | |
US7475283B2 (en) | Anomaly notification control in disk array | |
JP2769443B2 (ja) | 記憶サブシステム及び関連する装置/方法 | |
US5655150A (en) | Recording device having alternative recording units operated in three different conditions depending on activities in maintenance diagnosis mechanism and recording sections | |
US6058489A (en) | On-line disk array reconfiguration | |
US20070067666A1 (en) | Disk array system and control method thereof | |
US6961818B1 (en) | Method, system and computer program product for managing data in a mirrored cache using an access balancing technique | |
JP3681766B2 (ja) | ディスクアレイ装置 | |
US20110314325A1 (en) | Storage apparatus and method of detecting power failure in storage apparatus | |
US20050193273A1 (en) | Method, apparatus and program storage device that provide virtual space to handle storage device failures in a storage system | |
CN102164165A (zh) | 一种网络存储系统的管理方法及装置 | |
JPH09269871A (ja) | ディスクアレイ装置におけるデータ再冗長化方式 | |
JP2005539303A (ja) | 電力効率高容量なスケーラブルな記憶システムのための方法および装置 | |
JP2002297322A (ja) | 冗長性を有するディスク記憶装置 | |
JP3155836B2 (ja) | ディスクアレイ装置 | |
JP2000347812A (ja) | 情報処理装置およびディスクアレイ装置 | |
JPH06266508A (ja) | ディスクアレイ制御方法 | |
JP2778268B2 (ja) | 記録媒体制御装置 | |
JP3597086B2 (ja) | ディスクアレイ制御装置 | |
JP3050169B2 (ja) | ディスクアレイシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000606 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130616 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140616 Year of fee payment: 14 |
|
EXPY | Cancellation because of completion of term |