JP3058743B2

JP3058743B2 - ディスクアレイ制御装置

Info

Publication number: JP3058743B2
Application number: JP4008211A
Authority: JP
Inventors: 弘一ノ宮; 孝夫佐藤; 山本　　彰
Original assignee: Hitachi Ltd; Hitachi ULSI Systems Co Ltd
Current assignee: Hitachi Ltd; Hitachi Solutions Technology Ltd
Priority date: 1992-01-21
Filing date: 1992-01-21
Publication date: 2000-07-04
Anticipated expiration: 2015-07-04
Also published as: JPH05197499A; US5664096A; US5550975A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は計算機の記憶システムに
関わり、特に複数のディスク装置をアレイ状に配置し、
並列に同時動作させるディスクアレイ制御装置に関わ
る。

【０００２】

【従来の技術】ディスクアレイ制御装置に関する従来技
術の例として、特開平２−２３６７１４の「アレイ型デ
ィスク駆動機構システム及び方法」がある。上記従来技
術では、ディスクアレイ制御装置とディスク装置とはＳ
ＣＳＩ(Small Computer SystemInterface)を介して接続
される。冗長性のあるデ−タを書き込む際、ディスクア
レイ制御装置は書き込みデータをセクタごとに区切り、
それぞれのデ−タを別々のディスク装置にＳＣＳＩ経由
で順次転送しながらＥＣＣエンジンで冗長データを作成
する。

【０００３】

【発明が解決しようとする課題】上記従来技術では、デ
ィスク装置間の書き込み同期を行っていないためＳＣＳ
Ｉを通じて転送されたデータが実際にディスク装置に書
き込まれるタイミングはディスク装置によって異なる可
能性がある。従って、処理装置からの同一の書き込み要
求に属するデータの複数ディスク装置への書き込みが電
源障害などにより中断された場合には、あるディスク装
置ではデ−タの書き込みが完了しているが別のディスク
装置ではまだデ−タが書き込まれていないという現象が
発生する。上記のように、一部のディスク装置ではデー
タの書き込みが完了しており、一部のディスク装置では
データがまだ書き込まれてなく以前のデータが残ってい
るような領域を処理装置が読みだすと、書き込み完了デ
ータと以前のデータが混在した一貫性のないデータが処
理装置に転送される可能性がある。このように、実際に
は書き込んでないデータが処理装置によって読み出され
ることをデータ化けと呼び、計算機システムの外部記憶
装置では発生してはならない現象である。本発明の目的
は、ディスクアレイにおけるこのようなデータ化けの発
生を防止するディスクアレイ制御装置を提供することに
ある。

【０００４】

【課題を解決するための手段】電源中断などによるディ
スクアレイのデータ化けを防止する本発明の手段のひと
つは、ディスクアレイ制御装置内に不揮発メモりを設
け、デ−タの書き込み要求の際に、分割されたデータが
格納されるディスク装置毎に書き込み中の領域に関する
情報を記憶する。その結果、ディスク装置へのデータ書
き込みを障害により中断した際に、書き込みを中断した
領域が不揮発メモりに保持され、障害が回復した後、処
理装置からのデータの読みだし要求に対して不揮発メモ
リを参照することにより、読みだし範囲の中にデータ書
き込み中断領域が含まれていないかを判定できる。読み
だし範囲の中にデータ書き込み中断領域が含まれてお
り、書き込み後のデータと以前のデータが混在してデー
タの一貫性が保てない可能性があると判断された場合に
は、読みだし時に障害が発生したことを処理装置に報告
することにより、誤ったデータが処理装置に転送される
ことを抑止し、データ化けを防止する。

【０００５】データ化けを防止する別の手段は、ディス
ク装置へのデータの書き込みの際に、ディスクアレイ制
御装置で書き込み要求毎に生成した更新番号と呼ばれる
データを、分割されたデータが格納される各ディスク装
置の物理ブロック毎に書き込みデータに付加して書き込
み、読みだしに際しては各ディスクから読みだした更新
番号の一致を検査する。その結果、各ディスク装置から
読み出された分割データが同一の書き込み要求によって
書き込まれたデータであるか否かを検査できる。更新番
号が一致しない場合、データの一貫性がないと判断し、
読みだし時に障害が発生したことを処理装置に報告する
ことでデータ化けを防止できる。

【０００６】さらに、上記２つの手段を組み合わせて、
デ−タの読みだし時に、不揮発メモリに格納された情報
ではデータの一貫性が保てるか否かを判断できない場合
にのみ、更新番号の一致を検査する手段を設ける。

【０００７】冗長性を有するディスクアレイの場合に
は、もし不完全に書込まれたデータであっても、冗長性
を活用してデ−タを回復できるならば、このような処理
によって完全なデータを回復することによりデータ化け
を防止できる。

【０００８】

【作用】電源障害などによってディスクアレイの動作が
停止し、分割されたデータのディスク装置への書き込み
が中断した場合でも、本発明では、ディスク装置へのデ
−タの書き込みが完了した領域に関する情報を不揮発性
のメモリに保持しているので、書き込みが中断した領域
を含む読みだし要求を処理装置から受け取った時に、上
記の情報から書き込み中断領域を判断することにより、
書き込み後のデータと書き込み前のデータが混在した一
貫性のない誤ったデータを処理装置に転送する可能性を
なくすことができる。

【０００９】冗長性を有するデ−タを格納するディスク
アレイ制御装置では、冗長性を活用して書込み中断領域
のデータを回復できるので、分割されたデータのディス
ク装置への書込みの中断によって喪失するデータ量を減
ずることができる。

【００１０】

【実施例】

１）第１の実施例図１に、本発明の第１の実施例におけるディスクアレイ
制御装置１を含む計算機システムの構成を示す。ディス
クアレイ制御装置１は、処理装置２あるいはディスク装
置３１からのデータを一時的に蓄えるデータバッファ１
３、ディスクアレイ制御装置１の動作を制御するプロセ
ッサ１１、及びプロセッサ１１から読み書きでき電源を
切断しても内容が保持される不揮発メモリ１２を内蔵
し、チャネルインタフェース１４を介して処理装置２と
接続され、ＳＣＳＩ(Small Computer System Interfac
e)インタフェース１５を介して複数のディスク装置３１
に接続される。各ＳＣＳＩインタフェース１５には複数
のディスク装置３１が接続でき、異なるＳＣＳＩインタ
フェース１５を介して接続されたディスク装置３１との
間で並列にデータ転送を行うことができる。処理装置２
からのデータはドライブグループ３を構成する複数のデ
ィスク装置３１に分割して格納される。図２に、処理
装置２からのデータがドライブグループ３を構成する複
数のディスク装置３１上にどのように分配され、ディス
ク装置３１上のデータがどのように統合されるかを示
す。処理装置２からの出力要求時には、処理装置２から
のデータ２００はディスクアレイ制御装置１内で分割デ
ータ２０１−１〜２０１−４に分割され、ドライブグル
ープ３の複数のディスク装置３１に並列に転送され格納
される。なお、デ−タ２００は、いくつかのブロックＲ
０〜Ｒ４から構成され、各ブロックがそれぞれ分割さ
れ、それぞれの分割データ２０１−１〜２０１−４は、
各ブロックに対応したデ−タＲ０−１〜Ｒ４−１、Ｒ０
−２〜Ｒ４−２、Ｒ０−３〜Ｒ４−３及びＲ０−４〜Ｒ
４−４から構成される。処理装置２からの入力要求時に
は、逆にドライブグループ３のディスク装置３１から読
み出された分割データ２０１−１〜４がディスク制御装
置１内で統合されて処理装置２に転送される。

【００１１】図３は第１の実施例における書き込み動作
の一例である。ディスクアレイ制御装置１は処理装置２
からの出力要求を受け取ると、不揮発メモリ１２上に書
込み管理表１２１を割り当てる。書込み管理表１２１
は、ドライブグループ３を構成するディスク装置３１−
１〜４毎に、書込み範囲のどのブロックまでデ−タが書
き込まれたか、さらに、どのブロックまでのデ−タが書
き込みを完了したかという書込み状態を管理するための
表である。図３の例では書込み状態を記憶するためにビ
ットマップを用いている。書込み管理表１２１の各エン
トリ１２１０−１〜５は、ドライブグループ３を構成す
るそれぞれのディスク装置３１−１〜４の書込み対象と
なるブロック３１０−１〜５に対応した書込み状態フラ
グ１２１１を持つ。例えば、各書込み状態フラグ１２１
１には２ビットが割り当てられ、”００”は書込み指示
未発行（Ｕ）、”０１”は書込み中（Ｗ）、”１０”は
書込み完了（Ｃ）を示す。図中では簡単のため、各ブロ
ックの書込み状態を”Ｕ”、”Ｗ”、”Ｃ”で記す。

【００１２】通常、書込み管理表１２１の割当てに際し
て、書込み状態フラグ１２１１はすべて書込み指示未発
行（Ｕ）に初期化される。プロセッサ１１は、ディスク
装置３１−１〜４のそれぞれにライトコマンドを発行す
る直前に、ライトコマンドの書込み対象となるブロック
に対応する書込み状態フラグ１２１１を書込み中（Ｗ）
に変更する。さらに、ディスク装置３１−１〜４からラ
イトコマンドに対する書込み完了応答を受け取ったら、
それぞれ書き込みが完了したブロックに対応する書込み
状態フラグ１２１１を書込み完了（Ｃ）に変更する。

【００１３】ディスク装置への分割デ−タの書き込みタ
イミングの一例と書込み管理表の変化を図４に示す。書
込み管理表１２１ａ〜ｃはそれぞれタイミング８００ａ
〜ｃにおける書込み管理表を示す。タイミング８００ａ
では、まだディスク装置３１−１〜４のいずれにもライ
トコマンドが発行されていないため、書込み管理表１２
１ａの書込み状態フラグ１２１１は全て書込み指示未発
行（Ｕ）である。

【００１４】タイミング８００ｂでは、一部のブロック
への書き込みが完了し、一部のブロックへは書き込み途
中であり、一部のブロックへはまだ書き込みコマンドが
発行されていないため、書込み状態フラグ１２１１には
書込み完了（Ｃ）、書込み中（Ｗ）及び書込み指示未発
行（Ｕ）が混在している。ディスク装置の回転ずれやリ
トライ動作などにより、図４に示すように書き込みのタ
イミングがディスク装置毎に異なることがある。タイミ
ング８００ｃでは、書込み範囲の全てのブロックへの書
き込みが完了しているため、書込み状態フラグ１２１１
は全て書込み完了を示している。タイミング８００ｃの
ように、ドライブグループ３の全ディスク装置３１−１
〜４への書き込みが完了して書込み管理表１２１の書込
み状態フラグ１２１１が全て書込み完了（Ｃ）を表示し
ていれば、書込み管理表１２１は不要になるので、プロ
セッサ１１は不要となった書込み管理表１２１を不揮発
メモリ１２から削除する。

【００１５】図３は、図４のタイミング８００ｂにおけ
る状態を示している。図３に示すドライブグループ３を
構成する全てのディスク装置３１−１〜４において、ブ
ロック３１０−１は書込み完了（Ｃ）状態であり、ブロ
ック３１０−５は書込み指示未発行（Ｕ）状態である。
しかし、ブロック３１０−２〜４は、ディスク装置３１
−１〜４の一部で書込み中（Ｗ）である、あるいは、同
一アドレスのブロックに書込み完了（Ｃ）と書込み指示
未発行（Ｕ）とが混在している。ドライブグループ３を
構成するディスク装置３１−１〜４のように、同一アド
レスのブロックに、書込み中（Ｗ）が存在する、あるい
は、書込み指示未発行（Ｕ）と書込み完了（Ｃ）とが混
在している状態を不完全書込み状態と呼び、不完全書込
み状態の領域を不完全書込み領域３１１と呼ぶ。図３で
はブロック３１０−２〜４が不完全書込み領域である。

【００１６】図３の状態のとき、すなわち図４のタイミ
ング８００ｂで電源が切断された場合、書込み管理表１
２１には、ブロック３１０−２〜４が不完全書込み領域
３１１であることを示す情報がそのまま保持される。そ
れ故、電源が回復した後でも、不揮発メモリ１２に保持
されている書込み管理表１２１を参照することで不完全
書込み領域３１１を知ることができる。不完全書込み領
域３１１のブロック内には書き込み前のデータと書き込
み後のデータが混在している可能性があるのでデータの
一貫性を保証できないため、処理装置２から不完全書込
み領域３１１に対する入力要求が発行された場合、ディ
スク制御装置１はリードエラーを処理装置２に報告す
る。

【００１７】処理装置２の入力要求に対するプロセッサ
１１の処理を図５に示す。プロセッサ１１は、処理装置
２から入力要求を受け取ると、不揮発メモリ１２の中に
書込み管理表１２１が存在するか否かを判定する（９０
０）。書込み管理表１２１が存在しなければ、不完全書
込み領域３１１は存在しないことを示し、通常の読みだ
し処理９０５を実行する。書込み管理表１２１が存在す
れば、ステップ９０１において、入力要求範囲と書込み
管理表１２１の対象範囲の重複を判定する。対象範囲に
重複がなければ、入力要求範囲内には不完全書込み領域
３１１が存在しないことを示し、通常の読みだし処理９
０５を実行する。入力要求範囲と書込み管理表１２１の
対象範囲に重複があれば、ステップ９０２において、重
複する領域に不完全書込み領域３１１があるか否かを判
定する。判定の対象となるブロックに対応する書込み管
理表１２１のエントリ１２１０において各ディスク装置
３１−１〜４に対する書込み状態フラグ１２１１が全て
書込み完了（Ｃ）であるか、全て書込み指示未発行
（Ｕ）であれば不完全書込み領域３１１ではないことを
示し、そうでなければ不完全書込み領域であることを示
す。重複している部分が不完全書込み領域３１１でなけ
れば、通常の読みだし処理９０５を実行する。不完全書
込み領域３１１が重複範囲に存在すれば、ステップ９０
３において不完全書込み領域３１１の直前までの読みだ
し処理を実行した後、ステップ９０４において処理装置
２に読みだしエラーを報告する。

【００１８】一方、不完全書込み領域３１１への出力要
求は抑止されない。不完全書込み領域３１１への書き込
みが正常に完了すれば、書き込みが行われた領域はもは
や不完全書込み領域３１１ではなくなる。出力要求処理
では、不完全書込み領域３１１へデ−タを書き込んだ時
に、その書込み領域を不完全書込み領域３１１から削除
する。処理装置２からの出力要求に対するプロセッサ１
１の処理を図６に示す。プロセッサ１１は処理装置２か
ら出力要求を受け取ると、不揮発メモリ１２の中に書込
み管理表１２１が存在するか否かを判定する（９０
０）。書込み管理表１２１が存在しなければ、ステップ
９１５において、書込み範囲に対して新たに書込み管理
表１２１を割り当て、書込み状態フラグ１２１１を全て
書込み指示未発行（Ｕ）に初期化し、書込み処理９１４
を実行する。書込み処理９１４では、図３の説明で述べ
たように、ディスク装置３１にライトコマンドを発行す
る直前に書込み管理表１２１の対応する書込み状態フラ
グ１２１１を書込み中（Ｗ）に変更し、ライトコマンド
に対する書込み完了応答をディスク装置３１から受信し
たら、対応する書込み状態フラグ１２１１を書込み完了
（Ｃ）に変更する。書き込みの正常終了後、ステップ９
１７において、不要になった書込み管理表１２１を解放
する。

【００１９】ステップ９００において、書込み管理表１
２１が存在すると判定された場合、ステップ９１１で、
出力要求範囲と書込み管理表１２１の対象範囲の重複を
判定する。出力要求範囲と書込み管理表１２１の対象範
囲に重複がなければ、ステップ９１５へ進む。対象範囲
に重複があれば、ステップ９０２において、重複部分に
不完全書込み領域３１１があるか否かを判定する。不完
全書込み領域３１１がなければ、ステップ９１５へ進
む。不完全書込み領域３１１が存在すれば、ステップ９
１３において、必要に応じて書込み管理表１２１を割当
てて初期設定し、ステップ９１４の書込み処理を実行
し、ステップ９１６において、不完全書込み領域３１１
を含まない書込み管理表１２１を解放する。不完全書込
み領域３１１が完全にデ−タが上書きされた場合には、
書き込みが行われた領域はもはや不完全書込み領域３１
１ではなくなるので書込み管理表１２１は全て解放され
る。

【００２０】一方、不完全書込み領域３１１の一部にデ
−タが上書きされた場合には、上書きされなかった不完
全書込み領域３１１は不完全書込み領域として残る。従
って、この部分を管理する書込み管理表１２１は解放さ
れずに残る。

【００２１】不完全書込み領域３１１を含む領域へデ−
タを書き込む際の、書込み管理表１２１の内容の変化に
ついて述べる。図７は、書込み中断時の不完全書き込み
領域と書込み管理表の状態を示す。図７において、ブロ
ック３１０−２〜４は不完全書込み領域３１１であり、
ブロック３１０−１〜５に対応した書込み管理表１２１
が存在する場合を示す。このような状態の時にブロック
３１０−３〜７への出力要求を受信したとする。図６の
出力処理において、ステップ９０２により出力要求範囲
３１２と不完全書込み領域３１１が重複すると判定さ
れ、ステップ９１３において、図８に示すように書込み
管理表１２１は１２１ｄ−１のように初期化され、ブロ
ック３１０−６〜７の書込み状態を管理するために、新
たに書込み管理表を割当て１２１ｄ−２のように初期化
される。

【００２２】すなわち、図８は、不完全書込み領域への
書込み時の書込み管理表の変化を示す。書込み管理表１
２１ｄ−１において、出力要求範囲に対応しないエント
リ１２１０−１〜２の書込み状態フラグ１２１１は変更
されない。出力要求範囲３１２と不完全書込み領域３１
１が重複するブロック３１０−３〜４に対応するエント
リ１２１０−３〜４の書込み状態フラグは書込み中
（Ｗ）に初期化される。不完全書込み領域３１１と重複
しない出力要求範囲３１２に対応するブロック３１０ー
５〜７に対応するエントリ１２１０−５〜７の書込み状
態フラグは書込み指示未発行（Ｕ）に初期化される。出
力要求範囲３１２に対する書き込みが完了すると、図８
の書込み管理表１２１ｅ−１〜２のように、ブロック３
１０−３〜７に対応するエントリ１２１０−３から１２
１０−７の書込み状態フラグは全て書込み完了（Ｃ）と
なる。書込み管理表１２１ｅ−２の書込み状態フラグは
全て書込み完了（Ｃ）となって解放されるが、書込み管
理表１２１ｅ−１は不完全書込み領域のまま残っている
ブロック３１０−２に対応するエントリ１２１０−２に
書込み中（Ｗ）の書込み状態フラグが残っているため、
そのまま不揮発メモリ１２に残る。不完全書込み領域３
１１を完全にデ−タを上書きする出力要求が実行されれ
ば、エントリ１２１０−２の書込み状態フラグもすべて
書込み完了となり、書込み管理表１２１ｅ−１も解放す
ることができる。以上、書込み状態をビットマップで管
理する例を示したが、この他にもデ−タの書込み範囲を
示す情報を用いて管理する方法などが考えられる。

【００２３】図９及び図１０は、書込み管理表を多重バ
ッファリングして使用する実施例を示す。図９及び図１
０において、ブロック３１０−１〜７を出力要求範囲と
し、書込み管理表１２１−１〜２はそれぞれ３ブロック
分の書込み状態フラグを管理するとする。なお、書込み
管理表のエントリ数や一回の出力要求に割り当てる書込
み管理表の数はこの実施例に限定されるものではない。
初期状態では図９に示すように、ブロック３１０−１〜
３に対して書込み管理表１２１−１が割り当てられ、ブ
ロック３１０−４〜６に対しては書込み管理表１２１−
２が割り当てられ、それぞれの書込み状態フラグには全
て書込み指示未発行（Ｕ）が初期設定される。ブロック
３１０−７には書込み管理表は割り当てられていない。

【００２４】ディスク装置への書き込みが進み、ブロッ
ク３１０−１〜３の書き込みが完了し、書込み管理表１
２１−１の書込み状態フラグが全て書込み完了（Ｃ）に
なっても、書込み管理表１２１−１を解放せずに、図１
０に示すようにまだ書込み管理表のエントリを割り当て
られていないブロック３１０−７に対して、書込み管理
表１２１−１のエントリ１２１０−１を割当て、書込み
状態フラグを書込み指示未発行（Ｕ）で初期化する。対
応させるブロックのないエントリ１２１０−２〜３につ
いては、書込み完了（Ｃ）のままでよい。さらにディス
ク装置への書き込みが進んで、ブロック３１０−４〜６
への書き込みが完了し、書込み管理表１２１−２の書込
み状態フラグが全て書込み完了になると、書込み管理表
を割り当てられていない出力要求されたブロックがもは
や存在しないため、書込み管理表１２１−２は不要とな
り解放される。同様に、ブロック３１０−７への書き込
みが完了し、書込み管理表１２１−１の書込み状態フラ
グが全て書込み完了（Ｃ）になったら、書込み管理表１
２１−１も不要となり解放される。この実施例において
も、出力処理中に電源が切断された場合、不揮発メモリ
に残っている書込み管理表を検索することで不完全書込
み領域を判定できる。

【００２５】次に、リングバッファ形式の書込み管理表
の動作を図１１に示す。書込み管理表１２２ａはリング
バッファ形式の書込み管理表の初期状態を示す。エント
リ１２２０−１〜３はそれぞれドライブグループの１ブ
ロックに対応した書込み状態フラグのエントリである。
書込み範囲がブロック３１０−１〜４であるとき、エン
トリ１２２０−１〜３では書込み範囲の全ての書込み状
態を管理できない。このため初期状態では書込み管理表
１２２ａに示すように、エントリ１２２０−１〜３にブ
ロック３１０−１〜３の書込み状態を記憶する。先頭ブ
ロックアドレス１２２１には、書込み管理表１２２ａ、
１２２ｂに書込み状態が記憶されたブロックの先頭アド
レスを記憶し、先頭エントリポインタ１２２２には、書
込み状態が記憶された先頭のブロックの書込み状態を記
憶した書込み管理表１２２ａ、１２２ｂのエントリへの
ポインタである。初期状態では書込み管理表１２２ａに
示すように、先頭ブロックアドレス１２２１にはブロッ
ク３１０−１のブロックアドレスが記憶され、先頭エン
トリポインタ１２２２はブロック３１０−１の書込み状
態を記憶するエントリ１２２０−１を指している。ブロ
ック３１０−１への書き込みが全て完了してエントリ１
２２０−１の書込み状態が全て書込み完了（Ｃ）になっ
たら、書込み管理表１２２ｂに示すように先頭ブロック
アドレス１２２１にブロック３１０−２のアドレスを格
納し、先頭エントリポインタ１２２２を進めてブロック
３１０−２の書込み状態を記憶するエントリ１２２０−
２を指すようにする。これによって書込み管理表１２２
ｂのエントリ１２２０−１はブロック３１０−４に対応
することになる。新たなブロックが割り当てられた書込
み管理表のエントリの書込み状態は通常、全て書込み指
示未発行（Ｕ）に初期化される。

【００２６】図１２は書込み管理表１２１に対応した不
完全書込み管理表１２３の状態を示す。不完全書込み管
理表１２３は不揮発メモリ１２内に割当てられ、不完全
書込みフラグ１２３０−１〜５に、対応するブロックが
不完全書込み状態か否かを記憶する。あらかじめ全ての
ブロックに対して不完全書込みフラグを割り当てておく
方法も考えられるが、ここでは不完全書込み領域の近傍
のブロックに対してのみ不完全書込み管理表１２３を割
り当てる方法について記す。

【００２７】初期設定時に不揮発メモリ１２内に不完全
書込み管理表１２１が存在していれば、不完全書込み管
理表１２３を不揮発メモリ内に割り当てる。次に、書込
み管理表１２１の各エントリ１２１０−１〜５を検索し
て、不完全書込み状態であるブロックに対応する不完全
書込み管理表１２３の不完全書込みフラグには不完全書
込み状態（Ｄ）を設定し、それ以外の不完全書込みフラ
グには正常書込み状態（Ｎ）を設定する。このように不
完全書込みフラグが区別すべき状態は２通りであるの
で、各不完全書込みフラグに１ビットを割り当てれば良
い。図１２の実施例では、書込み管理表のエントリ１２
１０−１、５に対応するブロックは正常書込み状態であ
り、エントリ１２１０−２〜４に対応するブロックは不
完全書込み状態である。従って、不完全書込み管理表１
２３の不完全書込みフラグ１２３０−１、５には正常書
込み状態（Ｎ）が設定され、不完全書込みフラグ１２３
０−２〜４には不完全書込み状態（Ｄ）が設定される。
不完全書込み管理表１２３の設定が完了したら、書込み
管理表１２１は解放される。入出力時に対象ブロックが
不完全書込み状態であるか否かは、不完全書込み管理表
１２３の不完全書込みフラグをビット判定するだけで判
断できる。

【００２８】２）第２の実施例第２の実施例では、冗長性を有するディスクアレイ制御
装置について述べる。図１３に示すディスクアレイ制御
装置１ａは冗長性を有するディスクアレイ制御装置の構
成例である。ＥＣＣ(Error Correction Code)生成／検
査回路１６は、データからのエラー訂正／検査コード
（以下ＥＣＣと略す）の生成と、ＥＣＣによるエラーの
検査および訂正を行う。図１３に示すＥＣＣ生成／検査
回路１６以外の部分は図１とほとんど同一である。ＥＣ
Ｃを格納するためにディスク装置３１−５が追加され
る。ＥＣＣを格納するために一つのドライブグループ３
当たりに追加されるディスク装置の数は冗長度によって
異なる。ここでは冗長度１の場合を示す。また、追加さ
れたディスク装置３１−５に固定的にＥＣＣを格納する
必要はない。数ブロック単位にＥＣＣを格納するディス
ク装置を切り換えるストライピングと呼ばれる手法もあ
る。ここでは簡単のため、ディスク装置３１−１〜４に
データを格納し、ディスク装置３１−５にＥＣＣを格納
する。

【００２９】図１４は、第２の実施例におけるデータの
分割とＥＣＣデ−タの生成を示す。デ−タバッファ１３
に格納されたデータ２００は、ディスク装置３１−１〜
４に対応して分割データ２０１−１〜４に分割される。
各分割データ２０１−１〜４はＥＣＣ生成／検査回路１
６に入力され、ブロック毎にＥＣＣデータ２０２が生成
され、ディスク装置３１−５に格納される。

【００３０】図１５は、第２の実施例におけるデ−タの
統合とＥＣＣデ−タの検査を示す。ドライブグループ３
からのデ−タの入力時には図１５に示すように、分割デ
ータ２０１−１〜４はデータ２００に統合されると共に
ＥＣＣ生成／検査回路１６にＥＣＣデータ２０２と共に
入力されてエラーの有無が検査される。ただし、読みだ
しデータの異常は物理ブロック毎にディスクアレイ制御
装置１ａまたは各ディスク装置３１−１〜５によって検
査される為、必ずしも入力時にＥＣＣ検査を行う必要は
ない。

【００３１】冗長性を有するディスクアレイ制御装置１
ａにおいては、ディスク装置の障害などにより一部のデ
ィスク装置のデータが利用できない場合でも、利用でき
ないディスク装置の数が冗長度以下ならＥＣＣによりデ
ータ訂正が可能である。図１３に示すディスクアレイ制
御装置１ａの場合には冗長度は１であり、ドライブグル
ープ３を構成するディスク装置の１台が故障してもデー
タを復元できる。ＥＣＣによるデ−タの訂正の様子を図
１６に示す。図１６において、ディスク装置３１−４が
故障により読みだし不可能であるとする。このとき、デ
ィスク装置３１−１〜３から読み出された分割データ２
０１−１〜３は、ディスク装置３１−５から読み出され
たＥＣＣデータ２０２と共にＥＣＣ生成／検査回路１６
に入力され、ディスク装置３１−４の欠落している分割
データ２０１−４が生成される。生成された分割データ
２０１−４は、先にディスク装置３１−１〜３から読み
出された分割データ２０１−１〜３と共にデータ２００
に統合される。

【００３２】第２の実施例における書込み管理表の設定
例を図１７に示す。図１７に示すように、ディスクアレ
イ制御装置１ａの不揮発メモリ１２に格納された書込み
管理表１２１ｆには追加されたディスク装置の書込み状
態を記憶するために書込み状態フラグ１２１１−５が追
加される。書込み管理表１２１ｆの初期設定及び書込み
状態フラグ１２１１−１〜５の設定方法については第１
の実施例と同様である。また、第１の実施例と同様に書
込み管理表を図９、１０に示す多重バッファリング方式
あるいは図１１に示すリングバッファ方式で管理でき
る。

【００３３】次に、ディスクアレイ制御装置１ａにおけ
る不完全書込み領域のデータ回復について述べる。図１
６の説明で述べたように、ディスクアレイ制御装置１ａ
では、冗長度以下のデータの喪失についてはＥＣＣを用
いてこれを回復できる。例えば、図１７においてエント
リ１２１０ｆ−２〜４に対応するブロックは不完全書込
み状態である。しかし、エントリ１２１０ｆ−２に対応
するブロックにおいては、書込み完了（Ｃ）以外の書込
み状態のディスク装置は１台だけであり、エントリ１２
１０ｆ−４に対応するブロックにおいても、書込み指示
未発行（Ｕ）以外の書込み状態のディスク装置は１台だ
けである。いずれの場合もディスクアレイ制御装置１ａ
の冗長度以下であり、ＥＣＣによるブロックのデータの
回復が可能である。回復可能な不完全書込み領域の回復
の様子を図１８に示す。エントリ１２１０ｆ−２に対応
するブロック３１０−２に関しては、書込み中（Ｗ）と
なっている書込み状態フラグ１２１１−４に対応するデ
ィスク装置３１−４以外のディスク装置からブロック３
１０−２の分割データをＥＣＣ生成／検査回路１６に入
力し、ディスク装置３１−４のデータを生成する。ディ
スク装置３１−４以外からの分割データとＥＣＣ生成／
検査回路１６によって生成されたデータを統合して完全
なデータを得ることができる。ブロック３１０−４につ
いても同様に、ディスク装置３１−１以外のディスク装
置からのブロック３１０−４のデータとＥＣＣ生成／検
査回路１６によって生成されたディスク装置３１−１の
ブロック３１０−４のデータからブロック３１０−４の
完全なデータを得ることができる。両者の相違点は、ブ
ロック３１０−２では書き込み後のデータが回復される
のに対し、ブロック３１０−４では書き込み前のデータ
が回復される点である。

【００３４】冗長性を有するディスクアレイ制御装置１
ａにおいても、書込み管理表１２１ｆの代わりに不完全
書込み管理表１２３を用いることが可能である。冗長性
を有する場合には、ブロックの書込み状態として正常書
込み状態、回復可能な不完全書込み状態、及び回復不可
能な不完全書込み状態の３つの状態がある。しかし、回
復可能な不完全書込み状態の場合にはどのディスク装置
のデータを回復すべきかを決定するための情報を記憶し
なければならない。これを防ぐために、初期設定時に回
復可能な不完全書込み状態のブロックの回復を先に行
い、その後、不完全書込み管理表の設定を行う。回復可
能な不完全書込みブロックの回復を行った後であれば、
冗長性がないディスクアレイ制御装置の場合と同様に、
ブロックの書込み状態としては、ブロックの書込み状態
は正常書込み状態と回復不可能な不完全書込み状態の２
通りだけとなる。

【００３５】図１７の書込み管理表１２１ｆにおいて、
エントリ１２１０ｆ−２〜４に対応するブロックは不完
全書込み状態であるが、図１８に示すように、エントリ
１２１０ｆ−２とエントリ１２１０ｆ−４にそれぞれ対
応するブロック３１０−２とブロック３１０−４は回復
可能不完全書込み状態である。従って、まずブロック３
１０−２とブロック３１０−４の回復を行う。ブロック
３１０−２とブロック３１０−４が回復された後の書込
み管理表は、例えば図１９に示すように、エントリ１２
１０ｆ−２とエントリ１２１０ｆ−４は全て書込み完了
（Ｃ）または全て書込み指示未発行（Ｕ）となり、正常
な書込み状態を示す。従って、不完全書込み管理表１２
３は図１９に示すように、回復不可能な不完全書込み状
態を示すエントリ１２１０ｆ−３に対応する不完全書込
みフラグ１２３０−３のみが不完全書込み状態（Ｄ）を
示し、他の不完全書込みフラグ１２３０−１〜２、１２
３０−４〜５は正常な書込み状態（Ｎ）を示す。回復可
能な不完全書込みブロックの回復および不完全書込み管
理表１２３の設定が完了したら、書込み管理表１２１ｆ
は解放される。

【００３６】３）第３の実施例図２０に第３の実施例のディスクアレイ制御装置１ｂの
構成を示す。ディスクアレイ制御装置１ｂには、図１３
のディスクアレイ制御装置１ａに、更新番号生成／検査
回路１７が付加されている。その他の部分は図１３に示
す第２の実施例と同様である。図面の簡略化のため、図
２０では、ドライブグル−プ３内のディスク装置３１−
１〜５の記載を省略した。

【００３７】図２１は、デ−タバッファ１３に格納され
ているデータ２００ａをドライブグループ３へ書き込む
際のデータの流れを示す。データ２００ａはレコード２
０００ａ−１〜２から構成されている。レコード２００
０ａ−１〜２がそれぞれＥＣＣ生成／検査回路１６へ入
力されてＥＣＣが生成され、更新番号生成／検査回路１
７によりそれぞれのディスク装置３１−１〜５に対して
同一の値からなる更新番号２００２ａ−１〜２がレコー
ド２０００ａ−１〜２及び生成されたＥＣＣにそれぞれ
付加されて、新たなレコード２００３ａ−１〜２が構成
され、ドライブグループ３に格納される。更新番号生成
／検査回路１７の更新番号レジスタ１７１に記憶された
値が更新番号として出力され、１レコード毎に更新関数
１７２に従ってその値が更新される。図２１には、更新
関数１７２として１の加算（＋１）を使用した例を示
す。図２１では、更新番号レジスタ１７１の初期値をｉ
とし、最初のレコード２００１ａ−１に対しては値ｉが
更新番号２００２ａ−１として付加され、新たなレコ−
ド２００３ａ−１〜２が構成されている場合を示してい
る。

【００３８】図２２に、レコ−ド２００３ａ−１〜２の
入力時における更新番号の検査方法を示す。レコード２
００３ａ−１〜２のうち更新番号２００２ａ−１〜２の
みが更新番号生成／検査回路１７に入力され、更新番号
２００２ａ−１〜２のそれぞれの値が互いに一致するか
否かが検査される。ドライブグループ３を単位として書
き込みが行われるならば、各ディスク装置３１−１〜５
から読み出した同一のブロックアドレスのデータは同一
の更新番号を有するはずである。従って、各ディスク装
置３１−１〜５の同一ブロックアドレスから読み出した
データの更新番号が互いに一致しないならば、書込み中
になんらかの障害が発生してドライブグループ３の一部
のディスク装置にデータが正しく書き込めなかったこと
を示す。次に、図２４及び図２３を用いて、複数のブロ
ックの書込み指示をまとめて発行する場合の処理を説明
する。図２４は、電源断によるディスク装置の書込み中
断を示すタイミング図である。図２４に示すディスク装
置３１−１〜５への書き込みにおいて、書込み指示は３
ブロック単位で行われている。従って、書込み管理表へ
の書込み状態の設定も３ブロック単位で行われなければ
ならない。

【００３９】例えば、タイミング８００ｄにおける書込
み管理表の状態は、図２３に示す書込み管理表１２１の
ようになる。図２３は、ディスク装置への複数ブロック
の書込み指示を行なう際の書込み管理表とディスク装置
への書込み状態の例を示す図である。書込み指示の発行
および書込み完了を３ブロック単位でしか把握できない
ため、書込み指示を発行した時点で書込み状態を３ブロ
ックまとめて書込み中（Ｗ）に設定し、書込み完了が返
ってきた時点で書込み状態を３ブロックまとめて書込み
完了に設定する。従って、図２３の書込み管理表１２１
のように、連続する３ブロック分のエントリ、すなわち
エントリ１２１０ａ−１〜３とエントリ１２１０ａ−４
〜６は同じ書込み状態を持つことになる。

【００４０】図２４のタイミング８００ｄにおいて、電
源が切断されて書き込みが中断した場合、書込み状態は
図２３の書込み管理表１２１のようになる。この書込み
管理表１２１のエントリ１２１０ａ−１〜３より、ブロ
ック３１０ａ−１〜３は回復可能であることがわかる。
しかし、ブロック３１０ａ−４〜６に関しては、エント
リ１２１０ａ−４〜６の内容からは全て回復不可能と判
断される。しかし、実際にはブロック３１０ａ−６はデ
ィスク装置３１−１の部分を除いて書き込み前のデータ
が格納されたままであり、デ−タの回復は可能である。

【００４１】このように、ディスク装置３１−１〜５の
複数ブロックに対してまとめて書込み指示を発行する場
合には、電源切断などにより書き込みが中断した後の書
込み管理表１２１からは回復不可と判断される場合でも
実際は回復できる場合がある。すなわち、書込み管理表
１２１において、書込み状態が書込み中（Ｗ）と表示さ
れている部分は、未書き込みまたは書込み完了である可
能性もある。従って、書込み管理表１２１のエントリ内
に書込み中（Ｗ）があっても、書込み完了（Ｃ）あるい
は書込み指示未発行（Ｕ）の数が冗長度以下ならば回復
の可能性がある。回復の可能性があると判断されたブロ
ックに関しては、実際にそのブロックのデ−タを読みだ
し、読みだしエラーになるか否か、および更新番号の一
致数を判定して回復可能か否かを判断する。実際にデ−
タを読み出して、更新番号が一致している数が、ドライ
ブグループ３のディスク装置数から冗長度を引いた値よ
り大きければ回復可能と判断できる。

【００４２】図２３のブロック３１０ａ−４〜６では、
エントリ１２１０ａ−４〜６より、いずれも書込み完了
（Ｃ）の数が１と冗長度以下であり、ブロック３１０ａ
−４〜６は回復の可能性ありと判断できる。従って、ブ
ロック３１０−４〜６の読み出しを実行する。ブロック
３１０ａ−４では、更新番号が一致している数の最大値
が２であり回復不可と判断する。ブロック３１０ａ−５
もやはり更新番号が一致している数の最大値が３であり
回復不可である。しかし、ブロック３１０ａ−６では、
更新番号が一致している数の最大値が４であり回復可能
と判断される。このような判定は、処理装置からの読み
だし時に行うこともできる。すなわち、初期設定時に回
復可能なブロックについては回復を行い、回復ができな
かったブロックについては読みだし不可のブロックを不
揮発メモリ１２に登録しておき、読みだし時に読みだし
対象ブロックが読みだし不可と登録されていれば処理装
置にエラーを報告することができる。

【００４３】図２５に回復後のドライブグループ３の状
態と不完全書込み管理表１２３ａの設定を示す。ブロッ
ク３１０ａ−１〜３は書き込み後の状態に回復されてお
り、ブロック３１０ａ−６は書き込み前の状態に回復さ
れている。これらのブロックに対応する不完全書込み管
理表１２３ａのエントリがあれば不完全書込みフラグ１
２３０ａ−１〜３、１２３０ａ−６に正常書込み状態を
（Ｎ）設定する。しかし、ブロック３１０ａ−４〜５は
回復不可であり、このブロックに対応する不完全書込み
管理表１２３ａの不完全書込みフラグ１２３０ａ−４〜
５に不完全書込み状態（Ｄ）を設定する。回復可能な不
完全書込み領域の回復と不完全書込み管理表１２３ａの
設定が完了したら、書込み管理表１２１は不要となるの
で、不揮発メモリ１２から消去される。

【００４４】不完全書込みブロックの回復処理を図２６
に示す。図２６において、Ｎはドライブグループを構成
するディスク装置の数、ｎｃはドライブグループ内で書
込み状態が書込み完了（Ｃ）であるディスク装置の数、
ｎｕはドライブグループ内で書込み状態が書込み指示未
発行（Ｕ）であるディスク装置の数、Ｒは冗長度であ
る。ステップ９２０では、ドライブグループの全てのデ
ィスク装置の書込み状態が書込み完了（Ｃ）か書込み指
示未発行（Ｕ）であるかを判定する。書込み状態が全て
書込み完了（Ｃ）または全て書込み指示未発行（Ｕ）で
あるならば、回復の必要はないのでなにもしない。もし
そうでないならば、ステップ９２１で書込み完了（Ｃ）
以外のディスク装置数（Ｎ−ｎｃ）が冗長度Ｒ以下か否
かを判定する。ディスク装置数（Ｎ−ｎｃ）が冗長度Ｒ
以下ならば、ステップ９２６で、書込み完了（Ｃ）のデ
ータを用いてデ−タを回復する。ステップ９２１でディ
スク装置数（Ｎ−ｎｃ）が冗長度Ｒより大きいと判定さ
れたならば、ステップ９２２で、書込み指示未発行
（Ｕ）以外のディスク装置数（Ｎ−ｎｕ）が冗長度Ｒ以
下か否かを判定する。ディスク装置数（Ｎ−ｎｕ）が冗
長度Ｒ以下ならば、処理９２７で書込み指示未発行
（Ｕ）のデータを用いて回復する。ステップ９２２でデ
ィスク装置数（Ｎ−ｎｕ）が冗長度Ｒより大きいと判定
されたならば、ステップ９２３で、書込み完了（Ｃ）の
ディスク数（ｎｃ）が冗長度Ｒより大きく、かつ、書込
み指示未発行（Ｕ）のディスク数（ｎｕ）が冗長度Ｒよ
り大きいか否かを判定する。もしそうならば、ステップ
９２８において回復不可を記録する。ステップ９２３で
そうでないならば、ステップ９２４において、当該ブロ
ックの読み出しを実行する。ステップ９２５において、
読み出した結果の更新番号が一致する数の最大値が、ド
ライブグループのディスク装置数Ｎから冗長度Ｒを引い
た値以上ならば、ステップ９２９において、更新番号が
一致する数が最も多かったデータを用いて回復し、そう
でないならば、ステップ９２８で回復不可を記録する。

【００４５】

【発明の効果】ディスクアレイにおいては、一連のデー
タを複数のディスク装置に分割して格納する。このため
ディスクアレイへの書込み中に電源切断などが発生する
と回転のわずかなずれなどによりディスクアレイを構成
する一部のディスク装置にのみデータが書き込まれ、読
みだしの際に論理的な意味をなさない可能性がある。本
発明では、ディスク装置へのデ−タの書き込み状態を不
揮発メモリに保持しているので、上記のような不完全に
書き込まれた領域を検出して処理装置からの読みだしを
抑止できる。

【図面の簡単な説明】

【図１】第１の実施例のディスクアレイ制御装置を含む
計算機システムの構成図。

【図２】ディスクアレイ制御装置におけるデータの分割
と統合を示す概略図。

【図３】書込み管理表による管理を示す図。

【図４】ディスク装置への分割データの書込みタイミン
グの例と書込み管理表の変化を示す図。

【図５】入力処理における不完全書込み領域の判定を示
す流れ図。

【図６】出力処理における不完全書込み領域の判定を示
す流れ図。

【図７】書込み中断時の不完全書込み領域と書込み管理
表の状態を示す図。

【図８】不完全書込み領域への書き込みによる書込み管
理表の状態の変化を示す図。

【図９】多重バッファリング形式の書込み管理表を示す
図。

【図１０】多重バッファリング形式の書込み管理表を示
す図。

【図１１】リングバッファ形式の書込み管理表を示す
図。

【図１２】不完全書込み管理表の設定を示す図。

【図１３】第２の実施例のディスクアレイ制御装置を含
む計算機システムの構成図。

【図１４】第２の実施例におけるデータの分割とＥＣＣ
データの生成を示す図。

【図１５】第２の実施例におけるデータの統合とＥＣＣ
データの検査を示す図。

【図１６】第２の実施例におけるデータの訂正を示す
図。

【図１７】書込み管理表の設定例を示す図。

【図１８】回復可能な不完全書込み領域の回復を示す
図。

【図１９】不完全書込み領域回復後の書込み管理表の状
態と不完全書込み管理表の設定を示す図。

【図２０】第３の実施例のディスクアレイ制御装置を含
む計算機システムの構成図。

【図２１】第３の実施例における更新番号の付加を示す
図。

【図２２】第３の実施例における更新番号の検査を示す
図。

【図２３】ディスク装置への複数ブロックの書込み指示
を行う際の書込み管理表とディスク装置への書込み状態
の例を示す図。

【図２４】電源断によるディスク装置への書込み中断を
示すタイミング図。

【図２５】回復後のディスク装置の書込み状態と不完全
書込み管理表の設定を示す図。

【図２６】第３の実施例における不完全書込み領域の回
復可能の判定を示す流れ図。

【符号の説明】

１，１ａ〜ｂ：ディスクアレイ制御装置、２：処理装
置、３：ドライブグループ、１１：プロセッサ、１２：
不揮発メモリ、１３：データバッファ、１４：チャネル
インタフェース、１５：ＳＣＳＩインタフェース、１
６：ＥＣＣ生成／検査回路、１７：更新番号生成／検査
回路、３１，３１−１〜５：ディスク装置、１２１，１
２１−１〜２，１２１ａ〜ｆ：書込み管理表、１２２ａ
〜ｂ：リングバッファ形式書込み管理表、１２３：不完
全書込み管理表。

───────────────────────────────────────────────────── フロントページの続き (72)発明者佐藤孝夫神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (72)発明者山本彰神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内 (56)参考文献特開平２−236714（ＪＰ，Ａ) 特開平３−268127（ＪＰ，Ａ) 特開平４−287255（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/06 302 G06F 3/06 301

Claims

(57)【特許請求の範囲】

【請求項１】入出力要求を発行する処理装置と、並列に
動作する複数のデイスク装置とに接続され、前記処理装
置からの出力要求で指定された出力データを分割して前
記複数のデイスク装置に並列に書き込むとともに、前記
処理装置からの入力要求に対して前記複数のデイスク装
置から読み出したデータを統合して前記処理装置に転送
するデイスクアレイ制御装置であって、不揮発メモリと、前記処理装置からの出力要求に応じて、各デイスク装置
のデータの書き込みが行なわれるブロック毎に、デイス
ク装置への書き込みが完了したか、書き込み指示を発行
中であるか、或いは書き込み指示を未発行であるかを識
別する書き込み状態を前記不揮発メモリに記憶する記憶
制御手段とを有することを特徴とするデイスクアレイ制
御装置。
【請求項２】前記処理装置からの入力要求が、書き込み
状態が書き込み指示を発行中であるブロックに対する入
力要求であったことに応じて、読み出し障害を前記処理
装置に報告する報告手段を有する請求項１に記載のデイ
スクアレイ制御装置。
【請求項３】前記処理装置からの入力要求が、前記複数
のデイスク装置の同一のブロックアドレスであって、前
記書き込み状態が書き込みが完了のブロックと、書き込
み指示が未発行であるブロックとを含む領域に対する入
力要求であったことに応じて、読み出し障害を前記処理
装置に報告する報告手段を有する請求項１に記載のデイ
スクアレイ制御装置。
【請求項４】入出力要求を発行する処理装置と、並列に
動作する複数のデイスク装置とに接続され、前記処理装
置からの出力要求で指定された出力データを分割して前
記複数のデイスク装置に並列に書き込むとともに、前記
処理装置からの入力要求に対して前記複数のデイスク装
置から読み出したデータを統合して前記処理装置に転送
するデイスクアレイ制御装置であって、前記処理装置からの出力要求に応じて、当該出力要求に
固有の更新番号を生成する生成手段と、各デイスク装置のデータの書き込みが行なわれるブロッ
ク毎に、書き込みデータに前記更新番号を付加してデイ
スク装置に書き込む書き込み手段と、前記処理装置からの入力要求に応じて、前記複数のデイ
スク装置の同一のブロックアドレスから並列に読み出さ
れたデータに付加された更新番号が一致するかを検査す
る検査手段と、同一のブロックアドレスから並列に読み出されたデータ
に付加された更新番号が一致しないことに応じて、前記
処理装置に読み出し障害を報告する障害報告手段とを有
することを特徴とするデイスクアレイ制御装置。