JP4401895B2

JP4401895B2 - 計算機システム、計算機及びそのプログラム。

Info

Publication number: JP4401895B2
Application number: JP2004232042A
Authority: JP
Inventors: 友理平岩; 晋広牧; 和久宮田; 雅英佐藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-08-09
Filing date: 2004-08-09
Publication date: 2010-01-20
Anticipated expiration: 2024-08-09
Also published as: US7441145B2; JP2006048578A; US20060031709A1

Description

本発明は、リモートコピー機能を有する計算機システムに関し、特にその障害監視技術に関する。

近年の計算機システムでは、使用されるデータの容量が増大し、データの更新頻度も高くなっている。このデータをどのようにバックアップし、また障害発生時にどれだけ迅速に正常稼働状態に復旧できるかが、ストレージ技術における重要課題となっている。これに対する一つの解決策として、磁気ディスクアレイを搭載した記憶サブシステム（外部記憶装置）を遠隔地に複数台設置して、それらの間を通信パスで接続し、一方の記憶サブシステムで更新されたデータを、ホスト計算機を経由せずに、自動的に他の記憶サブシステムにコピーする、リモートコピー技術がある（例えば、特許文献１参照。）。

また、第１ホストグループと、これにネットワークにより結合した第２ホストグループと、第１ホストグループと第２ホストグループに組み込まれ、第１サイトハートビートストレージボリュームと、これに遠隔リンクで結合した第２サイトハートビートストレージボリュームを含む遠隔ミラーとで構成され、第１ホストグループは、ハートビート信号を生成し、ネットワークか遠隔ミラーの少なくとも一つを選択的に使用して、ハートビート信号を第２ホストグループに送信し、第２ホストグループが第１ホストグループから不当なハートビート信号を受信した場合、第２ホストがシステムのオペレーションを司ることによる障害チェック方法が提案されている（例えば、特許文献２参照。）。

また、ホスト計算機と通信パスで接続される第１記憶サブシステムが、他の記憶サブシステムのボリュームペアに対する制御コマンドをホスト計算機から受けた場合、当該制御コマンドを他の記憶サブシステムに転送する。そして、他の記憶サブシステムは、制御コマンドに対する応答を第１記憶サブシステムを介して、ホスト計算機に送信する。これによって、ホスト計算機が、通信パスで直接接続されていないリモートレベルに設置された記憶サブシステムから応答を受ける技術が提案されている（例えば、特許文献３参照。）。
特開２００４−１３３６７号公報特開２００２−３１２１８９号公報米国特許第６５２９９４４号明細書

しかし、ストレージ装置を監視するために、各ストレージ装置にハートビート信号を短い間隔で送信すると、ストレージ装置を監視するサーバの負荷が大きくなり、通常のＩ／Ｏの処理に遅延が生じてしまう。また、このハートビート信号による負荷を軽減するために、ハートビート信号の送信間隔を長くすると、障害発生の検出が遅れてしまう。

また、特許文献３に記載されているように、サーバが、制御コマンドによって各記憶サブシステムのボリュームの状態や、ボリューム間のペアの状態を取得して、障害を検知する場合、各記憶サブシステムから取得した応答をサーバに返すため、ストレージシステムの負荷が増大する。

本発明は、障害監視によるＩ／Ｏ負荷の増大を抑制しつつ、早期に障害を検出する計算機システムの提供を目的とする。

本発明は、第１計算機と第２計算機との間に多段に接続された複数のストレージ装置を備え、前記第１計算機及び前記第２計算機は、制御プログラムが記憶されるメモリと、前記制御プログラムを実行することによって前記各ストレージ装置へのデータ入出力を制御する制御部と、前記各ストレージ装置との間でデータや制御信号を送受信する入出力処理装置とを有する計算機システムであって、前記多段に接続された複数のストレージ装置は、前記第１計算機から、第１のコピーグループを経由して前記第２計算機に至る第１伝送経路と、前記第１計算機から、第２のコピーグループを経由して前記第２計算機に至る第２伝送経路と、を構成し、前記第１計算機は、前記第１伝送経路第１を構成する第１のコピーグループ及び前記第２伝送経路を構成する第２のコピーグループに対して制御用Ｉ／Ｏをそれそれ送信し、前記記第１のコピーグループ及び前記第２のコピーグループの各ストレージ装置は、受信した制御用Ｉ／Ｏを、接続されている他のストレージ装置又は第２計算機に転送し、前記第２計算機は、前記第１伝送経路によって転送される制御用Ｉ／Ｏ、及び前記第２伝送経路によって転送される制御用Ｉ／Ｏを監視し、前記制御用Ｉ／Ｏが転送されない伝送経路があれば、該伝送経路に含まれるストレージ装置に対して状態情報の取得を要求し、該取得した状態情報に基づいて障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置の停止を要求する。

本発明によると、ストレージ装置を監視するサーバの負荷の増大を抑制しつつ、ストレージ装置の障害を監視することができる。

以下、本発明の実施の形態を図面について参照して説明する。

図１は、本発明の第１の実施の形態の計算機システムの構成を示すブロック図である。

第１の実施の形態の計算機システムは、ホスト計算機１００、２００、及び、ストレージ装置３００、３５０、４００、４５０、５００、５５０によって構成されている。

ホスト計算機１００は、ＣＰＵ１０１、メモリ、入出力装置、主記憶装置（ディスク）１０２及び入出力処理装置（ＩＯＰ）１０３が備わるコンピュータ装置である。ホスト計算機２００も、ホスト計算機１００と同様の構成が備わっている。

ホスト計算機（正ホスト）１００の主記憶装置１０２には、制御用Ｉ／Ｏ発行パラメータ１１１、制御用Ｉ／Ｏ発行プログラム１１２及びデータ多重化構成情報１１３（図２）が記憶されている。制御用Ｉ／Ｏ発行プログラム１１２は、ＣＰＵ１０１によって実行され、ストレージ装置３００、３５０に対して障害検知のための制御用Ｉ／Ｏ（例えば、ハートビートＩ／Ｏ）を発行する。

ホスト計算機（副ホスト）２００の主記憶装置２０２には、更新情報反映指示プログラム２１１、制御用Ｉ／Ｏ監視プログラム２１２及びデータ多重化構成情報２１３（図２）が記憶されている。更新情報反映指示プログラム２１１は、ＣＰＵ２０１によって実行され、更新情報反映プログラム４１８（図９）に対して、副更新情報記憶部４１７（図９）に含まれる更新情報の削除を指示する。制御用Ｉ／Ｏ監視プログラム２１２は、ＣＰＵ２０１によって実行され、制御用Ｉ／Ｏ発行プログラム１１２によって発行された制御用Ｉ／Ｏを受信し、ストレージ装置３００、４００、５００等の障害発生を、制御用Ｉ／Ｏの転送経路毎に監視する。

また、ホスト計算機１００、２００には、計算機システムの動作を監視する保守用端末装置（ＳＶＰ：サービスプロセッサ）１２０、２２０が備わっている。

ストレージ装置３００、３５０は、主データセンタに設けられており、ホスト計算機１００と接続されることによって、ホスト計算機１００からデータの入出力がされる。ストレージ装置３００は、ディスク制御装置３１０及びディスクアレイ３２０が備わっており、ディスク制御装置３１０がディスクアレイ３２０へのデータの入出力を制御する。ストレージ装置３５０も、ストレージ装置３００と同じ構成を有する。

ストレージ装置４００、４５０は、主データセンタの比較的近くに設けられた副データセンタ１に設けられている。ストレージ装置４００は、ストレージ装置３００に接続され、ストレージ装置３００からデータが転送される。また、ストレージ装置４５０は、ストレージ装置３５０に接続され、ストレージ装置３５０からデータが転送される。このデータ転送によって、主データセンタのストレージ装置３００、３５０に記憶されるデータが、比較的短い間隔で、副データセンタ１のストレージ装置４００、４５０にコピーされる。ストレージ装置４００、４５０も、ストレージ装置３００と同じ構成を有する。

ストレージ装置５００、５５０は、主データセンタの遠隔地に設けられた副データセンタ２に設けられている。ストレージ装置５００は、ストレージ装置４００に接続され、ストレージ装置４００からデータが転送される。また、ストレージ装置５５０は、ストレージ装置４５０に接続され、ストレージ装置４５０からデータが転送される。このデータ転送によって、副データセンタ１のストレージ装置４００、４５０に記憶されるデータが、比較的長い間隔（主データセンタと副データセンタ１とのリモートコピーよりも長い間隔）で、副データセンタ２のストレージ装置５００、５５０にコピーされる。ストレージ装置５００、５５０も、ストレージ装置３００と同じ構成を有する。

このようにして主データセンタ、副データセンタ１及び副データセンタ２が、複数の伝送経路で多段階にカスケード接続され、主データセンタと副データセンタ１との間のリモートコピー、及び副データセンタ１と副データセンタ２との間のリモートコピーが行われる。この同一の伝送経路内のストレージ装置は同じ構成を有することが望ましいが、別の伝送経路のストレージ装置同士は異なる構成でもよい。

以上説明したリモートコピーには非同期コピーと同期コピーとがあり、本発明の実施の形態では、いずれのタイプのコピーも適用することができるが、望ましくは、主データセンタと副データセンタ１との間は同期コピーを行い、副データセンタ１と副データセンタ２との間は非同期コピーを行うとよい。

なお、図１には、ストレージ装置が２経路で３段カスケード接続されている例を示したが、これと異なる経路数、段数であってもよい。

ホスト計算機１００（制御用Ｉ／Ｏ発行プログラム１１２）から送信された制御用Ｉ／Ｏ信号は、ストレージ装置３００、４００、５００を経由してホスト計算機２００（制御用Ｉ／Ｏ監視プログラム２１２）で受信されるか否かが監視される。同様に、ホスト計算機１００（制御用Ｉ／Ｏ発行プログラム１１２）から送信された制御用Ｉ／Ｏ信号は、ストレージ装置３５０、４５０、５５０を経由してホスト計算機２００（制御用Ｉ／Ｏ監視プログラム２１２）で受信されるか否かが監視される。

そして、制御用Ｉ／Ｏの発行タイミングに対応して制御用Ｉ／Ｏが受信できなければ、そのデータ伝送経路（伝送線やスイッチ）や、その伝送経路上のストレージ装置に障害が発生していると判定できる。また、ホスト計算機１００が、同じ拡張コピーグループのボリュームに対して同一のタイミングで制御用Ｉ／Ｏを発行すれば、ホスト計算機２００（制御用Ｉ／Ｏ監視プログラム２１２）によって、いずれかの伝送経路を経由した制御用Ｉ／Ｏが受信できなければ、そのデータ伝送経路（伝送線やスイッチ）や、その伝送経路上のボリューム（ストレージ装置）に障害が発生していると判定できる。

図２は、第１の実施の形態のデータ多重化構成情報の構成図である。

データ多重化構成情報１１３、２１３は、各々ホスト計算機１００、２００の主記憶装置に記憶されており、いずれも、コピーグループ定義情報１３０（図３）、コピーグループ関連定義情報１５０（図５）及びストレージ装置構成情報１６０（図７）が含まれる。

図３は、第１の実施の形態のコピーグループ定義情報の構成図である。

コピーグループ定義情報１３０には、コピーグループ番号１３１、多重化処理種別識別子１３２、上流グループ番号１３３、下流グループ番号１３４、関連有無フラグ１３５及びペア情報１４０（図４）が含まれている。

コピーグループ番号１３１は、ユーザによって構成されたボリュームのペアの集合体であるコピーグループに付された番号である。コピーグループは、対となる二つのストレージ装置内のボリュームによって構成されている。

多重化処理種別識別子１３２には、当該コピーグループで用いられるコピーの種類が規定される。例えば、本実施の形態では、同期コピーか非同期コピーかが行われるので、このいずれかが規定される。

上流グループ番号１３３及び下流グループ番号１３４は、コピーグループ（ストレージ装置）のカスケード構造を示す。具体的には、上流グループ番号１３３は、自コピーグループに対してコピー元となるコピーグループの番号である。なお、上流グループ番号１３３が「なし」の場合には、自コピーグループの上流にはコピー元となるストレージ装置が設けられておらず、ホスト計算機から直接当該コピーグループのペア情報に記述されたコピー元ボリュームに対してデータが書き込まれていることを示す。また、下流グループ番号１３４は、自コピーグループに対してコピー先となるコピーグループの番号である。なお、下流グループ番号１３４が「なし」の場合には、自コピーグループの下流にはコピー先となるストレージ装置が設けられておらず、伝送経路の終端に位置する装置であることを示す。

関連有無フラグ１３５は、自コピーグループが拡張コピーグループに属しているか否かを示す。

図４は、第１の実施の形態のペア情報の構成図である。

ペア情報１３６は、コピー元ボリュームとコピー先ボリュームとの関係を表すもので、コピー元ボリューム番号１４１、コピー元ストレージ装置番号１４２、コピー元ボリュームシリアル番号１４３、コピー先ボリューム番号１４４、コピー先ストレージ装置番号１４５及びコピー先ボリュームシリアル番号１４６が含まれている。

コピー元ストレージ装置番号１４２は、コピー元ボリューム番号１４１に示されるボリュームが属するストレージ装置の番号である。コピー先ストレージ装置番号１４５は、コピー先ボリューム番号１４４に示されるボリュームが属するストレージ装置の番号である。

ボリュームシリアル番号１４３、１４６は、ホストからのＩ／Ｏ発行に用いられる識別子である。

図５は、第１の実施の形態のコピーグループ関連定義情報の構成図である。

コピーグループ関連定義情報１５０は、コピーグループと拡張コピーグループとの関係を規定するもので、拡張コピーグループ番号と、当該拡張コピーグループに属しているコピーグループの番号が規定されている。具体的には図１０に示す場合には、拡張コピーグループ「０１」には、コピーグループ「０１」及びコピーグループ「０５」が含まれている。

なお、前述したように、コピーグループは、対となる二つのストレージ装置内のボリュームによって構成されており、同一段階の複数のストレージ装置に跨ることはないが、拡張コピーグループは、コピーグループの集合体であり、同一段階の複数のストレージ装置（例えば、他の伝送経路のストレージ装置）を含んで定義することができる。

図６は、第１の実施の形態の制御用Ｉ／Ｏ発行パラメタの構成図である。

制御用Ｉ／Ｏ発行パラメタ１１１には、拡張コピーグループ毎に、制御用Ｉ／Ｏの発行タイミングとして、ホスト計算機１００からハートビートＩ／Ｏを何秒毎に発行するかが規定されている。制御用Ｉ／Ｏ発行パラメタ１１１は、ホスト計算機ＳＶＰ１２０から入力したり、副側のホスト計算機ＳＶＰ２２０から図示しないネットワークを介して入力することができるが、他の装置から入力された情報の転送を受けて設定してもよい。

図７は、第１の実施の形態のストレージ装置構成情報の構成図である。

ストレージ装置構成情報１６０には、データセンタ毎にストレージ装置の構成が規定されている。具体的には、主データセンタには装置番号「１」のストレージ装置と、装置番号「２」のストレージ装置とが設けられている。また、装置番号「１」のストレージ装置には、ボリューム番号「０１」のボリューム、ボリューム番号「０２」のボリューム、及びボリューム番号「０３」のボリュームが設けられており、各ボリュームのボリュームシリアル番号も記録されている。さらに、他のデータセンタ、ストレージ装置及びボリュームについても同様にそれらの関係が規定されている。

図８は、第１の実施の形態のホスト計算機１００によって発行されるＩ／Ｏの構成図である。

ホスト計算機１００は、ストレージ装置３００、３５０に対して、ライト要求６００を発行する。ライト要求６００には、ライト時刻６０１及びライト情報６０２が含まれている。

ライト時刻６０１は、ホスト計算機１００から当該ライト要求６００が発行された時刻を示すタイムスタンプであり、ホスト計算機１００がストレージ装置３００等にライト要求６００を発行するときに付与される。ライト情報６０２は、ストレージ装置３００に書き込まれるデータそのもの、書き込まれるデータ長、及び書き込み対象のボリューム番号とアドレスによって構成されている。

また、ライト情報６０２には、当該ライト要求６００が制御用Ｉ／Ｏか否かを判定する識別子を格納する制御用Ｉ／Ｏ識別子領域６０３が設けられている。例えば、制御用Ｉ／Ｏ識別子領域６０３に「０」が格納されている場合は、ライト要求６００は通常Ｉ／Ｏである。一方、制御用Ｉ／Ｏ識別子領域６０３に「０」以外の値が格納されている場合は、ライト要求６００は制御用Ｉ／Ｏである。ライト要求６００は制御用Ｉ／Ｏである場合に、制御用Ｉ／Ｏ識別子領域６０３に格納される値は、１〜５のシーケンス番号を１回の制御用Ｉ／Ｏ発行毎に順番に利用して（ラウンドロビンさせて）記入するとよい。

また、ライト情報６０２には、当該ライト要求６００をどのボリュームのどこに書き込むかを示すデータ書込位置６０４が設けられている。

ホスト計算機１００は、ライト要求６００を発行し、ライト要求６００をストレージ装置３００等へ送信する。ライト要求のうち制御用Ｉ／Ｏは、ライトデータをボリューム３２１等に格納するためではなく、副データセンタのストレージ装置４００、４５０等の障害を検出するために発行されるＩ／Ｏである。よって、ライト情報６０２の制御用識別子６０３以外の情報は意味のないダミーデータである。従って、第１の実施の形態では、制御用Ｉ／Ｏから、データ書込位置６０４等の無用な情報は省略してもよい。すなわち、制御用Ｉ／Ｏは、いわばダミーのライト要求である。

なお、この制御用Ｉ／Ｏに、ストレージ装置に実際に書き込まれるデータを含めて、ストレージ装置に対してデータを書き込むと共に、障害を検知するようにしてもよい。

図９は、第１の実施の形態のストレージ装置の構成を示すブロック図である。図９には、ストレージ装置４００の構成を例示するが、他のストレージ装置３００、３５０、４５０、５００、５５０も同じ構成を有する。

ストレージ装置４００等は、ディスク制御装置４１０及びディスクアレイ４２０によって構成されている。

ディスク制御装置４１０には、ＣＰＵ、メモリ及びインターフェースが設けられている。メモリには制御プログラムが記憶されており、ＣＰＵが制御プログラムを実行することによって、ホスト計算機１００等の計算機又は他のストレージ装置からの要求に基づいてディスクアレイ４２０に対するデータの入出力を制御する。また、メモリには、ディスクアレイ４２０に入出力されるデータを一時的に記憶するキャッシュが設けられている。

ディスク制御装置４１０は、ストレージ装置４００がコピー元となる場合に機能する正ライト要求受領プログラム４１１、更新情報送出プログラム４１２、正更新情報記憶部４１３、及び副ボリューム対応表４１４を有する。

正ライト要求受領プログラム４１１は、ＣＰＵによって実行され、ホスト計算機１００によって発行されるライト要求を受信するライト要求受領処理（図１２）を行う。すなわち、正ライト要求受領プログラム４１１は、ストレージ装置が主データセンタに設置され、ホスト計算機１００と直接接続される場合（ストレージ装置３００、３５０の場合）に機能する。

更新情報送出プログラム４１２は、ＣＰＵによって実行され、リモートコピー対象のボリュームがストレージ装置４００に存在するとき、正更新情報記憶部４１３に格納された更新情報を、更新情報に含まれるライト時刻６０１の古い順に（ライト要求６００の発行順に）、コピー先ストレージ装置５００に送る。ここで、更新情報は、ストレージ装置３００がホストから受け取ったライト要求６００に、コピー先の副ボリュームＩＤを付加した情報である（図１２のＳ１１２）。

正更新情報記憶部４１３は、ボリュームに反映した更新情報又は受信したライト命令から生成された更新情報が、更新情報に含まれるライト時刻６０１の古い順に（すなわち、ライト要求６００の発行順に）格納される。

副ボリューム対応表４１４は、ライト情報６０２に含まれるデータ書込先ストレージ装置番号に対応するコピー先ストレージ装置番号を求める対応表である。

さらに、ディスク制御装置４１０は、ストレージ装置がコピー先となる場合に機能する更新情報受領プログラム４１５、最新時刻報告プログラム４１６、副更新情報記憶部４１７及び更新情報反映プログラム４１８を有し、これらのプログラム４１５、４１６、４１８はＣＰＵによって実行される。

更新情報受領プログラム４１５は、更新情報に含まれるライト時刻６０１の古い順に（すなわち、ライト要求６００の発行順に）、更新情報を副更新情報記憶部４１７に格納する。具体的には、接続されているコピー元ストレージ装置３００から送られた更新情報を、更新情報に含まれるライト時刻６０１の古い順に並べて副更新情報記憶部４１７に格納し、コピー元ストレージ装置３００に対して完了を報告する。

最新時刻報告プログラム４１６は、更新情報反映指示プログラム２１１からの指示を受け、副更新情報記憶部４１７に格納されている更新情報のうち、最も新しい更新情報のライト時刻６０１を更新情報反映指示プログラム４１８に送信する。

副更新情報記憶部４１７は、コピー元ストレージ装置３００から受信した更新情報が、更新情報に含まれるライト時刻６０１の古い順に（すなわち、ライト要求６００の発行順に）格納される。

更新情報反映プログラム４１８は、更新情報反映指示プログラム２１１からの指示に基づいて、副更新情報記憶部４１７に含まれる更新情報のうち、指示された基準時刻以前のライト時刻６０１を持つ更新情報をボリュームに反映し、反映した更新情報を副更新情報記憶部４１７から削除する。

ホスト計算機１００からストレージ装置３００にライト要求６００が発行されると、ライト要求６００に含まれるライト時刻６０１及びライト情報６０２が抽出される。ストレージ装置３００は、ライト時刻６０１を用いて、複数のライト要求６００を時間順に並べることができる。ホスト計算機１００が複数設けられている場合でも、（例えば共通のタイムサーバを用いて）時刻情報を共通化することによって、異なるホスト計算機１００から発行されたライト要求６００も時間順に並べることができる。

ディスクアレイ４２０は、複数の物理的ディスクドライブによって構成されている。ディスクドライブには、ＯＳが単一のディスクとして認識できる単位である論理ボリュームが設定されている。また、論理ボリュームはＲＡＩＤ（Redundant Array of Independent Disks）によって構成されており、同時に複数のディスクドライブにデータを読み書きすることによって、ディスクへのアクセスを高速化し、また、データに冗長性を持たせて記憶している。このため、ディスクドライブの一部に障害が生じても、記憶されたデータが消失しないようになっている。なお、論理ボリュームは、それぞれがＲＡＩＤのようなディスクアレイ（複数の記憶装置の集合体）であっても、一つのディスクドライブであっても、単独又は複数の記憶装置の一部であってもよい。

また、ストレージ装置４００には、計算機システムの動作を監視する保守用端末装置（ＳＶＰ：サービスプロセッサ）４３０が備わっている。

図１０は、第１の実施の形態のリモートコピー処理の概念図である。

主データセンタの装置番号「１」のストレージ装置３００は、ボリューム「０１」、ボリューム「０２」、及びボリューム「０３」によって構成されている。副データセンタ１の装置番号「５」のストレージ装置４００は、ボリューム「１１」、ボリューム「１２」、及びボリューム「１３」によって構成されている。

ストレージ装置３００の各ボリュームは、ストレージ装置４００の各ボリュームとペアを構成しており、これらのボリュームでコピーグループ「０１」が構成されている。すなわち、ボリューム「０１」、「０２」、「０３」に記憶されたデータは、ボリューム「１１」、「１２」、「１３」にコピーされる。

また、主データセンタの装置番号「２」のストレージ装置３５０は、ボリューム「０５」、ボリューム「０６」、及びボリューム「０７」によって構成されている。副データセンタ１の装置番号「８」のストレージ装置４５０は、ボリューム「１５」、ボリューム「１６」、及びボリューム「１７」によって構成されている。

ストレージ装置３５０のボリューム「０５」は、ストレージ装置４５０のボリューム「１５」とペアを構成しており、これらのボリュームでコピーグループ「０５」が構成されている。また、ストレージ装置３５０のボリューム「０６」、「０７」は、装置番号「８」のストレージ装置４５０のボリューム「１６」、「１７」と各々ペアを構成しており、これらのボリュームでコピーグループ「０９」が構成されている。すなわち、ボリューム「０５」、「０６」、「０７」に記憶されたデータは、ボリューム「１５」、「１６」、「１７」にコピーされるが、これらのボリュームは、異なるコピーグループに属する。

同様に、副データセンタ１のストレージ装置４００、４５０のボリュームと、副データセンタ２のストレージ装置５００、５５０のボリュームとはペアを構成しており、コピーグループ、拡張コピーグループが構成されている。

図１１は、第１の実施の形態の制御用Ｉ／Ｏ発行処理のフローチャートであり、制御用Ｉ／Ｏ発行プログラム１１２によって実行される。

まず、制御用Ｉ／Ｏ発行パラメタを参照して、処理すべきコピーグループの発行インターバル情報を取得する（Ｓ１０１）。そして、コピーグループ関連定義情報１３０のペア情報１４０を参照して、処理対象のコピーグループに属するペアのコピー元ストレージ装置番号とコピー先ストレージ装置番号を全て取得する（Ｓ１０２）。そして、装置番号を取得したストレージ装置毎に、コピーグループ定義情報１３０のペア情報１４０に記述されたボリュームを選択し、選択されたボリュームに対して制御用Ｉ／Ｏ識別子領域６０３に「０」を格納した制御用Ｉ／Ｏを発行する（Ｓ１０３）。

その後、制御用Ｉ／Ｏ発行停止要求を監視する（Ｓ１０４）。このとき、ＳＶＰ１２０から入力された制御用Ｉ／Ｏ発行停止要求を受信すると、この処理を終了する（Ｓ１０６）。一方、制御用Ｉ／Ｏ発行停止要求を受信しなければ、次の制御用Ｉ／Ｏ発行処理の起動タイミングまで待機して、ステップＳ１０２に戻る（Ｓ１０５）。

図１２は、第１の実施の形態のライト要求受領処理のフローチャートであり、正ライト要求受領プログラム４１１によって実行される。

ホスト計算機１００からのライト要求６００を受信すると、受信したライト要求６００中のライト情報６０２に含まれるボリュームＩＤを抽出し、副ボリューム対応表４１４を参照して、ライト情報６０２で指定されたデータ書込先ボリュームに対応する副ボリュームＩＤを取得する（Ｓ１１１）。

次に、取得した副ボリュームＩＤをライト要求６００に付加して、更新情報を作成する（Ｓ１１２）。次に、更新情報に含まれるライト時刻６０１の古い順に、作成した更新情報を並べて、正更新情報記憶部４１３に格納する（Ｓ１１３）。

次に、ライト要求６００が制御用Ｉ／Ｏであるか否かを判定する（Ｓ１１４）。ライト要求６００の制御用Ｉ／Ｏ識別子領域６０３が「０」でなければ、当該ライト要求は制御用Ｉ／Ｏなので、ボリュームに対してデータを書き込む必要がないと判定し、ステップＳ１１６に移行する。

一方、ライト要求６００の制御用Ｉ／Ｏ識別子領域６０３が「０」であれば、当該ライト要求は制御用Ｉ／Ｏではないので（通常Ｉ／Ｏなので）、ライト要求６００によって指示されたボリュームに対してデータを書き込む（Ｓ１１５）。

その後、ホスト計算機１００に対してライト要求６００が完了したことを報告する。

このように、正更新情報記憶部４１３には、ライト要求６００の発行順に、ライト要求６００に対応する更新情報が格納される。

図１３は、第１の実施の形態の更新情報送出処理のフローチャートであり、更新情報送出プログラム４１２によって実行される。

まず、更新情報に含まれるライト時刻６０１が古い順に、正更新情報記憶部４１３から更新情報を読み出す（Ｓ１２１）。そして、読み出した更新情報を、接続されたコピー先ストレージ装置に送信する（Ｓ１２２）。その後、コピー先ストレージ装置から完了報告が返信されてくるのを待つ（Ｓ１２３）。コピー先ストレージ装置からの完了報告を受信すると、正更新情報記憶部４１３から読み出した更新情報を削除し（Ｓ１２４）、ステップＳ１２１に戻る。

このように、正更新情報記憶部４１３に格納された更新情報は、更新情報に含まれるライト時刻６０１の古い順に（すなわち、ライト要求６００の発行順に）、コピー先副ストレージ装置に送られる。

図１４は、第１の実施の形態の更新情報反映処理のフローチャートであり、更新情報反映プログラム４１８によって実行される。

更新情報反映処理では、副更新情報記憶部４１７に格納されている更新情報のうち、制御用Ｉ／Ｏ識別子領域６０３を参照して、制御用Ｉ／Ｏであるかを判断する（Ｓ１３０）。その判定の結果、制御用Ｉ／Ｏである場合は、更新情報はボリュームに反映されない。一方、制御用Ｉ／Ｏでない場合は、指示された基準時刻以前のライト時刻６０１を有する更新情報をボリュームに反映する（Ｓ１３１）。

そして、ステップＳ１３１でボリュームに反映した更新情報を、副更新情報記憶部４１７から削除する（Ｓ１３２）。

図１５は、第１の実施の形態の制御用Ｉ／Ｏ監視処理のフローチャートであり、制御用Ｉ／Ｏ監視プログラム２１２によって実行される。

まず、コピーグループ定義情報１３０から求めたグループ内の各ディスク毎に、制御用Ｉ／Ｏが到着しているかを監視する（Ｓ１４１）。その結果、グループ内のすべてのディスクに制御用Ｉ／Ｏが到着していれば、更新情報をボリュームに反映する（Ｓ１４６）。

一方、グループ内のいずれかのディスクに制御用Ｉ／Ｏが到着しなければ、到着していない制御用Ｉ／Ｏの伝送経路であるディスク群の状態情報を問い合わせ、これらのストレージ装置の状態情報を取得して、障害ペアを特定する（Ｓ１４３）。各ストレージ装置は接続されているストレージ装置の状態（サスペンドか、デュープレックスか）の情報を保有しているので、下流側から順にストレージ装置の状態を問い合わせることによって、どのストレージ装置が障害状態で停止しているかの情報を取得することができる。なお、このとき、障害箇所の他に、障害原因を特定してもよい。

そして、コピーグループ定義情報１３０を参照して、障害箇所のペアが属するグループ内の他のペアの情報を取得し、当該グループ内のディスクに対してサスペンドを指示する（Ｓ１４４）。そして、更新情報反映プログラム４１８に対して、該当するコピーグループの更新情報反映処理の停止を指示する（Ｓ１４５）。このようにして、障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置が行う処理が停止する。なお、ストレージ装置が行う処理を停止することなく、ストレージ装置間のデータ送受信（データコピー）を停止してもよい。

以上説明したように、従来のリモートコピーでは、ストレージ装置を監視するために、各ストレージ装置にハートビート信号を短い間隔で送信すると、ストレージ装置を監視するサーバの負荷が大きくなり、通常のＩ／Ｏの処理に遅延が生じてしまう。特に、第１の実施の形態のようにディスク装置が多段にカスケード接続される場合には、全てのハートビート信号が最初に接続されるディスク装置３００、３５０を経由することから、これらのディスク装置にＩ／Ｏ負荷が集中する。すなわち、従来技術では、最初に接続されるディスク装置より先のペア情報（１個の状態情報取得は、書き込みと読み出しの１対が必要）も、最初に接続されるディスク装置経由で取得するために、Ｉ／Ｏ負荷が特定のディスク装置に集中する。

一方、ハートビート信号による負荷を軽減するために、ハートビート信号の送信間隔を長くすると、障害発生の検出が遅れてしまう。特に、第１の実施の形態のように複数のストレージ装置が並列的に接続される場合に、一部のストレージ装置に障害が発生したときでも、他のストレージ装置のサスペンドが遅れてしまい、サスペンドが発生しなかったストレージ装置ではデータコピーが続くことから、データの整合性が破綻する。

しかし、第１の実施の形態では、カスケード接続されたストレージ装置３００等に対して、ホスト計算機１００から制御用Ｉ／Ｏを送ることによって、ストレージ装置の負荷の増大を抑制しつつ、ストレージ装置の障害を監視することができる。さらに、障害発生時に、コピー先のストレージ装置との整合性を保ちつつ、未更新データが過剰に蓄積されることを防止できる。

次に、本発明の第２の実施の形態について説明する。

第２の実施の形態の計算機システムは、第１の実施の形態の計算機システムと異なり、ストレージ装置のボリュームに制御用Ｉ／Ｏ書込部が設けられている点が異なる。なお、前述した第１の実施の形態と同じ構成には同じ符号を付し、その詳細な説明は省略する。

図１６は、本発明の第２の実施の形態の計算機システムの構成を示すブロック図である。

第２の実施の形態では、ストレージ装置３００等のボリューム３２１等に制御用Ｉ／Ｏ書込部３２２等が設けられている。また、第２の実施の形態では、制御用Ｉ／Ｏに制御用Ｉ／Ｏ識別子領域６０３を設けることは必ずしも必要ない。データ書込位置６０４によって、制御用Ｉ／Ｏ書込部３２２の位置を示している。従って、正ホスト計算機１００から発行される通常のＩ／Ｏ及び制御用Ｉ／Ｏの双方とも、前述した第１の実施の形態のライト要求６００（図８）から制御用Ｉ／Ｏ識別子領域６０３を除いた構成とすればよい。

第２の実施の形態においても、第１の実施形態と同様に、正ホスト計算機１００からストレージ装置３００に対して制御用Ｉ／Ｏが発行される。しかし、第２の実施の形態では、正ホスト計算機１００は、制御用Ｉ／Ｏに含まれる書き込みデータが、ボリューム３２１内に設けられた制御用Ｉ／Ｏ書込部３２２に格納されるように、ライト要求にデータ書込位置６０４が設定された制御用Ｉ／Ｏを発行する。この制御用Ｉ／Ｏ書込部３２２に書き込まれる制御用Ｉ／Ｏには、ライト時刻６０１及び制御用Ｉ／Ｏが識別可能なシーケンス番号が含まれていればよい。

従って、ストレージ装置３００は、第１の実施の形態の更新情報反映処理と異なり、制御用Ｉ／Ｏ更新情報か否かの判定処理（図１４のＳ１３０）を実行しない。すなわち、ストレージ装置３００は、制御用Ｉ／Ｏに設定されたデータ書込位置６０４を参照し、このデータ書込位置６０４に示されたボリュームに設けられたデータ書込位置（制御用Ｉ／Ｏ書込部３２２）に、制御用Ｉ／Ｏを格納する。

このように第２の実施の形態では、ホスト計算機１００及び上位ストレージ装置（コピー元ストレージ装置）からの制御用Ｉ／Ｏが、制御用Ｉ／Ｏ書込部４２２に書き込まれる。これにより受信したＩ／Ｏが通常Ｉ／Ｏか、制御用Ｉ／Ｏかの振り分け処理（図１２のＳ１１４）が不要となり、ストレージ装置の処理負荷の増大を抑制することができる。

本発明の第１の実施の形態のストレージシステムのブロック図である。本発明の第１の実施の形態のデータ多重化構成情報の構成図である。本発明の第１の実施の形態のコピーグループ定義情報の構成図である。本発明の第１の実施の形態のペア情報の構成図である。本発明の第１の実施の形態のコピーグループ関連定義情報の構成図である。本発明の第１の実施の形態の制御用Ｉ／Ｏ発行パラメタの構成図である。本発明の第１の実施の形態のストレージ装置構成情報の構成図である。本発明の第１の実施の形態のライト要求の構成図である。本発明の第１の実施の形態のストレージ装置の構成を示すブロック図である。本発明の第１の実施の形態のコピーグループの概念図である。本発明の第１の実施の形態の制御用Ｉ／Ｏ発行処理のフローチャートである。本発明の第１の実施の形態のライト要求受領処理のフローチャートである。本発明の第１の実施の形態の更新情報送出処理のフローチャートである。本発明の第１の実施の形態の更新情報反映処理のフローチャートである。本発明の第１の実施の形態の制御用Ｉ／Ｏ監視処理のフローチャートである。本発明の第２の実施の形態の計算機システムの構成を示すブロック図である。

符号の説明

１００ホスト計算機（正ホスト）
１１１制御用Ｉ／Ｏ発行パラメタ
１１２制御用Ｉ／Ｏ発行プログラム
１１３データ多重化構成情報
２００ホスト計算機（副ホスト）
２１１更新情報反映指示プログラム
２１２制御用Ｉ／Ｏ監視プログラム
２１３データ多重化構成情報
３００、３５０ストレージ装置（主データセンタ）
４００、４５０ストレージ装置（副データセンタ１）
５００、５５０ストレージ装置（副データセンタ２）

Claims

第１計算機と接続され、通常運用に供される第１ストレージ装置と、
前記第１ストレージ装置と接続され、前記第１ストレージ装置に記憶されるデータの複製を記憶する第２ストレージ装置と、
前記第２ストレージ装置と接続され、前記第２ストレージ装置に記憶されるデータの複製を記憶する第３ストレージ装置と、
前記第１計算機と接続され、通常運用に供される第４ストレージ装置と、
前記第４ストレージ装置と接続され、前記第４ストレージ装置に記憶されるデータの複製を記憶する第５ストレージ装置と、
前記第５ストレージ装置と接続され、前記第５ストレージ装置に記憶されるデータの複製を記憶する第６ストレージ装置と、
前記第３ストレージ装置及び前記第６ストレージ装置と接続される第２計算機とを含み、
前記第１計算機から、前記第１ストレージ装置、前記第２ストレージ装置及び前記第３ストレージ装置を経由して前記第２計算機に至る第１伝送経路と、前記第１計算機から、前記第４ストレージ装置、前記第５ストレージ装置及び前記第６ストレージ装置を経由して前記第２計算機に至る第２伝送経路とを備え、
前記第１計算機及び前記第２計算機の各々は、制御プログラムが記憶されるメモリと、前記制御プログラムを実行することによって前記各ストレージ装置へのデータ入出力を制御する制御部と、前記各ストレージ装置との間でデータや制御信号を送受信する入出力処理装置とを有する計算機システムであって、
前記第１計算機は、前記第１伝送経路及び前記第２伝送経路に対して制御用Ｉ／Ｏを送信し、
前記各ストレージ装置は、受信した制御用Ｉ／Ｏを、接続されている他のストレージ装置又は第２計算機に転送し、
前記第２計算機は、
前記第１伝送経路によって転送される制御用Ｉ／Ｏ、及び前記第２伝送経路によって転送される制御用Ｉ／Ｏを監視し、
前記制御用Ｉ／Ｏが転送されない伝送経路があれば、該伝送経路に含まれるストレージ装置に対して状態情報の取得を要求し、
該取得した状態情報に基づいて障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置の停止を要求する計算機システム。
第１計算機と第２計算機との間に多段に接続された複数のストレージ装置を備え、
前記第１計算機及び前記第２計算機は、制御プログラムが記憶されるメモリと、前記制御プログラムを実行することによって前記各ストレージ装置へのデータ入出力を制御する制御部と、前記各ストレージ装置との間でデータや制御信号を送受信する入出力処理装置とを有する計算機システムであって、
前記多段に接続された複数のストレージ装置は、
前記第１計算機から、第１のコピーグループを経由して前記第２計算機に至る第１伝送経路と、
前記第１計算機から、第２のコピーグループを経由して前記第２計算機に至る第２伝送経路と、を構成し、
前記第１計算機は、前記第１伝送経路第１を構成する第１のコピーグループ及び前記第２伝送経路を構成する第２のコピーグループに対して制御用Ｉ／Ｏをそれそれ送信し、
前記第１のコピーグループ及び前記第２のコピーグループの各ストレージ装置は、受信した制御用Ｉ／Ｏを、接続されている他のストレージ装置又は第２計算機に転送し、
前記第２計算機は、
前記第１伝送経路によって転送される制御用Ｉ／Ｏ、及び前記第２伝送経路によって転送される制御用Ｉ／Ｏを監視し、
前記制御用Ｉ／Ｏが転送されない伝送経路があれば、該伝送経路に含まれるストレージ装置に対して状態情報の取得を要求し、
該取得した状態情報に基づいて障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置の停止を要求する計算機システム。
前記第１のコピーグループ及び前記第２のコピーグループの各ストレージ装置は、前記第１計算機から送信されたＩ／Ｏが書き込まれるボリュームを有し、
複製データを供給するストレージ装置のコピー元ボリュームと、前記複製データを記憶するストレージ装置のコピー先ボリュームとによってコピーグループが構成されており、
前記制御用Ｉ／Ｏは、前記コピーグループを構成するコピー元ボリュームから、当該コピーグループのコピー先ボリュームに転送されることによって、前記各伝送経路を伝わる請求項２に記載の計算機システム。
前記第１のコピーグループ及び前記第２のコピーグループは、複数の前記コピー元ボリューム及び複数の前記コピー先ボリュームを含み、
前記第１計算機は、前記複数のコピー元ボリュームに対して制御用Ｉ／Ｏを送信し、
前記第２計算機は、前記コピーグループに属する各コピー先ボリュームに制御用Ｉ／Ｏが到着しているか否かを監視する請求項３に記載の計算機システム。
前記第２計算機は、前記制御用Ｉ／Ｏが、当該コピーグループ内のいずれかのコピー先ボリュームに到着していなければ、当該到着していない制御用Ｉ／Ｏの伝送経路に含まれるストレージ装置に対して状態情報を要求する請求項３または４に記載の計算機システム。
前記第２計算機は、前記取得した状態情報に基づいて障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置によるコピーの停止を要求する請求項５に記載の計算機システム。
前記各ストレージ装置は、
前記第１計算機から送信されたＩ／Ｏが書き込まれるボリュームを有し、
受信したＩ／Ｏが通常のＩ／Ｏであれば、該Ｉ／Ｏを前記ボリュームに反映し、所定のタイミングで接続されている他のストレージ装置に転送し、
受信したＩ／Ｏが制御用Ｉ／Ｏであれば、該Ｉ／Ｏを前記ボリュームに反映することなく、接続されている次段のストレージ装置又は前記第２計算機に転送する請求項２に記載の計算機システム。
前記各ストレージ装置は、前記第１計算機から送信されたＩ／Ｏが書き込まれるボリュームを有し、
前記ボリュームには、通常のＩ／Ｏが書き込まれる通常Ｉ／Ｏ書込領域と、制御用Ｉ／Ｏが書き込まれる制御用Ｉ／Ｏ書込領域とを備え、
前記第１計算機は、前記通常Ｉ／Ｏ書込領域に通常のＩ／Ｏを書き込み、前記制御用Ｉ／Ｏ書込領域に制御用Ｉ／Ｏを書き込む請求項２に記載の計算機システム。
正ホスト計算機に対して多段に接続された複数のストレージ装置のうち、終段のストレージ装置に接続され、
制御プログラムが記憶されるメモリと、前記制御プログラムを実行することによって前記各ストレージ装置へのデータ入出力を制御する制御部と、前記各ストレージ装置との間でデータや制御信号を送受信する入出力処理装置とを有する副ホスト計算機であって、
前記多段に接続された複数のストレージ装置は、
前記正ホスト計算機から、第１のコピーグループを経由して前記副ホスト計算機に至る第１伝送経路と、
前記正ホスト計算機から、第２のコピーグループを経由して前記副ホスト計算機に至る第２伝送経路と、を構成し、
前記第１伝送経路を構成する第１のコピーグループ及び前記第２伝送経路を構成する第２のコピーグループの各ストレージ装置は、前記正ホスト計算機から受信した制御用Ｉ／Ｏを、接続されている他のストレージ装置又は副ホスト計算機に転送し、
前記副ホスト計算機は、
前記第１伝送経路によって転送される制御用Ｉ／Ｏ、及び前記第２伝送経路によって転送される制御用Ｉ／Ｏを監視し、
前記制御用Ｉ／Ｏが転送されない伝送経路があれば、該伝送経路に含まれるストレージ装置に対して状態情報の取得を要求し、
該取得した状態情報に基づいて障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置の停止を要求する副ホスト計算機。
前記各ストレージ装置は、前記正ホスト計算機から送信された制御用Ｉ／Ｏが書き込まれるボリュームを有し、
複製データを供給するストレージ装置のコピー元ボリュームと、前記複製データを記憶するストレージ装置のコピー先ボリュームとによって前記第１及び第２のコピーグループが構成されており、
前記制御用Ｉ／Ｏは、前記第１及び第２のコピーグループを構成するコピー元ボリュームから、当該コピーグループのコピー先ボリュームにそれぞれ転送されることによって、前記各伝送経路を伝わる請求項９に記載の副ホスト計算機。
前記第１及び第２のコピーグループは、複数の前記コピー元ボリューム及び複数の前記コピー先ボリュームを含み、
副ホスト計算機は、前記第１及び第２のコピーグループに属する各コピー先ボリュームに、前記正ホスト計算機によって送信された制御用Ｉ／Ｏが到着しているか否かを監視する請求項９に記載の副ホスト計算機。
前記制御用Ｉ／Ｏが、前記第１または第２のコピーグループ内のいずれかのコピー先ボリュームに到着していなければ、当該到着していない制御用Ｉ／Ｏの伝送経路に含まれるストレージ装置に対して状態情報を要求する請求項９に記載の副ホスト計算機。
前記取得した状態情報に基づいて障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置が行うコピーの停止を要求する請求項１２に記載の副ホスト計算機。
第１計算機と第２計算機との間に、多段に接続された複数のストレージ装置を備える計算機システムに設けられ、制御プログラムが記憶されるメモリと、前記制御プログラムを実行することによって前記各ストレージ装置へのデータ入出力を制御する制御部と、前記各ストレージ装置との間でデータや制御信号を送受信する入出力処理装置とを有する第２計算機に以下の手順を実行させるためのプログラムであって、
前記多段に接続された複数のストレージ装置は、
前記第１計算機から、第１のコピーグループを経由して前記第２計算機に至る第１伝送経路と、
前記第１計算機から、第２のコピーグループを経由して前記第２計算機に至る第２伝送経路と、を構成し、
前記第１計算機から送信され、前記第１伝送経路によって転送される制御用Ｉ／Ｏ、及び前記第２伝送経路によって転送される制御用Ｉ／Ｏを監視する第１手順と、
前記制御用Ｉ／Ｏが転送されない伝送経路があれば、該伝送経路に含まれるストレージ装置に対して状態情報の取得を要求する第２手順と、
該取得した状態情報に基づいて障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置の停止を要求する第３の手順を含むプログラム。
前記各ストレージ装置は、前記第１計算機から送信された制御用Ｉ／Ｏが書き込まれるボリュームを有し、
複製データを供給するストレージ装置のコピー元ボリュームと、前記複製データを記憶するストレージ装置のコピー先ボリュームとによって前記第１及び第２のコピーグループが構成されており、
前記制御用Ｉ／Ｏは、前記第１及び第２のコピーグループを構成するコピー元ボリュームから、当該コピーグループのコピー先ボリュームに転送されることによって、前記各伝送経路を伝わる前記計算機システムに設けられる第２計算機に以下の手順を実行させるためのプログラムであって、
前記第１手順は、前記前記第１及び第２のコピーグループに属する各コピー先ボリュームに、前記第１計算機によって送信された制御用Ｉ／Ｏが到着しているか否かを監視し、
前記第２手順は、前記制御用Ｉ／Ｏが、当該コピーグループ内のいずれかのコピー先ボリュームに到着していなければ、当該到着していない制御用Ｉ／Ｏの伝送経路に含まれる各ストレージ装置に対して状態情報を要求する請求項１４に記載のプログラム。
障害発生箇所として特定されたストレージ装置に対応する、他の伝送経路のストレージ装置が行うコピーの停止を要求する手順を含む請求項１５に記載のプログラム。