JP4037257B2 - 情報処理システムの制御方法、情報処理システム、及びプログラム - Google Patents
情報処理システムの制御方法、情報処理システム、及びプログラム Download PDFInfo
- Publication number
- JP4037257B2 JP4037257B2 JP2002376856A JP2002376856A JP4037257B2 JP 4037257 B2 JP4037257 B2 JP 4037257B2 JP 2002376856 A JP2002376856 A JP 2002376856A JP 2002376856 A JP2002376856 A JP 2002376856A JP 4037257 B2 JP4037257 B2 JP 4037257B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- storage device
- data
- replication
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2041—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with more than one idle spare processing component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2069—Management of state, configuration or failover
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2058—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
- Multi Processors (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理システムの制御方法、情報処理システム、及びプログラムに関する。
【０００２】
【従来の技術】
情報処理システムに対する災害対策（ディザスタリカバリ）が注目されている。ディザスタリカバリを実現する技術として、プライマリサイトに設置されている記憶装置のデータの複製を、これとは遠隔したセカンダリサイトに設置されている記憶装置においても管理する技術（以下、この技術を「リモートコピー」と称する）が知られている。リモートコピーが適用される情報処理システムでは、通常、複製元に設定されている記憶装置は本番系として利用され、複製先に設定されている記憶装置はバックアップ系として利用される。
【０００３】
一方、互いに通信可能に接続されグループ化された複数台の情報処理装置（コンピュータ）間で障害発生に際して互いに処理を引き継ぐことにより情報処理システムの可用性（Availability）を向上させる技術である、クラスタリング（Clustering）が知られている。なお、クラスタリングは可用性の向上以外に複数の情報処理装置間での負荷分散を目的として適用されることもある。
【０００４】
【特許文献１】
米国特許第５７４２７９２号明細書
【０００５】
【発明が解決しようとする課題】
ところで、情報処理装置側ではクラスタリングが適用され、記憶装置側ではリモートコピーが適用されている情報処理システムにおいて、プライマリサイトに設置され本番系として利用されている情報処理装置に障害が発生した場合、セカンダリサイトに設置されバックアップ系として利用されていた情報処理装置が本番系として利用されることになる。そして、このような場合には、リモートコピーにおいて複製元として設定されている記憶装置と複製先として設定されている記憶装置の関係を入れ換える必要が生じる。
【０００６】
しかしながら、この入れ換えは、情報処理装置側でのフェールオーバ（Failover）が実行されたことを知ったオペレータが手動により行っているのが実情である。またクラスタリングの適用により情報処理装置側はフェールオーバ時におけるシステムの迅速かつ自動的な復旧が可能となるが、記憶装置側の切り替えが人手によらなければならないのではクラスタリングの効果も薄れてしまう。
【０００７】
この発明はこのような観点からなされたもので、情報処理システムの制御方法、情報処理システム、及びプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
この目的を達成するための本発明のうち主たる発明では、
第一のサイトに設置された第一の記憶装置及びこれにアクセスする第一の情報処理装置と、第二のサイトに設置された第二の記憶装置及びこれにアクセスする第二の情報処理装置と、第三のサイトに設置された第三の記憶装置及びこれにアクセスする第三の情報処理装置と、を含み、
前記第一乃至第三の情報処理装置が互いに通信可能に接続され、
前記第一乃至第三の記憶装置が互いに通信可能に接続され、
前記第一乃至第三の情報処理装置がクラスタ化されている情報処理システムの制御方法であって、
前記第一乃至第三の記憶装置のいずれか１つを複製元の記憶装置とし、他の２つを複製先の記憶装置とする旨の設定情報を前記第一乃至第三の記憶装置の夫々が記憶し、
複製元として設定されている前記記憶装置が前記情報処理装置から送信されてくるデータ書き込み要求に応じてデータを記憶した場合に、複製元として設定されている前記記憶装置から複製先として設定されている他の２つの前記記憶装置に前記データを送信し、前記データを受信した他の２つの前記記憶装置が前記データを記憶し、
前記第一乃至第三の情報処理装置のいずれかの情報処理装置から他のいずれかの情報処理装置にフェールオーバが実行された場合に、複製元として設定されていた前記記憶装置が複製先の記憶装置となるように、複製先として設定されていた２つの前記記憶装置のうちのいずれか１つが複製元の記憶装置となり他の１つが複製先の記憶装置となるように、各記憶装置に記憶されている前記設定情報の内容を自動的に変更することとする。
ここで複製元として設定されている前記記憶装置が前記情報処理装置から送信されてくるデータ書き込み要求に応じてデータを記憶した場合に、複製元として設定されている前記記憶装置から複製先として設定されている他の２つの前記記憶装置に前記データを送信し、これを受信した他の２つの前記記憶装置が前記データを記憶することにより複製元として設定されている前記記憶装置に記憶しているデータの複製を複製先として設定されている他の２つの前記記憶装置にも記憶する機能は、後述するリモートコピーの機能である。リモートコピーには、複製元に書き込まれたデータを複製先に転送する形式として、後述するようにマルチコピー形式やマルチホップ形式がある。また、複製元の記憶装置にデータが書き込まれた場合における記憶装置から情報処理装置へのデータ書き込み完了通知を送信する条件の違いにより、後述する同期方式と非同期方式とがある。記憶装置を複製元や複製先として「設定する」とは、例えば、各記憶装置が記憶している、複製元として設定されている前記記憶装置及び複製先として設定されている前記記憶装置を特定するための情報を設定することである。また、「複製先として設定されている２つの前記記憶装置」は、例えば同じサイトに設置されている記憶装置である。また、「設定を自動的に変更する」制御は、例えば情報処理装置側からの指示があったことを契機として行われる。
【０００９】
前記の発明によれば、例えば、情報処理装置側のフェールオーバに連動させて記憶装置側のリモートコピーの運用形態をオペレータなどの人手を介在させずに自動的に変更することが可能となる。
【００１０】
【発明の実施の形態】
＝＝＝情報処理システムの構成＝＝＝
図１に本発明の一実施例として説明する情報処理システムの概略構成を示している。情報処理システムは、異なる３つのサイト（場所）のそれぞれに設置されている複数の記憶装置１０，２０，３０と、これら各記憶装置１０，２０，３０のそれぞれにアクセスする情報処理装置１１，２１，３１とを含んで構成される。各サイトは、具体的には、例えば、大学や企業などの組織によって運営されるコンピュータ施設や、インターネット上のＷebサーバの運営、ＡＳＰ（Application Service Provider）の運用などが行われているデータセンタなどである。この情報処理システムは、地震・火災・台風・洪水・落雷・テロなどに対するディザスタリカバリの実現のために構築される。
【００１１】
３つのサイトのうち第一のサイトには第一の情報処理装置１１及びこれがアクセスする第一の記憶装置１０が設置されている。また、第二のサイトには第二の情報処理装置２１及びこれがアクセスする第二の記憶装置２０が設置されている。第三のサイトには第三の情報処理装置３１及びこれがアクセスする第三の記憶装置３０が設置されている。これらのうちの一のサイトに設置されている情報処理装置と記憶装置の組み合わせは本番系として運用されており、それ以外の２つのサイトに設置される情報処理装置と記憶装置の組み合わせは本番系に対するバックアップ系として運用されている。なお、以下では本番系のサイトを「プライマリサイト」と、バックアップ系のサイトを「セカンダリサイト」と称することとする。
【００１２】
プライマリサイトに設置されている情報処理装置（以下、「プライマリ情報処理装置」と称する）と、２つのセカンダリサイトのそれぞれに設置されている情報処理装置（以下、「セカンダリ情報処理装置」と称する）とは、第一のネットワーク５０を介して通信可能に接続している。第一のネットワーク５０は具体的にはＩＰネットワークなどで構成されるＷＡＮなどである。なお、各情報処理装置において動作する後述のクラスタソフトウエアは、この第一のネットワーク５０を介して互いに通信する。
【００１３】
一方、プライマリサイトに設置されている記憶装置とセカンダリサイトに設置されている記憶装置とは第二のネットワーク５１を介して通信可能に接続している。第二のネットワーク５１は、例えば、ギガビットイーサネット（登録商標）、ＡＴＭ（Asynchronous Transfer Mode）、公衆回線などであり、後述するリモートコピーにおける複製データの送信のために、通常は第一のネットワーク５０よりも高速かつ大容量のネットワークが採用される。
【００１４】
＜装置構成＞
第一乃至第三の情報処理装置１１，２１，３１は、ＣＰＵ（Central Processing Unit）やメモリを備えるコンピュータであり、パーソナルコンピュータやワークステーション、メインフレームなどのコンピュータである。各情報処理装置１１，２１，３１は、結合された複数台のコンピュータで構成されることもある。第一乃至第三の情報処理装置１１，２１，３１ではオペレーティングシステムが動作している。オペレーティングシステム上ではアプリケーションソフトウエアが動作している。
【００１５】
アプリケーションソフトウエアは、例えば、銀行の自動預金預け払いシステムや航空機の座席予約システムの機能を提供する。また、オペレーティングシステム上では後述するクラスタソフトウエア１２０が動作する。各サイトにおける情報処理装置１１，２１，３１と記憶装置１０，２０，３０とはそれぞれ通信手段（通信線、ネットワーク）により接続されている。通信手段は、例えば、ＬＡＮ（Local Area Network）やＳＡＮ（Storage Area Network）、ｉＳＣＳＩ（Internet Small Computer System Interface）、ＥＳＣＯＮ（Enterprise Systems Connection）（登録商標）、ＦＩＣＯＮ（Fibre Connection）（登録商標）などである。
【００１６】
図２に第一乃至第三の記憶装置１０，２０，３０の一例として説明するディスクアレイ装置の具体的な構成を示している。なお、第一乃至第三の記憶装置１０，２０，３０は、ディスクアレイ装置以外にも、例えば、半導体記憶装置などであってもよい。ディスクアレイ装置は、チャネル制御部１０１、リモート通信インタフェース１０２、ディスク制御部１０３、共有メモリ１０４、キャッシュメモリ１０５、これらの間を通信可能に接続するクロスバスイッチなどで構成されるスイッチング制御部１０６、管理端末１０７、及びディスクドライブ１１０などを備えて構成される。
【００１７】
チャネル制御部１０１は、ＣＰＵ・メモリを備え、主として情報処理装置との間の通信機能を提供する。チャネル制御部１０１は、情報処理装置からのデータＩ／Ｏ要求を受信してそのデータＩ／Ｏ要求を共有メモリに書き込む。なお、後述するリモートコピーの機能、及び、フェールオーバに連動して行われるリモートコピーの運用形態の変更の機能などは、チャネル制御部１０１のＣＰＵがこれらの機能を実現するプログラムを実行することにより提供される。
【００１８】
キャッシュメモリ１０５は、主としてチャネル制御部１０１とディスク制御部１０３との間で授受されるデータを一時的に記憶するために用いられる。例えばチャネル制御部１０１が情報処理装置から受信したデータ入出力コマンドが書き込みコマンドである場合には、チャネル制御部１０１は情報処理装置から受信した書き込みデータをキャッシュメモリ１０５に書き込む。またディスク制御部１０３はキャッシュメモリ１０５から書き込みデータを読み出してディスクドライブ１１０に書き込む。
【００１９】
ディスク制御部１０３は、チャネル制御部１０１により共有メモリ１０４に書き込まれたデータＩ／Ｏ要求を読み出してそのデータＩ／Ｏ要求に設定されているコマンド（例えば、ＳＣＳＩ（Small Computer System Interface）規格のコマンド）に従ってディスクドライブ１１０にデータの書き込みや読み出しなどの処理を実行する。ディスク制御部１０３はディスクドライブ１１０から読み出したデータをキャッシュメモリ１０５に書き込む。またデータの書き込み完了通知や読み出し完了通知などをチャネル制御部１０１に送信する。ディスク制御部１０３は、ディスクドライブ１１０をいわゆるＲＡＩＤ（Redundant Array of Inexpensive Disks）方式に規定されるＲＡＩＤレベル（例えば、０，１、５）で制御する機能を備えることもある。
【００２０】
ディスクドライブ１１０は、例えば、ハードディスク装置である。ディスクドライブ１１０はディスクアレイ装置と一体型とすることもできるし別体とすることもできる。各サイトのディスクドライブ１１０により提供される記憶領域は、この記憶領域上に論理的に設定されるボリュームである論理ボリューム１１５を単位として管理されている。ディスクドライブ１１０へのデータの書き込みや読み出しは、論理ボリューム１１５に付与される識別子を指定して行なうことができる。
【００２１】
管理端末１０７はディスクアレイ装置やディスクドライブ１１０を保守・管理するためのコンピュータである。チャネル制御部１０１やディスク制御部１０３において実行されるソフトウエアやパラメータの変更は、管理端末１０７からの指示により行われる。管理端末１０７はディスクアレイ装置に内蔵される形態とすることもできるし、別体とすることもできる。
【００２２】
リモート通信インタフェース１０２は、他の記憶装置１０，２０，３０とデータ伝送をするための通信インタフェース（チャネルエクステンダ）であり、後述するリモートコピーにおける複製データの伝送はこのリモート通信インタフェース１０２を介して行われる。リモート通信インタフェース１０２は、チャネル制御部１０１のインタフェース（例えば、ＥＳＣＯＮ（登録商標）、ＦＩＣＯＮ（登録商標）などのインタフェース）を第二のネットワーク５１の通信方式に変換する。これにより他の記憶装置との間でのデータ伝送が実現される。
【００２３】
なお、ディスクアレイ装置は、以上に説明した構成のもの以外にも、例えば、ＮＦＳ（Network File System）などのプロトコルにより情報処理装置からファイル名指定によるデータ入出力要求を受け付けるように構成されたＮＡＳ（Network Attached Storage）として機能するものなどであってもよい。
【００２４】
＝＝＝クラスタリング＝＝＝
３つのサイトのそれぞれにおいて稼働中の第一乃至第三の情報処理装置１１，２１，３１では、これら情報処理装置１１，２１，３１間での高可用（ＨＡ：High Availability）の実現等を目的としたクラスタリングの機能を実現するクラスタソフトウエア１２０が動作している。なお、クラスタソフトウエア１２０としては、例えば、マイクロソフト（登録商標）社のＭＳＣＳ（Microsoft Cluster Server）（登録商標）がある。
【００２５】
クラスタソフトウエア１２０は各サイトに設置されている情報処理装置１１，２１，３１単位でのフェールオーバ機能を提供する。各情報処理装置１１，２１，３１で動作するクラスタソフトウエア１２０は、ハートビート（Heart Beat）信号を第一のネットワーク５０を介して通信し合うことによりお互いの動作状態を監視している。クラスタソフトウエア１２０はハートビート信号の異常などにより他の情報処理装置１１，２１，３１の障害（ネットワーク障害を含む）を検知すると、あらかじめ設定されているフェールオーバポリシーに従って、障害が発生している情報処理装置１１，２１，３１の処理を他の情報処理装置１１，２１，３１に引き継がせる（フェールオーバする）。
【００２６】
クラスタソフトウエア１２０が検知する障害には、ＣＰＵやメモリなどのハードウエア的な障害、オペレーティングシステムやアプリケーションプログラム、ドライバソフトウエアなどのソフトウエア的な障害がある。フェールオーバに際しては、例えば、ディスクドライブ１１０や論理ボリューム１１５の排他権、各情報処理装置１１，２１，３１に割り当てられているＩＰアドレス、アプリケーションの実行プロセス、プリントキューなどの、各種設定情報やリソースの移動が行われる。
【００２７】
なお、クラスタソフトウエア１２０はユーザやオペレータなどによる意図的な指示がされた場合にもフェールオーバを実行する機能を提供する。
【００２８】
＝＝＝リモートコピー＝＝＝
プライマリサイトに設置されている記憶装置（以下、「プライマリ記憶装置」と称する）の論理ボリューム１１５（以下、「プライマリ論理ボリューム」と称する）とセカンダリサイトに設置されている記憶装置（以下、「セカンダリ記憶装置」と称する）の論理ボリューム１１５（以下、「セカンダリ論理ボリューム」と称する）との間では、前述したリモートコピーが行われている。複製元の記憶装置であるプライマリ記憶装置のプライマリ論理ボリュームにデータが書き込まれると、そのデータが第二のネットワーク５１を介してプライマリ記憶装置から複製先の記憶装置であるセカンダリ記憶装置に送信され、セカンダリ記憶装置によりそのデータがセカンダリ論理ボリュームにも書き込まれる。すなわち、リモートコピーは、対応付けられているプライマリ論理ボリュームとセカンダリ論理ボリュームの内容を一致させるように行われる。なお、このようにリモートコピーが行われている２つの記憶装置を、「ペア」を構成している記憶装置と称する。また、リモートコピーのために対応づけられているプライマリ論理ボリュームとセカンダリ論理ボリュームとの組み合わせを「ペア」を構成している論理ボリュームと称する。
【００２９】
リモートコピーの方式には、同期方式と非同期方式とがある。同期方式の場合、情報処理装置からプライマリ論理ボリュームへのデータ書き込みを指示するデータＩ／Ｏ要求を受信したプライマリ記憶装置は、まず自身のプライマリ論理ボリュームにデータを書き込む。また書き込んだデータと同じデータをセカンダリ記憶装置に送信する。セカンダリ記憶装置は受信したデータをセカンダリ論理ボリュームに書き込み、セカンダリ記憶装置はその旨をプライマリ記憶装置に通知する。そして、この通知を受信したプライマリ記憶装置は情報処理装置にデータの書き込みを完了した旨を通知するメッセージを送信する。
【００３０】
このように同期方式では、プライマリ論理ボリュームとセカンダリ論理ボリュームの双方にデータが書き込まれたことが確認された後に情報処理装置に完了通知が送信される。このため同期方式では情報処理装置が完了通知を受信した時点でプライマリ論理ボリュームの内容とセカンダリ論理ボリュームの内容の一致性が確保されることになる。但し、セカンダリ論理ボリュームへのデータの書き込みが完了するまでは情報処理装置に完了通知が報告されない。従って、同期方式ではプライマリサイトの情報処理装置からデータＩ／Ｏ要求が送信されてから情報処理装置に完了通知が返ってくるまでのレスポンスタイムは一般に非同期方式の場合よりも長くなる。なお、記憶装置がキャッシュメモリ１０５に書き込まれたタイミングでデータの書き込みが行われたと認知するように構成されている場合には、「データが書き込まれた」という場合には、ディスクドライブ１１０への書き込み対象のデータがキャッシュメモリ１０５に書き込まれたことを認知した場合も含まれる。
【００３１】
一方、非同期方式の場合には、情報処理装置からプライマリ論理ボリュームへのデータ書き込みを指示するＩ／Ｏ要求を受信したプライマリ記憶装置は、これに応じてプライマリ論理ボリュームにデータを書き込む。また、書き込んだデータと同じデータをセカンダリ記憶装置に送信する。セカンダリ記憶装置は受信したデータをセカンダリ論理ボリュームに書き込み、その旨をプライマリサイトに通知する。ここでプライマリ記憶装置は、プライマリ論理ボリュームにデータを書き込むと、セカンダリ記憶装置にデータが書き込まれたかどうかとは関係なく直ちに情報処理装置に完了通知を送信してしまう。このため、非同期方式では一般に同期方式の場合に比べて情報処理装置へのレスポンスタイムが短くなる。しかしながらプライマリ論理ボリュームとセカンダリ論理ボリュームとの間のデータの一致性は必ずしも保証されない。なお、非同期方式の場合には、セカンダリ記憶装置に未反映のデータがプライマリ記憶装置において管理される。
【００３２】
＜ペア管理テーブル＞
各記憶装置１０,２０，３０は、各記憶装置１０,２０，３０が行っているリモートコピーに関する情報が登録されているペア管理テーブルを記憶している。ペア管理テーブルは、例えば、チャネル制御部１０１が備えるメモリや共有メモリ１０４、ディスクドライブ１１０などに記憶されている。ペア管理テーブルには、例えば、記憶装置がプライマリもしくはセカンダリいずれの記憶装置として機能しているのか、他の記憶装置との間で行われているリモートコピーが同期・非同期のいずれの方式で行われているのかといった情報が登録されている。各記憶装置１０,２０，３０のチャネル制御部１０１等により実行されるリモートコピーのソフトウエアは、ペア管理テーブルの内容に従ってリモートコピーの機能を実現する。
【００３３】
図３は、第一のサイトがプライマリサイトに、第二及び第三のサイトがセカンダリサイトにそれぞれ設定されている場合における各記憶装置１０，２０，３０のペア管理テーブル３００の一例である。各記憶装置１０，２０，３０のペア管理テーブル３００には、そのようなリモートコピーの構成が登録されている。第一の記憶装置１０のペア管理テーブル３００には、第一の記憶装置１０のデータの複製を第二の記憶装置２０にも記憶するように非同期方式でのリモートコピーを行っていることを示す情報、及び、第一の記憶装置１０のデータの複製を第三の記憶装置３０にも記憶するように同期方式によるリモートコピーを行っていることを示す情報が登録されている。また、第二の記憶装置２０のペア管理テーブル３００には、第一の記憶装置１０のデータの複製を第三の記憶装置３０にも記憶するように同期方式によるリモートコピーを行っていることを示す情報が登録されている。第三の記憶装置３０のペア管理テーブル３００には、第一の記憶装置１０のデータの複製を第二の記憶装置２０にも記憶するように非同期方式によるリモートコピーを行っていることを示す情報が登録されている。
【００３４】
なお、図３の例では、各記憶装置１０，２０，３０に管理されるペア管理テーブル３００には、各ペア管理テーブル３００を記憶している記憶装置が関係する情報のみが登録されているが、個々のペア管理テーブルに他の記憶装置に関する情報を登録する構成でもよい。
【００３５】
＜リモートコピーの形式＞
本実施例で説明する３サイト間でのリモートコピーには、図４Ａ、図４Ｂに示す２つの形式がある。図４Ａはプライマリ記憶装置が２つのセカンダリ記憶装置に複製しようとするデータ（以下、「複製データ」と称する）を直接送信する形式（以下、この形式を「マルチコピー形式」と称する）である。一方、図４Ｂは、プライマリ記憶装置が複製データをセカンダリ記憶装置（以下、「第一のセカンダリ記憶装置」と称する）に直接送信するが、他のセカンダリ記憶装置（以下、「第二のセカンダリ記憶装置」と称する）にはプライマリ記憶装置から直接送信するのではなく第一のセカンダリ記憶装置を介して第二のセカンダリ記憶装置に間接的に送信する形式（以下、この形式を「マルチホップ形式」と称する）である。
【００３６】
マルチホップ形式ではプライマリ記憶装置が第一のセカンダリ記憶装置にのみ複製データを送信すればよいので、マルチコピー形式の場合に比べてプライマリ記憶装置の処理負荷が軽減されることになる。一方、マルチホップ形式では第一のセカンダリ記憶装置が機能を停止すると、第二のセカンダリ記憶装置においても複製データが管理されなくなるが、マルチコピー形式では第一のセカンダリ記憶装置が機能停止した場合でも第二のセカンダリ記憶装置における複製データの管理は続行されることになる。
【００３７】
＝＝＝フェールオーバ時の動作＝＝＝
次に、情報処理装置側でフェールオーバが実行された場合に、そのフェールオーバに連動して記憶装置側でのリモートコピーの運用形態が自動的に変更される仕組みについて、いくつかの事例とともに説明する。
【００３８】
＜マルチコピー形式の場合＞
図５に３サイトの記憶装置間でマルチコピー形式によるリモートコピーが運用されている場合に、情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を例示している。図５では情報処理装置は省略している。図５の態様では、図５Ａと図５Ｂ、図５Ａと図５Ｃ、図５Ｂと図５Ｃの間でリモートコピーの運用形態を変更することができる。プライマリ記憶装置は「Ｐ」、セカンダリ記憶装置は「Ｓ」として表記している。「同期」はその記憶装置間のリモートコピーが同期方式で行われていることを示している。「非同期」はその記憶装置間のリモートコピーが非同期方式で行われていることを示している。図５では第一のサイトと第二のサイトは比較的近距離であるため、第一の記憶装置１０と第二の記憶装置２０との間のリモートコピーは「同期方式」で行われるが、第一のサイトと第三のサイトとは遠距離であるため、第一の記憶装置１０と第三の記憶装置３０との間のリモートコピーは「非同期方式」で行われている。また、第二のサイトと第三のサイトも遠距離であるため、第二の記憶装置２０と第三の記憶装置３０の間のリモートコピーも「非同期方式」で行われている。
【００３９】
情報処理装置側のフェールオーバに起因してリモートコピーの運用形態が図５Ａの運用形態から図５Ｂの運用形態に変更される場合について図６に示すフローチャートとともに説明する。第一の情報処理装置１１から第二の情報処理装置２１にフェールオーバが行われる（S611）と、第一乃至第三の情報処理装置１１，２１，３１で動作するクラスタソフトウエア１２０から第一乃至第三の記憶装置１０，２０，３０にその旨が通知される（S612）。この通知は、具体的には、例えばクラスタソフトウエア１２０が前述のＭＳＣＳである場合には、フェールオーバに伴うリソースの移動をリソースＤＬＬ（Dynamic Link Library）が検知し、そのリソースＤＬＬが記憶装置に通知することで行われる。
【００４０】
フェールオーバの原因が第一の情報処理装置１１の障害によるものである場合、第一の情報処理装置１１から第一の記憶装置１０に直接前記通知を行えないこともある。このような場合には第二乃至第三の情報処理装置２１，３１から第二もしくは第三の記憶装置２０，３０に通知がなされた後、第二乃至第三の記憶装置２０，３０から第二のネットワーク５１を経由して第一の記憶装置１０に通知される。また、フェールオーバに際し、第一乃至第三の情報処理装置１１，２１，３１は、リモートコピーの運用形態の変更を行っている間、停止させておくべきリソース（ハードウエアリソース、ソフトウエアリソース）を停止させる。これにより情報処理装置側から記憶装置側へのデータＩ／Ｏ要求の送信が行われなくなる。
【００４１】
次に第一乃至第三の記憶装置１０，２０，３０は前記の通知を受信すると、リモートコピーの運用形態を図５Ａの形態から図５Ｂの形態に変更するための処理を開始する。まず、第一の記憶装置１０は非同期方式のリモートコピーにおいて未送信となっているデータが存在するかどうかを調べ（S613）、存在する場合（S613:YES）にはそのデータを第二の記憶装置２０に送信する（S614）。第二の記憶装置２０はそのデータを受信して、これを第二の論理ボリュームに反映する（S615）。以上により第一乃至第三の論理ボリューム１１５の内容が一致される。なお、第一乃至第三の記憶装置１０，２０，３０は、第一乃至第三の論理ボリューム１１５の内容が一致したことを互いに通信し合うことで認知する（S616）。
【００４２】
次に図５Ａのように構成されていたリモートコピーのペア関係が解除され、図５Ｂのペア関係が生成されるまでの処理について具体的に説明する。ここでペア関係が「解除」もしくは「生成」されるとは、具体的には、各記憶装置に記憶されているペア管理テーブル３００の内容が変更されることである。ペア管理テーブル３００の解除及び生成は、新たにプライマリ記憶装置となる記憶装置が新たにセカンダリ記憶装置となる記憶装置に対し第二のネットワーク５１を通じて解除や生成を指示することにより開始される。
【００４３】
まず、新たにプライマリ記憶装置となる第二の記憶装置２０から、セカンダリ記憶装置となる第一の記憶装置１０及び第三の記憶装置３０に対し、ペアを解除する旨の指示が送信される（S617）。次に第二の記憶装置２０は、第一の記憶装置１０及び第三の記憶装置３０に図５Ｂに対応する内容にペア管理テーブル３００の内容を更新する旨の指示を送信する（S618）。
【００４４】
次に第二の記憶装置２０は、自身が記憶しているペア管理テーブル３００の内容を図５Ｂに対応する内容に更新する。また前記指示を受信した第一の記憶装置１０及び第三の記憶装置３０は、自身が記憶しているペア管理テーブル３００の内容をそれぞれ更新する（S619）。なお、ペア管理テーブル３００の解除及び生成は、例えば、（S616）において各記憶装置１０，２０，３０が第一乃至第三の論理ボリュームの内容が一致したことを認知した後、各記憶装置１０，２０，３０において自動的に開始するようにしてもよい。
【００４５】
ペア管理テーブル３００の内容が更新されると、第一乃至第三の記憶装置１０，２０，３０の間で図５Ｂに示すマルチコピー形式でのリモートコピーの運用が開始される（S620）。図５Ｂでは第二の記憶装置２０はプライマリ記憶装置として、第一及び第三の記憶装置１０，３０はそれぞれセカンダリ記憶装置として機能する。リモートコピーが開始されると、その旨が第二もしくは第三の記憶装置２０，３０から、第二もしくは第三の情報処理装置２１，３１で動作するクラスタソフトウエア１２０に通知される（S621）。この通知があると、第二の情報処理装置２１は本番系として、第三の情報処理装置３１はバックアップ系としての動作を開始する（S622）。
【００４６】
以上、図５Ａの運用形態から図５Ｂの運用形態に変更される場合について説明したが、逆に図５Ｂの運用形態から図５Ａの運用形態に変更される場合、図５Ａの運用形態から図５Ｃの運用形態に変更される場合及びその逆の場合、図５Ｂの運用形態から図５Ｃの運用形態に変更される場合及びその逆の場合、のそれぞれの場合についても以上と同じようにして行われる。
【００４７】
なお、以上に説明した仕組みによれば、マルチコピー形式が適用されている場合において、情報処理装置側のフェールオーバに連動させて記憶装置側のリモートコピーの運用形態をオペレータなどの人手を介在させずに自動的に変更することが可能となる。
【００４８】
＜マルチホップ形式の場合＞
図７に３サイトの記憶装置間でマルチホップ形式によるリモートコピーが運用されている場合に、情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を例示している。図７では情報処理装置は省略している。図７の態様では、図７Ａと図７Ｂ、図７Ａと図７Ｃ、図７Ｂと図７Ｃの間でリモートコピーの運用形態を変更することができる。プライマリ記憶装置を「Ｐ」、第一のセカンダリ記憶装置を「Ｓ１」、第二のセカンダリ記憶装置を「Ｓ２」として表記している。図７では第一のサイトと第二のサイトは比較的近距離であるため、第一の記憶装置１０と第二の記憶装置２０との間のリモートコピーは「同期方式」もしくは「非同期方式」で行われるが、第一のサイトと第三のサイトとは遠距離であるため、第一の記憶装置１０と第三の記憶装置３０との間のリモートコピーは「非同期方式」で行われている。また、第二のサイトと第三のサイトも遠距離であるため、第二の記憶装置２０と第三の記憶装置３０の間のリモートコピーも「非同期方式」で行われている。
【００４９】
情報処理装置側のフェールオーバに起因してリモートコピーの運用形態が図７Ａから図７Ｂに自動的に変更される場合について図８に示すフローチャートとともに説明する。障害の発生や人がユーザインターフェースを操作することにより第一の情報処理装置１１から第二の情報処理装置２１にフェールオーバが行われる（S811）と、第一乃至第三の情報処理装置１１，２１，３１で動作するクラスタソフトウエアから第一乃至第三の記憶装置１０，２０，３０に対してその旨が通知される（S812）。
【００５０】
次にこの通知を受信した第一乃至第三の記憶装置１０，２０，３０は、リモートコピーの運用形態を図７Ａの形態から図７Ｂの形態に変更するための処理を開始する。まず、第二の記憶装置２０は非同期方式のリモートコピーにおいて未送信となっている複製データが存在するかどうかを調べ（S813）、存在する場合（S813:YES）にはそのデータを第三の記憶装置３０に送信する（S814）。第三の記憶装置３０はそのデータを受信すると、これを第二の論理ボリュームに反映する（S815）。以上により第一乃至第三の論理ボリュームの内容が一致される。なお、第一乃至第三の記憶装置３０は、第一乃至第三の論理ボリュームの内容が一致したことを互いに通信し合うことで認知する（S816）。
【００５１】
次に図６Ａのように構成されていたリモートコピーのペア関係が解除され、図７Ｂのペア関係が生成されるまでの処理について具体的に説明する。まず、新たにプライマリ記憶装置となる第二の記憶装置２０から、セカンダリ記憶装置となる第一の記憶装置１０及び第三の記憶装置３０にペアを解除する旨の指示が送信される（S817）。次に、新たにプライマリ記憶装置となる第二の記憶装置２０は、自身が記憶しているペア管理テーブル３００の内容を図７Ａに対応する関係から図７Ｂに対応する関係に変更した後、第一の記憶装置１０及び第三の記憶装置３０に対し、図７Ａから図７Ｂに対応する関係にペア管理テーブル３００の内容を更新する旨の指示を送信する（S818）。
【００５２】
一方、これを受信した第一の記憶装置１０及び第三の記憶装置３０は、それぞれ記憶しているペア管理テーブル３００の内容を図６Ｂに対応する内容に更新する（S819）。なお、ペア管理テーブル３００の解除及び生成は、以上に説明した方法以外にも、例えば、各記憶装置１０，２０，３０が第一乃至第三の論理ボリュームの内容が一致したことを認知した後、各記憶装置１０，２０，３０において自動的に開始するようにしてもよい。
【００５３】
ペア管理テーブル３００の内容が更新されると、第一乃至第三の記憶装置１０，２０，３０の間で図７Ｂに示すマルチホップ形式でのリモートコピーの運用が開始される（S820）。また、リモートコピーが開始されると、その旨が第二もしくは第三の記憶装置２０，３０から、第二及び第三の情報処理装置２１，３１で動作するクラスタソフトウエアに通知される（S821）。この通知があると、第二の情報処理装置２１は本番系として、第三の情報処理装置３１はバックアップ系としての動作を開始する（S822）。
【００５４】
以上、図７Ａの運用形態から図７Ｂの運用形態に変更される場合について説明したが、逆に図７Ｂの運用形態から図７Ａの運用形態に変更される場合、図７Ａの運用形態から図７Ｃの運用形態に変更される場合及びその逆の場合、図７Ｂの運用形態から図７Ｃの運用形態に変更される場合及びその逆の場合、のそれぞれについても以上と同じようにして行われる。
【００５５】
なお、以上に説明した仕組みによれば、マルチホップ形式が適用されている場合において、情報処理装置側のフェールオーバに連動させて記憶装置側のリモートコピーの運用形態をオペレータなどの人手を介在させずに自動的に変更することが可能となる。
【００５６】
＜２つの形式が混在する場合＞
図９は３サイトの記憶装置間でマルチコピー形式もしくはマルチホップ形式によるリモートコピーが運用されている場合において、フェールオーバの実行に連動してリモートコピーの運用形態が自動的に変更される場合の運用形態の変更の態様を示している。図９では情報処理装置は省略している。図９の態様では、図９Ａと図９Ｂ、図９Ａと図９Ｃ、図９Ｂと図９Ｃの間でリモートコピーの運用形態を変更することができる。図９では第一のサイトと第二のサイトは比較的近距離であるため、第一の記憶装置１０と第二の記憶装置２０との間のリモートコピーは「同期方式」で行われるが、第一のサイトと第三のサイトとは遠距離であるため、第一の記憶装置１０と第三の記憶装置３０との間のリモートコピーは「非同期方式」で行われている。また、第二のサイトと第三のサイトも遠距離であるため、第二の記憶装置２０と第三の記憶装置３０の間のリモートコピーも「非同期方式」で行われている。
【００５７】
図９の態様では、マルチコピー形式からマルチホップ形式へ、もしくは、マルチホップ形式からマルチコピー形式へというように、異なる形式間での運用形態の変更も行われる。またこの態様ではいずれの運用形態においても第二の記憶装置２０と第三の記憶装置３０との間でリモートコピーのための複製データの通信は行われない。つまり、図９の態様は、例えば、第二のサイトと第三のサイト間が通信可能に接続されていない状況や、第二のサイトと第三のサイト間の通信に障害が発生した場合であっても適用できる。
【００５８】
図９Ａでは、マルチコピー形式によるリモートコピーが行われており、第一の記憶装置１０がプライマリ記憶装置「Ｐ」、第二及び第三の記憶装置２０，３０がセカンダリ記憶装置「Ｓ」となっている。図９Ｂでは、マルチホップ形式によるリモートコピーが行われており、第二の記憶装置２０がプライマリ記憶装置「Ｐ」、第一の記憶装置１０が第一のセカンダリ記憶装置「Ｓ１」、第三の記憶装置３０が第二のセカンダリ記憶装置「Ｓ２」となっている。図９Ｃもマルチホップ形式によるリモートコピーが行われており、第三の記憶装置３０がプライマリ記憶装置「Ｐ」、第一の記憶装置１０が第一のセカンダリ記憶装置「Ｓ１」、第三の記憶装置３０が第二のセカンダリ記憶装置「Ｓ２」となっている。
【００５９】
情報処理装置側のフェールオーバに起因してリモートコピーの運用形態が図９Ａから図９Ｂに自動的に変更される場合について図１０に示すフローチャートとともに説明する。第一の情報処理装置１１から第二の情報処理装置２１にフェールオーバが行われる（S1011）と、第一乃至第三の情報処理装置１１，２１，３１で動作するクラスタソフトウエアから第一乃至第三の記憶装置１０，２０，３０にその旨が通知される（S1012）。
【００６０】
次に前記通知を受信した第一乃至第三の記憶装置１０，２０，３０は、リモートコピーの運用形態を図９Ａの運用形態から図９Ｂの運用形態に変更するための処理を開始する。まず、第一の記憶装置１０は非同期方式のリモートコピーにおいて未送信となっているデータが存在するかどうかを調べ（S1013）、存在する場合（S1013:YES）にはそのデータを第二の記憶装置２０に送信する（S1014）。第二の記憶装置２０はそのデータを受信するとこれを第二の論理ボリュームに反映する（S1015）。以上により第一乃至第三の論理ボリュームの内容が一致される。なお、第一乃至第三の記憶装置１０，２０，３０は、第一乃至第三の論理ボリュームの内容が一致したことを互いに通信し合うことで認知する（S1016）。
【００６１】
次に図９Ａのように構成されていたリモートコピーのペア関係が解除され、図９Ｂのペア関係が生成されるまでの処理について具体的に説明する。まず、新たにプライマリ記憶装置となる第二の記憶装置２０から、セカンダリ記憶装置となる第一の記憶装置１０及び第三の記憶装置３０にペアを解除する旨の指示が送信される（S1017）。次に、新たにプライマリ記憶装置となる第二の記憶装置２０は、自身が記憶しているペア管理テーブル３００の内容を図９Ａに対応する関係から図９Ｂに対応する関係に変更した後、第一の記憶装置１０及び第三の記憶装置３０に対し、図９Ａから図９Ｂに対応する関係にペア管理テーブル３００の内容を更新する旨の指示を送信する（S1018）。
【００６２】
一方、これを受信した第一の記憶装置１０及び第三の記憶装置３０は、自身が記憶しているペア管理テーブル３００の内容をそれぞれ図９Ｂに対応する内容に更新する（S1019）。なお、ペア管理テーブル３００の解除及び生成は、以上に説明した方法以外にも、例えば、各記憶装置１０，２０，３０が第一乃至第三の論理ボリュームの内容が一致したことを認知した後、各記憶装置１０，２０，３０において自動的に開始するようにしてもよい。
【００６３】
ペア管理テーブル３００の内容が更新されると、第一乃至第三の記憶装置１０，２０，３０の間で図９Ｂに示すマルチホップ形式でのリモートコピーの運用が開始される（S1020）。また、リモートコピーが開始されると、その旨が第二もしくは第三の情報処理装置２１，３１で動作するクラスタソフトウエアに通知される（S1021）。この通知があると、第二の情報処理装置２１は本番系として、第三の情報処理装置３１はバックアップ系としての動作を開始する（S1022）。
【００６４】
以上では、図９Ａの運用形態から図９Ｂの運用形態に変更される場合について説明したが、逆に図９Ｂの運用形態から図９Ａの運用形態に変更される場合、図９Ａの運用形態から図９Ｃの運用形態に変更される場合及びその逆の場合、図９Ｂの運用形態から図９Ｃの運用形態に変更される場合及びその逆の場合、のそれぞれについても以上と同様の方法により行われる。
【００６５】
なお、以上に説明した仕組みによれば、例えば、第二のサイトと第三のサイト間が通信可能に接続されていない状況や、第二のサイトと第三のサイト間の通信に障害が発生した場合などであっても、情報処理装置側のフェールオーバに連動させて記憶装置側のリモートコピーの運用形態をオペレータなどの人手を介在させずに自動的に変更することが可能となる。
【００６６】
以上、一実施形態に基づき本発明に係る情報処理システムの制御方法等について説明したが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【００６７】
【発明の効果】
本発明によれば、情報処理システムの制御方法、情報処理システム、及びプログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施例による情報処理システムの概略構成を示す図である。
【図２】本発明の一実施例として説明するディスクアレイ装置の構成を示す図である。
【図３】本発明の一実施例として説明するペア管理テーブルを説明する図である。
【図４】図４Ａはマルチコピー形式のリモートコピーを説明する図であり、図４Ｂはマルチホップ形式のリモートコピーを説明する図である。
【図５】図５は、本発明の一実施例による、リモートコピーがマルチコピー形式で行われている場合における情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を示す図であり、図５Ａ、図５Ｂ、図５Ｃは、それぞれマルチコピー形式のリモートコピーの異なる運用形態を示す図である。
【図６】図６はリモートコピーの運用形態が図５Ａの運用形態から図５Ｂの運用形態に変更される場合の処理の流れを説明するフローチャートを示す図である。
【図７】図７は、本発明の一実施例による、リモートコピーがマルチホップ形式で行われている場合における情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を示す図であり、図７Ａ、図７Ｂ、図７Ｃは、それぞれマルチホップ形式のリモートコピーの異なる運用形態を示す図である。
【図８】図８はリモートコピーの運用形態が図７Ａの運用形態から図７Ｂの運用形態に変更される場合の処理の流れを説明するフローチャートを示す図である。
【図９】図９は、本発明の一実施例による、リモートコピーがマルチコピー形式もしくはマルチホップ形式によるリモートコピーが運用されている場合における、情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を示す図であり、図９Ａ、図９Ｂ、図９Ｃはそれぞれリモートコピーの異なる運用形態を示す図である。
【図１０】図１０はリモートコピーの運用形態が図９Ａの運用形態から図９Ｂの運用形態に変更される場合の処理の流れを説明するフローチャートを示す図である。
【符号の説明】
１０ 第一の記憶装置
１１ 第一の情報処理装置
２０ 第二の記憶装置
２１ 第二の情報処理装置
３０ 第三の記憶装置
３１ 第三の情報処理装置
１０１ チャネル制御部
１０２ リモート通信インタフェース
１０３ ディスク制御部
１０４ 共有メモリ
１０５ キャッシュメモリ
１０６ スイッチング制御部
１１０ ディスクドライブ
１１５ 論理ボリューム
【発明の属する技術分野】
本発明は、情報処理システムの制御方法、情報処理システム、及びプログラムに関する。
【０００２】
【従来の技術】
情報処理システムに対する災害対策（ディザスタリカバリ）が注目されている。ディザスタリカバリを実現する技術として、プライマリサイトに設置されている記憶装置のデータの複製を、これとは遠隔したセカンダリサイトに設置されている記憶装置においても管理する技術（以下、この技術を「リモートコピー」と称する）が知られている。リモートコピーが適用される情報処理システムでは、通常、複製元に設定されている記憶装置は本番系として利用され、複製先に設定されている記憶装置はバックアップ系として利用される。
【０００３】
一方、互いに通信可能に接続されグループ化された複数台の情報処理装置（コンピュータ）間で障害発生に際して互いに処理を引き継ぐことにより情報処理システムの可用性（Availability）を向上させる技術である、クラスタリング（Clustering）が知られている。なお、クラスタリングは可用性の向上以外に複数の情報処理装置間での負荷分散を目的として適用されることもある。
【０００４】
【特許文献１】
米国特許第５７４２７９２号明細書
【０００５】
【発明が解決しようとする課題】
ところで、情報処理装置側ではクラスタリングが適用され、記憶装置側ではリモートコピーが適用されている情報処理システムにおいて、プライマリサイトに設置され本番系として利用されている情報処理装置に障害が発生した場合、セカンダリサイトに設置されバックアップ系として利用されていた情報処理装置が本番系として利用されることになる。そして、このような場合には、リモートコピーにおいて複製元として設定されている記憶装置と複製先として設定されている記憶装置の関係を入れ換える必要が生じる。
【０００６】
しかしながら、この入れ換えは、情報処理装置側でのフェールオーバ（Failover）が実行されたことを知ったオペレータが手動により行っているのが実情である。またクラスタリングの適用により情報処理装置側はフェールオーバ時におけるシステムの迅速かつ自動的な復旧が可能となるが、記憶装置側の切り替えが人手によらなければならないのではクラスタリングの効果も薄れてしまう。
【０００７】
この発明はこのような観点からなされたもので、情報処理システムの制御方法、情報処理システム、及びプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
この目的を達成するための本発明のうち主たる発明では、
第一のサイトに設置された第一の記憶装置及びこれにアクセスする第一の情報処理装置と、第二のサイトに設置された第二の記憶装置及びこれにアクセスする第二の情報処理装置と、第三のサイトに設置された第三の記憶装置及びこれにアクセスする第三の情報処理装置と、を含み、
前記第一乃至第三の情報処理装置が互いに通信可能に接続され、
前記第一乃至第三の記憶装置が互いに通信可能に接続され、
前記第一乃至第三の情報処理装置がクラスタ化されている情報処理システムの制御方法であって、
前記第一乃至第三の記憶装置のいずれか１つを複製元の記憶装置とし、他の２つを複製先の記憶装置とする旨の設定情報を前記第一乃至第三の記憶装置の夫々が記憶し、
複製元として設定されている前記記憶装置が前記情報処理装置から送信されてくるデータ書き込み要求に応じてデータを記憶した場合に、複製元として設定されている前記記憶装置から複製先として設定されている他の２つの前記記憶装置に前記データを送信し、前記データを受信した他の２つの前記記憶装置が前記データを記憶し、
前記第一乃至第三の情報処理装置のいずれかの情報処理装置から他のいずれかの情報処理装置にフェールオーバが実行された場合に、複製元として設定されていた前記記憶装置が複製先の記憶装置となるように、複製先として設定されていた２つの前記記憶装置のうちのいずれか１つが複製元の記憶装置となり他の１つが複製先の記憶装置となるように、各記憶装置に記憶されている前記設定情報の内容を自動的に変更することとする。
ここで複製元として設定されている前記記憶装置が前記情報処理装置から送信されてくるデータ書き込み要求に応じてデータを記憶した場合に、複製元として設定されている前記記憶装置から複製先として設定されている他の２つの前記記憶装置に前記データを送信し、これを受信した他の２つの前記記憶装置が前記データを記憶することにより複製元として設定されている前記記憶装置に記憶しているデータの複製を複製先として設定されている他の２つの前記記憶装置にも記憶する機能は、後述するリモートコピーの機能である。リモートコピーには、複製元に書き込まれたデータを複製先に転送する形式として、後述するようにマルチコピー形式やマルチホップ形式がある。また、複製元の記憶装置にデータが書き込まれた場合における記憶装置から情報処理装置へのデータ書き込み完了通知を送信する条件の違いにより、後述する同期方式と非同期方式とがある。記憶装置を複製元や複製先として「設定する」とは、例えば、各記憶装置が記憶している、複製元として設定されている前記記憶装置及び複製先として設定されている前記記憶装置を特定するための情報を設定することである。また、「複製先として設定されている２つの前記記憶装置」は、例えば同じサイトに設置されている記憶装置である。また、「設定を自動的に変更する」制御は、例えば情報処理装置側からの指示があったことを契機として行われる。
【０００９】
前記の発明によれば、例えば、情報処理装置側のフェールオーバに連動させて記憶装置側のリモートコピーの運用形態をオペレータなどの人手を介在させずに自動的に変更することが可能となる。
【００１０】
【発明の実施の形態】
＝＝＝情報処理システムの構成＝＝＝
図１に本発明の一実施例として説明する情報処理システムの概略構成を示している。情報処理システムは、異なる３つのサイト（場所）のそれぞれに設置されている複数の記憶装置１０，２０，３０と、これら各記憶装置１０，２０，３０のそれぞれにアクセスする情報処理装置１１，２１，３１とを含んで構成される。各サイトは、具体的には、例えば、大学や企業などの組織によって運営されるコンピュータ施設や、インターネット上のＷebサーバの運営、ＡＳＰ（Application Service Provider）の運用などが行われているデータセンタなどである。この情報処理システムは、地震・火災・台風・洪水・落雷・テロなどに対するディザスタリカバリの実現のために構築される。
【００１１】
３つのサイトのうち第一のサイトには第一の情報処理装置１１及びこれがアクセスする第一の記憶装置１０が設置されている。また、第二のサイトには第二の情報処理装置２１及びこれがアクセスする第二の記憶装置２０が設置されている。第三のサイトには第三の情報処理装置３１及びこれがアクセスする第三の記憶装置３０が設置されている。これらのうちの一のサイトに設置されている情報処理装置と記憶装置の組み合わせは本番系として運用されており、それ以外の２つのサイトに設置される情報処理装置と記憶装置の組み合わせは本番系に対するバックアップ系として運用されている。なお、以下では本番系のサイトを「プライマリサイト」と、バックアップ系のサイトを「セカンダリサイト」と称することとする。
【００１２】
プライマリサイトに設置されている情報処理装置（以下、「プライマリ情報処理装置」と称する）と、２つのセカンダリサイトのそれぞれに設置されている情報処理装置（以下、「セカンダリ情報処理装置」と称する）とは、第一のネットワーク５０を介して通信可能に接続している。第一のネットワーク５０は具体的にはＩＰネットワークなどで構成されるＷＡＮなどである。なお、各情報処理装置において動作する後述のクラスタソフトウエアは、この第一のネットワーク５０を介して互いに通信する。
【００１３】
一方、プライマリサイトに設置されている記憶装置とセカンダリサイトに設置されている記憶装置とは第二のネットワーク５１を介して通信可能に接続している。第二のネットワーク５１は、例えば、ギガビットイーサネット（登録商標）、ＡＴＭ（Asynchronous Transfer Mode）、公衆回線などであり、後述するリモートコピーにおける複製データの送信のために、通常は第一のネットワーク５０よりも高速かつ大容量のネットワークが採用される。
【００１４】
＜装置構成＞
第一乃至第三の情報処理装置１１，２１，３１は、ＣＰＵ（Central Processing Unit）やメモリを備えるコンピュータであり、パーソナルコンピュータやワークステーション、メインフレームなどのコンピュータである。各情報処理装置１１，２１，３１は、結合された複数台のコンピュータで構成されることもある。第一乃至第三の情報処理装置１１，２１，３１ではオペレーティングシステムが動作している。オペレーティングシステム上ではアプリケーションソフトウエアが動作している。
【００１５】
アプリケーションソフトウエアは、例えば、銀行の自動預金預け払いシステムや航空機の座席予約システムの機能を提供する。また、オペレーティングシステム上では後述するクラスタソフトウエア１２０が動作する。各サイトにおける情報処理装置１１，２１，３１と記憶装置１０，２０，３０とはそれぞれ通信手段（通信線、ネットワーク）により接続されている。通信手段は、例えば、ＬＡＮ（Local Area Network）やＳＡＮ（Storage Area Network）、ｉＳＣＳＩ（Internet Small Computer System Interface）、ＥＳＣＯＮ（Enterprise Systems Connection）（登録商標）、ＦＩＣＯＮ（Fibre Connection）（登録商標）などである。
【００１６】
図２に第一乃至第三の記憶装置１０，２０，３０の一例として説明するディスクアレイ装置の具体的な構成を示している。なお、第一乃至第三の記憶装置１０，２０，３０は、ディスクアレイ装置以外にも、例えば、半導体記憶装置などであってもよい。ディスクアレイ装置は、チャネル制御部１０１、リモート通信インタフェース１０２、ディスク制御部１０３、共有メモリ１０４、キャッシュメモリ１０５、これらの間を通信可能に接続するクロスバスイッチなどで構成されるスイッチング制御部１０６、管理端末１０７、及びディスクドライブ１１０などを備えて構成される。
【００１７】
チャネル制御部１０１は、ＣＰＵ・メモリを備え、主として情報処理装置との間の通信機能を提供する。チャネル制御部１０１は、情報処理装置からのデータＩ／Ｏ要求を受信してそのデータＩ／Ｏ要求を共有メモリに書き込む。なお、後述するリモートコピーの機能、及び、フェールオーバに連動して行われるリモートコピーの運用形態の変更の機能などは、チャネル制御部１０１のＣＰＵがこれらの機能を実現するプログラムを実行することにより提供される。
【００１８】
キャッシュメモリ１０５は、主としてチャネル制御部１０１とディスク制御部１０３との間で授受されるデータを一時的に記憶するために用いられる。例えばチャネル制御部１０１が情報処理装置から受信したデータ入出力コマンドが書き込みコマンドである場合には、チャネル制御部１０１は情報処理装置から受信した書き込みデータをキャッシュメモリ１０５に書き込む。またディスク制御部１０３はキャッシュメモリ１０５から書き込みデータを読み出してディスクドライブ１１０に書き込む。
【００１９】
ディスク制御部１０３は、チャネル制御部１０１により共有メモリ１０４に書き込まれたデータＩ／Ｏ要求を読み出してそのデータＩ／Ｏ要求に設定されているコマンド（例えば、ＳＣＳＩ（Small Computer System Interface）規格のコマンド）に従ってディスクドライブ１１０にデータの書き込みや読み出しなどの処理を実行する。ディスク制御部１０３はディスクドライブ１１０から読み出したデータをキャッシュメモリ１０５に書き込む。またデータの書き込み完了通知や読み出し完了通知などをチャネル制御部１０１に送信する。ディスク制御部１０３は、ディスクドライブ１１０をいわゆるＲＡＩＤ（Redundant Array of Inexpensive Disks）方式に規定されるＲＡＩＤレベル（例えば、０，１、５）で制御する機能を備えることもある。
【００２０】
ディスクドライブ１１０は、例えば、ハードディスク装置である。ディスクドライブ１１０はディスクアレイ装置と一体型とすることもできるし別体とすることもできる。各サイトのディスクドライブ１１０により提供される記憶領域は、この記憶領域上に論理的に設定されるボリュームである論理ボリューム１１５を単位として管理されている。ディスクドライブ１１０へのデータの書き込みや読み出しは、論理ボリューム１１５に付与される識別子を指定して行なうことができる。
【００２１】
管理端末１０７はディスクアレイ装置やディスクドライブ１１０を保守・管理するためのコンピュータである。チャネル制御部１０１やディスク制御部１０３において実行されるソフトウエアやパラメータの変更は、管理端末１０７からの指示により行われる。管理端末１０７はディスクアレイ装置に内蔵される形態とすることもできるし、別体とすることもできる。
【００２２】
リモート通信インタフェース１０２は、他の記憶装置１０，２０，３０とデータ伝送をするための通信インタフェース（チャネルエクステンダ）であり、後述するリモートコピーにおける複製データの伝送はこのリモート通信インタフェース１０２を介して行われる。リモート通信インタフェース１０２は、チャネル制御部１０１のインタフェース（例えば、ＥＳＣＯＮ（登録商標）、ＦＩＣＯＮ（登録商標）などのインタフェース）を第二のネットワーク５１の通信方式に変換する。これにより他の記憶装置との間でのデータ伝送が実現される。
【００２３】
なお、ディスクアレイ装置は、以上に説明した構成のもの以外にも、例えば、ＮＦＳ（Network File System）などのプロトコルにより情報処理装置からファイル名指定によるデータ入出力要求を受け付けるように構成されたＮＡＳ（Network Attached Storage）として機能するものなどであってもよい。
【００２４】
＝＝＝クラスタリング＝＝＝
３つのサイトのそれぞれにおいて稼働中の第一乃至第三の情報処理装置１１，２１，３１では、これら情報処理装置１１，２１，３１間での高可用（ＨＡ：High Availability）の実現等を目的としたクラスタリングの機能を実現するクラスタソフトウエア１２０が動作している。なお、クラスタソフトウエア１２０としては、例えば、マイクロソフト（登録商標）社のＭＳＣＳ（Microsoft Cluster Server）（登録商標）がある。
【００２５】
クラスタソフトウエア１２０は各サイトに設置されている情報処理装置１１，２１，３１単位でのフェールオーバ機能を提供する。各情報処理装置１１，２１，３１で動作するクラスタソフトウエア１２０は、ハートビート（Heart Beat）信号を第一のネットワーク５０を介して通信し合うことによりお互いの動作状態を監視している。クラスタソフトウエア１２０はハートビート信号の異常などにより他の情報処理装置１１，２１，３１の障害（ネットワーク障害を含む）を検知すると、あらかじめ設定されているフェールオーバポリシーに従って、障害が発生している情報処理装置１１，２１，３１の処理を他の情報処理装置１１，２１，３１に引き継がせる（フェールオーバする）。
【００２６】
クラスタソフトウエア１２０が検知する障害には、ＣＰＵやメモリなどのハードウエア的な障害、オペレーティングシステムやアプリケーションプログラム、ドライバソフトウエアなどのソフトウエア的な障害がある。フェールオーバに際しては、例えば、ディスクドライブ１１０や論理ボリューム１１５の排他権、各情報処理装置１１，２１，３１に割り当てられているＩＰアドレス、アプリケーションの実行プロセス、プリントキューなどの、各種設定情報やリソースの移動が行われる。
【００２７】
なお、クラスタソフトウエア１２０はユーザやオペレータなどによる意図的な指示がされた場合にもフェールオーバを実行する機能を提供する。
【００２８】
＝＝＝リモートコピー＝＝＝
プライマリサイトに設置されている記憶装置（以下、「プライマリ記憶装置」と称する）の論理ボリューム１１５（以下、「プライマリ論理ボリューム」と称する）とセカンダリサイトに設置されている記憶装置（以下、「セカンダリ記憶装置」と称する）の論理ボリューム１１５（以下、「セカンダリ論理ボリューム」と称する）との間では、前述したリモートコピーが行われている。複製元の記憶装置であるプライマリ記憶装置のプライマリ論理ボリュームにデータが書き込まれると、そのデータが第二のネットワーク５１を介してプライマリ記憶装置から複製先の記憶装置であるセカンダリ記憶装置に送信され、セカンダリ記憶装置によりそのデータがセカンダリ論理ボリュームにも書き込まれる。すなわち、リモートコピーは、対応付けられているプライマリ論理ボリュームとセカンダリ論理ボリュームの内容を一致させるように行われる。なお、このようにリモートコピーが行われている２つの記憶装置を、「ペア」を構成している記憶装置と称する。また、リモートコピーのために対応づけられているプライマリ論理ボリュームとセカンダリ論理ボリュームとの組み合わせを「ペア」を構成している論理ボリュームと称する。
【００２９】
リモートコピーの方式には、同期方式と非同期方式とがある。同期方式の場合、情報処理装置からプライマリ論理ボリュームへのデータ書き込みを指示するデータＩ／Ｏ要求を受信したプライマリ記憶装置は、まず自身のプライマリ論理ボリュームにデータを書き込む。また書き込んだデータと同じデータをセカンダリ記憶装置に送信する。セカンダリ記憶装置は受信したデータをセカンダリ論理ボリュームに書き込み、セカンダリ記憶装置はその旨をプライマリ記憶装置に通知する。そして、この通知を受信したプライマリ記憶装置は情報処理装置にデータの書き込みを完了した旨を通知するメッセージを送信する。
【００３０】
このように同期方式では、プライマリ論理ボリュームとセカンダリ論理ボリュームの双方にデータが書き込まれたことが確認された後に情報処理装置に完了通知が送信される。このため同期方式では情報処理装置が完了通知を受信した時点でプライマリ論理ボリュームの内容とセカンダリ論理ボリュームの内容の一致性が確保されることになる。但し、セカンダリ論理ボリュームへのデータの書き込みが完了するまでは情報処理装置に完了通知が報告されない。従って、同期方式ではプライマリサイトの情報処理装置からデータＩ／Ｏ要求が送信されてから情報処理装置に完了通知が返ってくるまでのレスポンスタイムは一般に非同期方式の場合よりも長くなる。なお、記憶装置がキャッシュメモリ１０５に書き込まれたタイミングでデータの書き込みが行われたと認知するように構成されている場合には、「データが書き込まれた」という場合には、ディスクドライブ１１０への書き込み対象のデータがキャッシュメモリ１０５に書き込まれたことを認知した場合も含まれる。
【００３１】
一方、非同期方式の場合には、情報処理装置からプライマリ論理ボリュームへのデータ書き込みを指示するＩ／Ｏ要求を受信したプライマリ記憶装置は、これに応じてプライマリ論理ボリュームにデータを書き込む。また、書き込んだデータと同じデータをセカンダリ記憶装置に送信する。セカンダリ記憶装置は受信したデータをセカンダリ論理ボリュームに書き込み、その旨をプライマリサイトに通知する。ここでプライマリ記憶装置は、プライマリ論理ボリュームにデータを書き込むと、セカンダリ記憶装置にデータが書き込まれたかどうかとは関係なく直ちに情報処理装置に完了通知を送信してしまう。このため、非同期方式では一般に同期方式の場合に比べて情報処理装置へのレスポンスタイムが短くなる。しかしながらプライマリ論理ボリュームとセカンダリ論理ボリュームとの間のデータの一致性は必ずしも保証されない。なお、非同期方式の場合には、セカンダリ記憶装置に未反映のデータがプライマリ記憶装置において管理される。
【００３２】
＜ペア管理テーブル＞
各記憶装置１０,２０，３０は、各記憶装置１０,２０，３０が行っているリモートコピーに関する情報が登録されているペア管理テーブルを記憶している。ペア管理テーブルは、例えば、チャネル制御部１０１が備えるメモリや共有メモリ１０４、ディスクドライブ１１０などに記憶されている。ペア管理テーブルには、例えば、記憶装置がプライマリもしくはセカンダリいずれの記憶装置として機能しているのか、他の記憶装置との間で行われているリモートコピーが同期・非同期のいずれの方式で行われているのかといった情報が登録されている。各記憶装置１０,２０，３０のチャネル制御部１０１等により実行されるリモートコピーのソフトウエアは、ペア管理テーブルの内容に従ってリモートコピーの機能を実現する。
【００３３】
図３は、第一のサイトがプライマリサイトに、第二及び第三のサイトがセカンダリサイトにそれぞれ設定されている場合における各記憶装置１０，２０，３０のペア管理テーブル３００の一例である。各記憶装置１０，２０，３０のペア管理テーブル３００には、そのようなリモートコピーの構成が登録されている。第一の記憶装置１０のペア管理テーブル３００には、第一の記憶装置１０のデータの複製を第二の記憶装置２０にも記憶するように非同期方式でのリモートコピーを行っていることを示す情報、及び、第一の記憶装置１０のデータの複製を第三の記憶装置３０にも記憶するように同期方式によるリモートコピーを行っていることを示す情報が登録されている。また、第二の記憶装置２０のペア管理テーブル３００には、第一の記憶装置１０のデータの複製を第三の記憶装置３０にも記憶するように同期方式によるリモートコピーを行っていることを示す情報が登録されている。第三の記憶装置３０のペア管理テーブル３００には、第一の記憶装置１０のデータの複製を第二の記憶装置２０にも記憶するように非同期方式によるリモートコピーを行っていることを示す情報が登録されている。
【００３４】
なお、図３の例では、各記憶装置１０，２０，３０に管理されるペア管理テーブル３００には、各ペア管理テーブル３００を記憶している記憶装置が関係する情報のみが登録されているが、個々のペア管理テーブルに他の記憶装置に関する情報を登録する構成でもよい。
【００３５】
＜リモートコピーの形式＞
本実施例で説明する３サイト間でのリモートコピーには、図４Ａ、図４Ｂに示す２つの形式がある。図４Ａはプライマリ記憶装置が２つのセカンダリ記憶装置に複製しようとするデータ（以下、「複製データ」と称する）を直接送信する形式（以下、この形式を「マルチコピー形式」と称する）である。一方、図４Ｂは、プライマリ記憶装置が複製データをセカンダリ記憶装置（以下、「第一のセカンダリ記憶装置」と称する）に直接送信するが、他のセカンダリ記憶装置（以下、「第二のセカンダリ記憶装置」と称する）にはプライマリ記憶装置から直接送信するのではなく第一のセカンダリ記憶装置を介して第二のセカンダリ記憶装置に間接的に送信する形式（以下、この形式を「マルチホップ形式」と称する）である。
【００３６】
マルチホップ形式ではプライマリ記憶装置が第一のセカンダリ記憶装置にのみ複製データを送信すればよいので、マルチコピー形式の場合に比べてプライマリ記憶装置の処理負荷が軽減されることになる。一方、マルチホップ形式では第一のセカンダリ記憶装置が機能を停止すると、第二のセカンダリ記憶装置においても複製データが管理されなくなるが、マルチコピー形式では第一のセカンダリ記憶装置が機能停止した場合でも第二のセカンダリ記憶装置における複製データの管理は続行されることになる。
【００３７】
＝＝＝フェールオーバ時の動作＝＝＝
次に、情報処理装置側でフェールオーバが実行された場合に、そのフェールオーバに連動して記憶装置側でのリモートコピーの運用形態が自動的に変更される仕組みについて、いくつかの事例とともに説明する。
【００３８】
＜マルチコピー形式の場合＞
図５に３サイトの記憶装置間でマルチコピー形式によるリモートコピーが運用されている場合に、情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を例示している。図５では情報処理装置は省略している。図５の態様では、図５Ａと図５Ｂ、図５Ａと図５Ｃ、図５Ｂと図５Ｃの間でリモートコピーの運用形態を変更することができる。プライマリ記憶装置は「Ｐ」、セカンダリ記憶装置は「Ｓ」として表記している。「同期」はその記憶装置間のリモートコピーが同期方式で行われていることを示している。「非同期」はその記憶装置間のリモートコピーが非同期方式で行われていることを示している。図５では第一のサイトと第二のサイトは比較的近距離であるため、第一の記憶装置１０と第二の記憶装置２０との間のリモートコピーは「同期方式」で行われるが、第一のサイトと第三のサイトとは遠距離であるため、第一の記憶装置１０と第三の記憶装置３０との間のリモートコピーは「非同期方式」で行われている。また、第二のサイトと第三のサイトも遠距離であるため、第二の記憶装置２０と第三の記憶装置３０の間のリモートコピーも「非同期方式」で行われている。
【００３９】
情報処理装置側のフェールオーバに起因してリモートコピーの運用形態が図５Ａの運用形態から図５Ｂの運用形態に変更される場合について図６に示すフローチャートとともに説明する。第一の情報処理装置１１から第二の情報処理装置２１にフェールオーバが行われる（S611）と、第一乃至第三の情報処理装置１１，２１，３１で動作するクラスタソフトウエア１２０から第一乃至第三の記憶装置１０，２０，３０にその旨が通知される（S612）。この通知は、具体的には、例えばクラスタソフトウエア１２０が前述のＭＳＣＳである場合には、フェールオーバに伴うリソースの移動をリソースＤＬＬ（Dynamic Link Library）が検知し、そのリソースＤＬＬが記憶装置に通知することで行われる。
【００４０】
フェールオーバの原因が第一の情報処理装置１１の障害によるものである場合、第一の情報処理装置１１から第一の記憶装置１０に直接前記通知を行えないこともある。このような場合には第二乃至第三の情報処理装置２１，３１から第二もしくは第三の記憶装置２０，３０に通知がなされた後、第二乃至第三の記憶装置２０，３０から第二のネットワーク５１を経由して第一の記憶装置１０に通知される。また、フェールオーバに際し、第一乃至第三の情報処理装置１１，２１，３１は、リモートコピーの運用形態の変更を行っている間、停止させておくべきリソース（ハードウエアリソース、ソフトウエアリソース）を停止させる。これにより情報処理装置側から記憶装置側へのデータＩ／Ｏ要求の送信が行われなくなる。
【００４１】
次に第一乃至第三の記憶装置１０，２０，３０は前記の通知を受信すると、リモートコピーの運用形態を図５Ａの形態から図５Ｂの形態に変更するための処理を開始する。まず、第一の記憶装置１０は非同期方式のリモートコピーにおいて未送信となっているデータが存在するかどうかを調べ（S613）、存在する場合（S613:YES）にはそのデータを第二の記憶装置２０に送信する（S614）。第二の記憶装置２０はそのデータを受信して、これを第二の論理ボリュームに反映する（S615）。以上により第一乃至第三の論理ボリューム１１５の内容が一致される。なお、第一乃至第三の記憶装置１０，２０，３０は、第一乃至第三の論理ボリューム１１５の内容が一致したことを互いに通信し合うことで認知する（S616）。
【００４２】
次に図５Ａのように構成されていたリモートコピーのペア関係が解除され、図５Ｂのペア関係が生成されるまでの処理について具体的に説明する。ここでペア関係が「解除」もしくは「生成」されるとは、具体的には、各記憶装置に記憶されているペア管理テーブル３００の内容が変更されることである。ペア管理テーブル３００の解除及び生成は、新たにプライマリ記憶装置となる記憶装置が新たにセカンダリ記憶装置となる記憶装置に対し第二のネットワーク５１を通じて解除や生成を指示することにより開始される。
【００４３】
まず、新たにプライマリ記憶装置となる第二の記憶装置２０から、セカンダリ記憶装置となる第一の記憶装置１０及び第三の記憶装置３０に対し、ペアを解除する旨の指示が送信される（S617）。次に第二の記憶装置２０は、第一の記憶装置１０及び第三の記憶装置３０に図５Ｂに対応する内容にペア管理テーブル３００の内容を更新する旨の指示を送信する（S618）。
【００４４】
次に第二の記憶装置２０は、自身が記憶しているペア管理テーブル３００の内容を図５Ｂに対応する内容に更新する。また前記指示を受信した第一の記憶装置１０及び第三の記憶装置３０は、自身が記憶しているペア管理テーブル３００の内容をそれぞれ更新する（S619）。なお、ペア管理テーブル３００の解除及び生成は、例えば、（S616）において各記憶装置１０，２０，３０が第一乃至第三の論理ボリュームの内容が一致したことを認知した後、各記憶装置１０，２０，３０において自動的に開始するようにしてもよい。
【００４５】
ペア管理テーブル３００の内容が更新されると、第一乃至第三の記憶装置１０，２０，３０の間で図５Ｂに示すマルチコピー形式でのリモートコピーの運用が開始される（S620）。図５Ｂでは第二の記憶装置２０はプライマリ記憶装置として、第一及び第三の記憶装置１０，３０はそれぞれセカンダリ記憶装置として機能する。リモートコピーが開始されると、その旨が第二もしくは第三の記憶装置２０，３０から、第二もしくは第三の情報処理装置２１，３１で動作するクラスタソフトウエア１２０に通知される（S621）。この通知があると、第二の情報処理装置２１は本番系として、第三の情報処理装置３１はバックアップ系としての動作を開始する（S622）。
【００４６】
以上、図５Ａの運用形態から図５Ｂの運用形態に変更される場合について説明したが、逆に図５Ｂの運用形態から図５Ａの運用形態に変更される場合、図５Ａの運用形態から図５Ｃの運用形態に変更される場合及びその逆の場合、図５Ｂの運用形態から図５Ｃの運用形態に変更される場合及びその逆の場合、のそれぞれの場合についても以上と同じようにして行われる。
【００４７】
なお、以上に説明した仕組みによれば、マルチコピー形式が適用されている場合において、情報処理装置側のフェールオーバに連動させて記憶装置側のリモートコピーの運用形態をオペレータなどの人手を介在させずに自動的に変更することが可能となる。
【００４８】
＜マルチホップ形式の場合＞
図７に３サイトの記憶装置間でマルチホップ形式によるリモートコピーが運用されている場合に、情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を例示している。図７では情報処理装置は省略している。図７の態様では、図７Ａと図７Ｂ、図７Ａと図７Ｃ、図７Ｂと図７Ｃの間でリモートコピーの運用形態を変更することができる。プライマリ記憶装置を「Ｐ」、第一のセカンダリ記憶装置を「Ｓ１」、第二のセカンダリ記憶装置を「Ｓ２」として表記している。図７では第一のサイトと第二のサイトは比較的近距離であるため、第一の記憶装置１０と第二の記憶装置２０との間のリモートコピーは「同期方式」もしくは「非同期方式」で行われるが、第一のサイトと第三のサイトとは遠距離であるため、第一の記憶装置１０と第三の記憶装置３０との間のリモートコピーは「非同期方式」で行われている。また、第二のサイトと第三のサイトも遠距離であるため、第二の記憶装置２０と第三の記憶装置３０の間のリモートコピーも「非同期方式」で行われている。
【００４９】
情報処理装置側のフェールオーバに起因してリモートコピーの運用形態が図７Ａから図７Ｂに自動的に変更される場合について図８に示すフローチャートとともに説明する。障害の発生や人がユーザインターフェースを操作することにより第一の情報処理装置１１から第二の情報処理装置２１にフェールオーバが行われる（S811）と、第一乃至第三の情報処理装置１１，２１，３１で動作するクラスタソフトウエアから第一乃至第三の記憶装置１０，２０，３０に対してその旨が通知される（S812）。
【００５０】
次にこの通知を受信した第一乃至第三の記憶装置１０，２０，３０は、リモートコピーの運用形態を図７Ａの形態から図７Ｂの形態に変更するための処理を開始する。まず、第二の記憶装置２０は非同期方式のリモートコピーにおいて未送信となっている複製データが存在するかどうかを調べ（S813）、存在する場合（S813:YES）にはそのデータを第三の記憶装置３０に送信する（S814）。第三の記憶装置３０はそのデータを受信すると、これを第二の論理ボリュームに反映する（S815）。以上により第一乃至第三の論理ボリュームの内容が一致される。なお、第一乃至第三の記憶装置３０は、第一乃至第三の論理ボリュームの内容が一致したことを互いに通信し合うことで認知する（S816）。
【００５１】
次に図６Ａのように構成されていたリモートコピーのペア関係が解除され、図７Ｂのペア関係が生成されるまでの処理について具体的に説明する。まず、新たにプライマリ記憶装置となる第二の記憶装置２０から、セカンダリ記憶装置となる第一の記憶装置１０及び第三の記憶装置３０にペアを解除する旨の指示が送信される（S817）。次に、新たにプライマリ記憶装置となる第二の記憶装置２０は、自身が記憶しているペア管理テーブル３００の内容を図７Ａに対応する関係から図７Ｂに対応する関係に変更した後、第一の記憶装置１０及び第三の記憶装置３０に対し、図７Ａから図７Ｂに対応する関係にペア管理テーブル３００の内容を更新する旨の指示を送信する（S818）。
【００５２】
一方、これを受信した第一の記憶装置１０及び第三の記憶装置３０は、それぞれ記憶しているペア管理テーブル３００の内容を図６Ｂに対応する内容に更新する（S819）。なお、ペア管理テーブル３００の解除及び生成は、以上に説明した方法以外にも、例えば、各記憶装置１０，２０，３０が第一乃至第三の論理ボリュームの内容が一致したことを認知した後、各記憶装置１０，２０，３０において自動的に開始するようにしてもよい。
【００５３】
ペア管理テーブル３００の内容が更新されると、第一乃至第三の記憶装置１０，２０，３０の間で図７Ｂに示すマルチホップ形式でのリモートコピーの運用が開始される（S820）。また、リモートコピーが開始されると、その旨が第二もしくは第三の記憶装置２０，３０から、第二及び第三の情報処理装置２１，３１で動作するクラスタソフトウエアに通知される（S821）。この通知があると、第二の情報処理装置２１は本番系として、第三の情報処理装置３１はバックアップ系としての動作を開始する（S822）。
【００５４】
以上、図７Ａの運用形態から図７Ｂの運用形態に変更される場合について説明したが、逆に図７Ｂの運用形態から図７Ａの運用形態に変更される場合、図７Ａの運用形態から図７Ｃの運用形態に変更される場合及びその逆の場合、図７Ｂの運用形態から図７Ｃの運用形態に変更される場合及びその逆の場合、のそれぞれについても以上と同じようにして行われる。
【００５５】
なお、以上に説明した仕組みによれば、マルチホップ形式が適用されている場合において、情報処理装置側のフェールオーバに連動させて記憶装置側のリモートコピーの運用形態をオペレータなどの人手を介在させずに自動的に変更することが可能となる。
【００５６】
＜２つの形式が混在する場合＞
図９は３サイトの記憶装置間でマルチコピー形式もしくはマルチホップ形式によるリモートコピーが運用されている場合において、フェールオーバの実行に連動してリモートコピーの運用形態が自動的に変更される場合の運用形態の変更の態様を示している。図９では情報処理装置は省略している。図９の態様では、図９Ａと図９Ｂ、図９Ａと図９Ｃ、図９Ｂと図９Ｃの間でリモートコピーの運用形態を変更することができる。図９では第一のサイトと第二のサイトは比較的近距離であるため、第一の記憶装置１０と第二の記憶装置２０との間のリモートコピーは「同期方式」で行われるが、第一のサイトと第三のサイトとは遠距離であるため、第一の記憶装置１０と第三の記憶装置３０との間のリモートコピーは「非同期方式」で行われている。また、第二のサイトと第三のサイトも遠距離であるため、第二の記憶装置２０と第三の記憶装置３０の間のリモートコピーも「非同期方式」で行われている。
【００５７】
図９の態様では、マルチコピー形式からマルチホップ形式へ、もしくは、マルチホップ形式からマルチコピー形式へというように、異なる形式間での運用形態の変更も行われる。またこの態様ではいずれの運用形態においても第二の記憶装置２０と第三の記憶装置３０との間でリモートコピーのための複製データの通信は行われない。つまり、図９の態様は、例えば、第二のサイトと第三のサイト間が通信可能に接続されていない状況や、第二のサイトと第三のサイト間の通信に障害が発生した場合であっても適用できる。
【００５８】
図９Ａでは、マルチコピー形式によるリモートコピーが行われており、第一の記憶装置１０がプライマリ記憶装置「Ｐ」、第二及び第三の記憶装置２０，３０がセカンダリ記憶装置「Ｓ」となっている。図９Ｂでは、マルチホップ形式によるリモートコピーが行われており、第二の記憶装置２０がプライマリ記憶装置「Ｐ」、第一の記憶装置１０が第一のセカンダリ記憶装置「Ｓ１」、第三の記憶装置３０が第二のセカンダリ記憶装置「Ｓ２」となっている。図９Ｃもマルチホップ形式によるリモートコピーが行われており、第三の記憶装置３０がプライマリ記憶装置「Ｐ」、第一の記憶装置１０が第一のセカンダリ記憶装置「Ｓ１」、第三の記憶装置３０が第二のセカンダリ記憶装置「Ｓ２」となっている。
【００５９】
情報処理装置側のフェールオーバに起因してリモートコピーの運用形態が図９Ａから図９Ｂに自動的に変更される場合について図１０に示すフローチャートとともに説明する。第一の情報処理装置１１から第二の情報処理装置２１にフェールオーバが行われる（S1011）と、第一乃至第三の情報処理装置１１，２１，３１で動作するクラスタソフトウエアから第一乃至第三の記憶装置１０，２０，３０にその旨が通知される（S1012）。
【００６０】
次に前記通知を受信した第一乃至第三の記憶装置１０，２０，３０は、リモートコピーの運用形態を図９Ａの運用形態から図９Ｂの運用形態に変更するための処理を開始する。まず、第一の記憶装置１０は非同期方式のリモートコピーにおいて未送信となっているデータが存在するかどうかを調べ（S1013）、存在する場合（S1013:YES）にはそのデータを第二の記憶装置２０に送信する（S1014）。第二の記憶装置２０はそのデータを受信するとこれを第二の論理ボリュームに反映する（S1015）。以上により第一乃至第三の論理ボリュームの内容が一致される。なお、第一乃至第三の記憶装置１０，２０，３０は、第一乃至第三の論理ボリュームの内容が一致したことを互いに通信し合うことで認知する（S1016）。
【００６１】
次に図９Ａのように構成されていたリモートコピーのペア関係が解除され、図９Ｂのペア関係が生成されるまでの処理について具体的に説明する。まず、新たにプライマリ記憶装置となる第二の記憶装置２０から、セカンダリ記憶装置となる第一の記憶装置１０及び第三の記憶装置３０にペアを解除する旨の指示が送信される（S1017）。次に、新たにプライマリ記憶装置となる第二の記憶装置２０は、自身が記憶しているペア管理テーブル３００の内容を図９Ａに対応する関係から図９Ｂに対応する関係に変更した後、第一の記憶装置１０及び第三の記憶装置３０に対し、図９Ａから図９Ｂに対応する関係にペア管理テーブル３００の内容を更新する旨の指示を送信する（S1018）。
【００６２】
一方、これを受信した第一の記憶装置１０及び第三の記憶装置３０は、自身が記憶しているペア管理テーブル３００の内容をそれぞれ図９Ｂに対応する内容に更新する（S1019）。なお、ペア管理テーブル３００の解除及び生成は、以上に説明した方法以外にも、例えば、各記憶装置１０，２０，３０が第一乃至第三の論理ボリュームの内容が一致したことを認知した後、各記憶装置１０，２０，３０において自動的に開始するようにしてもよい。
【００６３】
ペア管理テーブル３００の内容が更新されると、第一乃至第三の記憶装置１０，２０，３０の間で図９Ｂに示すマルチホップ形式でのリモートコピーの運用が開始される（S1020）。また、リモートコピーが開始されると、その旨が第二もしくは第三の情報処理装置２１，３１で動作するクラスタソフトウエアに通知される（S1021）。この通知があると、第二の情報処理装置２１は本番系として、第三の情報処理装置３１はバックアップ系としての動作を開始する（S1022）。
【００６４】
以上では、図９Ａの運用形態から図９Ｂの運用形態に変更される場合について説明したが、逆に図９Ｂの運用形態から図９Ａの運用形態に変更される場合、図９Ａの運用形態から図９Ｃの運用形態に変更される場合及びその逆の場合、図９Ｂの運用形態から図９Ｃの運用形態に変更される場合及びその逆の場合、のそれぞれについても以上と同様の方法により行われる。
【００６５】
なお、以上に説明した仕組みによれば、例えば、第二のサイトと第三のサイト間が通信可能に接続されていない状況や、第二のサイトと第三のサイト間の通信に障害が発生した場合などであっても、情報処理装置側のフェールオーバに連動させて記憶装置側のリモートコピーの運用形態をオペレータなどの人手を介在させずに自動的に変更することが可能となる。
【００６６】
以上、一実施形態に基づき本発明に係る情報処理システムの制御方法等について説明したが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【００６７】
【発明の効果】
本発明によれば、情報処理システムの制御方法、情報処理システム、及びプログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施例による情報処理システムの概略構成を示す図である。
【図２】本発明の一実施例として説明するディスクアレイ装置の構成を示す図である。
【図３】本発明の一実施例として説明するペア管理テーブルを説明する図である。
【図４】図４Ａはマルチコピー形式のリモートコピーを説明する図であり、図４Ｂはマルチホップ形式のリモートコピーを説明する図である。
【図５】図５は、本発明の一実施例による、リモートコピーがマルチコピー形式で行われている場合における情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を示す図であり、図５Ａ、図５Ｂ、図５Ｃは、それぞれマルチコピー形式のリモートコピーの異なる運用形態を示す図である。
【図６】図６はリモートコピーの運用形態が図５Ａの運用形態から図５Ｂの運用形態に変更される場合の処理の流れを説明するフローチャートを示す図である。
【図７】図７は、本発明の一実施例による、リモートコピーがマルチホップ形式で行われている場合における情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を示す図であり、図７Ａ、図７Ｂ、図７Ｃは、それぞれマルチホップ形式のリモートコピーの異なる運用形態を示す図である。
【図８】図８はリモートコピーの運用形態が図７Ａの運用形態から図７Ｂの運用形態に変更される場合の処理の流れを説明するフローチャートを示す図である。
【図９】図９は、本発明の一実施例による、リモートコピーがマルチコピー形式もしくはマルチホップ形式によるリモートコピーが運用されている場合における、情報処理装置側のフェールオーバに連動して行われる運用形態の変更の態様を示す図であり、図９Ａ、図９Ｂ、図９Ｃはそれぞれリモートコピーの異なる運用形態を示す図である。
【図１０】図１０はリモートコピーの運用形態が図９Ａの運用形態から図９Ｂの運用形態に変更される場合の処理の流れを説明するフローチャートを示す図である。
【符号の説明】
１０ 第一の記憶装置
１１ 第一の情報処理装置
２０ 第二の記憶装置
２１ 第二の情報処理装置
３０ 第三の記憶装置
３１ 第三の情報処理装置
１０１ チャネル制御部
１０２ リモート通信インタフェース
１０３ ディスク制御部
１０４ 共有メモリ
１０５ キャッシュメモリ
１０６ スイッチング制御部
１１０ ディスクドライブ
１１５ 論理ボリューム
Claims (18)
- 第一のサイトに設置された第一の記憶装置及びこれにアクセスする第一の情報処理装置と、第二のサイトに設置された第二の記憶装置及びこれにアクセスする第二の情報処理装置と、第三のサイトに設置された第三の記憶装置及びこれにアクセスする第三の情報処理装置と、を含み、
前記第一乃至第三の情報処理装置が互いに通信可能に接続され、
前記第一乃至第三の記憶装置が互いに通信可能に接続され、
前記第一乃至第三の情報処理装置がクラスタ化されている情報処理システムの制御方法であって、
前記第一乃至第三の記憶装置のいずれか１つを複製元の記憶装置とし、他の２つを複製先の記憶装置とする旨の設定情報を前記第一乃至第三の記憶装置の夫々が記憶し、
複製元として設定されている前記記憶装置が前記情報処理装置から送信されてくるデータ書き込み要求に応じてデータを記憶した場合に、複製元として設定されている前記記憶装置から複製先として設定されている他の２つの前記記憶装置に前記データを送信し、前記データを受信した他の２つの前記記憶装置が前記データを記憶し、
前記第一乃至第三の情報処理装置のいずれかの情報処理装置から他のいずれかの情報処理装置にフェールオーバが実行された場合に、複製元として設定されていた前記記憶装置が複製先の記憶装置となるように、複製先として設定されていた２つの前記記憶装置のうちのいずれか１つが複製元の記憶装置となり他の１つが複製先の記憶装置となるように、各記憶装置に記憶されている前記設定情報の内容を自動的に変更すること、
を特徴とする情報処理システムの制御方法。 - 請求項１に記載の情報処理システムの制御方法において、
前記第一乃至第三の情報処理装置のいずれかの情報処理装置から他のいずれかの情報処理装置にフェールオーバが実行された場合に、前記情報処理装置のうち少なくともいずれか１つの情報処理装置からその情報処理装置がアクセスする前記第一乃至第三のいずれかの記憶装置にその旨を通知し、
前記通知を受信した前記記憶装置から他の前記記憶装置に前記通知があった旨が通知されることにより、前記第一乃至第三の記憶装置が前記設定情報の内容の変更に関する処理を実行すること、
を特徴とする情報処理システムの制御方法。 - 請求項１に記載の情報処理システムの制御方法において、
複製元として設定されている前記記憶装置から複製先として設定されている前記記憶装置への前記データの送信が、複製元として設定されている前記記憶装置から複製先として設定されている前記記憶装置に対して直接行われること、
を特徴とする情報処理システムの制御方法。 - 請求項１に記載の情報処理システムの制御方法において、
複製元として設定されている前記記憶装置から複製先として設定されている１つ目の前記記憶装置への前記データの送信が、前記複製元の記憶装置から前記複製先の記憶装置に対して直接行われ、複製先として設定されている２つ目の前記記憶装置に対する前記データの送信は、複製先として設定されている１つ目の前記記憶装置を介して間接的に行われること、
を特徴とする情報処理システムの制御方法。 - 請求項１に記載の情報処理システムの制御方法において、
前記設定情報の内容の変更に際し、
複製元として設定されている前記記憶装置から複製先として設定されている前記記憶装置への前記データの送信が、複製元として設定されている前記記憶装置から複製先として設定されている前記記憶装置に対して直接行われる制御から、
複製元として設定されている前記記憶装置から複製先として設定されている１つ目の前記記憶装置への前記データの送信は前記複製元の記憶装置から直接行われ、複製先として設定されている２つ目の前記記憶装置への前記データの送信は複製先として設定されている１つ目の前記記憶装置を介して間接的に行われる制御に切り替えること、
を特徴とする情報処理システムの制御方法。 - 請求項１に記載の情報処理システムの制御方法において、
複製元として設定されている前記記憶装置が、複製先として設定されている前記記憶装置に前記データが書き込まれたことを確認した後に前記データ書き込み要求に対する完了報告を前記情報処理装置に送信することを特徴とする情報処理システムの制御方法。 - 請求項１に記載の情報処理システムの制御方法において、
複製元として設定されている前記記憶装置が、複製先として設定されている前記記憶装置において前記データが書き込まれたか否かとは無関係に前記データ書き込み要求に対する完了報告を前記情報処理装置に送信することを特徴とする情報処理システムの制御方法。 - 請求項１に記載の情報処理システムの制御方法において、
前記第一乃至第三の記憶装置のデータ記憶領域はこの記憶領域上に論理的に設定された論理ボリュームを単位として管理され、
複製元として設定されている前記記憶装置の論理ボリュームと複製先として設定されている前記記憶装置の論理ボリュームとが対応づけられ、
複製元として設定されている前記記憶装置に記憶しているデータの複製を複製先として設定されている他の２つの前記記憶装置にも記憶する前記制御は、対応づけられている前記各論理ボリュームの内容を一致させるように行われること、
を特徴とする情報処理システムの制御方法。 - ＣＰＵ及びメモリを有する第一の情報処理装置と、前記第一の情報処理装置と通信可能に接続し、前記第一の情報処理装置と通信するチャネル制御部、キャッシュメモリ、及びディスクドライブに対するデータの書き込み／読み出しを行うディスク制御部を有する第一のディスクアレイ装置とが第一のサイトに設置され、
ＣＰＵ及びメモリを有する第二の情報処理装置と、前記第二の情報処理装置と通信可能に接続し、前記第二の情報処理装置と通信するチャネル制御部、キャッシュメモリ、及びディスクドライブに対するデータの書き込み／読み出しを行うディスク制御部を有する第二のディスクアレイ装置とが第二のサイトに設置され、
ＣＰＵ及びメモリを有する第三の情報処理装置と、前記第三の情報処理装置と通信可能に接続し、前記第三の情報処理装置と通信するチャネル制御部、キャッシュメモリ、及びディスクドライブに対するデータの書き込み／読み出しを行うディスク制御部を有する第三のディスクアレイ装置とが第三のサイトに設置され、
前記第一乃至第三の情報処理装置が互いに通信可能に接続され、
前記第一乃至第三のディスクアレイ装置が互いに通信可能に接続されてなる情報処理システムの制御方法であって、
前記第一乃至第三の情報処理装置を、前記第一乃至第三の情報処理装置の間で障害が発生した場合に互いに処理を引き継ぐようにクラスタ化して制御し、
前記第一乃至第三のディスクアレイ装置において、前記第一乃至第三のディスクアレイ装置のうちのいずれか１つをリモートコピーの複製元のディスクアレイ装置とし、他の２つを複製先のディスクアレイ装置とする旨の設定情報を前記第一乃至第三の記憶装置の夫々に記憶し、
複製元として設定されている前記ディスクアレイ装置が、当該ディスクアレイ装置に接続している前記情報処理装置から送信されてくるデータ書き込み要求に応じてデータを記憶した場合に、複製元として設定されている前記ディスクアレイ装置から複製先として設定されている他の２つの前記ディスクアレイ装置に前記データを送信し、前記データを受信した他の２つの前記ディスクアレイ装置のそれぞれが前記データを記憶するようにし、
前記第一乃至第三の情報処理装置のいずれかの前記情報処理装置から他のいずれかの前記情報処理装置にフェールオーバが実行された場合に、複製元として設定されていた前記ディスクアレイ装置が複製先のディスクアレイ装置となるように、複製先として設定されていた２つの前記ディスクアレイ装置のうちのいずれか１つが複製元のディスクアレイ装置となり他の１つが複製先のディスクアレイ装置となるように、前記各ディスクアレイ装置に記憶されている前記設定情報の内容を自動的に変更すること、
を特徴とする情報処理システムの制御方法。 - 請求項９に記載の情報処理システムの制御方法であって、
複製元及び複製先となる前記各ディスクアレイ装置のそれぞれにおける前記設定情報の内容の変更は、前記第１乃至第三の情報処理装置のうちの２つの情報処理装置の間で行われているリモートコピーの同期／非同期の方式を維持したまま行われること
を特徴とする情報処理システムの制御方法。 - 請求項９に記載の情報処理システムの制御方法であって、
複製元及び複製先となるディスクアレイ装置のそれぞれにおける前記設定情報の内容を変更する際、リモートコピーの同期／非同期の方式を変更すること
を特徴とする情報処理システムの制御方法。 - 第一のサイトに設置された第一の記憶装置及びこれにアクセスする第一の情報処理装置と、第二のサイトに設置された第二の記憶装置及びこれにアクセスする第二の情報処理装置と、第三のサイトに設置された第三の記憶装置及びこれにアクセスする第三の情報処理装置と、を含み
前記第一乃至第三の情報処理装置が互いに通信可能に接続され、
前記第一乃至第三の記憶装置が互いに通信可能に接続され、
前記第一乃至第三の情報処理装置をクラスタ化され、
前記第一乃至第三の記憶装置のいずれか１つの記憶装置を複製元の記憶装置とし、他の２つの記憶装置を複製先の記憶装置とする旨の設定情報を前記第一乃至第三の記憶装置の夫々に記憶する手段と、
複製元として設定されている前記記憶装置が前記情報処理装置から送信されてくるデータ書き込み要求に応じてデータを記憶した場合に、複製元として設定されている前記記憶装置から複製先として設定されている他の２つの前記記憶装置に前記データを送信し、前記データを受信した他の２つの前記記憶装置が前記データを記憶するように制御する手段と、
前記第一乃至第三の情報処理装置のいずれかの情報処理装置から他のいずれかの情報処理装置にフェールオーバが実行された場合に、複製元として設定されていた前記記憶装置が複製先の記憶装置となるように、複製先として設定されていた２つの前記記憶装置のうちのいずれか一方が複製元の記憶装置となり他の一方が複製先となるように、各記憶装置に記憶されている前記設定情報の内容を自動的に変更する手段と、
を備えることを特徴とする情報処理システム。 - 請求項１２に記載の情報処理システムにおいて、
複製元として設定されている前記記憶装置から複製先として設定されている前記記憶装置への前記データの送信は、複製元として設定されている前記記憶装置から複製先として設定されている前記記憶装置に対して直接行われること、
を特徴とする情報処理システム。 - 請求項１２に記載の情報処理システムにおいて、
複製元として設定されている前記記憶装置から複製先として設定されている１つ目の前記記憶装置への前記データの送信は、前記複製元の記憶装置から前記複製先の記憶装置に対して直接行われ、複製先として設定されている２つ目の前記記憶装置に対する前記データの送信は、複製先として設定されている１つ目の前記記憶装置を介して間接的に行われること、
を特徴とする情報処理システム。 - 請求項１２に記載の情報処理システムにおいて、
前記設定情報の内容の変更に際し、
複製元として設定されている前記記憶装置から複製先として設定されている前記記憶装置への前記データの送信が、複製元として設定されている前記記憶装置から複製先として設定されている前記記憶装置に対して直接行われるようにする制御から、
複製元として設定されている前記記憶装置から複製先として設定されている１つ目の前記記憶装置への前記データの送信は前記複製元の記憶装置から直接行われ、複製先として設定されている２つ目の前記記憶装置への前記データの送信は、複製先として設定されている１つ目の前記記憶装置を介して間接的に行われるようにする制御に切り替える手段、
を備えることを特徴とする情報処理システム。 - 請求項１２に記載の情報処理システムにおいて、
複製元として設定されている前記記憶装置が、複製先として設定されている前記記憶装置において前記データが書き込まれたことを確認した後に前記データ書き込み要求に対する完了報告を前記情報処理装置に送信する手段を備えることを特徴とする情報処理システム。 - 請求項１２に記載の情報処理システムにおいて、
複製元として設定されている前記記憶装置が、複製先として設定されている前記記憶装置において前記データが書き込まれたか否かとは無関係に前記データ書き込み要求に対する完了報告を前記情報処理装置に送信する手段を備えることを特徴とする情報処理システム。 - 第一のサイトに設置された第一の記憶装置及びこれにアクセスする第一の情報処理装置と、第二のサイトに設置された第二の記憶装置及びこれにアクセスする第二の情報処理装置と、第三のサイトに設置された第三の記憶装置及びこれにアクセスする第三の情報処理装置と、
前記第一乃至第三の情報処理装置を互いに通信可能に接続する手段と、
前記第一乃至第三の記憶装置を互いに通信可能に接続する手段と、
前記第一乃至第三の情報処理装置をクラスタ化する手段と、
前記第一乃至第三の記憶装置のいずれか１つの記憶装置を複製元の記憶装置とし、他の２つの記憶装置を複製先の記憶装置とする旨の設定情報を前記第一乃至第三の記憶装置の夫々に記憶する手段と、
複製元として設定されている前記記憶装置が前記情報処理装置から送信されてくるデータ書き込み要求に応じてデータを記憶した場合に、複製元として設定されている前記記憶装置から複製先として設定されている他の２つの前記記憶装置に前記データを送信し、前記データを受信した他の２つの前記記憶装置が前記データを記憶するように制御する手段と、
前記第一乃至第三の情報処理装置のいずれかの情報処理装置から他のいずれかの情報処理装置にフェールオーバが実行された場合に、複製元として設定されている前記記憶装置が複製先の記憶装置となるように、複製先として設定されている２つの前記記憶装置のうちのいずれか一方が複製元の記憶装置となり他の一方が複製先となるように、各記憶装置に記憶されている前記設定情報の内容を自動的に変更する手段と、
を備える情報処理システムにおける前記第一乃至第三の情報処理装置のうちの少なくともいずれかに、
前記フェールオーバが実行された場合に、前記情報処理装置のうち少なくともいずれか１つの情報処理装置からその情報処理装置がアクセスする前記第一乃至第三のいずれかの記憶装置にその旨を通知する機能を実現するためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002376856A JP4037257B2 (ja) | 2002-12-26 | 2002-12-26 | 情報処理システムの制御方法、情報処理システム、及びプログラム |
| US10/637,920 US7013372B2 (en) | 2002-12-26 | 2003-08-07 | Method for controlling information processing system, information processing system and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002376856A JP4037257B2 (ja) | 2002-12-26 | 2002-12-26 | 情報処理システムの制御方法、情報処理システム、及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004206562A JP2004206562A (ja) | 2004-07-22 |
| JP2004206562A5 JP2004206562A5 (ja) | 2006-01-05 |
| JP4037257B2 true JP4037257B2 (ja) | 2008-01-23 |
Family
ID=32766670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002376856A Expired - Lifetime JP4037257B2 (ja) | 2002-12-26 | 2002-12-26 | 情報処理システムの制御方法、情報処理システム、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7013372B2 (ja) |
| JP (1) | JP4037257B2 (ja) |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7134044B2 (en) * | 2002-08-16 | 2006-11-07 | International Business Machines Corporation | Method, system, and program for providing a mirror copy of data |
| JP2004086721A (ja) * | 2002-08-28 | 2004-03-18 | Nec Corp | データ複製システム、中継装置、データ送受信方法およびストレージ内のデータを複製するためのプログラム |
| US7174433B2 (en) | 2003-04-03 | 2007-02-06 | Commvault Systems, Inc. | System and method for dynamically sharing media in a computer network |
| JP2004362146A (ja) * | 2003-06-03 | 2004-12-24 | Hitachi Ltd | ストレージ制御装置の制御方法及びストレージ制御装置 |
| JP2005309550A (ja) * | 2004-04-19 | 2005-11-04 | Hitachi Ltd | リモートコピー方法及びリモートコピーシステム |
| JP2005018510A (ja) * | 2003-06-27 | 2005-01-20 | Hitachi Ltd | データセンタシステム及びその制御方法 |
| US7797571B2 (en) * | 2003-07-15 | 2010-09-14 | International Business Machines Corporation | System, method and circuit for mirroring data |
| JP2005062928A (ja) * | 2003-08-11 | 2005-03-10 | Hitachi Ltd | 複数のサイトにリモートコピーを行うシステム |
| US7188222B2 (en) * | 2003-09-29 | 2007-03-06 | International Business Machines Corporation | Method, system, and program for mirroring data among storage sites |
| US7181647B2 (en) * | 2003-10-15 | 2007-02-20 | International Business Machines Corporation | Error tracking method and system |
| US7203796B1 (en) | 2003-10-24 | 2007-04-10 | Network Appliance, Inc. | Method and apparatus for synchronous data mirroring |
| US7200726B1 (en) | 2003-10-24 | 2007-04-03 | Network Appliance, Inc. | Method and apparatus for reducing network traffic during mass storage synchronization phase of synchronous data mirroring |
| US7596672B1 (en) * | 2003-10-24 | 2009-09-29 | Network Appliance, Inc. | Synchronous mirroring including writing image updates to a file |
| US7398350B1 (en) * | 2003-10-29 | 2008-07-08 | Symantec Operating Corporation | Distribution of data volume virtualization |
| JP4282464B2 (ja) * | 2003-12-17 | 2009-06-24 | 株式会社日立製作所 | リモートコピーシステム |
| JP4516322B2 (ja) | 2004-01-28 | 2010-08-04 | 株式会社日立製作所 | 複数の上位装置で共有される記憶装置システムを持つサイト間での共有排他制御方式を備えたコンピュータシステム |
| US8359491B1 (en) | 2004-03-30 | 2013-01-22 | Symantec Operating Corporation | Disaster recovery rehearsal using copy on write |
| US8335909B2 (en) | 2004-04-15 | 2012-12-18 | Raytheon Company | Coupling processors to each other for high performance computing (HPC) |
| US9178784B2 (en) | 2004-04-15 | 2015-11-03 | Raytheon Company | System and method for cluster management based on HPC architecture |
| US8336040B2 (en) | 2004-04-15 | 2012-12-18 | Raytheon Company | System and method for topology-aware job scheduling and backfilling in an HPC environment |
| US7383462B2 (en) * | 2004-07-02 | 2008-06-03 | Hitachi, Ltd. | Method and apparatus for encrypted remote copy for secure data backup and restoration |
| JP4401895B2 (ja) * | 2004-08-09 | 2010-01-20 | 株式会社日立製作所 | 計算機システム、計算機及びそのプログラム。 |
| US7451347B2 (en) * | 2004-10-08 | 2008-11-11 | Microsoft Corporation | Failover scopes for nodes of a computer cluster |
| US7472238B1 (en) | 2004-11-05 | 2008-12-30 | Commvault Systems, Inc. | Systems and methods for recovering electronic information from a storage medium |
| US7475274B2 (en) * | 2004-11-17 | 2009-01-06 | Raytheon Company | Fault tolerance and recovery in a high-performance computing (HPC) system |
| JP4641528B2 (ja) * | 2004-11-25 | 2011-03-02 | 富士通株式会社 | データ書き込みプログラム及びデータ書き込み方法 |
| JP4575119B2 (ja) * | 2004-11-25 | 2010-11-04 | 株式会社日立製作所 | ストレージシステム |
| US7320088B1 (en) | 2004-12-28 | 2008-01-15 | Veritas Operating Corporation | System and method to automate replication in a clustered environment |
| US20060184553A1 (en) * | 2005-02-15 | 2006-08-17 | Matsushita Electric Industrial Co., Ltd. | Distributed MPEG-7 based surveillance servers for digital surveillance applications |
| US7672979B1 (en) * | 2005-04-22 | 2010-03-02 | Symantec Operating Corporation | Backup and restore techniques using inconsistent state indicators |
| JP2006309447A (ja) | 2005-04-27 | 2006-11-09 | Hitachi Ltd | 記憶システム及びバックアップ方法 |
| JP2006309483A (ja) * | 2005-04-28 | 2006-11-09 | Hitachi Ltd | ストレージ装置及びストレージシステム |
| JP4920391B2 (ja) * | 2006-01-06 | 2012-04-18 | 株式会社日立製作所 | 計算機システムの管理方法、管理サーバ、計算機システム及びプログラム |
| US7797566B2 (en) * | 2006-07-11 | 2010-09-14 | Check Point Software Technologies Ltd. | Application cluster in security gateway for high availability and load sharing |
| US8001307B1 (en) | 2007-04-27 | 2011-08-16 | Network Appliance, Inc. | Apparatus and a method to eliminate deadlock in a bi-directionally mirrored data storage system |
| JP4994128B2 (ja) * | 2007-06-28 | 2012-08-08 | 株式会社日立製作所 | ストレージシステムとストレージシステムにおける管理方法 |
| US8676760B2 (en) | 2008-08-05 | 2014-03-18 | International Business Machines Corporation | Maintaining data integrity in data servers across data centers |
| JP5217967B2 (ja) * | 2008-11-28 | 2013-06-19 | 富士通株式会社 | 故障ノード切り離し処理プログラム、故障ノード切り離し方法及びストレージシステム |
| US9229829B2 (en) * | 2012-07-25 | 2016-01-05 | GlobalFoundries, Inc. | Synchronous mode replication to multiple clusters |
| JP5965782B2 (ja) * | 2012-08-27 | 2016-08-10 | 株式会社エヌ・ティ・ティ・データ | データ送信装置、データ送信方法およびプログラム |
| US9213497B2 (en) * | 2012-12-13 | 2015-12-15 | Hitachi, Ltd. | Storage apparatus and storage apparatus migration method |
| US9626367B1 (en) | 2014-06-18 | 2017-04-18 | Veritas Technologies Llc | Managing a backup procedure |
| US10241712B1 (en) * | 2014-06-30 | 2019-03-26 | EMC IP Holding Company LLC | Method and apparatus for automated orchestration of long distance protection of virtualized storage |
| US10656991B2 (en) * | 2015-08-24 | 2020-05-19 | International Business Machines Corporation | Electronic component having redundant product data stored externally |
| US10630802B2 (en) * | 2015-12-07 | 2020-04-21 | International Business Machines Corporation | Read caching in PPRC environments |
| US11223537B1 (en) | 2016-08-17 | 2022-01-11 | Veritas Technologies Llc | Executing custom scripts from the host during disaster recovery |
| JP6901677B2 (ja) | 2017-04-17 | 2021-07-14 | 富士通株式会社 | 管理プログラム、管理装置および管理方法 |
| US10719387B2 (en) * | 2018-04-25 | 2020-07-21 | Oracle International Corporation | Memory interface with tamper-evident features to enhance software security |
| US11709743B2 (en) | 2021-03-31 | 2023-07-25 | Netapp, Inc. | Methods and systems for a non-disruptive automatic unplanned failover from a primary copy of data at a primary storage system to a mirror copy of the data at a cross-site secondary storage system |
| US11360867B1 (en) * | 2021-03-31 | 2022-06-14 | Netapp, Inc. | Re-aligning data replication configuration of primary and secondary data serving entities of a cross-site storage solution after a failover event |
| US11550679B2 (en) | 2021-03-31 | 2023-01-10 | Netapp, Inc. | Methods and systems for a non-disruptive planned failover from a primary copy of data at a primary storage system to a mirror copy of the data at a cross-site secondary storage system |
| US11740811B2 (en) | 2021-03-31 | 2023-08-29 | Netapp, Inc. | Reseeding a mediator of a cross-site storage solution |
| US11934670B2 (en) | 2021-03-31 | 2024-03-19 | Netapp, Inc. | Performing various operations at the granularity of a consistency group within a cross-site storage solution |
| US11481139B1 (en) | 2021-03-31 | 2022-10-25 | Netapp, Inc. | Methods and systems to interface between a multi-site distributed storage system and an external mediator to efficiently process events related to continuity |
| US11409622B1 (en) | 2021-04-23 | 2022-08-09 | Netapp, Inc. | Methods and systems for a non-disruptive planned failover from a primary copy of data at a primary storage system to a mirror copy of the data at a cross-site secondary storage system without using an external mediator |
| US11893261B2 (en) | 2021-05-05 | 2024-02-06 | Netapp, Inc. | Usage of OP logs to synchronize across primary and secondary storage clusters of a cross-site distributed storage system and lightweight OP logging |
| US11593223B1 (en) | 2021-09-02 | 2023-02-28 | Commvault Systems, Inc. | Using resource pool administrative entities in a data storage management system to provide shared infrastructure to tenants |
| US11537314B1 (en) | 2021-10-07 | 2022-12-27 | Netapp, Inc. | Resynchronization of individual volumes of a consistency group (CG) within a cross-site storage solution while maintaining synchronization of other volumes of the CG |
| US11892982B2 (en) | 2021-10-20 | 2024-02-06 | Netapp, Inc. | Facilitating immediate performance of volume resynchronization with the use of passive cache entries |
| US11907562B2 (en) | 2022-07-11 | 2024-02-20 | Netapp, Inc. | Methods and storage nodes to decrease delay in resuming input output (I/O) operations after a non-disruptive event for a storage object of a distributed storage system by utilizing asynchronous inflight replay of the I/O operations |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5544347A (en) | 1990-09-24 | 1996-08-06 | Emc Corporation | Data storage system controlled remote data mirroring with respectively maintained data indices |
| DE69938378T2 (de) * | 1998-08-20 | 2009-04-30 | Hitachi, Ltd. | Kopieren von Daten in Speichersystemen |
| JP4689137B2 (ja) | 2001-08-08 | 2011-05-25 | 株式会社日立製作所 | リモートコピー制御方法、及びストレージシステム |
| US6928580B2 (en) | 2001-07-09 | 2005-08-09 | Hewlett-Packard Development Company, L.P. | Distributed data center system protocol for continuity of service in the event of disaster failures |
| US7139932B2 (en) | 2002-01-03 | 2006-11-21 | Hitachi, Ltd. | Data synchronization of multiple remote storage after remote copy suspension |
| US6934878B2 (en) | 2002-03-22 | 2005-08-23 | Intel Corporation | Failure detection and failure handling in cluster controller networks |
| US6996672B2 (en) | 2002-03-26 | 2006-02-07 | Hewlett-Packard Development, L.P. | System and method for active-active data replication |
| US7007042B2 (en) * | 2002-03-28 | 2006-02-28 | Hewlett-Packard Development Company, L.P. | System and method for automatic site failover in a storage area network |
| WO2004027650A1 (en) | 2002-09-18 | 2004-04-01 | Netezza Corporation | Disk mirror architecture for database appliance |
| JP4325843B2 (ja) | 2002-12-20 | 2009-09-02 | 株式会社日立製作所 | 論理ボリュームコピー先性能調整方法及び装置 |
-
2002
- 2002-12-26 JP JP2002376856A patent/JP4037257B2/ja not_active Expired - Lifetime
-
2003
- 2003-08-07 US US10/637,920 patent/US7013372B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7013372B2 (en) | 2006-03-14 |
| JP2004206562A (ja) | 2004-07-22 |
| US20040153719A1 (en) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4037257B2 (ja) | 情報処理システムの制御方法、情報処理システム、及びプログラム | |
| US10282262B2 (en) | Non-disruptive controller replacement in a cross-cluster redundancy configuration | |
| JP4386694B2 (ja) | 記憶システム及び記憶制御装置 | |
| JP4319017B2 (ja) | ストレージシステムの制御方法、ストレージシステム、及び記憶装置 | |
| JP4751117B2 (ja) | データ複製を利用したフェイルオーバとデータ移行 | |
| US7149769B2 (en) | System and method for multi-destination merge in a storage area network | |
| JP4021823B2 (ja) | リモートコピーシステム及びリモートコピーの方法 | |
| JP4371724B2 (ja) | 記憶システム及び記憶装置システム | |
| JP2894676B2 (ja) | 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法 | |
| US7421435B2 (en) | Data processing system and storage subsystem provided in data processing system | |
| KR100705377B1 (ko) | 원격 복사 방법 및 스토리지 시스템 | |
| JP2003263352A (ja) | Ｉｐネットワーク上の遠隔データファシリティ | |
| KR20070059095A (ko) | 통신 네트워크를 통한 데이터 세트 업데이트 시스템, 방법및 장치 | |
| US9342418B2 (en) | Storage system, storage control device and data transfer method | |
| US20060069889A1 (en) | Remote copy system | |
| JP2009217484A (ja) | リモートコピーシステム及び確認方法 | |
| WO2015127647A1 (zh) | 一种基于Ceph的分布式机制的存储虚拟化管理器及系统 | |
| JP2006058960A (ja) | 冗長構成のサーバシステムにおける同期化方法及びシステム | |
| JPH07234811A (ja) | リモートファイル制御方法 | |
| JP2006344090A (ja) | Ｓａｎディザスタリカバリシステム | |
| JP2012022645A (ja) | データ記憶システムおよび非同期レプリケーション方法 | |
| JP4177419B2 (ja) | ストレージシステムの制御方法、ストレージシステム、及びストレージ装置 | |
| JP2008262600A (ja) | ストレージシステムの制御方法、ストレージシステム、及びストレージ装置 | |
| JP2006318505A (ja) | リモートコピーシステム及びリモートコピー方法 | |
| JP2008065856A (ja) | ストレージシステムの制御方法、ストレージシステム、及びストレージ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051114 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071031 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4037257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |