JP4421385B2 - 計算機システム - Google Patents

計算機システム Download PDF

Info

Publication number
JP4421385B2
JP4421385B2 JP2004171059A JP2004171059A JP4421385B2 JP 4421385 B2 JP4421385 B2 JP 4421385B2 JP 2004171059 A JP2004171059 A JP 2004171059A JP 2004171059 A JP2004171059 A JP 2004171059A JP 4421385 B2 JP4421385 B2 JP 4421385B2
Authority
JP
Japan
Prior art keywords
copy
storage
subsystem
pair information
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004171059A
Other languages
English (en)
Other versions
JP2005352644A (ja
Inventor
直子 池ヶ谷
晋広 牧
友理 平岩
和久 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004171059A priority Critical patent/JP4421385B2/ja
Priority to US10/921,344 priority patent/US7467234B2/en
Publication of JP2005352644A publication Critical patent/JP2005352644A/ja
Priority to US12/277,668 priority patent/US7739371B2/en
Application granted granted Critical
Publication of JP4421385B2 publication Critical patent/JP4421385B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023Failover techniques
    • G06F11/203Failover techniques using migration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2046Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant where the redundant components share persistent storage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2058Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers

Description

本発明は、計算機システムおよびその制御技術に関し、特に、計算機システムが有する副計算機により記憶サブシステムの記憶領域間におけるデータのコピーを制御する技術に関する。
ホストコンピュータと、データを格納する記憶サブシステムとを備える計算機システムにおいて、データの信頼性を高めるために、リモートコピー技術が一般的に用いられている。リモートコピー技術とは、計算機システム内に複数の記憶サブシステムを設置し、ある記憶サブシステムの記憶領域に格納されたデータを、他の記憶サブシステムの記憶領域にコピーする技術である。このリモートコピー技術によれば、1つの記憶サブシステムに障害が発生して動作不可能な状態に陥っても、他の記憶サブシステムのデータを使用して計算機システムによる業務の続行が可能である。
また、計算機システム内のデータの信頼性を特に高める技術として、ホストコンピュータに多数の記憶サブシステムを順次連結し、データを順次連結する記憶サブシステムにリモートコピーしていくことで、データの多重度(冗長度)を高め、信頼性を高める技術がある(例えば特許文献1)。
特開2000−293674号公報
ここで、計算機システム内のデータのコピーは、一般的に、2つの記憶領域から構成されるコピーペアが定義され、コピーペアの一方の記憶領域から他方の記憶領域へとデータをコピーすることにより行われる。1つの記憶サブシステム内でデータのコピーを行う場合には、1つの記憶サブシステムが有する2つの記憶領域からコピーペアが構成される。また、リモートコピーを行う場合には、異なる2つの記憶サブシステムが有する2つの記憶領域からコピーペアが構成される。このようなコピーペアに関する情報は、通常は、ホストコンピュータが生成し、保持する。
このような計算機システムでは、何らかの原因でホストコンピュータに障害が発生してホストコンピュータが動作不可能な状態に陥ったときにも、業務の続行が期待される。そのため、通常時において計算機システムの業務を制御するホストコンピュータ(第1のホストコンピュータ)とは別に、第2のホストコンピュータが記憶サブシステムに接続されることがある。
しかし、第2のホストコンピュータは、コピーペアに関する情報を保持していないため、第2のホストコンピュータに直接接続されている記憶サブシステムとのデータのやりとりは行えるものの、計算機システム内のデータのコピーの制御を引き継ぐことはできない。そのため、第1のホストコンピュータが計算機システムの制御を実行できないときに、第1のホストコンピュータに代わって、第2のホストコンピュータが計算機システム内のデータのコピーを制御することが困難であるという問題があった。
本発明は、上述した従来の課題を解決するためになされたものであり、計算機システムにおいて、通常時にデータのコピーを制御している第1のホストコンピュータに代わって、第2のホストコンピュータが計算機システム内のデータのコピーを制御することを可能とする技術を提供することを目的とする。
上記課題の少なくとも一部を解決するために、本発明の計算機システムは、第1の計算機と、前記第1の計算機に順次連結された複数の記憶サブシステムと、前記複数の記憶サブシステムの少なくとも1つに連結された第2の計算機と、を備える計算機システムであって、
前記複数の記憶サブシステムのそれぞれは、データを格納する少なくとも1つの記憶領域を備え、
前記複数の記憶サブシステムが有する複数の記憶領域の中の2つの記憶領域の組み合わせであって、前記2つの記憶領域間でデータのコピーが行われるコピーペアが少なくとも1つ設定されていると共に、前記コピーペアを定義するコピーペア情報を含むシステムペア情報が前記第1の計算機に格納されており、
各記憶サブシステムは、コピーペアを構成する2つの記憶領域の少なくとも1つが当該記憶サブシステム内の記憶領域であるコピーペアを定義するコピーペア情報を含むサブシステムペア情報を格納しており、
前記第2の計算機は、
前記複数の記憶サブシステムの中から、サブシステムペア情報を取得するためにアクセスすべき記憶サブシステムを選択するサブシステム選択部と、
前記選択された記憶サブシステムの有するサブシステムペア情報を取得するサブシステムペア情報取得部と、
前記取得されたサブシステムペア情報を基に、前記複数の記憶サブシステムが有する複数の記憶領域に関するコピーペア情報を含むシステムペア情報を生成するシステムペア情報生成部と、を備え、
前記第2の計算機による前記システムペア情報の生成の際に、
前記サブシステム選択部は、最初に前記第2の計算機に直結されている記憶サブシステムを選択し、前記サブシステムペア情報取得部によるサブシステムペア情報の最初の取得が行われた後は、前記取得されたサブシステムペア情報に基づいて、アクセスすべき記憶サブシステムを順次選択する。
この計算機システムでは、第2の計算機が、記憶サブシステムの選択と選択した記憶サブシステムからのサブシステムペア情報の取得を順次実行し、取得したサブシステムペア情報を基に、複数の記憶サブシステムの備える複数の記憶領域に関するコピーペア情報を含むシステムペア情報を生成することができる。そのため、第2の計算機は、生成したシステムペア情報を用いることによって、通常においてデータのコピーを制御している第1の計算機に代わって、計算機システム内のデータのコピーを制御することができる。
上記計算機システムにおいて、前記サブシステム選択部は、前記取得されたサブシステムペア情報に含まれるコピーペア情報が、2つの記憶サブシステムに分かれて配置されている2つの記憶領域で構成されるコピーペアを定義しているときに、前記2つの記憶サブシステムの内、前記取得されたサブシステムペア情報の取得元の記憶サブシステムとは異なる他の記憶サブシステムであって、未だ前記サブシステムペア情報取得部によるサブシステムペア情報の取得が行われていないものを、次にアクセスすべき記憶サブシステムとして選択するとしてもよい。
このようにすれば、取得されたサブシステムペア情報に基づいて、計算機システム内の記憶サブシステムを順次選択していくことができる。
また、上記計算機システムにおいて、前記計算機システム内のコピーペアにおけるコピーの制御は、前記第1の計算機と前記第2の計算機とのいずれか一方が行い、
前記第2の計算機による前記システムペア情報の生成は、前記第2の計算機が前記計算機システム内のコピーペアにおけるコピーの制御を開始する際に実行されるとしてもよい。
このようにすれば、第2の計算機が第1の計算機に代わって計算機システム内のデータのコピーを制御するときに、サブシステムペア情報を生成することできる。
また、上記計算機システムにおいて、前記コピーペア情報は、前記コピーペア情報に定義されたコピーペアにおけるコピー方法を示すコピー方法情報を含み、
前記第1の計算機と前記第2の計算機とのそれぞれは、前記コピー方法を設定するコピー設定部を備え、
前記第2の計算機の有する前記コピー設定部は、前記第1の計算機の有する前記コピー設定部の設定するコピー方法とは異なるコピー方法を設定することが可能であるとしてもよい。
このようにすれば、第2の計算機は、通常時におけるコピー方法とは異なるコピー方法を設定して、計算機システム内のデータのコピーを制御することができる。
また、上記計算機システムにおいて、前記コピー方法には、コピー方向と、コピータイプの少なくともいずれか一方を含むとしてもよい。
このようにすれば、第2の計算機は、通常時におけるコピー方向やコピータイプとは異なるコピー方向やコピータイプを設定して、計算機システム内のデータのコピーを制御することができる。
また、上記計算機システムにおいて、前記コピーペア情報は、前記コピーペア情報に定義されたコピーペアにおけるコピーの進捗状態を示すコピー状態情報を含み、
前記第2の計算機は、
前記生成したシステムペア情報内の前記コピーペア情報に含まれるコピー状態情報を基に、前記計算機システム内のコピーペアにおけるコピーの進捗状態を判定し、
コピーが完了していない未完了コピーペアがあると判定したときは、前記計算機システム内のコピーペアにおけるコピーの制御の開始時に、未完了コピーペア内のコピーと、未完了コピーペア内のコピーの実行により新たにコピーを行うことが必要となる他のコピーペア内のコピーとを実行するとしてもよい。
このようにすれば、第2の計算機は、計算機システム内のコピーペアを構成する記憶領域間で、格納されているデータが同一となっている状態を形成して、計算機システム内のデータのコピーの制御を開始することができる。
また、上記計算機システムにおいて、複数のコピーペアの組み合わせであるコピーグループが少なくとも1つ設定されており、
前記サブシステムペア情報は、コピーグループを定義するコピーグループ情報の内、コピーグループに含まれるコピーペアを構成する記憶領域の少なくとも1つが当該記憶サブシステム内の記憶領域であるコピーグループを定義するコピーグループ情報を含み、
前記システムペア情報は、前記複数の記憶サブシステムが有する複数の記憶領域に関するコピーグループ情報を含むとしてもよい。
このようにすれば、計算機システム内にコピーグループが定義されているときにも、第2の計算機は、第1の計算機に代わって計算機システム内のデータのコピーを制御することができる。
なお、前記コピーグループは、同じタイミングでコピーが行われる複数のコピーペアの組み合わせであるとしてもよい。
また、上記計算機システムにおいて、前記コピーグループ情報によって定義されるコピーグループには、コピーペアを構成するコピー元の記憶領域を収納する記憶サブシステムが互いに異なる複数のコピーペアが含まれるとしてもよい。
このようにすれば、計算機システム内に、コピー元の記憶領域を収納する記憶サブシステムが互いに異なる複数のコピーペアが含まれるコピーグループが定義されているときにも、第2の計算機は、第1の計算機に代わって計算機システム内のデータのコピーを制御することができる。
なお、本発明は、種々の態様で実現することが可能であり、例えば、計算機システム、計算機、記憶サブシステム、記憶方法および装置、記憶制御方法および装置、システムペア情報生成方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
A−1.計算機システムの構成:
A−2.計算機システム内におけるデータのコピー:
A−3.副ホストコンピュータによるシステムペア情報生成:
B.第2実施例:
C.第3実施例:
D.変形例:
A.第1実施例:
A−1.計算機システムの構成:
図1は、本発明の第1実施例としての計算機システムの構成を概略的に示す説明図である。第1実施例の計算機システム1000は、第1の計算機としてのホストコンピュータ10Pと、第2の計算機としてのホストコンピュータ10Rと、記憶サブシステム100P、100L、100Rとを備えている。
ホストコンピュータ10Pと、記憶サブシステム100Pとは、データの処理活動を行うプロダクションサイトに設置されている。また、記憶サブシステム100Lは、プロダクションサイトの近隣にあるローカルサイトに設置されている。また、ホストコンピュータ10Rと、記憶サブシステム100Rとは、プロダクションサイトから遠隔にあるリモートサイトに設置されている。
なお、本明細書では、ホストコンピュータおよび記憶サブシステムの本体と、各構成要素と、各種の情報およびプログラムとを表す符号の末尾に、それが存するサイトを識別する符号を付加している。すなわち、それぞれを表す符号の末尾に、プロダクションサイトに存するものには「P」の符号を、ローカルサイトに存するものには「L」の符号を、リモートサイトに存するものには「R」の符号を、それぞれ付加している。また、本明細書中の説明において、個別のホストコンピュータや個別の記憶サブシステム等を特に区別する必要のないときは、符号の末尾に付加したサイトを識別する符号を省略している。
プロダクションサイトのホストコンピュータ10Pは、プロダクションサイトの記憶サブシステム100Pに接続されている。また、リモートサイトのホストコンピュータ10Rは、リモートサイトの記憶サブシステム100Rに接続されている。また、プロダクションサイトおよびリモートサイトの記憶サブシステム100Pおよび100Rは、それぞれローカルサイトの記憶サブシステム100Lに接続されている。なお、本明細書では、ホストコンピュータ10Pと記憶サブシステム100Pとの接続状態のように、他の記憶サブシステム100を介さずに直接接続されている状態を「直結」と呼ぶ。また、記憶サブシステム100Pや記憶サブシステム100Rのように、ホストコンピュータ10と直結されている記憶サブシステム100を「直結記憶サブシステム」と呼ぶ。
以上のように、本実施例の計算機システム1000は、各サイト(プロダクションサイト、ローカルサイト、リモートサイト)に設置された記憶サブシステム(100P、100L、100R)が直列に接続され、両端の記憶サブシステム(100Pおよび100R)にそれぞれホストコンピュータ(10Pおよび10R)が直結されたシステムである。この計算機システム1000では、ホストコンピュータ10Pがプロダクションサイトの記憶サブシステム100Pに格納したデータを、他のサイト(ローカルサイトおよびリモートサイト)の記憶サブシステム100にコピーするリモートコピーを行うことが可能である。このリモートコピーによって、複数の地理的に離れたサイトに設置された記憶サブシステム100おいて、同一のデータを保持することが可能となり、データの信頼性を高めることが可能となる。
プロダクションサイトのホストコンピュータ10P(以下「正ホストコンピュータ10P」と呼ぶ)は、通常時において、計算機システム1000内のすべての記憶サブシステム100を管理して、データ処理業務を実行している。例えば、正ホストコンピュータ10Pは、正ホストコンピュータ10Pに直結された記憶サブシステム100Pとの間でデータのやりとりを行うと共に、記憶サブシステム100Pに格納したデータを他の記憶サブシステム100にリモートコピーするための種々の操作・設定を行う。
リモートサイトのホストコンピュータ10R(以下「副ホストコンピュータ10R」と呼ぶ)は、通常時においては何も実行していないが、正ホストコンピュータ10Pの代わりにデータ処理業務を行うことができる。例えば、正ホストコンピュータ10Pの障害時には、副ホストコンピュータ10Rは、計算機システム1000内のすべての記憶サブシステム100を管理して、データ処理業務を実行する。
ホストコンピュータ10は、CPU11と、メモリ12と、入力装置13と、表示装置14と、記憶サブシステム100との接続のためのインターフェイス(I/F)15とを備えている。
記憶サブシステム100は、ホストコンピュータ10によるデータ処理業務に伴うデータの格納やデータの送出等を行うシステムであり、記憶制御装置110と、ディスクアレイ120とを備えている。
記憶制御装置110は、記憶サブシステム100の制御を行う装置であり、CPU111と、ホストコンピュータから送出されるデータ等を一時的に格納するためのキャッシュメモリ112と、メモリ113と、ホストコンピュータ10との接続のためのインターフェイス(I/F)114と、他の記憶サブシステム100との接続のためのインターフェイス(I/F)115と、ディスクアレイ120との接続のためのインターフェイス(I/F)116とを備えている。
ディスクアレイ120は、ディスク装置を多数用いた記憶装置であり、少なくとも1つのボリューム122を備えている。ボリューム122は、ホストコンピュータ10によるデータ処理業務に用いるデータを格納するための記憶領域である。なお、通常は、1つのボリューム122は、複数のディスク装置により形成される1つの論理的な記憶領域を、論理的に分割して形成されている。
正ホストコンピュータ10Pのメモリ12Pには、コピー操作プログラム20Pと、システムペア情報30とが格納されている。正ホストコンピュータ10Pは、コピー操作プログラム20Pを実行することによって、計算機システム1000内の記憶サブシステム100に格納されたデータのコピー操作を行う。データのコピー操作とは、データのコピー方法を設定するコピー設定や、データのコピーの開始および停止操作等を含んでいる。
システムペア情報30は、計算機システム1000内のすべてのコピーペアについてのコピーペアを定義するためのコピーペア情報を含んでいる。ここで、コピーペアとは、ボリューム122に格納されたデータのコピーが行われる2つのボリューム122の組み合わせを意味している。すなわち、コピーペアを構成する一方のボリューム122に格納されたデータは、他方のボリューム122にコピーされる。コピーペア内でデータのコピーを実行することによって、同じ内容のデータが2つ存在する状態を形成することができる。なお、コピーペアは、1つの記憶サブシステム100内に配置された2つのボリューム122から構成されることも可能であり、また、2つの記憶サブシステム100に分かれて配置された2つのボリューム122から構成されることも可能である。
コピーペアはコピーペア情報によって定義される。コピーペア情報には、コピーペアを構成する2つのボリューム122を識別するために、それぞれのボリューム122を収納する記憶サブシステム100の識別子と、記憶サブシステム100内におけるボリューム122の識別子とが含まれている。
図2は、システムペア情報の一例を概略的に示す説明図である。図2(a)には、システムペア情報30の内容の一例を示している。図2(a)に示すシステムペア情報30の各行は、記憶サブシステム識別子とボリューム識別子とによって特定された2つのボリューム122(ボリューム1およびボリューム2)が、コピーペアを構成していることを示している。すなわち、システムペア情報30の各行は、コピーペアを定義するコピーペア情報を構成している。例えば、システムペア情報30の1行目は、ペア番号Pr−1のコピーペアが、記憶サブシステム100Pに収納されているボリューム識別子がP11のボリューム122と、記憶サブシステム100Lに収納されているボリューム識別子がL11のボリューム122とから構成されていることを示している。なお、本明細書では、ボリューム識別子がXのボリューム122を、単に「Xボリューム」と呼ぶ。例えば、コピーペアPr−1は、P11ボリュームとL11ボリュームとから構成されると表現する。
システムペア情報30には、計算機システム1000内のすべてのコピーペアを定義するコピーペア情報が含まれている。本実施例の計算機システム1000では、図2(a)に示すシステムペア情報30に含まれる4つのコピーペア情報によって、4つのコピーペアが定義されている。図2(b)には、システムペア情報30によって定義されている4つのコピーペア(Pr−1からPr−4)を点線で囲って示している。
また、システムペア情報30(図2(a))に含まれる各コピーペア情報は、コピー状態情報と、コピータイプ情報と、コピー方向情報とを含んでいる。ここで、コピー状態情報とは、コピーペア内のコピーが完了したのか、あるいは、コピーを実行中であるのかといった、コピーの進捗状態を表す情報を意味している。また、コピータイプ情報とは、同期コピーか非同期コピーかの別や、全部コピーか差分コピーかの別といったコピータイプを表す情報を意味している。また、コピー方向情報とは、コピーペア内のどちらのボリューム122がコピー元でありどちらのボリューム122がコピー先であるといった、コピーを行う方向を表す情報を意味している。なお、同期コピーとは、コピーペア内のコピー元のボリューム122に格納されたデータの更新が行われたときに、それに同期してコピーペア内でデータのコピーが行われることを意味している。一方、非同期コピーとは、コピー元のボリューム122に格納されたデータの更新が行われたときに、それに同期せず、任意のタイミングでコピーペア内のデータのコピーが行われることを意味している。また、全部コピーとは、コピーペア内で、コピー元のボリューム122に格納されたデータ全部をコピー先のボリューム122にコピーすることを意味している。一方、差分コピーとは、コピー元のボリューム122に格納されたデータの内、更新されたデータのみをコピー先のボリューム122にコピーすることを意味している。
図4(b)には、各コピーペアのコピー方向を矢印で表している。例えば、コピーペアPr−1では、P11ボリュームがコピー元であり、L11ボリュームがコピー先である。
なお、本明細書では、コピータイプ情報およびコピー方向情報により定義されるコピータイプおよびコピー方向のように、コピーに関して種々設定される方法を「コピー方法」と呼び、コピー方法を設定することを「コピー設定」と呼ぶ。
システムペア情報30は、正ホストコンピュータ10P(図1)が、入力装置13Pから入力される管理者の指示に従い生成する。生成されたシステムペア情報30は、メモリ12P内の所定の領域に格納される。
各サイトの記憶サブシステム100内の記憶制御装置110のメモリ113(図1)には、サブシステムペア情報150が格納されている。サブシステムペア情報150は、コピーペアを構成する2つのボリューム122の少なくとも1つが自記憶サブシステム100内のボリューム122であるコピーペアを定義するコピーペア情報を含んでいる。すなわち、記憶サブシステム100は、自らが有するボリューム122が含まれるすべてのコピーペアを定義するコピーペア情報を、サブシステムペア情報150として有している。
図3は、サブシステムペア情報の一例を概略的に示す説明図である。図3(a)には記憶サブシステム100P(図1)の有するサブシステムペア情報150Pを、図3(b)には記憶サブシステム100L(図1)の有するサブシステムペア情報150Lを、図3(c)には記憶サブシステム100R(図1)の有するサブシステムペア情報150Rを、それぞれ示している。
上述したように、各記憶サブシステム100の有するサブシステムペア情報150には、自ら備えるボリューム122が含まれるすべてのコピーペアを定義するコピーペア情報が含まれている。例えば、図2(b)に示すように、記憶サブシステム100Pについては、P11ボリュームが、記憶サブシステム100LのL11ボリュームとコピーペアを構成している。そのため、記憶サブシステム100Pの有するサブシステムペア情報150P(図3(a))には、そのコピーペアを定義するコピーペア情報が含まれている。記憶サブシステム100Lおよび記憶サブシステム100Rの有するサブシステムペア情報150Lおよびサブシステムペア情報150Rについても同様である(図3(b)および(c))。なお、図3では、各サブシステムペア情報150について、自記憶サブシステム100内のボリュームを、ハッチングを付して表している。また、サブシステムペア情報150は、システムペア情報30と同様に、コピー状態情報と、コピータイプ情報と、コピー方向情報とを含んでいる。
サブシステムペア情報150は、正ホストコンピュータ10P(図1)が、システムペア情報30に基づき各記憶サブシステム100について生成する。すなわち、各記憶サブシステム100についてのサブシステムペア情報150は、システムペア情報30から、その記憶サブシステム100内のボリューム122が含まれるすべてのコピーペアを定義するコピーペア情報を抽出することにより、生成することができる。各記憶サブシステム100について生成されたサブシステムペア情報150は、正ホストコンピュータ10Pが、各記憶サブシステム100のメモリ113内の所定の領域に格納する。
副ホストコンピュータ10Rのメモリ12R(図1)には、コピー操作プログラム20Rと、システムペア情報生成プログラム40とが格納されている。コピー操作プログラム20Rは、正ホストコンピュータ10Pのメモリ12Pに格納されているコピー操作プログラム20Pと同じ機能を含んでいる。
システムペア情報生成プログラム40は、副ホストコンピュータ10Rがシステムペア情報を生成する際に実行されるプログラムである。システムペア情報生成プログラム40は、サブシステム選択部42と、サブシステムペア情報取得部44と、システムペア情報生成部46と、コピー設定部48との機能を有している。これらの機能を用いた副ホストコンピュータ10Rによるシステムペア情報の生成については、後に詳述する。
A−2.計算機システム内におけるデータのコピー:
本実施例の計算機システム1000内におけるデータのコピーについて説明する。本実施例の計算機システム1000では、上述したように、システムペア情報30によって図2に示す4つのコピーペアが定義されている。
例えば、正ホストコンピュータ10P(図1)から、プロダクションサイトの記憶サブシステム100P内のP11ボリュームにデータを格納する命令が送出されると、記憶サブシステム100Pの記憶制御装置110Pは、一旦その命令をキャッシュメモリ112Pに格納し、その後、命令に含まれるデータをディスクアレイ120PのP11ボリュームに格納する。
P11ボリュームにデータが格納されると、記憶制御装置110Pは、メモリ113Pに格納されているサブシステムペア情報150Pを参照して、P11ボリュームが含まれるコピーペアが定義されているかを確認する。本実施例の場合、サブシステムペア情報150P(図3(a))によって、P11ボリュームと、ローカルサイトの記憶サブシステム100LのL11ボリュームとから構成されるコピーペアが定義されている。このとき、記憶制御装置110Pは、P11ボリュームに格納されているデータを記憶サブシステム100LのL11ボリュームにコピーする命令を生成し、記憶サブシステム100Lの記憶制御装置110Lに送信する。
記憶制御装置110Pから送信された命令を受信した記憶制御装置110Lは、一旦その命令をキャッシュメモリ112Lに格納し、その後、命令に含まれるデータをディスクアレイ120LのL11ボリュームに格納する。このようにして、記憶サブシステム100PのP11ボリュームに格納されているデータと同一のデータが、記憶サブシステム100LのL11ボリュームに格納されることとなる。
その後、同様の処理によって、順次コピーペア内におけるコピーが行われていき、図2の例では、最終的に、リモートサイトの記憶サブシステム100RのR11ボリュームに、同一のデータが格納される。
以上のようにして、計算機システム1000は、1つの記憶サブシステム100内の複数のボリューム122に、あるいは、異なる記憶サブシステム100内に配置されている複数のボリューム122に、同一のデータを格納することができる。これによって、計算機システム1000は、データの多重度(冗長度)を高め、信頼性を高めている。
A−3.副ホストコンピュータによるシステムペア情報生成:
副ホストコンピュータ10Rは、上述したように、正ホストコンピュータ10Pに代わって、計算機システム1000内のすべての記憶サブシステム100を管理して、データ処理業務を実行することができる。副ホストコンピュータ10Rは、計算機システム1000内のコピーペアを定義するコピーペア情報を含むシステムペア情報を有していないため、正ホストコンピュータ10Pからデータ処理業務を引き継ぐ際に、システムペア情報を生成する。
以下、図4ないし図6を用いて、副ホストコンピュータ10Rによるシステムペア情報30の生成について説明する。図4は、副ホストコンピュータによるシステムペア情報生成の処理の流れを示すフローチャートである。図5は、副ホストコンピュータによるサブシステムペア情報取得の処理を概略的に示す説明図である。図6は、副ホストコンピュータによるデータ整合処理およびコピー設定処理を概略的に示す説明図である。
ステップS110(図4)では、副ホストコンピュータ10Rのサブシステム選択部42(図1)が、副ホストコンピュータ10Rに直結された記憶サブシステム100を選択する。本実施例では、副ホストコンピュータ10Rに直結された直結記憶サブシステム100Rが選択される。
ステップS120(図4)では、サブシステムペア情報取得部44(図1)が、直前のステップにおいて選択した記憶サブシステム100の有するサブシステムペア情報150を取得する。なお、上記の直前のステップにおいて選択した記憶サブシステム100を「選択記憶サブシステムSs」と呼ぶものとする。例えば、直前のステップS110において記憶サブシステム100Rが選択されたときは、記憶サブシステム100Rが選択記憶サブシステムSsとなり、サブシステムペア情報取得部44は、記憶サブシステム100Rの有するサブシステムペア情報150Rを取得する。図5(a)には、副ホストコンピュータ10Rの図示しないサブシステムペア情報取得部44が、記憶サブシステム100Rの有するサブシステムペア情報150Rを取得している様子を表している。なお、サブシステムペア情報取得部44によるサブシステムペア情報150の取得については、後に詳述する。
ステップS130(図4)では、サブシステム選択部42(図1)が、直前のステップS120において取得したサブシステムペア情報150によって定義されるコピーペアを特定する。図5(a)の例では、直前のステップS120において、サブシステムペア情報150R(図3(c))が取得されているため、サブシステム選択部42は、サブシステムペア情報150Rに含まれるコピーペア情報によって定義される2つのコピーペア(Pr−3およびPr−4)を特定する。図5(a)には、サブシステム選択部42が特定した2つのコピーペアを点線で囲って示している。
ステップS140(図4)では、サブシステム選択部42(図1)が、選択した記憶サブシステム100内のボリューム122とコピーペアを構成する他の記憶サブシステム100内のボリューム122があるか否かを判定する。この判定は、さらにサブシステムペア情報150を取得すべき記憶サブシステム100があるかを判別するために行うものである。ステップS140において、あると判定したときは、ステップS150に進む。一方、ステップS140において、ないと判定したときは、ステップS170に進む。図5(a)の例では、コピーペアPr−3を構成するL12ボリュームが、記憶サブシステム100Rとは異なる他の記憶サブシステム(100L)内のボリューム122であるため、ステップS140からステップS150に進むこととなる。
ステップS150(図4)では、サブシステム選択部42(図1)が、直前のステップS140における「他の記憶サブシステム100」の有するサブシステムペア情報150を未だ取得していないか否かを判定する。ステップS150において、未だ取得していないと判定したときは、ステップS160に進む。一方、ステップS150において、すでに取得していると判定したときは、ステップS170に進む。図5(a)の状態では、ステップS140における「他の記憶サブシステム100」である記憶サブシステム100Lの有するサブシステムペア情報150Lを未だ取得していないので、ステップS150から、ステップS160に進むこととなる。
ステップS160(図4)では、サブシステム選択部42(図1)が、直前のステップS140における「他の記憶サブシステム100」を選択し、ステップS120に戻る。ステップS120では、サブシステムペア情報取得部44(図1)が、直前のステップS160で選択した記憶サブシステム100の有するサブシステムペア情報150を取得する。図5(a)の状態では、ステップS140における「他の記憶サブシステム100」である記憶サブシステム100Lが選択される。そして、選択された記憶サブシステム100Lの有するサブシステムペア情報150Lが、サブシステムペア情報取得部44によって取得される。図5(b)には、サブシステムペア情報150Lが、副ホストコンピュータ10Rの図示しないサブシステムペア情報取得部44によって取得されている様子を表している。
以後、同様の処理を繰り返し実行して、副ホストコンピュータ10Rは、順次、記憶サブシステム100を選択し、選択した記憶サブシステム100の有するサブシステムペア情報150を取得する。図5の例では、図5(c)に示す記憶サブシステム100Pの有するサブシステムペア情報150Pの取得が完了すると、サブシステムペア情報取得部44はすべての記憶サブシステム100からサブシステムペア情報150を取得したこととなる。その後は、ステップS150(図4)において、直前のステップS140における「他の記憶サブシステム100」である記憶サブシステム100Lの有するサブシステムペア情報150Lをすでに取得していると判定され、ステップS170に進むこととなる。
ステップS170(図4)では、システムペア情報生成部46(図1)が、取得したサブシステムペア情報150に基づき、システムペア情報を生成する。システムペア情報の生成は、取得したすべてのサブシステムペア情報150に含まれるコピーペア情報を整理して、1つにまとめることにより行う。このようにして、図2(a)に示したものと同じ内容のシステムペア情報が生成される。
ステップS180(図4)では、副ホストコンピュータ10R(図1)が、計算機システム1000内に未完了のコピー状態となっているコピーペアがあるかを判定する。この判定は、副ホストコンピュータ10Rが業務を引き継ぐときに、計算機システム1000内のコピーペアを構成するボリューム122間でデータが同一となっているかを判別するために行うものである。判定は、システムペア情報生成部46により生成されたシステムペア情報に含まれる各コピー情報内のコピー状態情報を参照して行う。なお、本明細書では、未完了のコピー状態となっていてボリューム122間でデータが同一となっていないコピーペアを「未完了コピーペア」と呼ぶ。ステップS180において、未完了コピーペアがあると判定したときは、ステップS190に進む。一方、ステップS180において、未完了コピーペアがないと判定したときは、ステップS200に進む。図6(a)には、副ホストコンピュータ10Rが業務を引き継いだときの各コピーペアのコピー状態の一例を示している。図6(a)の例では、コピーペアPr−3が未完了コピーペアとなっている。このようなときは、ステップS190に進むこととなる。
ステップS190(図4)では、副ホストコンピュータ10R(図1)が、データ整合処理を行う。データ整合処理とは、計算機システム1000内のコピーペアを構成するボリューム122間で、格納されているデータを同一にする処理である。具体的には、計算機システム1000内の未完了コピーペアにおけるコピーを実行すると共に、未完了コピーペアにおけるコピーを実行することによってコピーを実行することが必要となる他のコピーペアにおけるコピーを実行する処理である。データ整合処理を行うことによって、計算機システム1000内のコピーペアを構成するボリューム122間で格納されているデータが同一となっているデータ整合状態を形成することができ、以降、副ホストコンピュータ10Rは、データが整合された状態から業務を行うことができる。
図6(a)の例では、上述したように、コピーペアPr−3は、未完了コピーペアとなっている。このとき、P11ボリューム、L11ボリュームおよびL12ボリュームの3つのボリューム122に格納されているデータは、それぞれ同一のデータとなっているが、R12ボリュームに格納されているデータは、上記3つのボリューム122に格納されているデータと同一とはなっていない。また、このときは、R11ボリュームに格納されたデータも、上記3つのボリューム122に格納されたデータと同一とはなっていない。
図6(b)には、このようなときに、副ホストコンピュータ10R(図1)が行うデータ整合処理の内容の一例を示している。副ホストコンピュータ10Rは、まず未完了コピーペアであるコピーペアPr−3内のコピーを実行して、R12ボリュームに格納されているデータをL12ボリュームに格納されているデータと同一にする。このとき、R12ボリュームに格納されているデータが更新されるので、コピーペアPr−4内のコピーの実行が必要となる。従って、次に、副ホストコンピュータ10Rは、コピーペアPr−4のコピーを実行して、R11ボリュームに格納されているデータをR12ボリュームに格納されているデータ(すなわち、L12ボリュームに格納されているデータと同一のデータ)と同一にする。このようなデータ整合処理を行うことにより、P11ボリュームからR11ボリュームまでの5つのボリュームに同一のデータが格納され、データ整合状態が形成される。
ステップS200(図4)では、コピー設定部48(図1)が、コピー設定処理を行う。コピー設定処理とは、各コピーペアにおけるコピー方向やコピータイプといったコピー方法の設定を行う処理である。コピー設定処理は、入力装置13R(図1)から入力された管理者の指示に従って行われる。例えば、コピー設定部48は、任意のコピーペアのコピー方向を変更したり、コピータイプを同期コピーから非同期コピーに変更したりといった種々の設定を行う。図6(c)の例では、各コピーペアのコピー方向を逆向きにするコピー設定処理を実行したときの例を示している。このときは、副ホストコンピュータ10Rから送出されR11ボリュームに格納されたデータはR12ボリュームへとコピーされ、R12ボリュームに格納されたデータはL12ボリュームへとコピーされ、というように順次コピーが行われる。このようにして、副ホストコンピュータ10Rは、データのリモートコピーを行うことができる。
ここで、サブシステムペア情報取得部44によるサブシステムペア情報150の取得について説明する。サブシステムペア情報取得部44によるサブシステムペア情報150の取得は、ペア情報取得命令(以下「取得命令」と呼ぶ)を用いて行う。取得命令は、経路情報をオペランドに指定して、直結記憶サブシステム100Rに対して発行される。
ここで、経路情報とは、選択記憶サブシステムSsを示すため、および副ホストコンピュータ10Rから選択記憶サブシステムSsまでの経路を示すための情報であり、メモリ12R内の所定の領域に格納されている。図7は、経路情報の一例を示す説明図である。経路情報においては、最下段が選択記憶サブシステムSsを示しており、また最上段から最下段までの順序が選択記憶サブシステムSsまでの経路を示している。図7(a)は、初期状態における経路情報を表している。初期状態では、経路情報には、直結記憶サブシステム100Rの識別子のみが含まれている。サブシステム選択部42は、上述のステップS110からステップS160において選択記憶サブシステムSsの選択を繰り返し行うが、サブシステム選択部42は、選択記憶サブシステムSsを選択する毎に選択記憶サブシステムSsを識別する識別子を経路情報に追加していく。図7(b)〜(c)には、経路情報に選択記憶サブシステムSsを識別する識別子が追加されていく様子を示している。図に示すように、新たに追加される選択記憶サブシステムSsを識別する識別子は、経路情報の最下段に追加される。例えば、記憶サブシステム100Pが選択記憶サブシステムSsとして選択されたとき、経路情報は図7(c)に示す状態となる。このとき、最下段の記憶サブシステム100Pが選択記憶サブシステムSsであることを示している。また、記憶サブシステム100Pまでの経路は、記憶サブシステム100Rと記憶サブシステム100Lとを順番に経由して到達できることを示している。
取得命令は、直結記憶サブシステム100Rに対して発行されるが、以下の選択サブシステムペア情報処理によって、選択記憶サブシステムSsまで転送される。図8は、記憶サブシステム100による選択サブシステムペア情報処理の流れを示すフローチャートである。
ステップS610では、記憶サブシステム100の記憶制御装置110(図1)が、取得命令を受信する。ステップS620では、記憶制御装置110が、自らが選択記憶サブシステムSsであるか否かを判定する。判定は、取得命令の最下段の記憶サブシステム100識別子が、自らを示す識別子であるか否かを判定することにより行う。ステップS620において、選択記憶サブシステムSsであると判定したときは、ステップS630に進み、記憶制御装置110が、返信に使う自記憶サブシステムのサブシステムペア情報150を準備する。一方、ステップS620において、選択記憶サブシステムSsではないと判定したときは、ステップS640に進み、記憶制御装置110が、下位の連結記憶サブシステム100に取得命令を送信し、返答を待つ。
ステップS660では、記憶制御装置110が、自らが直結記憶サブシステム100であるか否かを判定する。ステップS660において、直結記憶サブシステム100であると判定したときには、ステップS670に進み、記憶制御装置110が、準備したサブシステムペア情報150を副ホストコンピュータ10Rに送信して処理を終了する。一方、S660において、直結記憶サブシステム100ではないと判定したときには、ステップS680に進み、記憶制御装置110が、上位の連結記憶サブシステム100に準備したサブシステムペア情報150を送信する。
ステップS650では、記憶制御装置110が、下位の連結記憶サブシステム100から送信されたサブシステムペア情報150を受信する。その後ステップS660に進む。
以上のような処理によって、サブシステムペア情報取得部44は選択記憶サブシステムSsのサブシステムペア情報150を取得することができる。
以上説明したように、本実施例の計算機システム1000内の副ホストコンピュータ10Rは、システムペア情報を生成し、正ホストコンピュータ10Pに代わって、生成したシステムペア情報に従って計算機システム1000内のデータのコピーを制御することができる。
また、本実施例の副ホストコンピュータ10Rは、計算機システム1000内のコピーペアを構成するボリューム122間で、格納されているデータが同一となっている状態を形成して、計算機システム1000内のデータのコピーの制御を開始することができる。
さらに、本実施例の副ホストコンピュータ10Rは、通常時におけるコピー方法とは異なるコピー方法を設定して、計算機システム1000内のデータのコピーを制御することができる。
B.第2実施例:
図9は、本発明の第2実施例としての計算機システムの構成を概略的に示す説明図である。図1に示した第1実施例との違いは、第2実施例では、各サイトにそれぞれ2つの記憶サブシステム100が設置されている点である。また、第2実施例では、正ホストコンピュータ10Pの備えるメモリ12Pに格納されたシステムペア情報30にシステムグループ情報32が含まれ、各記憶サブシステム100の備えるメモリ113に格納されたサブシステムペア情報150にサブシステムグループ情報152が含まれている点も第1実施例と異なる点である。その他の点は、第1実施例と同じである。なお、図9では、図1に示した第1実施例と同じ点については、部分的に図示を省略している。
第2実施例では、プロダクションサイトの2つの記憶サブシステム(100P1および100P2)は、それぞれ正ホストコンピュータ10Pに直結されている。また、リモートサイトの2つの記憶サブシステム(100R1および100R2)は、副ホストコンピュータ10Rに直結されている。そして、記憶サブシステム100P1は記憶サブシステム100L1と、記憶サブシステム100P2は記憶サブシステム100L2と、それぞれ接続されている。また、同様に、記憶サブシステム100R1は記憶サブシステム100L1と、記憶サブシステム100R2は記憶サブシステム100L2と、それぞれ接続されている。
このように、本実施例の計算機システム1000は、各サイトに設置されたそれぞれ1つずつの記憶サブシステム100が直列に接続されている。本明細書では、この直列に接続された記憶サブシステム100の集合を「系列」と呼ぶ。第2実施例の計算機システム1000では、系列1と系列2との2つの系列を有しており、各系列内でリモートコピーを行うことが可能である。
なお、第2実施例では、記憶サブシステム100の本体と、各構成要素と、各種のプログラムおよびデータとを表す符号の末尾に、第1実施例において付加したサイトを識別する符号に加えて、その系列を識別する符号も付加している。例えば、系列1を構成する各サイトの記憶サブシステム100は、記憶サブシステム100P1、記憶サブシステム100L1および記憶サブシステム100R1と表される。また、本明細書中の説明において、特定の系列の記憶サブシステム等を特に区別する必要のないときは、符号の末尾に付加した系列を識別する符号を省略している。
第2実施例の計算機システム1000では、複数のコピーペアから構成されるコピーグループが定義されており、コピーグループに含まれるコピーペア内のコピーを同一タイミングで実行するようにしている。本実施例の計算機システム1000では、このようにして、複数のコピーペアにおけるコピー操作を簡素化している。このコピーグループは、同一系列内の複数のコピーペアから構成されることも可能であるし、異なる系列にまたがった複数のコピーペアから構成されることも可能である。コピーグループは、コピーグループを構成する複数のコピーペアを識別するための情報が含まれるコピーグループ情報によって定義されている。なお、コピーグループに含まれるコピーペア内のコピーは、かならずしも同一タイミングで実行する必要はない。
正ホストコンピュータ10Pの備えるメモリ12Pに格納されたシステムペア情報30には、計算機システム1000内のすべてのコピーグループ情報を含むシステムグループ情報32が含まれている。図10は、システムグループ情報を含むシステムペア情報の一例を概略的に示す説明図である。図10(a)には、システムグループ情報32を含むシステムペア情報30の内容の一例を表している。
図10(a)に示すシステムペア情報30に含まれるシステムグループ情報32の各行は、ペア番号によって特定された複数のコピーペアがコピーグループを構成していることを示している。すなわち、システムグループ情報32の各行は、コピーグループを定義するコピーグループ情報を構成している。例えば、システムグループ情報32の1行目は、グループ番号がGr−1であるコピーグループGr−1が、2つのコピーペアから構成されており、その2つのコピーペアはPr−1およびPr−11の2つのコピーペアであることを示している。システムグループ情報32には、計算機システム1000内のすべてのコピーグループを定義するコピーグループ情報が含まれている。本実施例の計算機システム1000では、図10(a)に示すシステムグループ情報32に含まれる4つのコピーグループ情報によって、4つのコピーグループが定義されている。
なお、図10(a)に示すように、本実施例のシステムペア情報30は、第1実施例と同様に、計算機システム1000内のすべてのコピーペア情報を含んでいる。従って、システムペア情報30に含まれるシステムグループ情報32によってコピーグループを構成する複数のコピーペアの特定が可能であり、さらに、その複数のコピーグループを構成する複数のボリューム122の特定が可能である。図10(b)には、システムグループ情報32によって定義されている4つのコピーグループを一点鎖線で囲って示している。
なお、システムグループ情報32は、入力装置13P(図1)から入力される管理者の指示に従い、正ホストコンピュータ10Pがコピー操作プログラム20P(図1)を実行することによって生成する。
記憶サブシステム100(図9)のメモリ113に格納されたサブシステムペア情報150には、サブシステムグループ情報152が含まれている。サブシステムグループ情報152には、コピーグループ情報の内、コピーグループに含まれるコピーペアを構成するボリューム122の少なくとも1つが自記憶サブシステム100内のボリューム122であるコピーグループを定義するコピーグループ情報を含んでいる。すなわち、記憶サブシステム100は、自ら備えるボリューム122が含まれるすべてのコピーグループを定義するコピーグループ情報を、サブシステムグループ情報152として有している。
サブシステムグループ情報152の記憶サブシステム100への格納は、正ホストコンピュータ10Pが生成するサブシステムグループ情報格納命令(以下「格納命令」と呼ぶ)を用いて行うことが可能である。格納命令は、記憶サブシステム100にサブシステムグループ情報152を格納するための命令である。なお、格納命令を用いたサブシステムグループ情報152の記憶サブシステム100への格納の処理については、後述する。
図11は、副ホストコンピュータによるシステムペア情報生成の処理の流れを示すフローチャートである。図4に示した第1実施例との違いは、第2実施例では、副ホストコンピュータ10Rに複数の記憶サブシステム100が直結されているので、副ホストコンピュータ10Rは各直結記憶サブシステム100が属する系列毎に、記憶サブシステム100の選択とサブシステムペア情報150の取得とを繰り返し実行する点である。また、第2実施例では、取得するサブシステムペア情報150にサブシステムグループ情報152が含まれている点も異なっている。その他の点は第1実施例と同じである。
ステップS115では、サブシステム選択部42(図1)が、直結記憶サブシステム100の中の1つを選択する。次に、サブシステムペア情報取得部44(図1)が、第1実施例と同様に、ステップS120からステップS160を実行して、ステップS115で選択した直結記憶サブシステム100の属する系列内の記憶サブシステム100からサブシステムペア情報150を取得する。
1つの系列についてのサブシステムペア情報150の取得が完了すると、ステップS140またはステップS150において、「No」と判定され、ステップS165に進むこととなる。
ステップS165では、サブシステム選択部42(図1)が、すべての直結記憶サブシステム100を選択したか否かを判定する。サブシステム選択部42が、まだすべての直結記憶サブシステム100を選択していないと判定したときは、ステップS115に戻り、未選択の直結記憶サブシステム100の中から1つを選択する。その後、同様に、サブシステムペア情報取得部44が、選択した直結記憶サブシステム100の属する系列内の記憶サブシステム100からサブシステムペア情報150を取得する。
一方、サブシステム選択部42が、すべての直結記憶サブシステム100を選択したと判定したときは、ステップS170に進む。その後、第1実施例と同様に、ステップS170からステップS200を実行する。
なお、第2実施例では、取得したサブシステムペア情報150にサブシステムグループ情報152が含まれているので、システムペア情報生成部46(図1)は、そのサブシステムグループ情報152を基に、システムグループ情報32を含むシステムペア情報30を生成する。
以上のようにして、第2実施例の計算機システム1000内の副ホストコンピュータ10Rは、計算機システム1000内にコピーグループが定義されているときにも、システムグループ情報32を含むシステムペア情報30を生成することができる。従って、本実施例の副ホストコンピュータ10Rは、正ホストコンピュータ10Pに代わって、生成したシステムグループ情報32を含むシステムペア情報30に従って計算機システム1000内のデータのコピーを制御することができる。
ここで、上述の、格納命令を用いたサブシステムグループ情報152の記憶サブシステム100への格納の処理について説明する。図12は、サブシステムグループ情報の記憶サブシステムへの格納処理の流れを示す説明図である。サブシステムグループ情報152の記憶サブシステム100への格納処理は、系列毎に、各記憶サブシステム100が、格納命令を順次受信し、受信した格納命令に従って自らのメモリ113内にサブシステムグループ情報152を格納することにより行う。すなわち、系列毎に、格納命令が順次転送され、格納命令を受信した記憶サブシステム100が、順次、図12に示すサブシステムグループ情報152を実行することとなる。正ホストコンピュータ10Pは、最初に、格納命令を各系列の直結記憶サブシステム100に送信する。
なお、各記憶サブシステム100のメモリ113内には、サブシステムグループ情報152を含まないサブシステムペア情報150が既に格納されているものとする。また、上述の格納命令には、システムグループ情報32を含むシステムペア情報30が含まれている。
ステップS310では、記憶サブシステム100の記憶制御装置110が格納命令を受信する。ステップS320では、記憶制御装置110が、受信した格納命令に含まれるシステムペア情報30を基に、コピーペアを特定する。コピーペアの特定には、システムペア情報30に含まれる各コピーグループを構成するコピーペアの特定と、当該コピーペアを構成するボリューム122の特定とを含む。
ステップS330では、記憶制御装置110が、自記憶サブシステム100内のボリューム122が含まれるコピーペアが含まれるコピーグループを特定するコピーグループ情報があるか否かを判定する。ステップS330で、あると判定したときは、ステップS340に進み、記憶制御装置110が、当該コピーグループ情報を、サブシステムグループ情報152としてメモリ113内に格納する。一方、ステップS330で、ないと判定したときは、ステップS370に進む。
ステップS350では、記憶制御装置110が、自記憶サブシステム100内のボリューム122とコピーペアを構成する他の記憶サブシステム100内のボリューム122があるか否かを判定する。これは、格納命令を転送すべき他の記憶サブシステム100があるか否かを判別するために行う判定である。ステップS350において、あると判定したときは、ステップS360に進む。一方、ステップS350において、ないと判定したときは、ステップS370に進む。
ステップS360では、記憶制御装置110が、ステップS350における「他の記憶サブシステム100」は格納命令を受信済みであるか否かを判定する。この判定は、例えば、格納命令に、格納命令受信済みの記憶サブシステム100の識別子を書き込む格納済識別子領域を準備し、記憶制御装置110が格納命令受信時に自記憶サブシステム100の識別子を書き込むこととしておくことで可能となる。記憶制御装置110は、「他の記憶サブシステム100」の識別子が格納済識別子領域に含まれているか否かを確認することによって、判定を行うことができる。ステップS360において、受信済みであると判定したときは、ステップS370に進む。一方、ステップS360において、受信済みでないと判定したときは、ステップS390に進む。
ステップS390では、記憶制御装置110が、ステップS350における「他の記憶サブシステム100」に格納命令を転送する。ステップS400では、転送された格納命令を受信した「他の記憶サブシステム100」において、サブシステムグループ情報格納処理が行われる。このサブシステムグループ情報格納処理は、図12に示したサブシステムグループ情報格納処理を意味している。このように、格納命令を受信した記憶サブシステム100は、サブシステムグループ情報格納処理を実行すると共に、格納命令を「他の記憶サブシステム100」へと転送する。転送された格納命令を受信した「他の記憶サブシステム100」は、同様に、サブシステムグループ情報格納処理を行うと共に、格納命令を「他の記憶サブシステム100」へと転送する。
上記の処理を繰り返し実行していくと、ある記憶サブシステム100におけるサブシステムグループ情報格納処理中に、ステップS350において「No」と判定され、またはステップS360において「Yes」と判定され、ステップS370に進むこととなる。
ステップS370では、記憶制御装置110が、自らが直結記憶サブシステム100であるか否かを判定する。ステップS370において、直結記憶サブシステム100であると判定したときは、ステップS380に進み、記憶制御装置110が正ホストコンピュータ10Pに完了報告を行う。一方、ステップS370において、直結記憶サブシステム100ではないと判定したときは、ステップS420に進み、記憶制御装置110が、格納命令の転送元の記憶サブシステム100に完了報告を行う。
ステップS410では、記憶制御装置110が、格納命令転送先の記憶サブシステム100から送信された完了報告を受信する。その後、上述したステップS370に進む。
以上のようにして、記憶サブシステム100のメモリ113内に、サブシステムグループ情報152が格納される。
C.第3実施例:
図13は、第3実施例としての計算機システムにおける副ホストコンピュータによるシステムペア情報生成処理の流れを示すフローチャートである。図4に示した第1実施例との違いは、図4におけるステップS110からステップS160の代わりに、ステップS510およびステップS520を実行している点である。その他の点は、第1実施例と同じである。
第3実施例では、副ホストコンピュータ10Rによるサブシステムペア情報150の取得方法が第1実施例と異なっている。第1実施例では、副ホストコンピュータ10Rは、記憶サブシステム100を順次選択し、選択した記憶サブシステム100からサブシステムペア情報150を取得していた。一方、第3実施例では、副ホストコンピュータ10Rは、サブシステムペア情報収集命令(以下「収集命令」と呼ぶ)を直結記憶サブシステム100に送信し、収集命令に応じて直結記憶サブシステム100および他の記憶サブシステム100が収集したサブシステムペア情報150を受信することによって、サブシステムペア情報150の取得を行っている。
ステップS510(図13)では、サブシステムペア情報取得部44(図1)が、収集命令を生成し、生成した収集命令を直結記憶サブシステム100R(図1)に送信する。ステップS520では、収集命令に従って、記憶サブシステム100によるサブシステムペア情報150の収集処理が行われる。
図14は、記憶サブシステムによるサブシステムペア情報収集処理の流れを示すフローチャートである。なお、後述するように、図14に示したサブシステムペア情報収集処理は、最初は、収集命令を受信した直結記憶サブシステム100Rによって実行されるが、その後は、直結記憶サブシステム100Rから転送された収集命令を受信した他の記憶サブシステム100によって実行されることとなる。
ステップS521では、記憶サブシステム100の記憶制御装置110(図1)が、収集命令を受信する。ステップS522では、収集命令を受信した記憶制御装置110が、メモリ113(図1)に格納されたサブシステムペア情報150を、サブシステムペア情報150の送出用に確保されたメモリ113内の所定の領域に送出用のサブシステムペア情報150として格納する。
ステップS523では、記憶制御装置110が、サブシステムペア情報150に含まれるコピーペア情報によって定義されるコピーペアを特定し、自記憶サブシステム100内のボリューム122とコピーペアを構成する他の記憶サブシステム100内のボリューム122があるか否かを判定する。これは、収集命令を転送すべき他の記憶サブシステム100があるか否かを判別するために行う判定である。ステップS523において、あると判定したときは、ステップS524に進む。一方、ステップS523において、ないと判定したときは、ステップS525に進む。
ステップS524では、記憶制御装置110が、ステップS523における「他の記憶サブシステム100」は収集命令を受信済みであるか否かを判定する。この判定は、例えば、収集命令に、収集命令受信済みの記憶サブシステム100の識別子を書き込む受信済識別子領域を準備し、記憶制御装置110が収集命令受信時に自記憶サブシステム100の識別子を書き込むこととしておくことで可能となる。記憶制御装置110は、「他の記憶サブシステム100」の識別子が受信済識別子領域に含まれているか否かを確認することによって、判定を行うことができる。ステップS524において、収集命令受信済みであると判定したときは、ステップS525に進む。一方、ステップS524において、収集命令受信済みでないと判定したときは、ステップS526に進む。
ステップS526では、記憶制御装置110が、ステップS523における「他の記憶サブシステム100」に収集命令を転送する。ステップS527では、転送された収集命令を受信した「他の記憶サブシステム100」において、サブシステムペア情報収集処理が行われる。このサブシステムペア情報収集処理は、図14に示したサブシステムペア情報収集処理を意味している。このように、第3実施例では、収集命令を受信した記憶サブシステム100が、サブシステムペア情報収集処理を実行すると共に、収集命令を「他の記憶サブシステム100」へと転送する。転送された収集命令を受信した「他の記憶サブシステム100」は、同様に、サブシステムペア情報収集処理を行うと共に、収集命令を「他の記憶サブシステム100」へと転送する。
上述の処理を繰り返し実行していくと、ある記憶サブシステム100におけるサブシステムペア情報収集処理中に、ステップS523において「No」と判定され、またはステップS524において「Yes」と判定され、ステップS525に進むこととなる。
ステップS525では、記憶制御装置110が、ステップS522においてメモリ113内の所定の領域に格納した送出用のサブシステムペア情報150を、収集命令の送信元の記憶サブシステム100に送信する。例えば、ステップS526において転送された収集命令を受信してサブシステムペア情報収集処理を行った記憶サブシステム100の記憶制御装置110は、収集命令の転送元の記憶サブシステム100にサブシステムペア情報150を送信する。このときは、ステップS527に戻り、次のステップS528に進むこととなる。
ステップS528では、記憶制御装置110が、ステップS525において収集命令転送先の記憶サブシステム100から送信された送出用のサブシステムペア情報150を受信する。ステップS529では、記憶制御装置110が、ステップS522において自記憶サブシステム100の送出用サブシステムペア情報150を既に格納したメモリ113の所定の領域に、受信した送出用のサブシステムペア情報150を追加的に格納する。従って、メモリ113には、自記憶サブシステム100の送出用サブシステムペア情報150と、収集命令の転送先から送信された送出用のサブシステムペア情報150とが格納されることとなる。その後、上述したステップS525に戻って、メモリ113に格納された送出用のサブシステムペア情報150(自記憶サブシステム100のサブシステムペア情報150および収集命令の転送先から送信されたサブシステムペア情報150)を収集命令の送信元に送信する。
上記のように、収集命令転送先の記憶サブシステム100から収集命令転送元の記憶サブシステム100へと送出用のサブシステムペア情報150を送信する処理が繰り返され、最終的に、直結記憶サブシステム100R内のメモリ113Rに、すべての記憶サブシステム100の送出用のサブシステムペア情報150が格納される。その後、上述したステップS525において、直結記憶サブシステム100Rの記憶制御装置110Rが、メモリ113Rに格納されたすべての記憶サブシステム100の送出用サブシステムペア情報150を、副ホストコンピュータ10Rに送信し、図13のステップS520に戻る。
図13のステップS520に戻った後は、副ホストコンピュータ10Rが、取得したサブシステムペア情報150を用いて、ステップS170からステップS200までの処理を行い、システムペア情報を生成する。なお、ステップS170からステップS200までの処理の内容は、図4に示した第1実施例と同じである。
以上のように、第3実施例の計算機システム1000内の副ホストコンピュータ10Rは、システムペア情報を生成することができる。
D.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
D1.変形例1:
上記実施例の計算機システム1000の構成は、あくまで一例であり、計算機システム1000を他の構成とすることも可能である。例えば、上記実施例では、計算機システム1000は、プロダクションサイト、ローカルサイトおよびリモートサイトの3つのサイトから構成されているが、計算機システム1000は、2つのサイトから、あるいは4つ以上のサイトから構成されるとすることも可能である。また、それぞれのサイトの地理的な位置関係についても、任意の関係とすることが可能である。
また、上記実施例では、各サイトに1つまたは2つの記憶サブシステム100が設置されているが、計算機システム1000は、各サイトに3つ以上の記憶サブシステム100が設置された構成とすることも可能である。
また、各サイトに設置される記憶サブシステム100の数が、サイト毎に異なる構成とすることも可能である。例えば、図9において、リモートサイトの記憶サブシステム100R1および100R2が、同一の1つの記憶サブシステム100であるとすることも可能であるし、ローカルサイトの記憶サブシステム100L1が、2つの記憶サブシステム100であるとすることも可能である。従って、1つの記憶サブシステム100が、複数の異なる系列に含まれている構成とすることも可能であるし、あるサイトの複数の記憶サブシステム100が、同一の系列に含まれている構成とすることも可能である。
また、上記第2実施例では、1つのコピーグループに含まれる各サイトの記憶サブシステム100の数が同一である例を用いて説明したが、1つのコピーグループに含まれる記憶サブシステム100の数が、サイト毎に異なるとすることも可能である。例えば、図10(b)において、記憶サブシステム100P1と記憶サブシステム100P2とが同一の1つの記憶サブシステム100であり、コピーグループGr−1に含まれる記憶サブシステム100の数が、プロダクションサイトでは1つ、ローカルサイトでは2つであるとすることも可能である。
また、上記実施例では、副ホストコンピュータ10Rは、リモートサイトに設置されているが、副ホストコンピュータ10Rは、ローカルサイトやプロダクションサイト等の他のサイトに設置されていてもよい。また、副ホストコンピュータ10Rは、リモートサイトの記憶サブシステム100と直結されているが、ローカルサイトやプロダクションサイト等の他のサイトの記憶サブシステム100と直結されていてもよい。また、副ホストコンピュータ10Rは、複数のサイトに設置された複数の記憶サブシステム100のそれぞれに接続されていてもよい。また、副ホストコンピュータ10Rは正ホストコンピュータ10Pと同一のホストコンピュータ10であるとしてもよい。
D2.変形例2:
上記実施例に用いたシステムペア情報30、サブシステムペア情報150、システムグループ情報32およびサブシステムグループ情報152(以下「各情報」と呼ぶ)の内容は、あくまで一例であり、各情報は他の内容を含むとしたり、上記実施例中に示した各情報の内容の一部を含まないとしたりすることも可能である。例えば、各情報は、各情報が生成された日時を含むとすることも可能であるし、各情報は、コピー状態情報を含まないとすることも可能である。
D3.変形例3:
上記第2実施例では、システムペア情報30はシステムグループ情報32を含むとしているが、システムグループ情報32は、システムペア情報30とは別に生成され、別々にメモリ12内の所定の領域に格納されるとしてもよい。
また、同様に、上記第2実施例では、サブシステムペア情報150はサブシステムグループ情報152を含むとしているが、サブシステムグループ情報152は、サブシステムペア情報150とは別に生成され、別々にメモリ113内の所定の領域に格納されるとしてもよい。
また、上記第2実施例では、サブシステムグループ情報152は、記憶サブシステム100のメモリ113内に格納されているとしているが、例えば、ボリューム122内の所定の領域に格納されるとすることも可能である。
D4.変形例4:
上記実施例では、ホストコンピュータ10Rは、計算機システム1000内のすべての記憶サブシステム100からサブシステムペア情報150を取得しているが、サブシステムペア情報150を取得するための条件を設定し、条件に該当する場合のみサブシステムペア情報150を取得するとしてもよい。特に、上記第3実施例において、サブシステムペア情報収集命令によりサブシステムペア情報150を収集するときには、記憶サブシステム100のメモリ113を使用する領域が大きくなったり、記憶サブシステム100間の通信線を使用する頻度が多くなったりして、計算機システム1000の通常のデータ処理業務に影響が出る可能性がある。そのような事態を避けるために、サブシステムペア情報150を取得するための条件を設定して、必要なサブシステムペア情報150のみ取得するようにすることも可能である。サブシステムペア情報150を取得するための条件としては、例えば、最大収集コピーペア数を超えていないこと、指定した記憶サブシステム100の有するサブシステムペア情報150であること、あるボリューム122を起点としたコピーペアを定義するコピーペア情報であること、生成日時が指定した範囲にあること等を設定することができる。
D.変形例5:
上記第1実施例では、副ホストコンピュータ10Rが積極的にデータ整合処理を行う例を用いて説明したが、データ整合処理は他の方法により実行することも可能である。例えば、副ホストコンピュータ10Rは、記憶サブシステム100内の記憶制御装置110により、未完了コピーペア内のコピーおよび未完了コピーペア内のコピー実行によりコピー実行が必要となるコピーペア内のコピーが実行されるのを待つようにすることも可能である。このようにしても、データ整合状態を形成することが可能である。
D.変形例6:
上記実施例では、サブシステムグループ情報152の記憶サブシステム100への格納処理を、格納命令を用いて行っているが、他の方法により行うことも可能である。例えば、正ホストコンピュータ10Pが、システムグループ情報32を含むシステムペア情報30を基に、各記憶サブシステム100について、格納すべきサブシステムグループ情報152を生成し、各記憶サブシステム100に送信することによって行ってもよい。
本発明の第1実施例としての計算機システムの構成を概略的に示す説明図。 システムペア情報の一例を概略的に示す説明図。 サブシステムペア情報の一例を概略的に示す説明図。 副ホストコンピュータによるシステムペア情報生成の処理の流れを示すフローチャート。 副ホストコンピュータによるサブシステムペア情報取得の処理を概略的に示す説明図。 副ホストコンピュータによるデータ整合処理およびコピー設定処理を概略的に示す説明図。 経路情報の一例を示す説明図。 記憶サブシステム100による選択サブシステムペア情報処理の流れを示すフローチャート。 本発明の第2実施例としての計算機システムの構成を概略的に示す説明図。 システムグループ情報を含むシステムペア情報の一例を概略的に示す説明図。 副ホストコンピュータによるシステムペア情報生成の処理の流れを示すフローチャート。 サブシステムグループ情報の記憶サブシステムへの格納処理の流れを示すフローチャート。 第3実施例としての計算機システムにおける副ホストコンピュータによるシステムペア情報生成処理の流れを示すフローチャート。 記憶サブシステムによるサブシステムペア情報収集処理の流れを示すフローチャート。
符号の説明
10...ホストコンピュータ
12...メモリ
13...入力装置
14...表示装置
15...インターフェイス
20...コピー操作プログラム
30...システムペア情報
32...システムグループ情報
40...システムペア情報生成プログラム
42...サブシステム選択部
44...サブシステムペア情報取得部
46...システムペア情報生成部
48...コピー設定部
100...記憶サブシステム
110...記憶制御装置
112...キャッシュメモリ
113...メモリ
114...インターフェイス
115...インターフェイス
116...インターフェイス
120...ディスクアレイ
122...ボリューム
150...サブシステムペア情報
152...サブシステムグループ情報
1000...計算機システム

Claims (15)

  1. 第1の計算機と、前記第1の計算機に順次連結された複数の記憶システムと、前記複数の記憶システムの少なくとも1つに連結された第2の計算機と、を備える計算機システムであって、
    前記複数の記憶システムのそれぞれは、データを格納する少なくとも1つの記憶領域を備え、
    前記複数の記憶システムが有する複数の記憶領域の中の2つの記憶領域の組み合わせであって、前記2つの記憶領域間でデータのコピーが行われるコピーペアが少なくとも1つ設定されていると共に、前記コピーペアを定義するコピーペア情報を含むシステムペア情報が前記第1の計算機に格納されており、
    各記憶システムは、コピーペアを構成する2つの記憶領域の少なくとも1つが当該記憶システム内の記憶領域であるコピーペアを定義するコピーペア情報を含むサブシステムペア情報を格納しており、
    前記第2の計算機は、
    前記複数の記憶システムの中から、サブシステムペア情報を取得するためにアクセスすべき記憶システムを選択するサブシステム選択部と、
    前記選択された記憶システムの有するサブシステムペア情報を取得するサブシステムペア情報取得部と、
    前記取得されたサブシステムペア情報を基に、前記複数の記憶システムが有する複数の記憶領域に関するコピーペア情報を含むシステムペア情報を生成するシステムペア情報生成部と、を備え、
    前記第2の計算機による前記システムペア情報の生成の際に、
    前記サブシステム選択部は、最初に前記第2の計算機に直結されている記憶システムを選択し、前記サブシステムペア情報取得部によるサブシステムペア情報の最初の取得が行われた後は、前記取得されたサブシステムペア情報に基づいて、アクセスすべき記憶システムを順次選択する、計算機システム。
  2. 請求項1記載の計算機システムであって、
    前記サブシステム選択部は、前記取得されたサブシステムペア情報に含まれるコピーペア情報が、2つの記憶システムに分かれて配置されている2つの記憶領域で構成されるコピーペアを定義しているときに、前記2つの記憶システムの内、前記取得されたサブシステムペア情報の取得元の記憶システムとは異なる他の記憶システムであって、未だ前記サブシステムペア情報取得部によるサブシステムペア情報の取得が行われていないものを、次にアクセスすべき記憶システムとして選択する、計算機システム。
  3. 請求項1記載の計算機システムであって、
    前記計算機システム内のコピーペアにおけるコピーの制御は、前記第1の計算機と前記第2の計算機とのいずれか一方が行い、
    前記第2の計算機による前記システムペア情報の生成は、前記第2の計算機が前記計算機システム内のコピーペアにおけるコピーの制御を開始する際に実行される、計算機システム。
  4. 請求項3記載の計算機システムであって、
    前記コピーペア情報は、前記コピーペア情報に定義されたコピーペアにおけるコピー方法を示すコピー方法情報を含み、
    前記第1の計算機と前記第2の計算機とのそれぞれは、前記コピー方法を設定するコピー設定部を備え、
    前記第2の計算機の有する前記コピー設定部は、前記第1の計算機の有する前記コピー設定部の設定するコピー方法とは異なるコピー方法を設定することが可能である、計算機システム。
  5. 請求項4記載の計算機システムであって、
    前記コピー方法には、コピー方向と、コピータイプとの少なくともいずれか一方を含む、計算機システム。
  6. 請求項3記載の計算機システムであって、
    前記コピーペア情報は、前記コピーペア情報に定義されたコピーペアにおけるコピーの進捗状態を示すコピー状態情報を含み、
    前記第2の計算機は、
    前記生成したシステムペア情報内の前記コピーペア情報に含まれるコピー状態情報を基に、前記計算機システム内のコピーペアにおけるコピーの進捗状態を判定し、
    コピーが完了していない未完了コピーペアがあると判定したときは、前記計算機システム内のコピーペアにおけるコピーの制御の開始時に、未完了コピーペア内のコピーと、未完了コピーペア内のコピーの実行により新たにコピーを行うことが必要となる他のコピーペア内のコピーとを実行する、計算機システム。
  7. 請求項1記載の計算機システムであって、
    複数のコピーペアの組み合わせであるコピーグループが少なくとも1つ設定されており、
    前記サブシステムペア情報は、コピーグループを定義するコピーグループ情報の内、コピーグループに含まれるコピーペアを構成する記憶領域の少なくとも1つが当該記憶システム内の記憶領域であるコピーグループを定義するコピーグループ情報を含み、
    前記システムペア情報は、前記複数の記憶システムが有する複数の記憶領域に関するコピーグループ情報を含む、計算機システム。
  8. 請求項7記載の計算機システムであって、
    前記コピーグループは、同じタイミングでコピーが行われる複数のコピーペアの組み合わせである、計算機システム。
  9. 請求項7記載の計算機システムであって、
    前記コピーグループ情報によって定義されるコピーグループには、コピーペアを構成するコピー元の記憶領域を収納する記憶システムが互いに異なる複数のコピーペアが含まれる、計算機システム。
  10. 請求項1記載の計算機システムを構成するための記憶システムであって、
    前記第2の計算機から送信されるサブシステムペア情報の送信を要求する命令を受信して、自らの有するサブシステムペア情報を前記第2の計算機に送信する記憶制御部を備える、記憶システム。
  11. データを格納するための少なくとも1つの記憶領域を有する複数の順次連結された記憶システムの少なくとも1つに連結可能な計算機であって、
    前記複数の記憶システムにおいて、前記複数の記憶システムの有する複数の記憶領域の中の2つの記憶領域の組み合わせであって、前記2つの記憶領域間でデータのコピーが行われるコピーペアが少なくとも1つ設定されており、
    各記憶システムは、コピーペアを構成する2つの記憶領域の少なくとも1つが当該記憶システム内の記憶領域であるコピーペアを定義するコピーペア情報を含むサブシステムペア情報を格納しており、
    前記計算機は、
    前記複数の記憶システムの中からサブシステムペア情報を取得するためにアクセスすべき記憶システムを選択するサブシステム選択部と、
    前記選択された記憶システムの有するサブシステムペア情報を取得するサブシステムペア情報取得部と、
    前記取得されたサブシステムペア情報を基に、前記複数の記憶システムが有する複数の記憶領域に関するコピーペア情報を含むシステムペア情報を生成するシステムペア情報生成部と、を備え、
    前記サブシステム選択部は、最初に前記計算機に直結される記憶システムを選択し、前記サブシステムペア情報取得部によるサブシステムペア情報の最初の取得が行われた後は、前記取得されたサブシステムペア情報に基づいて、アクセスすべき記憶システムを順次選択する、計算機。
  12. 第1の計算機と、前記第1の計算機に順次連結された複数の記憶システムと、前記複数の記憶システムの少なくとも1つに連結された第2の計算機と、を備える計算機システムであって、
    前記複数の記憶システムのそれぞれは、データを格納する少なくとも1つの記憶領域を備え、
    前記複数の記憶システムが有する複数の記憶領域の中の2つの記憶領域の組み合わせであって、前記2つの記憶領域間でデータのコピーが行われるコピーペアが少なくとも1つ設定されていると共に、前記コピーペアを定義するコピーペア情報を含むシステムペア情報が前記第1の計算機に格納されており、
    各記憶システムは、コピーペアを構成する2つの記憶領域の少なくとも1つが当該記憶システム内の記憶領域であるコピーペアを定義するコピーペア情報を含むサブシステムペア情報を格納しており、
    前記第2の計算機は、
    前記複数の記憶システムの有するサブシステムペア情報を取得するサブシステムペア情報取得部と、
    前記取得されたサブシステムペア情報を基に、前記複数の記憶システムが有する複数の記憶領域に関するコピーペア情報を含むシステムペア情報を生成するシステムペア情報生成部と、を備え、
    前記第2の計算機による前記システムペア情報の生成の際に、
    前記サブシステムペア情報取得部は、前記複数の記憶システムからサブシステムペア情報を取得するための収集命令を生成して、前記複数の記憶システムのうちの特定の記憶システムに送信し、
    前記特定の記憶システムは、前記収集命令を他の記憶システムに順次転送すると共に、前記転送された収集命令を受信した記憶システムからサブシステムペア情報を収集し、前記収集したサブシステムペア情報を前記第2の計算機に送信する、計算機システム。
  13. データを格納するための少なくとも1つの記憶領域を有する複数の順次連結された記憶システムの少なくとも1つに連結された計算機によるシステムペア情報生成方法であって、
    前記複数の記憶システムにおいて、前記複数の記憶システムの有する複数の記憶領域の中の2つの記憶領域の組み合わせであって、前記2つの記憶領域間でデータのコピーが行われるコピーペアが少なくとも1つ設定されており、
    各記憶システムは、コピーペアを構成する2つの記憶領域の少なくとも1つが当該記憶システム内の記憶領域であるコピーペアを定義するコピーペア情報を含むサブシステムペア情報を格納しており、
    前記システムペア情報生成方法は、
    (a)前記複数の記憶システムの中からサブシステムペア情報を取得するためにアクセスすべき記憶システムを選択する工程と、
    (b)前記選択された記憶システムの有するサブシステムペア情報を取得する工程と、
    (c)前記取得されたサブシステムペア情報を基に、前記複数の記憶システムが有する複数の記憶領域に関するコピーペア情報を含むシステムペア情報を生成する工程と、を備え、
    前記工程(a)は、最初に前記計算機に直結されている記憶システムを選択し、サブシステムペア情報の最初の取得が行われた後は、前記取得されたサブシステムペア情報に基づいて、アクセスすべき記憶システムを順次選択する工程である、システムペア情報生成方法。
  14. データを格納するための少なくとも1つの記憶領域を有する複数の順次連結された記憶システムの少なくとも1つに連結された計算機によりシステムペア情報を生成するためのシステムペア情報生成プログラムであって、
    前記複数の記憶システムにおいて、前記複数の記憶システムの有する複数の記憶領域の中の2つの記憶領域の組み合わせであって、前記2つの記憶領域間でデータのコピーが行われるコピーペアが少なくとも1つ設定されており、
    各記憶システムは、コピーペアを構成する2つの記憶領域の少なくとも1つが当該記憶システム内の記憶領域であるコピーペアを定義するコピーペア情報を含むサブシステムペア情報を格納しており、
    前記システムペア情報生成プログラムは、
    前記複数の記憶システムの中からサブシステムペア情報を取得するためにアクセスすべき記憶システムを選択するサブシステム選択機能と、
    前記選択された記憶システムの有するサブシステムペア情報を取得するサブシステムペア情報取得機能と、
    前記取得されたサブシステムペア情報を基に、前記複数の記憶システムが有する複数の記憶領域に関するコピーペア情報を含むシステムペア情報を生成するシステムペア情報生成機能と、を前記計算機に実現させ、
    前記サブシステム選択機能は、最初に前記計算機に直結されている記憶システムを選択し、サブシステムペア情報の最初の取得が行われた後は、前記取得されたサブシステムペア情報に基づいて、アクセスすべき記憶システムを順次選択する機能である、システムペア情報生成プログラム。
  15. 直列に接続された複数の記憶システムから構成される少なくとも1つの記憶システム群と、前記記憶システム群のそれぞれに含まれる少なくとも1つの前記記憶システムに連結された第1の計算機と、前記記憶システム群のそれぞれに含まれる少なくとも1つの前記記憶システムに連結された第2の計算機と、を備える計算機システムであって、
    前記複数の記憶システムのそれぞれは、記憶制御装置と、ディスクアレイと、を備え、
    前記ディスクアレイは、データを格納する少なくとも1つの記憶領域を備え、
    前記複数の記憶システム内の前記ディスクアレイが有する複数の記憶領域の中の2つの記憶領域の組み合わせであって、前記2つの記憶領域間でデータのコピーが行われるコピーペアが少なくとも1つ設定されていると共に、前記コピーペアを定義するコピーペア情報を含むシステムペア情報が前記第1の計算機に格納されており、
    各記憶システムは、コピーペアを構成する2つの記憶領域の少なくとも1つが当該記憶システム内の記憶領域であるコピーペアを定義するコピーペア情報を含むサブシステムペア情報を、前記記憶制御装置のメモリ内に格納しており、
    前記第2の計算機は、
    前記複数の記憶システムの中から、サブシステムペア情報を取得するためにアクセスすべき記憶システムを選択するサブシステム選択部と、
    前記選択された記憶システムの有するサブシステムペア情報を取得するサブシステムペア情報取得部と、
    前記取得されたサブシステムペア情報を基に、前記複数の記憶システムが有する複数の記憶領域に関するコピーペア情報を含むシステムペア情報を生成するシステムペア情報生成部と、を備え、
    前記第2の計算機による前記システムペア情報の生成の際に、
    前記サブシステム選択部は、最初に前記第2の計算機に直結されている記憶システムを選択し、前記サブシステムペア情報取得部によるサブシステムペア情報の最初の取得が行われた後は、前記取得されたサブシステムペア情報に含まれるコピーペア情報が、2つの記憶システムに分かれて配置されている2つの記憶領域で構成されるコピーペアを定義しているときは、前記2つの記憶システムの内、前記取得されたサブシステムペア情報の取得元の記憶システムとは異なる他の記憶システムであって、未だ前記サブシステムペア情報取得部によるサブシステムペア情報の取得が行われていないものを、次にアクセスすべき記憶システムとして選択する、計算機システム。
JP2004171059A 2004-06-09 2004-06-09 計算機システム Expired - Fee Related JP4421385B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004171059A JP4421385B2 (ja) 2004-06-09 2004-06-09 計算機システム
US10/921,344 US7467234B2 (en) 2004-06-09 2004-08-19 Computer system
US12/277,668 US7739371B2 (en) 2004-06-09 2008-11-25 Computer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004171059A JP4421385B2 (ja) 2004-06-09 2004-06-09 計算機システム

Publications (2)

Publication Number Publication Date
JP2005352644A JP2005352644A (ja) 2005-12-22
JP4421385B2 true JP4421385B2 (ja) 2010-02-24

Family

ID=35587099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004171059A Expired - Fee Related JP4421385B2 (ja) 2004-06-09 2004-06-09 計算機システム

Country Status (2)

Country Link
US (2) US7467234B2 (ja)
JP (1) JP4421385B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4327831B2 (ja) 2006-09-05 2009-09-09 株式会社日立製作所 ストレージシステム、管理計算機及びコピーペア監視方法
JP2008077288A (ja) * 2006-09-20 2008-04-03 Hitachi Ltd データバックアップ方法及び計算機システム
US7702953B2 (en) * 2007-01-04 2010-04-20 International Business Machines Corporation Storage management in cascaded replication of data
JP4616898B2 (ja) 2008-05-07 2011-01-19 株式会社日立製作所 ストレージ装置制御方法および計算機システム
US8751762B2 (en) * 2011-03-30 2014-06-10 International Business Machines Corporation Prevention of overlay of production data by point in time copy operations in a host based asynchronous mirroring environment
US9008310B2 (en) * 2013-07-01 2015-04-14 Disney Enterprises, Inc. Implementing encrypted content in a game
US9772916B2 (en) * 2014-06-17 2017-09-26 Actifio, Inc. Resiliency director
US9575856B2 (en) 2014-08-29 2017-02-21 Vmware, Inc. Preventing migration of a virtual machine from affecting disaster recovery of replica
US10969748B1 (en) 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US10376776B2 (en) 2016-01-20 2019-08-13 Disney Enterprises, Inc. Systems and methods for providing a video game using information stored by physical objects
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
US10841632B2 (en) 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3887199D1 (de) 1987-05-14 1994-03-03 Siemens Ag Verfahren zum Bilden einer Adressentabelle in einem ringförmigen Kommunikationsnetz.
US5544347A (en) 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5664106A (en) 1993-06-04 1997-09-02 Digital Equipment Corporation Phase-space surface representation of server computer performance in a computer network
US5671377A (en) 1994-07-19 1997-09-23 David Sarnoff Research Center, Inc. System for supplying streams of data to multiple users by distributing a data stream to multiple processors and enabling each user to manipulate supplied data stream
JPH08137772A (ja) 1994-11-08 1996-05-31 Fujitsu Ltd プロトコル環境の設定装置およびその設定方法
US5680640A (en) 1995-09-01 1997-10-21 Emc Corporation System for migrating data by selecting a first or second transfer means based on the status of a data element map initialized to a predetermined state
US6477627B1 (en) 1996-05-31 2002-11-05 Emc Corporation Method and apparatus for mirroring data in a remote data storage system
JP3671595B2 (ja) 1997-04-01 2005-07-13 株式会社日立製作所 複合計算機システムおよび複合i/oシステム
US6081875A (en) 1997-05-19 2000-06-27 Emc Corporation Apparatus and method for backup of a disk storage system
US20020007896A1 (en) * 1997-08-28 2002-01-24 Richard Huber Stichless seam construction of elastomeric fabric
US6438110B1 (en) 1997-11-12 2002-08-20 Nortel Networks Limited Reservation of connections in a communications network
US6631477B1 (en) 1998-03-13 2003-10-07 Emc Corporation Host system for mass storage business continuance volumes
US6308284B1 (en) 1998-08-28 2001-10-23 Emc Corporation Method and apparatus for maintaining data coherency
JP2000137638A (ja) 1998-10-29 2000-05-16 Hitachi Ltd 情報記憶システム
JP3537332B2 (ja) 1998-11-18 2004-06-14 理想科学工業株式会社 インターフェース装置
US7107395B1 (en) 1998-12-31 2006-09-12 Emc Corporation Apparatus and methods for operating a computer storage system
US6529944B1 (en) 1999-01-06 2003-03-04 Emc Corporation Host system for remote control of mass storage volumes using cascading commands
DE60041732D1 (de) 1999-01-27 2009-04-23 Hitachi Ltd Verfahren, Gerät und Speichermedium zum Anwenden in einem hierarchischen System
US6209002B1 (en) 1999-02-17 2001-03-27 Emc Corporation Method and apparatus for cascading data through redundant data storage units
US6453354B1 (en) 1999-03-03 2002-09-17 Emc Corporation File server system using connection-oriented protocol and sharing data sets among data movers
US6393528B1 (en) 1999-06-30 2002-05-21 International Business Machines Corporation Optimized cache allocation algorithm for multiple speculative requests
US6681392B1 (en) 1999-12-15 2004-01-20 Lexmark International, Inc. Method and apparatus for remote peripheral software installation
US6658540B1 (en) 2000-03-31 2003-12-02 Hewlett-Packard Development Company, L.P. Method for transaction command ordering in a remote data replication system
US6484187B1 (en) 2000-04-28 2002-11-19 International Business Machines Corporation Coordinating remote copy status changes across multiple logical sessions to maintain consistency
DE60039033D1 (de) 2000-05-25 2008-07-10 Hitachi Ltd Speichersystem zur Bestätigung der Datensynchronisierung während des asynchronen Fernkopierens
US6526419B1 (en) 2000-06-09 2003-02-25 International Business Machines Corporation Method, system, and program for remote copy in an open systems environment
KR100434459B1 (ko) * 2000-06-27 2004-06-05 삼성전자주식회사 이동통신 시스템에서 패킷의 전송 제어방법 및 장치
JP2002014777A (ja) 2000-06-29 2002-01-18 Hitachi Ltd データ移行方法並びにプロトコル変換装置及びそれを用いたスイッチング装置
US6457109B1 (en) 2000-08-18 2002-09-24 Storage Technology Corporation Method and apparatus for copying data from one storage system to another storage system
US6701455B1 (en) 2000-08-29 2004-03-02 Hitachi, Ltd. Remote copy system with data integrity
JP2002189570A (ja) 2000-12-20 2002-07-05 Hitachi Ltd 記憶システムの二重化方法および記憶システム
US6748467B2 (en) 2001-01-30 2004-06-08 Hitachi, Ltd. High speed data transfer between mainframe storage systems
US6594745B2 (en) 2001-01-31 2003-07-15 Hewlett-Packard Development Company, L.P. Mirroring agent accessible to remote host computers, and accessing remote data-storage devices, via a communcations medium
US20020194428A1 (en) 2001-03-30 2002-12-19 Intransa, Inc., A Delaware Corporation Method and apparatus for distributing raid processing over a network link
JP3997061B2 (ja) 2001-05-11 2007-10-24 株式会社日立製作所 記憶サブシステムおよび記憶サブシステムの制御方法
AU2002344898A1 (en) 2001-06-29 2003-03-03 Clifford L. Ainsworth Method and apparatus for uniquely identifying a golf ball at a target
US6862632B1 (en) 2001-11-14 2005-03-01 Emc Corporation Dynamic RDF system for transferring initial data between source and destination volume wherein data maybe restored to either volume at same time other data is written
US6910075B2 (en) 2001-11-14 2005-06-21 Emc Corporation Dynamic RDF groups
US6944726B2 (en) 2001-11-14 2005-09-13 Emc Corporation Distributed background track processing
US6701392B1 (en) 2001-11-14 2004-03-02 Emc Corporation Hierarchical approach to indentifying changing device characteristics
US20030105931A1 (en) 2001-11-30 2003-06-05 Weber Bret S. Architecture for transparent mirroring
US7139932B2 (en) * 2002-01-03 2006-11-21 Hitachi, Ltd. Data synchronization of multiple remote storage after remote copy suspension
JP3993773B2 (ja) * 2002-02-20 2007-10-17 株式会社日立製作所 ストレージサブシステム、記憶制御装置及びデータコピー方法
JP2003248605A (ja) 2002-02-26 2003-09-05 Hitachi Ltd ストレージシステム、主記憶システム、副記憶システム、及びそのデータ複写方法
JP2003258805A (ja) * 2002-02-28 2003-09-12 Toshiba Corp バッファ制御装置及びバッファ制御方法
JP2004013367A (ja) 2002-06-05 2004-01-15 Hitachi Ltd データ記憶サブシステム
JP4341897B2 (ja) 2002-08-29 2009-10-14 株式会社日立製作所 記憶装置システム及びデータ複製方法
US7219201B2 (en) 2003-09-17 2007-05-15 Hitachi, Ltd. Remote storage disk control device and method for controlling the same
JP4598387B2 (ja) 2003-09-17 2010-12-15 株式会社日立製作所 記憶システム

Also Published As

Publication number Publication date
JP2005352644A (ja) 2005-12-22
US7739371B2 (en) 2010-06-15
US20090094255A1 (en) 2009-04-09
US20060047660A1 (en) 2006-03-02
US7467234B2 (en) 2008-12-16

Similar Documents

Publication Publication Date Title
JP4421385B2 (ja) 計算機システム
JP4756992B2 (ja) ストレージシステム及び記憶制御方法
US7594086B2 (en) Storage system for copying data and storing in a plurality of storage devices
JP4842703B2 (ja) ストレージシステム及びそのリカバリボリューム作成方法
CN100417922C (zh) 存储系统
JP4942418B2 (ja) 計算機システム及びそのスナップショット作成方法
JP4842720B2 (ja) ストレージシステム及びデータ複製方法
JP4369471B2 (ja) ミラーリングプログラム、ミラーリング方法、情報記憶装置
US7945749B2 (en) Data mirroring method
US8495014B2 (en) Asynchronous remote copy system and storage control method
EP1465049A2 (en) Storage system and method of controlling the same
US20100146232A1 (en) Storage system, remote copy and management method therefor
JP2005018159A (ja) ストレージシステム構築支援装置、ストレージシステム構築支援方法、およびストレージシステム構築支援プログラム
US7451285B2 (en) Computer systems, management computers and storage system management method
CN106605217B (zh) 用于将应用从一个站点移动到另一站点的方法和系统
JP2006079568A (ja) ストレージリモートコピー方式
JP2008269469A (ja) ストレージシステム及びその管理方法
JP2009217484A (ja) リモートコピーシステム及び確認方法
US7330946B2 (en) Data processing system
JP5272185B2 (ja) 計算機システム及びストレージシステム
US20050197718A1 (en) High reliability system, redundant construction control method, and program
JPH11338647A (ja) 二重化データの形成方法
JP2005316762A (ja) ディスク記憶装置及びraid構築方法
JP2004030254A (ja) リモートsi制御方式
US20080294858A1 (en) Storage system and data management method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4421385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees