JP4374953B2 - データ処理システム - Google Patents

データ処理システム Download PDF

Info

Publication number
JP4374953B2
JP4374953B2 JP2003316183A JP2003316183A JP4374953B2 JP 4374953 B2 JP4374953 B2 JP 4374953B2 JP 2003316183 A JP2003316183 A JP 2003316183A JP 2003316183 A JP2003316183 A JP 2003316183A JP 4374953 B2 JP4374953 B2 JP 4374953B2
Authority
JP
Japan
Prior art keywords
storage system
data
journal
logical volume
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003316183A
Other languages
English (en)
Other versions
JP2005084953A (ja
JP2005084953A5 (ja
Inventor
和人 水主
裕介 平川
義弘 安積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003316183A priority Critical patent/JP4374953B2/ja
Priority to US10/784,356 priority patent/US7130975B2/en
Priority to EP04252272A priority patent/EP1494120A3/en
Priority to EP09010606.3A priority patent/EP2120147B1/en
Priority to EP04252258A priority patent/EP1492009A3/en
Priority to EP07010949A priority patent/EP1837769A3/en
Publication of JP2005084953A publication Critical patent/JP2005084953A/ja
Priority to US11/334,511 priority patent/US7143254B2/en
Publication of JP2005084953A5 publication Critical patent/JP2005084953A5/ja
Priority to US11/581,413 priority patent/US7447855B2/en
Priority to US12/246,527 priority patent/US8074036B2/en
Application granted granted Critical
Publication of JP4374953B2 publication Critical patent/JP4374953B2/ja
Priority to US13/285,453 priority patent/US8495319B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2058Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2066Optimisation of the communication load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2064Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/855Details of asynchronous mirroring using a journal to transfer not-yet-mirrored changes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99951File or database maintenance
    • Y10S707/99952Coherency, e.g. same view to multiple users
    • Y10S707/99953Recoverability

Description

本発明は、記憶システムに関し、特に複数の記憶システム間でのデータ複製および記憶システムの障害時のデータ複製処理の再開に関する。
近年、顧客に対して常に継続したサービスを提供するために、第一の記憶システムに障害が発生した場合でもデータ処理システムがサービスを提供できるよう、記憶システム間でのデータの複製に関する技術が重要になっている。第一の記憶システムに格納された情報を第二および第三の記憶システムに複製する技術として、以下の特許文献に開示された技術が存在する。
従来技術では、第一の記憶システムが、第一の記憶システムに格納されたデータを、第二の記憶システムに転送し、さらに、第三の記憶システムに転送する技術が開示されている。計算機と第一の記憶システムとは通信リンクにより接続され、第一の記憶システムと第二の記憶システムとは通信リンクにより接続され、さらに、第一の記憶システムと第三の記憶システムとは通信リンクにより接続されている。第一の記憶システムは、複製対象の第一の論理ボリュームを保持する。第二の記憶システムは、第一の論理ボリュームの複製である第二の論理ボリュームを保持する。第三の記憶システムは、第一の論理ボリュームの複製である第三の論理ボリュームを保持する。この特許文献において、第一の記憶システムは、第一の論理ボリュームの更新時に、第二の論理ボリュームへのデータ複製処理を行い、第三の論理ボリュームとのデータの差異を一定のデータサイズ毎に管理情報に記憶する。その後、当該管理情報を用いて、第三の論理ボリュームへのデータ複製処理を行う。
特開2003−122509号公報
従来技術に開示された技術は、第一の論理ボリュームと第三の論理ボリュームのデータの差異を一定のデータサイズ毎に管理する。差異を管理する管理情報は、データ複製対象のデータ量に比例して増大するという課題がある。さらに、管理情報に基づいて、データ更新順と無関係な順序で、第三の論理ボリュームの更新を行うため、第三の論理ボリュームのデータの整合性は維持できない。
したがって、本発明の目的は、データ処理システムを構成する第三の記憶システム内のデータの整合性を維持しつつ、第一の記憶システムから第三の記憶システムへのデータの複製処理を行うことである。さらに、本発明の目的は、データの複製に使用する管理情報を少なくすることである。
さらに、本発明の目的は、データ処理システムを構成する第一の記憶システムが故障した場合に、第三の記憶システムのデータを最新とする間も第三の記憶システムのデータの整合性を維持することである。さらに、本発明の目的は、データを最新とするまでにかかる時間を短くすることである。
これらの課題を解決するために、本発明において、第一の記憶システムは、第一の記憶システムに格納されたデータの更新に関する情報をジャーナルとして格納する。ジャーナルは、具体的には、更新に用いられたデータのコピーと更新時のライト命令、更新順序を示す更新番号等の更新情報とによって構成される。さらに、第三の記憶システムは、第一の記憶システムと第三の記憶システム間の通信線を介して、前記ジャーナルを取得し、ジャーナル専用の記憶領域に格納する。第三の記憶システムは、第一の記憶システムが保持するデータの複製を保持しており、前記ジャーナルを用いて、第一の記憶システムでのデータ更新順に、第一の記憶システムのデータと対応するデータを更新する。
さらに、第二の記憶システムは、第一の記憶システムが保持するデータの複製を保持しており、第一の記憶システムは、第二の記憶システムと第一の記憶システム間の通信線を介して、第一の記憶システムに格納されたデータの更新の際に、第二の記憶システムに格納されたデータの更新も行う。このデータ更新命令は、第一の記憶システムがジャーナルを作成するときに使用した更新番号もしくは更新時刻を含む。第二の記憶システムは、かかるデータ更新の際に、第一の記憶システムから受信した更新番号もしくは更新時刻を用いた更新情報を作成し、ジャーナルとしてジャーナル専用の記憶領域に格納する。
第三の記憶システムは、第一の記憶システムが故障した場合、第二の記憶システムと第三の記憶システム間の通信線を介して、第三の記憶システムが保持していないジャーナルのみを第二の記憶システムから取得し、第一の記憶システムでのデータ更新順に、第一の記憶システムのデータと対応するデータを更新する。
本発明によれば、複数の記憶システム間で、データの整合性を維持しつつ、データを複製する場合に必要となる管理情報を減らすことができる。さらに、本発明によれば、データ処理システムを構成する記憶システムおよびホストコンピュータが故障した場合、データの整合性を維持しつつ、高速かつ効率的にデータの複製を継続することができる。
本発明によるデータ処理システムの実施形態を図面により詳細に説明する。
図1は、本発明の一実施形態の論理的な構成を示すブロック図である。
本発明の一実施形態は、ホストコンピュータ180と記憶システム100Aを接続パス190により接続し、記憶システム100Aと記憶システム100Aに保存されたデータの複製を保持する記憶システム100Bと記憶システム100Cを接続パス200により接続した構成である。さらに、記憶システム100Bと記憶システム100Cは、接続パス200により接続されている。以下の説明において、複製対象のデータを保持する記憶システム100と複製データを保持する記憶システム100との区別を容易とするために、複製対象のデータを保持する記憶システム100を正記憶システム100A、複製データを保持する記憶システム100を副記憶システム100Bおよび副記憶システム100Cとよぶこととする。なお、記憶システムの記憶領域は、分割して管理されており、分割された記憶領域を論理ボリュームと呼ぶこととする。
論理ボリューム230の容量および記憶システム100内の物理的な格納位置(物理アドレス)は、記憶システム100に接続したコンピュータ等の保守端末もしくはホストコンピュータ180を用いて指定できる。各論理ボリューム230の物理アドレスは、後述するボリューム情報400に保存する。物理アドレスは、例えば、記憶システム100内の記憶装置150を識別する番号(記憶装置番号)と記憶装置内の記憶領域を一意に示す数値、例えば、記憶装置の記憶領域の先頭からの位置である。以下の説明では、物理アドレスは、記憶装置番号と記憶装置の記憶領域の先頭からの位置の組とする。以下の説明では、論理ボリュームは、1つの記憶装置の記憶領域であるが、論理アドレスと物理アドレスの変換により、1つの論理ボリュームを複数の記憶装置の記憶領域に対応づけることも可能である。
記憶システム100が保存しているデータの参照、更新は、論理ボリュームを識別する番号(論理ボリューム番号)と記憶領域を一意に示す数値、例えば、論理ボリュームの記憶領域の先頭からの位置により一意に指定することができ、以下、論理ボリューム番号と論理ボリュームの記憶領域の先頭からの位置(論理アドレス内位置)の組を論理アドレスとよぶ。
以下の説明において、複製対象のデータと複製データとの区別を容易とするために、複製対象の論理ボリューム230を正論理ボリューム、複製データである論理ボリューム230を副論理ボリュームとよぶこととする。一対の正論理ボリュームと副論理ボリュームをペアとよぶ。正論理ボリュームと副論理ボリュームの関係および状態等は後述するペア情報500に保存する。
論理ボリューム間のデータの更新順序を守るために、グループという管理単位を設ける。例えば、ホストコンピュータ180が、正論理ボリューム1のデータ1を更新し、その後、データ1を読み出し、データ1の数値を用いて、正論理ボリューム2のデータ2を更新する処理を行うとする。正論理ボリューム1から副論理ボリューム1へのデータ複製処理と、正論理ボリューム2から副論理ボリューム2へのデータ複製処理とが独立に行われる場合、副論理ボリューム1へのデータ1の複製処理より前に、副論理ボリューム2へのデータ2の複製処理が行われる場合がある。副論理ボリューム2へのデータ2の複製処理と副論理ボリューム1へのデータ1の複製処理との間に、故障等により副論理ボリューム1へのデータ1の複製処理が停止した場合、副論理ボリューム1と副論理ボリューム2のデータの整合性がなくなる。このような場合にも副論理ボリューム1と副論理ボリューム2のデータの整合性を保つために、データの更新順序を守る必要のある論理ボリュームは、同じグループに登録し、データの更新毎に、後述するグループ情報600の更新番号を割り当て、更新番号順に、副論理ボリュームに複製処理を行う。更新番号の代わりに更新時刻を用いてもよい。例えば、図1では、正記憶システム100Aの論理ボリューム(DATA1)と論理ボリューム(DATA2)がグループ1を構成する。さらに、論理ボリューム(DATA1)の複製である論理ボリューム(data1)と論理ボリューム(DATA2)の複製である論理ボリューム(data2)は、副記憶システム100C内でグループ1を構成する。同様に、論理ボリューム(DATA1)の複製である論理ボリューム(COPY1)と論理ボリューム(DATA2)の複製である論理ボリューム(COPY2)は、副記憶システム100B内でグループ1を構成する。
データ複製対象である正論理ボリューム(DATA1、DATA2)のデータを更新する場合、副論理ボリューム(COPY1、COPY2)のデータを更新するために、正記憶システム100Aは、後述するジャーナルを作成し、正記憶システム100A内の論理ボリュームに保存する。本実施例の説明では、グループ毎にジャーナルのみを保存する論理ボリューム(以下、ジャーナル論理ボリュームとよぶ)を割り当てる。図1では、グループ1のジャーナル論理ボリュームは、論理ボリューム(JNL1)である。
同様に、副記憶システム100Cの副論理ボリューム(data1、data2)のデータを更新する場合、副記憶システム100Cは、後述するジャーナルを作成し、副記憶システム100C内のジャーナル論理ボリュームに保存する。図1では、グループ1のジャーナル論理ボリュームは、論理ボリューム(Jnl1)である。
副記憶システム100Bのグループにもジャーナル論理ボリュームを割り当てる。ジャーナル論理ボリュームは、正記憶システム100Aから副記憶システム100Bに転送したジャーナルを保存するために使用する。ジャーナルをジャーナル論理ボリュームに保存することにより、例えば、副記憶システム100Bの負荷が高い場合、ジャーナル受信時に副論理ボリューム(COPY1、COPY2)のデータ更新を行わず、暫く後、副記憶システム100Bの負荷が低い時に、副論理ボリューム(COPY1、COPY2)のデータを更新することもできる。さらに、接続線200が複数ある場合、正記憶システム100Aから副記憶システム100Bへのジャーナルの転送を多重に行い、接続線200の転送能力を有効に利用することができる。更新順番のため、副記憶システム100Bに多くのジャーナルが溜まる可能性があるが、副論理ボリュームのデータ更新に直ぐに使用できないジャーナルは、ジャーナル論理ボリュームに格納することにより問題とならない。図1では、グループ1のジャーナル論理ボリュームは、論理ボリューム(JNL2)である。
ジャーナルは、ライトデータと更新情報とから構成する。更新情報は、ライトデータを管理するための情報で、ライト命令を受信した時刻(更新時刻)、グループ番号、後述するグループ情報600の更新番号、ライト命令の論理アドレス、ライトデータのデータサイズ、ライトデータを格納したジャーナル論理ボリュームの論理アドレス等からなる。更新情報は、ライト命令を受信した時刻と更新番号のどちらか一方のみを保持してもよい。ホストコンピュータ180からのライト命令内にライト命令の作成時刻が存在する場合は、ライト命令を受信した時刻の代わりに、当該ライト命令内の作成時刻を使用してもよい。図3と図21を用いて、ジャーナルの更新情報の例を説明する。更新情報310は、1999年3月17日の22時20分10秒に受信したライト命令を記憶する。当該ライト命令は、ライトデータを論理ボリューム番号1の記憶領域の先頭から700の位置に格納する命令であり、データサイズは300である。ジャーナルのライトデータは、論理ボリューム番号4(ジャーナル論理ボリューム)の記憶領域の先頭から1500の位置から格納されている。論理ボリューム番号1の論理ボリュームはグループ1に属し、グループ1のデータ複製開始から4番目のデータ更新であることがわかる。
ジャーナル論理ボリュームは、例えば、図3に示すように、更新情報を格納する記憶領域(更新情報領域)とライトデータを格納する記憶領域(ライトデータ領域)に分割して使用する。更新情報領域は、更新情報領域の先頭から、更新番号の順に格納し、更新情報領域の終端に達すると、更新情報領域の先頭から格納する。ライトデータ領域は、ライトデータ領域の先頭からライトデータを格納し、ライトデータ領域の終端に達すると、ライトデータ領域の先頭から格納する。更新情報領域およびライトデータ領域の比は、固定値でもよいし、保守端末あるいはホストコンピュータ180により設定可能としてもよい。これらの情報は、後述するポインタ情報700内に保持する。以下の説明では、ジャーナル論理ボリュームを更新情報とライトデータの領域に分割して、ジャーナル論理ボリュームを使用するが、論理ボリュームの先頭から、ジャーナル、つまり、更新情報とライトデータを連続に格納する方式を採用してもよい。
図1を用いて、正記憶システム100Aの正論理ボリューム(DATA1)へのデータ更新を副記憶システム100Cの副論理ボリューム(data1)および副記憶システム100Bの副論理ボリューム(COPY1)に反映する動作について概説する。
(1)正記憶システム100Aは、ホストコンピュータ180から正論理ボリューム(DATA1)内のデータに対するライト命令を受信すると、後述する命令受信処理210およびリードライト処理220によって、正論理ボリューム(DATA1)内のデータ更新と、ジャーナル論理ボリューム(JNL1)へのジャーナルの保存と、副記憶システム100Cに副記憶システム100C内の副論理ボリューム(data1)の対応するデータの更新(リモートライト命令)の命令を行う(図1の270)。
(2)副記憶システム100Cは、正記憶システム100Aからのリモートライト命令を受け、後述する命令受信処理210およびリードライト処理220によって、副論理ボリューム(data1)内の対応するデータの更新と、ジャーナル論理ボリューム(Jnl1)にジャーナルの保存を行う (図1の270)。
(3)正記憶システム100Aは、リモートライト命令の応答を受けた後、ホストコンピュータにライト命令の終了を報告する。従って、正記憶システム100A内の正論理ボリューム(DATA1)と副記憶システム100C内の副論理ボリューム(data1)のデータは完全に一致する。このようなデータ複製を同期のデータ複製とよぶ。
(4)副記憶システム100Bは、後述するジャーナルリード処理240によって、正記憶システム100Aからジャーナルをリードし、リードライト処理220によって、ジャーナル論理ボリューム(JNL2)にジャーナルを保存する(図1の280)。
(5)正記憶システム100Aは、副記憶システム100Bからジャーナルリード命令を受信すると、後述する命令受信処理210およびリードライト処理220によって、ジャーナル論理ボリューム(JNL1)からジャーナルを読み出し、副記憶システム100Bに送信する(図1の280)。
(6)副記憶システム100Bは、後述するリストア処理250およびリードライト処理220によって、ポインタ情報700を用いて、更新番号の昇順に、ジャーナル論理ボリューム(JNL2)からジャーナルを読み出し、副論理ボリューム(COPY1)のデータを更新する(図1の290)。従って、正記憶システム100A内の正論理ボリューム(DATA1)と副記憶システム100B内の副論理ボリューム(COPY1)のデータは、正論理ボリューム(DATA1)の更新の暫く後には、完全に一致する。このようなデータ複製を非同期のデータ複製とよぶ。
記憶システム100の内部構造を図2に示す。記憶システム100は、1つ以上のホストアダプタ110、1つ以上のディスクアダプタ120、1つ以上のキャッシュメモリ130、1つ以上の共有メモリ140、1つ以上の記憶装置150、1つ以上のコモンパス160、1つ以上の接続線170を備えて構成される。ホストアダプタ110、ディスクアダプタ120、キャッシュメモリ130、共有メモリ140はコモンパス160により相互間が接続されている。コモンパス160は、コモンパス160の障害時のために2重化されてもよい。ディスクアダプタ120と記憶装置150とは接続線170によって接続されている。また、図示していないが、記憶システム100の設定、監視、保守等を行うための保守端末が全てのホストアダプタ110とディスクアダプタ120とに専用線を用いて接続されている。
ホストアダプタ110は、ホストコンピュータ180とキャッシュメモリ130間のデータ転送を制御する。ホストアダプタ110は、接続線190および接続線200によりホストコンピュータ180もしくは、他の記憶システム100と接続される。ディスクアダプタ120は、キャッシュメモリ130と記憶装置150との間のデータ転送を制御する。キャッシュメモリ130は、ホストコンピュータ180から受信したデータあるいは記憶装置150から読み出したデータを一時的に保持するメモリである。共有メモリ140は、記憶システム100内の全てのホストアダプタ110とディスクアダプタ120とが共有するメモリである。
ボリューム情報400は、論理ボリュームを管理する情報であり、ボリューム状態、フォーマット形式、容量、同期ペア番号、非同期ペア番号、物理アドレスを保持する。図4にボリューム情報400の一例を示す。ボリューム情報400は、ホストアダプタ110およびディスクアダプタ120から参照可能なメモリ、例えば共有メモリ140に保存される。ボリューム状態は、“正常”、“正”、“副”、“異常”、“未使用”のいずれかを保持する。ボリューム状態が“正常”もしくは“正”である論理ボリューム230は、ホストコンピュータ180から正常にアクセス可能な論理ボリューム230であることを示す。ボリューム状態が“副”である論理ボリューム230は、ホストコンピュータ180からのアクセスを許可してもよい。ボリューム状態が“正”である論理ボリューム230は、データの複製が行われている論理ボリューム230であることを示す。ボリューム状態が“副”である論理ボリューム230は、複製に使用されている論理ボリューム230であることを示す。ボリューム状態が“異常”の論理ボリューム230は、障害により正常にアクセスできない論理ボリューム230であることを示す。障害とは、例えば、論理ボリューム230を保持する記憶装置150の故障である。ボリューム状態が“未使用”の論理ボリューム230は、使用していない論理ボリューム230であることを示す。同期ペア番号および非同期ペア番号は、ボリューム状態が“正”もしくは“副”の場合に有効であり、後述するペア情報500を特定するためのペア番号を保持する。保持するペア番号が存在しない場合は、無効値(例えば、“0”)を設定する。図4に示す例では、論理ボリューム1は、フォーマット形式がOPEN3、容量が3GB、記憶装置番号1の記憶装置150の記憶領域の先頭からデータが格納されており、アクセス可能であり、データの複製対象であることを示す。
ペア情報500は、ペアを管理する情報であり、ペア状態、正記憶システム番号、正論理ボリューム番号、副記憶システム番号、副論理ボリューム番号、グループ番号、コピー済みアドレスを保持する。図5にペア情報500の一例を示す。ペア情報500は、ホストアダプタ110およびディスクアダプタ120から参照可能なメモリ、例えば共有メモリ140に保存する。ペア状態は、“正常”、“異常”、“未使用”,“コピー未”、“コピー中”のいずれかを保持する。ペア状態が“正常”の場合は、正論理ボリューム230のデータ複製が正常に行われていることを示す。ペア状態が“異常”の場合は、障害により正論理ボリューム230の複製が行えないことを示す。障害とは、例えば、接続パス200の断線などである。ペア状態が“未使用”の場合は、当該ペア番号の情報は有効でないことを示す。ペア状態が“コピー中”の場合は、後述する初期コピー処理中であることを示す。ペア状態が“コピー未”の場合は、後述する初期コピー処理が未だ行われていないことを示す。正記憶システム番号は、正論理ボリューム230を保持する正記憶システム100Aを特定する番号を保持する。副記憶システム番号は、副論理ボリューム230を保持する副記憶システム100Bを特定する番号を保持する。グループ番号は、正記憶システムの場合は、正論理ボリュームが属するグループ番号を保持する。副記憶システムの場合は、副論理ボリュームが属するグループ番号を保持する。コピー済みアドレスは、後述する初期コピー処理にて説明する。図5のペア情報1は、データ複製対象が正記憶システムA内の正論理ボリューム1であり、データ複製先が副記憶システムB内の副論理ボリューム1であり、データ複製処理が行われていることを示す。
グループ情報600は、グループ状態、ペア集合、ジャーナル論理ボリューム番号、更新番号、複製種類、相手記憶システム番号、相手グループ番号を保持する。図6にグループ情報600の一例を示す。グループ情報600は、ホストアダプタ110およびディスクアダプタ120から参照可能なメモリ、例えば共有メモリ140に保存する。グループ状態は、“正常”、“異常”、“未使用”、“停止”、“準備中”のいずれかを保持する。グループ状態が“正常”の場合は、ペア集合の少なくともひとつのペア状態が“正常”であることを示す。グループ状態が“異常”の場合は、ペア集合の全てのペア状態が“異常”であることを示す。グループ状態が“未使用”の場合は、当該グループ番号の情報は有効でないことを示す。正記憶システムの場合、グループ状態の“停止”は、ジャーナルの作成を一時的に行わないことを示す。これは、グループ状態が“正常”の場合に、ジャーナルの作成を一時的に停止したい場合に使用する。副記憶システムの場合、グループ状態の“停止”は、ジャーナルリード処理を一時的に行わないことを示す。これは、グループ状態が“正常”の場合に、正記憶システムからジャーナルをリードすることを一時的に停止したい場合に使用する。グループ状態が“準備中”の場合は、後述するデータ複製開始処理中であることを示す。正記憶システムの場合、ペア集合はグループ番号が示すグループに属する全ての正論理ボリュームのペア番号を保持する。副記憶システムの場合、ペア集合はグループ番号が示すグループに属する全ての副論理ボリュームのペア番号を保持する。ジャーナル論理ボリューム番号は、当該グループ番号のグループに属するジャーナル論理ボリューム番号を示す。当該グループ番号のグループに属するジャーナル論理ボリュームが存在しない場合は、無効値(例えば、“0”)を設定する。更新番号は、初期値は1であり、ジャーナルを作成した場合に変更する。更新番号は、ジャーナルの更新情報に記憶し、副記憶システム100Bにて、データの更新順を守るために使用する。複製種類は、“同期”、“非同期”のいずれかを保持する。複製種類が“同期”の場合、正論理ボリュームと副論理ボリュームの更新は同時に行われる。従って、正論理ボリュームのデータと副論理ボリュームのデータは完全に一致する。複製種類が“非同期”の場合、副論理ボリュームの更新は、正論理ボリュームの更新の後に行われる。従って、正論理ボリュームのデータと副論理ボリュームのデータは、一致していない(副論理ボリュームのデータは正論理ボリュームの古いデータ)場合があり、暫く後、副論理ボリュームのデータは正論理ボリュームのデータと完全に一致する。正記憶システムの場合、相手記憶システム番号は、グループに属するペアの副論理ボリュームを保持する副記憶システム番号を保持する。副記憶システムの場合、相手記憶システム番号は、グループに属するペアの正論理ボリュームを保持する正記憶システム番号を保持する。正記憶システムの場合、相手グループ番号は、グループに属するペアの副論理ボリュームが属するグループ番号を保持する。副記憶システムの場合、相手グループ番号は、グループに属するペアの正論理ボリュームが属するグループ番号を保持する。例えば、図6のグループ情報1は、ペア情報1,2から、正論理ボリューム1,2と、ジャーナル論理ボリューム4から構成されており、正常にデータの複製処理(非同期)が行われていることを示す。
ポインタ情報700は、グループ毎に保持し、当該グループのジャーナル論理ボリュームを管理する情報であり、更新情報領域先頭アドレス、ライトデータ領域先頭アドレス、更新情報最新アドレス、更新情報最古アドレス、ライトデータ最新アドレス、ライトデータ最古アドレス、リード開始アドレス、リトライ開始アドレスを保持する。図7および図8にポインタ情報700の一例を示す。更新情報領域先頭アドレスは、ジャーナル論理ボリュームの更新情報を格納する記憶領域(更新情報領域)の先頭の論理アドレスを保持する。ライトデータ領域先頭アドレスは、ジャーナル論理ボリュームのライトデータを格納する記憶領域(ライトデータ領域)の先頭の論理アドレスを保持する。更新情報最新アドレスは、次にジャーナルを格納する場合に、更新情報の保存に使用する先頭の論理アドレスを保持する。更新情報最古アドレスは、最古の(更新番号が小さい)ジャーナルの更新情報を保存する先頭の論理アドレスを保持する。ライトデータ最新アドレスは、次にジャーナルを格納する場合に、ライトデータの保存に使用する先頭の論理アドレスを保持する。ライトデータ最古アドレスは、最古の(更新番号が小さい)ジャーナルのライトデータを保存する先頭の論理アドレスを保持する。リード開始アドレスとリトライ開始アドレスは、正記憶システム100Aのみで使用し、後述するジャーナルリード受信処理にて使用する。図7および図8のポインタ情報700の例では、ジャーナルの更新情報を保存する領域(更新情報領域)は、論理ボリューム4の記憶領域の先頭から699の位置までであり、ジャーナルのライトデータを保存する領域(ライトデータ領域)は、論理ボリューム4の記憶領域の700の位置から2699の位置までである。ジャーナルの更新情報は、論理ボリューム4の記憶領域の200の位置から499の位置まで保存されており、次のジャーナルの更新情報は、論理ボリューム4の記憶領域の500の位置から保存する。ジャーナルのライトデータは論理ボリューム4の記憶領域の1300の位置から2199の位置まで保存されており、次のジャーナルのライトデータは、論理ボリューム4の記憶領域の2200の位置から保存する。
下記の説明では、1つのグループに1つのジャーナル論理ボリュームを割り当てる形態で説明しているが、1つのグループに複数のジャーナル論理ボリュームを割り当ててもよい。例えば、1つのグループに2つのジャーナル論理ボリュームを割り当て、ジャーナル論理ボリューム毎にポインタ情報700を設け、交互にジャーナルを格納する。これにより、ジャーナルの記憶装置150への書き込みが分散でき、性能の向上が見込める。さらに、ジャーナルのリード性能も向上する。別の例としては、1つのグループに2つのジャーナル論理ボリュームを割り当て、通常は、1つのジャーナル論理ボリュームのみを使用する。もう一方のジャーナル論理ボリュームは、使用しているジャーナル論理ボリュームの性能が低下した場合もしくは故障して使用できない場合に使用する。性能が低下する例は、ジャーナル論理ボリュームが、複数の記憶装置150から構成され、RAID方式でデータを保持しており、RAIDを構成する記憶装置150の一台が故障中の場合である。
なお、上述のボリューム情報400、ペア情報500、グループ情報600、及びポインタ情報700等は、共有メモリ140に格納されていることが好ましい。しかし、本実施例は、この場合に限られず、これらの情報を、キャッシュメモリ130、ホストアダプタ110、ディスクアダプタ120、その他記憶装置150に集中して格納または分散して格納することもよい。
次に、正記憶システム100Aから副記憶システム100Bおよび副記憶システム100Cに対して、データ複製を開始する手順(データ複製開始処理)を図9、図10を用いて説明する。
(1)グループ作成について説明する(ステップ900)。ユーザは、保守端末あるいはホストコンピュータ180を使用して、正記憶システム100Aのグループ情報600を参照し、グループ状態が“未使用”のグループ番号Aを取得する。同様に、副記憶システム100B(もしくは副記憶システム100C)のグループ番号Bを取得する。ユーザは、正記憶システム100Aに、保守端末あるいはホストコンピュータ180を使用して、グループ作成指示を行う。グループ作成指示は、指示対象グループ番号A、相手記憶システム番号B、相手グループ番号B、複製種類からなる。
グループ作成指示を受けて、正記憶システム100Aは、グループ情報600を変更する。具体的には、正記憶システム100Aは、指示対象グループ番号Aのグループ情報600のグループ状態を“準備中”に、相手記憶システム番号を、指示された相手記憶システム番号Bに、相手グループ番号を、指示された相手グループ番号Bに、複製種類を指示された複製種類に変更する。グループ情報600の更新番号を1(初期値)に設定する。さらに、正記憶システム100Aは、相手記憶システム番号Bの記憶システムに対して、グループ作成指示を行う。グループ作成指示の指示対象グループ番号は相手グループ番号B、相手記憶システム番号は正記憶システム100Aの記憶システム番号、相手グループ番号は指示対象グループ番号A、複製種類は指示された複製種類とする。
(2)ペア登録について説明する(ステップ910)。ユーザは、保守端末あるいはホストコンピュータ180を使用して、データ複製対象を示す情報とデータ複製先を示す情報を指定し、ペア登録指示を正記憶システム100Aに行う。データ複製対象を示す情報は、データ複製対象のグループ番号Aと正論理ボリューム番号Aである。データ複製先を示す情報は、複製データを保存する副記憶システム100B内の副論理ボリューム番号Bである。
前記ペア登録指示を受けて、正記憶システム100Aは、ペア情報500からペア情報が“未使用”のペア番号を取得し、ペア状態を“コピー未”に、正記憶システム番号に正記憶システム100Aを示す正記憶システム番号Aを、正論理ボリューム番号に指示された正論理ボリューム番号Aを、副記憶システム番号にグループ情報600のグループ番号Aの相手記憶システム番号を、副論理ボリューム番号に指示された副論理ボリューム番号Bを、グループ番号に指示されたグループ番号Aを設定する。指示されたグループ番号Aのグループ情報600のペア集合に前記取得したペア番号を追加し、正論理ボリューム番号Aのボリューム状態を“正”に変更する。
正記憶システム100Aは、指示されたグループ番号Aのグループ情報600の相手記憶システムに対して、正記憶システム100Aを示す正記憶システム番号A、グループ番号Aのグループ情報600の相手グループ番号B、正論理ボリューム番号A、および副論理ボリューム番号Bを通知し、ペア登録を命令する。副記憶システム100Bは、ペア情報500から未使用のペア番号を取得し、ペア状態を“コピー未”に、正記憶システム番号に通知された正記憶システム番号Aを、正論理ボリューム番号に通知された正論理ボリューム番号Aを、副記憶システム番号に副記憶システム番号Bを、副論理ボリューム番号に通知された副論理ボリューム番号Bを、グループ番号に通知されたグループ番号Bを設定する。さらに、副記憶システム100Bは、指示されたグループ番号Bのグループ情報のペア集合に前記取得したペア番号を追加し、副論理ボリューム番号Bのボリューム状態を“副”に変更する。
以上の動作を全てのデータ複製対象のペアに対して行う。
前記の説明では、論理ボリュームのグループへの登録と、論理ボリュームのペアの設定を同時に行う処理を説明したが、それぞれ個別に行ってもよい。
(3)ジャーナル論理ボリューム登録について説明する(ステップ920)。ユーザは、保守端末あるいはホストコンピュータ180を使用して、ジャーナルの保存に使用する論理ボリューム(ジャーナル論理ボリューム)をグループに登録する指示(ジャーナル論理ボリューム登録指示)を正記憶システム100Aに行う。ジャーナル論理ボリューム登録指示は、グループ番号と論理ボリューム番号からなる。
正記憶システム100Aは、指示されたグループ番号のグループ情報600のジャーナル論理ボリューム番号に指示された論理ボリューム番号を登録する。さらに、当該論理ボリュームのボリューム情報400のボリューム状態を“正常”に設定する。
同様に、ユーザは、保守端末あるいはホストコンピュータ180を使用して、副記憶システム100Bのボリューム情報400を参照し、副記憶システム100B、グループ番号B、ジャーナル論理ボリュームとして使用する論理ボリューム番号を指定し、ジャーナル論理ボリューム登録を正記憶システム100Aに行う。正記憶システム100Aは、ジャーナル論理ボリューム登録指示を副記憶システム100Bに転送する。副記憶システム100Bは、指示されたグループ番号Bのグループ情報600のジャーナル論理ボリューム番号に指示された論理ボリューム番号を登録する。さらに当該論理ボリュームのボリューム情報400のボリューム状態を“正常”に設定する。
ユーザは、副記憶システム100Bの保守端末あるいは副記憶システム100Bに接続したホストコンピュータ180を使用して、グループ番号、ジャーナル論理ボリュームとして使用する論理ボリューム番号を指定し、ジャーナル論理ボリューム登録指示を副記憶システム100Bに行ってもよい。副記憶システム100Cに対しても同様に行う。
以上の動作を全てのジャーナル論理ボリュームとして使用する論理ボリュームに対して行う。ステップ910とステップ920の順は逆でもよい。
(4)データ複製処理開始について説明する(ステップ930)。ユーザは、保守端末あるいはホストコンピュータ180を使用して、データ複製処理を開始する複製種類が同期のグループ番号Cと複製種類が非同期のグループ番号Bを指定し、データ複製処理の開始を正記憶システム100Aに指示する。正記憶システム100Aは、グループBに属する全てのペア情報400のコピー済みアドレスを0に設定する。
正記憶システム100Aは、グループ番号Bのグループ情報600の相手記憶システム100Bに対し、グループ番号Bのグループ情報600の相手グループ番号のグループ状態を“正常”に変更する事と後述するジャーナルリード処理およびリストア処理の開始を指示する。正記憶システム100Aは、グループ番号Cのグループ情報600の相手記憶システム100Cに対し、グループ番号Cのグループ情報600の相手グループ番号のグループ状態を“正常”に変更する事を指示する。
正記憶システム100Aは、グループ番号Cのグループ状態とグループ番号Bのグループ状態を“正常”に変更し、後述する初期コピー処理を開始する。
前記の説明では、同期のデータ複製処理と非同期のデータ複製処理の開始を同時に指示していたが、それぞれ個別に行ってもよい。
(5)初期コピー終了について説明する(ステップ940)。
初期コピーが終了すると、正記憶システム100Aは、初期コピー処理の終了を副記憶システム100Bおよび副記憶システム100Cに通知する。副記憶システム100Bおよび副記憶システム100Cは、グループBおよびグループCに属する全ての副論理ボリュームのペア状態を“正常”に変更する。
図10は、初期コピー処理のフローチャートである。初期コピー処理は、データ複製対象の正論理ボリュームの全記憶領域に対し、ペア情報500のコピー済みアドレスを用い、記憶領域の先頭から順に、単位サイズ毎にジャーナルを作成する。コピー済みアドレスは、初期値は0であり、ジャーナルの作成毎に、作成したデータ量を加算する。論理ボリュームの記憶領域の先頭から、コピー済みアドレスの一つ前までは、初期コピー処理にてジャーナルは作成済みである。初期コピー処理を行うことにより、正論理ボリュームの更新されていないデータを副論理ボリュームに転送することが可能となる。以下の説明では、正記憶システム100A内のホストアダプタAが処理を行うように記載しているが、ディスクアダプタ120が行ってもよい。
(1)正記憶システム100A内のホストアダプタAは、処理対象の非同期複製のグループBに属するペアでペア状態が“コピー未”である正論理ボリュームAを得、ペアの状態を“コピー中”に変更し、以下の処理を繰り返す(ステップ1010、1020)。正論理ボリュームAが存在しない場合は、処理を終了する(ステップ1030)。
(2)ステップ1020にて、論理ボリュームAが存在した場合、ホストアダプタAは、単位サイズ(例えば、1MB)のデータを対象にジャーナルを作成する。ジャーナル作成処理は後述する(ステップ1040)。
(3)ホストアダプタAは、正論理ボリュームAの同期ペアである副論理ボリュームのデータを更新するために、同期ペアである副論理ボリュームを保持する副記憶システムCにリモートライト命令を送信する。リモートライト命令は、ライト命令、論理アドレス(論理ボリュームは同期ペア番号の副論理ボリュームC、論理ボリューム内位置はコピー済みアドレス)、データ量(単位サイズ)、ステップ1040で使用した更新番号を含んでいる。なお、更新番号の代わりにジャーナルを作成した時刻でもよい(ステップ1045)。リモートライト命令を受信した場合の副記憶システムCの動作は後述する命令受信処理210にて説明する。
(4)ホストアダプタAは、リモートライト命令の応答を受信後、コピー済みアドレスに作成したジャーナルのデータサイズを加算する(ステップ1050)。
(5)コピー済みアドレスが、正論理ボリュームAの容量に達するまで、上記処理を繰り返す(ステップ1060)。コピー済みアドレスが、正論理ボリュームAの容量と等しくなった場合、正論理ボリュームAの全記憶領域に対してジャーナルを作成したため、ペア状態を“正常”に更新し、他の正論理ボリュームの処理を開始する(ステップ1070)。
前記のフローチャートでは、論理ボリュームを1つずつ対象とするように説明したが、複数の論理ボリュームを同時に処理してもよい。
図11は命令受信処理210の処理を説明する図、図12は命令受信処理210のフローチャート、図13はジャーナル作成処理のフローチャート、図23はリモートライト命令受信処理のフローチャート、図24はジャーナル複製処理のフローチャートである。以下、これらを用いて、正記憶システム100Aが、ホストコンピュータ180からデータ複製対象の論理ボリューム230にライト命令を受信した場合の動作について説明する。
(1)記憶システム100A内のホストアダプタAは、ホストコンピュータからアクセス命令を受信する。アクセス命令は、リード、ライト、後述するジャーナルリード等の命令、命令対象の論理アドレス、データ量等を含んでいる。以下、アクセス命令内の論理アドレスを論理アドレスA、論理ボリューム番号を論理ボリュームA、論理ボリューム内位置を論理ボリューム内位置A、データ量をデータ量Aとする(ステップ1200)。
(2)ホストアダプタAは、アクセス命令を調べる(ステップ1210、1215、1228)。ステップ1215の調べで、アクセス命令がジャーナルリード命令の場合は、後述するジャーナルリード受信処理を行う(ステップ1220)。アクセス命令が、リモートライト命令の場合は、後述するリモートライト命令受信処理を行う(ステップ2300)。それら以外の命令、例えば、リード命令の場合は、従来技術と同じようにリード処理を行う(ステップ1230)。
(3)ステップ1210の調べで、アクセス命令がライト命令の場合は、論理ボリュームAのボリューム情報400を参照し、ボリューム状態を調べる(ステップ1240)。ステップ1240の調べで、論理ボリュームAのボリューム状態が、“正常”もしくは“正”以外の場合は、論理ボリュームAへのアクセスは不可能なため、ホストコンピュータ180に異常終了を報告する(ステップ1245)。
(4)ステップ1240の調べで、論理ボリュームAのボリューム状態が、“正常”、“正”のいずれかの場合は、ホストアダプタAは、キャッシュメモリ130を確保し、ホストコンピュータ180にデータ受信の準備ができたことを通知する。ホストコンピュータ180は、その通知を受け、ライトデータを正記憶システム100Aに送信する。ホストアダプタAは、ライトデータを受信し、当該キャッシュメモリ130に保存する(ステップ1250、図11の1100)。
(5)ホストアダプタAは、論理ボリュームAのボリューム情報、ペア情報、グループ情報を参照し、論理ボリュームAが非同期複製対象かどうかを調べる(ステップ1260)。ステップ1260の調べで、論理ボリュームAのボリューム状態が“正”かつ、論理ボリュームAの非同期ペア番号のペアのペア状態が“正常”かつ、当該ペアが属するグループのグループ状態が“正常”である場合は、論理ボリュームAが非同期複製対象であるため、後述するジャーナル作成処理を行う(ステップ1265)。
(6)ホストアダプタAは、論理ボリュームAのボリューム情報、ペア情報、グループ情報を参照し、論理ボリュームAが同期複製対象かどうかを調べる(ステップ1267)。ステップ1267の調べで、論理ボリュームAのボリューム状態が“正”かつ、論理ボリュームAの同期ペア番号のペアのペア状態が“正常”かつ、当該ペアが属するグループのグループ状態が“正常”である場合は、論理ボリュームAが同期複製対象であるため、同期ペア番号のペアの副記憶システムCに、ホストコンピュータ180から受信したライトデータを保存するリモートライト命令を送信する(図11の1185)。リモートライト命令は、ライト命令、論理アドレス(論理ボリューム番号は、同期ペア番号のペアの副論理ボリュームC、論理ボリューム内位置は論理ボリューム内位置A)、データ量A、ステップ1265で使用した更新番号を含んでいる。なお、更新番号の代わりにホストコンピュータ180からライト命令を受信した時刻でもよい。ステップ1267の調べで、同期複製対象の論理ボリュームでない場合、もしくは、ステップ1268のジャーナル作成処理が成功しなかった場合は、更新番号に無効を示す数値“0”を設定する。
(7)ステップ1267もしくは、ステップ1268のリモートライト命令の応答を受信した後、ホストアダプタAは、ディスクアダプタ120にライトデータを論理アドレスAに対応する記憶装置150の記憶領域に書き込むことを命令し(図11の1160)、ホストコンピュータ180に終了報告する(ステップ1270、1280)。その後、当該ディスクアダプタ120は、リードライト処理により、前記記憶領域にライトデータを保存する(図11の1170)。
次に、ジャーナル作成処理について説明する。
(1)ホストアダプタAは、ジャーナル論理ボリュームのボリューム状態を調べる(ステップ1310)。ステップ1310の調べで、ジャーナル論理ボリュームのボリューム状態が、“異常”の場合は、ジャーナル論理ボリュームにジャーナルの格納が不可能なため、グループ状態を“異常”に変更し、処理を終了する(ステップ1315)。この場合、ジャーナル論理ボリュームを正常な論理ボリュームに変更する等を行う。
(2)ステップ1310の調べで、ジャーナル論理ボリュームが正常である場合、ジャーナル作成処理を継続する。ジャーナル作成処理は、初期コピー処理内の処理であるか、命令受信処理内の処理であるかによって処理が異なる(ステップ1320)。ジャーナル作成処理が命令受信処理内の処理の場合は、ステップ1330からの処理を行う。ジャーナル作成処理が初期コピー処理内の場合は、ステップ1370からの処理を行う。
(3)ジャーナル作成処理が命令受信処理内の処理の場合、ホストアダプタAは、ライト対象の論理アドレスAが、初期コピー処理の処理対象となったかを調べる(ステップ1330)。論理ボリュームAのペア状態が“コピー未”の場合は、後に初期コピー処理にてジャーナル作成処理が行われるため、ジャーナルを作成せずに処理を終了する(ステップ1335)。論理ボリュームAのペア状態が“コピー中”の場合は、コピー済みアドレスが論理アドレス内位置Aと等しいもしくは、小さい場合は、後に初期コピー処理にてジャーナル作成処理が行われるため、ジャーナルを作成せずに処理を終了する(ステップ1335)。上記以外、つまり、論理ボリュームAのペア状態が“コピー中”かつコピー済みアドレスが論理アドレス内位置Aより大きい場合もしくは、論理ボリュームAのペア状態が“正常”の場合は、既に初期コピー処理が完了しているため、ジャーナル作成処理を継続する。
(4)次に、ホストアダプタAは、ジャーナルがジャーナル論理ボリュームに格納可能であるかを調べる。ポインタ情報700を用い、更新情報領域の未使用領域の有無を調べる(ステップ1340)。ポインタ情報700の更新情報最新アドレスと更新情報最古アドレスが等しい場合は、更新情報領域に未使用領域が存在しないため、ジャーナル作成失敗として処理を終了する(ステップ1390)。
ステップ1340の調べで、更新情報領域に未使用領域が存在する場合は、ポインタ情報700を用い、ライトデータ領域にライトデータが格納できるかを調べる(ステップ1345)。ライトデータ最古アドレスが、ライトデータ最新アドレスとライトデータ最新アドレスにデータ量Aを足した数値の範囲にある場合、当該ライトデータをライトデータ領域に格納できないため、ジャーナル作成失敗として処理を終了する(ステップ1390)。
(5)ジャーナルが格納可能である場合、ホストアダプタAは、更新番号と更新情報を格納する論理アドレスとライトデータを格納する論理アドレスを取得し、更新情報をキャッシュメモリ130内に作成する。更新番号は、対象グループのグループ情報600から取得し、1を足した数値をグループ情報600の更新番号に設定する。更新情報を格納する論理アドレスは、ポインタ情報700の更新情報最新アドレスであり、更新情報のサイズを足した数値をポインタ情報700の更新情報最新アドレスに設定する。ライトデータを格納する論理アドレスは、ポインタ情報700のライトデータ最新アドレスであり、ライトデータ最新アドレスにデータ量Aを足した数値をポインタ情報700のライトデータ最新アドレスに設定する。
ホストアダプタAは、上記取得した数値とグループ番号、ライト命令を受信した時刻、ライト命令内の論理アドレスA、データ量Aを更新情報に設定する(ステップ1350、図11の1120)。例えば、図6に示すグループ情報600、図7に示すポインタ情報700の状態で、グループ1に属する正論理ボリューム1の記憶領域の先頭から800の位置にデータサイズ100のライト命令を受信した場合、図22に示す更新情報を作成する。グループ情報の更新番号は6、ポインタ情報の更新情報最新アドレスは600(更新情報のサイズは100とする)、ライトデータ最新アドレスは2300となる。
(6)ホストアダプタAは、ディスクアダプタ120に、ジャーナルの更新情報とライトデータを記憶装置150に書き込むことを命令し、正常終了する(ステップ1360、図11の1130、1140、1150)。
(7)ジャーナル作成処理が、初期コピー処理内の処理の場合は、ステップ1370からの処理を行う。ホストアダプタAは、ジャーナルが作成可能であるを調べる。ポインタ情報700を用い、更新情報領域の未使用領域の有無を調べる(ステップ1370)。ポインタ情報700の更新情報最新アドレスと更新情報最古アドレスが等しい場合は、更新情報領域に未使用領域が存在しないため、ジャーナル作成失敗として処理を終了する(ステップ1390)。本実施例で示した初期コピー処理の場合、ジャーナルのライトデータは、正論理ボリュームからリードし、ライトデータ領域は使用しないため、ライトデータ領域の未使用領域の確認は不要である。
(8)ステップ1370の調べで、ジャーナルが作成可能である場合、ホストアダプタAは、更新情報をキャッシュメモリ130内に作成する。更新情報のライト命令を受信した時刻は、更新番号を取得した時刻を設定する。グループ番号は、論理ボリュームの非同期ペア番号が属するグループ番号を設定する。更新番号は、グループ情報600から取得し、1を足した数値をグループ情報600の更新番号に設定する。ライト命令の論理アドレスとライドデータを格納したジャーナル論理ボリュームの論理アドレスは、初期コピー処理対象の論理アドレス(ペア情報のコピー済みアドレス)を設定する。ライトデータのデータサイズは、初期コピー処理の単位サイズを設定する。更新情報を格納する論理アドレスは、ポインタ情報700の更新情報最新アドレスの位置であり、更新情報のサイズを足した数値をポインタ情報700の更新情報最新アドレスに設定する(ステップ1380、図11の1120)。
(9)ホストアダプタAは、ディスクアダプタ120に、更新情報を記憶装置150に書き込むことを命令し、正常終了する(ステップ1385、図11の1140、1150)。
上記説明では、更新情報をキャッシュメモリ130内に存在するように記載しているが、共有メモリ140内等に格納してもよい。
ライトデータの記憶装置150への書き込みは、非同期、つまり、ステップ1360およびステップ1385の直後でなくともよい。ただし、ホストコンピュータ180が、論理アドレスAにライト命令を再び行った場合、ジャーナルのライトデータが上書きされるため、ホストコンピュータ180からライトデータを受信する前に、ジャーナルのライトデータは、更新情報のジャーナル論理ボリュームの論理アドレスに対応する記憶装置150に書き込む必要がある。もしくは、別のキャッシュメモリに退避し、後に更新情報のジャーナル論理ボリュームの論理アドレスに対応する記憶装置150に書き込みを行ってもよい。
前述したジャーナル作成処理では、ジャーナルを記憶装置150に保存するとしていたが、ジャーナル用に予め一定量のキャッシュメモリ130を用意しておき、当該キャッシュメモリを全て使用してから、記憶装置150にジャーナルを保存してもよい。ジャーナル用のキャッシュメモリ量は、例えば、保守端末から指定する。
次に、副記憶システム100CのホストアダプタCが、正記憶システム100Aからリモートライト命令を受信した場合の処理(リモートライト命令受信処理)について説明する。リモートライト命令は、ライト命令、論理アドレス(副論理ボリュームC、論理ボリューム内位置A)、データ量A、更新番号を含んでいる。
(1)副記憶システム100C内のホストアダプタCは、論理ボリュームCのボリューム情報400を参照し、副論理ボリュームCのボリューム状態を調べる(ステップ2310)。ステップ2310の調べで、論理ボリュームCのボリューム状態が、“副”以外の場合は、論理ボリュームCへのアクセスは不可能なため、正記憶システム100Aに異常終了を報告する(ステップ2315)。
(2)ステップ2310の調べで、論理ボリュームCのボリューム状態が、“副”の場合は、ホストアダプタCは、キャッシュメモリ130を確保し、正記憶システム100Aにデータ受信の準備ができたことを通知する。正記憶システム100Aは、その通知を受け、ライトデータを副記憶システム100Cに送信する。ホストアダプタCは、ライトデータを受信し、当該キャッシュメモリ130に保存する(ステップ2320)。
(3)リモートライト命令に含まれる更新番号を調べ、無効値“0”の場合は、正記憶システム100Aにてジャーナルが作成されていないため、ステップ2400のジャーナル複製処理を行わない(ステップ2330)。
(4)リモートライト命令に含まれる更新番号を調べ、有効値(“0”以外)の場合は、ジャーナル論理ボリュームのボリューム状態を調べる。ジャーナル論理ボリュームのボリューム状態が“異常”の場合は、ジャーナル論理ボリュームにジャーナルの格納が不可能なため、ステップ2400のジャーナル複製処理を行わない(ステップ2340)。
(5)ステップ2340の調べで、ジャーナル論理ボリュームのボリューム状態が“正常”の場合は、後述するジャーナル複製処理2400を行う。
(6)ホストアダプタCは、ディスクアダプタ120にライトデータをリモートライト命令の論理アドレスに対応する記憶装置150の記憶領域に書き込むことを命令し、正記憶システムAに終了報告する(ステップ2360、2370)。その後、当該ディスクアダプタ120は、リードライト処理により、前記憶領域にライトデータを保存する。
次に、ジャーナル複製処理2400について説明する。
(1)ホストアダプタCは、ジャーナルがジャーナル論理ボリュームに格納可能であるを調べる。ポインタ情報700を用い、更新情報領域の未使用領域の有無を調べる(ステップ2410)。ポインタ情報700の更新情報最新アドレスと更新情報最古アドレスが等しい場合は、更新情報領域に未使用領域が存在しないため、最古のジャーナルの記憶領域を開放し、更新情報領域を確保する(ステップ2415)。次に、ポインタ情報700を用い、ライトデータ領域にライトデータが格納できるかを調べる(ステップ2420)。ライトデータ最古アドレスが、ライトデータ最新アドレスとライトデータ最新アドレスにデータ量Aを足した数値の範囲にある場合、当該ライトデータをライトデータ領域に格納できないため、最古のジャーナルからジャーナルの記憶領域を開放し、ライトデータを格納できるようにする(ステップ2425)。
(2)ホストアダプタCは、更新情報をキャッシュメモリ130内に作成する。更新情報のライト命令を受信した時刻は、リモートライト命令内の更新時刻を設定する。グループ番号は、論理ボリュームCの同期ペア番号のペアが属するぐうループのグループ番号を設定する。更新番号は、リモートライト命令内の更新番号を設定する。ライト命令の論理アドレスは、リモートライト命令内の論理アドレスを設定する。ライトデータのデータサイズは、リモートライト命令内のデータ量Aを設定する。ライドデータを格納したジャーナル論理ボリュームの論理アドレスは、ポインタ情報700のライトデータ最新アドレスであり、ライトデータ最新アドレスにライトデータのサイズを足した数値をポインタ情報700のライトデータ最新アドレスに設定する。更新情報を格納する論理アドレスは、ポインタ情報700の更新情報最新アドレスであり、更新情報のサイズを足した数値をポインタ情報700の更新情報最新アドレスに設定する(ステップ2430)。
(3)ホストアダプタCは、ディスクアダプタ120に、更新情報とライトデータを記憶装置150に書き込むことを命令し、ジャーナル作成成功として処理を終了する(ステップ2440)。その後、ディスクアダプタ120は、リードライト処理により、記憶装置150に更新情報とライトデータを書き込み、キャッシュメモリ130を開放する。
このように、副記憶システムCは、古いジャーナルの記憶領域を開放し、常に新しい複数のジャーナルを保持する。
リードライト処理220は、ディスクアダプタ120が、ホストアダプタ110もしくはディスクアダプタ120から命令を受け、実施する処理である。実施する処理は、指定されたキャッシュメモリ130のデータを指定された論理アドレスに対応する記憶装置150内の記憶領域に書き込む処理、指定された論理アドレスに対応する記憶装置150内の記憶領域から指定されたキャッシュメモリ130にデータを読み込む処理等である。
図14はジャーナルリード命令を受信した正記憶システム100AのホストアダプタAの動作(ジャーナルリード受信処理)を説明する図、図15はフローチャートである。以下、これらを用いて、正記憶システム100Aが、副記憶システム100Bからジャーナルリード命令を受信した場合の動作について説明する。
(1)正記憶システム100A内のホストアダプタAは、副記憶システム100Bからアクセス命令を受信する。アクセス命令は、ジャーナルリード命令であることを示す識別子、命令対象のグループ番号、リトライ指示の有無を含んでいる。以下、アクセス命令内のグループ番号をグループ番号Aとする(ステップ1220、図14の1410)。
(2)ホストアダプタAは、グループ番号Aのグループ状態が“正常”であるかを調べる(ステップ1510)。ステップ1510の調べで、グループ状態が“正常”以外、例えば、“異常”の場合は、副記憶システム100Bにグループ状態を通知し、処理を終了する。副記憶システム100Bは、受信したグループ状態に応じて処理を行う。例えば、グループ状態が“異常”の場合は、ジャーナルリード処理を終了する(ステップ1515)。
(3)ステップ1510の調べで、グループ番号Aのグループ状態が“正常”の場合、ホストアダプタAは、ジャーナル論理ボリュームの状態を調べる(ステップ1520)。ステップ1520の調べで、ジャーナル論理ボリュームのボリューム状態が“正常”でない場合は、例えば、“異常”の場合は、グループ状態を“異常”に変更し、副記憶システム100Bにグループ状態を通知し、処理を終了する。副記憶システム100Bは、受信したグループ状態に応じて処理を行う。例えば、グループ状態が“異常”の場合は、ジャーナルリード処理を終了する(ステップ1525)。
(4)ステップ1520の調べで、ジャーナル論理ボリュームのボリューム状態が“正常”の場合は、ジャーナルリード命令がリトライ指示かを調べる(ステップ1530)。
(5)ステップ1530の調べで、ジャーナルリード命令がリトライ指示の場合、ホストアダプタAは、前回送信したジャーナルを再度、副記憶システム100Bに送信する。ホストアダプタAは、キャッシュメモリ130を確保し、ディスクアダプタに、ポインタ情報700のリトライ開始アドレスから、更新情報のサイズの情報をキャッシュメモリに読み込むことを命令する(図14の1420)。
ディスクアダプタのリードライト処理は、記憶装置150から更新情報を読み込み、キャッシュメモリ130に保存し、ホストアダプタAに通知する(図14の1430)。
ホストアダプタAは、更新情報のリード終了の通知を受け、更新情報から、ライトデータの論理アドレスおよびライトデータのサイズを取得し、キャッシュメモリ130を確保し、ディスクアダプタにライトデータをキャッシュメモリに読み込むことを命令する(ステップ1540、図14の1440)。
ディスクアダプタのリードライト処理は、記憶装置150からライトデータを読み込み、キャッシュメモリ130に保存し、ホストアダプタAに通知する(図14の1450)。
ホストアダプタAは、ライトデータのリード終了の通知を受け、更新情報とライトデータを副記憶システム100Bに送信し、ジャーナルを保持しているキャッシュメモリ130を開放し、処理を終了する(ステップ1545、図14の1460)。
(6)ステップ1530の調べで、リトライ指示でない場合、ホストアダプタAは、送信していないジャーナルが存在するかを調べ、存在すれば、ジャーナルを副記憶システム100Bに送信する。ホストアダプタAは、ポインタ情報700のリード開始アドレスと更新情報最新アドレスを比較する(ステップ1550)。
リード開始アドレスが更新情報最新アドレスと等しい場合は、全てのジャーナルを副記憶システム100Bに送信済みであるため、副記憶システム100Bに“ジャーナル無“を送信し(ステップ1560)、前回のジャーナルリード命令の時に、副記憶システム100Bに送信したジャーナルの記憶領域を開放する(ステップ1590)。
ジャーナルの記憶領域の開放処理は、ポインタ情報700の更新情報最古アドレスに、リトライ開始アドレスを設定する。更新情報最古アドレスがライトデータ領域先頭アドレスとなった場合は、更新情報最古アドレスは0とする。ポインタ情報700のライトデータ最古アドレスは、前回のジャーナルリード命令に応じて送信したライトデータのサイズを足した数値に変更する。ライトデータ最古アドレスが、ジャーナル論理ボリュームの容量以上の論理アドレスとなった場合は、ライトデータ領域先頭アドレスを減じ、補正する。
(7)ステップ1550の調べで、未送信のジャーナルが存在する場合、ホストアダプタAは、キャッシュメモリ130を確保し、ディスクアダプタにポインタ情報700のリード開始アドレスから、更新情報のサイズの情報をキャッシュメモリに読み込むことを命令する(図14の1420)。
ディスクアダプタAのリードライト処理は、記憶装置150から更新情報を読み込み、キャッシュメモリ130に保存し、ホストアダプタに通知する(図14の1430)。
ホストアダプタAは、更新情報のリード終了の通知を受け、更新情報から、ライトデータの論理アドレスおよびライトデータのサイズを取得し、キャッシュメモリ130を確保し、ディスクアダプタAにライトデータをキャッシュメモリに読み込むことを命令する(ステップ1570、図14の1440)。
ディスクアダプタAのリードライト処理は、記憶装置150からライトデータを読み込み、キャッシュメモリ130に保存し、ホストアダプタに通知する(図14の1450)。
ホストアダプタAは、ライトデータのリード終了の通知を受け、更新情報とライトデータを副記憶システム100Bに送信(ステップ1580)し、ジャーナルを保持しているキャッシュメモリ130を開放する(図14の1460)。そして、ポインタ情報700のリトライ開始アドレスにリード開始アドレスを設定し、リード開始アドレスに送信したジャーナルの更新情報サイズを足した数値を設定する。
(8)ホストアダプタAは、前回のジャーナルリード命令の処理時に、副記憶システム100Bに送信したジャーナルの記憶領域を開放する(ステップ1590)。
前述したジャーナルリード受信処理では、正記憶システム100Aは、ジャーナルを一つずつ副記憶システム100Bに送信していたが、複数同時に副記憶システム100Bに送信してもよい。1つのジャーナルリード命令で、送信するジャーナル数は、副記憶システム100Bがジャーナルリード命令内に指定してもよいし、グループ登録の際等に、ユーザが正記憶システム100Aもしくは、副記憶システム100Bに指定してもよい。さらに、正記憶システム100Aと副記憶システム100Bの接続パス200の転送能力もしくは、負荷等により、動的に1つのジャーナルリード命令で送信するジャーナル数を変更してもよい。また、ジャーナル数でなく、ジャーナルのライトデータのサイズを考慮し、ジャーナルの転送量を指定してもよい。
前述したジャーナルリード受信処理では、ジャーナルを記憶装置150からキャッシュメモリ130に読み込んでいたが、キャッシュメモリ130に存在する場合は、当該処理は不要である。
前述したジャーナルリード受信処理内のジャーナルの記憶領域の開放処理は、次のジャーナルリード命令の処理時としたが、副記憶システム100Bにジャーナルを送信した直後に開放してもよい。また、副記憶システム100Bが、ジャーナルリード命令内に開放してよい更新番号を設定し、正記憶システム100Aは、その指示に従って、ジャーナルの記憶領域を開放していもよい。
図16はジャーナルリード処理240を説明する図、図17はフローチャート、図18はジャーナル格納処理のフローチャートである。以下、これらを用いて、副記憶システム100BのホストアダプタBが、正記憶システム100Aからジャーナルを読み出し、ジャーナル論理ボリュームに格納する動作について説明する。
(1)副記憶システム100B内のホストアダプタBは、グループ状態が“正常”かつ複製種類が非同期であれば、ジャーナルを格納するキャッシュメモリ130を確保し、ジャーナルリード命令であることを示す識別子、命令対象の正記憶システム100Aのグループ番号、リトライ指示の有無を含むアクセス命令を正記憶システム100Aに送信する。以下、アクセス命令内のグループ番号をグループ番号Aとする(ステップ1700、図16の1610)。
(2)ホストアダプタBは、正記憶システム100Aの応答およびジャーナルを受信する(図16の1620)。ホストアダプタBは応答を調べ、正記憶システム100Aからの応答が、“ジャーナル無”の場合は、正記憶システム100Aには、指定したグループのジャーナルが存在しないため、一定時間後、正記憶システム100Aにジャーナルリード命令を送信する(ステップ1720、1725)。
(4)正記憶システム100Aの応答が、“グループ状態は異常”もしくは“グループ状態は未使用”の場合は、副記憶システム100Bのグループ状態を受信した状態に変更し、ジャーナルリード処理を終了する(ステップ1730、1735)。
(5)正記憶システム100Aの応答が、上記以外、つまり、正常終了の場合は、ジャーナル論理ボリュームのボリューム状態を調べる(ステップ1740)。ジャーナル論理ボリュームのボリューム状態が“異常”の場合は、ジャーナル論理ボリュームにジャーナルの格納が不可能なため、グループ状態を“異常”に変更し、処理を終了する(ステップ1745)。この場合、ジャーナル論理ボリュームを正常な論理ボリュームに変更する等を行い、グループの状態を正常に戻す。
(6)ステップ1740の調べで、ジャーナル論理ボリュームのボリューム状態が“正常”の場合は、後述するジャーナル格納処理1800を行う。ジャーナル格納処理1800が正常に終了した場合は、次のジャーナルリード命令を送信する。もしくは、一定時間経過後、次のジャーナルリード命令を送信する(ステップ1700)。次のジャーナル命令を送信するタイミングは、一定の時間間隔で定期的に送信するものでもよく、受信したジャーナルの個数もしくは、接続線200の通信量、副記憶システム100Bが保持しているジャーナルの記憶容量、副記憶システム100Bの負荷等によって決めてもよい。さらに、正記憶システム100Aが保持しているジャーナルの記憶容量、もしくは正記憶システム100Aのポインタ情報を副記憶システム100Bから読み出し、その数値に基づいて決めてもよい。上記情報の転送は、専用のコマンドで行ってもよいし、ジャーナルリード命令の応答に含んでもよい。その後の処理は、ステップ1700以降と同じである。
(7)ステップ1800のジャーナル格納処理が正常に終了しない場合は、ジャーナル論理ボリュームの未使用領域が足りないため、受信したジャーナルを破棄し、一定時間後にリトライ指示のジャーナルリード命令を送信する(ステップ1755)。もしくは、ジャーナルをキャッシュメモリに保持しておき、一定時間後に、再度ジャーナル格納処理を行う。これは、後述するリストア処理250が行われることにより、一定時間後には、ジャーナル論理ボリュームに未使用領域が増える可能性があるためである。この方式の場合は、ジャーナルリード命令にリトライ指示の有無は不要である。
次に、図18に示すジャーナル格納処理1800について説明する。
(1)ホストアダプタBは、ジャーナルがジャーナル論理ボリュームに格納可能であるかを調べる。ポインタ情報700を用い、更新情報領域に未使用領域の有無を調べる(ステップ1810)。ポインタ情報700の更新情報最新アドレスと更新情報最古アドレスが等しい場合は、更新情報領域に未使用領域が存在しないため、ジャーナル作成失敗として処理を終了する(ステップ1820)。
(2)ステップ1810の調べで、更新情報領域に未使用領域が存在する場合は、ポインタ情報700を用い、ライトデータ領域にライトデータが格納できるかを調べる(ステップ1830)。ライトデータ最古アドレスが、ライトデータ最新アドレスとライトデータ最新アドレスにデータ量Aを足した数値の範囲にある場合、ライトデータ領域にライトデータを格納できないため、ジャーナル作成失敗として処理を終了する(ステップ1820)。
(3)ジャーナルが格納可能である場合、ホストアダプタBは、受信した更新情報のグループ番号とライトデータを格納したジャーナル論理ボリュームの論理アドレスを変更する。グループ番号は、副記憶システム100Bのグループ番号に変更し、ジャーナル論理ボリュームの論理アドレスはポインタ情報700のライトデータ最新アドレスに変更する。さらに、ホストアダプタBは、ポインタ情報700の更新情報最新アドレスを更新情報最新アドレスに更新情報のサイズを足した数値に、ライトデータ最新アドレスを、ライトデータ最新アドレスにライトデータのサイズを足した数値に変更する。さらに、ホストアダプタBは、グループ情報の更新番号を受信した更新情報の更新番号に変更する(ステップ1840)。
(4)ホストアダプタBは、ディスクアダプタ120に、更新情報とライトデータを記憶装置150に書き込むことを命令し、ジャーナル作成成功として処理を終了する(ステップ1850、図16の1630)。その後、ディスクアダプタ120は、リードライト処理により、記憶装置150に更新情報とライトデータを書き込み、キャッシュメモリ130を開放する(図16の1640)。
前述したジャーナル格納処理では、ジャーナルを記憶装置150に保存するとしていたが、ジャーナル用に予め一定量のキャッシュメモリ130を用意しておき、当該キャッシュメモリを全て使用してから、記憶装置150にジャーナルを保存してもよい。ジャーナル用のキャッシュメモリ量は、例えば、保守端末から指定する。
図19はリストア処理250を説明する図、図20はフローチャートである。以下、これらを用いて、副記憶システム100BのホストアダプタBが、ジャーナルを利用し、データの更新を行う動作について説明する。リストア処理250は副記憶システム100Bのディスクアダプタ120が処理を行ってもよい。
(1)ホストアダプタBは、グループ番号Bのグループ状態が“正常” もしくは“停止”であるかを調べる(ステップ2010)。ステップ2010の調べで、グループ状態が“正常”および“停止”以外、例えば、“異常”の場合は、リストア処理を終了する(ステップ2015)。
(2)ステップ2010の調べで、グループ状態が“正常”もしくは“停止”の場合は、ジャーナル論理ボリュームのボリューム状態を調べる(ステップ2020)。ステップ2020の調べで、ジャーナル論理ボリュームのボリューム状態が、“異常”の場合は、アクセス不可能なため、グループ状態を“異常”に変更し、処理を終了する(ステップ2025)。
(3)ステップ2020の調べで、ジャーナル論理ボリュームのボリューム状態が、“正常”の場合は、リストア対象のジャーナルが存在するかを調べる。ホストアダプタBは、ポインタ情報700の更新情報最古アドレスと更新情報最新アドレスを取得する。更新情報最古アドレスと更新情報最新アドレスが等しい場合、ジャーナルは存在しないため、リストア処理は一旦終了し、一定時間後、リストア処理を再開する(ステップ2030)。
(4)ステップ2030の調べで、リストア対象のジャーナルが存在する場合、最古(最小)の更新番号を持つジャーナルに対して次の処理を行う。最古(最小)の更新番号を持つジャーナルの更新情報は、ポインタ情報700の更新情報最古アドレスから保存されている。ホストアダプタBは、キャッシュメモリ130を確保し、ディスクアダプタに更新情報最古アドレスから、更新情報のサイズの情報をキャッシュメモリ130に読み込むことを命令する(図19の1910)。
ディスクアダプタのリードライト処理は、記憶装置150から更新情報を読み込み、キャッシュメモリ130に保存し、ホストアダプタBに通知する(図19の1920)。
ホストアダプタBは、更新情報のリード終了の通知を受け、更新情報から、ライトデータの論理アドレスおよびライトデータのサイズを取得し、キャッシュメモリ130を確保し、ディスクアダプタにライトデータをキャッシュメモリに読み込むことを命令する(図19の1930)。
ディスクアダプタのリードライト処理は、記憶装置150からライトデータを読み込み、キャッシュメモリ130に保存し、ホストアダプタに通知する(ステップ2040、図19の1940)。
(5)ホストアダプタBは、更新情報から更新する副論理ボリュームの論理アドレスを求め、ディスクアダプタに副論理ボリュームにライトデータを書き込むことを命令する(ステップ2050、図19の1950)。ディスクアダプタのリードライト処理は、副論理ボリュームの論理アドレスに対応する記憶装置150にデータを書き込み、キャッシュメモリ130を開放し、ホストアダプタに通知する(図19の1960)。
(6)ホストアダプタBは、ディスクアダプタのライト処理完了の通知を受け、ジャーナルの記憶領域を開放する。ジャーナルの記憶領域の開放処理は、ポインタ情報700の更新情報最古アドレスを更新情報のサイズを足した数値に変更する。更新情報最古アドレスが、ライトデータ領域先頭アドレスとなった場合は、更新情報最古アドレスは0とする。ポインタ情報700のライトデータ最古アドレスは、ライトデータのサイズを足した数値に変更する。ライトデータ最古アドレスが、ジャーナル論理ボリュームの容量以上の論理アドレスとなった場合は、ライトデータ領域先頭アドレスを減じ、補正する。その後、ホストアダプタBは、次のリストア処理を開始する(ステップ2060)。
前述したリストア処理250では、記憶装置150からキャッシュメモリ130にジャーナルを読み込んでいたが、キャッシュメモリ130に存在する場合は、当該処理は不要である。
前述したジャーナルリード受信処理とジャーナルリード処理240では、正記憶システム100Aが送信するジャーナルをポインタ情報700により決めていたが、副記憶システム100Bが送信するジャーナルを決めてもよい。例えば、ジャーナルリード命令に更新番号を追加する。この場合、ジャーナルリード受信処理にて、副記憶システム100Bが指定した更新番号の更新情報の論理アドレスを求めるために、正記憶システム100Aの共有メモリ140内に、更新番号から更新情報を格納した論理アドレスを求めるテーブルもしくは検索方法を設ける。
前述したジャーナルリード受信処理とジャーナルリード処理240では、ジャーナルリード命令を用いていたが、通常のリード命令を用いてもよい。例えば、正記憶システム100Aのグループ情報600とポインタ情報700を予め副記憶システム100Bに転送しておき、副記憶システム100Bは、正記憶システム100Aのジャーナル論理ボリュームのデータ(つまり、ジャーナル)をリードする。
前述したジャーナルリード受信処理では、更新番号の順に、正記憶システム100Aから副記憶システム100Bにジャーナルを送信すると説明したが、更新番号の順に送信せずともよい。また、正記憶システム100Aから副記憶システム100Bに複数のジャーナルリード命令を送信してもよい。この場合、リストア処理にて更新番号順にジャーナルを処理するために、副記憶システム100Bに、更新番号から更新情報を格納した論理アドレスを求めるテーブルもしくは検索方法を設ける。
前述した本発明のデータ処理システムでは、記憶システムAは、データの更新に関する情報をジャーナルとして格納する。記憶システムBは、記憶システムAが保持するデータの複製を保持しており、自律的に記憶システムAからジャーナルを取得し、前記ジャーナルを用いて、第一の記憶システムでのデータ更新順に、第一の記憶システムのデータと対応するデータを更新する。これにより、記憶システムBは、データの整合性を維持しつつ、記憶システムAのデータの複製を保持できる。さらに、ジャーナルを管理する管理情報は、複製対象のデータ容量に依存しない。
正記憶システム100Aが故障した場合に、ホストコンピュータ180にて行っている情報処理を、ホストコンピュータ180Cおよび記憶システム100Cを用いて再開し、記憶システム100Bでのデータ複製を再開する手順を図25に、論理的な構成を示すブロック図を図42に示す。ホストコンピュータ180とホストコンピュータ180Cは同じコンピュータであってもよい。
以下の説明において、正記憶システム100Aが故障する前の正記憶システム100Aのボリューム情報は図4、ペア情報は図5、グループ情報は図6、ポインタ情報は図7、ポインタ情報を説明する図は図8とする。正記憶システム100Aが故障する前の副記憶システム100B(非同期複製)のボリューム情報は図26、ペア情報は図27、グループ情報は図28、ポインタ情報は図29、ポインタ情報を説明する図は図30とする。副記憶システム100Bは、非同期のデータ複製を行っているため、正記憶システム100Aが保持するジャーナル(更新番号3〜5)の全てを保持していない場合がある。本例では、副記憶システム100Bは、更新番号5のジャーナルを保持していない。正記憶システム100Aが故障する前の副記憶システム100C(同期複製)のボリューム情報は図31、ペア情報は図32、グループ情報は図33、ポインタ情報は図34、ポインタ情報を説明する図は図35とする。副記憶システム100Cは、同期のデータ複製を行っているため、正記憶システム100Aが保持する全てのジャーナル(更新番号3〜5)を保持する。
(1)正記憶システム100Aに故障が発生し、正論理ボリューム(DATA1、DATA2等)が使用不可能となる(ステップ2500)。
(2)ユーザは、記憶システム100Cの保守端末もしくは、ホストコンピュータ180Cを使用し、記憶システム100Cに、非同期複製元変更を命令する。非同期複製元変更命令は、グループ単位で、非同期のデータ複製元(正論理ボリューム)を変更する命令であり、複製元情報(同期のデータ複製の副論理ボリューム(data1、data2)を保持する記憶システム番号Cとグループ番号C)、複製先情報(非同期のデータ複製の副論理ボリューム(COPY1、COPY2)を保持する記憶システム番号Bとグループ番号B)を含む(ステップ2510)。
(3)記憶システム100Cは、非同期複製元変更命令を受信すると、記憶システム100Bおよび記憶システム100Cのボリューム情報、ペア情報、グループ情報を参照し、記憶システム100C内のグループ状態が“未使用”のグループ番号Dを取得し、記憶システム100C内のグループCに属する論理ボリュームC(data1、data2)を正論理ボリューム、記憶システム100B内のグループBに属する論理ボリュームB(COPY1、COPY2)を副論理ボリュームとする非同期のデータ複製のペアとなるように、記憶システム100Cのボリューム情報、ペア情報、グループ情報の変更を行う。ただし、論理ボリュームCと論理ボリュームBの組み合わせは、記憶システム100A内の同一の論理ボリュームAとペアとなっていた論理ボリュームとする。さらに、記憶システム100Cは、グループCに属していたジャーナル論理ボリュームをグループDにて継続して使用するようにグループ情報を変更する。具体的には、記憶システム100Cは、グループDの更新番号をグループCの更新番号に、グループDのジャーナル論理ボリューム番号をグループCのジャーナル論理ボリューム番号に変更し、グループDのポインタ情報の全ての項目を、グループCのポインタ情報と同じにする。非同期複製元変更命令により、記憶システム100Cは、図32に示す記憶システム100Cのペア情報を図39に示すペア情報に、図33に示す記憶システム100Cのグループ情報を図40に示すグループ情報に、図31に示す記憶システム100Cのボリューム情報を図38に示すボリューム情報に変更する。
記憶システム100Cは、記憶システム100Bに対して、記憶システム100C内のグループCに属する論理ボリュームC(data1、data2)を正論理ボリューム、記憶システム100B内のグループBに属する論理ボリュームB(COPY1、COPY2)を副論理ボリュームとする非同期のデータ複製のペアとなるように、記憶システム100Bのペア情報、グループ情報を変更するよう命ずる。ただし、論理ボリュームCと論理ボリュームBの組み合わせは、記憶システム100A内の同一の論理ボリュームAとペアとなっていた論理ボリュームとする。
記憶システム100Bは、記憶システム100Bおよび記憶システム100Cのボリューム情報、ペア情報、グループ情報を参照し、記憶システム100Bのペア情報、グループ情報を変更する。記憶システム100Bは、図27に示すグループBのペア情報を図36に示すペア情報に、図28に示すグループ情報を図37に示すグループ情報に、グループBのグループ情報の状態を“停止”に変更することで、記憶システム100Aへのジャーナルリード処理を停止する。(ステップ2530、2540)。
(4)記憶システム100Cは、非同期複製元変更命令の応答をホストコンピュータ180もしくは保守端末に行う。ユーザは、ホストコンピュータ180Cもしくは保守端末から非同期複製元変更の終了を認識し、記憶システム100Cの使用を開始する(ステップ2550、2560)。
(5)記憶システム100Bは、記憶システム100Cにジャーナルリード位置指定命令を送信する(ステップ2570)。ジャーナルリード位置指定命令は、記憶システム100CのグループDのポインタ情報を変更し、記憶システム100Bからのジャーナルリード命令により送信されるジャーナルを指定する命令であり、相手グループ番号D、更新番号Bを含む。相手グループ番号Dは、グループ番号Bの相手グループ番号を指定する。更新番号は、グループ番号Bのグループ情報の更新番号に1を足した数値を指定する。図37に示す例では、グループ番号2、更新番号5を指定する。
(6)記憶システム100Cは、ジャーナルリード位置指定命令を受信した場合、ポインタ情報700を参照し、更新番号Bのジャーナルを保持しているかを調べる。記憶システム100Cは、ポインタ情報の更新情報最古アドレスの更新情報を記憶装置150から読み出し、最古(最小)の更新番号Cを得る。
更新番号Cがジャーナルリード位置指定命令の更新番号Bと等しい、もしくは小さい場合は、記憶システム100Cが更新番号Bのジャーナルを保持しているので、記憶システム100Bは、非同期のデータの複製を継続することができる。この場合、記憶システム100Cは、更新番号Bより以前のジャーナルの記憶領域を開放し、リード開始アドレスおよびリトライ開始アドレスを更新番号Bの更新情報を格納しているアドレスに変更し、“再開可能“を記憶システム100Bに返す。これにより、図34に示すポインタ情報は、図41に示すポインタ情報に変更される(ステップ2580)。
他方、更新番号Cがジャーナルリード位置指定命令の更新番号Bより大きい場合は、記憶システム100Cが記憶システム100Bに必要なジャーナルを保持していないため、記憶システム100Bにおいて非同期のデータの複製を継続することができない。この場合は、図9、図10を用いて説明した手順により、正記憶システム100Cから副記憶システム100Bに対して、データ複製を開始する必要がある。
(7)記憶システム100Bは、“再開可能”の応答を受信した場合、グループBのグループ情報の状態を“正常”に変更することで、記憶システム100Cに対し、ジャーナルリード処理を再開する(ステップ2590)。
記憶システム100Bは、ジャーナルリード位置指定命令を行わなくてもよい。この場合、記憶システム100Bは、ジャーナルリード処理を開始し、記憶システム100Cから最古のジャーナルを受信する。受信したジャーナルの更新番号Cが、グループ番号Bのグループ情報の更新番号に1を足した数値(更新番号B)より大きい場合は、記憶システム100Cが記憶システム100Bに必要なジャーナルを保持していないため、データ複製処理を中断する。受信したジャーナルの更新番号Cが、更新番号Bより小さい場合は、すでに記憶システム100Bが当該ジャーナルを保持しているため、当該ジャーナルを破棄し、ジャーナルリード処理を継続する。受信したジャーナルの更新番号Cが、更新番号Bと等しい場合は、受信したジャーナルをジャーナル論理ボリュームに格納し、ジャーナルリード処理を継続する。
図42を用いて、ホストコンピュータ180Cが記憶システム100Cの使用を開始した後の、正記憶システム100Cの正論理ボリューム(data1)へのデータ更新を副記憶システム100Bの副論理ボリューム(COPY1)に反映する動作について概説する。
(1)正記憶システム100Cは、ホストコンピュータ180Cから正論理ボリューム(data1)内のデータに対するライト命令を受信すると、前述した命令受信処理210およびリードライト処理220によって、正論理ボリューム(data1)内のデータ更新と、ジャーナル論理ボリューム(jnl1)へのジャーナルの保存を行い、ホストコンピュータにライト命令の終了を報告する(図42の4200)。
(2)副記憶システム100Bは、前述したジャーナルリード処理240によって、正記憶システム100Cからジャーナルをリードし、リードライト処理220によって、ジャーナル論理ボリューム(JNL2)にジャーナルを保存する(図42の4210)。
(3)正記憶システム100Cは、副記憶システム100Bからジャーナルリード命令を受信すると、命令受信処理210およびリードライト処理220によって、ジャーナル論理ボリューム(jnl1)からジャーナルを読み出し、副記憶システム100Bに送信する(図42の4210)。
(4)副記憶システム100Bは、リストア処理250およびリードライト処理220によって、ポインタ情報700を用いて、更新番号の昇順に、ジャーナル論理ボリューム(JNL2)からジャーナルを読み出し、副論理ボリューム(COPY1)のデータを更新する(図42の4220)。従って、正記憶システム100C内の正論理ボリューム(data1)と副記憶システム100B内の副論理ボリューム(COPY1)のデータは、正論理ボリュームの更新の暫く後には、完全に一致する。
前述した本発明のデータ処理システムでは、記憶システムCが記憶システムAからの更新番号および更新時刻を用いて、ジャーナルを作成する。データ複製対象の記憶システムAが故障し、記憶システムCを用いて情報処理を継続する場合に、記憶システムBは、記憶システムAから記憶システムCにジャーナルの取得先を変更する。これにより、記憶システムBは、データの整合性を維持しつつ、記憶システムAのデータの複製を継続できる。さらに、ジャーナルを管理する管理情報は、複製対象のデータ容量に依存しない。
ホストコンピュータ180が故障した場合に、ホストコンピュータ180にて行っている情報処理を、ホストコンピュータ180Cおよび記憶システム100Cを用いて再開し、記憶システム100Bでのデータ複製を再開する手順について説明する。論理的な構成を示すブロック図を図48に示す。正記憶システム100Aが故障した場合との違いは、記憶システム100Aの使用が可能であるので、記憶システム100Bでの非同期のデータ複製に加え、同期のデータ複製を記憶システム100Aにて行う点である。
以下の説明において、正記憶システム100Aが故障する前の正記憶システム100Aのボリューム情報は図4、ペア情報は図5、グループ情報は図6、ポインタ情報は図7、ポインタ情報を説明する図は図8とする。正記憶システム100Aが故障する前の副記憶システム100B(非同期複製)のボリューム情報は図26、ペア情報は図27、グループ情報は図28、ポインタ情報は図29、ポインタ情報を説明する図は図30とする。副記憶システム100Bは、非同期のデータ複製を行っているため、正記憶システム100Aが保持するジャーナル(更新番号3〜5)の全てを保持していない場合がある。本例では、副記憶システム100Bは、更新番号5のジャーナルを保持していない。正記憶システム100Aが故障する前の副記憶システム100C(同期複製)のボリューム情報は図31、ペア情報は図32、グループ情報は図33、ポインタ情報は図34、ポインタ情報を説明する図は図35とする。副記憶システム100Cは、同期のデータ複製を行っているため、正記憶システム100Aが保持する全てのジャーナル(更新番号3〜5)を保持する。
(1)ホストコンピュータ180に故障が発生する。
(2)ユーザは、記憶システム100Cの保守端末もしくは、ホストコンピュータ180Cを使用し、記憶システム100Cに、前述した非同期複製元変更と同期複製交換を命令する。同期複製交換命令は、グループ単位で、同期のデータ複製の正論理ボリュームと副論理ボリュームの関係を逆転する命令であり、複製元情報(同期複製の正論理ボリューム(DATA1、DATA2)を保持する記憶システム番号Aとグループ番号A)、複製先情報(同期複製の副論理ボリューム(COPY1、COPY2)を保持する記憶システム番号Cとグループ番号C)を含む。
(3)記憶システム100Cは、同期複製交換命令を受信すると、記憶システム100Cのボリューム情報、ペア情報、グループ情報を参照し、記憶システム100A内のグループAに属する論理ボリュームA(DATA1、DATA2)を副論理ボリューム、記憶システム100C内のグループCに属する論理ボリュームC(COPY1、COPY2)を正論理ボリュームとする同期のデータ複製のペアとなるように、記憶システム100Cのボリューム情報、ペア情報、グループ情報を変更する。ただし、論理ボリュームAと論理ボリュームCの組み合わせは、既に同期のデータ複製のペアとなっていた論理ボリュームとする。
記憶システム100Cは、記憶システム100Aに対して、記憶システム100A内のグループAに属する論理ボリュームA(DATA1、DATA2)を副論理ボリューム、記憶システム100C内のグループCに属する論理ボリュームC(COPY1、COPY2)を正論理ボリュームとする同期の複製のペアとなるように、記憶システム100Aのボリューム情報、ペア情報、グループ情報を変更するよう命ずる。ただし、論理ボリュームAと論理ボリュームCの組み合わせは、既に同期のデータ複製のペアとなっていた論理ボリュームとする。さらに、記憶システム100Cは、記憶システム100Aに同期のデータ複製のペアである副論理ボリュームへのデータ更新の際に、ジャーナルを作成することを命ずる。記憶システム100Aにて、ジャーナルを格納するジャーナル論理ボリュームは、例えば、ホストコンピュータの故障前に、記憶システム100A内の非同期のデータ複製の際に使用していたジャーナル論理ボリューム(JNL1)とする。
記憶システム100Aは、記憶システム100Aのボリューム情報、ペア情報、グループ情報を参照し、記憶システム100Aのボリューム情報、ペア情報、グループ情報を変更する。記憶システム100Cは、記憶システム100Aと記憶システム100Cの情報の変更が終えた後、同期複製交換命令の応答をホストコンピュータ180もしくは保守端末に返信する。
非同期複製元変更命令と同期複製交換命令により、記憶システム100Cは、図32に示す記憶システム100Cのペア情報を図43に示すペア情報に、図33に示す記憶システム100Cのグループ情報を図44に示すグループ情報に、図31に示す記憶システム100Cのボリューム情報を、図38に示すボリューム情報に変更する。
非同期複製元変更命令により、記憶システム100Bは、図27に示す記憶システム100Bのペア情報を図36に示すペア情報に、図28に示す記憶システム100Bのグループ情報を図37に示すグループ情報に変更する。
同期複製交換命令により、記憶システム100Aは、図5に示す記憶システム100Cのペア情報を図46に示すペア情報に、図6に示す記憶システム100Cのグループ情報を図47に示すグループ情報に、図4に示す記憶システム100Cのボリューム情報を図45に示すボリューム情報に変更する。
ユーザは、ホストコンピュータ180もしくは保守端末から非同期複製元変更と同期複製交換の終了を認識し、記憶システム100Cの使用を開始する。以降の処理は、ステップ2570以降と同じである。
前述した本発明のデータ処理システムでは、記憶システムCが記憶システムAからの更新番号および更新時刻を用いて、ジャーナルを作成する。ホストコンピュータが故障し、別のホストコンピュータが記憶システムCを用いて情報処理を継続する場合に、記憶システムBは、記憶システムAから記憶システムCにジャーナルの取得先を変更する。これにより、記憶システムBは、データの整合性を維持しつつ、記憶システムAのデータの複製を継続できる。さらに、記憶システムAが記憶システムCの同期のデータの複製を保持するように設定を変更することで、ホストコンピュータが故障する前と同様に、同期と非同期の2つのデータ複製が可能となる。
以上、本発明者によってなされた発明を実施例の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものでなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
本発明の一実施形態の論理的な構成を示すブロック図である。 本発明の一実施形態の記憶システムのブロック図である。 本発明の一実施形態の更新情報とライトデータの関係を説明する図である。 本発明の一実施形態のボリューム情報の例を説明する図である。 本発明の一実施形態のペア情報の例を説明する図である。 本発明の一実施形態のグループ情報の例を説明する図である。 本発明の一実施形態のポインタ情報の例を説明する図である。 本発明の一実施形態のジャーナル論理ボリュームの構造を説明する図である。 本発明の一実施形態のデータの複製を開始する手順を説明するフローチャートである。 本発明の一実施形態の初期コピー処理を説明するフローチャートである。 本発明の一実施形態の命令受信処理を説明する図である。 本発明の一実施形態の命令受信処理のフローチャートである。 本発明の一実施形態のジャーナル作成処理のフローチャートである。 本発明の一実施形態のジャーナルリード受信処理を説明する図である。 本発明の一実施形態のジャーナルリード受信処理のフローチャートである。 本発明の一実施形態のジャーナルリード処理を説明する図である。 本発明の一実施形態のジャーナルリード処理のフローチャートである。 本発明の一実施形態のジャーナル格納処理のフローチャートである。 本発明の一実施形態のリストア処理を説明する図である。 本発明の一実施形態のリストア処理のフローチャートである。 本発明の一実施形態の更新情報の例を説明する図である。 本発明の一実施形態のジャーナル作成処理時の更新情報の例を説明する図である。 本発明の一実施形態のリモートライト命令受信処理のフローチャートである。 本発明の一実施形態のジャーナル複製処理のフローチャートである。 本発明の一実施形態の正記憶システム100Aが故障した場合に記憶システム間のデータ複製を再開する手順を説明するフローチャートである。 本発明の一実施形態のボリューム情報の例を説明する図である。 本発明の一実施形態のペア情報の例を説明する図である。 本発明の一実施形態のグループ情報の例を説明する図である。 本発明の一実施形態のポインタ情報の例を説明する図である。 本発明の一実施形態のジャーナル論理ボリュームの構造を説明する図である。 本発明の一実施形態のボリューム情報の例を説明する図である。 本発明の一実施形態のペア情報の例を説明する図である。 本発明の一実施形態のグループ情報の例を説明する図である。 本発明の一実施形態のポインタ情報の例を説明する図である。 本発明の一実施形態のジャーナル論理ボリュームの構造を説明する図である。 本発明の一実施形態のペア情報の例を説明する図である。 本発明の一実施形態のグループ情報の例を説明する図である 本発明の一実施形態のボリューム情報の例を説明する図である。 本発明の一実施形態のペア情報の例を説明する図である。 本発明の一実施形態のグループ情報の例を説明する図である。 本発明の一実施形態のポインタ情報の例を説明する図である。 本発明の一実施形態の正記憶システム100Aが故障した場合の動作を説明するブロック図である。 本発明の一実施形態のペア情報の例を説明する図である。 本発明の一実施形態のグループ情報の例を説明する図である。 本発明の一実施形態のボリューム情報の例を説明する図である。 本発明の一実施形態のペア情報の例を説明する図である。 本発明の一実施形態のグループ情報の例を説明する図である 本発明の一実施形態のホストコンピュータ180が故障した場合の動作を説明するブロック図である。
符号の説明
100 記憶システム
110 ホストアダプタ
120 ディスクアダプタ
130 キャッシュメモリ
140 共有メモリ
150 記憶装置
160 コモンパス
170 ディスクアダプタと記憶装置間の接続線
180 ホストコンピュータ

Claims (7)

  1. コンピュータから受信されるデータを格納するための正記憶領域としての第一の記憶領域と、当該データ及び当該データの受信順序に関する順序情報を格納する第二の記憶領域と、前記第一の正記憶領域及び前記第二の記憶領域への格納を制御する第一のアダプタ群と、を有する、第一の記憶システムと、
    前記第一の記憶システムから受信されるデータを格納するための第一の副記憶領域としての第三の記憶領域と、当該データ及び当該データの順序情報を格納するための第四の記憶領域と、前記第三の記憶領域及び前記第四の記憶領域への格納を制御する第二のアダプタ群と、を有する、第二の記憶システムと、
    前記第一の記憶システムから受信されるデータ及び当該データの順序情報を格納するための第五の記憶領域と、受信されるデータを前記第五の記憶領域に格納されている当該データの順序情報に基づいて格納するための第二の副記憶領域としての第六の記憶領域と、当該データ及び当該データの順序情報を送信するように要求する命令を前記第一の記憶システムに対して送信するように制御する第三のアダプタ群と、を有する、第三の記憶システムとを有し、
    前記第一の記憶システムの前記第一のアダプタ群は、前記第一の記憶領域に対して書き込まれるデータが前記第一の記憶システムによって受信された場合に、当該データを前記第一の記憶領域に格納し、当該データを前記第二の記憶システムに送信すると共に前記第二の記憶領域に格納し、
    前記第一の記憶システムの前記第一のアダプタ群は、前記第三の記憶システムからの前記命令に応じて、前記第二の記憶領域に格納されているデータ及び当該データの順序情報を、前記第一の記憶システムから前記第三の記憶システムへ送信するものであり、
    前記第二の記憶システムの前記第二のアダプタ群は、前記第一の記憶システムから受信されるデータを前記第三の記憶領域へ格納し、前記第四の記憶領域内のより古いデータ及び当該古いデータの順序情報が格納された領域を開放した後に、当該データ及び当該データの順序情報を当該開放された領域に格納するものであり、
    前記第三の記憶システムの前記第三のアダプタ群は、前記命令に応じて前記第一の記憶システムから受信されるデータ及び当該データの順序情報を前記第五の記憶領域に格納し、前記第五の記憶領域に格納されている当該データの順序情報に基づいて当該データを前記第六の記憶領域に格納するものであり、
    前記第一の記憶システムに関する障害が発生した場合に、前記第三の記憶システムの前記第三のアダプタ群は、前記命令のあて先を、前記第一の記憶システムから前記第二の記憶システムへと変更するものであり、前記第二の記憶システムの前記第二のアダプタ群は、前記命令によって前記第三の記憶システムから要求されるデータ及び当該データの順序情報を前記第四の記憶領域に格納している場合には、前記第四の記憶領域に格納されている当該データ及び当該データの順序情報を前記第二の記憶システムから前記第三の記憶システムに送信するものである、ことを特徴とするリモートコピーシステム。
  2. 請求項1記載のリモートコピーシステムであって、
    前記障害が発生し、前記命令によって前記第三の記憶システムから要求されるデータ及び当該データの順序情報を前記第四の記憶領域に格納していない場合には、前記第二の記憶システムの前記第二のアダプタ群は、前記第二の記憶システムの第三の記憶領域から前記第三の記憶システムの第六の記憶領域へ初期コピーを実施することを特徴とする、リモートコピーシステム。
  3. 請求項1記載のリモートコピーシステムであって、
    前記障害が発生する前には、前記第一の記憶領域及び前記第六の記憶領域を有する非同期リモートコピーペアが構成されており、前記障害が発生した後には、前記第三の記憶領域及び前記第六の記憶領域を有する非同期リモートコピーペアが構成されることを特徴とするリモートコピーシステム。
  4. 請求項1記載のリモートコピーシステムであって、
    前記第一の記憶システムに関する障害とは、前記コンピュータの障害であることを特徴とするリモートコピーシステム。
  5. 請求項1記載のリモートコピーシステムであって、
    前記第一の記憶システムに関する障害とは、前記第一の記憶システムの障害であることを特徴とするリモートコピーシステム。
  6. 請求項1記載のリモートコピーシステムであって、
    前記障害の後、前記第二の記憶システムはコンピュータからデータを受信すると、当該データを前記第三の記憶領域に格納し、当該データ及び当該データの順序情報を前記第四の記憶領域に格納し、
    前記第三の記憶システムからの要求に応じて、前記第四の記憶領域に格納されているデータ及び当該データの順序情報を前記第三の記憶システムに送信することを特徴とするリモートコピーシステム。
  7. 請求項6記載のリモートコピーシステムであって、
    前記障害の後、前記第二の記憶システムは更に、コンピュータから受信したデータと当該データの順序情報とを前記第一の記憶システムに送信し、前記第一の記憶システムは前記第二の記憶システムから受信したデータを前記第一の記憶領域に格納し、前記第二の記憶システムから受信したデータ及び当該データの順序情報を前記第二の記憶領域に格納することを特徴とするリモートコピーシステム。
JP2003316183A 2003-06-27 2003-09-09 データ処理システム Expired - Lifetime JP4374953B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2003316183A JP4374953B2 (ja) 2003-09-09 2003-09-09 データ処理システム
US10/784,356 US7130975B2 (en) 2003-06-27 2004-02-23 Data processing system
EP09010606.3A EP2120147B1 (en) 2003-06-27 2004-04-16 Data mirroring system using journal data
EP04252258A EP1492009A3 (en) 2003-06-27 2004-04-16 Data mirroring system using journal data
EP07010949A EP1837769A3 (en) 2003-06-27 2004-04-16 Data mirroring system using journal data
EP04252272A EP1494120A3 (en) 2003-06-27 2004-04-16 Data mirroring system using journal data
US11/334,511 US7143254B2 (en) 2003-09-09 2006-01-19 Remote copy system
US11/581,413 US7447855B2 (en) 2003-09-09 2006-10-17 Data processing method providing remote copy in a system having first, second, and third storage systems
US12/246,527 US8074036B2 (en) 2003-09-09 2008-10-07 Data processing system having first, second and third storage systems that are arranged to be changeable between a first status and a second status in response to a predetermined condition at the first storage system
US13/285,453 US8495319B2 (en) 2003-09-09 2011-10-31 Data processing system providing remote copy in a system having first, second and third storage systems and establishing first, second and third copy pairs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003316183A JP4374953B2 (ja) 2003-09-09 2003-09-09 データ処理システム

Publications (3)

Publication Number Publication Date
JP2005084953A JP2005084953A (ja) 2005-03-31
JP2005084953A5 JP2005084953A5 (ja) 2006-09-28
JP4374953B2 true JP4374953B2 (ja) 2009-12-02

Family

ID=34225224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003316183A Expired - Lifetime JP4374953B2 (ja) 2003-06-27 2003-09-09 データ処理システム

Country Status (2)

Country Link
US (4) US7143254B2 (ja)
JP (1) JP4374953B2 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4477370B2 (ja) * 2004-01-30 2010-06-09 株式会社日立製作所 データ処理システム
JP2006285808A (ja) * 2005-04-04 2006-10-19 Hitachi Ltd ストレージシステム
JP2006301905A (ja) * 2005-04-20 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> データミラーリングシステムおよびデータミラーリング方法
JP4738941B2 (ja) 2005-08-25 2011-08-03 株式会社日立製作所 ストレージシステム及びストレージシステムの管理方法
JP2007066162A (ja) 2005-09-01 2007-03-15 Hitachi Ltd ストレージシステム及びストレージシステムの管理方法
JP4998010B2 (ja) * 2006-03-30 2012-08-15 富士通株式会社 データベースシステム管理、データベースシステム、プログラム及び処理装置
US7647525B2 (en) * 2006-03-31 2010-01-12 Emc Corporation Resumption of operations following failover in connection with triangular asynchronous replication
JP4940738B2 (ja) 2006-04-12 2012-05-30 株式会社日立製作所 記憶領域動的割当方法
JP4887893B2 (ja) 2006-04-26 2012-02-29 株式会社日立製作所 計算機システム及び計算機システムの制御方法
JP4842720B2 (ja) * 2006-06-29 2011-12-21 株式会社日立製作所 ストレージシステム及びデータ複製方法
US7680841B2 (en) * 2006-07-26 2010-03-16 International Business Machines Corporation Determining whether data written to source storage locations according to a write order is copied to corresponding target storage locations in the write order
JP5244332B2 (ja) 2006-10-30 2013-07-24 株式会社日立製作所 情報システム、データ転送方法及びデータ保護方法
JP5057366B2 (ja) 2006-10-30 2012-10-24 株式会社日立製作所 情報システム及び情報システムのデータ転送方法
JP4902403B2 (ja) 2006-10-30 2012-03-21 株式会社日立製作所 情報システム及びデータ転送方法
US20080235489A1 (en) * 2007-03-19 2008-09-25 Sergey Anatolievich Gorobets Systems for forcing an update block to remain sequential
US7904670B2 (en) * 2007-03-19 2011-03-08 Sandisk Corporation Methods for conversion of update blocks based on comparison with a threshold size
US20080235464A1 (en) * 2007-03-19 2008-09-25 Shai Traister System for conversion of update blocks based on comparison with a threshold size
US8275953B2 (en) * 2007-03-19 2012-09-25 Sandisk Technologies Inc. Methods for forcing an update block to remain sequential
US8341375B2 (en) * 2007-03-19 2012-12-25 Sandisk Technologies Inc. Methods for conversion of update blocks based on association with host file management data structures
JP2008299481A (ja) 2007-05-30 2008-12-11 Hitachi Ltd ストレージシステム及び複数拠点間でのデータコピー方法
JP5124183B2 (ja) * 2007-06-27 2013-01-23 株式会社日立製作所 非同期リモートコピーシステムの制御方法及び非同期リモートコピーシステム
JP2009020568A (ja) 2007-07-10 2009-01-29 Hitachi Ltd ストレージシステム及びディザスタリカバリ構成の設計方法
US8131957B2 (en) * 2007-08-16 2012-03-06 International Business Machines Corporation Splitting writes between a storage controller and replication engine
US7979652B1 (en) 2007-12-20 2011-07-12 Amazon Technologies, Inc. System and method for M-synchronous replication
JP5147570B2 (ja) * 2008-07-02 2013-02-20 株式会社日立製作所 ストレージシステム及びリモートコピー復旧方法
US8250031B2 (en) * 2008-08-26 2012-08-21 Hitachi, Ltd. Low traffic failback remote copy
US8510750B2 (en) * 2008-09-23 2013-08-13 1060 Research Limited Method for caching resource representations in a contextual address space
JP5486793B2 (ja) * 2008-11-07 2014-05-07 株式会社日立製作所 リモートコピー管理システム、方法及び装置
US20110047413A1 (en) 2009-08-20 2011-02-24 Mcgill Robert E Methods and devices for detecting service failures and maintaining computing services using a resilient intelligent client computer
JP5286212B2 (ja) * 2009-09-29 2013-09-11 株式会社日立製作所 ストレージクラスタ環境でのリモートコピー制御方法及びシステム
US8583885B1 (en) * 2009-12-01 2013-11-12 Emc Corporation Energy efficient sync and async replication
US8554797B2 (en) 2010-12-17 2013-10-08 Sap Ag System and method for modular business applications
JPWO2013141308A1 (ja) * 2012-03-22 2015-08-03 日本電気株式会社 分散ストレージシステム、ストレージ制御方法およびプログラム
US8930364B1 (en) * 2012-03-29 2015-01-06 Amazon Technologies, Inc. Intelligent data integration
US8918392B1 (en) 2012-03-29 2014-12-23 Amazon Technologies, Inc. Data storage mapping and management
US8832234B1 (en) 2012-03-29 2014-09-09 Amazon Technologies, Inc. Distributed data storage controller
US8935203B1 (en) 2012-03-29 2015-01-13 Amazon Technologies, Inc. Environment-sensitive distributed data management
JP5698865B2 (ja) * 2013-03-12 2015-04-08 株式会社東芝 データベースシステム、プログラムおよびデータ処理方法
JP6382819B2 (ja) 2013-08-21 2018-08-29 株式会社東芝 データベースシステム、ノード、管理装置、プログラムおよびデータ処理方法
US10203904B1 (en) * 2013-09-24 2019-02-12 EMC IP Holding Company LLC Configuration of replication
US20160100004A1 (en) * 2014-10-06 2016-04-07 International Business Machines Corporation Data replication across servers
US10248511B2 (en) * 2014-11-26 2019-04-02 Hitachi, Ltd. Storage system having multiple local and remote volumes and multiple journal volumes using dummy journals for sequence control
US9836367B2 (en) 2015-08-28 2017-12-05 Netapp, Inc. Trust relationship migration for data mirroring
US11093170B2 (en) * 2019-04-02 2021-08-17 EMC IP Holding Company LLC Dataset splitting based on workload footprint analysis

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB954715A (en) 1962-03-22 1964-04-08 Lucas Industries Ltd Hydraulic pumps
JP2544449B2 (ja) 1986-05-23 1996-10-16 株式会社日立製作所 情報処理システム及び情報処理システムの制御方法
JP2569135B2 (ja) 1988-07-27 1997-01-08 株式会社日立製作所 記憶装置のデータ整合性制御方式
US5170480A (en) 1989-09-25 1992-12-08 International Business Machines Corporation Concurrently applying redo records to backup database in a log sequence using single queue server per queue at a time
US5412801A (en) 1990-01-17 1995-05-02 E-Net Gap recovery for off-site data storage and recovery systems
US5307481A (en) 1990-02-28 1994-04-26 Hitachi, Ltd. Highly reliable online system
US5155845A (en) 1990-06-15 1992-10-13 Storage Technology Corporation Data storage system for providing redundant copies of data on different disk drives
US5544347A (en) 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5459857A (en) 1992-05-15 1995-10-17 Storage Technology Corporation Fault tolerant disk array data storage subsystem
US5555371A (en) 1992-12-17 1996-09-10 International Business Machines Corporation Data backup copying with delayed directory updating and reduced numbers of DASD accesses at a back up site using a log structured array data storage
JP3246146B2 (ja) 1993-12-27 2002-01-15 株式会社日立製作所 外部記憶装置のデータ移行方法
KR0128271B1 (ko) 1994-02-22 1998-04-15 윌리암 티. 엘리스 재해회복을 위한 일관성 그룹 형성방법 및 레코드갱싱의 섀도잉 방법, 주시스템, 원격데이타 섀도잉 시스템과 비동기 원격데이타 복제 시스템
US5835953A (en) 1994-10-13 1998-11-10 Vinca Corporation Backup system that takes a snapshot of the locations in a mass storage device that has been identified for updating prior to updating
US5799323A (en) 1995-01-24 1998-08-25 Tandem Computers, Inc. Remote duplicate databased facility with triple contingency protection
US5799141A (en) 1995-06-09 1998-08-25 Qualix Group, Inc. Real-time data protection system and method
US5720029A (en) 1995-07-25 1998-02-17 International Business Machines Corporation Asynchronously shadowing record updates in a remote copy session using track arrays
US5819020A (en) 1995-10-16 1998-10-06 Network Specialists, Inc. Real time backup system
US6044444A (en) 1996-05-28 2000-03-28 Emc Corporation Remote data mirroring having preselection of automatic recovery or intervention required when a disruption is detected
US6092066A (en) 1996-05-31 2000-07-18 Emc Corporation Method and apparatus for independent operation of a remote data facility
US6477627B1 (en) 1996-05-31 2002-11-05 Emc Corporation Method and apparatus for mirroring data in a remote data storage system
US6101497A (en) 1996-05-31 2000-08-08 Emc Corporation Method and apparatus for independent and simultaneous access to a common data set
US5933653A (en) 1996-05-31 1999-08-03 Emc Corporation Method and apparatus for mirroring data in a remote data storage system
US5995980A (en) 1996-07-23 1999-11-30 Olson; Jack E. System and method for database update replication
US6073209A (en) 1997-03-31 2000-06-06 Ark Research Corporation Data storage controller providing multiple hosts with access to multiple storage subsystems
JP3414218B2 (ja) 1997-09-12 2003-06-09 株式会社日立製作所 記憶制御装置
US6052758A (en) 1997-12-22 2000-04-18 International Business Machines Corporation Interface error detection and isolation in a direct access storage device DASD system
US6324654B1 (en) 1998-03-30 2001-11-27 Legato Systems, Inc. Computer network remote data mirroring system
US6157991A (en) 1998-04-01 2000-12-05 Emc Corporation Method and apparatus for asynchronously updating a mirror of a source device
US6178427B1 (en) 1998-05-07 2001-01-23 Platinum Technology Ip, Inc. Method of mirroring log datasets using both log file data and live log data including gaps between the two data logs
US6148383A (en) 1998-07-09 2000-11-14 International Business Machines Corporation Storage system employing universal timer for peer-to-peer asynchronous maintenance of consistent mirrored storage
JP4689137B2 (ja) 2001-08-08 2011-05-25 株式会社日立製作所 リモートコピー制御方法、及びストレージシステム
JP2000099277A (ja) 1998-09-18 2000-04-07 Fujitsu Ltd ファイルユニット間のリモート転送方法
JP2000181634A (ja) 1998-12-18 2000-06-30 Nec Corp ミラーリング装置
US6209002B1 (en) 1999-02-17 2001-03-27 Emc Corporation Method and apparatus for cascading data through redundant data storage units
US6397307B2 (en) 1999-02-23 2002-05-28 Legato Systems, Inc. Method and system for mirroring and archiving mass storage
JP2000276304A (ja) 1999-03-26 2000-10-06 Nec Corp データ移行方法と情報処理システム
US6442705B1 (en) * 1999-04-26 2002-08-27 International Business Machines Corporation Method of and apparatus for improving data integrity in a disk drive system
US6662197B1 (en) 1999-06-25 2003-12-09 Emc Corporation Method and apparatus for monitoring update activity in a data storage facility
US6804676B1 (en) 1999-08-31 2004-10-12 International Business Machines Corporation System and method in a data processing system for generating compressed affinity records from data records
US6463501B1 (en) 1999-10-21 2002-10-08 International Business Machines Corporation Method, system and program for maintaining data consistency among updates across groups of storage areas using update times
US6338126B1 (en) 1999-12-06 2002-01-08 Legato Systems, Inc. Crash recovery without complete remirror
US6526418B1 (en) 1999-12-16 2003-02-25 Livevault Corporation Systems and methods for backing up data files
US6460055B1 (en) 1999-12-16 2002-10-01 Livevault Corporation Systems and methods for backing up data files
US6625623B1 (en) 1999-12-16 2003-09-23 Livevault Corporation Systems and methods for backing up data files
US6487645B1 (en) 2000-03-06 2002-11-26 International Business Machines Corporation Data storage subsystem with fairness-driven update blocking
US6446176B1 (en) 2000-03-09 2002-09-03 Storage Technology Corporation Method and system for transferring data between primary storage and secondary storage using a bridge volume and an internal snapshot copy of the data being transferred
JP2001356945A (ja) 2000-04-12 2001-12-26 Anetsukusu Syst Kk データバックアップ・リカバリー方式
US6622152B1 (en) 2000-05-09 2003-09-16 International Business Machines Corporation Remote log based replication solution
US6859824B1 (en) 2000-06-30 2005-02-22 Hitachi, Ltd. Storage system connected to a data network with data integrity
JP3617437B2 (ja) * 2000-09-13 2005-02-02 日本電気株式会社 データコピー方法およびデータコピー用プログラムを記録したプログラム記録媒体
AU2002212843B2 (en) 2000-10-09 2007-11-22 Maximum Availability Limited Method and apparatus for data processing
US6728736B2 (en) 2001-03-14 2004-04-27 Storage Technology Corporation System and method for synchronizing a data copy using an accumulation remote copy trio
US20020143798A1 (en) 2001-04-02 2002-10-03 Akamai Technologies, Inc. Highly available distributed storage system for internet content with storage site redirection
US6496908B1 (en) 2001-05-18 2002-12-17 Emc Corporation Remote mirroring
US20030014523A1 (en) 2001-07-13 2003-01-16 John Teloh Storage network data replicator
EP1499885B1 (en) * 2001-08-01 2009-10-21 Cellomics, Inc. Novel fusion proteins and assays for molecular binding
IL161721A0 (en) 2001-11-01 2005-11-20 Verisign Inc Transactional memory manager
JP2003223287A (ja) 2001-11-22 2003-08-08 Toshiba Corp 記憶装置、この記憶装置のバックアップ方法及びプログラム
US6745303B2 (en) 2002-01-03 2004-06-01 Hitachi, Ltd. Data synchronization of multiple remote storage
US7139932B2 (en) 2002-01-03 2006-11-21 Hitachi, Ltd. Data synchronization of multiple remote storage after remote copy suspension
US6941322B2 (en) 2002-04-25 2005-09-06 International Business Machines Corporation Method for efficient recording and management of data changes to an object
US6968349B2 (en) 2002-05-16 2005-11-22 International Business Machines Corporation Apparatus and method for validating a database record before applying journal data
US20030220935A1 (en) 2002-05-21 2003-11-27 Vivian Stephen J. Method of logical database snapshot for log-based replication
JP2004013367A (ja) 2002-06-05 2004-01-15 Hitachi Ltd データ記憶サブシステム
US7103727B2 (en) * 2002-07-30 2006-09-05 Hitachi, Ltd. Storage system for multi-site remote copy
US7076508B2 (en) 2002-08-12 2006-07-11 International Business Machines Corporation Method, system, and program for merging log entries from multiple recovery log files
US6959369B1 (en) 2003-03-06 2005-10-25 International Business Machines Corporation Method, system, and program for data backup
US7065589B2 (en) * 2003-06-23 2006-06-20 Hitachi, Ltd. Three data center remote copy system with journaling
JP2005062928A (ja) 2003-08-11 2005-03-10 Hitachi Ltd 複数のサイトにリモートコピーを行うシステム
US20050050115A1 (en) 2003-08-29 2005-03-03 Kekre Anand A. Method and system of providing cascaded replication

Also Published As

Publication number Publication date
US20070038824A1 (en) 2007-02-15
US20120079225A1 (en) 2012-03-29
US20060117154A1 (en) 2006-06-01
US8074036B2 (en) 2011-12-06
US7447855B2 (en) 2008-11-04
JP2005084953A (ja) 2005-03-31
US20090037436A1 (en) 2009-02-05
US7143254B2 (en) 2006-11-28
US8495319B2 (en) 2013-07-23

Similar Documents

Publication Publication Date Title
JP4374953B2 (ja) データ処理システム
JP4124348B2 (ja) 記憶システム
JP4887893B2 (ja) 計算機システム及び計算機システムの制御方法
US7130975B2 (en) Data processing system
JP4412989B2 (ja) 複数の記憶システムを有するデータ処理システム
JP4476683B2 (ja) データ処理システム
JP4519563B2 (ja) 記憶システム及びデータ処理システム
JP2005062928A (ja) 複数のサイトにリモートコピーを行うシステム
JP4124374B2 (ja) 記憶システム
JP4249240B2 (ja) 記憶システム
JP4249247B2 (ja) 記憶システム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090831

R151 Written notification of patent or utility model registration

Ref document number: 4374953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120918

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130918

Year of fee payment: 4

EXPY Cancellation because of completion of term