WO2011125126A1 - 非同期リモートコピーシステム、及び、記憶制御方法 - Google Patents

非同期リモートコピーシステム、及び、記憶制御方法 Download PDF

Info

Publication number
WO2011125126A1
WO2011125126A1 PCT/JP2010/002540 JP2010002540W WO2011125126A1 WO 2011125126 A1 WO2011125126 A1 WO 2011125126A1 JP 2010002540 W JP2010002540 W JP 2010002540W WO 2011125126 A1 WO2011125126 A1 WO 2011125126A1
Authority
WO
WIPO (PCT)
Prior art keywords
journal
storage
storage device
data
storage resource
Prior art date
Application number
PCT/JP2010/002540
Other languages
English (en)
French (fr)
Inventor
近藤修次
奥元勝博
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN201080008833.2A priority Critical patent/CN102326152B/zh
Priority to PCT/JP2010/002540 priority patent/WO2011125126A1/ja
Priority to US12/864,298 priority patent/US8375004B2/en
Priority to JP2012509185A priority patent/JP5270796B2/ja
Priority to EP10841823.7A priority patent/EP2423818B1/en
Publication of WO2011125126A1 publication Critical patent/WO2011125126A1/ja
Priority to US13/740,351 priority patent/US9880910B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2058—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1629—Error detection by comparing the output of redundant processing systems
    • G06F11/1641—Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components
    • G06F11/1645—Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components and the comparison itself uses redundant hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074—Asynchronous techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2079—Bidirectional techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082—Data synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/855—Details of asynchronous mirroring using a journal to transfer not-yet-mirrored changes

Definitions

  • the present invention relates to storage control in a storage system that performs remote copy, which is a copy of data between storage apparatuses.
  • Remote copy which is a copy of data between the first and second storage devices.
  • remote copy for example, there are synchronous remote copy and asynchronous remote copy.
  • the first storage device receives a write request from the host
  • synchronous remote copy is employed, the data following the write request is transferred from the first storage device to the second storage device, and then the write request is made.
  • Completion response is sent to the host device, but if asynchronous remote copy is employed, the write completion is completed even if the data according to the write request is not transferred from the first storage device to the second storage device.
  • a response is sent to the host device.
  • the first storage device has a first JVOL in addition to the first DVOL (logical volume in which data is stored). (Logical volume in which a journal (hereinafter referred to as JNL) is stored).
  • the second storage device has a second JVOL in addition to the second DVOL.
  • the first storage device stores the data according to the write request in the first DVOL, and stores the JNL of the data in the first JVOL.
  • the first storage device transfers the JNL in the first JVOL to the second storage device, and the second storage device writes the JNL from the first storage device to the second JVOL.
  • the second storage device writes the data held by the JNL in the second JVOL to the second DVOL.
  • the data written to the first DVOL is copied to the second DVOL.
  • Patent Document 1 discloses a multi-target asynchronous remote copy system. In the multi-target method, a plurality of copy destinations exist for one copy source. Specifically, Patent Document 1 discloses, for example, the following.
  • (*) There are a first storage device, a second storage device, and a third storage device.
  • the first storage device is a copy source, and the second and third storage devices are copy destinations from the first storage device.
  • the first host device is connected to the first storage device, the second host device is connected to the second storage device, and the third host device is connected to the third storage device.
  • the first storage device has a first DVOL, a first first JVOL, and a second first JVOL.
  • the second storage device has a second DVOL and a second JVOL.
  • the first and second DVOLs are paired.
  • the first DVOL is a primary DVOL
  • the second DVOL is a secondary DVOL.
  • the third storage device has a third DVOL and a third JVOL.
  • the first and third DVOLs are paired.
  • the first DVOL is the primary DVOL
  • the third DVOL is the secondary DVOL.
  • the first host device writes data to the first DVOL.
  • the first storage device writes the JNL of the data to be written to the first DVOL to both the first first JVOL and the second first JVOL.
  • JNL includes an update number in addition to input / output target data of the host device.
  • the JNL in the first first JVOL is copied to the second JVOL.
  • the second storage device reflects the JNL having the oldest update number among the one or more unreflected JNLs in the second JVOL in the second DVOL (the data held in the JNL 2 DVOL).
  • the JNL in the second first JVOL is copied to the third JVOL.
  • the third storage device reflects the JNL having the oldest update number among the one or more unreflected JNLs in the third JVOL in the third DVOL (the data held in the JNL 3 DVOL).
  • the second host device After the second storage device becomes the copy source, the second host device writes data to the second DVOL, the second storage device updates the update number, and the JNL including the update number and data Is written to the second JVOL.
  • the JNL is copied from the second JVOL to the third JVOL, and the third storage device writes the data held by the JNL in the third JVOL to the third DVOL.
  • the starting point of the update number in the second storage device is the latest update number among the JNLs already reflected in the second storage device. This is because the second DVOL has data up to the order represented by the latest update number.
  • the latest update number in the JNL reflected in the second storage device is older than the latest update number in the JNL reflected in the third storage device. This is because in that case, the state of the second DVOL is older than the state of the third DVOL, and data is copied from the DVOL in the old state to the DVOL in the new state.
  • Such a problem may also occur when the first storage device is stopped for a reason other than a failure (for example, when the first storage device is stopped due to a so-called planned stop for maintenance).
  • an object of the present invention is to appropriately continue the business even when the first storage device is stopped in the multi-target asynchronous remote copy system.
  • a first storage device having a first storage resource group and connected to a first host device, and a second storage device having a second storage resource group and connected to a second host device And a third storage device having a third storage resource group and connected to a third host device.
  • the first storage resource group has a first data volume that is a logical volume to which data is written, and a first journal storage resource that is a storage resource to which a data journal is written.
  • the second storage resource group has a second data volume that is a logical volume to which data is written, and a second journal storage resource that is a storage resource to which a data journal is written.
  • the third storage resource group has a third data volume that is a logical volume to which data is written, and a third journal storage resource that is a storage resource to which a data journal is written.
  • the first storage device When data is written from the host device to the first data volume, the first storage device updates an update number, which is a number that is updated each time data is written to the data volume in the first storage resource group. A journal including the update number and the data is created, and the journal is written to the first journal storage resource.
  • Multi-target asynchronous remote copy is performed.
  • the journal is transferred from the first storage device to the second storage device and reflected in the second data volume, so that the data in the first data volume is written to the second data volume.
  • the journal is transferred from the first storage device to the third storage device and reflected in the third data volume, so that the data in the first data volume is written into the third data volume.
  • the following is performed.
  • (A1) The journal is copied from the first journal storage resource to the second journal storage resource.
  • the second storage device reflects one or more unreflected journals in the second journal storage resource in the second data volume in the order of the update numbers.
  • the journal is copied from the first journal storage resource to the third journal storage resource.
  • the third storage device reflects one or more unreflected journals in the third journal storage resource to the third data volume in the order of the update numbers.
  • (X1) It is determined which one of the update number of the journal reflected recently in the second storage device and the update number of the journal reflected recently in the third storage device is newer.
  • (X2) It is determined whether or not there is one or more difference journals in the new storage device (the storage device having the update number determined to be new in (x1)) among the second and third storage devices.
  • the one or more differential journals are one or more journals from a journal having an update number next to an update number not determined to be new in (x1) to a journal having an update number determined to be new in (x1). .
  • FIG. 1 shows a configuration of an asynchronous remote copy system according to Embodiment 1 of the present invention. Indicates the path between storage devices.
  • the status of the JNL groups 112A, 112B and 112C in FIG. 6 and the validity / invalidity of the mirror are shown.
  • the status of the JNL groups 112B and 112C in FIG. 7 and the validity / invalidity of the mirror are shown.
  • the status of the JNL groups 112B and 112C in FIG. 10 and the validity / invalidity of the mirror are shown.
  • An overview of multi-target asynchronous remote copy is shown below. A part of processing performed when a failure occurs in the first storage 105A is shown.
  • An outline of differential resync from the third storage 105C to the second storage 105B is shown.
  • An outline of differential resync from the second storage 105B to the third storage 105C is shown.
  • An overview of business continuation after differential resync is complete is shown.
  • the configuration of the first storage 105A is shown.
  • the structure of JNL is shown.
  • the structure of JVOL115A is shown.
  • the structure of meta information is shown.
  • the control information which each storage has is shown.
  • the structure of the JVOL effective bitmap 701A is shown.
  • the structure of the DVOL effective bitmap 702A is shown.
  • the structure of the JVOL management table 703A is shown.
  • the structure of the JNL group management table 704A is shown.
  • the structure of the pair management table 705A is shown.
  • the flow of difference management and formation copy is shown.
  • the flow of write processing in the first storage 105A is shown.
  • the flow of JNL read processing is shown.
  • the flow of JNL reflection processing is shown.
  • a flow of processing relating to the usage rate check of the first JVOL 115A is shown.
  • a flow of processing performed when a failure occurs in the first storage 105A is shown.
  • An example of a case where differential resync is possible is shown.
  • An example of a case where differential resync is not possible is shown.
  • the timing at which data writing from the second host 103B to the second DVOL 113B is permitted is shown.
  • the timing at which data writing from the second host 103B to the second DVOL 113B is permitted is shown.
  • the flow of write processing in the second storage 105B when differential resync from the third storage 105C to the second storage 105B is performed is shown.
  • the flow of the JNL reflection process in the second storage 105B when differential resync from the third storage 105C to the second storage 105B is performed is shown.
  • the flow of read processing in the second storage 105B when differential resync from the third storage 105C to the second storage 105B is performed is shown.
  • Embodiment 4 of this invention the flow of the process regarding judgment of the necessity of transfer of difference JNL is shown. An example of a case where there is a difference JNL that does not require transfer will be shown.
  • xxx table and “xxx bitmap”, but the various types of information may be expressed in a data structure other than a table or a bitmap. . In order to show that it does not depend on the data structure, “xxx table” and “xxx bitmap” can be called “xxx information”.
  • numbers are mainly used as identification information for various objects, but other types of identification information (for example, names) may be employed instead of numbers.
  • FIG. 1 shows a configuration of an asynchronous remote copy system according to the first embodiment of the present invention.
  • a journal is described as “JNL”
  • a data volume that is a logical volume to which data is written is described as “DVOL”
  • a JNL volume that is a logical volume to which JNL is written is described as “JVOL”.
  • the host device is described as “host”
  • the storage device is described as “storage”
  • DKC controller
  • first site 101A There are three or more sites, for example, a first site 101A, a second site 101B, and a third site 101C.
  • the reference numerals of the elements included in the first site 101A are combinations of the parent number and the child code “A”
  • the reference numerals of the elements included in the second site 101B are the parent numbers And the child code “B”
  • the reference code of the element included in the third site 101B is a combination of the parent number and the child code “C”.
  • the first site 101A has a first storage 105A and a first host 103A connected to the first storage 105A.
  • the first storage 105A includes a first DKC 111A and a first JNL group 112A.
  • One JNL group 112A includes a DVOL 113A and a JVOL 115A.
  • the second and third sites 101B and 101C have the same configuration as the first site 101A.
  • the storages 105A and 105B are physically connected via a dedicated line (or communication network).
  • the storages 105B and 105C are also physically connected via a dedicated line (or communication network).
  • the storages 105A and 105C are also physically connected via a dedicated line (or communication network).
  • the control path is a path necessary for differential resync (described later). Specifically, for example, a path through which a sequence number acquisition request (described later) flows in the differential resync process.
  • the data transfer path is a path through which JNL flows. Both the control path and the data transfer path are paths capable of bidirectional communication.
  • mirror There is a logical connection between JNL groups called “mirror”.
  • the connection between JNL groups 112A and 112B is mirror # 0 (mirror (M0) assigned number “0”)
  • the connection between JNL groups 112A and 112C is mirror # 1 ( The number “1” is a mirror (M1))
  • the connection between the JNL groups 112B and 112C is a mirror # 2 (a mirror (M2) assigned a number “2”).
  • the first site 101A is the operation site.
  • the status of the first JNL group 112A is “master”, and the statuses of the second and third JNL groups 112B and 112C are “restore”.
  • the status “master” means the copy source.
  • the status “restore” means a copy destination.
  • the dotted-line mirror is an invalid mirror, and the solid-line mirror is an effective mirror.
  • the first DVOL 113A is a primary DVOL (hereinafter referred to as PVOL), and the second and third DVOLs 113B and 113C are secondary DVOLs (hereinafter referred to as SVOL).
  • PVOL primary DVOL
  • SVOL secondary DVOL
  • the first host 103A writes data to the PVOL 113A as the business is executed (S11).
  • the first storage 105A updates the sequence number (hereinafter, SEQ #), creates a JNL having the updated SEQ # and the data written to the PVOL 113A, and writes the created JNL to the first JVOL 115A ( S12).
  • SEQ # is a number updated (for example, incremented (or decremented by 1)) each time data is written to the first JNL group 112A (DVOL in the first JNL group 112A).
  • the second storage 105B reads the JNL from the first JVOL 115A and writes the read JNL to the second JVOL 115B (S21).
  • the second storage 105B reflects one or more unreflected JNLs in the second JVOL 115B to the SVOL 113B in ascending order of SEQ # (S22).
  • the second storage 105B writes the data held in the unreflected JNL in the second JVOL 115B to the SVOL 113B.
  • the data written to the PVOL 113A is copied to the SVOL 113B.
  • the third storage 105C reads the JNL from the first JVOL 115A, and writes the read JNL to the third JVOL 115C (S31).
  • the third storage 105C reflects one or more unreflected JNLs in the third JVOL 115C to the SVOL 113C in the ascending order of SEQ # (S32).
  • the third storage 105C writes the data held in the unreflected JNL in the third JVOL 115C to the SVOL 113C.
  • the data written to the PVOL 113A is copied to the SVOL 113C.
  • a JVOL included in one copy source JNL group is common to a plurality of copy destination JNL groups.
  • the number of JVOLs included in one copy source JNL group does not depend on the number of copy destination JNL groups. This is realized by copying (transferring) the JNL between the storage apparatuses when the copy destination storage apparatus reads the JNL from the JVOL in the copy source storage apparatus. According to this feature, the storage capacity consumed in the first storage 105A can be saved.
  • the operation site is switched from the first site 101A to the second site 101B.
  • failover from the first host 103A to the second host 103B is performed (S41).
  • the second host 103B transmits a predetermined command to the second storage 105B (S42).
  • the second storage 105B receives a predetermined command.
  • the mirror # 2 is enabled by the storage 105B and / or 105C, and the statuses of the second and third JNL groups 112B and 112C are temporarily set to “master / restore”.
  • the status “master / restore” means that it is both a copy source and a copy destination.
  • the statuses of the second and third JNL groups 112B and 112C are “master / restore” until the differential resync (described later) ends.
  • the second storage 105B requests the third storage 105C for the SEQ # (hereinafter, SEQ # (3)) that the JNL recently reflected in the third storage 105C has (sequence).
  • SEQ # (3) is received from the third storage 105C.
  • the second storage 105B determines which of SEQ # (3) and SEQ # (hereinafter referred to as SEQ # (2)) of JNL recently reflected in the second storage 105B is newer.
  • differential resync shown in FIGS. 8 and 9 is performed.
  • the second storage 105B reads one or more difference JNLs from the third JVOL 115C, and the second storage 105B Write to the JVOL 115B (S44-1).
  • the “difference JNL of 1 or more” referred to here is one or more JNLs from the JNL having the SEQ # next to the SEQ # (2) to the JNL having the SEQ # (3).
  • the second storage 105B reflects the one or more differential JNLs in the second JVOL 115B to the second DVOL 113B in the ascending order of SEQ #, starting with the journal having the SEQ # next to SEQ # (2). (S45-1). As a result, the data in the second DVOL 113B matches the data in the third DVOL 113C at the start of differential resync.
  • the second storage 105B uses one or more differential JNLs in the second JVOL 115B as the third JVOL 115C.
  • the “difference JNL of 1 or more” referred to here is one or more JNLs from the JNL having the SEQ # next to the SEQ # (3) to the JNL having the SEQ # (2).
  • the third storage 105C reflects one or more differential JNLs in the third JVOL 115C to the third DVOL 113C in the ascending order of SEQ #, starting with the journal having the SEQ # next to SEQ # (3). (S45-2). As a result, the data in the third DVOL 113C matches the data in the second DVOL 113B at the start of differential resync.
  • the second site 101B becomes the operation site, and the business continues. Specifically, as shown in FIG. 5, the status of the second JNL group 112B is “master”, and the status of the third JNL group 112C is “restore”. Therefore, as shown in FIG. 10, the second DVOL 113B becomes a PVOL, and the third DVOL 113C becomes an SVOL.
  • the second host 103B writes data to the PVOL 113B (S51).
  • the second storage 105B updates the SEQ #, creates a JNL having the SEQ # and the data written to the PVOL 113B, and writes the created JNL to the second JVOL 115B (S52).
  • the third storage 105C reads JNL from the second JVOL 115B, and writes the read JNL to the third JVOL 115C (S53).
  • the third storage 105C reflects the JNL in the third JVOL 115C in the SVOL 113C in the order of ascending SEQ # (S54).
  • the second storage 105B acquires SEQ # (3) from the third storage 105C, determines which of SEQ # (3) and SEQ # (2) is new, and the determination Based on the result of the above, it is controlled from which of the second and third storages 105B and 105C to which one or more differential JNLs are transferred.
  • the second and third storages 105B and 105C to which one or more differential JNLs are transferred.
  • the elements in the first site 101A will be described as a representative example, but unless otherwise specified, the elements in the second and third sites 101B and 101C are in the first site 101A. Is essentially the same as
  • FIG. 11 shows the configuration of the first storage 105A.
  • the first storage 105A includes a first DKC 111A and a plurality of RAID (Redundant Array of Independent) (or Inexpensive) Disks (hereinafter referred to as RG) 900A.
  • the RG 900A is composed of a plurality of HDDs (Hard Disk Disk Drive). Instead of the HDD, another physical storage device such as a flash memory may be employed.
  • One or more logical volumes are based on one RG 900A.
  • the logical volume is, for example, the above-mentioned DVOL or JVOL, but either of them may be a substantive logical volume that is a part of the storage space of the RG900A, and is configured based on one or more RG900. It may be a virtual logical volume (virtual logical volume according to Thin Provisioning technology) to which a real area is dynamically allocated from a pool (a storage area composed of a plurality of real areas).
  • the DKC 111A includes a plurality of front-end interface devices (hereinafter referred to as FE-IF) 610A, a back-end interface device (hereinafter referred to as BE-IF) 150A, a cache memory (hereinafter referred to as CM) 620A, and a shared memory (hereinafter referred to as SM). 640A and one or more CPUs (Central Processing Unit) 630A connected to them. The processing of the DKC 111A may be performed by the CPU 630A executing one or more computer programs, but at least a part of the processing may be performed by a hardware circuit.
  • FE-IF front-end interface devices
  • BE-IF back-end interface device
  • CM cache memory
  • SM shared memory
  • 640A and one or more CPUs (Central Processing Unit) 630A connected to them.
  • the processing of the DKC 111A may be performed by the CPU 630A executing one or more computer programs, but at least a part of the processing may be performed by
  • the first host 103A and the second and third storages 105B and 105C are connected to the plurality of FE-IFs 610A.
  • the DKC 111A (CPU 630A) communicates with the first host 103A, the second and third storages 105B and 105C via the FE-IF 610A.
  • a plurality of RG900A are connected to the BE-IF 150A.
  • the DKC 111A (CPU 630A) writes data (or JNL) to the RG 900A that is the basis of the write destination logical volume (for example, the first DVOL 113A or the first JVOL 115A) via the BE-IF 150A.
  • CM 620A stores data (and JNL) written to RG 900A and data (and JNL) read from RG 900A.
  • SM640A stores various control information used for controlling the processing of DKC 111A.
  • the CPU 630A controls processing performed by the DKC 111A.
  • the DKC 111A is not limited to the configuration shown in FIG. 11, and may have other configurations.
  • the configurations of the second and third storages 105B and 105C are substantially the same as the configuration of the first storage 105A.
  • the configuration of the DKC 111B or 111C may be different from the configuration of the DKC 111A.
  • FIG. 12 shows the configuration of JNL
  • FIG. 13 shows the configuration of JVOL 115A.
  • JNL consists of meta information and data.
  • the JVOL 115A includes a meta area 1201A and a data area 1203A.
  • the meta area 1201A stores meta information
  • the data area 1203A stores data. Note that the meta area 1201A may exist in a storage resource other than the RG 900A, such as the CM 620A.
  • FIG. 14 shows the structure of meta information.
  • the meta information is management information regarding data included in the JNL.
  • the meta information is, for example, the following information: (*) SEQ #, (*) Write destination information (information indicating where in the DVOL data is written) (*) PVOL # (copy source DVOL number), (*) SVOL # (copy destination DVOL number), (*) Information indicating the position in the JVOL of the data corresponding to this meta information (this information is included when the JNL is written in the JVOL), including.
  • the first DKC 111A manages SEQ #. SEQ # exists for each JNL group 112A.
  • the first DKC 111A writes data to the DVOL 113A in a certain JNL group 112A
  • the first DKC 111A updates the SEQ # corresponding to the JNL group 112A.
  • SEQ # is stored in, for example, SM640A or another storage resource.
  • the second storage 105B manages the SEQ # for each JNL group 112B.
  • the SM 640A uses, as control information, for example, a JVOL valid bitmap 701A, a DVOL valid bitmap 702A, a JVOL management table 703A, a JNL group management table 704A, a pair management table 705A, a difference bitmap 706A, and A mirror bitmap 707A is stored.
  • the SM 640B in the second storage 105B stores control information 701B to 707B
  • the SM 640C in the third storage 105C stores control information 701C to 707C.
  • the control information 701A to 707A will be described as a representative.
  • the JNL group can have a maximum of 64 logical volumes, for example. As shown in FIG. 16, the JVOL effective bitmap 701A has 64 bits for each JNL group. If the nth (n is an integer between 0 and 63) logical volume is JVOL115A, the nth bit is on (eg, 1).
  • the DVOL effective bitmap 702A has 64 bits for each JNL group, as shown in FIG. If the nth (n is an integer between 0 and 63) logical volume is JVOL115A, the nth bit is on (eg, 1).
  • the JVOL management table 703A exists for each JNL group 112A. As shown in FIG. 18, the table 703A represents the information indicating the start address of the meta area, the information indicating the size of the meta area, the information indicating the start address of the data area, and the size of the data area for each JVOL 115A. Information. That is, the table 703A indicates where from where to where is the meta area and where from where is the data area for each JVOL 115A.
  • the JNL group management table 704A has information regarding the JNL group. Specifically, for example, as shown in FIG. 19, the table 704A includes the following information for each JNL group: (*) JNL group # 1001A representing the number of the JNL group, (*) Status 1002A indicating the status of the JNL group, (*) Mirror # 1003A indicating the number of the mirror existing in the remote copy system according to the present embodiment, (*) Partner JNL group # 1004A representing the partner JNL group number, (*) Partner storage # 1005A indicating the number of the storage device having the partner JNL group, (*) Purged SEQ # 1006A representing SEQ # of recently purged JNL, (*) Purgeable SEQ # 1007A representing SEQ # of JNL that may be purged, (*) Read SEQ # 1008A representing SEQ # of recently read JNL, Have
  • the pair management table 705A has information regarding a pair of DVOLs. Specifically, for example, as shown in FIG. 20, the table 705A includes the following information for each DVOL 113A: (*) DVOL # 1101A representing the number of DVOL113A, (*) JNL group # 1102A representing the number of JNL group 112A including DVOL 113A, (*) Copy destination VOL # 1103A representing the DVOL number of the copy destination of DVOL 113A, (*) For a pair of DVOL 113A and copy destination DVOL, status 1104A indicating the pair status of DVOL 113A, Have
  • the difference bitmap 706A is provided for each DVOL 113A.
  • the DVOL 113A is composed of a plurality of blocks.
  • the difference bitmap 706A represents which block of the DVOL 113A has been updated. That is, the bits included in the difference bitmap 706A correspond to blocks.
  • the difference bitmap 706A is updated when the pair status of the DVOL 113A is a predetermined status. Specifically, for example, when the pair status of a certain DVOL 113A is a predetermined status and data is written to a certain block in the DVOL 113A, the DKC 111A, in the difference bitmap 706A corresponding to the DVOL 113A, The bit corresponding to the block is changed to ON (for example, 1).
  • the mirror bitmap 707A represents which mirror is valid and which mirror is invalid. Specifically, the mirror bitmap 707A has a plurality of bits corresponding to a plurality of mirrors. For example, normally, mirrors # 0 and # 1 are valid and mirror # 2 is invalid (see FIG. 6). In this case, the bit corresponding to mirrors # 0 and # 1 is on (for example, 1), and the bit corresponding to mirror # 2 is off (for example, 0). When a failure occurs in the first storage 105A, mirrors # 0 and # 1 are invalid and mirror # 2 is valid (see FIG. 10). In this case, the bit corresponding to mirrors # 0 and # 1 is off, and the bit corresponding to mirror # 2 is on.
  • both the status of the pair of PVOL 113A and SVOL 113B and the status of the pair of PVOL 113A and SVOL 113C may be suspended (S2101-1, S2101-2).
  • the pair status of the PVOL 113A is “PSUS” (primary suspend)
  • the pair status of the SVOLs 113B and 113C is “SSUS”.
  • the first DKC 111A resets SEQ # corresponding to the JNL group 112A including the PVOL 113A to a predetermined value (for example, zero).
  • the first DKC 111A writes data to the PVOL 113A, it does not create a JNL having that data.
  • the first DKC 111A writes data to a certain write destination block of the PVOL 113A (S2102)
  • the pair status of the PVOL 113A is “PSUS”
  • the write destination block in the difference bitmap 706A corresponding to the PVOL 113A The bit corresponding to is turned on (for example, 1) (S2103).
  • S2103 is performed every time data is written to an unupdated block in the PVOL 113A.
  • the first DKC 111A receives a formation copy instruction from the first host 103A (or a management terminal (not shown) connected to the first DKC 111A) (S2111).
  • the receipt of the formation copy instruction is a trigger for starting the formation copy.
  • the formation copy may be performed in parallel for the first pair (PVOL 113A and SVOL 113B pair) and the second pair (PVOL 113A and SVOL 113C pair), but in this embodiment, they are not performed in parallel. It is done sequentially. For this reason, the concentration of access to the PVOL 113A can be reduced.
  • the formation copy is performed for the first pair. That is, the first DKC 111A specifies a block corresponding to a bit that is turned on in the difference bitmap 706A (a block in the PVOL 113A corresponding to the difference bitmap 706A). Then, the first DKC 111A creates a JNL having the data in the specified block, and writes the created JNL in the second JVOL 115B without storing it in the first JVOL 115A (S2112). The second DKC 111B reflects the JNL in the second JVOL 115B in the SVOL 113B (S2113). Steps S2112 and S2113 are performed for all updated blocks (blocks corresponding to bits that are turned on) in the PVOL 113A.
  • the formation copy is performed for the second pair. That is, the first DKC 111A creates a JNL having data in the updated block in the PVOL 113A, and writes the created JNL in the third JVOL 115C without storing it in the first JVOL 115A (S2115).
  • the third DKC 111C reflects the JNL in the third JVOL 115C in the SVOL 113C (S2116). S2115 and S2116 are performed for all updated blocks in the PVOL 113A.
  • the first DKC 111A receives a write request designating the PVOL 113A from the first host 103A (S2201), secures a CM area (cache memory area) in the CM 630A, and secures it in the secured CM area. Then, data according to the write request (data to be written) is written (S2202). At this time, the first DKC 111A may respond to the completion of writing to the first host 103A.
  • the first DKC 111A writes the write target data in the CM 630A to the PVOL 113A (S2203).
  • the first DKC 111A updates the SEQ # corresponding to the JNL group 112A including the PVOL 113A (S2211).
  • the first DKC 111A creates a JNL (S2212), and writes the created JNL to the first JVOL 115A.
  • the JNL created in S2212 has meta information including SEQ # (or SEQ # before update) updated in S2211, and data written in the PVOL 113A in S2203.
  • the data may be data read from the PVOL 113A or data remaining in the CM 630A.
  • the JNL read process will be described by taking an example in which the second DKC 111B reads JNL from the first JVOL 115A.
  • the second DKC 111B calculates the read target SEQ # (S2301).
  • “Read target SEQ #” is a SEQ # included in the JNL to be read. Specifically, the read target SEQ # is a value obtained by adding 1 to a value represented by the read SEQ # 1008B (information 1008B in the JNL group management table 704B) corresponding to the mirror # 0 of the JNL group 112B (that is, (The next value after the value represented by the read SEQ # 1008B).
  • the second DKC 111B transmits a read request to the first storage 105A (S2302).
  • the read request includes the read target SEQ # calculated in S2301 and the number of the JVOL 115A that is the JNL read source (or the LUN (Logical Unit Number) corresponding thereto).
  • the number of JVOL 115A is specified from, for example, control information stored in SM640B.
  • the control information includes the number of the JVOL 112A included in the JNL group 112A corresponding to the JNL group 112B including the SVOL 113B.
  • the first DKC 111A receives the read request from the second DKC 111B. Based on the read request, the first DKC 111A identifies the JNL having the read target SEQ # from the read-source JVOL 115A (S2303). The first DKC 111A reads the identified JNL from the read source JVOL 115A, and transmits the read JNL to the second DKC 111B via the data transfer path between the first and second storages 105A and 105B ( S2304).
  • the second DKC 111B receives the JNL from the first DKC 111A, and writes the received JNL into the second JVOL 115B (S2305).
  • the second DKC 111B changes the value represented by the read SEQ # 1008B corresponding to the mirror # 0 of the JNL group 112B having the SVOL 113B to the value represented by the read target SEQ # (S2306). That is, the second DKC 111B adds 1 to the value represented by the read SEQ # 1008B.
  • JNL reflection processing will be described.
  • the second DKC 111B reflects the JNL having the oldest SEQ # among the one or more unreflected JNLs in the second JVOL 115B in the SVOL 113B (S2401). Specifically, the second DKC 111B includes a JNL including a SEQ # that is one greater than the value represented by the purgeable SEQ # 1007B (information 1007B included in the JNL group management table 704B) corresponding to the mirror # 0 of the JNL group 112B. , Read from the second JVOL 115B, and writes the data of the read JNL to the SVOL 113B.
  • the second DKC 111B changes the value represented by the purgeable SEQ # 1007B corresponding to the mirror # 0 of the JNL group 112B (S2402). Specifically, the second DKC 111B adds 1 to the value represented by the purgeable SEQ # 1007B.
  • the second DKC 111B notifies the first DCK 111A of the value represented by the purgeable SEQ # 1007B after the update (S2403).
  • the first DKC 111A changes the value represented by the purgeable SEQ # 1007A corresponding to the mirror # 0 of the JNL group 112A to the value notified from the second DKC 111B (S2404).
  • Each DKC checks the JVOL in the storage having the DKC periodically (or irregularly).
  • this will be described by taking the first storage 105A as an example.
  • the first DKC 111A performs the process shown in FIG. 25 periodically (or irregularly).
  • the first DKC 111A determines whether there is a purgeable JNL in the JNL in the first JVOL 115A (S2502).
  • the JNL that can be purged is from the following JNL in (A) to JNL in (B).
  • the first DKC 111A purges the purgeable JNL from the first JVOL 115A (S2503). Thereafter, the first DKC 111A performs S2501.
  • the first DKC 111A suspends the neck pair (S2504).
  • the “neck pair” is a pair corresponding to either the mirror # 0 or the mirror # 1, and is the pair with the smaller value represented by the purgeable SEQ # 10007A.
  • the pair is a bottleneck because the smaller purgeable SEQ # 10007A is much smaller than the larger purgeable SEQ # 10007A, thus reducing the number of JNLs that can be purged. .
  • the number of JNLs that can be purged increases. Specifically, the purgeable JNL is up to the JNL including the value represented by the larger purgeable SEQ # 10007A as SEQ #. Therefore, the first DKC 111A performs S2502 and S2503 after S2504.
  • the first DKC 111A performs difference management and resync for the pair (S2510). Specifically, the following is performed (in this description, the neck pair is a pair corresponding to mirror # 1).
  • the bit corresponding to the write destination block of the data (the bit in the differential bitmap 706A corresponding to the PVOL 113A) is turned off. Turn on.
  • the first DKC 111A performs resync at a predetermined timing (for example, when a resync instruction is received from the first host 103A (or management terminal)). Specifically, the first DKC 111A writes JNL including data in the block corresponding to the ON bit to the third JVOL 115C.
  • the second host 103B transmits a takeover command as a predetermined command to the second storage 105B (S2603).
  • the second DKC 111B updates various statuses in response to the takeover command (S2604). Specifically, for example, the second DKC 111B performs the following update.
  • the pair status corresponding to DVOL 113B and mirror # 0 is updated to “SSWS”.
  • the second DKC 111B normally prohibits data writing from the second host 103B to the DVOL 113B if the DVOL 113B is SVOL. However, “SSWS” writes data even if the DVOL 113B is SVOL. Means that is allowed.
  • the pair status corresponding to DVOL 113B and mirror # 1 is updated to “SSUS”. “SSUS” means that the pair corresponding to the mirror # 1 is suspended.
  • the second DKC 111B acquires the value represented by the purgeable SEQ # from the third storage 105C (S2605). Specifically, for example, the second DKC 111B sets the value represented by the purgeable SEQ # 1007C (information 1007C in the JNL group management table 704C) corresponding to the JNL group 112C and the mirror # 2 to the second and third A request is made to the third storage 105C via the control path between the storages 105B and 105C. In response to the request, the third DKC 111C notifies the second DKC 111B of the value represented by the purgeable SEQ # 1007C corresponding to the JNL group 112C and mirror # 2 via the control path.
  • the second DKC 111B compares the value represented by the purgeable SEQ # 1007B corresponding to the JNL group 112B and mirror # 2 with the value represented by the acquired purgeable SEQ # 1007C (S2606). That is, the second DKC 111B has the SEQ # (hereinafter, SEQ # (2)) that the JNL recently reflected in the second storage 105B and the SEQ # ( Hereinafter, SEQ # (3)) is compared.
  • the second DKC 111B determines whether differential resynchronization is possible (S2607).
  • the case where differential resync is possible is as shown in FIG. 27, that is, the value represented by the purged SEQ # corresponding to the JNL group of storage (large) and mirror # 2 is equal to or less than SEQ # (small). It is. In other words, the storage (large) is changed from the JNL (hereinafter, JNL (X)) to SEQ # including the SEQ # (SEQ # (equal to SEQ # (small) +1) following the SEQ # (small). This is a case of having a JNL including (large) (hereinafter, JNL (Y)).
  • JNLs from JNL (X) to JNL (Y) ie, one or more JNLs including SEQ # from SEQ # to SEQ # (large) equal to SEQ # (small) +1
  • difference JNL of 1 or more ie, one or more JNLs including SEQ # from SEQ # to SEQ # (large) equal to SEQ # (small) +1
  • the case where differential resync is impossible is as shown in FIG. 28, that is, the value represented by the purged SEQ # corresponding to the JNL group and mirror # 2 in the storage (large) is SEQ # (small). This is a case where the value is larger than the next SEQ # (SEQ # (equal to SEQ # (small) +1)). This is because SEQ # is not continuous.
  • the second DKC 111B performs a full copy (S2608). That is, the second DKC 111B converts all data stored in the DVOL (for example, DVOL 113B) in the storage having the larger SEQ # of SEQ # (2) and SEQ # (3) to SEQ # ( Copy to the DVOL (for example, DVOL 113C) in the storage having the smaller SEQ # of 2) and SEQ # (3). Thereby, the contents of DVOL 113B and the contents of DVOL 113C match.
  • S2607 If the result of the determination in S2607 is positive (S2607: YES), if SEQ # (2) is greater than SEQ # (3) (S2609: YES), the difference from the second storage 105B to the third storage 105C Resync is performed (S2610). That is, the differential resync shown in FIG. 9 is performed. Specifically, the second DKC 111B reads one or more differential JNLs from the second JVOL 115B, and writes one or more differential JNL write requests (write request designating the third JVOL 115C) to the third storage 105C.
  • one or more differential JNLs are written to the third JVOL 115C (instead of the read request (SEQ # (3) next to SEQ # (3)) by the third DKC 111C specifying the second JVOL 115B.
  • one or more differential JNLs may be received from the second storage 105B and the one or more differential JNLs may be written to the third JVOL 115C.
  • the third DKC 111C reflects the one or more difference JNLs in the third JVOL 115C to the DVOL 113C in the ascending order of SEQ #, starting from the JNL having the SEQ # next to SEQ # (3). As a result, the contents of the DVOL 113C match the contents of the DVOL 113B.
  • S2607 If the result of the determination in S2607 is positive (S2607: YES), if SEQ # (2) is smaller than SEQ # (3) (S2609: NO), the difference from the third storage 105B to the second storage 105C Resync is performed (S2611). That is, the differential resync shown in FIG. 8 is performed. Specifically, the second DKC 111B transmits a read request designating the third JVOL 115C (the read request including SEQ # (3) from SEQ # (2) next to SEQ # (2)) and responding to it.
  • One or more differential JNLs are received from the third storage 105C, and the one or more differential JNLs are written to the second JVOL 115B (instead, the third DKC 111B has one or more differences from the third JVOL 115C.
  • the JNL is read, and one or more differential JNL write requests (write request designating the second JVOL 115B) may be sent to the second storage 105B to write one or more differential JNLs to the second JVOL 115B) .
  • the second DKC 111B reflects the one or more difference JNLs in the second JVOL 115B to the DVOL 113B in the ascending order of SEQ #, starting from the JNL having the SEQ # next to SEQ # (2). Thereby, the contents of DVOL 113B match the contents of DVOL 113C.
  • the second DKC 111B permits writing of data from the second host 103B to the second DVOL 113B (S2902). . Specifically, the second DKC 111B updates the pair status corresponding to the DVOL 113B and the mirror # 2 to “SSWS” (that is, write permission). As a result, not only the pair status corresponding to the DVOL 113B and the mirror # 0 but also the pair status corresponding to the mirror # 2 is set to “SSWS”, so that the data writing from the second host 103B to the second DVOL 113B is performed. It becomes possible.
  • the second DKC 11B sets the second DVOL 113B as a PVOL (the third DVOL 113C is an SVOL).
  • the initial value of the SEQ # corresponding to the JNL group 112B is the SEQ # (that is, the SEQ # () that follows the larger SEQ # of the SEQ # (2) and SEQ # (3). 2) and SEQ # (3), which is the larger SEQ # (added by 1).
  • the second host 103B transmits a write request designating the PVOL 113B to the second storage 105B according to the business.
  • the second DCK 111B writes data according to the write request to the CM 630B, and then writes to the PVOL 113B.
  • the second DKC 111B updates SEQ #, creates a JNL including the updated SEQ # (or SEQ # before update) and the data written in the PVOL 113B, and writes the JNL in the second JVOL 115B.
  • the third DKC 111C receives the JNL in the second JVOL 115B from the second storage 105B by transmitting a read request designating the second JVOL 115B to the second storage 105B.
  • the third DKC 111C writes the received JNK to the third JVOL 115C.
  • the third DKC 111C reflects the unreflected JNL in the third JVOL 115C to the SVOL 113C in the order of the SEQ #.
  • data written to the PVOL 113B is copied to the SVOL 113C.
  • the second storage 105B acquires the SEQ # (SEQ # (3)) of the JNL recently reflected in the third storage 105C in the site 101B that is the switching destination of the operation site. Then, SEQ # (3) is compared with SEQ # (SEQ # (2)) possessed by JNL recently reflected in the second storage 105B. In addition, the second storage 105B includes the purged SEQ # in the storage having the larger SEQ # of SEQ # (2) and SEQ # (3), and SEQ # (2) and SEQ # (3). Based on the relationship with the smaller SEQ #, it is determined whether differential resynchronization is possible.
  • differential resync is performed based on the result of the determination and the relationship between SEQ # (2) and SEQ # (3). As a result, even if the first storage 105A is stopped due to a failure or the like, the business is appropriately continued.
  • a JVOL included in one copy source JNL group is common to a plurality of copy destination JNL groups.
  • the number of JVOLs included in one copy source JNL group does not depend on the number of copy destination JNL groups.
  • Example 2 of the present invention will be described. In this case, differences from the first embodiment will be mainly described, and description of common points with the first embodiment will be omitted or simplified (this applies to the third and fourth embodiments).
  • writing of data to the second DVOL 113B is permitted even during differential resync.
  • the second host 103B transfers to the second DVOL 113B.
  • Data writing is permitted (S3002).
  • the second DKC 111B changes both the pair status corresponding to the second DVOL 113B and mirror # 0 and the pair status corresponding to the second DVOL 113B and mirror # 2 to “SSWS”. .
  • “when it is determined to be YES in S2607” is when it is determined that the differential resync of either S2610 or S2611 is performed.
  • the following problems may occur if no measures are taken. That is, in the differential resync from the third storage 105C to the second storage 105B, the data (the latest data) written from the second host 103B is replaced with the data in the differential JNL (the block in the DVOL 113B). (Old data) may be written.
  • the second DKC 111B when the second DKC 111B receives a write request designating the DVOL 113B from the second host 103B (S3101), the second DKC 111B writes the write target data to the write destination block in the DVOL 113B (S3102). At this time, the second DKC 111B manages the write destination block as a non-reflecting destination of JNL (S3103).
  • the SM 640B stores non-reflecting management information indicating a write destination that does not need to be reflected by the JNL
  • the second DKC 111B stores the number of the DVOL 113B and the address of the block of the DVOL 113B ( For example, LBA (Logical Block Address)) is registered in the non-reflecting management information.
  • LBA Logical Block Address
  • whether the JNL reflection destination block is a non-reflecting destination is, for example, whether the address of the reflecting block is registered in the non-reflecting management information.
  • Do not reflect JNL means, for example, to ignore JNL.
  • the ignored JNL may be left in the second JVOL 115B or may be immediately deleted from the second JVOL 115B.
  • the business can be started earlier than the first embodiment, and a problem that may occur when the DVOL 113B is in a write-permitted state during differential resync (in the block in which the latest data is written). In other words, old data in the difference JNL is written).
  • the second host 103B is allowed to read data from the second DVOL 113B even during differential resync (in the first embodiment, reading is prohibited). Specifically, for example, when it is determined that S2607 in FIG. 26 is YES, the second DKC 111B is allowed to read data from the second DVOL 113B.
  • the data read by the second host 103B from the DVOL 113B is the latest data (the data possessed by the differential JNL having the largest SEQ #). It may be old data.
  • the second DKC 111B receives a read request designating the DVOL 113B before the differential resync is completed (S3301)
  • the second DKC 111B secures a CM area in the CM 630B (S3302)
  • the differential resync is stored in the third storage. It is determined whether or not it is a differential resync from 105C to the second storage 105B (S3303).
  • the second DKC 111B reads data from the read source block (block in the DVOL 113B) designated by the read request, writes the read data to the CM area, The data in the CM area is transmitted to the second host 103B (S3307).
  • the second DKC 111B determines whether or not the latest JNL to which the read source block is reflected is in the second JVOL 115B (S3304). ).
  • the “latest JNL” mentioned here is one of one or more JNLs to which the read source block is a reflection target among the one or more difference JNLs included in the second and third JVOLs 115B and 115C.
  • the second DKC 111B reflects the latest JNL from the second JVOL 115B in the read source block in the DVOL 113B (S3306), and then performs S3307.
  • the second DKC 111B is a differential JNL to which the read source block is reflected in the differential resync, and a differential JNL older than the latest JNL (JNL having a SEQ # smaller than a SEQ # included in the latest JNL). ) Is not reflected in the read source block (for example, the JNL is purged from the second JVOL 111B).
  • the data transmitted to the second host 103B may be provided from the JNL instead of being provided from the second DVOL 113B.
  • the second DKC 111B sends the read request including the latest JNL SEQ # to the third storage 105C, so that the latest JNL 3 and the latest JNL is written to the second JVOL 115B. That is, the second DKC 111B obtains the latest JNL from the third storage 105C in preference to other JNLs. Thereafter, the second DKC 111B performs the above-described S3306 and S3307. Note that even in S3307 in the case of S3304: NO, the data transmitted to the second host 103B may be provided from the JNL instead of being provided from the second DVOL 113B.
  • the business can be started earlier than the first embodiment, and a problem that may occur when the DVOL 113B is in the read permission state during the differential resync (the latest data in the second host 103C). It is also possible to avoid that old data is provided instead.
  • the differential resync can be performed even if all the differential JNLs are not transferred between the storages 105B and 105C.
  • the second DKC 111B determines whether or not an unreflected JNL corresponding to the difference JNL exists in the old storage (S3401).
  • the “old storage” is the storage device 105B or 105C, which has the smaller SEQ # of SEQ # (2) and SEQ # (3) as the purgeable SEQ #.
  • the storage 105B and 105C that is not the old storage is hereinafter referred to as "new storage”.
  • an unreflected JNL corresponding to the difference JNL exists in the old storage means that the JVOL in the old storage has an unreflected SEQ # larger than the purgeable SEQ # in the old storage, as shown in FIG. JNL exists.
  • the old storage is the second storage 105B, for example, if there is at least one unreflected JNL in the second JVOL 115B, the result of the determination in S3401 is affirmative.
  • the second DKC 111B inquires the third DKC 111C about the value represented by the SEQ # included in the latest JNL in one or more unreflected JNLs.
  • the determination in S3401 can be made.
  • the second DKC 111B can make the determination in S3401 by comparing SEQ # (hereinafter, answer SEQ #) answered from the third DCK 111C with SEQ # (3) +1. it can. If the answer SEQ # is equal to or greater than SEQ # (3) +1, the result of the determination in S3401 is affirmative.
  • S3401 If the result of the determination in S3401 is negative (S3401: NO), S2607 in FIG. 26 is performed.
  • the second DKC 111B determines whether there is sufficient unreflected JNL in the old storage (S3402). If the SEQ # of the latest unreflected JNL in the old storage is greater than or equal to the SEQ # of the latest JNL among the one or more differential JNLs, the result of this determination is affirmative.
  • the DKC in the old storage among the one or more unreflected JNLs in the old storage, all the JNLs corresponding to one or more differential JNLs, This is reflected in the DVOL in the old storage (S3403). If there is a remaining unreflected JNL, the DKC in the old storage may purge the remaining JNL.
  • S3404 is performed. That is, the DKC in the old storage acquires the difference JNL for the shortage (JNL corresponding to the difference between the unreflected JNL in the old storage and one or more difference JNLs) from the new storage, and the difference JNL is Store in JVOL in storage. Then, the DKC in the old storage reflects all unreflected JNLs and differential JNLs in the JVOL in the old storage in the DVOL in the old storage.
  • Examples 1 to 4 may be combined.
  • sequence number (SEQ #) is adopted as the update number, but other types of numbers that increase or decrease regularly may be adopted.
  • the second storage 105B in the operation switching destination site determines various processes (for example, whether delta resync is possible). However, in at least one of the first to fourth embodiments, at least one of various processes may be performed by the third storage 105C.
  • all JNLs have the updated SEQ #, but may have the pre-update SEQ # instead.
  • At least one of the storages 105A to 105C may have a plurality of JNL groups.
  • At least one of the storages 105A to 105C may have a logical volume other than the logical volumes included in the JNL group.
  • JNL transfer between storage devices is performed by a copy destination storage device reading JNL from a JVOL in the copy source storage device, and a JVOL transfer in the copy destination storage device by the copy source storage device. Either transfer by writing the JNL to the JNL may be used.

Abstract

　第１のストレージ装置が停止した場合、第２のストレージ装置において最近反映されたジャーナルが有する更新番号と、第３のストレージ装置において最近反映されたジャーナルが有する更新番号とのどちらが新しいかが判断される。新しいと判断された更新番号を有する新ストレージ装置に、新しいと判断されなかった更新番号の次の更新番号を有するジャーナルから新しいと判断された更新番号を有するジャーナルまでの１以上の差分ジャーナルがあるか否かが判断される。その判断の結果が肯定的の場合、新ストレージ装置から、第２及び第３のストレージ装置のうちの新ストレージ装置ではない方である旧ストレージ装置に、１以上の差分ジャーナルがコピーされる。旧ストレージ装置において、１以上の差分ジャーナルが、更新番号の順に、旧ストレージ装置内のデータボリュームに反映される。

Description

非同期リモートコピーシステム、及び、記憶制御方法
　本発明は、ストレージ装置間のデータのコピーであるリモートコピーを行うストレージシステムでの記憶制御に関する。
　第１及び第２のストレージ装置間でのデータのコピーであるリモートコピーが知られている。リモートコピーとしては、例えば、同期リモートコピーと非同期リモートコピーがある。第１のストレージ装置がホストからライト要求を受信した場合、同期リモートコピーが採用されているならば、そのライト要求に従うデータが第１のストレージ装置から第２のストレージ装置に転送された後に、ライトの完了応答がホスト装置に送信されるが、非同期リモートコピーが採用されているならば、そのライト要求に従うデータが第１のストレージ装置から第２のストレージ装置に転送されなくても、ライトの完了応答がホスト装置に送信される。
　非同期リモートコピーが採用されたリモートコピーシステム（以下、非同期リモートコピーシステム）では、例えば、第１のストレージ装置が、第１のＤＶＯＬ（データが格納される論理ボリューム）の他に、第１のＪＶＯＬ（ジャーナル（以下、ＪＮＬ）が格納される論理ボリューム）を有する。同様に、第２のストレージ装置が、第２のＤＶＯＬの他に、第２のＪＶＯＬを有する。第１のストレージ装置は、ライト要求を受信した場合、ライト要求に従うデータを第１のＤＶＯＬに格納し、且つ、そのデータのＪＮＬを第１のＪＶＯＬに格納する。第１のストレージ装置が、第１のＪＶＯＬ内のＪＮＬを、第２のストレージ装置に転送し、第２のストレージ装置が、第１のストレージ装置からのＪＮＬを、第２のＪＶＯＬに書き込む。その後、第２のストレージ装置が、第２のＪＶＯＬ内のＪＮＬが有するデータを、第２のＤＶＯＬに書き込む。これにより、第１のＤＶＯＬに書き込まれたデータが、第２のＤＶＯＬにコピーされたことになる。
　特許文献１には、マルチターゲット方式の非同期リモートコピーシステムが開示されている。マルチターゲット方式では、１つのコピー元に対して複数のコピー先が存在する。具体的には、特許文献１には、例えば下記のことが開示されている。
（＊）第１のストレージ装置、第２のストレージ装置、及び第３のストレージ装置がある。
（＊）第１のストレージ装置がコピー元であり、第２及び第３のストレージ装置が、第１のストレージ装置からのコピー先である。
（＊）第１のストレージ装置に第１のホスト装置が接続されており、第２のストレージ装置に第２のホスト装置が接続されており、第３のストレージ装置に第３のホスト装置が接続されている。
（＊）第１のストレージ装置が、第１のＤＶＯＬと、第１の第１ＪＶＯＬと、第２の第１ＪＶＯＬとを有する。
（＊）第２のストレージ装置が、第２のＤＶＯＬと、第２のＪＶＯＬとを有する。
（＊）第１及び第２のＤＶＯＬがペアになっている。第１のＤＶＯＬが、プライマリのＤＶＯＬであり、第２のＤＶＯＬが、セカンダリのＤＶＯＬである。
（＊）第３のストレージ装置が、第３のＤＶＯＬと、第３のＪＶＯＬとを有する。
（＊）第１及び第３のＤＶＯＬがペアになっている。第１のＤＶＯＬが、プライマリのＤＶＯＬであり、第３のＤＶＯＬが、セカンダリのＤＶＯＬである。
（＊）第１のホスト装置が、第１のＤＶＯＬにデータを書き込む。
（＊）第１のストレージ装置が、第１のＤＶＯＬに書き込まれるデータのＪＮＬを、第１の第１ＪＶＯＬと第２の第１ＪＶＯＬの両方に書き込む。ＪＮＬは、ホスト装置の入出力対象のデータの他に、更新番号を含む。
（＊）第１の第１ＪＶＯＬ内のＪＮＬは、第２のＪＶＯＬにコピーされる。
（＊）第２のストレージ装置が、第２のＪＶＯＬ内の１以上の未反映のＪＮＬのうち、最古の更新番号を有するＪＮＬを第２のＤＶＯＬに反映する（ＪＮＬが有するデータを、第２のＤＶＯＬに書き込む）。
（＊）第２の第１ＪＶＯＬ内のＪＮＬは、第３のＪＶＯＬにコピーされる。
（＊）第３のストレージ装置が、第３のＪＶＯＬ内の１以上の未反映のＪＮＬのうち、最古の更新番号を有するＪＮＬを第３のＤＶＯＬに反映する（ＪＮＬが有するデータを、第３のＤＶＯＬに書き込む）。
　さらに、特許文献１によれば、第１のストレージ装置に障害が発生した場合、第２のストレージ装置がコピー元になり、第３のストレージ装置がコピー先となる。
特開２００６－６５６２９号公報
　第２のストレージ装置がコピー元となった後、第２のホスト装置が、第２のＤＶＯＬにデータを書き込み、第２のストレージ装置が、更新番号を更新し、更新番号とデータを含んだＪＮＬを第２のＪＶＯＬに書き込む。第２のＪＶＯＬから第３のＪＶＯＬにＪＮＬがコピーされ、第３のストレージ装置が、第３のＪＶＯＬ内のＪＮＬが有するデータを第３のＤＶＯＬに書き込む。
　ここで、第２のストレージ装置での更新番号の起点は、第２のストレージ装置において反映済みのＪＮＬのうちの最新の更新番号であることが考えられる。なぜなら、第２のＤＶＯＬは、その最新の更新番号が表す順番までのデータを有するからである。
　しかし、それが好ましくないケースがある。そのケースは、例えば、第２のストレージ装置において反映済みのＪＮＬのうちの最新の更新番号が、第３のストレージ装置において反映済みのＪＮＬのうちの最新の更新番号よりも古いケースである。なぜなら、そのケースでは、第２のＤＶＯＬの状態の方が第３のＤＶＯＬの状態よりも古い状態にあり、古い状態のＤＶＯＬから新しい状態のＤＶＯＬにデータがコピーされることになるからである。
　このように、第１のストレージ装置に障害が発生した場合、業務が適切に継続されないケースがある。
　このような問題は、第１のストレージ装置が障害以外の原因で停止する場合（例えば、メンテナンスのためのいわゆる計画停止により第１のストレージ装置が停止させられる場合）についても有り得る。
　そこで、本発明の目的は、マルチターゲット方式の非同期リモートコピーシステムにおいて、第１のストレージ装置が停止しても業務を適切に継続することにある。
　第１の記憶資源グループを有し第１のホスト装置に接続されている第１のストレージ装置と、第２の記憶資源グループを有し第２のホスト装置に接続されている第２のストレージ装置と、第３の記憶資源グループを有し第３のホスト装置に接続されている第３のストレージ装置とを有する。
　第１の記憶資源グループが、データが書き込まれる論理ボリュームである第１のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第１のジャーナル記憶資源とを有する。
　第２の記憶資源グループが、データが書き込まれる論理ボリュームである第２のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第２のジャーナル記憶資源とを有する。
　第３の記憶資源グループが、データが書き込まれる論理ボリュームである第３のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第３のジャーナル記憶資源とを有する。
　第１のストレージ装置が、ホスト装置から第１のデータボリュームにデータが書き込まれる場合、第１の記憶資源グループ内のデータボリュームにデータが書き込まれる都度に更新される番号である更新番号を更新し、その更新番号とそのデータとを含んだジャーナルを作成し、そのジャーナルを第１のジャーナル記憶資源に書き込む。
　マルチターゲット方式の非同期リモートコピーが行われる。その非同期リモートコピーでは、ジャーナルが、第１のストレージ装置から第２のストレージ装置へ転送され第２のデータボリュームに反映されることで第１のデータボリューム内のデータが第２のデータボリュームに書き込まれ、且つ、そのジャーナルが、第１のストレージ装置から第３のストレージ装置へ転送され第３のデータボリュームに反映されることで第１のデータボリューム内のデータが第３のデータボリュームに書き込まれる。具体的には、例えば、非同期リモートコピーでは、下記が行われる。
（Ａ１）第１のジャーナル記憶資源から第２のジャーナル記憶資源にジャーナルがコピーされる。
（Ｂ１）第２のストレージ装置が、第２のジャーナル記憶資源における１以上の未反映のジャーナルを、更新番号の順に、第２のデータボリュームに反映する。
（Ａ２）第１のジャーナル記憶資源から第３のジャーナル記憶資源にジャーナルがコピーされる。
（Ｂ２）第３のストレージ装置が、第３のジャーナル記憶資源における１以上の未反映のジャーナルを、更新番号の順に、第３のデータボリュームに反映する。
　第１のストレージ装置が停止した場合、以下の処理が行われる。
（ｘ１）第２のストレージ装置において最近反映されたジャーナルが有する更新番号と、第３のストレージ装置において最近反映されたジャーナルが有する更新番号とのどちらが新しいかが判断される。
（ｘ２）第２及び第３のストレージ装置のうちの新ストレージ装置（（ｘ１）で新しいと判断された更新番号を有するストレージ装置）に、１以上の差分ジャーナルがあるか否かが判断される。１以上の差分ジャーナルは、（ｘ１）で新しいと判断されなかった更新番号の次の更新番号を有するジャーナルから（ｘ１）で新しいと判断された更新番号を有するジャーナルまでの１以上のジャーナルである。
（ｘ３）（ｘ２）の判断の結果が肯定的の場合、新ストレージ装置から旧ストレージ装置（第２及び第３のストレージ装置のうちの新ストレージ装置ではないストレージ装置）に、１以上の差分ジャーナルがコピーされる。
（ｘ４）旧ストレージ装置が、１以上の差分ジャーナルを、更新番号の順に、旧ストレージ装置内のデータボリュームに反映する。
本発明の実施例１に係る非同期リモートコピーシステムの構成を示す。 ストレージ装置間のパスを示す。 図６におけるＪＮＬグループ１１２Ａ、１１２Ｂ及び１１２Ｃのステータス及びミラーの有効／無効を示す。 図７におけるＪＮＬグループ１１２Ｂ及び１１２Ｃのステータス及びミラーの有効／無効を示す。 図１０におけるＪＮＬグループ１１２Ｂ及び１１２Ｃのステータス及びミラーの有効／無効を示す。 マルチターゲット方式の非同期リモートコピーの概要を示す。 第１のストレージ１０５Ａで障害が生じた場合に行われる処理の一部分を示す。 第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクの概要を示す。 第２のストレージ１０５Ｂから第３のストレージ１０５Ｃへの差分リシンクの概要を示す。 差分リシンク完了後の業務の継続の概要を示す。 第１のストレージ１０５Ａの構成を示す。 ＪＮＬの構成を示す。 ＪＶＯＬ１１５Ａの構成を示す。 メタ情報の構成を示す。 各ストレージが有する制御情報を示す。 ＪＶＯＬ有効ビットマップ７０１Ａの構成を示す。 ＤＶＯＬ有効ビットマップ７０２Ａの構成を示す。 ＪＶＯＬ管理テーブル７０３Ａの構成を示す。 ＪＮＬグループ管理テーブル７０４Ａの構成を示す。 ペア管理テーブル７０５Ａの構成を示す。 差分管理及び形成コピーの流れを示す。 第１のストレージ１０５Ａにおけるライト処理の流れを示す。 ＪＮＬのリード処理の流れを示す。 ＪＮＬの反映処理の流れを示す。 第１のＪＶＯＬ１１５Ａの使用率のチェックに関わる処理の流れを示す。 第１のストレージ１０５Ａに障害が発生した場合に行われる処理の流れを示す。 差分リシンクが可能なケースの一例を示す。 差分リシンクが不可能なケースの一例を示す。 第２のホスト１０３Ｂから第２のＤＶＯＬ１１３Ｂへのデータの書込みが許可されるタイミングを示す。 本発明の実施例２において、第２のホスト１０３Ｂから第２のＤＶＯＬ１１３Ｂへのデータの書込みが許可されるタイミング、を示す。 本発明の実施例２において、第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクが行われる場合の、第２のストレージ１０５Ｂにおけるライト処理の流れを示す。 本発明の実施例２において、第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクが行われる場合の、第２のストレージ１０５ＢにおけるＪＮＬ反映処理の流れを示す。 本発明の実施例３において、第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクが行われる場合の、第２のストレージ１０５Ｂにおけるリード処理の流れを示す。 本発明の実施例４において、差分ＪＮＬの転送の要否の判断に関する処理の流れを示す。 転送が不要な差分ＪＮＬが存在するケースの一例を示す。
　以下、図面を参照して、本発明の幾つかの実施例を説明する。
　なお、以下の説明では、「ｘｘｘテーブル」、「ｘｘｘビットマップ」の表現にて各種情報を説明することがあるが、各種情報は、テーブル或いはビットマップ以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ｘｘｘテーブル」、「ｘｘｘビットマップ」を「ｘｘｘ情報」と呼ぶことができる。
　また、以下の説明では、種々の対象の識別情報として、番号が主に使用されるが、番号に代えて他種の識別情報（例えば、名称）が採用されても良い。
　図１は、本発明の実施例１に係る非同期リモートコピーシステムの構成を示す。なお、以下の説明では、ジャーナルを「ＪＮＬ」と記載し、データが書き込まれる論理ボリュームであるデータボリュームを「ＤＶＯＬ」と記載し、ＪＮＬが書き込まれる論理ボリュームであるＪＮＬボリュームを「ＪＶＯＬ」と記載し、ホスト装置を「ホスト」と記載し、ストレージ装置を「ストレージ」と記載し、コントローラを「ＤＫＣ」と記載する。
　３つ以上のサイト、例えば、第１のサイト１０１Ａ、第２のサイト１０１Ｂ、及び第３のサイト１０１Ｃがある。以下、説明を分かりやすくするため、第１のサイト１０１Ａが有する要素の参照符号は、親番号と子符号「Ａ」の組合せであり、第２のサイト１０１Ｂが有する要素の参照符号は、親番号と子符号「Ｂ」の組合せであり、第３のサイト１０１Ｂが有する要素の参照符号は、親番号と子符号「Ｃ」の組合せである。
　第１のサイト１０１Ａは、第１のストレージ１０５Ａと、第１のストレージ１０５Ａに接続された第１のホスト１０３Ａとを有する。第１のストレージ１０５Ａは、第１のＤＫＣ１１１Ａと、第１のＪＮＬグループ１１２Ａとを有する。１つのＪＮＬグループ１１２Ａは、ＤＶＯＬ１１３Ａと、ＪＶＯＬ１１５Ａとを含む。
　第２及び第３のサイト１０１Ｂ及び１０１Ｃは、第１のサイト１０１Ａと同様の構成を有する。
　ストレージ１０５Ａ及び１０５Ｂ同士は、専用線（又は通信ネットワーク）を介して、物理的に接続されている。ストレージ１０５Ｂ及び１０５Ｃ同士も、専用線（又は通信ネットワーク）を介して、物理的に接続されている。ストレージ１０５Ａ及び１０５Ｃ同士も、専用線（又は通信ネットワーク）を介して、物理的に接続されている。
　ストレージ同士を接続するパスとして、図２に示すように、制御パスと、データ転送パスがある。制御パスは、差分リシンク（後述）に必要なパスである。具体的には、例えば、差分リシンク処理において、シーケンス番号取得要求（後述）が流れるパスである。データ転送パスは、ＪＮＬが流れるパスである。制御パス及びデータ転送パスは、いずれも、双方向通信が可能なパスである。
　再び図１を参照する。
　「ミラー」というＪＮＬグループ同士の論理的な接続がある。図１によれば、ＪＮＬグループ１１２Ａ及び１１２Ｂ同士の接続が、ミラー＃０（番号「０」が割り当てられたミラー（Ｍ０））であり、ＪＮＬグループ１１２Ａ及び１１２Ｃ同士の接続が、ミラー＃１（番号「１」が割り当てられたミラー（Ｍ１））であり、ＪＮＬグループ１１２Ｂ及び１１２Ｃ同士の接続が、ミラー＃２（番号「２」が割り当てられたミラー（Ｍ２））である。
　以下、本実施例に係る処理の概要を説明する。なお、以下の説明では、ＪＮＬグループ１１２Ａ、１１２Ｂ及び１１２Ｃは、特段の説明が無い限り、それぞれ１つであるとする。
　本実施例に係るリモートコピーシステムでは、マルチターゲット方式の非同期リモートコピーが行われるようになっていて、第１のサイト１０１Ａが運用サイトである。この場合、図３に示すように、第１のＪＮＬグループ１１２Ａのステータスが「マスター」であり、第２及び第３のＪＮＬグループ１１２Ｂ及び１１２Ｃのステータスが「リストア」である。ステータス「マスター」は、コピー元であることを意味する。ステータス「リストア」は、コピー先であることを意味する。なお、図３（及び、後の図４及び図５）において、点線のミラーは、無効なミラーであり、実線のミラーは、有効なミラーである。
　従って、図６に示すように、第１のＤＶＯＬ１１３Ａは、プライマリのＤＶＯＬ（以下、ＰＶＯＬ）であり、第２及び第３のＤＶＯＬ１１３Ｂ及び１１３Ｃは、セカンダリのＤＶＯＬ（以下、ＳＶＯＬ）である。
　図６に示すように、運用サイトである第１のサイト１０１Ａにおいて、第１のホスト１０３Ａが、業務の実行に伴い、ＰＶＯＬ１１３Ａにデータを書き込む（Ｓ１１）。第１のストレージ１０５Ａが、シーケンス番号（以下、ＳＥＱ＃）を更新し、更新後のＳＥＱ＃とＰＶＯＬ１１３Ａに書き込まれたデータとを有するＪＮＬを作成し、作成したＪＮＬを第１のＪＶＯＬ１１５Ａに書き込む（Ｓ１２）。ＳＥＱ＃は、第１のＪＮＬグループ１１２Ａ（第１のＪＮＬグループ１１２Ａ内のＤＶＯＬ）にデータが書き込まれる都度に更新される（例えば１インクリメント（又は１デクリメント）される）番号である。
　第２のストレージ１０５Ｂが、第１のＪＶＯＬ１１５ＡからＪＮＬを読み出し、読み出したＪＮＬを第２のＪＶＯＬ１１５Ｂに書き込む（Ｓ２１）。第２のストレージ１０５Ｂは、第２のＪＶＯＬ１１５Ｂ内の１以上の未反映のＪＮＬを、ＳＥＱ＃の小さい順に、ＳＶＯＬ１１３Ｂに反映する（Ｓ２２）。具体的には、第２のストレージ１０５Ｂは、第２のＪＶＯＬ１１５Ｂ内の未反映のＪＮＬが有するデータをＳＶＯＬ１１３Ｂに書き込む。これにより、ＰＶＯＬ１１３Ａに書き込まれたデータが、ＳＶＯＬ１１３Ｂにコピーされたことになる。
　第３のストレージ１０５Ｃが、第１のＪＶＯＬ１１５ＡからＪＮＬを読み出し、読み出したＪＮＬを第３のＪＶＯＬ１１５Ｃに書き込む（Ｓ３１）。第３のストレージ１０５Ｃは、第３のＪＶＯＬ１１５Ｃ内の１以上の未反映のＪＮＬを、ＳＥＱ＃の小さい順に、ＳＶＯＬ１１３Ｃに反映する（Ｓ３２）。具体的には、第３のストレージ１０５Ｃは、第３のＪＶＯＬ１１５Ｃ内の未反映のＪＮＬが有するデータをＳＶＯＬ１１３Ｃに書き込む。これにより、ＰＶＯＬ１１３Ａに書き込まれたデータが、ＳＶＯＬ１１３Ｃにコピーされたことになる。
　１つのコピー元ＪＮＬグループに対して２つより多くのコピー先ＪＮＬグループが存在しても良い。
　本実施例によれば、１つのコピー元ＪＮＬグループに含まれるＪＶＯＬが、複数のコピー先ＪＮＬグループに共通である。別の言い方をすれば、１つのコピー元ＪＮＬグループに含まれるＪＶＯＬの数は、コピー先ＪＮＬグループの数に依存しない。これは、ストレージ装置間のＪＮＬのコピー（転送）が、コピー先のストレージ装置がコピー元のストレージ装置内のＪＶＯＬからＪＮＬを読み出すことにより、実現される。この特徴によれば、第１のストレージ１０５Ａにおいて消費される記憶容量を節約することができる。
　さて、図７に示すように、運用サイトである第１のサイト１０１Ａにおいて、第１のストレージ１０５Ａに障害が発生したとする（Ｓ４０）。この場合、運用サイトが、第１のサイト１０１Ａから第２のサイト１０１Ｂに切り替わる。具体的には、第１のホスト１０３Ａから第２のホスト１０３Ｂへのフェイルオーバが行われる（Ｓ４１）。第２のホスト１０３Ｂが、第２のストレージ１０５Ｂに所定のコマンドを送信する（Ｓ４２）。
　第２のストレージ１０５Ｂが、所定のコマンドを受信する。この場合、図４に示すように、ストレージ１０５Ｂ及び／又は１０５Ｃによってミラー＃２が有効とされ、第２及び第３のＪＮＬグループ１１２Ｂ及び１１２Ｃのステータスが、一時的に、「マスター／リストア」となる。Ｓ４３の判断のために、第２のストレージ１０５Ｂと第３のストレージ１０５Ｃとの間で、ＳＥＱ＃をやり取りするためである。ステータス「マスター／リストア」は、コピー元でもありコピー先でもあることを意味する。第２及び第３のＪＮＬグループ１１２Ｂ及び１１２Ｃのステータスは、差分リシンク（後述）が終了するまで、「マスター／リストア」である。
　第２のストレージ１０５Ｂが、所定のコマンドに応答して、第３のストレージ１０５Ｃにおいて最近反映されたＪＮＬが有するＳＥＱ＃（以下、ＳＥＱ＃（３））を第３のストレージ１０５Ｃに要求し（シーケンス番号取得要求を送信し）、その要求に応答して、ＳＥＱ＃（３）を第３のストレージ１０５Ｃから受信する。第２のストレージ１０５Ｂが、ＳＥＱ＃（３）と、第２のストレージ１０５Ｂにおいて最近反映されたＪＮＬが有するＳＥＱ＃（以下、ＳＥＱ＃（２））とのどちらが新しいかを判断する。その判断の結果に応じて、図８及び図９に示す差分リシンクが行われる。
　すなわち、ＳＥＱ＃（３）の方がＳＥＱ＃（２）より新しい場合、図８に示すように、第２のストレージ１０５Ｂが、第３のＪＶＯＬ１１５Ｃから、１以上の差分ＪＮＬを読み出し、第２のＪＶＯＬ１１５Ｂに書き込む（Ｓ４４－１）。ここで言う「１以上の差分ＪＮＬ」は、ＳＥＱ＃（２）の次のＳＥＱ＃を有するＪＮＬからＳＥＱ＃（３）を有するＪＮＬまでの１以上のＪＮＬである。第２のストレージ１０５Ｂは、第２のＪＶＯＬ１１５Ｂ内の１以上の差分ＪＮＬを、ＳＥＱ＃（２）の次のＳＥＱ＃を有するジャーナルから先に、ＳＥＱ＃の小さい順に、第２のＤＶＯＬ１１３Ｂに反映する（Ｓ４５－１）。これにより、第２のＤＶＯＬ１１３Ｂ内のデータが、差分リシンク開始時の第３のＤＶＯＬ１１３Ｃ内のデータと一致する。
　一方、ＳＥＱ＃（２）の方がＳＥＱ＃（３）より新しい場合、図９に示すように、第２のストレージ１０５Ｂが、第２のＪＶＯＬ１１５Ｂ内の１以上の差分ＪＮＬを、第３のＪＶＯＬ１１５Ｃに書き込む（Ｓ４４－２）。ここで言う「１以上の差分ＪＮＬ」は、ＳＥＱ＃（３）の次のＳＥＱ＃を有するＪＮＬからＳＥＱ＃（２）を有するＪＮＬまでの１以上のＪＮＬである。第３のストレージ１０５Ｃは、第３のＪＶＯＬ１１５Ｃ内の１以上の差分ＪＮＬを、ＳＥＱ＃（３）の次のＳＥＱ＃を有するジャーナルから先に、ＳＥＱ＃の小さい順に、第３のＤＶＯＬ１１３Ｃに反映する（Ｓ４５－２）。これにより、第３のＤＶＯＬ１１３Ｃ内のデータが、差分リシンク開始時の第２のＤＶＯＬ１１３Ｂ内のデータと一致する。
　その後、第２のサイト１０１Ｂが運用サイトとなり、業務が継続する。具体的には、図５に示すように、第２のＪＮＬグループ１１２Ｂのステータスが「マスター」になり、第３のＪＮＬグループ１１２Ｃのステータスが「リストア」になる。従って、図１０に示すように、第２のＤＶＯＬ１１３ＢがＰＶＯＬになり、第３のＤＶＯＬ１１３ＣがＳＶＯＬになる。第２のホスト１０３Ｂが、ＰＶＯＬ１１３Ｂにデータを書き込む（Ｓ５１）。第２のストレージ１０５Ｂが、ＳＥＱ＃を更新し、ＳＥＱ＃とＰＶＯＬ１１３Ｂに書き込まれたデータとを有するＪＮＬを作成し、作成したＪＮＬを第２のＪＶＯＬ１１５Ｂに書き込む（Ｓ５２）。第３のストレージ１０５Ｃが、第２のＪＶＯＬ１１５ＢからＪＮＬを読み出し、読み出したＪＮＬを第３のＪＶＯＬ１１５Ｃに書き込む（Ｓ５３）。第３のストレージ１０５Ｃが、第３のＪＶＯＬ１１５Ｃ内のＪＮＬを、ＳＥＱ＃の小さい順に、ＳＶＯＬ１１３Ｃに反映する（Ｓ５４）。
　本実施例によれば、第２のストレージ１０５Ｂが、ＳＥＱ＃（３）を第３のストレージ１０５Ｃから取得し、ＳＥＱ＃（３）とＳＥＱ＃（２）のどちらが新しいかを判断し、その判断の結果を基に、第２及び第３のストレージ１０５Ｂ及び１０５Ｃのどちらからどちらに１以上の差分ＪＮＬを転送するかを制御する。これにより、第１のストレージ１０５Ａに障害が発生しても業務を適切に継続することができる。また、転送される１以上の差分ＪＮＬは、第２及び第３のストレージ１０５Ｂ及び１０５Ｃ間の差分にすぎないので、転送されるＪＮＬの数を少なく抑えることができる。
　以下、本実施例を詳細に説明する。その際、第１のサイト１０１Ａ内の要素を代表的に例に採り説明するが、特段の説明が無ければ、第２及び第３のサイト１０１Ｂ及び１０１Ｃ内の要素は、第１のサイト１０１Ａ内の要素と実質的に同じである。
　図１１は、第１のストレージ１０５Ａの構成を示す。
　第１のストレージ１０５Ａは、第１のＤＫＣ１１１Ａと、複数のＲＡＩＤ（Redundant Array of Independent (or Inexpensive) Disks）グループ（以下、ＲＧ）９００Ａとを有する。ＲＧ９００Ａは、複数のＨＤＤ（Hard Disk Drive）で構成されている。ＨＤＤに代えて、フラッシュメモリ等の別の物理記憶デバイスが採用されても良い。１又は複数の論理ボリュームが、１つのＲＧ９００Ａに基づいている。論理ボリュームは、例えば、前述したＤＶＯＬ又はＪＶＯＬであるが、そのどちらも、ＲＧ９００Ａの記憶空間の一部である実体的な論理ボリュームであっても良いし、１以上のＲＧ９００を基に構成されたプール（複数の実領域で構成される記憶領域）から実領域が動的に割り当てられる仮想的な論理ボリューム（Ｔｈｉｎ　Ｐｒｏｖｉｓｉｏｎｉｎｇの技術に従う仮想的な論理ボリューム）であっても良い。
　ＤＫＣ１１１Ａは、複数のフロントエンドインターフェイス装置（以下、ＦＥ－ＩＦ）６１０Ａと、バックエンドインターフェイス装置（以下、ＢＥ－ＩＦ）１５０Ａと、キャッシュメモリ（以下、ＣＭ）６２０Ａと、共有メモリ（以下、ＳＭ）６４０Ａと、それらに接続された１以上のＣＰＵ（Central Processing Unit）６３０Ａとを有する。ＤＫＣ１１１Ａの処理は、ＣＰＵ６３０Ａが１以上のコンピュータプログラムを実行することにより行われて良いが、その処理の少なくとも一部が、ハードウェア回路によって行われても良い。
　複数のＦＥ－ＩＦ６１０Ａに、第１のホスト１０３Ａ、第２及び第３のストレージ１０５Ｂ及び１０５Ｃが接続される。ＤＫＣ１１１Ａ（ＣＰＵ６３０Ａ）は、ＦＥ－ＩＦ６１０Ａを介して、第１のホスト１０３Ａ、第２及び第３のストレージ１０５Ｂ及び１０５Ｃと通信する。
　ＢＥ－ＩＦ１５０Ａに、複数のＲＧ９００Ａが接続される。ＤＫＣ１１１Ａ（ＣＰＵ６３０Ａ）は、ＢＥ－ＩＦ１５０Ａを介して、書込み先の論理ボリューム（例えば、第１のＤＶＯＬ１１３Ａ又は第１のＪＶＯＬ１１５Ａ）の基になっているＲＧ９００Ａにデータ（又はＪＮＬ）を書き込む。
　ＣＭ６２０Ａは、ＲＧ９００Ａに書き込まれるデータ（及びＪＮＬ）、ＲＧ９００Ａから読み出されたデータ（及びＪＮＬ）を記憶する。
　ＳＭ６４０Ａは、ＤＫＣ１１１Ａの処理の制御に使用される種々の制御情報を記憶する。
　ＣＰＵ６３０Ａは、ＤＫＣ１１１Ａが行う処理を制御する。
　以上が、第１のストレージ１０５Ａの構成の説明である。なお、ＤＫＣ１１１Ａは、図１１に示す構成に限らず、他の構成を有していても良い。また、第２及び第３のストレージ１０５Ｂ及び１０５Ｃの構成は、第１のストレージ１０５Ａの構成と実質的に同じである。ＤＫＣ１１１Ｂ又は１１１Ｃの構成は、ＤＫＣ１１１Ａの構成と違っていても良い。
　図１２は、ＪＮＬの構成を示し、図１３は、ＪＶＯＬ１１５Ａの構成を示す。
　ＪＮＬは、メタ情報とデータで構成されている。
　ＪＶＯＬ１１５Ａは、メタ領域１２０１Ａと、データ領域１２０３Ａとで構成される。メタ領域１２０１Ａは、メタ情報を記憶し、データ領域１２０３Ａは、データを記憶する。なお、メタ領域１２０１Ａは、ＣＭ６２０Ａ等、ＲＧ９００Ａとは別の記憶資源に存在しても良い。
　図１４は、メタ情報の構成を示す。
　メタ情報は、ＪＮＬに含まれるデータに関する管理情報である。メタ情報は、例えば、下記の情報、
（＊）ＳＥＱ＃、
（＊）ライト先情報（ＤＶＯＬのどこにデータが書き込まれるかを表す情報）
（＊）ＰＶＯＬ＃（コピー元のＤＶＯＬの番号）、
（＊）ＳＶＯＬ＃（コピー先のＤＶＯＬの番号）、
（＊）このメタ情報に対応したデータのＪＶＯＬにおける位置を表す情報（この情報は、ＪＮＬがＪＶＯＬに書き込まれる際に含まれる）、
を含む。
　通常は、第１のＤＫＣ１１１Ａが、ＳＥＱ＃を管理する。ＳＥＱ＃は、ＪＮＬグループ１１２Ａ毎にある。第１のＤＫＣ１１１Ａは、或るＪＮＬグループ１１２Ａ内のＤＶＯＬ１１３Ａにデータを書き込んだ場合、そのＪＮＬグループ１１２Ａに対応するＳＥＱ＃を更新する。ＳＥＱ＃は、例えば、ＳＭ６４０Ａ又は他の記憶資源に記憶されている。
　第１のストレージ１０５Ａに障害が発生し、第２のサイト１０１Ｂが運用サイトになった場合、第２のストレージ１０５Ｂが、ＪＮＬグループ１１２Ｂ毎のＳＥＱ＃を管理する。
　図１５に示すように、ＳＭ６４０Ａが、制御情報として、例えば、ＪＶＯＬ有効ビットマップ７０１Ａ、ＤＶＯＬ有効ビットマップ７０２Ａ、ＪＶＯＬ管理テーブル７０３Ａ、ＪＮＬグループ管理テーブル７０４Ａ、ペア管理テーブル７０５Ａ、差分ビットマップ７０６Ａ、及びミラービットマップ７０７Ａを記憶する。同様に、第２のストレージ１０５Ｂ内のＳＭ６４０Ｂは、制御情報７０１Ｂ～７０７Ｂを記憶し、第３のストレージ１０５Ｃ内のＳＭ６４０Ｃは、制御情報７０１Ｃ～７０７Ｃを記憶する。以下、制御情報７０１Ａ～７０７Ａを代表して説明する。
　ＪＮＬグループは、例えば、最大６４個の論理ボリュームを有することができる。ＪＶＯＬ有効ビットマップ７０１Ａは、図１６に示すように、ＪＮＬグループ毎に、６４個のビットを有する。ｎ番目（ｎは０以上６３以下の整数）の論理ボリュームがＪＶＯＬ１１５Ａであれば、ｎ番目のビットがオン（例えば１）である。
　ＤＶＯＬ有効ビットマップ７０２Ａは、図１７に示すように、ＪＮＬグループ毎に、６４個のビットを有する。ｎ番目（ｎは０以上６３以下の整数）の論理ボリュームがＪＶＯＬ１１５Ａであれば、ｎ番目のビットがオン（例えば１）である。
　ＪＶＯＬ管理テーブル７０３Ａは、ＪＮＬグループ１１２Ａ毎に存在する。テーブル７０３Ａは、図１８に示すように、ＪＶＯＬ１１５Ａ毎に、メタ領域の先頭アドレスを表す情報と、メタ領域のサイズを表す情報と、データ領域の先頭アドレスを表す情報と、データ領域のサイズを表す情報とを有する。つまり、テーブル７０３Ａは、ＪＶＯＬ１１５Ａ毎に、どこからどこまでがメタ領域でどこからどこまでがデータ領域であるかを表す。
　ＪＮＬグループ管理テーブル７０４Ａは、ＪＮＬグループに関する情報を有する。具体的には、例えば、テーブル７０４Ａは、図１９に示すように、ＪＮＬグループ毎に、下記の情報、
（＊）ＪＮＬグループの番号を表すＪＮＬグループ＃１００１Ａ、
（＊）ＪＮＬグループのステータスを表すステータス１００２Ａ、
（＊）本実施例に係るリモートコピーシステムに存在するミラーの番号を表すミラー＃１００３Ａ、
（＊）相手のＪＮＬグループの番号を表す相手ＪＮＬグループ＃１００４Ａ、
（＊）相手のＪＮＬグループを有するストレージ装置の番号を表す相手ストレージ＃１００５Ａ、
（＊）最近パージされたＪＮＬが有するＳＥＱ＃を表すパージ済みＳＥＱ＃１００６Ａ、
（＊）パージされて良いＪＮＬが有するＳＥＱ＃を表すパージ可能ＳＥＱ＃１００７Ａ、
（＊）最近読み出したＪＮＬが有するＳＥＱ＃を表すリード済みＳＥＱ＃１００８Ａ、
を有する。
　ペア管理テーブル７０５Ａは、ＤＶＯＬ同士のペアに関する情報を有する。具体的には、例えば、テーブル７０５Ａは、図２０に示すように、ＤＶＯＬ１１３Ａ毎に、下記の情報、
（＊）ＤＶＯＬ１１３Ａの番号を表すＤＶＯＬ＃１１０１Ａ、
（＊）ＤＶＯＬ１１３Ａを含んだＪＮＬグループ１１２Ａの番号を表すＪＮＬグループ＃１１０２Ａ、
（＊）ＤＶＯＬ１１３Ａのコピー先のＤＶＯＬの番号を表すコピー先ＶＯＬ＃１１０３Ａ、
（＊）ＤＶＯＬ１１３Ａとコピー先のＤＶＯＬとのペアについて、ＤＶＯＬ１１３Ａのペアステータスを表すステータス１１０４Ａ、
を有する。
　差分ビットマップ７０６Ａは、ＤＶＯＬ１１３Ａ毎に有する。ＤＶＯＬ１１３Ａは、複数のブロックで構成されている。差分ビットマップ７０６Ａは、ＤＶＯＬ１１３Ａのどのブロックが更新されたかを表す。すなわち、差分ビットマップ７０６Ａが有するビットは、ブロックに対応している。差分ビットマップ７０６Ａは、ＤＶＯＬ１１３Ａのペアステータスが所定のステータスの場合に、更新される。具体的には、例えば、ＤＫＣ１１１Ａは、或るＤＶＯＬ１１３Ａのペアステータスが所定のステータスであり、且つ、そのＤＶＯＬ１１３Ａ内の或るブロックにデータを書き込んだ場合、そのＤＶＯＬ１１３Ａに対応した差分ビットマップ７０６Ａにおける、そのブロックに対応したビットを、オン（例えば１）に変更する。
　ミラービットマップ７０７Ａは、どのミラーが有効でどのミラーが無効になっているかを表す。具体的には、ミラービットマップ７０７Ａは、複数のミラーに対応した複数のビットを有する。例えば、通常は、ミラー＃０及び＃１が有効でありミラー＃２が無効である（図６参照）。この場合、ミラー＃０及び＃１に対応したビットがオン（例えば１）であり、ミラー＃２に対応したビットがオフ（例えば０）である。また、第１のストレージ１０５Ａに障害が生じた場合、ミラー＃０及び＃１が無効でありミラー＃２が有効である（図１０参照）。この場合、ミラー＃０及び＃１に対応したビットがオフであり、ミラー＃２に対応したビットがオンである。
　以下、本実施形態で行われる幾つかの処理を説明する。
　＜形成コピー＞。
　ＰＶＯＬからＳＶＯＬへの非同期リモートコピー（ＪＮＬを利用したリモートコピー）の開始前は、ＰＶＯＬが有するデータ（ＰＶＯＬの内容）とＳＶＯＬが有するデータ（ＳＶＯＬの内容）が互いに一致している必要がある。そのために、形成コピーが行われる。「形成コピー」とは、ＰＶＯＬの内容とＳＶＯＬの内容を一致させるコピーである。
　図２１に示すように、ＰＶＯＬ１１３ＡとＳＶＯＬ１１３Ｂのペアのステータスと、ＰＶＯＬ１１３ＡとＳＶＯＬ１１３Ｃのペアのステータスとの両方が、サスペンドとされることがある（Ｓ２１０１－１、Ｓ２１０１－２）。具体的には、ＰＶＯＬ１１３Ａのペアステータスが「ＰＳＵＳ」（プライマリのサスペンド）になり、ＳＶＯＬ１１３Ｂ及び１１３Ｃのペアステータスが「ＳＳＵＳ」になる。この場合、第１のＤＫＣ１１１Ａが、そのＰＶＯＬ１１３Ａを含んだＪＮＬグループ１１２Ａに対応するＳＥＱ＃を所定値（例えばゼロ）にリセットする。
　この場合、第１のＤＫＣ１１１Ａは、ＰＶＯＬ１１３Ａにデータを書き込んでも、そのデータを有するＪＮＬを作成しない。第１のＤＫＣ１１１Ａは、ＰＶＯＬ１１３Ａの或るライト先ブロックにデータを書き込んだ場合（Ｓ２１０２）、そのＰＶＯＬ１１３Ａのペアステータスが「ＰＳＵＳ」であれば、そのＰＶＯＬ１１３Ａに対応する差分ビットマップ７０６Ａにおける、ライト先ブロックに対応したビットを、オン（例えば１）にする（Ｓ２１０３）。ＰＶＯＬ１１３Ａのペアステータスが「ＰＳＵＳ」である場合、ＰＶＯＬ１１３Ａにおける未更新のブロックにデータが書き込まれる都度に、Ｓ２１０３が行われる。
　第１のＤＫＣ１１１Ａが、第１のホスト１０３Ａ（又は第１のＤＫＣ１１１Ａに接続されている図示しない管理端末）から、形成コピー指示を受ける（Ｓ２１１１）。その形成コピー指示の受領が、形成コピーの開始の契機である。形成コピーは、第１のペア（ＰＶＯＬ１１３ＡとＳＶＯＬ１１３Ｂのペア）と第２のペア（ＰＶＯＬ１１３ＡとＳＶＯＬ１１３Ｃのペア）について、並行して行われても良いが、本実施形態では、並行して行われず、順次に行われる。このため、ＰＶＯＬ１１３Ａへのアクセスの集中を緩和することができる。
　例えば、まず、図２１に示すように、第１のペアについて形成コピーが行われる。すなわち、第１のＤＫＣ１１１Ａが、差分ビットマップ７０６Ａにおいてオンになっているビットに対応したブロック（その差分ビットマップ７０６Ａに対応するＰＶＯＬ１１３Ａにおけるブロック）を特定する。そして、第１のＤＫＣ１１１Ａが、特定したブロック内のデータを有するＪＮＬを作成し、作成したＪＮＬを、第１のＪＶＯＬ１１５Ａに格納せず、第２のＪＶＯＬ１１５Ｂに書き込む（Ｓ２１１２）。第２のＤＫＣ１１１Ｂが、第２のＪＶＯＬ１１５Ｂ内のＪＮＬをＳＶＯＬ１１３Ｂに反映する（Ｓ２１１３）。ＰＶＯＬ１１３Ａにおける全ての更新済みブロック（オンになっているビットに対応したブロック）について、Ｓ２１１２及びＳ２１１３が行われる。
　第１のペアについて形成コピーが完了した後に、第２のペアについて形成コピーが行われる。すなわち、第１のＤＫＣ１１１Ａが、ＰＶＯＬ１１３Ａにおける更新済みブロック内のデータを有するＪＮＬを作成し、作成したＪＮＬを、第１のＪＶＯＬ１１５Ａに格納せず、第３のＪＶＯＬ１１５Ｃに書き込む（Ｓ２１１５）。第３のＤＫＣ１１１Ｃが、第３のＪＶＯＬ１１５Ｃ内のＪＮＬをＳＶＯＬ１１３Ｃに反映する（Ｓ２１１６）。ＰＶＯＬ１１３Ａにおける全ての更新済みブロックについて、Ｓ２１１５及びＳ２１１６が行われる。
　＜ライト処理、及び、ＪＮＬ作成処理＞。
　図２２に示すように、第１のＤＫＣ１１１Ａは、ＰＶＯＬ１１３Ａを指定したライト要求を第１のホスト１０３Ａから受信し（Ｓ２２０１）、ＣＭ６３０ＡにＣＭ領域（キャッシュメモリ領域）を確保し、確保したＣＭ領域に、そのライト要求に従うデータ（ライト対象のデータ）を書き込む（Ｓ２２０２）。第１のＤＫＣ１１１Ａは、この時点で、第１のホスト１０３Ａに書込み完了を応答して良い。
　第１のＤＫＣ１１１Ａは、ＣＭ６３０Ａ内のライト対象のデータを、ＰＶＯＬ１１３Ａに書き込む（Ｓ２２０３）。
　第１のＤＫＣ１１１Ａは、そのＰＶＯＬ１１３Ａを含んだＪＮＬグループ１１２Ａに対応するＳＥＱ＃を更新する（Ｓ２２１１）。第１のＤＫＣ１１１Ａは、ＪＮＬを作成し（Ｓ２２１２）、作成したＪＮＬを第１のＪＶＯＬ１１５Ａに書き込む。Ｓ２２１２で作成されたＪＮＬは、Ｓ２２１１で更新されたＳＥＱ＃（又は更新前のＳＥＱ＃）を含んだメタ情報と、Ｓ２２０３でＰＶＯＬ１１３Ａに書き込まれたデータとを有する。そのデータは、ＰＶＯＬ１１３Ａから読み出されたデータでも良いし、ＣＭ６３０Ａに残っているデータでも良い。
　＜ＪＮＬのリード処理＞。
　第２のＤＫＣ１１１Ｂが第１のＪＶＯＬ１１５ＡからＪＮＬを読み出すことを例に採り、ＪＮＬリード処理を説明する。
　図２３に示すように、第２のＤＫＣ１１１Ｂが、リード対象ＳＥＱ＃を算出する（Ｓ２３０１）。「リード対象ＳＥＱ＃」は、読み出すべきＪＮＬに含まれているＳＥＱ＃である。リード対象ＳＥＱ＃は、具体的には、ＪＮＬグループ１１２Ｂのミラー＃０に対応したリード済みＳＥＱ＃１００８Ｂ（ＪＮＬグループ管理テーブル７０４Ｂ内の情報１００８Ｂ）が表す値に１が加算された値（つまり、リード済みＳＥＱ＃１００８Ｂが表す値の次の値）である。
　第２のＤＫＣ１１１Ｂが、リード要求を第１のストレージ１０５Ａに送信する（Ｓ２３０２）。そのリード要求は、Ｓ２３０１で算出されたリード対象ＳＥＱ＃と、ＪＮＬのリード元となるＪＶＯＬ１１５Ａの番号（又はそれに対応するＬＵＮ（Logical Unit Number））とを有する。ＪＶＯＬ１１５Ａの番号は、例えば、ＳＭ６４０Ｂが記憶する制御情報から特定される。具体的には、例えば、制御情報は、ＳＶＯＬ１１３Ｂを有するＪＮＬグループ１１２Ｂに対応したＪＮＬグループ１１２Ａが有するＪＶＯＬ１１２Ａの番号を有する。
　第１のＤＫＣ１１１Ａが、第２のＤＫＣ１１１Ｂからリード要求を受信する。第１のＤＫＣ１１１Ａは、そのリード要求を基に、リード元のＪＶＯＬ１１５Ａから、リード対象ＳＥＱ＃を有するＪＮＬを特定する（Ｓ２３０３）。第１のＤＫＣ１１１Ａは、特定されたＪＮＬをリード元のＪＶＯＬ１１５Ａから読み出し、読み出したＪＮＬを、第１及び第２のストレージ１０５Ａ及び１０５Ｂ間のデータ転送パスを介して、第２のＤＫＣ１１１Ｂに送信する（Ｓ２３０４）。
　第２のＤＫＣ１１１Ｂは、第１のＤＫＣ１１１ＡからＪＮＬを受信し、受信したＪＮＬを、第２のＪＶＯＬ１１５Ｂに書き込む（Ｓ２３０５）。第２のＤＫＣ１１１Ｂは、ＳＶＯＬ１１３Ｂを有するＪＮＬグループ１１２Ｂのミラー＃０に対応したリード済みＳＥＱ＃１００８Ｂが表す値を、リード対象ＳＥＱ＃が表す値に変更する（Ｓ２３０６）。つまり、第２のＤＫＣ１１１Ｂは、そのリード済みＳＥＱ＃１００８Ｂが表す値に、１を加算する。
　＜ＪＮＬの反映処理＞。
　第２のストレージ１０５ＢにおけるＪＮＬの反映を例に採り、ＪＮＬの反映処理を説明する。
　図２４に示すように、第２のＤＫＣ１１１Ｂは、第２のＪＶＯＬ１１５Ｂ内の１以上の未反映のＪＮＬのうち最古のＳＥＱ＃を有するＪＮＬを、ＳＶＯＬ１１３Ｂに反映する（Ｓ２４０１）。具体的には、第２のＤＫＣ１１１Ｂは、ＪＮＬグループ１１２Ｂのミラー＃０に対応したパージ可能ＳＥＱ＃１００７Ｂ（ＪＮＬグループ管理テーブル７０４Ｂが有する情報１００７Ｂ）が表す値より１大きいＳＥＱ＃を含んだＪＮＬを、第２のＪＶＯＬ１１５Ｂから読み出し、読み出したＪＮＬが有するデータを、ＳＶＯＬ１１３Ｂに書き込む。
　第２のＤＫＣ１１１Ｂは、ＪＮＬグループ１１２Ｂのミラー＃０に対応したパージ可能ＳＥＱ＃１００７Ｂが表す値を変更する（Ｓ２４０２）。具体的には、第２のＤＫＣ１１１Ｂは、そのパージ可能ＳＥＱ＃１００７Ｂが表す値に１を加算する。
　第２のＤＫＣ１１１Ｂは、更新後のパージ可能ＳＥＱ＃１００７Ｂが表す値を第１のＤＣＫ１１１Ａに通知する（Ｓ２４０３）。
　第１のＤＫＣ１１１Ａは、ＪＮＬグループ１１２Ａのミラー＃０に対応したパージ可能ＳＥＱ＃１００７Ａが表す値を、第２のＤＫＣ１１１Ｂから通知された値に変更する（Ｓ２４０４）。
　＜ＪＶＯＬの使用率のチェック＞。
　各ＤＫＣは、そのＤＫＣを有するストレージ内のＪＶＯＬを、定期的に（又は不定期的に）、チェックする。以下、それを、第１のストレージ１０５Ａを例に採り説明する。
　第１のＤＫＣ１１１Ａが、定期的に（又は不定期的に）、図２５に示す処理を行う。
　すなわち、第１のＤＫＣ１１１Ａが、第１のＪＶＯＬ１１５Ａの使用率（第１のＪＶＯＬ１１５Ａの容量に対する、第１のＪＶＯＬ１１５Ａにおける１以上のＪＮＬの総容量の割合）が所定の閾値を超えているか否かを判断する（Ｓ２５０１）。その判断の結果が否定的であれば（Ｓ２５０１：ＮＯ）、処理が終了する。
　その判断の結果が肯定的であれば（Ｓ２５０１：ＹＥＳ）、第１のＤＫＣ１１１Ａは、第１のＪＶＯＬ１１５Ａ内のＪＮＬにパージ可能なＪＮＬが存在するか否かを判断する（Ｓ２５０２）。パージ可能なＪＮＬは、以下の（Ａ）のＪＮＬから（Ｂ）のＪＮＬまでである。
（Ａ）ＪＮＬグループ１１２Ａに対応したパージ済みＳＥＱ＃１００６Ａ（図１９参照）が表す値をＳＥＱ＃として含んだＪＮＬ。
（Ｂ）ＪＮＬグループ１１２Ａのミラー＃０に対応したパージ可能ＳＥＱ＃１００７Ａが表す値と、ＪＮＬグループ１１２Ａのミラー＃１に対応したパージ可能ＳＥＱ＃１００７Ａが表す値とのうち、小さい方の値をＳＥＱ＃として含んだＪＮＬ。
　Ｓ２５０２の判断の結果が肯定的であれば（Ｓ２５０２：ＹＥＳ）、第１のＤＫＣ１１１Ａは、第１のＪＶＯＬ１１５Ａからパージ可能なＪＮＬをパージする（Ｓ２５０３）。その後、第１のＤＫＣ１１１Ａは、Ｓ２５０１を行う。
　Ｓ２５０２の判断の結果が否定的であれば（Ｓ２５０２：ＮＯ）、第１のＤＫＣ１１１Ａは、ネックのペアをサスペンドする（Ｓ２５０４）。「ネックのペア」とは、ミラー＃０及びミラー＃１のいずれかに対応したペアであって、パージ可能ＳＥＱ＃１０００７Ａが表す値が小さい方のペアである。そのペアがネックである理由は、小さい方のパージ可能ＳＥＱ＃１０００７Ａが大きい方のパージ可能ＳＥＱ＃１０００７Ａに比べてかなり小さいために、パージ可能なＪＮＬの数が少なくなってしまっているからである。
　ネックのペアをサスペンドした場合、パージ可能なＪＮＬの数が増える。具体的には、パージ可能なＪＮＬは、大きい方のパージ可能ＳＥＱ＃１０００７Ａが表す値をＳＥＱ＃として含んだＪＮＬまでである。このため、第１のＤＫＣ１１１Ａは、Ｓ２５０４の後に、Ｓ２５０２及びＳ２５０３を行う。
　また、第１のＤＫＣ１１１Ａは、ネックのペアをサスペンドした場合、そのペアについては、差分管理及びリシンクを行うことになる（Ｓ２５１０）。具体的には、下記が行われることになる（ここの説明では、ネックのペアは、ミラー＃１に対応したペアであるとする）。
（＊）第１のＤＫＣ１１１Ａは、ＰＶＯＬ１１３Ａにデータを書き込んだ場合、そのデータのライト先ブロックに対応したビット（ＰＶＯＬ１１３Ａに対応した差分ビットマップ７０６Ａ内のビット）がオフになっていれば、そのビットをオンにする。
（＊）第１のＤＫＣ１１１Ａは、所定のタイミングで（例えば、リシンク指示を第１のホスト１０３Ａ（又は管理端末）から受けたときに）、リシンクを行う。具体的には、第１のＤＫＣ１１１Ａは、オンのビットに対応したブロック内のデータを含んだＪＮＬを、第３のＪＶＯＬ１１５Ｃに書き込む。
　なお、ミラー＃０及びミラー＃１に対応したペアのうちネックのペアをサスペンドし、Ｓ２５０２及びＳ２５０３を行った後であっても、Ｓ２５０１の判断の結果が肯定的となる場合には、そのＳ２５０２の判断の結果が否定的となる。この場合、第１のＤＣＫ１１１Ａは、残りのペアもサスペンドする。この結果、図２１においてＳ２１０１－１とＳ２１０１－２の両方が行われたことになる。この場合、ＪＮＬグループ１１２Ａについての全てのＪＮＬがパージ可能なＪＮＬであるので、Ｓ２５０３でそれらのＪＮＬがパージされれば、Ｓ２５０１の判断の結果は必ず否定的となり、処理が終了する。
　＜第１のストレージ１０５Ａに障害が発生した場合に行われる処理＞。
　図２６に示すように、第１のストレージ１０５Ａに障害が発生した場合（Ｓ２６０１）、第１のホスト１０３Ａから第２のホスト１０３Ｂへのフェイルオーバが行われる（Ｓ２６０２）。
　次に、第２のホスト１０３Ｂが、所定のコマンドとしてテイクオーバコマンドを、第２のストレージ１０５Ｂに送信する（Ｓ２６０３）。
　次に、第２のＤＫＣ１１１Ｂが、テイクオーバコマンドに応答して、種々のステータスを更新する（Ｓ２６０４）。具体的には、例えば、第２のＤＫＣ１１１Ｂは、下記の更新を行う。
（＊）ＤＶＯＬ１１３Ｂ及びミラー＃０に対応したペアステータスを、「ＳＳＷＳ」に更新する。第２のＤＫＣ１１１Ｂは、ＤＶＯＬ１１３ＢがＳＶＯＬであれば、通常は、第２のホスト１０３ＢからＤＶＯＬ１１３Ｂへのデータ書込みを禁止しているが、「ＳＳＷＳ」は、ＤＶＯＬ１１３ＢがＳＶＯＬであっても、データの書込みが許可されていることを意味する。
（＊）ＤＶＯＬ１１３Ｂ及びミラー＃１に対応したペアステータスを、「ＳＳＵＳ」に更新する。「ＳＳＵＳ」は、ミラー＃１に対応したペアがサスペンドされていることを意味する。これにより、ミラー＃０に対応したペアステータスが「ＳＳＷＳ」となっていても、第２のホスト１０３ＢからＤＶＯＬ１１３Ｂへのデータの書込みの禁止が維持される。
（＊）ＤＶＯＬ１１３Ｂのステータスを「ＨＯＬＤ」に変更する。「ＨＯＬＤ」は、差分リシンクの開始を待っていることを意味する。
（＊）ミラービットマップ７０７Ｂにおける、ミラー＃０に対応したビットをオフにし、ミラー＃２に対応したビットをオンにする。
　次に、第２のＤＫＣ１１１Ｂは、第３のストレージ１０５Ｃから、パージ可能ＳＥＱ＃が表す値を取得する（Ｓ２６０５）。具体的には、例えば、第２のＤＫＣ１１１Ｂが、ＪＮＬグループ１１２Ｃ及びミラー＃２に対応したパージ可能ＳＥＱ＃１００７Ｃ（ＪＮＬグループ管理テーブル７０４Ｃ内の情報１００７Ｃ）が表す値を、第２及び第３のストレージ１０５Ｂ及び１０５Ｃ間の制御パスを介して、第３のストレージ１０５Ｃに要求する。第３のＤＫＣ１１１Ｃが、その要求に応答して、ＪＮＬグループ１１２Ｃ及びミラー＃２に対応したパージ可能ＳＥＱ＃１００７Ｃが表す値を、上記制御パスを介して、第２のＤＫＣ１１１Ｂに通知する。
　次に、第２のＤＫＣ１１１Ｂは、ＪＮＬグループ１１２Ｂ及びミラー＃２に対応したパージ可能ＳＥＱ＃１００７Ｂが表す値と、取得されたパージ可能ＳＥＱ＃１００７Ｃが表す値とを比較する（Ｓ２６０６）。すなわち、第２のＤＫＣ１１１Ｂは、第２のストレージ１０５Ｂで最近反映されたＪＮＬが有するＳＥＱ＃（以下、ＳＥＱ＃（２））と、第３のストレージ１０５Ｃで最近反映されたＪＮＬが有するＳＥＱ＃（以下、ＳＥＱ＃（３））とを比較する。
　次に、第２のＤＫＣ１１１Ｂは、差分リシンクが可能か否かを判断する（Ｓ２６０７）。
　ここで、差分リシンクが可能なケース及び差分リシンクが不可能なケースを説明する。その際、ＳＥＱ＃（２）とＳＥＱ＃（３）のうち、より大きいＳＥＱ＃を、「ＳＥＱ＃（大）」と言い、より小さいＳＥＱ＃を、「ＳＥＱ＃（小）」と言う。また、第２及び第３のストレージ１０５Ｂ及び１０５Ｃのうち、ＳＥＱ＃（大）を有するストレージを、ストレージ（大）と言い、他方のストレージを、ストレージ（小）と言う。
　差分リシンクが可能なケースは、図２７に示すようなケース、すなわち、ストレージ（大）のＪＮＬグループ及びミラー＃２に対応したパージ済みＳＥＱ＃が表す値が、ＳＥＱ＃（小）以下であるケースである。別の言い方をすれば、ストレージ（大）が、ＳＥＱ＃（小）の次のＳＥＱ＃（ＳＥＱ＃（小）＋１に等しいＳＥＱ＃）を含んだＪＮＬ（以下、ＪＮＬ（Ｘ））からＳＥＱ＃（大）を含んだＪＮＬ（以下、ＪＮＬ（Ｙ））を有しているケースである。以下、ＪＮＬ（Ｘ）からＪＮＬ（Ｙ）までの１以上のＪＮＬ（すなわち、ＳＥＱ＃（小）＋１に等しいＳＥＱ＃からＳＥＱ＃（大）までのＳＥＱ＃を含んだ１以上のＪＮＬ）を、「１以上の差分ＪＮＬ」と言う。
　一方、差分リシンクが不可能なケースは、図２８に示すようなケース、すなわち、ストレージ（大）内のＪＮＬグループ及びミラー＃２に対応したパージ済みＳＥＱ＃が表す値が、ＳＥＱ＃（小）の次のＳＥＱ＃（ＳＥＱ＃（小）＋１に等しいＳＥＱ＃）より大きい値になっているケースである。なぜなら、ＳＥＱ＃が連続していないからである。
　再び図２６を参照する。
　Ｓ２６０７の判断の結果が否定的の場合（Ｓ２６０７：ＮＯ）、第２のＤＫＣ１１１Ｂは、全コピーを行う（Ｓ２６０８）。すなわち、第２のＤＫＣ１１１Ｂは、ＳＥＱ＃（２）とＳＥＱ＃（３）のうちの大きい方のＳＥＱ＃を有するストレージ内のＤＶＯＬ（例えばＤＶＯＬ１１３Ｂ）に記憶されている全てのデータを、ＳＥＱ＃（２）とＳＥＱ＃（３）のうちの小さい方のＳＥＱ＃を有するストレージ内のＤＶＯＬ（例えばＤＶＯＬ１１３Ｃ）にコピーする。これにより、ＤＶＯＬ１１３Ｂの内容とＤＶＯＬ１１３Ｃの内容が一致する。
　Ｓ２６０７の判断の結果が肯定的の場合（Ｓ２６０７：ＹＥＳ）、ＳＥＱ＃（２）がＳＥＱ＃（３）より大きければ（Ｓ２６０９：ＹＥＳ）、第２のストレージ１０５Ｂから第３のストレージ１０５Ｃへの差分リシンクが行われる（Ｓ２６１０）。つまり、図９に示した差分リシンクが行われる。具体的には、第２のＤＫＣ１１１Ｂは、第２のＪＶＯＬ１１５Ｂから１以上の差分ＪＮＬを読み出し、１以上の差分ＪＮＬのライト要求（第３のＪＶＯＬ１１５Ｃを指定したライト要求）を第３のストレージ１０５Ｃに送信することで、１以上の差分ＪＮＬを、第３のＪＶＯＬ１１５Ｃに書き込む（それに代えて、第３のＤＫＣ１１１Ｃが、第２のＪＶＯＬ１１５Ｂを指定したリード要求（ＳＥＱ＃（３）の次のＳＥＱ＃からＳＥＱ＃（２）を含んだリード要求）を送信し、それに応答して、１以上の差分ＪＮＬを第２のストレージ１０５Ｂから受信し、それら１以上の差分ＪＮＬを第３のＪＶＯＬ１１５Ｃに書き込んでも良い）。第３のＤＫＣ１１１Ｃが、第３のＪＶＯＬ１１５Ｃ内の１以上の差分ＪＮＬを、ＳＥＱ＃（３）の次のＳＥＱ＃を有するＪＮＬから先に、ＳＥＱ＃の小さい順に、ＤＶＯＬ１１３Ｃに反映する。これにより、ＤＶＯＬ１１３Ｃの内容がＤＶＯＬ１１３Ｂの内容に一致する。
　Ｓ２６０７の判断の結果が肯定的の場合（Ｓ２６０７：ＹＥＳ）、ＳＥＱ＃（２）がＳＥＱ＃（３）より小さければ（Ｓ２６０９：ＮＯ）、第３のストレージ１０５Ｂから第２のストレージ１０５Ｃへの差分リシンクが行われる（Ｓ２６１１）。つまり、図８に示した差分リシンクが行われる。具体的には、第２のＤＫＣ１１１Ｂが、第３のＪＶＯＬ１１５Ｃを指定したリード要求（ＳＥＱ＃（２）の次のＳＥＱ＃からＳＥＱ＃（３）を含んだリード要求）を送信し、それに応答して、１以上の差分ＪＮＬを第３のストレージ１０５Ｃから受信し、それら１以上の差分ＪＮＬを第２のＪＶＯＬ１１５Ｂに書き込む（それに代えて、第３のＤＫＣ１１１Ｂが、第３のＪＶＯＬ１１５Ｃから１以上の差分ＪＮＬを読み出し、１以上の差分ＪＮＬのライト要求（第２のＪＶＯＬ１１５Ｂを指定したライト要求）を第２のストレージ１０５Ｂに送信することで、１以上の差分ＪＮＬを第２のＪＶＯＬ１１５Ｂに書き込んでも良い）。第２のＤＫＣ１１１Ｂが、第２のＪＶＯＬ１１５Ｂ内の１以上の差分ＪＮＬを、ＳＥＱ＃（２）の次のＳＥＱ＃を有するＪＮＬから先に、ＳＥＱ＃の小さい順に、ＤＶＯＬ１１３Ｂに反映する。これにより、ＤＶＯＬ１１３Ｂの内容がＤＶＯＬ１１３Ｃの内容に一致する。
　図２９に示すように、第２のＤＫＣ１１１Ｂは、Ｓ２６１０又はＳ２６１１の差分リシンクが完了した場合（Ｓ２９０１：ＹＥＳ）、第２のホスト１０３Ｂから第２のＤＶＯＬ１１３Ｂへのデータの書込みを許可する（Ｓ２９０２）。具体的には、第２のＤＫＣ１１１Ｂは、ＤＶＯＬ１１３Ｂ及びミラー＃２に対応したペアステータスを、「ＳＳＷＳ」（つまりライト許可）に更新する。これにより、ＤＶＯＬ１１３Ｂ及びミラー＃０に対応したペアステータスだけでなく、ミラー＃２に対応したペアステータスも「ＳＳＷＳ」になったので、第２のホスト１０３Ｂから第２のＤＶＯＬ１１３Ｂへのデータの書込みが可能となる。なお、Ｓ２６１０又はＳ２６１１の差分リシンクが完了した場合、第２のＤＫＣ１１Ｂは、第２のＤＶＯＬ１１３ＢをＰＶＯＬとする（第３のＤＶＯＬ１１３ＣがＳＶＯＬである）。
　この後は、第２のサイト１０１Ｂにおいて、業務が継続される。第２のサイト１０１Ｂにおいて、ＪＮＬグループ１１２Ｂに対応するＳＥＱ＃の初期値は、ＳＥＱ＃（２）及びＳＥＱ＃（３）のうちの大きい方のＳＥＱ＃の次のＳＥＱ＃（つまり、ＳＥＱ＃（２）及びＳＥＱ＃（３）のうちの大きい方のＳＥＱ＃に１加算された値）である。
　第２のホスト１０３Ｂが、業務に応じて、ＰＶＯＬ１１３Ｂを指定したライト要求を第２のストレージ１０５Ｂに送信する。第２のＤＣＫ１１１Ｂが、そのライト要求に従うデータを、ＣＭ６３０Ｂに書き込み、その後、ＰＶＯＬ１１３Ｂに書き込む。第２のＤＫＣ１１１Ｂは、ＳＥＱ＃を更新し、更新後のＳＥＱ＃（又は更新前のＳＥＱ＃）とＰＶＯＬ１１３Ｂに書き込んだデータとを含んだＪＮＬを作成し、第２のＪＶＯＬ１１５Ｂに書き込む。第３のＤＫＣ１１１Ｃは、第２のＪＶＯＬ１１５Ｂを指定したリード要求を第２のストレージ１０５Ｂに送信することで、第２のＪＶＯＬ１１５Ｂ内のＪＮＬを第２のストレージ１０５Ｂから受信する。第３のＤＫＣ１１１Ｃは、受信したＪＮＫを第３のＪＶＯＬ１１５Ｃに書き込む。第３のＤＫＣ１１１Ｃは、第３のＪＶＯＬ１１５Ｃ内の未反映のＪＮＬを、ＳＥＱ＃の小さい順に、ＳＶＯＬ１１３Ｃに反映する。この一連の処理により、ＰＶＯＬ１１３Ｂに書き込まれたデータが、ＳＶＯＬ１１３Ｃにコピーされる。
　以上、実施例１によれば、運用サイトの切替え先のサイト１０１Ｂにおいて、第２のストレージ１０５Ｂが、第３のストレージ１０５Ｃにおいて最近反映されたＪＮＬが有するＳＥＱ＃（ＳＥＱ＃（３））を取得し、ＳＥＱ＃（３）を、第２のストレージ１０５Ｂにおいて最近反映されたＪＮＬが有するＳＥＱ＃（ＳＥＱ＃（２））と比較する。また、第２のストレージ１０５Ｂは、ＳＥＱ＃（２）及びＳＥＱ＃（３）のうちの大きい方のＳＥＱ＃を有するストレージにおけるパージ済みＳＥＱ＃と、ＳＥＱ＃（２）及びＳＥＱ＃（３）のうちの小さい方のＳＥＱ＃との関係を基に、差分リシンクが可能か否かを判断する。そして、その判断の結果とＳＥＱ＃（２）及びＳＥＱ＃（３）の関係とに基づく差分リシンクが行われる。これにより、第１のストレージ１０５Ａが障害等の原因により停止しても、業務が適切に継続される。
　また、実施例１によれば、１つのコピー元ＪＮＬグループに含まれるＪＶＯＬが、複数のコピー先ＪＮＬグループに共通である。別の言い方をすれば、１つのコピー元ＪＮＬグループに含まれるＪＶＯＬの数は、コピー先ＪＮＬグループの数に依存しない。これにより、第１のストレージ１０５Ａにおいて消費される記憶容量を節約することができる。
　以下、本発明の実施例２を説明する。その際、実施例１との相違点を主に説明し、実施例１との共通点については説明を省略或いは簡略する（これについては、後の実施例３及び４についても同様である）。
　実施例２では、差分リシンク中であっても、第２のＤＶＯＬ１１３Ｂへのデータの書込みが許可されている。具体的には、図３０に示すように、第２のＤＫＣ１１１Ｂが、図２６のＳ２６０７でＹＥＳとなることが判明したときに（Ｓ３００１：ＹＥＳ）、第２のホスト１０３Ｂから第２のＤＶＯＬ１１３Ｂへのデータの書込みを許可する（Ｓ３００２）。具体的には、第２のＤＫＣ１１１Ｂは、第２のＤＶＯＬ１１３Ｂ及びミラー＃０に対応したペアステータスと、第２のＤＶＯＬ１１３Ｂ及びミラー＃２に対応したペアステータスとの両方を、「ＳＳＷＳ」に変更する。なお、「Ｓ２６０７でＹＥＳになることが判明したとき」というのは、Ｓ２６１０とＳ２６１１のいずれかの差分リシンクが行われることが確定したときである。
　しかし、この場合、何の工夫もされないと、以下の問題が生じ得る。すなわち、第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクにおいて、第２のホスト１０３Ｂから書き込まれたデータ（最新のデータ）を有するブロック（ＤＶＯＬ１１３Ｂ内のブロック）に、差分ＪＮＬ内のデータ（古いデータ）が書き込まれてしまう可能性がある。
　実施例２は、その問題を回避するために、第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクが行われることが確定した場合には、図３１に示す処理が行われる。
　すなわち、第２のＤＫＣ１１１Ｂは、ＤＶＯＬ１１３Ｂを指定したライト要求を第２のホスト１０３Ｂから受けた場合（Ｓ３１０１）、ＤＶＯＬ１１３Ｂにおけるライト先のブロックにライト対象のデータを書込む（Ｓ３１０２）。その際に、第２のＤＫＣ１１１Ｂは、そのライト先のブロックを、ＪＮＬの非反映先として管理する（Ｓ３１０３）。具体的には、例えば、ＳＭ６４０Ｂが、ＪＮＬの反映が不要なライト先を表す非反映管理情報を記憶していて、第２のＤＫＣ１１１Ｂは、ＳＭ６４０Ｂに、ＤＶＯＬ１１３Ｂの番号と、ＤＶＯＬ１１３Ｂのブロックのアドレス（例えばＬＢＡ（Logical Block Address））とを、非反映管理情報に登録する。
　図３２に示すように、第２のＤＫＣ１１１Ｂは、第２のＪＶＯＬ１１５ＢからＪＮＬを読み出した場合、そのＪＮＬの反映先のブロック（ＤＶＯＬ１１３Ｂにおけるブロック）が非反映先でなければ（Ｓ３２０２：ＮＯ）、そのＪＮＬを反映するが（Ｓ３２０３）、そのＪＮＬの反映先のブロックが非反映先であれば（Ｓ３２０２：ＹＥＳ）、そのＪＮＬを反映しない（Ｓ３２０４）。
　Ｓ３２０２において、「ＪＮＬの反映先のブロックが非反映先であるか否か」とは、例えば、その反映先のブロックのアドレスが上記の非反映管理情報に登録されているか否かである。
　Ｓ３２０４において、「ＪＮＬを反映しない」とは、例えば、ＪＮＬを無視することである。無視されたＪＮＬは、第２のＪＶＯＬ１１５Ｂに残されていても良いし、直ちに第２のＪＶＯＬ１１５Ｂから削除されても良い。
　実施例２によれば、実施例１よりも早くに業務を開始することができ、且つ、差分リシンク中にＤＶＯＬ１１３Ｂがライト許可状態であることにより生じ得る問題（最新のデータが書き込まれたブロックに、差分ＪＮＬ内の古いデータが書き込まれてしまうこと）も回避することができる。
　実施例３では、差分リシンク中であっても、第２のホスト１０３Ｂが第２のＤＶＯＬ１１３Ｂからデータを読み出すことが許可されている（実施例１では、その読み出しは禁止されている）。具体的には、例えば、第２のＤＫＣ１１１Ｂは、図２６のＳ２６０７でＹＥＳとなることが判明したとき、第２のＤＶＯＬ１１３Ｂからデータを読み出すことを許可した状態とする。
　しかし、この場合、何の工夫もされないと、以下の問題が生じ得る。すなわち、第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクの最中に、第２のホスト１０３ＢがＤＶＯＬ１１３Ｂから読み出すデータが、最新のデータ（ＳＥＱ＃が最も大きい差分ＪＮＬが有するデータ）ではなく古いデータである可能性がある。
　実施例３は、その問題を回避するために、第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクが行われることが確定した場合には、図３３に示す処理が行われる。
　すなわち、第２のＤＫＣ１１１Ｂは、差分リシンクが完了するまでの間に、ＤＶＯＬ１１３Ｂを指定したリード要求を受信した場合（Ｓ３３０１）、ＣＭ６３０ＢにＣＭ領域を確保し（Ｓ３３０２）、差分リシンクは第３のストレージ１０５Ｃから第２のストレージ１０５Ｂへの差分リシンクであるか否かを判断する（Ｓ３３０３）。
　この判断の結果が否定的の場合（Ｓ３３０３：ＮＯ）、第２のＤＫＣ１１１Ｂは、リード要求で指定されたリード元ブロック（ＤＶＯＬ１１３Ｂ内のブロック）からデータを読み出し、読み出したデータをＣＭ領域に書き、ＣＭ領域内のデータを第２のホスト１０３Ｂに送信する（Ｓ３３０７）。
　Ｓ３３０３の判断の結果が肯定的の場合（Ｓ３３０３：ＹＥＳ）、第２のＤＫＣ１１１Ｂは、リード元ブロックが反映先となっている最新のＪＮＬが第２のＪＶＯＬ１１５Ｂにあるか否かを判断する（Ｓ３３０４）。ここで言う「最新のＪＮＬ」とは、第２及び第３のＪＶＯＬ１１５Ｂ及び１１５Ｃが有する１以上の差分ＪＮＬのうち、リード元ブロックが反映先となっている１以上のＪＮＬのいずれかであって、それら１以上のＪＮＬが有する１以上のＳＥＱ＃のうちの最大のＳＥＱ＃を有するＪＮＬである。従って、この判断のためには、第２のＤＫＣ１１１Ｂは、第３のＤＶＯＬ１１５Ｂ内の差分ＪＮＬが有するＳＥＱ＃を把握する。
　この判断の結果が肯定的の場合（Ｓ３３０４：ＹＥＳ）、第２のＤＫＣ１１１Ｂは、第２のＪＶＯＬ１１５Ｂから最新のＪＮＬをＤＶＯＬ１１３Ｂ内のリード元ブロックに反映し（Ｓ３３０６）、その後、Ｓ３３０７を行う。なお、第２のＤＫＣ１１１Ｂは、差分リシンクにおいて、上記リード元ブロックが反映先である差分ＪＮＬであって、上記最新のＪＮＬより古い差分ＪＮＬ（最新のＪＮＬが有するＳＥＱ＃より小さいＳＥＱ＃を有するＪＮＬ）が取得されても、その差分ＪＮＬを、リード元ブロックに反映しない（例えば、そのＪＮＬを第２のＪＶＯＬ１１１Ｂからパージする）。また、Ｓ３３０４：ＹＥＳの場合のＳ３３０７において、第２のホスト１０３Ｂに送信されるデータは、第２のＤＶＯＬ１１３Ｂから提供されることに代えて、ＪＮＬから提供されても良い。
　Ｓ３３０４の判断の結果が否定的の場合（Ｓ３３０４：ＮＯ）、第２のＤＫＣ１１１Ｂは、最新のＪＮＬのＳＥＱ＃を含んだリード要求を第３のストレージ１０５Ｃに送信することで、最新のＪＮＬを第３のストレージ１０５Ｃから受信し、その最新のＪＮＬを第２のＪＶＯＬ１１５Ｂに書き込む。つまり、第２のＤＫＣ１１１Ｂは、他のＪＮＬよりも優先して最新のＪＮＬを第３のストレージ１０５Ｃから取得する。その後、第２のＤＫＣ１１１Ｂは、上述のＳ３３０６及びＳ３３０７を行う。なお、Ｓ３３０４：ＮＯの場合のＳ３３０７でも、第２のホスト１０３Ｂに送信されるデータは、第２のＤＶＯＬ１１３Ｂから提供されることに代えて、ＪＮＬから提供されても良い。
　実施例３によれば、実施例１よりも早くに業務を開始することができ、且つ、差分リシンク中にＤＶＯＬ１１３Ｂがリード許可状態であることにより生じ得る問題（第２のホスト１０３Ｃに最新のデータではなく古いデータが提供されてしまうこと）も回避することができる。
　実施例４では、ストレージ１０５Ｂ及び１０５Ｃ間で全ての差分ＪＮＬの転送が行われなくても、差分リシンクを行うことができる。
　例えば、図２６のＳ２６０６の次に、第２のＤＫＣ１１１Ｂが、差分ＪＮＬに相当する未反映ＪＮＬが旧ストレージに存在するか否かを判断する（Ｓ３４０１）。
　ここで、「旧ストレージ」とは、ストレージ１０５Ｂ又は１０５Ｃであって、ＳＥＱ＃（２）及びＳＥＱ＃（３）のうちの小さい方のＳＥＱ＃をパージ可能ＳＥＱ＃として有するストレージ装置である。ストレージ１０５Ｂ及び１０５Ｃのうち旧ストレージではない方を、以下、「新ストレージ」と言う。
　また、「差分ＪＮＬに相当する未反映ＪＮＬが旧ストレージに存在する」とは、図３５に示すように、旧ストレージ内のＪＶＯＬに、旧ストレージにおけるパージ可能ＳＥＱ＃より大きいＳＥＱ＃を有する未反映ＪＮＬが存在することである。
　旧ストレージが第２のストレージ１０５Ｂの場合、例えば、第２のＪＶＯＬ１１５Ｂに少なくとも１つの未反映のＪＮＬがあれば、Ｓ３４０１の判断の結果は肯定的となる。
　また、旧ストレージが第３のストレージ１０５Ｃの場合、例えば、第２のＤＫＣ１１１Ｂが、第３のＤＫＣ１１１Ｃに、１以上の未反映のＪＮＬにおける最新のＪＮＬが有するＳＥＱ＃が表す値を問い合わせることで、Ｓ３４０１の判断を行うことができる。具体的には、第２のＤＫＣ１１１Ｂは、第３のＤＣＫ１１１Ｃから回答されたＳＥＱ＃（以下、回答ＳＥＱ＃）と、ＳＥＱ＃（３）＋１とを比較することで、Ｓ３４０１の判断を行うことができる。回答ＳＥＱ＃が、ＳＥＱ＃（３）＋１以上であれば、Ｓ３４０１の判断の結果は肯定的となる。
　Ｓ３４０１の判断の結果が否定的の場合（Ｓ３４０１：ＮＯ）、図２６のＳ２６０７が行われる。
　Ｓ３４０１の判断の結果が肯定的の場合（Ｓ３４０１：ＮＯ）、第２のＤＫＣ１１１Ｂは、旧ストレージ内の未反映ＪＮＬが足りるか否かを判断する（Ｓ３４０２）。旧ストレージ内の最新の未反映ＪＮＬが有するＳＥＱ＃が、１以上の差分ＪＮＬのうちの最新のＪＮＬが有するＳＥＱ＃以上であれば、この判断の結果は肯定的となる。
　この判断の結果が肯定的であれば（Ｓ３４０２：ＹＥＳ）、旧ストレージ内のＤＫＣは、旧ストレージ内の１以上の未反映のＪＮＬのうち、１以上の差分ＪＮＬに相当するＪＮＬを、全て、旧ストレージ内のＤＶＯＬに反映する（Ｓ３４０３）。もし、未反映ＪＮＬが余れば、旧ストレージ内のＤＫＣは、余ったＪＮＬをパージしても良い。
　Ｓ３４０２の判断の結果が否定的であれば（Ｓ３４０２：ＮＯ）、Ｓ３４０４が行われる。すなわち、旧ストレージ内のＤＫＣは、不足分の差分ＪＮＬ（旧ストレージ内の未反映のＪＮＬと１以上の差分ＪＮＬとの差分に相当するＪＮＬ）を新ストレージから取得し、その差分ＪＮＬを、旧ストレージ内のＪＶＯＬに格納する。そして、旧ストレージ内のＤＫＣは、旧ストレージにおけるＪＶＯＬ内の未反映ＪＮＬ及び差分ＪＮＬを、全て、旧ストレージ内のＤＶＯＬに反映する。
　以上、本発明の幾つかの実施例を説明したが、本発明は、これらの実施例に限定されるものでなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
　例えば、実施例１～４のうちの２以上が組み合わされても良い。
　また、例えば、上述の説明では、更新番号として、シーケンス番号（ＳＥＱ＃）が採用されているが、規則的に大きく或いは小さくなっていく他種の番号が採用されても良い。
　また、例えば、実施例１～４において、第１のストレージ１０５Ａが停止した場合、運用の切替え先のサイトにおける第２のストレージ１０５Ｂが、種々の処理（例えば、デルタリシンクが可能か否かの判断）を行うが、実施例１～４の少なくとも１つにおいて、種々の処理のうちの少なくとも１つが、第３のストレージ１０５Ｃによって行われても良い。
　また、例えば、全てのＪＮＬは、更新後のＳＥＱ＃を有するが、それに代えて、更新前のＳＥＱ＃を有しても良い。
　また、例えば、ストレージ１０５Ａ～１０５Ｃの少なくとも１つが、複数のＪＮＬグループがあっても良い。
　また、例えば、ストレージ１０５Ａ～１０５Ｃの少なくとも１つが、ＪＮＬグループに含まれる論理ボリューム以外の論理ボリュームを有していても良い。
　また、例えば、ストレージ装置間のＪＮＬの転送は、コピー先のストレージ装置がコピー元のストレージ装置内のＪＶＯＬからＪＮＬを読み出すことによる転送と、コピー元のストレージ装置がコピー先のストレージ装置内のＪＶＯＬにＪＮＬを書き込むことによる転送のどちらであっても良い。
　１０１Ａ…第１のストレージ装置　１０１Ｂ…第２のストレージ装置　１０１Ｃ…第３のストレージ装置

Claims (11)

  1. 　非同期リモートコピーを行うストレージシステムである非同期リモートコピーシステムであって、
    　第１の記憶資源グループを有し第１のホスト装置に接続されている第１のストレージ装置と、
    　第２の記憶資源グループを有し第２のホスト装置に接続されている第２のストレージ装置と、
    　第３の記憶資源グループを有する第３のストレージ装置と
    を有し、
    　前記第１の記憶資源グループが、データが書き込まれる論理ボリュームである第１のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第１のジャーナル記憶資源とを有し、
    　前記第２の記憶資源グループが、データが書き込まれる論理ボリュームである第２のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第２のジャーナル記憶資源とを有し、
    　前記第３の記憶資源グループが、データが書き込まれる論理ボリュームである第３のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第３のジャーナル記憶資源とを有し、
    　前記第１のストレージ装置が、前記ホスト装置から前記第１のデータボリュームにデータが書き込まれる場合、前記第１の記憶資源グループ内のデータボリュームにデータが書き込まれる都度に更新される番号である更新番号を更新し、その更新番号とそのデータとを含んだジャーナルを作成し、そのジャーナルを前記第１のジャーナル記憶資源に書き込み、
    　マルチターゲット方式の非同期リモートコピーが行われ、その非同期リモートコピーでは、前記ジャーナルが、前記第１のストレージ装置から前記第２のストレージ装置へ転送され前記第２のデータボリュームに反映されることで前記第１のデータボリューム内のデータが前記第２のデータボリュームに書き込まれ、且つ、前記ジャーナルが、前記第１のストレージ装置から前記第３のストレージ装置へ転送され前記第３のデータボリュームに反映されることで前記第１のデータボリューム内のデータが前記第３のデータボリュームに書き込まれ、
    　（Ｘ）前記第１のストレージ装置が停止した場合、
    （ｘ１）前記第２のストレージ装置において最近反映されたジャーナルが有する更新番号と、前記第３のストレージ装置において最近反映されたジャーナルが有する更新番号とのどちらが新しいかが判断され、
    （ｘ２）前記第２及び第３のストレージ装置のうち、前記（ｘ１）で新しいと判断された更新番号を有するストレージ装置である新ストレージ装置に、前記（ｘ１）で新しいと判断されなかった更新番号の次の更新番号を有するジャーナルから前記（ｘ１）で新しいと判断された更新番号を有するジャーナルまでの１以上のジャーナルである１以上の差分ジャーナルがあるか否かが判断され、
    （ｘ３）前記（ｘ２）の判断の結果が肯定的の場合、前記新ストレージ装置から、前記第２及び第３のストレージ装置のうちの前記新ストレージ装置ではないストレージ装置である旧ストレージ装置に、前記１以上の差分ジャーナルがコピーされ、
    （ｘ４）前記旧ストレージ装置が、前記１以上の差分ジャーナルを、更新番号の順に、前記旧ストレージ装置内のデータボリュームに反映する、
    非同期リモートコピーシステム。
  2. 　請求項１記載のシステムであって、
    　前記第２のストレージ装置が、前記旧ストレージ装置であり、前記第３のストレージ装置が、前記新ストレージ装置であり、
    　前記第２のデータボリュームは、前記第２のホスト装置からのデータの書込みが禁止されたライト禁止状態であり、
    　前記（ｘ２）の判断の結果が肯定的の場合、前記第２のストレージ装置が、前記第２のデータボリュームを、前記第２のホスト装置からのデータの書込みが可能なライト許可状態とし、
    　前記第２のストレージ装置が、前記第２のデータボリュームをライト許可状態とした後、前記第２のデータボリュームにおけるライト先を指定したライト要求を前記第２のホスト装置から受信した場合、
    （ｗ１）前記ライト要求に従うデータを前記ライト先に書き込み、
    （ｗ２）前記ライト先を、差分ジャーナルの非反映先として管理し、
    　前記（ｘ４）において、前記第２のストレージ装置が、
    （ｘ４１）前記第２のジャーナル記憶資源内の差分ジャーナルの反映先が、非反映先であるか否かを判断し、
    （ｘ４２）前記（ｘ４１）の判断の結果が否定的であれば、前記差分ジャーナルを反映し、
    （ｘ４３）前記（ｘ４１）の判断の結果が肯定的であれば、前記差分ジャーナルを反映しない、
    非同期リモートコピーシステム。
  3. 　請求項１記載のシステムであって、
    　前記第２のストレージ装置が、前記旧ストレージ装置であり、前記第３のストレージ装置が、前記新ストレージ装置であり、
    　前記第２のデータボリュームは、前記第２のホスト装置からデータを読み出すことが禁止されたリード禁止状態であり、
    　前記（ｘ２）の判断の結果が肯定的の場合、前記第２のストレージ装置が、前記第２のデータボリュームを、前記第２のホスト装置からデータを読み出すことが可能なリード許可状態とし、
    　前記第２のストレージ装置が、前記第２のデータボリュームをリード許可状態とした後、前記第２のデータボリュームにおけるリード元を指定したリード要求を前記第２のホスト装置から受信した場合、
    （Ｒ）リード元が反映先となる差分ジャーナルのうち、最新の更新番号を有する差分ジャーナルである対象ジャーナルが有するデータを、前記第２のホスト装置に送信する、
    非同期リモートコピーシステム。
  4. 　請求項３記載のシステムであって、
    　前記（Ｒ）において、前記第２のストレージ装置が、
    （ｒ１）前記第２及び第３のジャーナル記憶資源における、リード元が反映先となる差分ジャーナルのうち、最新の更新番号を有する差分ジャーナルである対象ジャーナルが、前記第２のジャーナル記憶資源にあるか否かを判断し、
    （ｒ２）前記（ｒ１）の判断の結果が肯定的であれば、前記対象ジャーナルを前記第２のデータボリュームに反映し、且つ、前記対象ジャーナルが有するデータを前記第２のホスト装置に送信し、
    （ｒ３）前記（ｒ１）の判断の結果が否定的であれば、前記対象ジャーナルを、他のジャーナルよりも優先して前記第３のストレージ装置から取得し、前記対象ジャーナルを前記第２のジャーナル記憶資源に書き込み、前記対象ジャーナルを前記第２のデータボリュームに反映し、前記対象ジャーナルが有するデータを前記第２のホスト装置に送信する、
    非同期リモートコピーシステム。
  5. 　請求項１記載のシステムであって、
    　（Ｐ）前記第２又は第３のストレージ装置が、前記旧ストレージ装置内のジャーナル記憶資源に、前記差分ジャーナルに相当する未反映のジャーナルがあるか否かを判断し、
    　（Ｑ）前記（Ｐ）の判断の結果が肯定的であれば、前記旧ストレージ装置が、前記差分ジャーナルに相当する未反映のジャーナルを、自身のデータボリュームに反映し、
    　前記（Ｑ）で反映される未反映のジャーナルに対応した差分ジャーナルについては、前記（ｘ３）及び（ｘ４）に代えて、前記（Ｑ）が行われる、
    非同期リモートコピーシステム。
  6. 　請求項１記載のシステムであって、
    　前記第１のストレージ装置が、
    （Ｈ）前記第２及び第３の記憶資源グループについて共通のパージ可能なジャーナルを前記第１のジャーナル記憶資源からパージし、
    （Ｉ）前記第１のジャーナル記憶資源の使用率が所定の閾値を超えているか否かを判断し、
    （Ｊ）前記（Ｉ）の判断の結果が肯定的の場合、前記第１の記憶資源グループと前記第２の記憶資源グループとの関係である第１の関係と、前記第１の記憶資源グループと前記第３の記憶資源グループとの関係である第２の関係とのうち、前記第１のジャーナル記憶資源からパージ可能なジャーナルの数が少ない方の関係を解除し、
    （Ｋ）前記第２及び第３の記憶資源グループのうち解除されていない関係に係る記憶資源グループについてのパージ可能なジャーナルを前記第１のジャーナル記憶資源からパージし、
    　前記第１のジャーナル記憶資源の使用率とは、前記第１のジャーナル記憶資源の容量に対する、前記第１のジャーナル記憶資源内の１以上のＪＮＬの総容量の割合、である、
    非同期リモートコピーシステム。
  7. 　請求項６記載のシステムであって、
    　（Ｌ）前記第１のストレージ装置が、サスペンドされたペアについて、前記第１のデータボリューム内のライト先にデータが書き込まれた場合、そのデータを有するＪＮＬを作成せず、そのライト先に更新があったことを管理し、
    　（Ｍ）前記第１のストレージ装置が、所定のコマンドに応答して、更新があったライト先にあるデータを含んだジャーナルを作成して、そのジャーナルを、前記ネックのペアに係るデータボリュームを有するストレージ装置に送信し、
    　（Ｎ）そのストレージ装置が、そのジャーナルを自身のジャーナル記憶資源に書込み、そのジャーナル記憶資源内のジャーナルを、自身のデータボリュームに反映する、
    非同期リモートコピーシステム。
  8. 　請求項１記載のシステムであって、
    　前記（Ｘ）の場合、前記第１のホスト装置から前記第２のホスト装置へのフェイルオーバが行われ、前記第２のホスト装置が、前記第２のストレージ装置に所定のコマンドを送信し、
    　前記第２のストレージ装置が、前記所定のコマンドを受信し、前記所定のコマンドに応答して、前記（ｘ１）及び（ｘ２）を行う、
    非同期リモートコピーシステム。
  9. 　請求項１記載のシステムであって、
    　前記第２のデータボリュームは、前記第２のホスト装置からデータを書き込むことが禁止されたライト禁止状態であり、
    　前記第２のストレージ装置が、前記（ｘ４）の完了後に、前記第２のデータボリュームを、前記第２のホスト装置からデータを書き込むことが可能なライト許可状態にする、
    非同期リモートコピーシステム。
  10. 　請求項１記載のシステムであって、
    　前記第１のジャーナル記憶資源は、前記第２及び第３の記憶資源グループに共通であり、
    　前記（Ｄ１）において、前記第２のストレージ装置が、前記第２のジャーナル記憶資源において最新である更新番号の次の更新番号を有するジャーナルを前記第１のストレージ装置から読み出し、読み出したジャーナルを前記第２のジャーナル記憶資源に書き込み、
    　前記（Ｄ２）において、前記第３のストレージ装置が、前記第３のジャーナル記憶資源において最新である更新番号の次の更新番号を有するジャーナルを前記第１のストレージ装置から読み出し、読み出したジャーナルを前記第３のジャーナル記憶資源に書き込む、
    非同期リモートコピーシステム。
  11. 　非同期リモートコピーを行うストレージシステムである非同期リモートコピーシステムでの記憶制御方法であって、
    　前記非同期リモートコピーシステムが、
    　第１の記憶資源グループを有し第１のホスト装置に接続されている第１のストレージ装置と、
    　第２の記憶資源グループを有し第２のホスト装置に接続されている第２のストレージ装置と、
    　第３の記憶資源グループを有し第３のホスト装置に接続されている第３のストレージ装置と
    を有し、
    　前記第１の記憶資源グループが、データが書き込まれる論理ボリュームである第１のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第１のジャーナル記憶資源とを有し、
    　前記第２の記憶資源グループが、データが書き込まれる論理ボリュームである第２のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第２のジャーナル記憶資源とを有し、
    　前記第３の記憶資源グループが、データが書き込まれる論理ボリュームである第３のデータボリュームと、データのジャーナルが書き込まれる記憶資源である第３のジャーナル記憶資源とを有し、
    　前記第１のストレージ装置が、前記ホスト装置から前記第１のデータボリュームにデータが書き込まれる場合、前記第１の記憶資源グループ内のデータボリュームにデータが書き込まれる都度に更新される番号である更新番号を更新し、その更新番号とそのデータとを含んだジャーナルを作成し、そのジャーナルを前記第１のジャーナル記憶資源に書き込み、
    　マルチターゲット方式の非同期リモートコピーが行われ、その非同期リモートコピーでは、前記ジャーナルが、前記第１のストレージ装置から前記第２のストレージ装置へ転送され前記第２のデータボリュームに反映されることで前記第１のデータボリューム内のデータが前記第２のデータボリュームに書き込まれ、且つ、前記ジャーナルが、前記第１のストレージ装置から前記第３のストレージ装置へ転送され前記第３のデータボリュームに反映されることで前記第１のデータボリューム内のデータが前記第３のデータボリュームに書き込まれ、
    　前記記憶制御方法が、
    　前記第１のストレージ装置が停止した場合、
    （ｘ１）前記第２のストレージ装置において最近反映されたジャーナルが有する更新番号と、前記第３のストレージ装置において最近反映されたジャーナルが有する更新番号とのどちらが新しいかを判断し、
    （ｘ２）前記第２及び第３のストレージ装置のうち、前記（ｘ１）で新しいと判断された更新番号を有するストレージ装置である新ストレージ装置に、前記（ｘ１）で新しいと判断されなかった更新番号の次の更新番号を有するジャーナルから前記（ｘ１）で新しいと判断された更新番号を有するジャーナルまでの１以上のジャーナルである１以上の差分ジャーナルがあるか否かを判断し、
    （ｘ３）前記（ｘ２）の判断の結果が肯定的の場合、前記新ストレージ装置内のジャーナル記憶資源から、前記第２及び第３のストレージ装置のうちの前記新ストレージ装置ではないストレージ装置である旧ストレージ装置内のジャーナル記憶資源に、前記１以上の差分ジャーナルをコピーし、
    （ｘ４）前記旧ストレージ装置において、前記１以上の差分ジャーナルを、更新番号の順に、前記旧ストレージ装置内のデータボリュームに反映する、
    記憶制御方法。
PCT/JP2010/002540 2010-04-07 2010-04-07 非同期リモートコピーシステム、及び、記憶制御方法 WO2011125126A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201080008833.2A CN102326152B (zh) 2010-04-07 2010-04-07 非同步远程复制系统以及存储控制方法
PCT/JP2010/002540 WO2011125126A1 (ja) 2010-04-07 2010-04-07 非同期リモートコピーシステム、及び、記憶制御方法
US12/864,298 US8375004B2 (en) 2010-04-07 2010-04-07 Asynchronous remote copy system and storage control method
JP2012509185A JP5270796B2 (ja) 2010-04-07 2010-04-07 非同期リモートコピーシステム、及び、記憶制御方法
EP10841823.7A EP2423818B1 (en) 2010-04-07 2010-04-07 Asynchronous remote copy system and storage control method
US13/740,351 US9880910B2 (en) 2010-04-07 2013-01-14 Asynchronous remote copy system and storage control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/002540 WO2011125126A1 (ja) 2010-04-07 2010-04-07 非同期リモートコピーシステム、及び、記憶制御方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US12/864,298 A-371-Of-International US8375004B2 (en) 2010-04-07 2010-04-07 Asynchronous remote copy system and storage control method
US13/740,351 Continuation US9880910B2 (en) 2010-04-07 2013-01-14 Asynchronous remote copy system and storage control method

Publications (1)

Publication Number Publication Date
WO2011125126A1 true WO2011125126A1 (ja) 2011-10-13

Family

ID=44761651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002540 WO2011125126A1 (ja) 2010-04-07 2010-04-07 非同期リモートコピーシステム、及び、記憶制御方法

Country Status (5)

Country Link
US (2) US8375004B2 (ja)
EP (1) EP2423818B1 (ja)
JP (1) JP5270796B2 (ja)
CN (1) CN102326152B (ja)
WO (1) WO2011125126A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186557A (ja) * 2012-03-06 2013-09-19 Nec Corp データベースの非同期レプリケーション方式
US9886359B2 (en) 2014-06-20 2018-02-06 Fujitsu Limited Redundant system, redundancy method, and computer-readable recording medium

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6019940B2 (ja) * 2012-08-30 2016-11-02 富士通株式会社 情報処理装置、コピー制御プログラム、およびコピー制御方法
US20140164323A1 (en) * 2012-12-10 2014-06-12 Transparent Io, Inc. Synchronous/Asynchronous Storage System
WO2014091600A1 (ja) * 2012-12-13 2014-06-19 株式会社日立製作所 ストレージ装置及びストレージ装置移行方法
US9317423B2 (en) * 2013-01-07 2016-04-19 Hitachi, Ltd. Storage system which realizes asynchronous remote copy using cache memory composed of flash memory, and control method thereof
US9514012B2 (en) 2014-04-03 2016-12-06 International Business Machines Corporation Tertiary storage unit management in bidirectional data copying
US9672124B2 (en) * 2014-06-13 2017-06-06 International Business Machines Corporation Establishing copy pairs from primary volumes to secondary volumes in multiple secondary storage systems for a failover session
JP6511738B2 (ja) * 2014-06-20 2019-05-15 富士通株式会社 冗長システム、冗長化方法および冗長化プログラム
CN105430063A (zh) * 2015-11-05 2016-03-23 浪潮(北京)电子信息产业有限公司 一种多控共享存储系统间远程复制方法
US10671493B1 (en) 2017-08-29 2020-06-02 Wells Fargo Bank, N.A. Extended remote copy configurator of three-site data replication for disaster recovery
CN107832014A (zh) * 2017-11-07 2018-03-23 长沙曙通信息科技有限公司 一种远程数据缓冲存储转发实现方法和装置
JP2021174392A (ja) * 2020-04-28 2021-11-01 株式会社日立製作所 リモートコピーシステム及びリモートコピー管理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267216A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd ストレージリモートコピー方法および情報処理システム
JP2006065629A (ja) 2004-08-27 2006-03-09 Hitachi Ltd データ処理システム及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6745303B2 (en) 2002-01-03 2004-06-01 Hitachi, Ltd. Data synchronization of multiple remote storage
JP4021823B2 (ja) * 2003-09-01 2007-12-12 株式会社日立製作所 リモートコピーシステム及びリモートコピーの方法
JP4477370B2 (ja) * 2004-01-30 2010-06-09 株式会社日立製作所 データ処理システム
WO2005086001A1 (en) * 2004-02-27 2005-09-15 Incipient, Inc. Distributed asynchronous ordered replication
JP4452533B2 (ja) * 2004-03-19 2010-04-21 株式会社日立製作所 システムおよび記憶装置システム
JP4476683B2 (ja) * 2004-04-28 2010-06-09 株式会社日立製作所 データ処理システム
US7395265B2 (en) 2004-08-27 2008-07-01 Hitachi, Ltd. Data processing system and storage subsystem provided in data processing system
US7412576B2 (en) * 2004-12-08 2008-08-12 Hitachi, Ltd. Remote copy system having multiple data centers
JP4738941B2 (ja) * 2005-08-25 2011-08-03 株式会社日立製作所 ストレージシステム及びストレージシステムの管理方法
JP2007066162A (ja) * 2005-09-01 2007-03-15 Hitachi Ltd ストレージシステム及びストレージシステムの管理方法
JP5124989B2 (ja) * 2006-05-26 2013-01-23 日本電気株式会社 ストレージシステム及びデータ保護方法とプログラム
GB0615779D0 (en) * 2006-08-09 2006-09-20 Ibm Storage management system with integrated continuous data protection and remote copy
JP5244332B2 (ja) * 2006-10-30 2013-07-24 株式会社日立製作所 情報システム、データ転送方法及びデータ保護方法
JP5022773B2 (ja) * 2007-05-17 2012-09-12 株式会社日立製作所 ジャーナルを利用したリモートコピーのコピー先となるストレージシステムの消費電力を節約する方法及びシステム
JP2009122873A (ja) * 2007-11-13 2009-06-04 Hitachi Ltd ストレージシステム間でのリモートコピーを管理する装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267216A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd ストレージリモートコピー方法および情報処理システム
JP2006065629A (ja) 2004-08-27 2006-03-09 Hitachi Ltd データ処理システム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2423818A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186557A (ja) * 2012-03-06 2013-09-19 Nec Corp データベースの非同期レプリケーション方式
US9886359B2 (en) 2014-06-20 2018-02-06 Fujitsu Limited Redundant system, redundancy method, and computer-readable recording medium

Also Published As

Publication number Publication date
EP2423818B1 (en) 2016-01-13
EP2423818A4 (en) 2014-04-30
US8375004B2 (en) 2013-02-12
US20110251993A1 (en) 2011-10-13
US9880910B2 (en) 2018-01-30
CN102326152A (zh) 2012-01-18
JP5270796B2 (ja) 2013-08-21
US20130132693A1 (en) 2013-05-23
EP2423818A1 (en) 2012-02-29
CN102326152B (zh) 2014-11-26
JPWO2011125126A1 (ja) 2013-07-08

Similar Documents

Publication Publication Date Title
JP5270796B2 (ja) 非同期リモートコピーシステム、及び、記憶制御方法
EP1796004B1 (en) Storage system and data processing system
WO2011125127A1 (ja) 非同期リモートコピーシステム、及び、記憶制御方法
US7398367B2 (en) Storage subsystem that connects fibre channel and supports online backup
EP0902923B1 (en) Method for independent and simultaneous access to a common data set
US6981008B2 (en) Method for duplicating data of storage subsystem and data duplicating system
EP2120147B1 (en) Data mirroring system using journal data
US7328373B2 (en) Data processing system
US8370590B2 (en) Storage controller and data management method
JP3958757B2 (ja) カスケード式再同期を利用する障害回復システム
US6282610B1 (en) Storage controller providing store-and-forward mechanism in distributed data storage system
JP4550717B2 (ja) 仮想ストレージシステム制御装置、仮想ストレージシステム制御プログラム、仮想ストレージシステム制御方法
US6584473B2 (en) Information storage system
US20070150677A1 (en) Storage system and snapshot management method
US20050114741A1 (en) Method, system, and program for transmitting input/output requests from a primary controller to a secondary controller
JP2005309793A (ja) データ処理システム
JP4311532B2 (ja) 記憶システム及び同システムにおけるスナップショット管理方法
US7334164B2 (en) Cache control method in a storage system with multiple disk controllers

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080008833.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 12864298

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010841823

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10841823

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012509185

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 6356/DELNP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE