JP4843976B2 - レプリケーションシステムと方法 - Google Patents

レプリケーションシステムと方法 Download PDF

Info

Publication number
JP4843976B2
JP4843976B2 JP2005089454A JP2005089454A JP4843976B2 JP 4843976 B2 JP4843976 B2 JP 4843976B2 JP 2005089454 A JP2005089454 A JP 2005089454A JP 2005089454 A JP2005089454 A JP 2005089454A JP 4843976 B2 JP4843976 B2 JP 4843976B2
Authority
JP
Japan
Prior art keywords
replication
storage system
backup
source
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005089454A
Other languages
English (en)
Other versions
JP2006268740A (ja
Inventor
純一 大和
真樹 菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005089454A priority Critical patent/JP4843976B2/ja
Priority to US11/387,918 priority patent/US20060218203A1/en
Publication of JP2006268740A publication Critical patent/JP2006268740A/ja
Application granted granted Critical
Publication of JP4843976B2 publication Critical patent/JP4843976B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2066Optimisation of the communication load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers

Description

本発明は、レプリケーションシステムに関し、特に、バックアップ機能を備えたレプリケーションシステムと方法に関する。
従来から、情報システムとして災害等が発生しても業務を維持するために正常系(あるいは稼働系、メイン)サイトと待機系(あるいは予備系、バックアップ)サイトを備えたコンピュータシステムが用いられている。このようなコンピュータシステムをレプリケーションシステムと呼ぶ。例えば、通常には正常系サイトがシステム機能を提供する動作をしており、正常系サイトが正常に機能できないときには、その正常系サイトに代わり待機系サイトが動作する。
コンピュータシステムとしての機能を提供するために、正常系サイトと待機系サイトは各々にデータを格納するためのストレージを有している。そして、レプリケーションシステムでは、待機系サイトが正常系サイトに代わって動作できるように、正常系サイトのストレージ内のデータが待機系サイトのストレージに複製され、保持される。この処理を「レプリケーション」と呼ぶ。
レプリケーションシステムでは、正常系サイトと待機系サイトとの更新の仕方により同期型(同期レプリケーション)と非同期型(非同期レプリケーション)がある。
同期レプリケーションでは、正常系サイトにおいてストレージにwrite(データの書き込み)があると、それを契機に、待機系サイトのストレージにも同じデータのwriteが行われ、両ストレージにデータが適用された後に、正常系サイトのホストにwriteの応答が返却される。
一方、非同期レプリケーションでは、正常系サイトのストレージにwriteを行った段階でホストに応答が返却され、待機系サイトのストレージに対するwriteは別の任意のタイミングで行われる。
なお、データベースを内蔵している複数のサーバがネットワークを介して接続されているシステムにおいて障害復旧後に自動的に同期化処理を行い同期化処理後のデータベースの更新をリアルタイムで行うシステムが知られている(特許文献1参照)。待機システムにデータを送信して耐障害性を確保する際、データ送信に伴う正常系システムの処理の遅れを防止するシステムも知られている(特許文献2参照)。
特開2001−290687号公報 特開2004−086721号公報
レプリケーションシステムでは、レプリケ−ションのペア(レプリケーション元のストレージ(「マスターストレージ」という)とレプリケーション先のストレージ(「レプリカストレージ」という))を作成した際、マスターストレージからレプリカストレージへ、マスターストレージの全データのコピーをネットワークを介して行っている。この場合、通信速度等によっては、レプリケーションに長大な時間を要する。
したがって、本発明の主たる目的は、レプリケーションに要する時間の短縮に好適なシステムを提供することにある。
本願で開示される発明は、上記目的を達成するため、概略以下の構成とされる。
本発明の1つのアスペクトに係る方法は、レプリケーション元システムが前記レプリケーション元システムのストレージのバックアップをとり、バックアップ以降の前記ストレージに行われた更新を差分情報として記録し、
レプリケーション先のシステムは、前記レプリケーション元システムから送られたバックアップメディアから前記レプリケーション先システムのストレージをリストアし、
前記レプリケーション元システムから前記レプリケーション先システムへバックアップ以降の更新情報を転送する。
本発明において、レプリケーション元とレプリケーション先でレプリケーション・ペアの関係を結び、レプリケーション・ペアの作成モードが、バックアップを用いるものである場合、バックアップ作成後の差分情報を基に、前記レプリケーション先と前記レプリケーション元を同期させる、ようにしてもよい。
本発明において、レプリケーション・ペアの設定を制御する手段が、ペア関係を結んだ前記レプリケーション元と前記レプリケーション先について、バックアップによるリストアと差分情報の転送による同期に要する時間と、前記レプリケーション元と前記レプリケーション先間の通信回線による前記レプリケーション元の全データの転送による同期に要する時間の見積り結果に応じて、バックアップによるリストアと差分情報の転送と、通信回線による前記レプリケーション元の全データの転送のいずれかを選択する、ようにしてもよい。
本発明において、バックアップ以降、バックアップによるリストア実行前の間に、前記レプリケーション元でなされた更新を前記レプリケーション先に転送して、前記レプリケーション先のストレージを更新しておき、前記レプリケーション先において、バックアップによるリストア実行時、更新完了の箇所は、当該箇所のバックアップデータによる書き込みは行わないように制御するようにしてもよい。
本発明において、レプリケーション・ペアの設定を制御する手段は、レプリケーション・ペアの作成モードが、初期化するものである場合には、前記レプリケーション元と前記レプリケーション先のストレージを初期化してレプリケーションを開始する、ようにしてもよい。
本発明において、レプリケーション・ペアの設定を制御する手段は、レプリケーション・ペアの作成モードが、初期同期しない場合には、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定し、一致する場合に、レプリケーションを開始するように制御する、ようにしてもよい。
本発明において、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのスナップショットをとって比較し、一致するか調べるようにしてもよい。
本発明において、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのデータのハッシュ値を算出して比較し、一致するか調べるようにしてもよい。
本発明の他のアスペクトに係るシステムは、レプリケーション元システムが、
レプリケーション元のストレージのバックアップをとるバックアップ装置と、
レプリケーション元のストレージのバックアップ以降の更新を差分情報として記録する差分マップと、
前記差分マップに基づきバックアップ以降の更新情報をレプリケーション先システムに転送する手段と、
を備え、
レプリケーション先システムが、
前記レプリケーション元システムのバックアップ装置によりバックアップデータを格納したバックアップメディアからバックアップデータを読み出すバックアップ装置と、
前記バックアップメディアのバックアップデータをレプリケーション先のストレージにリストアする手段と、
前記差分マップに基づき前記レプリケーション元システムから転送された更新情報を受け、レプリケーション先のストレージを更新する手段と、
を備えている。
本発明に係るシステムにおいて、前記レプリケーション元のストレージと前記レプリケーション先のストレージについてレプリケーションのペア化を行うペア化処理手段を備え、前記ペア化処理手段は、バックアップによるリストアと差分情報の転送による同期に要する時間と、前記レプリケーション元と前記レプリケーション先間の通信回線による前記レプリケーション元の全データの転送による同期に要する時間の見積り結果に応じて、バックアップによるリストアと差分情報の転送、通信回線による前記レプリケーション元の全データの転送のいずれかを選択する、ようにしてもよい。
本発明に係るシステムにおいて、前記レプリケーション元システムは、バックアップ以降、前記レプリケーション元ストレージでなされた更新情報を、前記レプリケーション先システムに転送する手段を備え、
前記レプリケーション先システムは、前記レプリケーション先のストレージの更新箇所の完了を示す更新完了フラグと、
前記レプリケーション元システムから転送された更新情報を受け取り、前記更新情報に基づき、前記レプリケーション先のストレージを更新し、更新箇所に対応する、前記更新完了フラグをオンに設定する手段と、
バックアップによるリストア実行時、前期更新完了フラグがオンの箇所は、バックアップデータによる書き込みは行わないように制御する、ようにしてもよい。
本発明に係るシステムにおいて、前記ペア化処理手段は、レプリケーション・ペアの作成モードが、初期化するものである場合には、前記レプリケーション元と前記レプリケーション先のストレージを初期化してレプリケーションを開始するように制御してもよい。
本発明に係るシステムにおいて、前記ペア化処理手段は、レプリケーション・ペアの作成モードが、初期同期しない場合には、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定し、一致する場合に、レプリケーションを開始するように制御する、ようにしてもよい。
本発明に係るシステムにおいて、前記ペア化処理手段は、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのスナップショットをとって比較し、一致するか調べるようにしてもよい。
本発明に係るシステムにおいて、前記ペア化処理手段は、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのデータのハッシュ値を算出して比較し、一致するか調べるようにしてもよい。
本発明のさらに他のアスペクトに係る装置は、レプリケーション元と、前記レプリケーション元と通信回線を介して通信接続するレプリケーション先とに接続され、前記レプリケーション元とレプリケーション先について、予め設定されたレプリケーション・ペアの作成モードに従い、レプリケーションのペア化の制御を行うペア化処理装置であって、前記レプリケーション・ペアの作成モードがバックアップ利用のとき、前記レプリケーション元のストレージでバックアップされたバックアップデータを用いた前記レプリケーション先のストレージのリストアと、前記レプリケーション元でのバックアップ以降の差分情報の通信回線を介した前記レプリケーション元から前記レプリケーション先への転送による同期に要する第1の時間を見積るとともに、前記レプリケーション元システムと前記レプリケーション先システム間の通信回線を介して前記レプリケーション元システムのストレージの全データの転送による同期に要する第2の時間を見積る見積り手段を備え、前記第1及び第2の時間の見積り結果に応じて、バックアップによるリストアと差分情報の転送と、通信回線による前記レプリケーション元の全データの転送のいずれを選択するか判断する構成とされる。
本発明に係るペア化処理装置において、前記レプリケーション元と前記レプリケーション先で同期を行っているときの、前記レプリケーション元ストレージにおける更新データ量の増加速度を考慮して、前記判断時点における差分量と、リストアしている間に前記レプリケーション元で生成される差分量と、前記レプリケーション元から前記レプリケーション先へ差分転送中に、前記レプリケーション元で生成される差分量との和を、前記レプリケーション元から前記レプリケーション先へ通信回線を介して転送するデータ量として、前記バックアップによるリストアと差分情報の転送による同期に要する前記第1の時間を見積る構成としてもよい。
本発明に係るペア化処理装置において、前記レプリケーション・ペアの作成モードが、初期化するものである場合には、前記レプリケーション元と前記レプリケーション先のストレージを初期化してレプリケーションを開始する構成としてもよい。
本発明に係るペア化処理装置において、前記レプリケーション・ペアの作成モードが、初期同期しない場合には、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定し、一致する場合に、レプリケーションを開始するように制御する、構成としてもよい。前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのスナップショットをとって比較し、一致するか調べてもよい。あるいは、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのデータのハッシュ値を算出して比較し、一致するか調べる構成としてもよい。
本発明によれば、レプリケーション・ペア作成後のコピー量が減る。その理由は、レプリケーション先へバックアップメディアを搬送しバックアップ装置からバックアップし、差分データのみをコピーする構成としたためである。
本発明によれば、レプリケーション・ペア作成から同期状態までの時間が短縮する。
本発明によれば、マスターストレージ側において、バックアップ以降、レプリカストレージのリストア(復元)の前、または復元時になされた更新をレプリカストレージ側にそのまま反映させることで、バックアップデータからのリストア処理を短縮している。
本発明によれば、レプリケーション・ペア作成後の初期同期のためのストレージの負荷が軽減する。
上記した本発明についてさらに詳細に説明すべく添付図面を参照して以下に説明する。本発明は、レプリケーション元となるマスターストレージのバックアップを作成し、バックアップ以降のマスターストレージにおける更新を差分情報として記録しておく。レプリカストレージにはバックアップデータをリストアし、バックアップ以降の更新情報だけずれがあることを指定し、マスターストレージとレプリカストレージでペア関係を結び、ペア関係を結んだ後に、バックアップ作成後の更新情報を基に再同期をかける。
図1は、本発明の動作原理を説明するための図である。図1を参照して、本発明の動作を説明する。
(a)本発明においては、マスターストレージのバックアップ作成時に、バックアップに対応した差分マップを作成する(図1(a))。マスターストレージの内容はA、バックアップデータも内容Aである。
(b)マスターストレージはホストから更新を受け付けているので、内容はBとなる。マスターストレージでは、ホストから行われた更新箇所を差分マップに記録する(図1(b))。マスターストレージの内容Bと、バックアップデータAの差分はB−Aとなる。
(c)マスターストレージはホストから更新を受け付けているので、内容はCとなる。レプリカストレージは、バックアップデータ(内容A)からリストアするので、内容Aとなる(図1(c))。その差分はC−Aとなる。
(d)マスターストレージはホストから更新を受け付けているので、内容はDとなる。マスターストレージとレプリカストレージを同期のずれが、図1(a)で作成した差分マップであることを指定し、レプリケーション・ペアを作成する(図1(d))。この時点でのマスターストレージの内容をDとすると、レプリカストレージとの差分はD−Aとなる。
(e)マスターストレージはホストから更新を受け付けているので、内容はEとなる。差分マップをもとに、マスターストレージのバックアップ後の更新箇所のデータをレプリカストレージに送り、レプリカストレージでデータを更新する(図1(e))。この時点での差分はE−Aとなる。レプリカストレージは差分マップにしたがい、状態Aから更新する。差分マップ中の全ての更新内容をレプリカストレージに適用した時点で、マスターストレージとレプリカストレージの内容はEとなり同期状態となる。
(f)マスターストレージはホストから更新を受け付けているので内容はFとなる。(図1(f))。レプリカストレージはレプリケーションに関してマスターストレージと同期がとられているため、レプリケーションによるデータ転送により内容はFとなる。
上記した動作の変形例として、(c)のリストアしたバックアップデータが(a)でバックアップされたかを確認するものである。この場合、(a)のバックアップデータ作成時(図1(a)参照)、マスターストレージでスナップショットを作成し、(d)でレプリケーション・ペア関係を作成した際に(図1(d)参照)、マスターストレージ中のスナップショットとレプリカストレージを比較し、完全に一致していた場合、データが一致していたことになる。一致している場合、差分のコピーは行わない。
なお、比較として、データのハッシュ値を用いてもよい。比較のために全データを転送することを要しなくしている。
本発明において、更新のあった箇所を論理ブロック単位で管理する差分マップのかわりに、更新履歴リストで保持してもよい。あるいは、更新データを含めたジャーナルデータとして保持してもよい。
マスターストレージとレプリカストレージの両方に同じデータを書き込んだ状態でレプリケーション・ペアを作成する場合、一致している状態であることを指定することで、初期コピーは行わないようにしてもよい。
レプリケーション・ペア作成モードの変形として、マスターストレージとレプリカストレージの両方が初期化直後、レプリケーション・ペアを作成する場合、一致している状態であることを指定することで、初期コピー(バックアップデータによるリストア等)は行わないようにしてもよい。
あるいは、レプリケーション・ペア作成モードの変形として、マスターストレージとレプリカストレージのレプリケーション・ペア作成と同時に、マスターストレージとレプリカストレージの初期化を行い、両ストレージがそれぞれ個別に且つ同じパターンで初期化され、両ストレージの初期化終了後、使用可能とし、初期コピーは行わないようにしてもよい。
さらに、レプリケーション・ペア作成モードの変形として、ネットワーク経由で全データのコピーを行った場合と、上記(c)のバックアップをレプリカストレージにリストアする処理(図1(c)参照)を用いた場合の同期に要する時間を比較して適切な方を選択するようにしてもよい。すなわち、バックアップをレプリカストレージにリストアし、差分データを転送するまでに要する時間と、ネットワーク経由で全データのコピーを行った場合の時間を比較する。
あるいは、同期を実行している最中のマスターストレージの更新量も推測して、マスターストレージとレプリカストレージと再同期に要する時間を判断してもよい。
あるいは、バックアップ時点から、現時点(判断時点)までの単位時間あたりの平均更新量を用いてもよい。この場合、平均更新量と、バックアップデータのデータ量とから、バックアップと差分データ転送を用いた場合の同期状態となるまでの時間と、ネットワーク経由で全データのコピーを行った場合の時間を比較する。
あるいは、マスターストレージのアクセス履歴からアクセスパタンを推定し、推定したアクセスパタンに基づき更新量を推定し、バックアップと差分データ転送を用いた場合の同期状態となるまでの時間と、ネットワーク経由で全データのコピーを行った場合の時間を比較するようにしてもよい。
あるいは、マスターストレージとレプリカストレージ間のネットワークの転送速度を用いて判断してもよい。例えばダミーデータを用いてネットワークの転送速度を測定し、バックアップと差分データ転送を用いた場合の同期状態となるまでの時間と、ネットワーク経由で全データのコピーを行った場合の時間を比較する。
あるいは、レプリカストレージのバックアップからの復旧能力に基づき判断する。この場合、バックアップ媒体からのデータの読み出し速度と、バックアップのデータ量から、バックアップと差分データ転送を用いた場合の同期状態となるまでの時間と、ネットワーク経由で全データのコピーを行った場合の時間を比較する。
このように、ダミーデータの転送によるネットワークの転送速度の測定、あるいは、レプリカストレージでのリストアテストの実施等、レプリケーション環境に必要な工程を実装するようにしてもよい。以下実施例に即して説明する。
図2は、本発明の第1の実施例の構成を示す図である。図2を参照すると、本発明の第1の実施例のシステムは、マスターストレージ1と、レプリカストレージ2と、ホスト3と、マスターストレージ1用のバックアップ装置4と、レプリカストレージ2用のバックアップ装置5と、マスターストレージ1とレプリカストレージ2のレプリケーションのレプリケーション・ペア(単に、「ペア」ともいう)関係の設定の制御を行うペア化処理手段6とを備えている。マスターストレージ1とレプリカストレージ2は通信回線7で通信接続される。ペア化処理手段6は、レプリケーション・ペアを互いに同期状態としたのちにレプリケーションを開始する制御を行う処理装置よりなり、マスターストレージ1とレプリカストレージ2と制御信号のやり取りを行う。ペア化処理手段6は、通信回線でマスターストレージ1とレプリカストレージ2に接続する構成としてもよいことは勿論である。あるいは、ペア化処理手段6は、マスターストレージ1側に配設してもよいし、レプリカストレージ2側に設ける構成としてもよい。
マスターストレージ1は、ホスト3からのアクセス制御を行うアクセス手段13と、論理ボリューム12と、ホスト3からの要求を受けて論理ボリューム12へのRead、Writeアクセスを行うとともに、レプリケーションレプリカ手段21への更新情報の転送を制御するレプリケーションマスター手段11と、バックアップ以降ホスト3からの要求に基づき論理ボリューム12の更新箇所を記録する差分マップ14と、論理ボリューム12のデータのバックアップ装置4へのバックアップ(フルバックアップ、差分バックアップ等)を制御するバックアップ手段15と、を備えている。
レプリカストレージ2は、論理ボリューム22と、レプリケーションマスター手段11から転送された更新情報を受けて論理ボリューム22を更新するレプリケーションレプリカ手段21と、バックアップ装置5のバックアップメディアからの論理ボリューム22へのリストアを制御する初期コピー用リストア手段23とを備えている。なお、図1では、通信回線7で接続される1つのマスターストレージ1と、1つのレプリカストレージ2の構成が示されているが、ペア化処理手段6は、複数のマスターストレージと複数のレプリカストレージに対して1つ備える構成としてもよい。
図3は、本発明の第1の実施例の動作を説明する流れ図である。図3を参照して、図2に示した本発明の第1の実施例の動作を説明する。
バックアップ装置4に論理ボリューム12のバックアップをとる場合(ステップS1のYes)、差分マップ14の記録を開始する(ステップS2)。差分マップ14は、論理ブロック等に対応して配設されているビット情報(フラグ)を含む記憶部よりなり、論理ボリューム12のバックアップ時点からのホスト3より書き込み等更新のあった箇所(ブロック)に対応して更新フラグがセットされる。
つづいて、バックアップ手段15による論理ボリューム12のバックアップを開始する(ステップS3)。
バックアップの終了を待ち(ステップS4)、バックアップ完了後、バックアップメディアをマスターストレージ1からレプリカストレージ2へ搬送する(ステップS5)。
ペア化処理手段6が、マスターストレージ1からレプリカストレージ2に関するレプリケーション・ペアを作成する(ステップS6)。レプリケーション・ペアは同期状態とされ、レプリケーションが開始される。
ペア化処理手段6は、レプリケーション・ペアの作成モードが、指定無しの場合、マスターストレージ1の全データを、レプリカストレージ2に通信回線7を介して転送する(ステップS12)。レプリケーション・ペアの作成モードは、ペア化処理手段6において、図示されない記憶部に格納され、システム環境等に応じて、可変に設定可能としてもよい。特に制限されないが、本実施例では、レプリケーション・ペアの作成モードとして、指定なし、バックアップ利用、初期化、初期化無しの4つも作成モードを有する。
ペア化処理手段6は、レプリケーション・ペアの作成モードが、ストレージの初期同期を行う場合、マスターストレージ1とレプリカストレージ2のボリュームを初期化する(ステップS11)。ペア化処理手段6は、マスターストレージ1とレプリカストレージ2の論理ボリューム12、22に初期化コマンドを発行する。
ペア化処理手段6は、レプリケーション・ペアの作成モードが、初期同期しない場合、マスターストレージ1とレプリカストレージ2の一致性を確認し(ステップS8)、一致していない場合、作成モードを確認する(ステップS10)。これは、マスターストレージ1とレプリカストレージ2の論理ボリューム12、22が一致していることを前提としており、初期化コピーを省略するものであるためである。一致していない場合、処理が整合していないため、レプリケーション・ペアの作成モードの確認が行われ、必要な作成モードに変更される。
本実施例では、ペア化処理手段6は、レプリケーション・ペアの作成モードが、バックアップ使用の場合、マスターストレージ1の全データを通信でコピーした場合の同期に要する処理時間と、バックアップを用いた場合の同期に要する処理時間を見積る(ステップS13)。
処理時間の見積りの結果、通信回線のほうが早い場合(ステップS14のYes)、通信回線でコピーする(ステップS12)。
処理時間の見積りの結果、バックアップの方が早い場合(ステップS14のNo)、バックアップメディアからリストアする(ステップS15)。
ステップS15のリストアにつづいて、差分データを通信回線7を介してマスターストレージ1からレプリカストレージ2にコピーし(ステップS16)、マスターストレージ1とレプリカストレージ2を再同期させる。
同期した状態で、これ以降、マスターストレージ1からレプリカストレージ2へのレプリケーションが行われる(ステップS17)。
ステップS8での一致性の確認では、マスターストレージ1とレプリカストレージ2のデータを比較し完全一致を確認する。比較としてデータのハッシュ値を用いてもよい。このようにすることで、比較のために全データを転送することを要しなくしている。
図4は、本実施例におけるフルバックアップの処理手順を説明する流れ図である。本実施例における、フルバックアップのバックアップ手段15の処理について説明する。
新たに差分マップ14を用意した以降のホスト3からのWrite要求を差分マップ14に記録する(ステップS21)。
論理ボリューム12において、バックアップ対象ブロックを先頭に設定する(ステップS22)。
論理ボリューム12の全ブロックについてバックアップが終わったか判定し(ステップS23)、終わっていない場合、対象ブロックをバックアップ装置4に転送し、バックアップ装置4に記録する(ステップS24)。
論理ボリューム12において、バックアップ対象を次のブロックに設定する(ステップS25)。
論理ボリューム12の全ブロックのバックアップが終わった場合、ホスト3に終了の応答を返す(ステップS26)。
図5は、本実施例における差分バックアップの処理手順を示す流れ図である。本実施例における、差分バックアップについて説明する。差分バックアップはフルバックアップ後に更新のあったブロックのみを選択的にバックアップするものである。
論理ボリューム12において、バックアップの対象ブロックを先頭に設定する(ステップS31)。
論理ボリューム12の全ブロックのバックアップが終わったか判定し(ステップS32)、終わっていない場合、対象ブロックに対応する差分マップ14中のアップデートフラグを確認する(ステップS33)。
差分マップ14のアップデートフラグが立っている(オンである)場合(ステップS34のYes)、対象ブロックをバックアップ装置4に転送し、バックアップ装置4に記録する(ステップS35)。アップデートフラグが立っていない場合(ステップS34のNo)、当該ブロックのバックアップ処理をスキップする。
論理ボリューム12において、バックアップ対象を次のブロックに設定する(ステップS36)。
論理ボリューム12の全ブロックが終わった場合、ホスト3に終了の応答を返す(ステップS37)。
なお、論理ボリューム12の記憶容量の増大に伴い、フルバックアップは長時間を要するため、時間間隔を空けて行われ(長周期)、その間、短期間(短周期)で差分バックアップにより、マスターストレージ1側のバックアップ装置4に、更新情報が格納される。レプリカストレージ2のリストア時には、フルバックアップでバックアップされたバックアップデータで目的の論理ボリュームにリストアし、その後、差分バックアップでバックアップされたバックアップデータにて、目的の論理ボリュームの更新箇所(ブロック)を更新していく処理が行われる。
次に、本実施例におけるアクセス手段13の処理について説明する。図6は、アクセス手段13のレプリケーション開始前、および非同期レプリケーションの場合の処理の流れ図である。図6を参照して、レプリケーション開始前、および非同期レプリケーションの場合の処理について説明する。
ホスト3からのアクセス要求が、ReadアクセスかWriteアクセスか判定し(ステップS41)、Readアクセスの場合、論理ボリューム12から対象ブロックを読み出し(ステップS42)、ホスト3に読み出しデータを送り(ステップS43)、応答を返す(ステップS46)。
Writeアクセスの場合、論理ボリューム12の対象ブロックに指定されたデータを書き込む(ステップS44)。
そして、対象ブロックに対応する差分マップ14中のアップデートフラグ(論理ブロックに対応して割り付けられた1ビット)を立てる(ステップS45)。
図7は、アクセス手段13のレプリケーション開始後の処理を説明する流れ図である。図7を参照して、アクセス手段13のレプリケーション開始後の処理について説明する。
ホスト3からのアクセス要求が、ReadアクセスかWriteアクセスか判定し(ステップS51)、Readアクセスの場合、論理ボリューム12から対象ブロックを読み出し(ステップS52)、ホスト3に読み出しデータを送り(ステップS53)、応答を返す(ステップS58)。
Writeアクセスの場合、論理ボリューム12の対象ブロックに指定されたデータを書き込む(ステップS55)。
レプリケーションマスター手段11に更新情報のレプリケーションレプリカ手段21への転送を依頼する(ステップS56)。
レプリケーションマスター手段11は、Writeアクセスに基づき論理ボリューム12への書き込み要求を発行し、アクセス手段13は、論理ボリューム12と、レプリケーションマスター手段11の両方からの応答を待つ(ステップS57)。論理ボリューム12は書き込み完了によりその応答をアクセス手段13に返し、レプリケーションマスター手段11は、例えば更新情報を送ったレプリケーションレプリカ手段21からの応答を受けてアクセス手段13に応答を返す。あるいは、レプリケーションマスター手段11は、レプリケーションレプリカ手段21からの応答を受けとる前に、擬似的な応答をアクセス手段13に返してもよい。
アクセス手段13は、ホスト3へ応答を返す(ステップS58)。
図8は、本実施例のペア化処理手段6の処理を説明する流れ図である。図8を参照して、本実施例のペア化処理手段6の処理について説明する。
ペア化処理手段6は、レプリケーション・ペアの関係を結ぶために、ペア作成要求に指定されているペア作成モードを確認する(ステップS61)。
ペア作成のモードが初期同期しない場合(両ストレージは一致していることを前提としているモード)、ペア化処理手段6は、レプリケーションマスター手段11に論理ボリューム12中のデータからハッシュ値を算出させる(ステップS63)。
ペア化処理手段6は、レプリケーションレプリカ手段21に論理ボリューム22中のデータからハッシュ値を算出させる(ステップS64)。
ペア化処理手段6は、ハッシュ値が一致しているか判定し(ステップS65)、一致しない場合(ステップS65のNo)、作成モードの確認を行う(ステップS66)。
ハッシュ値が一致している場合(ステップS65のYes)、ペア化処理手段6は、レプリケーション処理を開始させる(ステップS77)。
一方、ステップS62の判定の結果、ペア作成モードが初期化の場合、ペア化処理手段6は、マスターストレージ1の論理ボリューム12に初期化コマンドを送る(ステップS67)。
また、ペア化処理手段6は、レプリカストレージ2の論理ボリューム22に初期化コマンドを送る(ステップS68)。
ペア化処理手段6は、両論理ボリューム12、22の初期化の完了を待ち(ステップS69)、初期化完了後、レプリケーション処理を開始させる(ステップS77)。
ステップS62の判定の結果、ペア作成モードに指定がない場合、ペア化処理手段6は、レプリケーションマスター手段11に論理ボリューム12の全データのレプリケーションレプリカ手段21への転送を依頼する(ステップS70)。
ペア化処理手段6は、マスタストレージ1側からレプリカストレージ2へのデータの転送完了を待ち(ステップS71)、転送完了後(マスターストレージ1とレプリカストレージ2の論理ボリューム12、22の同期状態確立後)、レプリケーション処理を開始させる(ステップS77)。
ステップS62の判定の結果、ペア作成モードがバックアップを利用するものである場合、初期コピー時間の見積りを実行する(ステップS90)。
ステップS72において、バックアップによるリストアと差分転送による同期に要する時間(見積り時間)と、通信回線の時間(見積り時間)を比較し、通信回線のほうが早い場合、ステップS70に移行する。
一方、ステップS72において、バックアップのほうが早い場合、ペア化処理手段6は、初期コピー用リストア手段23にリストアを依頼する(ステップS73)。
初期コピー用リストア手段23は、バックアップ装置5に装着されたバックアップ媒体(バックアップ装置4でバックアップされたバックアップデータを保持する媒体)から、バックアップデータを論理ボリューム22にリストアする。
ペア化処理手段6は、リストア完了を待ち(ステップS74)、リストア終了後、レプリケーションマスター手段11に対して、差分マップ14を参照して論理ボリューム12においてバックアップ以降変更された差分データの転送を依頼する(ステップS75)。
ペア化処理手段6は、差分データの転送完了を待ち(ステップS76)、転送完了後、レプリケーション処理を開始させる(ステップS77)。
本実施例の変形例として、ステップS90の処理をスキップし、初期コピー時間の見積りを行わず、ステップS73のリストアから開始してもよい。
本実施例の変形例として、初期同期しない場合に、ステップS63からS65のハッシュ値の一致をチェックしない構成としてもよい。
図9は、ペア化処理手段6による初期コピー時間見積り処理の流れ図であり、図8のステップS90の詳細手順を示す流れ図である。
レプリケーションマスター手段11から差分マップ14を基に転送するデータ量Dと、論理ボリューム12のデータ容量Dと、通信回線経由のデータ転送速度Sを取得する(ステップS91)。
初期コピー用リストア手段23からバックアップメディアのデータ量Dと、バックアップメディアに記録されたバックアップが行われた時刻Tと、バックアップ装置5から論理ボリューム22へのデータ転送速度Sを取得する(ステップS92)。
通信回線7経由で全データを転送した場合にかかる時間Tと、バックアップからのリストアと差分の転送にかかる時間Tを算出する(ステップS93)。なお、データ量D、時刻情報Tとして、例えばバックアップメディアに記録されているものが使用される。以下に、T、Tの算出例等について説明する。
以下では、
:通信経由でマスターストレージ1の全データをレプリカストレージ2に転送するのに要する時間;
:バックアップデータからのレプリカストレージ2のリストアと、差分データをマスターストレージ側から通信回線経由でレプリカストレージ2に転送するのに要する時間;
:判断時点における差分マップを基に通信回線経由で転送するデータ量;
:論理ボリューム12の全データ量;
:データ転送速度;
:バックアップメディアのデータ量;
:バックアップ装置4のバックアップメディアへのバックアップが行われた時刻;
:バックアップ装置5からのデータ転送速度;
とする。
、Tは以下の式(1)、(2)で与えられる。
=D/S …(1)
=D/S+D/S …(2)
>Tの場合、レプリカストレージ2の論理ボリューム22へは、バックアップ装置5からのリストアを行う。
<Tの場合、レプリカストレージ2の論理ボリューム22へは、通信回線7経由でマスターストレージ1の論理ボリューム12の全データのコピーを行う。
=Tの場合、バックアップ装置5からのリストアと差分データのコピー、通信回線7経由での全データの転送のいずれでもよい。
次に、変形例として、同期をしている最中のマスターストレージ1側の更新量を推測し、バックアップ装置5からのリストアと差分データのコピー、又は、通信回線7経由での全データの転送のいずれかを選択する場合について説明する。
tを差分データの転送(通信回線7の転送速度=S)に要する時間とし、
Vを同期中におけるマスターストレージ1の論理ボリューム12の更新データの量の増加速度とすると、
マスターストレージ1から転送するデータ量は、判断時点における差分データ量と、バックアップデータを適用している間に生成された差分量と、差分転送間に生成される差分量の和である。S・tは、以下の式で与えられる。
・t=D+V・D/S+V・t …(3)
式(3)をtについて解くと、式(4)を得る。
t=(D・S+V・D)/{S・(S−V)} …(4)
バックアップからのリストアと差分の転送にかかる時間Tは、バックアップデータの転送時間D/Sと、通信回線7による差分データの転送時間tとの和であることから次式で与えられる。
=D/S+t
=D+(D・S+V・D)/{S・(S−V)} …(5)
Vとして、マスターストレージのデータ更新量をアプリケーション等の特性等から推測した値を指定するか、実際の更新量の測定結果を用いてもよい。
判断時点の時刻をTとすると、Vは次式(6)で与えられる。
V=D/(T−T) …(6)
したがって、式(4)のtにおいて、上式(6)のVを代入すると、次式(7)を得る。
t={(T−T)・S+D}・D/[S・{Sc・(T−T)−D}] …(7)
式(5)に上式(6)のVを代入すると、Tとして次式(8)を得る。Tは、以下の式(9)で与えられる。
=(T−T)(D・S+D・S}/[S・{S・(T−T)−D}] …(8)
=D/S …(9)
>Tの場合、バックアップ装置5からのリストアと差分データのコピーを行う。
<Tの場合、通信回線7経由での全データのコピーを行う。
=Tの場合、バックアップ装置5からのリストアと差分データのコピー、あるいは、通信回線7経由での全データのコピーのいずれでもよい。
あるいは、初期コピー時間の見積りにおいて、データ転送速度から判断してもよい。
>Sの場合(すなわち、バックアップ装置5からのデータ転送速度が、通信回線経由のデータ転送速度よりも大である場合)、バックアップ装置5からのリストアと差分データのコピーを行う。
St<Sの場合(すなわち、バックアップ装置5からのデータ転送速度が、通信回線経由のデータ転送速度よりも小である場合)、通信回線7経由での全データのコピーを行う。
=Sの場合、バックアップ装置5からのリストアと差分データのコピー、あるいは、通信回線7経由での全データのコピーのいずれでもよい。
図10は、本実施例のレプリケーションレプリカ手段21の処理手順を示す流れ図である。図10を参照して、本実施例のレプリケーションレプリカ手段21の処理について説明する。レプリケーションマスター手段11から受信した際に、論理ボリューム22に、送られてきた更新情報で指定された論理ボリューム中のブロックに対して更新情報中データを書き込む(ステップS101)。
レプリケーションマスター手段11へ応答を返す(ステップS102)。
図11は、本実施例のレプリケーションマスター手段11の処理手順を示す流れ図である。図11を参照して、レプリケーションマスター手段11の処理について説明する。まず、同期型レプリケーションについて説明する。
アクセス手段13から指定された書き込み対象のブロックの位置情報とデータから、更新情報を作成する(ステップS111)。
更新情報をレプリケーションレプリカ手段21に送信する(ステップS112)。
更新情報を受け取ったレプリケーションレプリカ手段21から論理ボリューム22への更新完了の応答を待つ(ステップS113)。
レプリケーションレプリカ手段21から更新完了の応答を受けると、アクセス手段13に応答を返す(ステップS114)。
図12は、本実施例のレプリケーションマスター手段11の処理手順を示す流れ図である。レプリケーションマスター手段11の処理として、差分マップ14を用いた差分情報の転送について説明する。
差分マップ14中のアップデートフラグが立っているブロックを探す(ステップS121)。
差分マップ14中のフラグが立っている該当ブロックのアップデートフラグを落とす(ステップS123)。
該当ブロックのデータを論理ボリュームから読み込む(ステップS124)。
該当ブロックの情報から読み込んだデータと更新情報を作成する(ステップS125)。
作成した更新情報をレプリケーションレプリカ手段21に送信する(ステップS126)。
レプリケーションレプリカ手段21からの応答を待つ(ステップS127)。応答を受け取ると、ステップS121の処理へ移行し、ステップS122で差分マップ14中のフラグが立っているものがなくなるまで、ステップS121からS127の処理を繰り返す。
図13は、本実施例の初期コピー用リストア手段23の処理手順を示す流れ図である。初期コピー用リストア手段23の処理について説明する。
リストア対象をバックアップ装置5のバックアップメディアの先頭に設定する(ステップS131)。
リストア対象のバックアップメディア中の全データをリストアしたか否か判定し(ステップS132)、未処理データがある場合、対象データをバックアップ装置から読み出し記憶媒体の該当データの書き込むべきブロックに書き込む(ステップS133)。
対象バックアップメディア中の次の位置に設定し(ステップS134)、ステップS132に移行する。
リストア対象のバックアップメディア中の全データをリストアした場合、終了の応答を返す(ステップS135)。
次に、本発明の第2の実施例について説明する。図14は、本発明の第2の実施例の構成を示す図である。本発明の第2の実施例では、バックアップ以降、マスターストレージ1でなされた更新をレプリカストレージ2に転送して、レプリカストレージ2を更新しておき、初期コピー用リストア手段23は、バックアップ装置5からのリストア時に、更新完了のブロックは、当該ブロックのバックアップデータによる書き込みは行わないように制御したものである。
図14に示すように、本実施例では、レプリカストレージ2が、レプリケーションレプリカ手段21、論理ボリューム22、初期コピー用リストア手段23の構成に、さらに初期化完了マップ24を備えている。これ以外の構成は、図2の前記実施例と同様である。以下では、前記実施例との相違点について説明し、同一部分の説明は重複を回避するため適宜省略する。
図15は、本実施例のペア化処理手段6の処理手順の流れ図である。本実施例のペア化処理手段6の処理について説明する。図8と同一部分の説明は省略する。
作成モードが、バックアップを利用する場合について初期コピー時間を見積もる(ステップS90)。
バックアップの方が早い場合、初期コピー用リストア手段23にリストアを依頼する(ステップS81)。
レプリケーションマスター手段11に差分マップ14を参照して論理ボリュームから変更されたデータの転送を依頼する(ステップS82)。
初期コピー用リストア手段23の完了を待つ(ステップS83)。
レプリケーションマスター手段11に転送終了可を通知する(ステップS84)。
レプリケーションマスター手段11の応答を待つ(ステップS85)。
図16は、本実施例のレプリケーションマスター手段11の処理手順を示す流れ図である。図16を参照して、本実施例のレプリケーションマスター手段11による差分マップ14を用いた転送について説明する。
差分マップ14中アップデートフラグがたっているブロックを探す(ステップS121)。
差分マップ14中のアップデートフラグがたっているものがない場合(ステップS122のNo)、転送終了可の通知がきているかチェックし(ステップS128)、きていない場合、ステップS121に戻る。
差分マップ14中のアップデートフラグがたっているものがある場合、図12のステップS123からS127の処理と同一の処理が行われる。
図17は、本実施例のレプリケーションレプリカ手段21の処理手順を示す流れ図である。図17を参照して、レプリケーションレプリカ手段21の処理としてレプリケーションマスター手段11から受信した場合について説明する。
初期完了マップの送られてきた更新情報で指定された論理ボリューム中のブロックに対応させて完了フラグをたてる(ステップS161)。
論理ボリュームに送られてきた更新情報で指定された論理ボリューム中のブロックに対して更新情報中データを書き込む(ステップS162)。
レプリケーションマスター手段11に応答を返す(ステップS163)。
図18は、本実施例の初期コピー用リストア手段23の処理手順を示す流れ図である。図18を参照して、初期コピー用リストア手段23の処理を説明する。
初期化完了マップの全フラグを落とす(ステップS171)。
リストア対象のバックアップメディアの先頭に設定する(ステップS172)。
リストア対象のバックアップメディア中の全データをリストアしていない場合(ステップS173のNo)、初期化完了マップ24の対象データの書き込むべきブロックに該当する完了フラグが立っていないか確認する(ステップS174)。
初期化完了マップ24に対応する完了フラグがたっていた場合、ステップS177に移行し、立っていない場合、対象データをバックアップ装置5のバックアップメディアの該当データを読み出し、論理ボリューム22の対応ブロックに書き込む(ステップS176)。
対象バックアップメディア中の次の位置に設定する(ステップS177)。
リストア対象のバックアップメディア中の全データをリストアした場合、終了の応答を返す(ステップS178)。
マスターストレージ1とレプリカストレージ2の間に、マスターストレージからの更新情報を受け取ってバッファに一時的に蓄積しレプリカストレージに転送する中間装置を備えた構成としてもよいことは勿論である。
また、レプリケーションを司るシステムは、ストレージレベルでなく、サーバであってもよい。この場合、レプリケーションマスター手段、レプリケーションレプリカ手段がサーバコンピュータとなる。あるいは、サーバとストレージ間に配置されるスイッチが、レプリケーションの制御を行う構成としてもよいことは勿論である。通信回線は、インタネット、専用回線、LAN、WAN(広域エリアネットワーク)等任意である。
以上本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明の動作原理を説明するための図である。 本発明の第1の実施例の構成を示す図である。 本発明の第1の実施例の処理を示す流れ図である。 本発明の第1の実施例のバックアップ手段15の処理手順(フルバックアップ)を示す流れ図である。 本発明の第1の実施例のバックアップ手段15の処理手順(差分バックアップ)を示す流れ図である。 本発明の第1の実施例のアクセス手段13の処理手順(レプリケーション開始前、非同期型アプリケーション)を示す流れ図である。 本発明の第1の実施例のアクセス手段13の処理手順(レプリケーション開始後、同期型アプリケーション)を示す流れ図である。 本発明の第1の実施例のペア化処理手段6の処理手順を示す流れ図である。 図8の初期時間見積りの処理手順を示す流れ図である。 本発明の第1の実施例のレプリケーションレプリカ手段21の処理手順を示す流れ図である。 本発明の第1の実施例のレプリケーションマスター手段11の処理手順(同期型レプリケーション)を示す流れ図である。 本発明の第1の実施例のレプリケーションマスター手段11の処理手順(差分転送、初期コピー非同期レプリケーション)を示す流れ図である。 本発明の第1の実施例の初期化コピーリストア手段23の処理手順を示す流れ図である。 本発明の第2の実施例の構成を示す図である。 本発明の第2の実施例のペア化処理手段6の処理手順を示す流れ図である。 本発明の第2の実施例のレプリケーションマスター手段11の処理手順(差分転送、初期コピー非同期レプリケーション)を示す流れ図である。 本発明の第2の実施例のレプリケーションレプリカ手段21の処理手順を示す流れ図である。 本発明の第2の実施例の初期化コピーリストア手段23の処理手順を示す流れ図である。
符号の説明
1 マスターストレージ
2 レプリカストレージ
3 ホスト
4、5 バックアップ装置
6 ペア化処理手段
7 通信回線
11 レプリケーションマスター手段
12、22 論理ボリューム
13 アクセス手段
14 差分マップ
15 バックアップ手段
21 レプリケーションレプリカ手段
23 初期コピー用リストア手段
24 初期化完了マップ

Claims (20)

  1. レプリケーション元のストレージシステムからレプリケーション先のストレージへレプリケーションを行うレプリケーション方法であって、
    前記レプリケーション元と前記レプリケーション先のストレージシステムに接続し、前記レプリケーション元と前記レプリケーション先のストレージシステムのペア関係の設定を制御するペア化処理手段を設け、
    前記ペア化処理手段は、ペア関係を結んだ前記レプリケーション元と前記レプリケーション先のストレージシステムについて、
    バックアップによるリストア及び差分情報の転送による同期に要する第1の処理時間を見積り、
    前記レプリケーション元と前記レプリケーション先のストレージシステム間の通信回線を介した前記レプリケーション元のストレージシステムから前記レプリケーション先のストレージシステムへの全データの転送による同期に要する第2の処理時間を見積り、
    前記第1、第2の処理時間に応じて、
    前記バックアップによるリストアと前記差分情報の転送と、
    前記通信回線による前記レプリケーション元のストレージシステムの全データの転送と、
    のいずれを選択するか判断し、
    前記バックアップによるリストアと前記差分情報の転送を行う場合、
    前記レプリケーション元のストレージシステムは、前記レプリケーション元のストレージシステムのストレージのバックアップをとり、バックアップ以降の前記ストレージに行われた更新を差分情報として記録し、
    前記レプリケーション先のストレージシステムは、前記レプリケーション元のストレージシステムから送られたバックアップメディアから前記レプリケーション先のストレージシステムのストレージをリストアし、
    前記レプリケーション元のストレージシステムは、前記レプリケーション先のストレージシステムへ、前記差分情報として記録した前記バックアップ以降の更新情報を転送する、ことを特徴とするレプリケーション方法。
  2. 前記ペア化処理手段が、前記レプリケーション元と前記レプリケーション先のストレージシステムで同期を行っているときの、前記レプリケーション元ストレージシステムにおける更新データ量の増加速度を考慮して、
    前記判断時点における差分量と、
    リストアしている間に前記レプリケーション元のストレージシステムで生成される差分量と、
    前記レプリケーション元のストレージシステムから前記レプリケーション先のストレージシステムへ差分情報の転送中に、前記レプリケーション元のストレージシステムで生成される差分量と、
    の和を、前記レプリケーション元のストレージシステムから前記レプリケーション先のストレージシステム前記通信回線を介して転送するデータ量として、前記バックアップによるリストアと差分情報の転送による同期に要する前記第1の時間を見積る、ことを特徴とする請求項1記載のレプリケーション方法。
  3. バックアップ以降、バックアップによるリストア実行前の間に、前記レプリケーション元のストレージシステムでなされた更新を前記レプリケーション先のストレージシステムに転送して、前記レプリケーション先のストレージシステムのストレージを更新しておき、
    前記レプリケーション先のストレージシステムにおいて、バックアップによるリストア実行時更新完了した箇所については、バックアップデータによる書き込みは行わないように制御する、ことを特徴とする請求項1記載のレプリケーション方法。
  4. 前記ペア化処理手段は、レプリケーション・ペアの作成モードが、初期化するものである場合には、前記レプリケーション元と前記レプリケーション先のストレージシステムのストレージを初期化してレプリケーションを開始する、ことを特徴とする請求項1記載のレプリケーション方法。
  5. 前記ペア化処理手段は、レプリケーション・ペアの作成モードが、初期同期しない場合には、前記レプリケーション元と前記レプリケーション先のストレージシステムの内容が一致するか判定し、一致する場合に、レプリケーションを開始するように制御する、ことを特徴とする請求項1記載のレプリケーション方法。
  6. 前記ペア化処理手段は、前記レプリケーション元と前記レプリケーション先のストレージシステムのストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのスナップショットをとって比較し、一致するか調べる、ことを特徴とする請求項記載のレプリケーション方法。
  7. 前記ペア化処理手段は、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのデータのハッシュ値を算出して比較し、一致するか調べる、ことを特徴とする請求項記載のレプリケーション方法。
  8. レプリケーション元のストレージシステムと、前記レプリケーション元のストレージシシステムと通信回線で通信接続するレプリケーション先のストレージシステムと、を含むレプリケーションシステムにおいて、
    前記レプリケーション元のストレージシステムが、
    前記レプリケーション元のストレージのバックアップをとるバックアップ装置と、
    前記レプリケーション元のストレージのバックアップ以降の更新を差分情報として記録する差分マップと、
    前記差分マップに基づき、前記差分情報として記録した前記バックアップ以降の更新情報をレプリケーション先のストレージシステムに転送する手段と、
    を備え、
    前記レプリケーション先のストレージシシステムが、
    前記レプリケーション元のストレージシステムのバックアップ装置によりバックアップデータを格納したバックアップメディアからバックアップデータを読み出すバックアップ装置と、
    前記バックアップメディアのバックアップデータをレプリケーション先のストレージにリストアする手段と、
    前記差分マップに基づき前記レプリケーション元のストレージシステムから転送された更新情報を受け、レプリケーション先のストレージを更新する手段と、
    前記レプリケーション元と前記レプリケーション先のストレージシステムについて、予め設定されたモードに従い、レプリケーションのペア化を行うペア化処理手段と、
    を備え、
    前記ペア化処理手段は、バックアップによる前記レプリケーション先のストレージのリストアと、差分情報の通信回線を介した前記レプリケーション元のストレージシステムから前記レプリケーション先のストレージシステムへの転送による同期に要する第1の時間を見積り、前記レプリケーション元と前記レプリケーション先のストレージシステム間の通信回線を介して前記レプリケーション元のストレージシステムのストレージの全データの転送による同期に要する第2の時間を見積り、前記第1と第2の時間の見積もり結果に応じて、バックアップによるリストアと差分情報の転送と、通信回線による前記レプリケーション元の全データの転送と、のいずれかを選択する、ことを特徴とするレプリケーションシステム。
  9. 前記ペア化処理手段は、前記レプリケーション元と前記レプリケーション先のストーレッジシステムで同期を行っているときの、前記レプリケーション元のストレージシステムにおける更新データ量の増加速度を考慮して、
    前記判断時点における差分量と、
    リストアしている間に前記レプリケーション元のストーレッジシステムで生成される差分量と、
    前記レプリケーション元のストーレッジシステムから前記レプリケーション先のストーレッジシステムへ差分転送中に、前記レプリケーション元のストーレッジシステムで生成される差分量と、
    の和を、前記レプリケーション元のストーレッジシステムから前記レプリケーション先のストーレッジシステムへ通信回線を介して転送するデータ量として、前記バックアップによるリストアと差分情報の転送による同期に要する前記第1の時間を見積る、ことを特徴とする請求項記載のレプリケーションシステム。
  10. 前記レプリケーション元のストーレッジシステムは、
    バックアップ以降、前記レプリケーション元ストレージシステムでなされた更新情報を、前記レプリケーション先のストーレッジシステムに転送する手段を備え、
    前記レプリケーション先のストーレッジシステムは、
    前記レプリケーション先のストレージシステムの更新箇所の完了を示す更新完了フラグと、
    前記レプリケーション元のストーレッジシステムから転送された更新情報を受け取り、前記更新情報に基づき、前記レプリケーション先のストレージを更新し、更新箇所に対応する、前記更新完了フラグをオンに設定する手段と、
    バックアップによるリストア実行時、前更新完了フラグがオンの箇所は、バックアップデータによる書き込みは行わないように制御する、ことを特徴とする請求項記載のレプリケーションシステム。
  11. 前記ペア化処理手段は、レプリケーション・ペアの作成モードが、初期化するものである場合には、前記レプリケーション元と前記レプリケーション先のストレージを初期化してレプリケーションを開始する、ことを特徴とする請求項記載のレプリケーションシステム。
  12. 前記ペア化処理手段は、レプリケーション・ペアの作成モードが、初期同期しない場合には、前記レプリケーション元と前記レプリケーション先のストレージシステムのストレージが一致するか判定し、一致する場合に、レプリケーションを開始するように制御する、ことを特徴とする請求項記載のレプリケーションシステム。
  13. 前記ペア化処理手段は、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのスナップショットをとって比較し、一致するか調べる、ことを特徴とする請求項12記載のレプリケーションシステム。
  14. 前記ペア化処理手段は、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのデータのハッシュ値を算出して比較し、一致するか調べる、ことを特徴とする請求項12記載のレプリケーションシステム。
  15. レプリケーション元のストレージシステムと、前記レプリケーション元のストレージシステムと通信回線を介して通信接続するレプリケーション先のストレージシステムとに接続され、前記レプリケーション元とレプリケーション先のストレージシステムについて、予め設定されたレプリケーション・ペアの作成モードに従い、レプリケーションのペア化の制御を行うペア化処理装置であって、
    前記レプリケーション・ペアの作成モードがバックアップ利用のとき、前記レプリケーション元のストレージシステムでバックアップされたバックアップデータを用いた前記レプリケーション先のストレージシステムのリストアと、前記レプリケーション元のストレージシステムでのバックアップ以降の差分情報の通信回線を介した前記レプリケーション元から前記レプリケーション先への転送による同期に要する第1の時間を見積るとともに、前記レプリケーション元のストレージシステムと前記レプリケーション先のストレージシステム間の通信回線を介して前記レプリケーション元のストレージシステムのストレージの全データの転送による同期に要する第2の時間を見積る見積り手段を備え、
    前記第1及び第2の時間の見積り結果に応じて、前記バックアップによるリストアと前記差分情報の転送と、通信回線による前記レプリケーション元のストレージシステムのストレージの全データの転送のいずれを選択するか判断する、ことを特徴とするペア化処理装置。
  16. 前記見積り手段は、前記レプリケーション元と前記レプリケーション先のストレージシステムで同期を行っているときの、前記レプリケーション元ストレージシステムにおける更新データ量の増加速度を考慮して、
    前記判断時点における差分量と、
    リストアしている間に前記レプリケーション元のストレージシステムで生成される差分量と、
    前記レプリケーション元ストレージシステムから前記レプリケーション先ストレージシステムへ差分転送中に前記レプリケーション元ストレージシステムで生成される差分量と、
    の和を、前記レプリケーション元ストレージシステムから前記レプリケーション先ストレージシステムへ通信回線を介して転送するデータ量として、前記バックアップによるリストアと差分情報の転送による同期に要する前記第1の時間を見積る、ことを特徴とする請求項15記載のペア化処理装置。
  17. 前記レプリケーション・ペアの作成モードが、初期化するものである場合には、前記レプリケーション元と前記レプリケーション先のストレージシステムを初期化してレプリケーションを開始する、ことを特徴とする請求項15記載のペア化処理装置。
  18. 前記レプリケーション・ペアの作成モードが、初期同期しない場合には、前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定し、一致する場合に、レプリケーションを開始するように制御する、ことを特徴とする請求項15記載のペア化処理装置。
  19. 前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのスナップショットをとって比較し、一致するか調べる、ことを特徴とする請求項18記載のペア化処理装置。
  20. 前記レプリケーション元と前記レプリケーション先のストレージが一致するか判定するにあたり、前記レプリケーション元と前記レプリケーション先のストレージのデータのハッシュ値を算出して比較し、一致するか調べる、ことを特徴とする請求項18記載のペア化処理装置。
JP2005089454A 2005-03-25 2005-03-25 レプリケーションシステムと方法 Expired - Fee Related JP4843976B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005089454A JP4843976B2 (ja) 2005-03-25 2005-03-25 レプリケーションシステムと方法
US11/387,918 US20060218203A1 (en) 2005-03-25 2006-03-24 Replication system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005089454A JP4843976B2 (ja) 2005-03-25 2005-03-25 レプリケーションシステムと方法

Publications (2)

Publication Number Publication Date
JP2006268740A JP2006268740A (ja) 2006-10-05
JP4843976B2 true JP4843976B2 (ja) 2011-12-21

Family

ID=37036446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005089454A Expired - Fee Related JP4843976B2 (ja) 2005-03-25 2005-03-25 レプリケーションシステムと方法

Country Status (2)

Country Link
US (1) US20060218203A1 (ja)
JP (1) JP4843976B2 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7108784B1 (en) * 2001-09-26 2006-09-19 Wrt International Llc Apparatus for removal and destruction of ammonia from an aqueous medium
US20080010513A1 (en) * 2006-06-27 2008-01-10 International Business Machines Corporation Controlling computer storage systems
US8140785B2 (en) * 2006-06-29 2012-03-20 International Business Machines Corporation Updating metadata in a logical volume associated with a storage controller for data units indicated in a data structure
US7930496B2 (en) * 2006-06-29 2011-04-19 International Business Machines Corporation Processing a read request to a logical volume while relocating a logical volume from a first storage location to a second storage location using a copy relationship
US8433730B2 (en) * 2006-10-31 2013-04-30 Ariba, Inc. Dynamic data access and storage
JP4636008B2 (ja) * 2006-11-17 2011-02-23 日本電気株式会社 データレプリケーションシステム、データレプリケーション方法、データレプリケーションプログラム
JP5105856B2 (ja) * 2006-12-20 2012-12-26 Necシステムテクノロジー株式会社 ストレージシステム、論理ボリュームのレプリケーション方法・プログラム
JP2008181461A (ja) * 2007-01-26 2008-08-07 Hitachi Ltd Nas装置間でのデータ移行を制御する装置及び方法
JP2008226167A (ja) 2007-03-15 2008-09-25 Toshiba Corp データ配布システム及びデータ配布プログラム
JP2008234030A (ja) 2007-03-16 2008-10-02 Hitachi Ltd コピーシステム及びコピー方法
JP5086674B2 (ja) * 2007-03-23 2012-11-28 株式会社日本デジタル研究所 申告書作成方法、申告書作成装置、および申告書作成プログラム
US7769971B2 (en) * 2007-03-29 2010-08-03 Data Center Technologies Replication and restoration of single-instance storage pools
WO2009029889A1 (en) * 2007-08-31 2009-03-05 Clear Channel Management Services, L.P. Radio receiver and method for receiving and playing signals from multiple broadcast channels
JP4346659B2 (ja) 2007-12-27 2009-10-21 株式会社東芝 情報処理装置、バックアップ記憶装置、および情報処理方法
JP5243103B2 (ja) * 2008-05-19 2013-07-24 株式会社野村総合研究所 データベースシステム及びデータベースシステムにおける差分コピーの遅延自動復旧方法
US8291403B2 (en) * 2008-06-30 2012-10-16 Symantec Operating Corporation Install-unit upgrade using dynamic configuration data manipulation and merging
US8516121B1 (en) * 2008-06-30 2013-08-20 Symantec Corporation Method and apparatus for optimizing computer network usage to prevent congestion
US7996365B2 (en) * 2008-07-07 2011-08-09 International Business Machines Corporation Record level fuzzy backup
JP5467625B2 (ja) * 2008-07-30 2014-04-09 インターナショナル・ビジネス・マシーンズ・コーポレーション トランザクションを処理する本番システムと該本番システムのバックアップ・システムである代行システムとを含む本番−代行システム
SE533007C2 (sv) 2008-10-24 2010-06-08 Ilt Productions Ab Distribuerad datalagring
JP5215141B2 (ja) * 2008-11-25 2013-06-19 三菱電機株式会社 電力系統監視制御システム
US9720782B2 (en) * 2008-12-08 2017-08-01 Microsoft Technology Licensing, Llc Authenticating a backup image with bifurcated storage
US8229890B2 (en) * 2008-12-15 2012-07-24 International Business Machines Corporation Opening document stored at multiple database replicas
US20110004750A1 (en) * 2009-07-03 2011-01-06 Barracuda Networks, Inc Hierarchical skipping method for optimizing data transfer through retrieval and identification of non-redundant components
JP5284905B2 (ja) * 2009-08-12 2013-09-11 富士通株式会社 データ移行方法、及びプログラム
JP5585062B2 (ja) * 2009-12-04 2014-09-10 ソニー株式会社 情報処理装置、情報処理方法、データ管理サーバおよびデータ同期システム
EP2387200B1 (en) 2010-04-23 2014-02-12 Compuverde AB Distributed data storage
JP5188538B2 (ja) * 2010-05-27 2013-04-24 株式会社日立製作所 計算機システム及びリストア方法
JP5424992B2 (ja) * 2010-06-17 2014-02-26 株式会社日立製作所 計算機システム、及びシステム制御方法
US8683154B2 (en) 2010-06-17 2014-03-25 Hitachi, Ltd. Computer system and system control method
US9588858B2 (en) * 2010-11-29 2017-03-07 Ca, Inc. Periodic data replication
US8495019B2 (en) * 2011-03-08 2013-07-23 Ca, Inc. System and method for providing assured recovery and replication
EP2693782B1 (en) * 2011-04-19 2015-10-28 Huawei Device Co., Ltd. Method for backuping and recovering data of mobile terminal and mobile terminal thereof
US9626378B2 (en) 2011-09-02 2017-04-18 Compuverde Ab Method for handling requests in a storage system and a storage node for a storage system
US8645978B2 (en) 2011-09-02 2014-02-04 Compuverde Ab Method for data maintenance
US8769138B2 (en) 2011-09-02 2014-07-01 Compuverde Ab Method for data retrieval from a distributed data storage system
JP5874526B2 (ja) * 2012-05-15 2016-03-02 日本電気株式会社 バックアップ取得装置、バックアップ取得方法、およびバックアップ取得プログラム
CN102693145B (zh) * 2012-05-31 2015-02-25 红石阳光(北京)科技有限公司 用于嵌入式系统的差分升级方法
CN103581231B (zh) * 2012-07-25 2019-03-12 腾讯科技(北京)有限公司 Ugc主备数据同步方法及其系统
US9195727B2 (en) * 2013-01-30 2015-11-24 Hewlett-Packard Development Company, L.P. Delta partitions for backup and restore
US20140310488A1 (en) * 2013-04-11 2014-10-16 Transparent Io, Inc. Logical Unit Management using Differencing
US9436410B2 (en) * 2013-12-13 2016-09-06 Netapp, Inc. Replication of volumes on demands using absent allocation
JP6255496B2 (ja) * 2013-12-18 2017-12-27 アマゾン・テクノロジーズ・インコーポレーテッド ボリュームコーホート内の小ボリュームの照合調整
JP6088450B2 (ja) * 2014-02-18 2017-03-01 日本電信電話株式会社 冗長化データベースシステム、データベース装置及びマスタ交代方法
US9542468B2 (en) 2014-03-24 2017-01-10 Hitachi, Ltd. Database management system and method for controlling synchronization between databases
US9870289B2 (en) * 2014-12-12 2018-01-16 Ca, Inc. Notifying a backup application of a backup key change
US9880904B2 (en) * 2014-12-12 2018-01-30 Ca, Inc. Supporting multiple backup applications using a single change tracker
JP6485212B2 (ja) * 2015-05-22 2019-03-20 沖電気工業株式会社 データベースシステム、データベースサーバ、データベースサーバプログラム、及びデータベースシステムの制御方法
US20180267713A1 (en) * 2016-03-31 2018-09-20 Hitachi, Ltd. Method and apparatus for defining storage infrastructure
JP6905321B2 (ja) 2016-10-06 2021-07-21 キヤノン株式会社 データ管理システム、データ管理装置、装置、データ管理方法、およびプログラム
JP7140361B2 (ja) 2018-03-27 2022-09-21 Necソリューションイノベータ株式会社 バックアップ装置、バックアップ方法、プログラム、および記録媒体
JP7193713B2 (ja) 2018-10-31 2022-12-21 富士通株式会社 転送方式制御プログラム、転送方式制御装置及び転送方式制御方法
JP7200895B2 (ja) * 2019-09-24 2023-01-10 カシオ計算機株式会社 情報処理装置、表示制御方法、及び、プログラム
US11625295B2 (en) 2021-05-10 2023-04-11 Micron Technology, Inc. Operating memory device in performance mode

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3400297B2 (ja) * 1997-06-04 2003-04-28 株式会社日立製作所 記憶サブシステムおよび記憶サブシステムのデータコピー方法
JPH11296422A (ja) * 1998-04-08 1999-10-29 Hitachi Ltd データ複写装置
US6141773A (en) * 1998-06-30 2000-10-31 Emc Corporation Method and apparatus for undoing changes to computer memory
JP2000183947A (ja) * 1998-12-14 2000-06-30 Kenwood Corp データ保障方法
JP2001159985A (ja) * 1999-12-02 2001-06-12 Sun Corp 二重化装置
JP4115060B2 (ja) * 2000-02-02 2008-07-09 株式会社日立製作所 情報処理システムのデータ復旧方法及びディスクサブシステム
JP2002157167A (ja) * 2001-08-23 2002-05-31 Mitsubishi Electric Corp 電子情報ファイリング装置
US20030120932A1 (en) * 2001-12-21 2003-06-26 Koninklijke Philips Electronics N.V. Synchronizing source and destination systems via parallel hash value determinations
US7010553B2 (en) * 2002-03-19 2006-03-07 Network Appliance, Inc. System and method for redirecting access to a remote mirrored snapshot
JP3957278B2 (ja) * 2002-04-23 2007-08-15 株式会社日立製作所 ファイル転送方法およびシステム
JP3974538B2 (ja) * 2003-02-20 2007-09-12 株式会社日立製作所 情報処理システム
US20040230862A1 (en) * 2003-05-16 2004-11-18 Arif Merchant Redundant data assigment in a data storage system
JP4267420B2 (ja) * 2003-10-20 2009-05-27 株式会社日立製作所 ストレージ装置及びバックアップ取得方法
US7318134B1 (en) * 2004-03-16 2008-01-08 Emc Corporation Continuous data backup using distributed journaling
JP2006011581A (ja) * 2004-06-23 2006-01-12 Hitachi Ltd ストレージシステム及びストレージシステムの制御方法
US7058731B2 (en) * 2004-08-03 2006-06-06 Hitachi, Ltd. Failover and data migration using data replication

Also Published As

Publication number Publication date
US20060218203A1 (en) 2006-09-28
JP2006268740A (ja) 2006-10-05

Similar Documents

Publication Publication Date Title
JP4843976B2 (ja) レプリケーションシステムと方法
US6643671B2 (en) System and method for synchronizing a data copy using an accumulation remote copy trio consistency group
US7139932B2 (en) Data synchronization of multiple remote storage after remote copy suspension
US7139851B2 (en) Method and apparatus for re-synchronizing mirroring pair with data consistency
US7032089B1 (en) Replica synchronization using copy-on-read technique
US20190012243A1 (en) Resynchronizing to a first storage system after a failover to a second storage system mirroring the first storage system
US7117386B2 (en) SAR restart and going home procedures
US6360306B1 (en) Relocation of suspended data to a remote site in a distributed storage system
US6950915B2 (en) Data storage subsystem
US7334101B2 (en) Point in time remote copy for multiple sites
US7613749B2 (en) System and method for application fault tolerance and recovery using topologically remotely located computing devices
US7441148B2 (en) Method and apparatus for volume replication management at planned and unplanned link down
US7472173B2 (en) Remote data copying among storage systems
JP4842720B2 (ja) ストレージシステム及びデータ複製方法
US20060136685A1 (en) Method and system to maintain data consistency over an internet small computer system interface (iSCSI) network
JP2003248606A (ja) 記憶装置を応用したコピー管理の方法と装置
US7831550B1 (en) Propagating results of a volume-changing operation to replicated nodes
EP1565824A2 (en) Improved remote copy synchronization in disaster recovery computer systems
JP2005276162A (ja) 分散リモートコピーシステム
US20130086346A1 (en) Data storage apparatus
JP2005309793A (ja) データ処理システム
JP2005293469A (ja) データコピーシステムおよびデータコピー方法
CN106326030B (zh) 用于存储系统中的软切换的方法和装置
JP4512386B2 (ja) バックアップシステムおよび方法
US9582384B2 (en) Method and system for data replication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4843976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees