JP4856955B2 - Ｎａｓシステム及びリモートコピー方法 - Google Patents

Ｎａｓシステム及びリモートコピー方法 Download PDF

Info

Publication number
JP4856955B2
JP4856955B2 JP2006009202A JP2006009202A JP4856955B2 JP 4856955 B2 JP4856955 B2 JP 4856955B2 JP 2006009202 A JP2006009202 A JP 2006009202A JP 2006009202 A JP2006009202 A JP 2006009202A JP 4856955 B2 JP4856955 B2 JP 4856955B2
Authority
JP
Japan
Prior art keywords
remote copy
snapshot
time
start time
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006009202A
Other languages
English (en)
Other versions
JP2007193451A (ja
Inventor
禎宏 中村
康雄 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006009202A priority Critical patent/JP4856955B2/ja
Priority to US11/384,253 priority patent/US7739242B2/en
Publication of JP2007193451A publication Critical patent/JP2007193451A/ja
Priority to US12/797,152 priority patent/US8145605B2/en
Application granted granted Critical
Publication of JP4856955B2 publication Critical patent/JP4856955B2/ja
Priority to US13/407,989 priority patent/US8533160B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827—Management specifically adapted to NAS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明はスナップショット機能を備えたＮＡＳシステム、及び差分スナップショットのリモートコピー方法に関する。
従来、ＮＡＳ（Network Attached Storage）システムの機能の一つとして、スナップショット生成指示を受けた時点におけるプライマリボリューム（ユーザデータを格納する論理ボリューム）のデータイメージを論理的に保持する、いわゆるスナップショット機能がある。スナップショット機能は、人為的なミスによりプライマリボリュームのデータが消失してしまったときや、所望時点におけるプライマリボリュームのデータイメージを復元したいときなどに利用される。
特開２００４−３４２０５０号公報には、差分スナップショットについて開示されている。差分スナップショットによれば、過去のある時点におけるプライマリボリュームのデータイメージは、スナップショット生成指示が与えられた時点以降におけるプライマリボリュームの更新データとその更新位置を示す情報により論理的に復元できる。このため、差分スナップショットによれば、プライマリボリューム全体のデータイメージをそのまま記憶する場合に比べて、より小さい記憶容量で、スナップショット生成指示された時点のプライマリボリュームのデータイメージを保持できるという利点がある。
ところが、スナップショット機能を備えたストレージシステムに障害が生じると、スナップショットを利用して、プライマリボリュームのデータイメージを復元することができなくなる。かかる事情を考慮し、プライマリサイトに設置された第一のＮＡＳシステムが取得したスナップショットの差分データを、セカンダリサイトに設置された第二のＮＡＳシステムにリモートコピーし、第二のＮＡＳシステムにおいてもスナップショットを保持することにより、第一のＮＡＳシステムに障害が生じたときに、第二のＮＡＳシステムのスナップショットを用いて第一のＮＡＳシステムのデータイメージを復元するリモートコピーシステムが知られている。
リモートコピーシステムでは、ユーザが予め設定した時刻に基づいて、第一のＮＡＳシステムがスナップショットを取得し、そのスナップショットの差分データを第二のＮＡＳシステムにリモートコピーする。第一及び第二のＮＡＳシステムのそれぞれには、複数のファイルシステムが搭載されていることもあり、第一のＮＡＳシステムに搭載されている複数のファイルシステムのそれぞれのスナップショットの差分データを、第二のＮＡＳシステムに搭載されている複数のファイルシステムのそれぞれにリモートコピーすることもある。リモートコピー元のファイルシステムと、リモートコピー先のファイルシステムとは、それぞれ対応付けられており、両者の関係を「ペア」と称する。
特開２００４−３４２０５０号公報
しかし、スナップショットの差分データのデータサイズは、あるタイミングでスナップショットを取得してから、次のタイミングでスナップショットを取得する迄の間に、ホストシステムからの要求により、第一のＮＡＳシステムのプライマリボリュームが更新されたデータサイズに依存する。つまり、スナップショットの差分データは、データサイズが動的に変動し得る可変データである。スナップショットの差分データのデータサイズが増減すれば、リモートコピーに要する時間も増減する。可変データとしての特質を有するスナップショットの差分データを適切にリモートコピーするためのシステム設計は容易ではない。例えば、複数のペアについてスナップショットの差分データを同時刻にリモートコピーするケースでは、少なくとも次回のリモートコピー開始時刻迄には、全てのペアについてリモートコピーが正常に終了しなければならない。何れか一つのペアについて、スナップショットの差分データが予想以上に多いと、そのペアについてのスナップショットの差分データのリモートコピーに時間を要するだけでなく、他のペアについてのスナップショットの差分データのリモートコピーにも影響を与えることがある。しかも、最悪のケースでは、次回のリモートコピー開始時刻までに、何れかのペアについてスナップショットの差分データのリモートコピーが終了できなくなることもあり得る。
そこで、本発明は、上述の問題を解決し、スナップショットの差分データを適切にリモートコピーすることを目的とする。
上記の目的を達成するため、本発明のＮＡＳシステムは、データを格納する一つ以上のファイルシステムと、予めスケジューリングされたスナップショット取得時刻に基づいて、前記ファイルシステムのスナップショットを作成するスナップショット作成手段と、
予めスケジューリングされたリモートコピー開始時刻に基づいて、前記スナップショットの差分データをリモートコピーするリモートコピー手段と、（Ｎ−１）回目に取得した前記ファイルシステムのスナップショットの差分データ量に基づいて、Ｎ回目に取得する前記ファイルシステムのスナップショットの差分データ量を予測する予測手段と、前記予測手段が予測した前記差分データ量に基づいて、Ｎ回目のリモートコピー開始時刻に開始されるリモートコピーが（Ｎ＋１）回目のリモートコピー開始時刻までに終了するように、Ｎ回目のリモートコピー開始時刻を前倒しし、Ｎ回目のスナップショット取得時刻を前倒して、再スケジューリングするスケジューリング手段と、を備える。
また、本発明のリモートコピー方法は、データを格納する一つ以上のファイルシステムと、予めスケジューリングされたスナップショット取得時刻に基づいて、前記ファイルシステムのスナップショットを作成するスナップショット作成手段と、予めスケジューリングされたリモートコピー開始時刻に基づいて、前記スナップショットの差分データをリモートコピーするリモートコピー手段と、を備えるＮＡＳシステムによるリモートコピー方法であって、前記リモートコピー手段は、（Ｎ−１）回目に取得したファイルシステムのスナップショットの差分データ量に基づいて、Ｎ回目に取得する前記ファイルシステムのスナップショットの差分データ量を予測するステップと、Ｎ回目のリモートコピー開始時刻に開始されるリモートコピーが（Ｎ＋１）回目のリモートコピー開始時刻までに終了するように、前記差分データの予測値に基づいて、Ｎ回目のリモートコピー開始時刻を前倒しし、Ｎ回目のスナップショット取得時刻を前倒して再スケジューリングするステップと、を備える。
本発明によれば、スナップショットの差分データを適切にリモートコピーすることができる。
以下、各図を参照しながら本発明の実施形態について説明する。
図１は本実施形態に係わるストレージシステム１０は、プライマリサイトに設置されたＮＡＳシステム２０と、セカンダリサイトに設置されたＮＡＳシステム５０とを備える。ＮＡＳシステム２０とＮＡＳシステム５０とは、ネットワーク８０を介して相互に接続されている。ネットワーク８０は、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）などのデータ通信網である。
常用系の正ホストシステム９０は、ＮＡＳシステム２０にデータアクセスする。正ホストシステム９０又はＮＡＳシステム２０の何れかに障害が発生すると、ＮＡＳシステム５０は、ＮＡＳシステム２０が管理するファイルシステムの過去のデータイメージを、スナップショットを用いて復元する。副ホストシステム１００は、ＮＡＳシステム５０にデータアクセスして、正ホストシステム９０の業務を引き継ぐ。
ＮＡＳシステム２０は、ＮＡＳサーバ３０と、記憶制御装置４０とを備える。ＮＡＳサーバ３０は、ＣＰＵ３１、及びメモリ３２を備える。ＣＰＵ３１は、正ホストシステム９０からファイル名を指定したファイルアクセス要求を受信すると、記憶制御装置４０におけるデータ管理単位であるブロックを単位としたＩ／Ｏ要求を生成し、そのＩ／Ｏ要求を記憶制御装置４０に出力する。
メモリ３２には、リモートコピープログラム３２０、スナップショットプログラム３２１、及びスナップショット管理情報３２２が格納されている。
リモートコピープログラム３２０は、スナップショットの差分データをリモートコピーにより、ＮＡＳシステム５０へ送信する機能を有する。
スナップショットプログラム３２１は、プライマリボリューム４１のスナップショットを作成する機能を有する。スナップショットプログラム３２１は、プライマリボリューム４１上のデータ更新箇所に関する情報を管理することにより、過去のある時点におけるプライマリボリューム４１のスナップショットを作成する。例えば、スナップショットプログラム３２１は、プライマリボリューム４１上のデータが更新されると、更新前データ（旧データ）を差分ボリューム４２に退避させた後で、新しいデータをプライマリボリューム４１に書き込む。そして、データの更新位置や更新前データの退避先等に関する管理情報をスナップショット管理情報３２２により管理する。これにより、過去のある時点におけるスナップショットを複数世代にわたって管理することができる。
記憶制御装置３０は、プライマリボリューム４１、差分ボリューム４２、及び複数のバーチャルボリューム４３を備える。プライマリボリューム４１は、ユーザデータを格納する論理ボリュームである。差分ボリューム４２は、プライマリボリューム４１の更新前データを退避させるための論理ボリュームである。複数のバーチャルボリューム４３のそれぞれは、過去のある時点におけるプライマリボリューム４１のスナップショットを論理的に保持する。
ＮＡＳシステム５０は、ＮＡＳサーバ６０と、記憶制御装置７０とを備える。ＮＡＳサーバ６０は、ＣＰＵ６１、及びメモリ６２を備える。ＣＰＵ６１は、副ホストシステム１００からファイル名を指定したファイルアクセス要求を受信すると、記憶制御装置７０におけるデータ管理単位であるブロックを単位としたＩ／Ｏ要求を生成し、そのＩ／Ｏ要求を記憶制御装置７０に出力する。
メモリ６２には、リモートコピープログラム６２０、スナップショットプログラム６２１、及びスナップショット管理情報６２２が格納されている。
リモートコピープログラム６２０は、スナップショットの差分データをリモートコピーにより、ＮＡＳシステム２０から受信する機能を有する。
スナップショットプログラム６２１は、プライマリボリューム７１のスナップショットを作成する機能を有する。スナップショットプログラム６２１は、プライマリボリューム７１上のデータ更新箇所に関する情報を管理することにより、過去のある時点におけるプライマリボリューム７１のスナップショットを作成する。例えば、スナップショットプログラム６２１は、プライマリボリューム７１上のデータが更新されると、更新前データ（旧データ）を差分ボリューム７２に退避させた後で、新しいデータをプライマリボリューム７１に書き込む。そして、データの更新位置や更新前データの退避先等に関する管理情報をスナップショット管理情報６２２により管理する。これにより、過去のある時点におけるスナップショットを複数世代にわたって管理することができる。
記憶制御装置７０は、プライマリボリューム７１、差分ボリューム７２、及び複数のバーチャルボリューム７３を備える。プライマリボリューム７１は、ユーザデータを格納する論理ボリュームである。差分ボリューム７２は、プライマリボリューム７１の更新前データを退避させるための論理ボリュームである。複数のバーチャルボリューム７３のそれぞれは、過去のある時点におけるプライマリボリューム７１のスナップショットを論理的に保持する。
尚、以下の説明においては、ＮＡＳシステム２０とＮＡＳシステム５０のそれぞれは、複数のファイルシステムを有しており、両者間に複数のペアが形成される構成を前提とするが、ＮＡＳシステム２０とＮＡＳシステム５０のそれぞれは、必ずしも複数のファイルシステムを有している必要はなく、両者間に単一のペアのみが形成される構成であってもよい。
次に、図２乃至図５を参照しながら、本実施形態に係るリモートコピーのスケジューリング方法について説明する。これらの図において、時刻ｔ０は（Ｎ−１）回目のリモートコピーの開始時刻、時刻ｔ１は（Ｎ−１）回目のリモートコピーの終了時刻、時刻ｔ２はＮ回目のスナップショットの取得時刻、時刻ｔ３はＮ回目のリモートコピーの開始時刻、時刻ｔ４は（Ｎ＋１）回目のスナップショットの取得時刻、時刻ｔ５は（Ｎ＋１）回目のリモートコピーの開始時刻である。
図２に示すように、ＮＡＳシステム２０では、時刻ｔ１において、全てのペアについて（Ｎ−１）回目のリモートコピーが終了すると、全てのペアについて（Ｎ−１）回目のリモートコピーで転送したデータ量の総和を基に、全てのペアについてＮ回目のリモートコピーで転送するデータ量の総和を予測し、予測したデータ量を基にリモートコピー時間の見積もりを行う。見積もりの結果、全てのペアについてＮ回目のリモートコピーを並列処理しても、（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合う場合には、そのまま全てのペアについてリモートコピーを実行する。このとき、転送データを圧縮したときのデータ量を計算した上で、Ｎ回目のリモートコピーを並列処理しても、（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５までに全てのペアについてリモートコピーが完了するか否かをチェックしてもよい。もし、Ｎ回目のリモートコピーについて、何れかのペアについてのリモートコピーが（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合わないと予測される場合には、図３乃至図５に示すように、リモートコピー開始時刻ｔ３、ｔ５又はスナップショット取得時刻ｔ２、ｔ４を再スケジューリングする。
尚、リモートコピー開始時刻ｔ３、ｔ５又はスナップショット取得時刻ｔ２、ｔ４の再スケジューリングは、（Ｎ−１）回目のリモートコピーが終了した時刻ｔ１の時点で行うものとする。
Ｎ回目のリモートコピーについて、何れかのペアについてのリモートコピーが（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合わないと予測される場合には、ＮＡＳシステム２０は、まず、図３に示すように、Ｎ回目のリモートコピーの開始時刻ｔ３を、Ｎ回目のスナップショットの取得時刻ｔ２まで最大限に前倒しする（早める）ことにより、全てのペアについてＮ回目のリモートコピーを並列処理しても、（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合うか否かをチェックする。
Ｎ回目のリモートコピーの開始時刻ｔ３を、Ｎ回目のスナップショットの取得時刻ｔ２まで最大限に前倒ししても、Ｎ回目のリモートコピーについて、何れかのペアについてのリモートコピーが（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合わないと予測される場合には、図４に示すように、Ｎ回目のスナップショットの取得時刻ｔ２を、（Ｎ−１）回目のリモートコピーの終了時刻ｔ１まで最大限に前倒しすることにより、全てのペアについてＮ回目のリモートコピーを並列処理しても、（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合うか否かをチェックする。
Ｎ回目のスナップショットの取得時刻ｔ２を、（Ｎ−１）回目のリモートコピーの終了時刻ｔ１まで最大限に前倒ししても、Ｎ回目のリモートコピーについて、何れかのペアについてのリモートコピーが（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合わないと予測される場合には、図５に示すように、（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５を先延ばしする（遅らせる）ことにより、全てのペアについてＮ回目のリモートコピーを並列処理しても、（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合うか否かをチェックする。
このように、ＮＡＳサーバ２０は、予め定められた優先度に基づいて、リモートコピー開始時刻ｔ３、ｔ５又はスナップショット取得時刻ｔ２、ｔ４を再スケジューリングし、全てのペアについてのリモートコピーを不足なく完了させる。
ＮＡＳサーバ２０は、上述の再スケジューリングを実施しても、Ｎ回目のリモートコピーについて、何れかのペアについてのリモートコピーが（Ｎ＋１）回目のリモートコピーの開始時刻ｔ５まで間に合わないと予測される場合には、予め定められた優先度に基づいて、優先度の低いペアのリモートコピーを間引いて（保留して）、優先度の高いペアについてのリモートコピーを完了させる。リモートコピーの優先制御処理については後述する。
尚、上述した再スケジューリングは、（Ｎ−１）回目のリモートコピーにおけるデータ増加率を基にＮ回目のリモートコピーのデータ量を予測し、予測された転送データ量に基づいて再スケジューリングする例を示したが、予測されたデータ転送量が許容範囲を超えて実際のデータ転送量を上回る場合も想定し得る。このような場合には、Ｎ回目のスナップショットを取得した段階で、実際のデータ転送量が分かるので、実際のデータ転送量に基づいて再スケジューリングを実行すればよい。
また、ＮＡＳサーバ２０は、上述した再スケジューリングにより、リモートコピー開始時刻ｔ３、ｔ５又はスナップショット取得時刻ｔ２、ｔ４を変更したり、或いは優先制御処理により、何れかのペアについてのリモートコピーを間引いたりしたときは、その処理を行った旨を正ホストシステム９０に通知するものとする。また、Ｎ回目のリモートコピーについて、何れかのペアについてのデータ転送量がデータ転送量の上限値を超えた場合にも、ＮＡＳサーバ２０は、正ホストシステム９０にエラー通知を行うものとする。
スナップショット取得時刻ｔ２、ｔ４は、ユーザが予め設定した時刻なので、スナップショット取得時刻ｔ２、ｔ４よりも、リモートコピー開始時刻ｔ３、ｔ５を優先して再スケジューリングするのが望ましい。
図６はリモートコピープログラムのソフトウェア構成を中心とするリモートコピー機能の説明図である。ＮＡＳシステム２０は、複数のファイルシステムＦＳ_Ａ１，ＦＳ_Ｂ１，ＦＳ_Ｃ１を有する。ＮＡＳシステム５０は、複数のファイルシステムＦＳ_Ａ２，ＦＳ_Ｂ２，ＦＳ_Ｃ２を有する。ファイルシステムＦＳ_Ａ１とファイルシステムＦＳ_Ａ２とは、ペアの関係にある。同様に、ファイルシステムＦＳ_Ｂ１とファイルシステムＦＳ_Ｂ２との関係、ファイルシステムＦＳ_Ｃ１とファイルシステムＦＳ_Ｃ２との関係も、ペアの関係にある。説明の便宜上、上述した三つのペアは、全て同一のネットワーク８０を介して接続されているが、それぞれ異なるネットワークデバイス（通信媒体）を介して接続されていてもよい。
上述したスナップショット取得時刻又はリモートコピー開始時刻の再スケジューリングは、同一ネットワークデバイスに接続されたペア同士で行う必要がある。これは、ネットワークデバイス毎に通信帯域が異なるためである。ＮＡＳサーバ２０は、通信デバイス毎にネットワークグループを設定し、それぞれのネットワークグループ内で次回のリモートコピー開始時刻までに、何れかのペアのリモートコピーが完了できないと予測された場合には、優先度の低いペアのリモートコピー処理を停止する。ＮＡＳサーバ２０は、リモートコピーが間引かれたペアについて、次回のリモートコピーの際には、問題なくリモートコピーできるように、スナップショット取得時刻又はリモートコピー開始時刻の再スケジューリングを行う。
リモートコピープログラム３２０は、それぞれのファイルシステムＦＳ_Ａ１，ＦＳ_Ｂ１，ＦＳ_Ｃ１のスナップショットの差分データを、ファイルシステムＦＳ_Ａ２，ＦＳ_Ｂ２，ＦＳ_Ｃ２にリモートコピーするためのリモートコピープロセス７１０，７２０，７３０の起動／停止を制御する。
リモートコピープログラム３２０は、ネットワークグループ管理プログラム４００、スケジューリングプログラム４１０、優先制御プログラム４２０、グループ操作プログラム４３０、ネットワークグループ管理テーブル５００、及びペア情報テーブル６００を有する。
ネットワークグループ管理プログラム４００は、各ネットワークグループに登録されているペアについてのリモートコピー処理を管理する。
スケジューリングプログラム４１０は、あるタイミングにおけるスナップショットの取得完了、且つ前回のリモートコピー処理の終了を契機として呼び出され、リモートコピー開始時刻又はスナップショット取得時刻の再スケジューリングを行う。スケジューリングプログラム４１０は、稼働予定のある全てのペアについて、リモートコピー処理が次回のリモートコピー開始時刻までに完了するように、再スケジューリングする。リモートコピー開始時刻又はスナップショット取得時刻の変動幅の上限値は、ユーザが指定する。ユーザの指定がない場合には、図７に示すように、リモートコピー開始時刻の変動幅の上限値は、リモートコピー開始時間間隔の半分とし、スナップショット取得時刻の変動幅の上限値は、スナップショット取得間隔の半分とする。
優先制御プログラム４２０は、ネットワークグループに登録されている各ペアのリモートコピースケジュールを調整した結果、リモートコピー開始時刻又はスナップショット取得時刻の前倒し又は先延ばしだけでは、ネットワークグループ内の全ペアについてのリモートコピー処理を完了できないときに起動する。優先制御プログラム４２０は、ネットワークグループ内で稼働を予定しているペアの中で次回のリモートコピー開始時刻までにリモートコピー処理を終了できるように、優先度の低いペアのリモートコピープロセスを停止する。
グループ操作プログラム４３０は、ネットワークグループ作成プログラム４３１、ネットワークグループ削除プログラム４３２、ペア追加プログラム４３３、及びペア削除プログラム４３４を有する。ネットワークグループ作成プログラム４３１は、ネットワークグループ作成処理を行う。ネットワークグループ削除プログラム４３２は、ネットワークグループ削除処理を行う。ペア追加プログラム４３３は、ペア追加処理を行う。ペア削除プログラム４３４は、ペア削除処理を行う。ネットワークグループ作成処理、ネットワークグループ削除処理、ペア追加処理、及びペア削除処理の詳細については、後述する。
尚、優先制御処理を行うには、ネットワークデバイスが同一であるペアを選択し、ネットワークグループ管理テーブル５００、及びペア情報テーブル６００を作成する必要がある。ネットワークグループ管理テーブル５００を作成した後は、ネットワークグループ管理テーブル５００からペア情報を追加又は削除することにより、ペア追加又はペア削除を行える。ネットワークグループを解放するときには、ネットワークグループ削除処理を行う。
次に、図８を参照しながら、再スケジューリングの概要について説明する。以下の説明においては、Ｔはスナップショットを取得する時間間隔、Ｖｓはスナップショットのデータの増加率、Ｖｃはリモートコピーのデータ転送速度（一定値）、△は前倒し時間
差、δは先延ばし時間差、Ｄは間引かれたペアのスナップショットのデータ量とする。
次の（１）〜（３）を前提とする。
（１）通常は時間間隔Ｔ毎に、或いは調整後の時間間隔でスナップショットを行い、続けてリモートコピーを行う。スナップショットの実行時間は無視するので、スナップショットの取得開始時刻、スナップショットの取得終了時刻、リモートコピーの開始時刻は、何れも同一と看做す。
（２）Ｖｓは前回のスナップショットで取得したデータ量から予測する。
（３）通常時は、図８のグラフＡに示すように、リモートコピー終了から次のリモートコピー開始の間にある程度の時間的余裕を持たせる。
図８のグラフＢは、リモートコピー開始時刻を前倒しするケースを示している。このケースでは、前回のリモートコピーにて、あるペアのスナップショットのデータが間引かれたため、スナップショットの取得開始時点でデータ量Ｄが存在する。このとき、次回のスナップショットの取得開始予定時刻２Ｔまでにリモートコピーが終了しないので、時刻Ｔに行う予定のスナップショットの取得開始時刻を△だけ前倒しして、時刻２Ｔ
までにリモートコピーを終了させる。時刻Ｔ−△の時点で蓄積されたスナップショット
のデータ量が時刻Ｔ−△から時刻２Ｔまでの間にリモートコピーされるデータ量に等し
くなる。即ち、Ｖｓ（Ｔ−△）＋Ｄ＝Ｖｃ（Ｔ＋△）が成立し、△＝（（Ｖｓ−Ｖｃ）
Ｔ＋Ｄ）／（Ｖｓ＋Ｖｃ）となる。但し、△の上限値は、Ｔ／２である。
図８のグラフＣは、次回のリモートコピー開始時刻を先延ばしするケースを示している。このケースでは、上述のようにリモートコピー開始時刻を前倒ししただけでは、時刻２Ｔまでにリモートコピーが終了できない場合に、時刻２Ｔに行う予定の次回のリモートコピー開始時刻をδだけ先延ばしし、時刻２Ｔ＋δまでにリモートコピーを終了させる。時刻Ｔ−△の時点で蓄積されたスナップショットのデータ量が時刻Ｔ−△から時
刻２Ｔ＋δまでの間にリモートコピーされるデータ量に等しくなる。即ち、Ｖｓ（Ｔ−△）＋Ｄ＝Ｖｃ（Ｔ＋△＋δ）が成立し、δ＝（（Ｖｓ−Ｖｃ）Ｔ−（Ｖｓ＋Ｖｃ）△
＋Ｄ）／Ｖｃである。但し、δの上限値は、Ｔ／２である
図９はネットワーク管理テーブル５００を示す。ネットワーク管理テーブル５００は、「ネットワークデバイス名」、「ペア数」、「通信帯域」、及び「ペア情報」をデーブル要素とする。「ネットワークデバイス名」は、登録したペアが利用するネットワークデバイスの名称を示す。「ペア数」は、各ネットワークグループに登録されているペアの数である。「通信帯域」は、ネットワークデバイスの通信帯域である。「ペア情報」は、同一ネットワークグループ内で優先制御の対象となるペアの名称を示す。
図１０はペア情報テーブル６００を示す。ペア情報テーブル６００は、「ペア名」、「リモートコピー開始時刻」、「次回リモートコピー開始時刻」、「優先度」、「差分スナップショットサイズ」、及び「リモートコピー状態」をテーブル要素とする。「ペア名」は、同一ネットワークグループ内で優先制御の対象となるペアの名称を示す。「リモートコピー開始時刻」は、リモートコピーの開始時刻を示す。「次回リモートコピー開始時刻」は、次回のリモートコピーの開始時刻を示す。「優先度」は、優先制御処理により、リモートコピープロセスの停止を決定付ける指標である。「差分スナップショットサイズ」は、転送データ量を示す。「リモートコピー状態」は、「待機中」又は「運用中」の何れかを示す。
次に、図１１乃至図１３を参照しながら、ネットワークグループ管理テーブル５００及びペア情報テーブル６００の具体例について説明する。
図１１に示すように、第一のネットワークデバイスｅｔｈ１には、ファイルシステムＦＳ_Ａ１とファイルシステムＦＳ_Ａ２とからなるペア（以下、ペア名をスナップショットＡとする。）と、ファイルシステムＦＳ_Ｂ１とファイルシステムＦＳ_Ｂ２とからなるペア（以下、ペア名をスナップショットＢとする。）が登録されている。第二のネットワークデバイスｅｔｈ２には、ファイルシステムＦＳ_Ｃ１とファイルシステムＦＳ_Ｃ２とからなるペア（以下、ペア名をスナップショットＣとする。）が登録されている。
図１２に示すネットワークグループ管理テーブル５００には、図１１に示すストレージシステムのネットワークグループ管理情報が登録されている。ネットワークデバイス名「ｅｔｈ１」のネットワークグループのペア数は２、通信帯域は１０ＭＢ／ｓｅｃ、ペア情報は「スナップショットＡ、スナップショットＢ」である。ネットワークデバイス名「ｅｔｈ２」のネットワークグループのペア数は１、通信帯域は１００ＭＢ／ｓｅｃ、ペア情報は「スナップショットＣ」である。
図１３に示すペア情報テーブル６００には、図１１に示すストレージシステムのペア情報が登録されている。ペア名「スナップショットＡ」の次回リモートコピー開始時刻は２：００、次回スナップショット取得時刻は２：００、優先度は１、リモートコピー状態は「待機中」である。ペア名「スナップショットＢ」の次回リモートコピー開始時刻は２：００、次回スナップショット取得時刻は２：００、優先度は２、リモートコピー状態は「待機中」である。ペア名「スナップショットＣ」の次回リモートコピー開始時刻は４：００、次回スナップショット取得時刻は４：００、優先度は１、リモートコピー状態は「待機中」である。
次に、図１４乃至図１６を参照しながら、第一のネットワークグループｅｔｈ１にペアを新規に追加した場合における、ネットワークグループ管理テーブル５００及びペア情報テーブル６００の具体例について説明する。
図１４に示すように、第一のネットワークグループｅｔｈ１に、ファイルシステムＦＳ_Ｄ１とファイルシステムＦＳ_Ｄ２とからなるペア（以下、ペア名をスナップショットＤとする。）を新規に追加する。すると、図１５に示すように、ネットワークグループ管理テーブル５００におけるネットワークデバイス名「ｅｔｈ１」のネットワークグループのペア数は３に更新され、ペア情報は「スナップショットＡ、スナップショットＢ、スナップショットＤ」に更新される。更に、図１６に示すように、ペア情報テーブル６００には、ペア名「スナップショットＤ」が新規に追加される。スナップショットＤの次回リモートコピー開始時刻は２：００、次回スナップショット取得時刻は２：００、優先度は２、リモート状態は「待機中」である。
次に、図１７乃至図１９を参照しながら、リモートコピーの優先制御処理について説明する。
図１９のペア情報テーブル６００に示すように、スナップショットＡの転送データ量が３００００ＭＢ、スナップショットＢの転送データ量が２００００ＭＢ、スナップショットＤの転送データ量が１００００ＭＢである。通信帯域は、１０ＭＢ／ｓｅｃなので、リモートコピー開始の時間間隔５０分の間に転送できるデータ量は、１０（ＭＢ／ｓｅｃ）×５０×６０（ｓｅｃ）＝３００００ＭＢである。スナップショットＡ，Ｂ，Ｄの合計データ量は６００００ＭＢなので、５０分の間に全てのスナップショットＡ，Ｂ，Ｄのデータをリモートコピーすることはできない。次回のリモートコピー開始時刻を最大で２５分間先延ばししたときのデータ転送量は、１０（ＭＢ／ｓｅｃ）×７５×６０（ｓｅｃ）＝４５０００ＭＢなので、７５分の間に全てのスナップショットＡ，Ｂ，Ｄのデータをリモートコピーすることはできない。そこで、優先制御処理を実施し、優先度の一番低いスナップショットＡのリモートコピーを中止する。すると、スナップショットＢ，Ｄの合計データ量は３００００ＭＢなので、５０分の間に全てのスナップショットＢ，Ｄのデータをリモートコピーすることができる。
優先制御処理により、ペア名「スナップショットＡ」については、現時刻におけるリモートコピーは実施されず、次回リモートコピー開始時刻は２：５０、次回スナップショット取得時刻は２：５０、優先度は１、リモートコピー状態は「待機中」に設定される。ペア名「スナップショットＢ」のリモートコピー開始時刻は２：００、次回リモートコピー開始時刻は２：５０、次回スナップショット取得時刻は２：５０、優先度は３、リモートコピー状態は「運用中」である。ペア名「スナップショットＤ」のリモートコピー開始時刻は２：００、次回リモートコピー開始時刻は２：５０、次回スナップショット取得時刻は２：５０、優先度は２、リモートコピー状態は「運用中」である。
尚、通信障害等により、ネットワークデバイスの通信帯域が狭くなることもあり得る。このような場合には、ネットワークグループ管理テーブル５００の通信帯域の値を最新の値に更新する。スケジューリングプログラム４１０は、最新の通信帯域の値を用いて再スケジューリングを行う。最新の通信帯域を用いた再スケジューリングをしても、全てのペアについてリモートコピーを完了させることができない場合には、優先制御プログラム４２０は、最新の通信帯域の値を用いて、優先制御処理を行う。
図２０はスケジューリングプログラム４１０が実行するスケジューリング処理を記述したフローチャートである。
スケジューリングプログラム４１０は、リモートコピー処理を実行する予定のペアについて、スナップショットの差分データ量を計算する（Ｓ１０１）。
次に、スケジューリングプログラム４１０は、スナップショットの取得が完了しているか否かについてチェックする（Ｓ１０２）。スナップショットの取得が完了していなければ（Ｓ１０２；ＮＯ）、スケジューリングプログラム４１０は、処理ルーチンを抜ける。
スナップショットの取得が完了していれば（Ｓ１０２；ＹＥＳ）、スケジューリングプログラム４１０は、ペア状態テーブルの全ての状態が「待機中」であるか否かをチェックする（Ｓ１０３）。ペア状態テーブルの何れかの状態が「待機中」でない場合には（Ｓ１０３；ＹＥＳ）、スケジューリングプログラム４１０は、処理ルーチンを抜ける。
ペア状態テーブルの全ての状態が「待機中」である場合には（Ｓ１０３；ＹＥＳ）、スケジューリングプログラム４１０は、優先制御を行ったか否かをチェックする（Ｓ１０４）。優先制御を行った場合には、スケジューリングプログラム４１０は、Ｓ１０６に進む。
優先制御を行っている場合には（Ｓ１０４；ＮＯ）、スケジューリングプログラム４１０は、スケジュール変更なしでリモートコピー処理を完了できるか否かをチェックする（Ｓ１０５）。スケジュール変更なしでリモートコピー処理を完了できる場合には（Ｓ１０５；ＹＥＳ）、スケジューリングプログラム４１０は、Ｓ１１３に進む。
スケジュール変更なしでリモートコピー処理を完了できない場合には（Ｓ１０５；ＮＯ）、スケジューリングプログラム４１０は、次回のリモートコピー開始時刻を前倒しすることにより、リモートコピー処理を完了できるか否かをチェックする（Ｓ１０６）。次回のリモートコピー開始時刻を前倒しすることにより、リモートコピー処理を完了できる場合には（Ｓ１０６；ＹＥＳ）、スケジューリングプログラム４１０は、Ｓ１１２に進む。
次回のリモートコピー開始時刻を前倒しすることにより、リモートコピー処理を完了できない場合には（Ｓ１０６；ＮＯ）、スケジューリングプログラム４１０は、次回のリモートコピー開始時刻とスナップショット取得時刻とをそれぞれ前倒しすることにより、リモートコピー処理を完了できるか否かをチェックする（Ｓ１０７）。次回のリモートコピー開始時刻とスナップショット取得時刻とをそれぞれ前倒しすることにより、リモートコピー処理を完了できる場合には（Ｓ１０７；ＹＥＳ）、スケジューリングプログラム４１０は、Ｓ１１１に進む。
次回のリモートコピー開始時刻とスナップショット取得時刻とをそれぞれ前倒しすることにより、リモートコピー処理を完了でない場合には（Ｓ１０７；ＮＯ）、スケジューリングプログラム４１０は、次回のリモートコピー開始時刻とスナップショット取得時刻とをそれぞれ前倒しし、更に次々回のリモートコピー開始時刻を先延ばしすることにより、リモートコピー処理を完了できるか否かをチェックする（Ｓ１０８）。
次回のリモートコピー開始時刻とスナップショット取得時刻とをそれぞれ前倒しし、更に次々回のリモートコピー開始時刻を先延ばしすることにより、リモートコピー処理を完了できない場合には（Ｓ１０８；ＮＯ）、スケジューリングプログラム４１０は、優先制御処理を行い（Ｓ１０９）、Ｓ１０１に戻る。
次回のリモートコピー開始時刻とスナップショット取得時刻とをそれぞれ前倒しし、更に次々回のリモートコピー開始時刻を先延ばしすることにより、リモートコピー処理を完了できる場合には（Ｓ１０８；ＹＥＳ）、スケジューリングプログラム４１０は、次々回のリモートコピー開始時刻を先延ばしする（Ｓ１１０）。
次に、スケジューリングプログラム４１０は、次回のスナップショット取得時刻を前倒しする（Ｓ１１１）。
次に、スケジューリングプログラム４１０は、次回のリモートコピー開始時刻を前倒しする（Ｓ１１２）。
次に、スケジューリングプログラム４１０は、再スケジューリングしたスケジュールを有効にする（Ｓ１１３）。
次に、スケジューリングプログラム４１０は、スケジュールに変更があったか否かをチェックする（Ｓ１１４）。スケジュールに変更がある場合には（Ｓ１１４；ＹＥＳ）、スケジューリングプログラム４１０は、スケジュール変更を通知し（Ｓ１１５）、各ペア情報テーブルにリモートコピー開始時刻とスナップショット取得時刻を設定する（Ｓ１１６）。
スケジュールに変更がない場合には（Ｓ１１４；ＮＯ）、スケジューリングプログラム４１０は、Ｓ１１６に進む。
図２１は優先制御プログラム４２０が実行する優先制御処理を記述したフローチャートである。
優先制御プログラム４２０は、ネットワークグループ管理テーブル５００に登録されているペアの中からリモートコピー処理が停止される候補となるペアを除いた残りのペアについて、スナップショットの差分データ量の合計値を計算する（Ｓ２０１）。
次に、優先制御プログラム４２０は、ネットワークグループ管理テーブル５００に登録されている通信帯域の情報を基に、リモートコピー処理が停止される候補となるペアを除いた残りのペアについて、データ転送時間を計算する（Ｓ２０２）。
次に、優先制御プログラム４２０は、次回のリモートコピー開始時刻までにデータ転送が完了するか否かをチェックする（Ｓ２０３）。このとき、データ圧縮した場合も含めてデータ転送が完了するか否かをチェックするものとする。
次回のリモートコピー開始時刻までにデータ転送が完了する場合には（Ｓ２０３；ＹＥＳ）、優先制御プログラム４２０は、リモートコピー処理が停止される候補となるペアを決定する（Ｓ２０４）。
次回のリモートコピー開始時刻までにデータ転送が完了しない場合には（Ｓ２０３；ＮＯ）、優先制御プログラム４２０は、全てのペアについて、優先度情報を検索する（Ｓ２０５）。
次に、優先制御プログラム４２０は、一つのペアについてのデータ転送量が転送可能最大容量を超えているか否かをチェックする（Ｓ２０６）。一つのペアについてのデータ転送量が転送可能最大容量を超えてない場合には（Ｓ２０６；ＮＯ）、優先制御プログラム４２０は、優先度が低いペアを検索し（Ｓ２０７）、検索されたペアを、リモートコピー処理の停止候補として決定し（Ｓ２０９）、リモートコピー処理の停止をユーザに通知する（Ｓ２１０）。
一つのペアについてのデータ転送量が転送可能最大容量を超えている場合には（Ｓ２０６；ＹＥＳ）、優先制御プログラム４２０は、エラー通知を行い（Ｓ２０８）、Ｓ２０９に進む。
図２２はネットワークグループ作成プログラム４３１が実行するネットワークグループ作成処理を記述したフローチャートである。
ネットワークグループ作成プログラム４３１は、作成済みのペアの中からグルーピングするペアを選択する（Ｓ３０１）。
次に、ネットワークグループ作成プログラム４３１は、選択したペアが全て同一のネットワークデバイスを使用するものであるか否かをチェックする（Ｓ３０２）。選択したペアの一部が同一のネットワークデバイスを使用するものでない場合には（Ｓ３０２；ＮＯ）、ネットワークグループ作成プログラム４３１は、処理ルーチンを抜ける。
選択したペアの全てが同一のネットワークデバイスを使用するものである場合には（Ｓ３０２；ＹＥＳ）、ネットワークグループ作成プログラム４３１は、ネットワークグループ管理テーブル５００を作成し、ネットワークグループ管理テーブル５００に「ネットワークデバイス名」、「通信帯域」を格納する（Ｓ３０３）。
次に、ネットワークグループ作成プログラム４３１は、選択したペアについて、ペア情報テーブル６００を作成し、初期化する（Ｓ３０４）。
次に、ネットワークグループ作成プログラム４３１は、ユーザからの入力に基づいて、各ペアについての優先度を設定する（Ｓ３０５）。
次に、ネットワークグループ作成プログラム４３１は、各ペアについてのリモートコピー開始時刻を設定する（Ｓ３０６）。
図２３はネットワークグループ削除プログラム４３２が実行するネットワークグループ削除処理を記述したフローチャートである。
ネットワークグループ削除プログラム４３２は、ペア情報テーブル６００に登録されている状態情報を取得する（Ｓ４０１）。
次に、ネットワークグループ削除プログラム４３２は、状態が「運用中」のペアが存在するか否かをチェックする（Ｓ４０２）。状態が「運用中」のペアが存在する場合には（Ｓ４０２；ＹＥＳ）、ネットワークグループ削除プログラム４３２は、「運用中」のペアのリモートコピー処理を停止し（Ｓ４０３）、リモートコピーを停止したペアの状態を「運用中」から「待機中」に変更する（Ｓ４０４）。
次に、ネットワークグループ削除プログラム４３２は、リモートコピーの開始時刻の設定を全て解除し（Ｓ４０５）、ペア情報テーブル６００を全て開放し（Ｓ４０６）、ネットワークグループ管理テーブル５００を全て解放する（Ｓ４０７）。
状態が「運用中」のペアが存在しない場合（Ｓ４０２；ＮＯ）、ネットワークグループ削除プログラム４３２は、Ｓ４０５の処理に進む。
図２４はペア追加プログラム４３３が実行するペア追加処理を記述したフローチャートである。
ペア追加プログラム４３３は、新規に追加されるペアを登録するネットワーク管理テーブル５００が存在するか否かをチェックする（Ｓ５０１）。新規に追加されるペアを登録するネットワーク管理テーブル５００が存在しない場合には（Ｓ５０１；ＮＯ）、ペア追加プログラム４３３は、処理ルーチンを抜ける。
新規に追加されるペアを登録するネットワーク管理テーブル５００が存在する場合には（Ｓ５０１；ＹＥＳ）、ペア追加プログラム４３３は、新規に追加されるペアのペア情報テーブル６００を新規に作成する（Ｓ５０２）。
次に、ペア追加プログラム４３３は、ペア情報テーブル６００をネットワークグループ管理テーブル５００に登録し、ネットワークグループ管理テーブル５００に登録されている「ペア数」を１インクリメントする（Ｓ５０３）。
次に、ペア追加プログラム４３３は、新規に追加されたペアが属するネットワークグループ内のペアに既に設定されているリモートコピー開始時刻と同一のリモートコピー開始時刻を新規に追加されたペアに設定する（Ｓ５０４）。
次に、ペア追加プログラム４３３は、ユーザからの入力に基づいて、ネットワークグループ内に設定された各ペアの優先度を再設定する（Ｓ５０５）。
図２５はペア削除プログラム４３４が実行するペア削除処理を記述したフローチャートである。
ペア削除プログラム４３４は、削除されるペアの状態が「運用中」であるか否かをチェックする（Ｓ６０１）。
削除されるペアの状態が「運用中」である場合には（Ｓ６０１；ＹＥＳ）、ペア削除プログラム４３４は、削除されるペアのリモートコピー処理を停止し（Ｓ６０２）、削除されるペアの状態を「運用中」から「待機中」に変更する（Ｓ６０３）。
次に、ペア削除プログラム４３４は、ネットワークグループ管理テーブル５００からペア情報テーブル５００を削除し（Ｓ６０４）、ネットワークグループ管理テーブル５００に登録されている「ペア数」を１デクリメントし（Ｓ６０５）、削除したペアについてリモートコピーの開始時刻を解除する（Ｓ６０６）。
削除されるペアの状態が「運用中」でない場合には（Ｓ６０１；ＮＯ）、ペア削除プログラム４３４は、Ｓ６０１に進む。
次に、図２６乃至図３０を参照しながら、あるタイミングでスナップショットの差分データ量が増大した場合に、再スケジューリングしないでも正常にリモートコピーできる状態に至るまでの過程について説明する。
図２６乃至図３０において、時刻ｔ１，ｔ３、ｔ５、ｔ７、ｔ９、ｔ１１，ｔ１３は、スナップショット取得時刻を示し、時刻ｔ０，ｔ２、ｔ４、ｔ６、ｔ８、ｔ１０，ｔ１２，ｔ１４は、リモートコピー開始時刻を示す。Ｄｎは、ｎ回目のスナップショット取得で蓄積される差分データ量の増加傾向を示す（ｎ＝１，２，３，４，５，６，７）。Ｄｎ'は、ｎ回目のリモートコピーにより、未転送データ量が減少する傾向を示す（ｎ＝１，２，３，４，５，６，７）。
図２６はプライマリボリューム４１への書き込み先が全て異なるデータ領域であるケース１を示している。ケース１では、時刻ｔ３のタイミングでスナップショットの差分データ量が増大しており、２回目のリモートコピーにおいて、一部の差分データｘのリモートコピーを間引いている。そのため、時刻ｔ３から時刻ｔ５にかけて蓄積される差分データ量の初期値は、ｘである。時刻ｔ６に実行される予定の３回目のリモートコピーの開始時刻を前倒しするように再スケジューリングし、溜まった差分データのリモートコピーを時刻ｔ７の時点で完了させている。時刻ｔ３のタイミングで増大した差分データ量の影響は、時刻ｔ９のタイミングでは解消されている。
図２７はプライマリボリューム４１への書き込み先が全て異なるデータ領域であるケース２を示している。ケース２では、時刻ｔ３のタイミングでスナップショットの差分データ量が増大しており、２回目のリモートコピーにおいて、一部の差分データｘのリモートコピーを間引いている。３回目のリモートコピーでは、蓄積された差分データを転送するため、再スケジューリングを行い、時刻ｔ６に実行される予定の３回目のリモートコピーの開始時刻を前倒しし、且つ時刻ｔ８に実行される予定の４回目のリモートコピーの開始時刻を先延ばししている。時刻ｔ３のタイミングで増大した差分データ量の影響は、時刻ｔ１３のタイミングでは解消されている。
図２８はプライマリボリューム４１への書き込み先が一部同一のデータ領域であるケース３を示している。ケース３では、時刻ｔ３のタイミングでスナップショットの差分データ量が増大している。ケース３を、ケース２と比較してみると、時刻ｔ５のタイミングで蓄積される差分データ量に違いが見られる。ケース３以外のケースでは、プライマリボリューム４１の更新位置が全て異なるという最悪のケースを前提としており、プライマリボリューム４１の更新データ量が多い程、データを上書きする可能性が高いと考えられる。結果として、全ての更新データをリモートコピーするよりは、一部のデータを間引いた方がリモートコピーするデータ量が少なくて済む。ケース３では、時刻ｔ３のタイミングで増大した差分データ量の影響は、時刻ｔ１１のタイミングでは解消されている。
図２９は転送データの間引き処理が連続して発生したケース４を示している。ケース４では、時刻ｔ３のタイミングでスナップショットの差分データ量が増大しており、２回目のリモートコピーにおいて、一部の差分データｘのリモートコピーを間引いている。しかし、差分データ量が大きいため、一回の間引き処理では、再スケジューリングを実施しても２回目のリモートコピーで差分データを全て転送し終えることができない。そこで、２回目のリモートコピーでの間引き処理に加えて、更に３回目、及び４回目のリモートコピーにおいても、差分データを間引いている。時刻ｔ３のタイミングで増大した差分データ量の影響は、時刻ｔ１３のタイミングでは解消されている。
図３０はスナップショットの差分データ量が転送可能容量を超えたケース５を示している。ケース５では、時刻ｔ３のタイミングでスナップショットの差分データ量が増大しており、２回目のリモートコピーにおいて、一部の差分データｘのリモートコピーを間引いている。しかし、再スケジューリングを実施しても差分データ量が転送可能容量を超えてしまったので、リモートコピーを完了させることができず、エラー通知を行う。過大な差分データ量は、複数回にわたって間引かれて続けていく。
本実施形態によれば、スナップショットの差分データ量に基づいて、リモートコピーが完了するか否かを予測し、リモートコピーが完了しないと予測されるときには、スナップショット取得時刻又はリモートコピー開始時刻を再スケジューリングすることにより、リモートコピーを完了させることができる。
尚、本実施形態のＮＡＳシステムは、ＮＡＳサーバと記憶制御装置とを含むシステムであってもよく、或いはＮＡＳサーバと記憶制御装置と記憶装置（ディスクドライブなど）とを含むシステムであってもよい。
本実施形態に係わるストレージシステムのシステム構成図である。 スナップショット取得時刻又はリモートコピー開始時刻の再スケジューリングの説明図である。 スナップショット取得時刻又はリモートコピー開始時刻の再スケジューリングの説明図である。 スナップショット取得時刻又はリモートコピー開始時刻の再スケジューリングの説明図である。 スナップショット取得時刻又はリモートコピー開始時刻の再スケジューリングの説明図である。 リモートコピープログラムのソフトウェア構成を中心とするリモートコピー機能の説明図である。 スナップショット取得時刻及びリモートコピー開始時刻のスケジュールの変動範囲を示す説明図である。 再スケジューリングの概要を示す説明図である。 ネットワーク管理テーブルの説明図である。 ペア情報テーブルの説明図である。 ストレージシステムのシステム構成図である。 ネットワーク管理テーブルの説明図である。 ペア情報テーブルの説明図である。 ストレージシステムのシステム構成図である。 ネットワーク管理テーブルの説明図である。 ペア情報テーブルの説明図である。 ストレージシステムのシステム構成図である。 ネットワーク管理テーブルの説明図である。 ペア情報テーブルの説明図である。 スケジューリング処理を記述したフローチャートである。 優先制御処理を記述したフローチャートである。 ネットワークグループ作成処理を記述したフローチャートである。 ネットワークグループ削除処理を記述したフローチャートである。 ペア追加処理を記述したフローチャートである。 ペア削除処理を記述したフローチャートである スナップショットの差分データ量の時間推移を示すグラフである。 スナップショットの差分データ量の時間推移を示すグラフである。 スナップショットの差分データ量の時間推移を示すグラフである。 スナップショットの差分データ量の時間推移を示すグラフである。 スナップショットの差分データ量の時間推移を示すグラフである。
符号の説明
１０…ストレージシステム ２０…ＮＡＳシステム ３０…ＮＡＳサーバ ３１…ＣＰＵ ３２…メモリ ４０…記憶制御装置 ４１…プライマリボリューム ４２…差分ボリューム ４３…バーチャルボリューム ５０…ＮＡＳシステム ６０…ＮＡＳサーバ ６１…ＣＰＵ ６２…メモリ ７０…記憶制御装置 ７１…プライマリボリューム ７２…差分ボリューム ７３…バーチャルボリューム ８０…ネットワーク ９０…正ホストシステム １００…副ホストシステム ３２０…リモートコピープログラム ３２１…スナップショットプログラム ３２２…スナップショット管理情報 ６２０…リモートコピープログラム ６２１…スナップショットプログラム ６２２…スナップショット管理情報

Claims (6)

  1. データを格納する一つ以上のファイルシステムと、
    予めスケジューリングされたスナップショット取得時刻に基づいて、前記ファイルシステムのスナップショットを作成するスナップショット作成手段と、
    予めスケジューリングされたリモートコピー開始時刻に基づいて、前記スナップショットの差分データをリモートコピーするリモートコピー手段と、
    （Ｎ−１）回目に取得した前記ファイルシステムのスナップショットの差分データ量に基づいて、Ｎ回目に取得する前記ファイルシステムのスナップショットの差分データ量を予測する予測手段と、
    前記予測手段が予測した前記差分データ量に基づいて、Ｎ回目のリモートコピー開始時刻に開始されるリモートコピーが（Ｎ＋１）回目のリモートコピー開始時刻までに終了するように、Ｎ回目のリモートコピー開始時刻を前倒しし、Ｎ回目のスナップショット取得時刻を前倒して、再スケジューリングするスケジューリング手段と、
    を備えるＮＡＳシステム。
  2. 請求項１に記載のＮＡＳシステムであって、
    前記スケジューリング手段は、前記予測手段が予測した前記差分データ量に基づいて、Ｎ回目のリモートコピー開始時刻に開始されるリモートコピーが（Ｎ＋１）回目のリモートコピー開始時刻までに終了するように、Ｎ回目のリモートコピー開始時刻を前倒しし、Ｎ回目のスナップショット取得時刻を前倒し、（Ｎ＋１）回目のリモートコピー開始時刻を先延ばしする、ＮＡＳシステム。
  3. 請求項１に記載のＮＡＳシステムであって、
    前記再スケジューリングを実行しても、ネットワークデバイス毎にグループ分けされている複数のファイルシステムのうち何れかのファイルシステムのスナップショットの差分データをリモートコピーできないと予測される場合には、同一のグループに属するファイルシステムについて、優先度の低いファイルシステムのスナップショットの差分データのリモートコピーを間引く優先制御を実行する優先制御手段を更に備える、ＮＡＳシステム。
  4. データを格納する一つ以上のファイルシステムと、
    予めスケジューリングされたスナップショット取得時刻に基づいて、前記ファイルシステムのスナップショットを作成するスナップショット作成手段と、
    予めスケジューリングされたリモートコピー開始時刻に基づいて、前記スナップショットの差分データをリモートコピーするリモートコピー手段と、を備えるＮＡＳシステムによるリモートコピー方法であって、
    前記リモートコピー手段は、
    （Ｎ−１）回目に取得したファイルシステムのスナップショットの差分データ量に基づいて、Ｎ回目に取得する前記ファイルシステムのスナップショットの差分データ量を予測するステップと、
    Ｎ回目のリモートコピー開始時刻に開始されるリモートコピーが（Ｎ＋１）回目のリモートコピー開始時刻までに終了するように、前記差分データの予測値に基づいて、Ｎ回目のリモートコピー開始時刻を前倒しし、Ｎ回目のスナップショット取得時刻を前倒して再スケジューリングするステップと、
    を備えるリモートコピー方法。
  5. 請求項４に記載のリモートコピー方法であって、
    前記再スケジューリングするステップにおいて、前記差分データ量に基づいて、Ｎ回目のリモートコピー開始時刻に開始されるリモートコピーが（Ｎ＋１）回目のリモートコピー開始時刻までに終了するように、Ｎ回目のリモートコピー開始時刻を前倒しし、Ｎ回目のスナップショット取得時刻を前倒し、（Ｎ＋１）回目のリモートコピー開始時刻を先延ばしする、リモートコピー方法。
  6. 請求項４に記載のリモートコピー方法であって、
    前記再スケジューリングを実行しても、ネットワークデバイス毎にグループ分けされている複数のファイルシステムのうち何れかのファイルシステムのスナップショットの差分データをリモートコピーできないと予測される場合には、同一のグループに属するファイルシステムについて、優先度の低いファイルシステムのスナップショットの差分データのリモートコピーを間引く優先制御を実行するステップを更に備える、リモートコピー方法。
JP2006009202A 2006-01-17 2006-01-17 Ｎａｓシステム及びリモートコピー方法 Expired - Fee Related JP4856955B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006009202A JP4856955B2 (ja) 2006-01-17 2006-01-17 Ｎａｓシステム及びリモートコピー方法
US11/384,253 US7739242B2 (en) 2006-01-17 2006-03-21 NAS system and remote copy method
US12/797,152 US8145605B2 (en) 2006-01-17 2010-06-09 NAS system and remote copy method
US13/407,989 US8533160B2 (en) 2006-01-17 2012-02-29 NAS system and remote copy method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006009202A JP4856955B2 (ja) 2006-01-17 2006-01-17 Ｎａｓシステム及びリモートコピー方法

Publications (2)

Publication Number Publication Date
JP2007193451A JP2007193451A (ja) 2007-08-02
JP4856955B2 true JP4856955B2 (ja) 2012-01-18

Family

ID=38264481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006009202A Expired - Fee Related JP4856955B2 (ja) 2006-01-17 2006-01-17 Ｎａｓシステム及びリモートコピー方法

Country Status (2)

Country Link
US (3) US7739242B2 (ja)
JP (1) JP4856955B2 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979656B2 (en) 2004-06-01 2011-07-12 Inmage Systems, Inc. Minimizing configuration changes in a fabric-based data protection solution
US8224786B2 (en) * 2004-06-01 2012-07-17 Inmage Systems, Inc. Acquisition and write validation of data of a networked host node to perform secondary storage
US7676502B2 (en) * 2006-05-22 2010-03-09 Inmage Systems, Inc. Recovery point data view shift through a direction-agnostic roll algorithm
US8055745B2 (en) * 2004-06-01 2011-11-08 Inmage Systems, Inc. Methods and apparatus for accessing data from a primary data storage system for secondary storage
US8949395B2 (en) 2004-06-01 2015-02-03 Inmage Systems, Inc. Systems and methods of event driven recovery management
US8868858B2 (en) * 2006-05-19 2014-10-21 Inmage Systems, Inc. Method and apparatus of continuous data backup and access using virtual machines
US9209989B2 (en) * 2004-06-01 2015-12-08 Inmage Systems, Inc. Causation of a data read operation against a first storage system by a server associated with a second storage system according to a host generated instruction
US7698401B2 (en) * 2004-06-01 2010-04-13 Inmage Systems, Inc Secondary data storage and recovery system
US8601225B2 (en) * 2005-09-16 2013-12-03 Inmage Systems, Inc. Time ordered view of backup data on behalf of a host
US8683144B2 (en) * 2005-09-16 2014-03-25 Inmage Systems, Inc. Causation of a data read against a first storage system to optionally store a data write to preserve the version to allow viewing and recovery
US8554727B2 (en) * 2006-05-19 2013-10-08 Inmage Systems, Inc. Method and system of tiered quiescing
US8527470B2 (en) 2006-05-22 2013-09-03 Rajeev Atluri Recovery point data view formation with generation of a recovery view and a coalesce policy
US8527721B2 (en) * 2008-12-26 2013-09-03 Rajeev Atluri Generating a recovery snapshot and creating a virtual view of the recovery snapshot
US8838528B2 (en) * 2006-05-22 2014-09-16 Inmage Systems, Inc. Coalescing and capturing data between events prior to and after a temporal window
US7634507B2 (en) * 2006-08-30 2009-12-15 Inmage Systems, Inc. Ensuring data persistence and consistency in enterprise storage backup systems
JP4916420B2 (ja) * 2007-11-16 2012-04-11 株式会社日立製作所 ストレージシステム及びリモートコピー制御方法
JP4871850B2 (ja) * 2007-12-04 2012-02-08 株式会社日立製作所 仮想計算機システム及び仮想計算機移行制御方法
JP5180578B2 (ja) * 2007-12-21 2013-04-10 株式会社野村総合研究所 業務継続システム
US8819363B2 (en) 2008-02-12 2014-08-26 Fujitsu Limited Data copying method
US20090204775A1 (en) * 2008-02-12 2009-08-13 Fujitsu Limited Data copying method
JP5244430B2 (ja) * 2008-03-21 2013-07-24 株式会社日立製作所 ストレージ装置及びその制御方法
JP5243103B2 (ja) * 2008-05-19 2013-07-24 株式会社野村総合研究所 データベースシステム及びデータベースシステムにおける差分コピーの遅延自動復旧方法
JP5108667B2 (ja) * 2008-07-23 2012-12-26 株式会社日立製作所 リモートコピーシステム、及びリモートサイトの省電力化方法
JP5156518B2 (ja) 2008-07-23 2013-03-06 株式会社日立製作所 記憶制御装置及び方法
US8028194B2 (en) 2008-07-25 2011-09-27 Inmage Systems, Inc Sequencing technique to account for a clock error in a backup system
JP5488952B2 (ja) * 2008-09-04 2014-05-14 株式会社日立製作所 計算機システム及びデータ管理方法
US8069227B2 (en) * 2008-12-26 2011-11-29 Inmage Systems, Inc. Configuring hosts of a secondary data storage and recovery system
JP5317807B2 (ja) * 2009-04-13 2013-10-16 株式会社日立製作所 ファイル制御システムおよびそれに用いるファイル制御計算機
JP2011034164A (ja) 2009-07-30 2011-02-17 Hitachi Ltd リモートコピーシステム及びリモートコピー制御方法
US8732217B2 (en) * 2009-10-30 2014-05-20 Symantec Corporation Using a per file activity ratio to optimally relocate data between volumes
JP2011134029A (ja) * 2009-12-24 2011-07-07 Hitachi Ltd ストレージ装置
US8204860B1 (en) * 2010-02-09 2012-06-19 F5 Networks, Inc. Methods and systems for snapshot reconstitution
JP2011232866A (ja) * 2010-04-26 2011-11-17 Hitachi Building Systems Co Ltd データベース装置間のデータ移行方法
JP2012058863A (ja) * 2010-09-07 2012-03-22 Nec Corp ディスク装置、および、ディスク装置へのデータ複製方法、プログラム
US9021087B1 (en) * 2012-01-27 2015-04-28 Google Inc. Method to improve caching accuracy by using snapshot technology
JP6019940B2 (ja) * 2012-08-30 2016-11-02 富士通株式会社 情報処理装置、コピー制御プログラム、およびコピー制御方法
US9170891B1 (en) * 2012-09-10 2015-10-27 Amazon Technologies, Inc. Predictive upload of snapshot data
JP6221564B2 (ja) * 2013-09-25 2017-11-01 富士通株式会社 ストレージ制御装置、制御方法および制御プログラム
US9213753B2 (en) * 2013-11-18 2015-12-15 Hitachi, Ltd. Computer system
US9690791B1 (en) * 2013-11-18 2017-06-27 EMC IP Holding Company LLC Snapshot history map
US9092376B1 (en) 2014-08-29 2015-07-28 Nimble Storage, Inc. Methods and systems for ordering virtual machine snapshots
US9778990B2 (en) 2014-10-08 2017-10-03 Hewlett Packard Enterprise Development Lp Methods and systems for concurrently taking snapshots of a plurality of virtual machines
US9558078B2 (en) 2014-10-28 2017-01-31 Microsoft Technology Licensing, Llc Point in time database restore from storage snapshots
US9727252B2 (en) * 2014-11-13 2017-08-08 Hewlett Packard Enterprise Development Lp Methods and systems for optimal snapshot distribution within a protection schedule
WO2018131133A1 (ja) * 2017-01-13 2018-07-19 株式会社日立製作所 データ移行システム及びデータ移行制御方法
US10503426B2 (en) * 2017-07-12 2019-12-10 International Business Machines Corporation Efficient space allocation in gathered-write backend change volumes
WO2019055628A1 (en) 2017-09-15 2019-03-21 Iron Mountain Incorporated PROTECTION AND RECOVERY OF SECURE DATA
JP7331027B2 (ja) * 2021-02-19 2023-08-22 株式会社日立製作所 スケールアウト型ストレージシステム及び記憶制御方法
US11507597B2 (en) 2021-03-31 2022-11-22 Pure Storage, Inc. Data replication to meet a recovery point objective
US20220342848A1 (en) * 2021-04-23 2022-10-27 Vmware, Inc. Snapshot space reporting using a probabilistic data structure

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031562A (ja) * 1996-07-17 1998-02-03 Hitachi Ltd 情報処理システム
JP3641920B2 (ja) * 1996-11-29 2005-04-27 富士通株式会社 運用スケジュールシステム
SG71147A1 (en) * 1997-08-29 2000-03-21 Dow Corning Toray Silicone Method for forming insulating thin films
EP1008048B1 (en) * 1997-08-29 2001-10-31 Hewlett-Packard Company Data backup and recovery systems
US6397307B2 (en) * 1999-02-23 2002-05-28 Legato Systems, Inc. Method and system for mirroring and archiving mass storage
US6446175B1 (en) * 1999-07-28 2002-09-03 Storage Technology Corporation Storing and retrieving data on tape backup system located at remote storage system site
US6757897B1 (en) * 2000-02-29 2004-06-29 Cisco Technology, Inc. Apparatus and methods for scheduling and performing tasks
US6665815B1 (en) * 2000-06-22 2003-12-16 Hewlett-Packard Development Company, L.P. Physical incremental backup using snapshots
US6745210B1 (en) * 2000-09-19 2004-06-01 Bocada, Inc. Method for visualizing data backup activity from a plurality of backup devices
US6691212B1 (en) * 2000-10-26 2004-02-10 Mirapoint, Inc. Method and system for providing an interleaved backup
JP2003006016A (ja) * 2001-06-26 2003-01-10 Hitachi Ltd ディスクサブシステム、および、ディスクサブシステム間の非同期コピー方法
US7296125B2 (en) * 2001-11-29 2007-11-13 Emc Corporation Preserving a snapshot of selected data of a mass storage system
JP4045482B2 (ja) * 2002-03-08 2008-02-13 日本電信電話株式会社 定期的自動バックアップスケジュール方法及び装置
US6993539B2 (en) * 2002-03-19 2006-01-31 Network Appliance, Inc. System and method for determining changes in two snapshots and for transmitting changes to destination snapshot
US7225204B2 (en) * 2002-03-19 2007-05-29 Network Appliance, Inc. System and method for asynchronous mirroring of snapshots at a destination using a purgatory directory and inode mapping
JP4220724B2 (ja) * 2002-05-21 2009-02-04 株式会社日立製作所 ストレージ装置
JP2004062853A (ja) * 2002-06-06 2004-02-26 Hitachi Ltd データバックアップ方法およびシステム
US6938134B2 (en) * 2002-09-19 2005-08-30 Sun Microsystems, Inc. System for storing block allocation information on multiple snapshots
JP4294308B2 (ja) * 2002-12-26 2009-07-08 日立コンピュータ機器株式会社 バックアップシステム
JP4311532B2 (ja) * 2003-03-12 2009-08-12 株式会社日立製作所 記憶システム及び同システムにおけるスナップショット管理方法
JP4292882B2 (ja) 2003-03-18 2009-07-08 株式会社日立製作所 複数のスナップショット維持方法及びサーバ装置及びストレージ装置
JP4141875B2 (ja) * 2003-03-27 2008-08-27 株式会社日立製作所 リカバリ処理方法及びその実施システム並びにその処理プログラム
US7567991B2 (en) * 2003-06-25 2009-07-28 Emc Corporation Replication of snapshot using a file system copy differential
US7111136B2 (en) * 2003-06-26 2006-09-19 Hitachi, Ltd. Method and apparatus for backup and recovery system using storage based journaling
US7379954B2 (en) * 2003-07-08 2008-05-27 Pillar Data Systems, Inc. Management of file system snapshots
US7047380B2 (en) * 2003-07-22 2006-05-16 Acronis Inc. System and method for using file system snapshots for online data backup
US7398285B2 (en) * 2003-07-30 2008-07-08 International Business Machines Corporation Apparatus and system for asynchronous replication of a hierarchically-indexed data store
US7194487B1 (en) * 2003-10-16 2007-03-20 Veritas Operating Corporation System and method for recording the order of a change caused by restoring a primary volume during ongoing replication of the primary volume
WO2005050386A2 (en) * 2003-11-13 2005-06-02 Commvault Systems, Inc. System and method for performing a snapshot and for restoring data
US7085788B2 (en) * 2003-12-03 2006-08-01 Hitachi, Ltd. Remote copy system configured to receive both a write request including a write time and a write request not including a write time.
US7437389B2 (en) * 2004-03-10 2008-10-14 Hitachi, Ltd. Remote copy system
JP2005258850A (ja) * 2004-03-12 2005-09-22 Hitachi Ltd 計算機システム
JP4439960B2 (ja) * 2004-03-22 2010-03-24 株式会社日立製作所 ストレージ装置
JP4515132B2 (ja) 2004-03-31 2010-07-28 株式会社日立製作所 ストレージシステム、ストレージ装置及びリモートコピー方法
US20050223046A1 (en) * 2004-04-06 2005-10-06 Smith Rick A Method and system for balancing and scheduling database maintenance tasks
US20060080362A1 (en) * 2004-10-12 2006-04-13 Lefthand Networks, Inc. Data Synchronization Over a Computer Network
US7899788B2 (en) * 2005-04-01 2011-03-01 Microsoft Corporation Using a data protection server to backup and restore data on virtual servers
US7937393B2 (en) * 2005-11-28 2011-05-03 Commvault Systems, Inc. Systems and methods for classifying and transferring information in a storage network

Also Published As

Publication number Publication date
US7739242B2 (en) 2010-06-15
US8533160B2 (en) 2013-09-10
US20070168404A1 (en) 2007-07-19
US20120158663A1 (en) 2012-06-21
JP2007193451A (ja) 2007-08-02
US8145605B2 (en) 2012-03-27
US20100250496A1 (en) 2010-09-30

Similar Documents

Publication Publication Date Title
JP4856955B2 (ja) Ｎａｓシステム及びリモートコピー方法
US10725878B2 (en) Storage apparatus, storage system, and control method of storage system for dynamically securing free space when a storage apparatus is disused
JP4796854B2 (ja) 差分リモートコピーにおける中間ボリュームのデータ溢れ対策
US8255647B2 (en) Journal volume backup to a storage device
US20070255916A1 (en) Data duplication control method
US8250284B2 (en) Adaptive memory allocation of a second data storage volume based on an updated history of capacity of a first data volume
EP3015998A1 (en) Zoning balance subtask delivering method, apparatus and system
JPH04299748A (ja) ファイルの管理方法及び装置
CN106919471B (zh) 用于快照建立的方法和系统
US8332601B2 (en) Storage controller having virtual volume
CN110737542B (zh) 冻结和解除冻结上游卷和下游卷的存储系统、方法和介质
US10162564B2 (en) Selecting a virtual tape server in a storage system to provide data copy while minimizing system job load
US9164885B2 (en) Storage control device, storage control method, and recording medium
US20050154829A1 (en) Storage system and storage system management method
JP5250955B2 (ja) データ処理システムのバックアップ制御装置及びシステム
WO2018120939A1 (zh) 一种存储系统扩容后数据迁移的方法、存储系统
US9015385B2 (en) Data storage device and method of controlling data storage device
JP6287308B2 (ja) レプリケーション制御システム、レプリケーション制御方法、及び、レプリケーション制御プログラム
JP4790283B2 (ja) ストレージサブシステム及びストレージシステム
JP2008084327A (ja) データのバックアップのための方法、装置、システム、プログラム及び記憶媒体
US12026383B2 (en) Method of managing jobs in an information system and associated system
US20230004314A1 (en) Method of managing jobs in an information system and associated system
JP2009093378A (ja) ストレージシステム
JP5040956B2 (ja) コピー制御装置および方法
JP2018181282A (ja) 送信制御プログラム、送信制御方法、送信制御装置およびバックアップ装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111031

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees