JP4398464B2 - 1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するためのシステム、方法、及びプログラム - Google Patents

1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するためのシステム、方法、及びプログラム Download PDF

Info

Publication number
JP4398464B2
JP4398464B2 JP2006516139A JP2006516139A JP4398464B2 JP 4398464 B2 JP4398464 B2 JP 4398464B2 JP 2006516139 A JP2006516139 A JP 2006516139A JP 2006516139 A JP2006516139 A JP 2006516139A JP 4398464 B2 JP4398464 B2 JP 4398464B2
Authority
JP
Japan
Prior art keywords
target
source
volume
relevance
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006516139A
Other languages
English (en)
Other versions
JP2006527874A5 (ja
JP2006527874A (ja
Inventor
ファクトル、ミカエル
フィエンブリット、シャカール
ハヤルデニ、アミラン
ジャービス、トーマス、チャールズ
モトセビク、リブカ、メイラズ
ミッカ、ウィリアム、フランク
ヌリエル、イファット
ラハブ、シェリ
シュケビク、スベトラナ
スピア、ゲイル、アンドレア
タル、シベン
ツァフリル、ダリット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2006527874A publication Critical patent/JP2006527874A/ja
Publication of JP2006527874A5 publication Critical patent/JP2006527874A5/ja
Application granted granted Critical
Publication of JP4398464B2 publication Critical patent/JP4398464B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1435Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99951File or database maintenance
    • Y10S707/99952Coherency, e.g. same view to multiple users
    • Y10S707/99953Recoverability
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99951File or database maintenance
    • Y10S707/99952Coherency, e.g. same view to multiple users
    • Y10S707/99954Version management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Stereophonic System (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Auxiliary Devices For And Details Of Packaging Control (AREA)

Description

本発明は、1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するための方法、システム、及びプログラムに関する。
コンピューティング・システムは、多くの場合、データ処理を行い、アプリケーション・プログラムを稼動させるための1つ又はそれ以上のホスト・コンピュータ(「ホスト」)、データを格納する直接アクセス型格納デバイス(DASD)、及び、該ホストと該DASDとの間のデータ転送を制御するための格納コントローラを含む。コントロール・ユニット又は格納ディレクタとも呼ばれる格納コントローラは、ループ・アーキテクチャにおいて接続される幾多のハード・ディスク・ドライブで構成された格納スペースに対するアクセスを管理し、他の場合においては直接アクセス型格納デバイス(DASD)と呼ばれる。ホストは、格納コントローラを通して、格納スペースに対する入力/出力(I/O)要求を通信することができる。
多くのシステムにおいて、DASDのような1つの格納デバイス上のデータを同じ又は別の格納デバイスにコピーして、データ・ボリュームに対するアクセスを2つの異なるデバイスから与えるようにすることができる。ポイント・イン・タイム・コピーは、すべてのデータをソース・ボリュームからターゲット・ボリュームに物理的にコピーして、該ターゲット・ボリュームがポイント・イン・タイム時点のデータのコピーを有するようにすることを含む。ポイント・イン・タイム・コピーは、さらに、論理的にデータのコピーを作成し、次いで、必要な時にデータをさらにコピーするだけで、事実上、物理的なコピー動作を遅らせることができる。この論理的コピー動作が行われると、ターゲット・ボリューム及びソース・ボリュームがアクセス不能になる時間を最小にすることができる。
1つのこのような論理的コピー動作は、FlashCopy(商標)として知られている(FlashCopyは、インターナショナル・ビジネス・マシーンズ・コーポレーションすなわちIBM社の商標である)。FlashCopy(商標)は、異なるデバイス上のソース・ボリュームとターゲット・ボリュームとの間の論理的ポイント・イン・タイム関連性を確立することを含む。FlashCopy機能は、ターゲット・ディスク上におけるFlashCopy関連性内のトラックの位置が固められるまで、該トラックがソース・ディスク上に常駐することを保証する。関連性テーブルを用いて、サブシステムにおけるすべての既存のFlashCopy上の情報を維持する。FlashCopy関連性の確立段階においては、1つのエントリが、確立されているFlashCopyに参加するソース及びターゲットについて、ソース及びターゲットの関連性テーブルに記録される。各々の付加されたエントリは、FlashCopy関係に関する、すべての要求される情報を維持する。関連性についての両方のエントリは、ソース所定領域からのすべてのFlashCopyトラックがターゲット所定領域(extents)にコピーされるか、又は、取下げコマンドが受信された場合に、関連性テーブルから除去される。
ターゲットの関連性テーブルは、さらに、FlashCopy関連性に含まれるどのトラックが、まだコピーされておらず、したがって、保護トラックであるかを識別するビットマップを含む。ターゲット・デバイスにおける各々のトラックは、ビットマップにおいて1ビットで表わされる。ターゲット・ビットは、対応するトラックがFlashCopy関連性のターゲット・トラックとして確立された場合に設定される。ソース又はターゲット装置上への書き込み又はバックグラウンドのコピー・タスクのために、対応するトラックがソース位置からコピーされ、ターゲット・デバイスにデステージされた場合に、ターゲット・ビットが再設定される。
従来技術においては、FlashCopy(商標)動作中の論理的なポイント・イン・タイム関連性の確立の一部として、FlashCopy(商標)に含まれるソース・キャッシュ内のすべてのトラックは、物理的なソース・ボリューム、例えば、ソースDASDにデステージされなければならず、FlashCopy(商標)に含まれるターゲット・キャッシュ内のすべてのトラックは廃棄されなければならない。
論理関連性が確立されると、ホストは、次いで、ソース・ボリューム及びターゲット・ボリューム上のデータに即時アクセスすることができ、該データは、バックグラウンド動作の一部としてコピーされることができる。トラックがFlashCopy関連性におけるターゲットであり、キャッシュにはない場合における該トラックに対する読み取りは、ステージ・インターセプトをトリガし、ソース・トラックがまだコピーされておらず、ターゲット・キャッシュからトラックにアクセスが与えられる前である場合に、要求されたターゲット・トラックに対応するソース・トラックが、ターゲット・キャッシュにステージされるようにする。このことは、ターゲットが、FlashCopy(商標)動作のポイント・オブ・タイムにおいて存在したソースからのコピーを有することを確実にする。さらに、コピーされていないソース・デバイス上のトラックに対するどのような書き込みも、デステージ・インターセプトをトリガし、ソース・デバイス上のトラックが、ターゲット・デバイスにコピーされるようにする。
ソース格納部とターゲット格納部との間でデータを転送するために1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するためのシステム、方法、及びプログラムが提供される。当該ポイント・イン・タイム・コピーは、ソース・ボリュームからターゲット・ボリュームへの論理的コピーを含む。 前記システムは、
1つ又はそれ以上のホスト・コンピュータと、
前記ホスト・コンピュータにネットワークを介して接続される1つ又はそれ以上の格納コントローラと、
前記格納コントローラに接続されうるソース格納部であって、1つ又はそれ以上のソース・データ・ブロックをソース・ボリュームとして含む、前記ソース格納部と、
前記格納コントローラに接続されうるターゲット格納部であって、1つ又はそれ以上のターゲット・データ・ブロックをターゲット・ボリュームとして含み、前記ターゲット・データ・ブロックは、前記ソース・ボリュームの全て又は一部のコピーを維持する、前記ターゲット格納部と
を含み、
前記格納コントローラは、前記ソース格納部又は前記ターゲット格納部への入力又は出力要求を前記ホスト・コンピュータから受け取り、該要求を前記ソース格納部又は前記ターゲット格納部へ向け、さらに前記ソース格納部と前記ターゲット格納部との間のデータ転送を制御し、
前記格納コントローラは、
システム・メモリと、
前記ソース格納部に接続されうるソース・キャッシュであって、前記ソース格納部への書き込みデータ及び前記ホスト・コンピュータへの読み取りデータをバッファする、前記ソース・キャッシュと、
前記ターゲット格納部に接続されうるターゲット・キャッシュであって、前記ターゲット格納部への書き込みデータ及び前記ホスト・コンピュータへの読み取りデータをバッファする、前記ターゲット・キャッシュと、
を含む。
前記格納コントローラは、前記ソース格納部と前記ターゲット格納部との間でのコピーの管理を実行する格納管理ソフトウェアを前記システム・メモリ内に読み込み、そして実行することができる。
前記格納コントローラは、前記ソース・ボリューム及び前記ターゲット・ボリュームの各々についてメモリ内関連性テーブルをさらに含む。
前記メモリ内関連性テーブルは、(i)前記ソース又はターゲット・ボリュームにおける連続するデータ単位の開始トラック及び終了トラックを表わす少なくとも1つのエレメントと、(ii)ソース・ボリューム又はターゲット・ボリュームについての前記関連性を表わす少なくとも1つの関連性エントリと、(iii)前記エレメントを1つ又はそれ以上の前記関連性エントリに関連付けるエレメント・ポインタと、(iv)前記関連性エントリそれぞれを、前記システム・メモリ内のボリューム・メタデータに関連付ける関連性ポインタとを含む。
前記ボリューム・メタデータが、ソース用のデータ単位が前記関連性における対応するターゲット用のデータ単位に、コピーされたかどうかを示すビットを含む関連性ビットマップと、前記関連性の一意的な識別子を与える関連性ID、ボリュームにおけるトラックの領域が関連性においてソースであるか又はターゲットであるかを示す関連性ロール、ボリュームにおける前記トラックの領域を表す所定領域、及び前記関連性における他のボリュームを識別するボリューム対を有する関連性ブロックとを含む
本発明はまた、1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するための方法を提供する。該方法は、システムに、前記システム・メモリ内に、前記少なくとも1つのエレメントと、前記少なくとも1つの関連性エントリと、前記エレメント・ポインタと、前記関連性ポインタとを生成するステップを実行させることを含み、それによって1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性の管理を可能にする。
本発明はまた、コンピュータに、上記方法の各ステップを実行させるためのコンピュータ・プログラムを提供する。
述べられた実施形態は、ソース・ボリュームとターゲット・ボリュームとの間の関連性の情報、及び、このような情報のメモリ内における関連を提供し、このような情報を利用可能にする。
ここで、本発明を一例に過ぎないものとして、添付の図面を参照して説明する。
図1は、本発明の態様を実施するコンピューティング・アーキテクチャを示す。格納コントローラ2は、ネットワーク6上で、入力/出力(I/O)要求をホスト・システム4a、4b...mから受け取り、ボリューム(例えば、論理装置番号、論理装置など)10a、10b...10n及び12a、12b...12nのそれぞれを有するように構成された格納デバイス8a、8b20の方向に向けられ、ここで、m及びnは、異なる整数であってもよいし、又は、同じ値であってもよい。格納コントローラ2は、さらに、ソース格納部8a内のトラックについてのI/Oデータを格納するソース・キャッシュ14aと、ターゲット格納部8b内のトラックについてのI/Oデータを格納するターゲット・キャッシュ14bとを含む。ソース・キャッシュ14a及びターゲット・キャッシュ14bは、別個のメモリ・デバイスを含んでいてもよいし、又は同じメモリ・デバイスの異なる部分を含んでいてもよい。キャッシュ14a、14bは、ホスト4a、4b...4nと格納部8a、8bとの間で伝送される読み取りデータ及び書き込みデータをバッファするのに用いられる。さらに、キャッシュ14a及び14bは、ポイント・イン・タイム・コピー関連性におけるソース・トラック又はターゲット・トラックを保持するものであるため、ソース・キャッシュ及びターゲット・キャッシュとそれぞれ呼ばれているが、該キャッシュ14a及び14bは、異なるポイント・イン・タイム・コピー関連性において、同時に、ソース・トラック又はターゲット・トラックを格納することができる。
格納コントローラ2は、さらに、揮発性及び/又は不揮発性デバイスにおいて実施することができるシステム・メモリを含む。格納管理ソフトウェア18は、システム・メモリ16内で、FlashCopy(商標)動作中に行われる論理コピー形式のような、異なる格納デバイス8a、8b間でのデータのコピーの管理を実行する。格納管理ソフトウェア18は、ここに述べられるコピー動作の他の動作を実行することができる。システム・メモリ16は、キャッシュ14a、14bとは別個のメモリ・デバイス内にあってもよいし、又は、その一部であってもよい。格納管理ソフトウェア18は、格納コントローラ2により管理される各々のボリュームについてのポイント・イン・タイム・コピー関連性の情報を与える1つのメモリ内関連性テーブル20を維持し、ここでは各々のボリュームについて1つのメモリ内関連性テーブル20があるとすることができる。幾つかの実施においては、トラックはコピー関連性が前提となる。しかし、トラックのブロック、サブ・ブロックなどのような他のデータ単位が、コピー関連性を前提とすることがあり、関連性におけるソース・データ単位においては、対応するターゲット・データ単位がある。
格納コントローラ2は、さらに、プロセッサ複合体(図示せず)を含み、IBM Enterprise Storage Server(ESS)(商標)、3990(商標)Storage Controllerなどの当該技術分野に知られる、あらゆる格納コントローラ又はサーバを含むことができる(Enterprise Storage Serverは、IBM社の商標である)。ホスト4a、4b...4nは、サーバ、メインフレーム、ワークステーション、パーソナル・コンピュータ、ハンド・ヘルド・コンピュータ、ラップトップ、テレフォニー・デバイス、ネットワーク・アプライアンスなどの当該技術分野に知られる、あらゆるコンピューティング・デバイスを含むことができる。格納コントローラ2及びホスト・システム4a、4b...4nは、格納エリア・ネットワーク(SAN)、ローカル・エリア・ネットワーク(LAN)、イントラネット、インターネット、ワイド・エリア・ネットワーク(WAN)などを含むことができるネットワーク6により通信する。格納システム8a、8bは、単純ディスク束(JBOD)、新磁気ディスク制御機構(RAID)アレイ、仮想化デバイスなどの格納デバイスのアレイを含むことができる。
ポイント・イン・タイム・コピーは、ソース・ボリューム上のトラック範囲とターゲット・ボリューム上のトラック範囲との間に確立することができ、関連性に含まれるソース・ボリューム及びターゲット・ボリュームのトラック番号は、同じであってもよいし、又は、異なっていてもよい。或る実施においては、ソース範囲及びターゲット範囲は、それぞれのボリュームの始まりからのオフセットが相対的に異なるようにすることができる。これは、データ・セットの再編成、例えば、一組の不連続データ・セットを連続するトラックのセットに合体させることを可能にする。図2は、ソース・ボリューム54の中間に配置された不連続なソース所定領域50及び52が、どのようにして、ターゲット・ボリューム60の始まりにおいてターゲット範囲56及び58に再配置され、ソース54とターゲット60とで異なる順番で生じるかを示す。
述べられる実施は、さらに、トラックの所定領域(範囲)、(extent(range))が、同時に、1つより多いポイント・イン・タイム関係の一部になることができる、トラック毎の多重ポイント・イン・タイム・コピー関連性を可能にする。トラックは、ソース領域に属してもよいし、又は、ターゲット所定領域に属してもよい。さらに、トラックは、複数のソース関係に属すことができるが、或る実施においては、1つのターゲット関連性のみが可能である。図3は、トラック毎の複数の関係を示し、ソース・ボリューム70は、ターゲット・ボリューム80における異なるターゲット所定領域82、84、86、及び88にマップする所定領域(トラックの範囲)72、74、76、及び78を有する。ソースの所定領域72及び74は、ターゲットの所定領域82に関連し、ソースの所定領域74及び76はターゲットの所定領域84に関連して、これらの2つの関連性がトラックの重複所定領域74を共有するようになっている。さらに、ソースの所定領域78は複数のターゲット所定領域86及び88に関連し、ソースの所定領域74はまた、複数のターゲット所定領域82及び84に関連する。この例においては、複数のターゲットが同じボリュームで示されているが、ターゲット・トラックは、異なるボリュームにあってもよい。
ポイント・イン・タイム・コピー関連性が、ソース・ボリュームにおけるトラックの所定領域とターゲット・ボリュームにおける所定領域との間に確立された場合には、該関連性上の永続情報がソース・ボリューム10a、10b...10n及びターゲット・ボリューム12a、12b...12nにおけるボリューム・メタデータ内に格納される。図4に関しては、各々のソース・ボリューム及びターゲット・ボリュームについてのボリューム・メタデータ100は、関連性メタデータ102、関連性ビットマップ・メタデータ104、及びボリューム生成番号のようなメタデータ・コンポーネントを含むことができる。関連性メタデータ102は、関連性ブロック106a、106b...106nを含み、これらの各々は、ボリュームにおけるトラックの所定領域について1つのポイント・イン・タイム・コピーの情報を含む。図5は、図4における関連性ブロック106a、106b...106nのような関連性ブロックのさらなる詳細を示すもので、次を含む。
・関連性ID110:関連性の一意的な識別子を与える。この番号は、ソース及びターゲットの両方により用いられて、関連性を指定する。
・関連性ロール112:ボリュームにおけるトラックの領域が関連性においてソースであるか又はターゲットであるかを示す。
・所定領域(Extent)114:ボリュームにおけるトラックを識別するもので、ポイント・オブ・コピー関連性に含まれるトラックの所定領域(範囲)を含む。
・ボリューム対116:関連性における他のボリュームを識別する。
関連性ブロック106a、106b...106nは、リンクされたリストに配置することができる。使用されない関連性メタデータ102におけるブロックは、関連性情報を関連性ブロックとして格納する用途に利用可能なフリー・ブロックのフリー・リストに格納することができる。関連性ブロック106a、106b...106nは、固定長とすることができ、索引付けられているため、これらは索引によりアクセス可能である。
関連性ビットマップ・メタデータ104は、ボリュームにおける各々のトラックについてビットを与える1つ又はそれ以上のビットマップ・データ構造を含む。ビットが「オン」である場合には、これは、対応するターゲット・トラックが、まだ、ソースからのポイント・イン・タイム・データを含んでおらず、データがさらにコピーされなくてはならないことを示す。所定領域の範囲に対応するビット値は、関連性ビットマップ・メタデータ104のオフセットに直接マップすることができる。
図6は、メモリ内関連性テーブル20のデータ構造の実施を示す。各々のボリュームについて、格納コントローラ2により管理される1つのメモリ内関連性テーブル20があるようにすることができる。メモリ内関連性テーブル20は、複数エレメント130a、130b、130c、及び130dを含み、各々のエレメントは、対応するボリュームにおける連続するトラックのエクステントを表わす。図7は、図6におけるエレメント130a、130b、130c、及び130dのような各々のエレメント130のコンテンツを示し、ボリュームにおけるトラックの連続する範囲の開始及び終了を表わす開始トラック132及び終了トラック134と、1つ又はそれ以上の関連性エントリ140a、140b、及び140cに対するポインタのアレイ136とを含む。関連性エントリは、リンクされたリストにあってもよいし、又は、なくてもよい。さらに別の複数のエレメントが、同じ関連性エントリ140a、140b、及び140cを指示することができる。図6は、エレメント130a、130b、及び130dが、関連性エントリ140a、140b、及び140cを指示するポインタ136a、136b、136c、及び136dにより表わされた状態における、ポイント・イン・タイム・コピー関連性に含まれるトラックの範囲を表わして、該エレメント130a、130b、及び130dにより表わされるトラックを含む関連性の情報を与える状態を示す。エレメント130cは、関連性エントリ140a、140b、及び140cに対するいずれのポインタもないことにより示されるように、ポイント・イン・タイム関連性に含まれないトラックの範囲を表わす。エレメント、例えばエレメント130aが、異なる関連性エントリ140a及び140bを指示するポインタ136a及び136bのアレイを含む場合には、このようなトラックの範囲は、2つの関連性と関連されて、このような範囲が複数のターゲットに対するソースであることを示す。
図8は、図6における関連性エントリ140a、140b、及び140cのような、各々の関連性エントリ140に含むことができるコンテンツを示し、関連性ロール112及び/又は関連性ID(図5)のような、ボリューム・メタデータ100における対応する関連性ブロック106a、106b...106nからの永続的関連性情報150の特定のものと、関連性エントリ140により表わされる関連性についての永続情報を含む関連性ブロック106に対するポインタ152と、を含む。関連性エントリ140におけるポインタ152は、図6においてはポインタ152a、152b、及び152cとして示される。ポインタ152は、さらに、関連性メタデータ160における対応する関連性ブロックに対する索引を含むことができる。図6は、さらに、ボリューム・メタデータ160の関連性メタデータ162部分における、ポインタ152a、152b、及び152cにより対処される関連性ブロック164a、164b、及び164cを示す。メモリ内関連性テーブル(IMRT)20は、さらに、ボリューム10a、10b、10n、12a、12b...12nを識別するボリューム情報166を含み、これに該メモリ内の関連性テーブル20が属する。
述べられるデータ構造により、関連性情報のほとんどは、ボリューム10a、10b、10n、及び12a、12b、12n(図1)と共に格納されるボリューム・メタデータ100における永続格納部内に維持される。さらに、或る実施においては、関連性の各々のメンバー、ソース及びターゲットは、それぞれのボリュームにおいて別個に関連性を維持する。このようにして、関連性におけるボリュームが故障した場合には、格納コントローラ2は、依然として、故障したボリュームをもつポイント・イン・タイム・コピー関連性におけるソース又はターゲットが、実際に関連性の一部であるかどうかを判断することができ、したがって、デステージ動作及びステージ動作中に特別な処理を要求するかどうかを判断することができる。
図9は、格納コントローラ2により管理されるボリューム10a、10b...10n、12a、12b...12mにおけるボリューム・メタデータ100からメモリ内関連性テーブル(IMRT)20を初期化するための格納管理ソフトウェア18において実施される論理を示す。初期化の初めにおいて(ブロック200において)、格納管理ソフトウェア18は、格納コントローラ2にアクセス可能な各々のボリュームについてブロック202から226のループを実行する。(ブロック208において)ボリュームiについてアクセスされたボリューム・メタデータ100において関連性ブロック106がなかった場合には、制御は次のボリュームのためにブロック226に進み、ボリュームiについてはIMRT20は構築されない。ボリュームiについて、そのボリュームにはIMRTがないという揮発性表示をボリューム構造に作成することができる。或いは、関連性ブロックがない場合には、NULLエレメントを指示して、そのボリュームについての関連性を示さないIBRT20を構築できる。他の場合においては、(ブロック208において)ボリュームiについて関連性ブロック106がある場合には、関連性ブロックを指示しないIMRT20がメモリ16内に構築される(ブロック212)。次いで、ボリュームiにおける各々の関連性ブロックjについてブロック214から224のループが実行される。各々の関連性ブロックjについて、最初のブロックから最後のブロックまで、開始フィールド132及び終了フィールド134(図7)において示される1つ又はそれ以上のエレメント130がIMRT20に構築され(ブロック216において)、これは、関連性ブロックjにおけるトラック114の所定領域114において識別される開始トラック及び終了トラックを含む。構築されたエレメントは、次いで、ボリュームiにおける連続する先行トラックを表わすエレメントにリンクされる(ブロック218において)。格納管理ソフトウェア18は、さらに、関連性ID及びロール150(図8)のような、永続的関連性ブロックjからの関連性情報、及び、ボリューム・メタデータにおけるアクセスされた関連性ブロックjに対するポインタ152を含む、IMRT20における関連性エントリ140を構築する(ブロック220において)。さらに、1つの関連性から前の関連性にリンクを付加することができる。ポインタは、関連性ブロック106a、106b...106nのアレイに対する索引を含むことができる(図4)。関連性エントリは、アレイに編成することができ、該アレイにおける各々の関連性エントリ140a、140b、140cは、対応する関連性ブロック164a、164b、164cの索引により求めることができる。制御は、(ブロック22において)ボリューム・メタデータ102における次の関連性ブロック106を処理するようにブロック214に戻るように進む。ブロック208から又はボリュームiについて、すべての関連性ブロックを処理した後、制御は、(ブロック226において)格納コントローラ2により管理されるデバイスにおけるさらに別のボリューム上の情報を処理するようにブロック202に戻るように進む。
図9の論理の結果として、IMRT20が、関連性を含む、格納コントローラ2により管理される各々のボリュームについてのメモリ16に付加されて、ユーザがポイント・イン・タイム・コピー関連性に含まれるトラックに対してI/Oを実行する場合には、該格納コントローラ2が、ポイント・イン・タイム・コピー関連性のデータ保全性を維持することを可能にするように用いられる。
図10及び図11は、新規に確立されたポイント・イン・タイム・コピー関連性におけるソース及びターゲット・ボリュームについてのIMRTを更新するために格納管理ソフトウェア18により実行される動作を示す。図10に関しては、付加された関連性を反映するようにIMRTの更新を開始したとき(ブロック250において)、最初に、関連性におけるソース・ボリュームについて、次いでターゲット・ボリュームについて、ブロック252から282のループが実行される。ブロック254においては、ボリューム・メタデータ100(最初にソース、次いでターゲット)は、各々が新規な関連性の情報を与える関連性ブロックを付加し、該新規な関連性におけるすべてのトラックがソースからターゲットにコピーされていないことを示す関連性ビットマップ104を更新することにより、更新される。関連性の情報を永続的メタデータに付加した後、特定の関連性情報150(図8)、及び、ソース又はターゲット・ボリュームにおける永続的関連性ブロック164a、164b、164cに対するポインタ152を含むボリューム(ソース又はターゲット)についての関連性エントリ140がIMRT20において生成されて(ブロック256において)、メモリ内の関連性の表現(関連性エントリ140)を、格納部における対応する永続的関連性ブロック106と関連付ける。格納管理ソフトウェア18は、次いで、新規な関連性におけるトラックの所定領域を含む1つ又はそれ以上のエレメント130を検索する(ブロック258において)。
(ブロック262において)エレメントiにより表わされるすべてのトラックが新規な関連性におけるトラックの所定領域内にある場合には、ポインタ136が付加されて(ブロック264において)、該エレメントiを、新規な関連性を表わす関連性エントリ140と関連付ける。他の場合においては、(ブロック262において)エレメントiにより表わされるトラックの一部のみが、新規な関連性におけるトラックの所定領域と重複する場合には、図11に関しては、該エレメントiが新規な関連性におけるトラックの所定領域の第1のトラックを含むかどうかの判断がなされる(ブロック266において)。(ブロック266の「no」の枝分かれからの)エレメントiが新規な関連性におけるトラックの所定領域の最後のトラックを含む場合には、該エレメントiは2つの新規なエレメントと置き換えられ(ブロック268において)、第1の新規なエレメントは、関連性の所定領域と重複し、該新規な関連性におけるトラックの所定領域における最後のトラックで終了するトラックを含み、第2の新規なエレメントは、該関連性の所定領域と重複しないトラックを含む。(ブロック266の「yes」の枝分かれからの)エレメントiが、所定領域の第1のトラックを含む場合には、該エレメントiは、2つの新規なエレメントと置き換えられ、第1の新規なエレメントiは関連性の所定領域と重複しないトラックを含み、第2の新規なエレメントjは、関連性の所定領域と重複し、該関連性の所定領域における第1のトラックで開始するトラックを含む。(ブロック272において)エレメントjが、同様に該エレメントjにおける最後のトラックではない所定領域の最後のトラックを含む場合には、ブロック268の動作が該エレメントjについて実行され(ブロック274において)、さらに別の分割が実行されて、該エレメントjの最後において、所定領域と重複しないトラックを抽出し、このような重複しないトラックをさらに別のエレメントに配置する。置き換えられたエレメントが位置決めされた場所において、2つ又は3つの新規なエレメントがエレメントのリンクされたリストに付加される。
エレメントiを2つ又は3つの新規なエレメントで置き換えた後、1つ又はそれ以上のポインタ136が(ブロック276において)、置き換えられたエレメントiにより指示される、あらゆる関連性エントリに対する2つ又は3つの新規なエレメント130に付加される。次いで、関連性の所定領域におけるトラックを表わす新規なエレメントを、関連性を表わす関連性エントリと関連付けるように、作成された関連性エントリ140を指示する新規な関連性からのトラックを含む新規なエレメントに、ポインタ136が付加される。次いで、制御は、新規な関連性におけるトラックを含む、次に検索されたエレメントのために図10におけるブロック260に戻るように進む(ブロック280において)。新規な関連性におけるソース・ボリュームについて、すべての関連するエレメントを処理した後、(ブロック282における)制御は、ターゲット・ボリュームについてのIMRT20を更新して、付加されたポイント・イン・タイム・コピー関連性を反映するようにブロック252に戻るように進む。
図12は、関連性全体を取下げる又は終了するために、格納管理ソフトウェア18により実行される動作を示す。図12の動作は、ポイント・イン・タイム・コピー関連性におけるすべてのトラックが、ソース・ボリュームからターゲット・ボリュームにコピーされた後で実行することができる。或いは、関連性全体は、該関連性全体を終了させることを決定するアドミニストレータにより取下げることができる。関連性全体を取下げる動作を開始するときには(ブロック300において)、格納管理ソフトウェア18は、ソース及びターゲット・ボリュームにおける関連性メタデータ102から、削除された関連性のソース及びターゲット・トラックの所定領域を求める。取下げ要求は、関係の所定領域を与えることができ、これは次いで、IMRT20及び/又は関連性メタデータ102を照会して、ボリューム・メタデータを、関連性における特定の所定領域114又は関連性ID110を含む、ソース及びターゲット・ボリュームに検索するのに用いることができる。次いで、ブロック304から326において、第1に、取下げられた関連性におけるターゲット・ボリュームについて、第2に、ソース・ボリュームについてループが実行される。次いで、ブロック306において、取下げられた関連性を表わすソース及びターゲット・ボリュームのメタデータにおける関連性ブロック106が削除される。削除された関連性を表わす(ターゲット、次いでソース)ボリュームについてのIMRT20における関連性エントリが除去される(ブロック308で)。格納管理ソフトウェア18は、次いで、(ブロック310で)、削除された関連性エントリ140に対処する1つ又はそれ以上のエレメント130を検索し、除去された関連性エントリ140に対するポインタ136を、検索されたエレメントから削除する(ブロック312)。
取下げられた関係における情報を削除した後、格納管理ソフトウェア18は、次いで、ブロック314で処理を開始して、まさに同じ関連性エントリを指示し、又は、関連性エントリを指示しない、あらゆるエレメントを合体させる。ブロック314においては、格納管理ソフトウェア18は、除去された所定領域と重複する、IMRT20における第1のエレメント130a(図6)にアクセスし、アクセスされたエレメントとして、ゼロ又はそれより多い、同じ関連性エントリを指示し、又は、すべてが、関連性エントリを指示しない、後続する連続したエレメントを求める。1つ又はそれ以上の後続するエレメント130が検索された場合には、アクセスされたエレメント及びすべての求められた後続エレメントが、アクセスされ、検索された、エレメントにおいて同じゼロ又はそれ以上のポインタ136を有する、該アクセスされ、検索されたエレメントにおけるすべての連続的なトラックを表わすエレメントと置き換えられる(ブロック320において)。(ブロック318において)後続するエレメント130が検索されなかった場合には、最後にアクセスされたエレメントに続くエレメント(ブロック318の「no」の枝分かれから合体が起こらなかった場合)、又は、最後に合体されたエレメントに続くエレメント(合体がブロック320から生じた場合)が1つより多いかどうかの判断がなされる。合体することができる、さらに別のエレメントがある場合には、格納管理ソフトウェア18は、最後のアクセスされたエレメント(合体が起こらなかった場合)又は検索され合体されたエレメント(合体が起こった場合)に続くエレメントにアクセスする(ブロック324において)。次のエレメントにアクセスした後(ブロック324において)、制御は、次にアクセスされたエレメントと後続するエレメントを合体させることを試みるように、ブロック316に戻るように進む。(ブロック322において)マージャに利用可能な複数のエレメントがない場合には、制御は(ブロック326において)、取下げられた関連性をソースIMRT20から除去するように、ブロック304に戻るよう進む。
図13及び図14は、ポイント・イン・タイム・コピー関連性における或る所定領域から連続するトラックのサブセットを除去するために、格納管理ソフトウェア18において実行される動作を示す。この動作は、関連性所定領域におけるトラックの一部がソース及びターゲットからコピーされた場合に実行して、ソース及びターゲットにおけるこのようにコピーされたトラックを、さらに別のポイント・イン・タイム関連性に利用できるようにすることができる。さらに、トラックは、アドミニストレータからの要求に応答してといった他の状況における或る所定領域から除去することができる。図13に関しては、関連性所定領域におけるトラックのサブセットを取下げるための部分的な取下げについての動作を開始するときには(ブロック350において)、ソース及びターゲット・ボリュームにおける関連性メタデータ102から、削除された関連性のソース及びターゲットのトラック所定領域について判断がなされる(ブロック352において)。取下げ要求は、関連性ID又は関連性所定領域を与えることができ、これは次いで、関連性メタデータ102を照会して、メタデータを含むソース及びターゲット・ボリュームを、部分的な取り下げの対象となる関連性に位置決めするのに用いることができる。図14におけるブロック354から378までのループは、第1に関連性におけるターゲット・ボリュームについて、第2にソース・ボリュームについて実行されて、関連性が前提となるトラック所定領域からトラックのサブセットを取下げる。ブロック356において、格納管理ソフトウェア18は、部分的な取り下げの対象となるトラックを含む1つ又はそれ以上のエレメント130を検索する。次いで、図14のブロック358から357において、取下げるトラックを含む各々の検索されたエレメントiについて内部ループが実行される。(ブロック360において)エレメントiにより表わされるすべてのトラックが関連性からの取り下げの対象となる場合には、取り下げの対象となる関連性エントリ140に対するエレメントiにおけるポインタ136が除去される(ブロック362において)。
(ブロック360において)エレメントiにより表わされるすべてのトラックが取下げの対象ではない場合には、(図14のブロック364において)、該エレメントiがトラックの範囲における最後のトラックを含んで、関連性から取下げるかどうかについての判断がなされる。エレメントiが、(ブロック364のいいえの枝分かれから)取下げる範囲の最後のトラックを含む場合には、該エレメントiは2つの新規なエレメントで置き換えられ(ブロック366において)、第1の新規なエレメントは、関連性所定領域と重複し、取下げられているトラックの範囲における最後のトラックで終了するトラックを含み、第2の新規なエレメントは、取下げられているトラックと重複しないトラックを表わす。(ブロック364の「yes」の枝分かれから)エレメントiが、取下げる範囲の第1のトラックを含む場合には、該エレメントiは、(ブロック368において)2つの新規なエレメントで置き換えられ、第1の新規なエレメントiは、取下げられているトラックと重複しないトラックと重複し、第2の新規なエレメントjは、取下げられているトラックを含み、取下げられているトラックの範囲における第1のトラックで開始するトラックを含む。(ブロック370において)エレメントjが、同様にエレメントjにおける最後のトラックではない所定領域の最後のトラックを含む場合には、ブロック366において、該エレメントjがさらに別の分割を実行して、所定領域と重複しないエレメントjの終わりにおけるトラックを抽出し、このように重複しないトラックをさらに別のエレメントに配置する動作が実行される(ブロック372において)。2つ又は3つの新規なエレメントが、置き換えられたエレメントが検索された場所において、エレメントのリンクされたリストに付加される。ブロック366又は370から、制御はブロック374に進み、置き換えられたエレメントiにより指示されるあらゆる関連性エントリを指示する新規なエレメントの両方に対して1つ又はそれ以上のポインタ136を付加して、(ブロック376において)関連性エントリ140に対するポインタ136を、取下げの対象となるトラックを含む新規なエレメントから削除する。次いで、制御が進んで(ブロック378において)ブロック358に戻り、取下げの対象となるトラックのいずれかを、取下げ対象関連性から除去する。取下げ対象関連性からトラックを除去した後、次いで、格納管理ソフトウェア18は、(ブロック380において)図12のステップ314から324を実行して、同じ関連性エントリを指示する、又は関連性エントリを指示しない連続するエレメント130を合体させる。トラックをターゲット・ボリュームについての関連性から除去した後、制御が進んで(ブロック382において)ブロック354に戻り、関連性におけるトラックをソース・ボリュームから除去する。
図13及び図14における動作の結果として、関連性所定領域におけるトラックのサブセットがソース及びターゲットのIMRT20及びボリューム・メタデータにおける関連性から除去され、該関連性は部分的な取下げがされないトラックに関して残されることになる。取下げ後、所定領域から取下げられたトラックは、次いで、さらに確立された関連性において用いるのに利用可能である。さらに、このような取下げられたデステージ及びステージは、付加的なインターセプト・チェッキングを実行することなく行うことができる。
代替的な実施においては、図12の論理は、関連性の一部を取下げる場合に用いられることはない。その代わり、古い(前から存在する)関連性を置き換えるために図10、図11の動作を実行することにより1つ又はそれ以上の関連性を付加することができ、新規な関連性におけるソース及び/又はターゲットの所定領域は、古い関連性の所定領域のサブセットである。次いで、図12の論理を用いて、古い(前から存在する)関連性を構成する所定領域を除去する。
図15は、本発明の実施によるデステージ及びステージ動作を実行するために、メモリ16内のIMRT20を用いる格納管理ソフトウェア18により実行される動作を示す。(ブロック400において)キャッシュ14a、14bにおけるトラックをデステージ又はステージする要求を受け取ったときには、デステージ又はステージするトラックを含むボリュームについてのIMRT20が求められ(ブロック402において)、ステージ又はデステージするトラックを含む、求められたIMRT20におけるエレメント130が検索される(ブロック404において)。(ブロック406において)検索されたエレメントが、関連性エントリ140に対するポインタ136(図7)136を含む場合には、格納管理ソフトウェア18は、(ブロック408において)ステージ又はデステージ・インターセプト・ルーチンを開始して、ステージ又はデステージを行う場合にポイント・イン・タイプ・コピー関連性のデータ保全性を確実にする。ステージ又はデステージのインターセプトは、ソース・トラックが対応するターゲット・トラックにコピーされるか、又は、ターゲットのステージ又はソースのデステージを実行する前に、ポイント・イン・タイム・コピー関連性において、ターゲット・キャッシュ14bにステージされることを確実にする。関連性エントリ140は、関連性メタデータ102及びビットマップ102を検索するように処理されて、トラックがソースからターゲットにコピーされたかどうかを判断し、どのようにステージ又はデステージのインターセプトを処理するかを判断する。他の場合においては、(ブロック406において)検索されたエレメント130が、関連性エントリ140に対するポインタ136を含まない場合には、トラックのデステージ又はステージが実行される。
図16は、電力損失後のコールド・スタート、電力損失なしのウォームスタート初期化又は再起動、又は他の検出されるエラー条件に応答して実行することができるエラー回復プロセスを開始するために、格納管理システム18により実行される動作を示す。エラー回復プロセスを初期化するとき(ブロック450において)、格納管理ソフトウェア18は、図9における動作を実行して、格納コントローラ2により管理されるすべてのボリュームについて、メモリ内のIMRT20を再構築する。幾つかの実施においては、IMRTは、メモリがなくなった場合、又は該IMRTが不適合状態であるか又は破損した場合にのみ再構築される。格納管理ソフトウェア18は、次いで(ブロック454において)、検証動作を実行して、関連性におけるソースを表わす各々のソース関連性エントリについて、同じ関連性IDを有するIMRTにおける対応するターゲット関連性エントリがあるかどうかチェックすることにより、構築されたIMRT20を考慮する。上述のように、関連性エントリ140は、該関連性エントリ140が定義されるボリュームがソース又はターゲットのいずれであるかについての情報及び関連性IDのような関連性情報150(図8)を含むことができる。格納管理ソフトウェア18は、ソースについての関連性エントリ140を検索すると、次いで、同じ又は異なるIMRT20における他の関連性エントリ、並びに、不揮発性関連性メタデータ162における情報を照会して、1つのIMRTが同じ関連性IDを有するターゲットを示す関連性エントリ140を含むかどうか判断することができる。(ブロック456において)ターゲット関連性エントリが、1つのIMRT20内で構築されなかった場合には、制御は、図12のブロック304ないし326を実行するように進み(ブロック458において)、ソース関連性メタデータ102における関連性ブロック104a、104b...104nを除去し、ソースIMRT20から関連性エントリ140を除去する。
(ブロック456において)各々の検索されたソース関連性エントリに対応するターゲット関連性エントリがある場合には、格納管理ソフトウェア20は、次いで(ブロック460において)、検証動作を実行して、関連性におけるソースを表わす各々のターゲット関連性エントリについて、同じ関連性IDを有するIMRTにおける対応するソース関連性エントリがあるかどうかチェックすることにより、構築されたIMRT20を考慮し、関連性における各々のソースについて逆もまた同様であるかどうかをチェックすることにより、構築されたIMRT20を考慮する。格納管理ソフトウェア18は、ターゲットについての関連性エントリ140を検索すると、次いで、同じ又は異なるIMRT20における他の関連性エントリに照会して、同じ関連性IDを有するソースについてのものであることを示す関連性情報150をもつ関連性エントリ140を、1つのIMRTが含むかどうか判断することができる。(ブロック462において)ソース関連性エントリが、1つのIMRT20内で構築されなかった場合には、制御が進んで(ブロック464において)図12のブロック304ないし326を実行し、ターゲット関連性メタデータ102における関連性ブロック104a、104b...104nを除去し、ターゲットIMRT20から関連性エントリ140を除去する。
付加的な実施の詳細
ポイント・イン・タイム・コピー関連性を確立し、管理するための述べられた技術は、方法、装置、又は製品として、ソフトウェア、ファームウェア、ハードウェア、又はこれらのあらゆる組み合わせを製造するための標準的なプログラミング、及び/又は、工学技術を用いて実施することができる。ここで用いられる「製品」という用語は、ハードウェア論理(例えば、集積回路チップ、プログラマブル・ゲート・アレイ(PGA)、特定用途向け集積回路(ASIC)など)において実施されるコード又は論理、又は、磁気格納媒体(例えば、ハード・ディスク・ドライブ、フロッピー(商標)ディスク、テープなど)のようなコンピュータ可読媒体、光学格納部(CD−ROM、光学ディスクなど)、揮発性及び不揮発性メモリ・デバイス(例えば、EEPROM、ROM、PROM、RAM、DRAM、SRAM、ファームウェア、プログラマブル論理など)を指示する。コンピュータ可読媒体におけるコードは、プロセッサ複合体によりアクセスされ、実行される。好ましい実施形態が実施されるコードは、したがって、「製品」は、コードが具現される媒体を含むことができる。さらに、「製品」は、コードが具現され、処理され、実行されるハードウェアとソフトウェアの組み合わせを含むことができる。もちろん、当業者であれば、本発明の範囲から離れることなく、多くの修正をこの構成に行うことができ、製品は、当該技術分野に知られる媒体を支持するあらゆる情報を含むことができることを認識するであろう。
論理ポイント・イン・タイム・コピー関連性を確立するための述べられた実施は、高可用性が傑出したクリティカル・データ環境に配置されるシステムと併せて用いるものとして述べられた。しかし、当業者は、ここに述べられるポイント・イン・タイム・コピー動作は、高可用性が絶対に必要なわけではない非クリティカル・データに用いられる格納システムに適用することができることを理解するであろう。
ソース及びターゲット・キャッシュは、同じメモリ・デバイス又は別個のメモリ・デバイスにおいて実施することができる。
ポイント・イン・タイム・コピー関連性を管理するための述べられた技術は、ソース及びターゲット・トラックが同じ又は異なるトラック番号を有する場合に適用することができる。
述べられる実施においては、関連性は、異なるボリュームにおけるトラック間のポイント・イン・タイム・コピー関連性に関する。代替的な実施においては、関連性は、当該技術分野に知られる付加的な形式のコピー又はデータの関連性を含むことができる。
図示される図9ないし図16の論理は、特定の順番で生じる特定の事象を示す。代替的な実施においては、特定の動作は、異なる順番で実行してもよいし、又は、修正或いは除去してもよい。さらに、上述の論理にステップを付加することができ、依然として述べられる実施に適合することができる。さらに、ここに述べられる動作は、順次的に生じてもよいし、又は、特定の動作が平行して処理されてもよい。さらにまた、動作は、単一の処理ユニットによって実行してもよいし、又は、分散された処理ユニットによって実行してもよい。
変数n及びmは、述べられるエレメントの特定のものについてのあらゆる整数の変数を示すのに用いられ、異なる例に用いられる場合には、同じ又は異なる整数値を示すことができる。
図17は、図1に示すホスト及び格納コントローラのようなネットワーク・コンポーネントのコンピュータ・アーキテクチャ500の1つの実施を示す。アーキテクチャ500は、プロセッサ502(例えば、マイクロ・プロセッサ)、メモリ504(例えば、揮発性メモリ・デバイス)、及び格納部506(例えば、磁気ディスク・ドライブ、光学ディスク・ドライブ、テープ・ドライブなどの不揮発性格納部)を含むことができる。格納部506は、内部格納デバイスを含んでもよいし、又は、取り付けられた或いは取り付けられた又はネットワーク・アクセスが可能な格納部を含んでもよい。
格納部506におけるプログラムがメモリ504にロードされ、当該技術分野に知られる方法によりプロセッサ502によって実行される。アーキテクチャは、さらに、ネットワーク・カード508を含み、ネットワークとの通信を可能にする。入力デバイス510を用いてユーザ入力をプロセッサ502に与え、キーボード、マウス、ペン・スタイラス、マイクロフォン、タッチ・センシティブ表示スクリーン、又はあらゆる他の当該技術分野に知られる作動又は入力機構を含むことができる。出力デバイス512は、プロセッサ502又は表示モニタ、プリンタ、格納部などの他のコンポーネントから伝送される情報をレンダリングすることができる。
本発明の態様が実施されるコンピューティング環境を示す。 本発明によるソース・ボリュームにおけるトラックとターゲット・ボリュームにおけるトラックとの間の関連性を示す。 本発明の実施によるソース・ボリュームにおけるトラックとターゲット・ボリュームにおけるトラックとの間の関連性を示す。 本発明の実施による、コピー関連性におけるソース・トラック及びターゲット・トラックの関連性を表わすために維持される情報の実施形態を示す。 本発明の実施による、コピー関連性におけるソース・トラック及びターゲット・トラックの関連性を表わすために維持される情報の実施形態を示す。 本発明の実施による、コピー関連性におけるソース・トラック及びターゲット・トラックの関連性を表わすために維持される情報の実施形態を示す。 本発明の実施による、コピー関連性におけるソース・トラック及びターゲット・トラックの関連性を表わすために維持される情報の実施形態を示す。 本発明の実施による、コピー関連性におけるソース・トラック及びターゲット・トラックの関連性を表わすために維持される情報の実施形態を示す。 本発明の実施による、メモリ内関連性情報を初期化するための動作を示す。 本発明の実施による、新規な関連性を反映するためにメモリ内の関連性情報を更新する動作を示す。 本発明の実施による、新規な関連性を反映するためにメモリ内の関連性情報を更新する動作を示す。 本発明の実施による、関連性からのトラックの取下げを反映するためにメモリ内の関連性情報を更新する動作を示す。 本発明の実施による、関連性からのトラックの取下げを反映するためにメモリ内の関連性情報を更新する動作を示す。 本発明の実施による、関連性からのトラックの取下げを反映するためにメモリ内の関連性情報を更新する動作を示す。 本発明の実施による、キャッシュからのトラックをデステージ処理及びステージ処理する場合の関連性を考慮する動作を示す。 本発明の実施による、回復プロセスを実行する動作を示す。 ホスト及び格納コントローラ、及びあらゆる他のコンピューティング・デバイスのような、ネットワーク環境におけるコンピューティング・コンポーネントのアーキテクチャを示す。

Claims (16)

  1. ソース格納部とターゲット格納部との間でデータを転送するために1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するためのシステムであって、
    前記ポイント・イン・タイム・コピーは、ソース・ボリュームからターゲット・ボリュームへの論理的コピーを含み、
    前記システムは、
    1つ又はそれ以上のホスト・コンピュータと、
    前記ホスト・コンピュータにネットワークを介して接続される1つ又はそれ以上の格納コントローラと、
    前記格納コントローラに接続されうるソース格納部であって、1つ又はそれ以上のソース・データ・ブロックをソース・ボリュームとして含む、前記ソース格納部と、
    前記格納コントローラに接続されうるターゲット格納部であって、1つ又はそれ以上のターゲット・データ・ブロックをターゲット・ボリュームとして含み、前記ターゲット・データ・ブロックは、前記ソース・ボリュームの全て又は一部のコピーを維持する、前記ターゲット格納部と
    を含み、
    前記格納コントローラは、前記ソース格納部又は前記ターゲット格納部への入力又は出力要求を前記ホスト・コンピュータから受け取り、該要求を前記ソース格納部又は前記ターゲット格納部へ向け、さらに前記ソース格納部と前記ターゲット格納部との間のデータ転送を制御し、
    前記格納コントローラは、
    システム・メモリと、
    前記ソース格納部に接続されうるソース・キャッシュであって、前記ソース格納部への書き込みデータ及び前記ホスト・コンピュータへの読み取りデータをバッファする、前記ソース・キャッシュと、
    前記ターゲット格納部に接続されうるターゲット・キャッシュであって、前記ターゲット格納部への書き込みデータ及び前記ホスト・コンピュータへの読み取りデータをバッファする、前記ターゲット・キャッシュと、
    を含み、
    前記格納コントローラは、
    前記ソース格納部と前記ターゲット格納部との間でのコピーの管理を実行する格納管理ソフトウェアを前記システム・メモリ内に読み込み、そして実行することができ、
    前記格納コントローラは、
    前記ソース・ボリューム及び前記ターゲット・ボリュームの各々についてメモリ内関連性テーブル
    をさらに含み、
    前記メモリ内関連性テーブルは、
    (i)前記ソース又はターゲット・ボリュームにおける連続するデータ単位の開始トラック及び終了トラックを表わす少なくとも1つのエレメントと、
    (ii)ソース・ボリューム又はターゲット・ボリュームについての前記関連性を表わす少なくとも1つの関連性エントリと、
    (iii)前記エレメントを1つ又はそれ以上の前記関連性エントリに関連付けるエレメント・ポインタと、
    (iv)前記関連性エントリそれぞれを、前記システム・メモリ内のボリューム・メタデータに関連付ける関連性ポインタと
    を含み、
    前記ボリューム・メタデータが、
    ソース用のデータ単位が前記関連性における対応するターゲット用のデータ単位に、コピーされたかどうかを示すビットを含む関連性ビットマップと、
    前記関連性の一意的な識別子を与える関連性ID、ボリュームにおけるトラックの領域が関連性においてソースであるか又はターゲットであるかを示す関連性ロール、ボリュームにおける前記トラックの領域を表す所定領域、及び前記関連性における他のボリュームを識別するボリューム対を有する関連性ブロックと
    を含む、前記システム。
  2. 前記ボリューム・メタデータを使用して、前記システム・メモリ内で、前記少なくとも1つのエレメント、前記少なくとも1つの関連性エントリ、前記エレメント・ポインタ、及び前記関連性ポインタを生成する手段をさらに含む、請求項1に記載のシステム。
  3. 前記ボリューム・メタデータにおいて識別される各々の前記関連性について、1つの関連性エントリを生成するための手段をさらに含み、
    前記関連性エントリは、前記ボリューム・メタデータに含まれる関連性情報のサブセットを含む、請求項1又は2に記載のシステム。
  4. 前記関連性ポインタが、1つの前記関連性エントリを、該関連性を表す対応する関連性ブロックに関連付ける、請求項3に記載のシステム。
  5. ソース用のボリューム・メタデータ及びターゲット用のボリューム・メタデータが、前記ソース・ボリューム及び前記ターゲット・ボリュームの不揮発性格納部内にそれぞれ格納される、請求項1〜4のいずれか1項に記載のシステム
  6. 前記少なくとも1つのエレメント、前記少なくとも1つの関連性エントリ、前記エレメント・ポインタ、及び前記関連性ポインタの1つのセットが、ボリュームについて生成される、請求項1〜5のいずれか1項に記載のシステム
  7. 1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するための方法であって、請求項1〜6のいずれか1項に記載のシステムに、
    前記システム・メモリ内に、前記少なくとも1つのエレメントと、前記少なくとも1つの関連性エントリと、前記エレメント・ポインタと、前記関連性ポインタとを生成するステップを実行させることを含み、それによって1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性の管理を可能にする、前記方法。
  8. 請求項1〜6のいずれか1項に記載のシステムに、
    各々の前記関連性について、ソース及びターゲットの関連性情報が前記システム・メモリ内に生成されているかどうかを判断するステップと、
    1つの判断された関連性について、前記システム・メモリ内に前記ターゲットの関連性情報が生成されていない場合に、該判断された関連性について、前記ソースの関連性情報を前記システム・メモリから除去し、該判断された関連性についての関連性情報を前記ソース用のボリューム・メタデータから除去するステップと、
    1つの判断された関連性について、前記システム・メモリ内に前記ソースの関連性情報が生成されていない場合に、該判断された関連性について、前記ターゲットの関連性情報を前記システム・メモリから除去し、該判断された関連性についての関連性情報を前記ターゲット用のボリューム・メタデータから除去するステップと
    をさらに実行させることを含む、請求項に記載の方法。
  9. 前記ソース又はターゲットの関連性情報を前記メモリから除去するステップが、該システム・メモリから、前記関連性エントリ、前記少なくとも1つのエレメント・ポインタ、及び前記関連性における前記ソース・ボリュームについて生成された前記関連性ポインタを除去するステップを含む、請求項に記載の方法。
  10. 前記システム・メモリ内で前記少なくとも1つのエレメントを生成するステップが、
    前記ボリューム・メタデータを使用して、ソース・ボリューム及びターゲット・ボリュームそれぞれの関連性に含まれるデータ単位の各々の開始トラック及び終了トラックを求めるステップと、
    ソース・ボリューム及びターゲット・ボリュームのうちの少なくとも1つの関連性に含まれるデータ単位開始トラック及び終了トラックについて1つのエレメントを生成するステップと
    を含む、請求項7〜9のいずれか1項に記載の方法。
  11. 前記システム・メモリ内で前記少なくとも1つのエレメントを生成するステップが、
    1つの関連性に含まれるエレメントにおけるデータ単位開始トラックから終了トラックの範囲よりも先のデー単位の開始トラックから終了トラックの範囲又は当該データ単位よりも後に続くデータ単位開始トラック及び終了トラックの範囲を表わすエレメントを生成するステップ
    をさらに含む、請求項10に記載の方法。
  12. 前記生成されたエレメントそれぞれが、前記少なくとも1つのエレメントにリンクされており、前記リンクされたエレメントが、データ単位開始トラックから終了トラックの連続する範囲を含む、請求項11に記載の方法。
  13. 前記関連性エントリ及び前記関連性ポインタを生成するステップが、
    前記ボリューム・メタデータにおいて識別される各々の関連性について、1つの関連性エントリを生成するステップをさらに含み、前記関連性エントリが、前記ボリューム・メタデータに含まれる関連性情報のサブセットを含む、請求項7〜12のいずれか1項に記載の方法。
  14. 請求項1〜6のいずれか1項に記載のシステムに、
    データ単位をステージし又はデステージする要求を受け取るステップであって、前記ステージは、前記ソース格納部から前記ソース・キャッシュ若しくはターゲット・キャッシュにデータを書き込むこと又は前記ターゲット格納部から前記ターゲット・キャッシュにデータを書き込むことであり、前記デステージは、前記ソース・キャッシュから前記ソース格納部にデータを書き込むこと又は前記ターゲット・キャッシュから前記ターゲット格納部にデータを書き込むことである、前記受け取るステップと、
    前記1つのエレメント・ポインタを有する前記1つのエレメントにより表わされるデータ単位の開始トラックから終了トラックの範囲に、前記要求されたデータ単位が含まれるかどうかを判断するステップと、
    該要求されたデータ単位が関連性に関連付けられた1つのエレメント内に含まれている場合に、該要求されたデータ単位が、ターゲット用のデータ単位にコピーされたかどうかを判断するステップと、
    前記ソース用のデータ単位が前記ターゲット用のデータ単位にコピーされていない場合に、前記ステージ又はデステージ動作を実行する前に、該ソース用のデータ単位を該ターゲット用のデータ単位にコピーするステップ
    をさらに実行させることを含む、請求項7〜13のいずれか1項に記載の方法。
  15. 1つの関連性における前記ソース用のデータ単位、及び当該ソース用のデータ単位に対応するターゲット用のデータ単位が、異なるデータ単位の番号を有する、請求項7〜14のいずれか1項に記載の方法。
  16. コンピュータに、請求項7〜15のいずれか1項に記載の方法のステップを実行させるためのコンピュータ・プログラム。
JP2006516139A 2003-06-17 2004-06-08 1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するためのシステム、方法、及びプログラム Expired - Fee Related JP4398464B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/463,968 US7047390B2 (en) 2003-06-17 2003-06-17 Method, system, and program for managing a relationship between one target volume and one source volume
PCT/EP2004/051057 WO2004111852A2 (en) 2003-06-17 2004-06-08 Managing a relationship between one target volume and one source volume

Publications (3)

Publication Number Publication Date
JP2006527874A JP2006527874A (ja) 2006-12-07
JP2006527874A5 JP2006527874A5 (ja) 2009-06-18
JP4398464B2 true JP4398464B2 (ja) 2010-01-13

Family

ID=33517179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006516139A Expired - Fee Related JP4398464B2 (ja) 2003-06-17 2004-06-08 1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するためのシステム、方法、及びプログラム

Country Status (8)

Country Link
US (1) US7047390B2 (ja)
EP (1) EP1636690B1 (ja)
JP (1) JP4398464B2 (ja)
KR (1) KR100819022B1 (ja)
CN (1) CN100489757C (ja)
AT (1) ATE368886T1 (ja)
DE (1) DE602004007925T2 (ja)
WO (1) WO2004111852A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1673774A1 (en) * 2003-09-25 2006-06-28 Samsung Electronics Co., Ltd. Apparatus and method for displaying audio and video data, and storage medium recording thereon a program to execute the displaying method
US7694038B2 (en) * 2004-11-17 2010-04-06 International Business Machines Corporation Maintaining and using nexus information on a host, port and device connection
US7257663B2 (en) * 2004-11-17 2007-08-14 International Business Machines Corporation Initiating and using information used for a host, control unit, and logical device connections
KR100736100B1 (ko) 2005-01-13 2007-07-06 삼성전자주식회사 디지털 저작권 관리 장치 및 방법
US8903766B2 (en) * 2005-10-31 2014-12-02 Hewlett-Packard Development Company, L.P. Data mirroring using a virtual connection
US7467268B2 (en) * 2006-04-14 2008-12-16 Hewlett-Packard Development Company, L.P. Concurrent data restore and background copy operations in storage networks
US8006049B2 (en) * 2007-01-18 2011-08-23 International Business Machines Corporation Export of logical volumes by pools
US7996093B2 (en) * 2008-01-24 2011-08-09 Rockwell Automation Technologies, Inc. Automatic controller relationship resolution
US8688936B2 (en) * 2008-10-30 2014-04-01 International Business Machines Corporation Point-in-time copies in a cascade using maps and fdisks
US8806101B2 (en) * 2008-12-30 2014-08-12 Intel Corporation Metaphysical address space for holding lossy metadata in hardware
US8285679B2 (en) * 2010-03-11 2012-10-09 International Business Machines Corporation Creating a buffer point-in-time copy relationship for a point-in-time copy function executed to create a point-in-time copy relationship
US8433870B2 (en) 2010-10-12 2013-04-30 International Business Machines Corporation Multiple incremental virtual copies
US8825973B2 (en) * 2012-01-17 2014-09-02 International Business Machines Corporation Caching source blocks of data for target blocks of data
US11030125B2 (en) 2013-02-05 2021-06-08 International Business Machines Corporation Point in time copy operations from source volumes to space efficient target volumes in two stages via a non-volatile storage
US9720786B2 (en) 2014-04-22 2017-08-01 International Business Machines Corporation Resolving failed mirrored point-in-time copies with minimum disruption
US10007602B2 (en) * 2014-05-06 2018-06-26 International Business Machines Corporation Flash copy relationship management
US9971525B2 (en) * 2015-02-26 2018-05-15 Red Hat, Inc. Peer to peer volume extension in a shared storage environment
US10108352B2 (en) * 2015-03-03 2018-10-23 International Business Machines Corporation Incremental replication of a source data set
CN105677250B (zh) * 2016-01-04 2019-07-12 北京百度网讯科技有限公司 对象存储系统中的对象数据的更新方法和更新装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615329A (en) * 1994-02-22 1997-03-25 International Business Machines Corporation Remote data duplexing
US5740435A (en) 1994-10-31 1998-04-14 Sony Corporation Data management apparatus and method for managing data of variable lengths recorded on a record medium
US6405294B1 (en) * 1995-12-29 2002-06-11 Mci Communications Corporation Data center migration method and system using data mirroring
JP4363676B2 (ja) * 1997-10-31 2009-11-11 株式会社東芝 コンピュータシステム
US6076148A (en) * 1997-12-26 2000-06-13 Emc Corporation Mass storage subsystem and backup arrangement for digital data processing system which permits information to be backed up while host computer(s) continue(s) operating in connection with information stored on mass storage subsystem
US6151624A (en) * 1998-02-03 2000-11-21 Realnames Corporation Navigating network resources based on metadata
US6189079B1 (en) * 1998-05-22 2001-02-13 International Business Machines Corporation Data copy between peer-to-peer controllers
US6611901B1 (en) * 1999-07-02 2003-08-26 International Business Machines Corporation Method, system, and program for maintaining electronic data as of a point-in-time
US6338114B1 (en) 1999-08-18 2002-01-08 International Business Machines Corporation Method, system, and program for using a table to determine an erase operation to perform
US6799258B1 (en) * 2001-01-10 2004-09-28 Datacore Software Corporation Methods and apparatus for point-in-time volumes
US6898688B2 (en) * 2001-12-28 2005-05-24 Storage Technology Corporation Data management appliance
KR100860984B1 (ko) * 2002-10-15 2008-09-30 삼성전자주식회사 메타데이터 관리 방법

Also Published As

Publication number Publication date
WO2004111852A3 (en) 2006-01-05
ATE368886T1 (de) 2007-08-15
CN1997960A (zh) 2007-07-11
JP2006527874A (ja) 2006-12-07
WO2004111852A2 (en) 2004-12-23
DE602004007925T2 (de) 2008-04-24
EP1636690B1 (en) 2007-08-01
EP1636690A2 (en) 2006-03-22
KR20060007435A (ko) 2006-01-24
CN100489757C (zh) 2009-05-20
US7047390B2 (en) 2006-05-16
DE602004007925D1 (de) 2007-09-13
US20040260869A1 (en) 2004-12-23
KR100819022B1 (ko) 2008-04-02

Similar Documents

Publication Publication Date Title
US7587564B2 (en) System, method and computer program product for managing data versions
JP4398464B2 (ja) 1つのターゲット・ボリュームと1つのソース・ボリュームとの間のポイント・イン・タイム・コピー関連性を管理するためのシステム、方法、及びプログラム
US10698773B2 (en) Replicating a source data set to a target data store
US20200142599A1 (en) Providing track format information when mirroring updated tracks from a primary storage system to a secondary storage system
JP4398463B2 (ja) インクリメンタル仮想コピーのための方法、システム、及びプログラム
JP4799936B2 (ja) 条件別スナップショット取得方法及びシステム
US8656123B2 (en) Snapshot preserved data cloning
US7831565B2 (en) Deletion of rollback snapshot partition
US8825975B2 (en) Caching source blocks of data for target blocks of data
US20080256141A1 (en) Method and apparatus for separating snapshot preserved and write data
JP2007226347A (ja) 計算機システム、計算機システムの管理装置、及びデータのリカバリー管理方法
US8015155B2 (en) Non-disruptive backup copy in a database online reorganization environment
US10740187B1 (en) Systems and methods of managing and creating snapshots in a cache-based storage system
JP6604115B2 (ja) ストレージ装置およびストレージ制御プログラム
JP2007200114A (ja) データベース回復方法及び計算機システム
US8627011B2 (en) Managing metadata for data in a copy relationship
US7047378B2 (en) Method, system, and program for managing information on relationships between target volumes and source volumes when performing adding, withdrawing, and disaster recovery operations for the relationships
US20060015696A1 (en) Integrated storage device
US8700861B1 (en) Managing a dynamic list of entries for cache page cleaning
JP4644446B2 (ja) 関係に関する追加動作を実行する時にターゲット・ボリュームとソース・ボリュームとの間の関係に関する情報を管理する方法、システム、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090420

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090420

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090803

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090803

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20090803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090804

TRDD Decision of grant or rejection written
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091016

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20091016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091022

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees