JP5147979B2 - データ記憶ライブラリのための重複排除プロトコルを選択する装置および方法 - Google Patents

データ記憶ライブラリのための重複排除プロトコルを選択する装置および方法 Download PDF

Info

Publication number
JP5147979B2
JP5147979B2 JP2011207613A JP2011207613A JP5147979B2 JP 5147979 B2 JP5147979 B2 JP 5147979B2 JP 2011207613 A JP2011207613 A JP 2011207613A JP 2011207613 A JP2011207613 A JP 2011207613A JP 5147979 B2 JP5147979 B2 JP 5147979B2
Authority
JP
Japan
Prior art keywords
data
raid
data storage
raid array
rebuild rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011207613A
Other languages
English (en)
Other versions
JP2012043449A (ja
Inventor
ハウシュタイン、ニールス
ウィナースキー、ダニエル、ジェームス
トロッペンス、ウルフ
クライン、クレーグ、アンソニー
ベイツ、アレン、キース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2012043449A publication Critical patent/JP2012043449A/ja
Application granted granted Critical
Publication of JP5147979B2 publication Critical patent/JP5147979B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1084Degraded mode, e.g. caused by single or multiple storage removals or disk failures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、データ記憶ライブラリのための重複排除(deduplication)プロトコルを選択する装置および方法に関する。
コンピュータ・システムは情報を生成する。複数のデータ記憶媒体を使用して、そのような情報を格納することが知られている。新磁気ディスク制御機構(RAID)構成では、耐障害性およびデータ・アクセス性能の改善を提供するために、情報はデータ記憶媒体のアレイに格納される。RAIDは、特殊なハードウェアまたはソフトウェアのどちらかを使用することにより、複数の物理データ記憶媒体を結合して単一の論理ユニットにしている。
RAID3、4、5、または6アレイ構成では、「データ・ストライピング」として知られているプロセスが、パリティ・データ、即ち、コード化冗長(encoded redundant)情報と組み合わせて使用される。RAID6では、列ストライプおよび対角ストライプの両方が使用され、二重冗長のためには1つのパリティ・セットが各列ストライプに関連付けられ、別のパリティ・セットが各対角ストライプに関連付けられる。RAID6では、列パリティが単一の列パリティ記憶媒体に集中され、対角パリティが異なる単一の対角パリティ記憶媒体に集中され得る。或いは、列および対角パリティがアレイにおけるすべてのデータ記憶媒体にわたって分布され得る。各RAIDストライプは、所定数の連続した論理的ブロック・アレイを含む。
データをストライプすることおよびアレイにおけるすべてのドライブにわたってパリティを分布させることにより、単一のドライブに対する一定のアクセスを最小にすることで最適の性能が実現される。RAID6アレイ構成における1つのドライブが障害を生じる場合、その障害のあるドライブに書込まれたデータは残りのドライブにおけるパリティ・データを使用して再構築され得る。アレイがオンライン予備ドライブにより構成される場合、障害のあるドライブが検知されたとき、RAIDの再構築が自動的に始まる。アレイが予備ドライブでもって構成されない場合、RAIDの再構築は、障害のあるドライブが交換された後に始まる。
失われたデータを再構築するために、失われた各ストライプがアレイにおける残りのドライブから読取られる。失われたストライプは、RAIDコントローラXORエンジンによって遂行される排他的OR(XOR)オペレーションを使用して回復される。XORエンジンがその失われたストライプを回復した後、その回復したストライプは置換ドライブまたはオンライン予備ドライブに書込まれる。RAIDレベル3、4、および5に関しては、再構築プロセスは、アレイにおけるオプショナル・ドライブからの(N−1)個の読取り、及び置換ドライブまたはオンライン予備ドライブへの単一の書込みを含む。ストライプが完全に回復するとき、再構築プロセスは次の失われたストライプを回復させように進行する。RAIDレベル6の下での二重障害に関しては、列ストライプおよび対角ストライプの両方が、2つの予備ドライブに再構築されるドライブ・データを構成するために使用される。
再構築プロセス中、アレイはユーザにとってアクセス可能のままである。RAIDコントローラは、ホスト入出力要求を処理するように、およびRAIDアレイ再構築(以下、単に「RAID再構築」ともいう)を処理するようにシステム・リソースを割振らなければならない。
本発明の目的は、RAIDアレイとして構成された複数個のデータ記憶装置を含むデータ記憶ライブラリのための重複排除プロトコルを選択する方法を提供することにある。
本発明の方法は、正規の重複排除プロトコル(第1の重複排除プロトコル)、RAIDアレイ障害(以下、単に「RAID障害」ともいう)対応の重複排除プロトコル(第2の重複排除プロトコル)、および複数記憶装置障害対応の重複排除プロトコル(第3の重複排除プロトコル)を設定する。本方法は、複数のインターリーブしたデータ・ブロックを含むホスト・データを受け取る。システムが如何なる記憶装置障害もなく作動している場合、本方法は正規の重複排除プロトコルを使用してホスト・データを処理する。システムが1つの記憶装置障害を生じたまま作動している場合、本方法はRAID障害対応の重複排除プロトコルを使用してホスト・データを処理する。システムが複数記憶装置障害を生じたまま作動している場合、本方法は複数記憶装置障害対応の重複排除プロトコルを使用してホスト・データを処理する。
或る実施例では、本方法は重複排除プロトコルを動的に設定する。これらの実施例では、重複排除プロトコルは、障害のあるデータ記憶装置の数、実際のRAIDアレイ再構築率(以下、単に「RAID再構築率」ともいう)、最小RAIDアレイ再構築率閾値(以下、単に「最小RAID再構築率閾値」ともいう)、および最大RAIDアレイ再構築率閾値(以下、単に「最大RAID再構築率閾値」ともいう)の関数である。
本発明の実施例によるデータ記憶装置システムの1つの実施例を示すブロック図である。 ファイバ・チャンネル・アービトレート型ループを使用して複数個のデータ記憶媒体とコミュニケーションしている1つのRAIDコントローラを示すブロック図である。 二重ファイバ・チャンネル・アービトレート型ループを使用して、複数個のデータ記憶媒体とコミュニケーションしている2つのRAIDコントローラを示すブロック図である。 本発明の第1実施例による方法におけるステップを要約したフローチャートである。 本発明の第2実施例による方法におけるステップを要約したフローチャートである。 第2実施例における追加のステップを要約したフローチャートである。
本発明は、図面を参照しながら好適な実施例に関する以下の記述において説明される。図面では、同じ参照番号は同じまたは同様の要素を表わす。本明細書を通して「1つの実施例」、「或る実施例」、または同様の用語の引用は、その実施例に関連して記述された特定の特徴、構造、または特性が本発明の少なくとも1つの実施例に含まれるということを意味する。従って、本明細書を通しての「1つの実施例における」、「或る実施例における」という語句および同様の用語の出現は、すべて同じ実施例を指し得るが、必ずしもそうではないことがある。
本発明の記述された特徴、構造、または特性は、1つまたは複数の実施例において任意の適切な方法で組み合わされてもよい。以下の説明では、本発明の実施例の十分な理解を与えるために、多数の特定の細部が詳述される。しかし、本発明が、1つまたは複数の特定の詳述がなくても、他の方法、コンポーネント、材料等を用いて実施され得るということは当業者には明らかであろう。別の実施例では、本発明の諸局面を不明瞭にすることを回避するために、周知の構造、材料、またはオペレーションは詳細には図示または記述されない。
図1の実施例では、データ処理システム100は、RAIDコントローラ120、データ記憶媒体130、140、150、および160を含む。図1の実施例では、RAIDコントローラ120は、I/Oプロトコル132、142、152、および162を介して、それぞれ、データ記憶媒体130、140、150、および160とコミュニケーションを行う。I/Oプロトコル132、142、152、および162は、ファイバ・チャネル・ループ、SCSI(Small Computer System Interface)、iSCSI(Internet SCSI)、SAS(Serial Attach SCSI)、Fiber Channel、SCSI over Fiber Channel、Ethernet、FiberChannel over Ethernet、Infiniband、およびSATA(Serial ATA)を、それに限定することなく含む任意の種類のI/Oプロトコルを含み得る。
「データ記憶媒体」は、本明細書では、情報記憶媒体に情報を書込むためにおよびそこから情報を読取るために必要なハードウェア、ファームウェア、および/またはソフトウェアと結合したそのような情報記憶媒体を意味する。或る実施例では、情報記憶媒体は、磁気ディスク、磁気テープ等のような磁気情報記憶媒体を、それらに限定することなく含む。或る実施例では、情報記憶媒体は、CD、DVD(Digital Versatile Disk)、HD−DVD(High Definition DVD)、BD(Blue-Ray Disk)等のような光学的情報記憶媒体を、それらに限定することなく含む。或る実施例では、情報記憶媒体は、PROM、EPROM、EEPROM、Flash PROM、コンパクトフラッシュ、スマートメディア等のような電子情報記憶媒体を、それらに限定することなく含む。或る実施例では、情報記憶媒体はホログラフィ情報記憶媒体を含む。
更に、図1の実施例では、本明細書におけるRAIDコントローラ120は、ホスト・コンピュータ102、104、および106とのコミュニケーションを行う。一般的なこととして、ホスト・コンピュータ102、104、および106の各々は、メインフレーム、パーソナル・コンピュータ、ワークステーション、およびそれらの組合せのようなコンピューティング・システムを含み、それの Windows、AIX、Unix、MVS、LINUX 等のようなオペレーティング・システムを内蔵する。(Windows はマイクロソフト社の商標であり、AIX および MVS はIBM社の商標であり、Unix は、The Open Group を介して排他的にライセンスされた商標である。The Open Group および LINUX は Linus Torvald の商標である)。或る実施例では、1つまたは複数のホスト・コンピュータ102、104、および/または106は、更に、ストレージ管理プログラムを含む。或る実施例では、そのストレージ管理プログラムは、IBM MVS オペレーティング・システムに実装されたIBM DFSMS のような、データ記憶装置および検索システムへのおよびそれらからのデータの転送を管理する分野において知られているストレージ管理タイプのプログラムの機能を、それに限定することなく含み得る。
図1の実施例では、本明細書におけるRAIDコントローラ120は、プロセッサ128、XORエンジン129、コンピュータ可読媒体121、コンピュータ可読媒体121に書込まれたマイクロコード122、およびコンピュータ可読媒体121に書込まれた命令124を含む。プロセッサ128は、RAIDコントローラ120を作動するためにマイクロコード122を利用する。図1の実施例では、RAIDコントローラ120は更に再構築ビットマップ126を含む。その再構築ビットマップ126はN個のインディケータを含み、各インディケータは異なるデータ・ストライプに関連付けられる。i番目のインディケータが第1の値にセットされる場合には、その関連するデータ・ストライプは再構築されてなく、i番目のインディケータが第2の値にセットされる場合には、その関連するデータ・ストライプは再構築されている。なお、iは、1よりも小さいかまたは1に等しく、Nよりも大きいかまたはNに等しい。
例えば、データの重複排除のような、しかもそれに限定されない、1つまたは複数のホスト・コンピュータから受け取られたデータに関連した入出力(I/O)オペレーションの処理に加えて、プロセッサ128は、例えば、パリティのチェックおよび認証、RAID再構築、および他の「ハウスキーピング」作業のような、しかもそれに限定されない、バックグラウンド・オペレーションも遂行する。或る実施例では、プロセッサ128は、データの重複排除およびRAID再構築の間でプロセッサ・リソースの割振りのような、しかもそれに限定されない、システム・リソースの割振りを行わなければならない。
図1の実施例では、ホスト・コンピュータ102、104、および106は、それぞれ、I/Oプロトコル103、105、および107を利用してファブリック110に接続される。I/Oプロトコル103、105、および107は、ファブリック110との間で情報を転送するために、任意のタイプのI/Oプロトコル、例えば、Fiber Channel(FC)ループ、ファブリック110への直接接続、またはホスト・コンピュータ102、104、および106によって使用される1つまたは複数個の信号線であってもよい。
或る実施例では、ファブリック110は、例えば、1つまたは複数個のFCスイッチ115を含む。或る実施例では、それらの1つまたは複数個のスイッチ115は、1つまたは複数個の一般的なルータ・スイッチを含む。図1の実施例では、1つまたは複数個のスイッチ115は、ホスト・コンピュータ102、104、および106を、I/Oプロトコル117を介してRAIDコントローラ120に相互接続する。I/Oプロトコル117は、任意のタイプの入出力インターフェース、例えば、Fibre Channel、Infiniband、Gigabit Ethernet、TCP/IP、iSCSI、SCSI I/O インターフェース、またはFCスイッチによって使用される1つまたは複数個の信号線を含み、RAIDコントローラ120との間で及びその後はデータ記憶媒体130、140、150、および160との間で情報を転送し得る。別の実施例では、例えば、ホスト・コンピュータ102、104、および106のような、しかもそれらに限定されない、1つまたは複数個のホスト・コンピュータが、I/Oプロトコル103、105、および107を使用して、RAIDコントローラ120と直接にコミュニケーションを行う。
図2の実施例では、本発明のRAIDコントローラ120は、スイッチのファイバ・チャネル・アービトレーテッド(FC−AL)ループを使用して、データ記憶媒体130、140、150、および160とコミュニケーションを行う。なお、コントローラ120、並びに、媒体130、140、150、および160は、情報記憶および検索システム200内に配される。当業者には明らかなように、情報記憶および検索システム200は、更に、1つまたは複数個のホスト・アダプタ、1つまたは複数個の装置アダプタ、データ・キャッシュ、不揮発性記憶装置等のような、しかもそれに限定されない、追加の要素を含む。図2の実施例は、ファイバ・チャネル・ネットワークまたは装置を使用するように本発明を限定するものと解されるべきではない。別の実施例では、SAS装置および/またはSATA装置を限定としてではなく含む他のネットワーク・トポロジおよび装置が利用される。
図3の実施例では、本発明の情報記憶および検索システム202は、RAIDコントローラ120AおよびRAIDコントローラ120Bが2つのFC−ALループによって相互接続されるスイッチの二重FC−ALループを含む。各FC−ALループは、ローカル・コントローラ210、220、230、240、250、および260のような1つまたは複数個のローカル・コントローラを含む。当業者には明らかなように、情報記憶および検索システム200は、更に、1つまたは複数個のホスト・アダプタ、1つまたは複数個の装置アダプタ、データ・キャッシュ、不揮発性記憶装置等のような、しかもそれらに限定されない、追加の要素を含む。図3の実施例では、各RAIDコントローラは、複数個の第1データ記憶媒体270、複数個の第2データ記憶媒体280、および複数個の第3データ記憶媒体290とコミュニケーションを行う。
図3の実施例は、ファイバ・チャネル・ネットワークまたは装置の使用に本発明を限定するものと解されるべきではない。図3の実施例において、2つのFC−ALループを詳説したものも本発明の1つの実施例である。別の実施例では、SAS装置および/またはSATA装置を限定ではなく含む他のネットワーク・トポロジおよび装置が利用される。
当業者には明らかなように、データ重複排除は、冗長なデータを除去するためのプロセスを含む。重複排除プロセスでは、重複データが削除され、保存されるべきデータのコピーを1つだけ残す。或る実施例では、それまでに必要とされたすべてのデータの指標が保持される。重複排除は、唯一無二のデータだけが保存されるので、RAIDアレイの記憶機能を強化することができる。
データ重複排除は、一般に、ファイル・レベルまたはデータ・ブロック・レベルで操作することができる。ファイル・レベルの重複排除は重複ファイルを除去するが、これは重複排除の真に効率的な手段ではない。ブロック・レベルの重複排除はファイル内を見て、各ブロックまたはビットの唯一無二の反復を保存する。データの各チャンクが、MD5またはSHA−1のようなハッシュ・アルゴリズムを使用して処理される。このプロセスは、その後指標として格納される各断片の一意的な番号を生成する。
ファイルが更新される場合、その変更されたデータだけが保存される。即ち、ドキュメントまたはプレゼンテーションのうちの数バイトしか変更されない場合、その変更されたブロックまたはバイトだけが保存され、変更は完全に新しいファイルを構成するものではない。従って、ブロックの重複排除は、ファイルの重複排除より多くの記憶空間を節約する。しかし、ブロックの重複排除は、より多くのプロセッサ資源を必要とする。
RAID再構築中に、本発明のRAIDコントローラは、RAID再構築とデータの重複排除との間で処理資源を割振る。図4は、RAID再構築を行うと同時にデータの重複排除プロトコルを選択するための本発明の方法を要約する。図4を参照すると、ステップ310において、その方法は、RAIDコントローラおよびRAIDアレイを含むデータ記憶システムを提供する。
ステップ315において、その方法は正規の重複排除プロトコルを設定する。或る実施例では、ステップ315の正規の重複排除プロトコルは、1つまたは複数個のホスト・コンピュータから受け取られた情報内に配された重複データ・ブロックの約90パーセント乃至100パーセントを重複排除する。或る実施例では、ステップ315の正規の重複排除プロトコルは、1つまたは複数個のホスト・コンピュータから受け取られた情報内に配された重複データ・ブロックの100パーセントを重複排除する。
或る実施例では、ステップ310のデータ記憶システムの製造者がステップ315を遂行する。或る実施例では、ステップ310のデータ記憶システムの所有者および/またはオペレータがステップ315を遂行する。或る実施例では、ステップ310のデータ記憶システムと相互接続されたホスト・コンピュータがステップ315を遂行する。
ステップ320において、その方法はRAID障害対応の重複排除プロトコルを設定する。本明細書では、「RAID障害」は、RAIDアレイとして構成された1つのデータ記憶装置の障害を意味する。或る実施例では、ステップ320のRAID障害対応の重複排除プロトコルは、1つまたは複数個のホスト・コンピュータから受け取られた情報内に配された重複データ・ブロックの約40%乃至60パーセントを重複排除する。或る実施例では、ステップ320のRAID障害対応の重複排除プロトコルは、1つまたは複数個のホスト・コンピュータから受け取られた情報内に配された重複データ・ブロックの約50パーセントを重複排除する。
或る実施例では、ステップ310のデータ記憶装置システムの製造者がステップ320を遂行する。或る実施例では、ステップ310のデータ記憶システムの所有者および/またはオペレータがステップ320を遂行する。或る実施例では、ステップ310のデータ記憶システムと相互接続されたホスト・コンピュータがステップ320を遂行する。
ステップ325において、本方法は、複数装置障害対応の重複排除プロトコルを設定する。或る実施例では、ステップ325の複数装置障害対応の重複排除プロトコルが、1つまたは複数個のホスト・コンピュータから受け取られた情報内に配された重複データ・ブロックの約15パーセント乃至約35パーセントを重複排除する。或る実施例では、ステップ325の複数装置障害対応の重複排除プロトコルが、1つまたは複数個のホスト・コンピュータから受け取られた情報内に配された重複データ・ブロックの約25パーセントを重複排除する。
或る実施例では、ステップ310のデータ記憶システムの製造者がステップ325を遂行する。或る実施例では、ステップ310のデータ記憶システムの所有者および/またはオペレータがステップ325を遂行する。或る実施例では、ステップ310のデータ記憶システムと相互接続されたホスト・コンピュータがステップ325を遂行する。
ステップ330において、本方法は、複数個のインターリーブしたデータ・ブロックを含むホスト・データを提供する。或る実施例では、ステップ330のデータがRAIDコントローラによって受け取られる。或る実施例では、ステップ330はホスト・コンピュータによって遂行される。
ステップ335において、本方法は、ステップ310のデータ記憶システムがRAID障害を生じたまま作動しているかどうか、即ち、データ記憶装置の障害が検出されたかどうかを決定する。
ステップ335において、本方法は、ステップ310のデータ記憶システムがRAID障害を生じたまま作動してはいないということ決定し、しかる後、本方法はステップ335からステップ345に移行する。ステップ345では、本方法は、ステップ315の正規の重複排除プロトコルを使用してステップ330のホスト・データを処理する。或る実施例では、ステップ345はRAIDコントローラによって遂行される。或る実施例では、ステップ345はホスト・コンピュータによって遂行される。
ステップ355において、本方法は、更なるホスト・データが受け取られたかどうかを判断する。或る実施例では、ステップ355はRAIDコントローラによって遂行される。或る実施例では、ステップ355はホスト・コンピュータによって遂行される。
ステップ355において、本方法が、如何なる更なるホスト・データも受け取られなかったということを判断する場合、本方法はステップ355からステップ370に移行し、終了する。一方、更なるホスト・データが受け取られたということを、本方法がステップ355において判断する場合、本方法はステップ355からステップ335に移行し、上述のように継続する。
ステップ310のデータ記憶システムがRAID障害を生じたまま作動しているということを、本方法がステップ335で判断する場合、本方法は、ステップ335からステップ340に移行する。ステップ340において、本法は、ステップ310のデータ記憶システムが複数データ記憶装置障害を生じたまま作動しているかどうかを判断する。或る実施例では、ステップ340はRAIDコントローラによって遂行される。或る実施例では、ステップ340はホスト・コンピュータによって遂行される。
ステップ310のデータ記憶システムが複数データ記憶装置障害を生じたまま作動していないということを、本方法がステップ340で判断する場合、本方法は、ステップ340からステップ350に移行する。ステップ350において、本方法は、ステップ320のRAID障害対応の重複排除プロトコルを使用して、ステップ330のホスト・データを処理する。或る実施例では、ステップ350はRAIDコントローラによって遂行される。或る実施例では、ステップ350はホスト・コンピュータによって遂行される。本方法はステップ350からステップ355に移行し、上述のように継続する。
ステップ310のデータ記憶システムが複数データ記憶装置障害を生じたまま作動しているということを、本方法がステップ340で判断する場合、本方法は、ステップ340からステップ360に移行する。ステップ360において、本方法は、ステップ325の複数装置障害対応の重複排除プロトコルを使用して、ステップ330のホスト・データを処理する。或る実施例では、ステップ360はRAIDコントローラによって遂行される。或る実施例では、ステップ360はホスト・コンピュータによって遂行される。本方法はステップ360からステップ355に移行し、上述のように継続する。
或る実施例として、図5の方法は、重複排除プロトコルを動的にセットするための本発明の方法のステップを要約する。図5を参照すると、ステップ410において、本方法は、RAIDコントローラおよびRAIDアレイを含むデータ記憶システムを提供する。
ステップ420において、本方法は、複数個のインターリーブしたデータ・ブロックを含むホスト・データを提供する。或る実施例では、ステップ420のデータはRAIDコントローラによって受け取られる。或る実施例では、ステップ420はホスト・コンピュータによって遂行される。
ステップ430において、本方法は、RAIDアレイとして構成された障害のあるデータ記憶装置の数Mを決定する。或る実施例では、ステップ430はRAIDコントローラによって遂行される。或る実施例では、ステップ430はホスト・コンピュータによって遂行される。
ステップ440において、本方法は、オフセット係数Oに対する値を設定する。或る実施例では、Oは、0よりも大きいかまたは0に等しく、2よりも小さいかまたは2に等しい。或る実施例では、Oは、0よりも大きいかまたは0に等しく、3よりも小さいかまたは3に等しい。或る実施例では、Oは、0よりも大きいかまたは0に等しく、4よりも小さいかまたは4に等しい。或る実施例では、ステップ440はRAIDコントローラに
よって遂行される。或る実施例では、ステップ440はホスト・コンピュータによって遂行される。
ステップ450において、本方法は下記の式を使ってNに対する値を計算する。
(数式1)

N=(M+1)+M*O
或る実施例では、ステップ450はRAIDコントローラによって遂行される。或る実施例では、ステップ450はホスト・コンピュータによって遂行される。
ステップ460において、本方法は、ステップ420のホスト・データにおける識別された重複データ・ブロックをN個ごとに重複排除する。或る実施例では、ステップ460はRAIDコントローラによって遂行される。或る実施例では、ステップ460はホスト・コンピュータによって遂行される。
下記の例は、図5の方法を作成および使用する方法を当業者に説明するために示される。しかし、これらの例は、本発明の技術的範囲に関する限定として意図されるものではない。
例1
ステップ410のデータ記憶システムが如何なるデータ記憶装置障害もなく作動している場合、数式1を使ってNが1であると計算される。この例では、本方法は、ステップ420のホスト・データにおける識別された重複データ・ブロック毎に重複排除される。
例2
ステップ410のデータ記憶システムがデータ記憶装置障害を生じたまま作動している場合、およびOが0にセットされる場合、数式1を使ってNが2であると計算される。この例では、本方法は、ステップ420のホスト・データにおける識別された重複データ・ブロックの50パーセントを重複排除する。
例3
ステップ410のデータ記憶システムがデータ記憶装置障害を生じたまま作動している場合、およびOが1にセットされる場合、数式1を使ってNが3であると計算される。この例では、本方法は、ステップ420のホスト・データにおける識別された重複データ・ブロックの33.3パーセントを重複排除する。
或る実施例では、図5に示されたステップ440は、図6に詳細に示されたステップを含む。図6を参照すると、ステップ510において、本方法は、最小RAID再構築閾値を設定する。或る実施例では、本方法は、ステップ510において、例えば、しかも限定としてではなく、毎時約100GBの最小RAID再構築率を設定する。或る実施例では、ステップ410のデータ記憶システムの製造者がステップ510を遂行する。或る実施例では、ステップ410のデータ記憶システムの所有者および/またはオペレータがステップ510を遂行する。或る実施例では、ステップ410のデータ記憶システムが相互接続されたホスト・コンピュータがステップ510を遂行する。
ステップ520において、本方法は、最大RAID再構築閾値を設定する。或る実施例では、本方法は、ステップ520において、例えば、しかも限定としてではなく、毎時約200GBの最大RAID再構築率を設定する。或る実施例では、ステップ410のデータ記憶システムの製造者がステップ520を遂行する。或る実施例では、ステップ410のデータ記憶システムの所有者および/またはオペレータがステップ520を遂行する。或る実施例では、ステップ410のデータ記憶システムに相互接続されたホスト・コンピュータがステップ520を遂行する。
ステップ530において、本方法は実際のRAID再構築率を決定する。或る実施例では、ステップ530はRAIDコントローラによって遂行される。或る実施例では、ステップ530はホスト・コンピュータによって遂行される。
ステップ540において、本方法は、ステップ530の実際のRAID再構築率が、ステップ510の最小RAID再構築率閾値よりも小さいかどうかを判断する。或る実施例では、ステップ540はRAIDコントローラによって遂行される。或る実施例では、ステップ540はホスト・コンピュータによって遂行される。
ステップ530の実際のRAID再構築率がステップ510の最小RAID再構築率閾値よりも小さいということを本方法がステップ540において決定する場合、本方法はステップ540からステップ550に移行し、ステップ550では、本方法はオフセット係数Oを2に設定する。或る実施例では、ステップ550はRAIDコントローラによって遂行される。或る実施例では、ステップ550はホスト・コンピュータによって遂行される。本方法はステップ550からステップ450に移行し、前述したように継続する。
ステップ530の実際のRAID再構築率がステップ510の最小RAID再構築率閾値よりも小さくないということを本法がステップ540で決定する場合、本方法はステップ540からステップ560に移行し、ステップ560において、本方法は、ステップ530の実際のRAID再構築率がステップ520の最大RAID再構築率閾値よりも小さいかどうかを判断する。或る実施例では、ステップ560はRAIDコントローラによって遂行される。或る実施例では、ステップ560はホスト・コンピュータによって遂行される。
ステップ530の実際のRAID再構築率がステップ520の最大RAID再構築率閾値よりも小さいということを、本方法がステップ560で決定する場合、本方法はステップ560からステップ570に移行し、ステップ570において、本方法はオフセット係数Oを1に設定する。或る実施例では、ステップ570はRAIDコントローラによって遂行される。或る実施例では、ステップ570はホスト・コンピュータによって遂行される。本方法はステップ570からステップ450に移行し、前述したように継続する。
これらとは別に、ステップ550の実際のRAID再構築率がステップ520の最大RAID再構築率閾値よりも小さくないということを、本方法がステップ560において決定する場合、本方法はステップ560からステップ580に移行し、ステップ580において、本方法はオフセット係数Oを0に設定する。本方法はステップ580からステップ450に移行し、前述したように継続する。
或る実施例では、図4、図5、および図6に示された個々のステップが組み合わされ、削除され、或いは再順序付けされてもよい。
或る実施例では、本発明は、例えば、コンピュータ可読媒体121(図1)のようなコンピュータ可読媒体に存在する命令124(図1)のような命令を含み、それらの命令は、プロセッサ128(図1)のようなプロセッサによって実行され、図4に示されたステップ315、320、325、330、335、340、345、350、355、360、および/または370の1つまたは複数個、図5に示されたステップ420、430、440、450および/または460の1つまたは複数個、および/または、図6に示されたステップ510、520、530、540、550、560、570および/または580のうちの1つまたは複数個を遂行する。
他の実施例では、本発明における命令は、任意のコンピュータ・プログラムに存在する命令を含み、それらの命令は、データ記憶システム100(図1)、200(図2)または202(図3)の外部または内部のコンピュータによって実行され、図4に示されたステップ315、320、325、330、335、340、345、350、355、360、および/または370の1つまたは複数個、図5に示されたステップ420、430、440、450および/または460の1つまたは複数個、および/または、図6に示されたステップ510、520、530、540、550、560、570および/または580のうちの1つまたは複数個を遂行する。いずれの場合も、命令は、例えば、磁気的情報記憶媒体、光学的情報記憶媒体、電子的記憶媒体等を含むコンピュータ可読媒体においてコード化され得る。「電子的記憶媒体」は、PROM、EPROM、EEPROM、Flash PROM、コンパクトフラッシュ、スマートメディア等のような、しかもそれに限定されない、1つまたは複数個の装置を意味する。
本発明の好ましい実施例を詳細に説明したが、「特許請求の範囲」に記載された本発明の技術的範囲から逸脱することなく、これらの実施例に対する修正およびアダプテーションを当業者が想起し得ることは明らかであろう。

Claims (8)

  1. RAIDアレイとして構成された複数個のデータ記憶装置を含むデータ記憶ライブラリにおいて使用するためのデータ重複排除プロトコルを設定するための、コンピュータに実装される方法であって、
    複数個のインターリーブしたデータ・ブロックを含むホスト・データを受け取るステップと、
    障害のあるデータ記憶装置の数Mを決定するステップと、
    オフセット係数Oの値を設定するステップと、
    N=(M+1)+M*O としてNについての値を計算するステップと、
    前記ホスト・データにおける識別された重複データ・ブロックをN個のデータ・ブロックごとに重複排除するステップと
    を含む、前記方法。
  2. Mが0に等しいとき、Oを0に等しく設定するステップを更に含む、請求項1に記載の方法。
  3. Mが1に等しいとき、Oを1に等しく設定するステップを更に含む、請求項1に記載の方法。
  4. Mが2に等しいとき、Oを2に等しく設定するステップを更に含む、請求項1に記載の方法。
  5. 最小RAIDアレイ再構築率閾値を設定するステップと、
    最大RAIDアレイ再構築率閾値を設定するステップと、
    実際のRAIDアレイ再構築率を決定するステップと、
    前記実際のRAIDアレイ再構築率が前記最小RAIDアレイ再構築率閾値よりも小さいかどうかを判断するステップと、
    前記実際のRAIDアレイ再構築率が前記最小RAIDアレイ再構築率閾値よりも小さいとき、Oを2に等しく設定するステップと
    を更に含む、請求項1に記載の方法。
  6. 前記実際のRAIDアレイ再構築率が前記最小RAIDアレイ再構築率閾値よりも小さくないとき、前記実際のRAIDアレイ再構築率が前記最大RAIDアレイ再構築率閾値よりも小さいかどうかを判断するステップと、
    前記実際のRAIDアレイ再構築率が前記最小RAIDアレイ再構築率閾値よりも小さくなく、前記最大RAIDアレイ再構築率閾値よりも小さいとき、Oを1に等しく設定するステップと
    を更に含む、請求項5に記載の方法。
  7. 前記実際のRAIDアレイ再構築率が前記最大RAIDアレイ再構築率閾値よりも小さくない場合、Oを0に等しく設定するステップを更に含む、請求項6に記載の方法。
  8. RAIDアレイとして構成された複数個のデータ記憶装置を含むデータ記憶ライブラリにおいて使用するためのデータ重複排除プロトコルを設定するためのコンピュータ・プログラムであって、コンピュータに、請求項1〜7のいずれか一項に記載の方法の各ステップを実行させる前記コンピュータ・プログラム。
JP2011207613A 2008-03-11 2011-09-22 データ記憶ライブラリのための重複排除プロトコルを選択する装置および方法 Expired - Fee Related JP5147979B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/046,315 2008-03-11
US12/046,315 US8234444B2 (en) 2008-03-11 2008-03-11 Apparatus and method to select a deduplication protocol for a data storage library

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010550113A Division JP4876187B2 (ja) 2008-03-11 2009-02-18 データ記憶ライブラリのための重複排除プロトコルを選択する装置および方法

Publications (2)

Publication Number Publication Date
JP2012043449A JP2012043449A (ja) 2012-03-01
JP5147979B2 true JP5147979B2 (ja) 2013-02-20

Family

ID=40941909

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010550113A Expired - Fee Related JP4876187B2 (ja) 2008-03-11 2009-02-18 データ記憶ライブラリのための重複排除プロトコルを選択する装置および方法
JP2011207613A Expired - Fee Related JP5147979B2 (ja) 2008-03-11 2011-09-22 データ記憶ライブラリのための重複排除プロトコルを選択する装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010550113A Expired - Fee Related JP4876187B2 (ja) 2008-03-11 2009-02-18 データ記憶ライブラリのための重複排除プロトコルを選択する装置および方法

Country Status (6)

Country Link
US (1) US8234444B2 (ja)
EP (1) EP2255287B1 (ja)
JP (2) JP4876187B2 (ja)
KR (1) KR20100135765A (ja)
CN (2) CN102981922B (ja)
WO (1) WO2009112332A2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7640746B2 (en) * 2005-05-27 2010-01-05 Markon Technologies, LLC Method and system integrating solar heat into a regenerative rankine steam cycle
US8416954B1 (en) 2008-09-30 2013-04-09 Emc Corporation Systems and methods for accessing storage or network based replicas of encrypted volumes with no additional key management
US8261068B1 (en) 2008-09-30 2012-09-04 Emc Corporation Systems and methods for selective encryption of operating system metadata for host-based encryption of data at rest on a logical unit
US7840537B2 (en) 2006-12-22 2010-11-23 Commvault Systems, Inc. System and method for storing redundant information
US9501355B2 (en) * 2008-03-31 2016-11-22 International Business Machines Corporation Storing data and directory information in a distributed storage network
US9098495B2 (en) 2008-06-24 2015-08-04 Commvault Systems, Inc. Application-aware and remote single instance data management
US8166263B2 (en) 2008-07-03 2012-04-24 Commvault Systems, Inc. Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices
AU2009296695B2 (en) 2008-09-26 2013-08-01 Commvault Systems, Inc. Systems and methods for managing single instancing data
US9015181B2 (en) 2008-09-26 2015-04-21 Commvault Systems, Inc. Systems and methods for managing single instancing data
US8412677B2 (en) 2008-11-26 2013-04-02 Commvault Systems, Inc. Systems and methods for byte-level or quasi byte-level single instancing
US8166314B1 (en) 2008-12-30 2012-04-24 Emc Corporation Selective I/O to logical unit when encrypted, but key is not available or when encryption status is unknown
US8401996B2 (en) 2009-03-30 2013-03-19 Commvault Systems, Inc. Storing a variable number of instances of data objects
US8578120B2 (en) 2009-05-22 2013-11-05 Commvault Systems, Inc. Block-level single instancing
US8156306B1 (en) 2009-12-18 2012-04-10 Emc Corporation Systems and methods for using thin provisioning to reclaim space identified by data reduction processes
US8140821B1 (en) 2009-12-18 2012-03-20 Emc Corporation Efficient read/write algorithms and associated mapping for block-level data reduction processes
US8671265B2 (en) 2010-03-05 2014-03-11 Solidfire, Inc. Distributed data storage system providing de-duplication of data using block identifiers
JP5691234B2 (ja) * 2010-04-27 2015-04-01 日本電気株式会社 ディスクアレイ装置、及び、ミラーリング制御方法
JP2010257477A (ja) * 2010-06-21 2010-11-11 Hitachi Ltd 記憶制御システム及び同システムの制御方法
US8612699B2 (en) 2010-06-25 2013-12-17 International Business Machines Corporation Deduplication in a hybrid storage environment
WO2012045023A2 (en) 2010-09-30 2012-04-05 Commvault Systems, Inc. Archiving data objects using secondary copies
GB2473409B (en) * 2011-01-17 2013-03-13 Quantum Corp Cloud-based de-duplication
JP5742931B2 (ja) * 2011-03-18 2015-07-01 富士通株式会社 ストレージ装置,制御装置及び制御方法
US8775376B2 (en) 2011-06-30 2014-07-08 International Business Machines Corporation Hybrid data backup in a networked computing environment
US8620886B1 (en) 2011-09-20 2013-12-31 Netapp Inc. Host side deduplication
US8781800B2 (en) 2011-11-01 2014-07-15 International Business Machines Corporation Data de-duplication in computer storage systems
US9054992B2 (en) 2011-12-27 2015-06-09 Solidfire, Inc. Quality of service policy sets
US9838269B2 (en) 2011-12-27 2017-12-05 Netapp, Inc. Proportional quality of service based on client usage and system metrics
US9020890B2 (en) 2012-03-30 2015-04-28 Commvault Systems, Inc. Smart archiving and data previewing for mobile devices
US9633022B2 (en) 2012-12-28 2017-04-25 Commvault Systems, Inc. Backup and restoration for a deduplicated file system
US9336076B2 (en) 2013-08-23 2016-05-10 Globalfoundries Inc. System and method for controlling a redundancy parity encoding amount based on deduplication indications of activity
US9298386B2 (en) 2013-08-23 2016-03-29 Globalfoundries Inc. System and method for improved placement of blocks in a deduplication-erasure code environment
KR101748717B1 (ko) * 2013-09-27 2017-06-19 인하대학교 산학협력단 Ssd 기반 raid 시스템에서 패리티 데이터의 중복제거
US9454434B2 (en) * 2014-01-17 2016-09-27 Netapp, Inc. File system driven raid rebuild technique
US10324897B2 (en) 2014-01-27 2019-06-18 Commvault Systems, Inc. Techniques for serving archived electronic mail
US20150244795A1 (en) 2014-02-21 2015-08-27 Solidfire, Inc. Data syncing in a distributed system
US10242020B2 (en) * 2014-06-17 2019-03-26 International Business Machines Corporation Placement of data fragments generated by an erasure code in distributed computational devices based on a deduplication factor
US10133511B2 (en) 2014-09-12 2018-11-20 Netapp, Inc Optimized segment cleaning technique
US9836229B2 (en) 2014-11-18 2017-12-05 Netapp, Inc. N-way merge technique for updating volume metadata in a storage I/O stack
US9645897B2 (en) 2015-03-11 2017-05-09 International Business Machines Corporation Using duplicated data to enhance data security in RAID environments
US10324914B2 (en) 2015-05-20 2019-06-18 Commvalut Systems, Inc. Handling user queries against production and archive storage systems, such as for enterprise customers having large and/or numerous files
US10929022B2 (en) 2016-04-25 2021-02-23 Netapp. Inc. Space savings reporting for storage system supporting snapshot and clones
US10235396B2 (en) * 2016-08-29 2019-03-19 International Business Machines Corporation Workload optimized data deduplication using ghost fingerprints
US10642763B2 (en) 2016-09-20 2020-05-05 Netapp, Inc. Quality of service policy sets
KR102611571B1 (ko) * 2016-11-09 2023-12-07 삼성전자주식회사 비휘발성 메모리를 포함하는 raid 시스템
US10846178B2 (en) * 2019-01-11 2020-11-24 EMC IP Holding Company LLC Hash-based remote rebuild assistance for content addressable storage systems
US20200241781A1 (en) 2019-01-29 2020-07-30 Dell Products L.P. Method and system for inline deduplication using erasure coding
US11442642B2 (en) 2019-01-29 2022-09-13 Dell Products L.P. Method and system for inline deduplication using erasure coding to minimize read and write operations
US20210034472A1 (en) * 2019-07-31 2021-02-04 Dell Products L.P. Method and system for any-point-in-time recovery within a continuous data protection software-defined storage
US11328071B2 (en) 2019-07-31 2022-05-10 Dell Products L.P. Method and system for identifying actor of a fraudulent action during legal hold and litigation
US11609820B2 (en) 2019-07-31 2023-03-21 Dell Products L.P. Method and system for redundant distribution and reconstruction of storage metadata
US11372730B2 (en) 2019-07-31 2022-06-28 Dell Products L.P. Method and system for offloading a continuous health-check and reconstruction of data in a non-accelerator pool
US11775193B2 (en) 2019-08-01 2023-10-03 Dell Products L.P. System and method for indirect data classification in a storage system operations
JP7413396B2 (ja) * 2019-10-29 2024-01-15 積水化成品工業株式会社 中空樹脂粒子およびその製造方法
US11281535B2 (en) 2020-03-06 2022-03-22 Dell Products L.P. Method and system for performing a checkpoint zone operation for a spare persistent storage
US11416357B2 (en) 2020-03-06 2022-08-16 Dell Products L.P. Method and system for managing a spare fault domain in a multi-fault domain data cluster
US11301327B2 (en) 2020-03-06 2022-04-12 Dell Products L.P. Method and system for managing a spare persistent storage device and a spare node in a multi-node data cluster
US11418326B2 (en) 2020-05-21 2022-08-16 Dell Products L.P. Method and system for performing secure data transactions in a data cluster
US11403175B2 (en) * 2020-07-31 2022-08-02 EMC IP Holding Company LLC Rebuilding data previously stored on a failed data storage drive

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5486844A (en) 1992-05-01 1996-01-23 Radius Inc Method and apparatus for superimposing displayed images
DE4323471C2 (de) 1993-07-14 1996-10-17 Atecom Advanced Telecommunicat Anordnung und Verfahren zum Bearbeiten von Datenstrukturen bei deren Durchlauf durch einen Netzwerkknoten
US6453396B1 (en) 1999-07-14 2002-09-17 Compaq Computer Corporation System, method and computer program product for hardware assisted backup for a computer mass storage system
JP3623697B2 (ja) 1999-07-29 2005-02-23 富士通株式会社 ディスク・タイムシェアリング装置及び方法
US6647514B1 (en) 2000-03-23 2003-11-11 Hewlett-Packard Development Company, L.P. Host I/O performance and availability of a storage array during rebuild by prioritizing I/O request
US6636878B1 (en) 2001-01-16 2003-10-21 Sun Microsystems, Inc. Mechanism for replicating and maintaining files in a spaced-efficient manner
US7072910B2 (en) * 2002-03-22 2006-07-04 Network Appliance, Inc. File folding technique
JP4322068B2 (ja) * 2003-03-07 2009-08-26 富士通株式会社 ストレージシステム及びそのデイスク負荷バランス制御方法
JP4225378B2 (ja) 2003-12-17 2009-02-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 複製装置、複製方法、複製プログラム、ブロック識別情報取得プログラム、及び記録媒体
US7188212B2 (en) * 2004-05-06 2007-03-06 International Business Machines Corporation Method and system for storing data in an array of storage devices with additional and autonomic protection
JP4324088B2 (ja) 2004-12-17 2009-09-02 富士通株式会社 データ複製制御装置
JP2006236001A (ja) * 2005-02-24 2006-09-07 Nec Corp ディスクアレイ装置
US7401253B2 (en) * 2005-05-09 2008-07-15 International Business Machines Corporation Convolution-encoded data storage on a redundant array of independent devices
JP4690783B2 (ja) 2005-06-08 2011-06-01 株式会社日立製作所 ボリューム管理システムおよびその方法
US8165221B2 (en) * 2006-04-28 2012-04-24 Netapp, Inc. System and method for sampling based elimination of duplicate data
US8412682B2 (en) 2006-06-29 2013-04-02 Netapp, Inc. System and method for retrieving and using block fingerprints for data deduplication
US7853750B2 (en) * 2007-01-30 2010-12-14 Netapp, Inc. Method and an apparatus to store data patterns

Also Published As

Publication number Publication date
WO2009112332A3 (en) 2010-02-25
WO2009112332A2 (en) 2009-09-17
KR20100135765A (ko) 2010-12-27
JP2012043449A (ja) 2012-03-01
CN102981922A (zh) 2013-03-20
CN102981922B (zh) 2015-08-26
US20090235022A1 (en) 2009-09-17
EP2255287B1 (en) 2012-11-07
JP4876187B2 (ja) 2012-02-15
EP2255287A2 (en) 2010-12-01
US8234444B2 (en) 2012-07-31
CN101971148A (zh) 2011-02-09
CN101971148B (zh) 2013-04-17
JP2011515746A (ja) 2011-05-19

Similar Documents

Publication Publication Date Title
JP5147979B2 (ja) データ記憶ライブラリのための重複排除プロトコルを選択する装置および方法
US10613934B2 (en) Managing RAID parity stripe contention
US10360119B2 (en) Data recovery in a distributed storage system
US7979635B2 (en) Apparatus and method to allocate resources in a data storage library
US9389975B2 (en) Method and apparatus to utilize large capacity disk drives
US8984241B2 (en) Heterogeneous redundant storage array
US8719619B2 (en) Performance enhancement technique for raids under rebuild
US11157361B2 (en) Efficient utilization of storage space in arrays of storage drives
US20160170841A1 (en) Non-Disruptive Online Storage Device Firmware Updating
US7962690B2 (en) Apparatus and method to access data in a raid array
US10133640B2 (en) Storage apparatus and storage system
US11748196B2 (en) Adaptive parity rotation for redundant arrays of independent disks
US11080136B2 (en) Dropped write error detection
US10133630B2 (en) Disposable subset parities for use in a distributed RAID
US20210034472A1 (en) Method and system for any-point-in-time recovery within a continuous data protection software-defined storage

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120626

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120626

TRDD Decision of grant or rejection written
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121102

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20121102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121127

R150 Certificate of patent or registration of utility model

Ref document number: 5147979

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees