JP4412509B2 - ストレージシステムの容量拡張制御方法 - Google Patents

ストレージシステムの容量拡張制御方法 Download PDF

Info

Publication number
JP4412509B2
JP4412509B2 JP2007261622A JP2007261622A JP4412509B2 JP 4412509 B2 JP4412509 B2 JP 4412509B2 JP 2007261622 A JP2007261622 A JP 2007261622A JP 2007261622 A JP2007261622 A JP 2007261622A JP 4412509 B2 JP4412509 B2 JP 4412509B2
Authority
JP
Japan
Prior art keywords
logical volume
expansion
replication
capacity
difference map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007261622A
Other languages
English (en)
Other versions
JP2009093315A (ja
Inventor
隆則 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007261622A priority Critical patent/JP4412509B2/ja
Priority to US12/246,155 priority patent/US20090094427A1/en
Publication of JP2009093315A publication Critical patent/JP2009093315A/ja
Application granted granted Critical
Publication of JP4412509B2 publication Critical patent/JP4412509B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ボリューム複製機能を持つストレージシステムに関し、特にストレージシステムにおける論理ボリュームの容量拡張制御方法に関する。
コンピュータシステムは、ますます大規模化され、大量のデータ処理を行うとともに、その大量のデータを格納保管している。データ格納装置(ストレージシステム)としては、例えば複数のハードディスクを1つにまとめたディスクアレイ装置がある。一般的に、大量のデータはデータ複製技術を利用してバックアップされ、ディスクアレイ装置に複製、多重化されて格納されている。ディスクアレイ装置のデータ格納領域は、物理的なハードディスクの配置ではなく、複数の論理ボリュームとして分割されている。複数の論理ボリュームのそれぞれが、論理的に1つのディスクとして取り扱われる記憶領域となる。
データが複製された論理ボリューム同士はペア関係にあり、複製元論理ボリューム及び複製先論理ボリュームと呼ぶ。業務を行う論理ボリュームが複製元論理ボリュームであり、その複製データを保管するのが複製先論理ボリュームである。さらに論理ボリュームはそれぞれ差分マップを備えている。データを複製する場合には、この差分マップに従って、業務を行っている複製元論理ボリュームから複製先論理ボリュームへブロック単位にデータ複製する。このように差分マップによりブロック単位にデータ複製することで、複製するデータ量が少なくなり、複製の効率が向上できる。
差分マップとは、論理ボリュームのある単位長のブロック内のデータが更新されたか否かを示す情報管理テーブルのことである。複製元論理ボリューム及び複製先論理ボリュームのそれぞれを、ある単位長のブロック単位に分割する。差分マップは、このブロック単位に当該ブロック内のデータが更新されたか否かを示す差分情報(ビット列)を保持している。バックアップ、リストアを行う場合は、論理ボリュームの差分マップの論理和を計算することにより、変更部分のブロックのみを複製すればよいことになる。バックアップとは、複製元論理ボリュームから複製先論理ボリュームへの複製処理であり、リストアとは複製先論理ディスクから複製元論理ディスクへの複製処理である。
このように差分マップを利用することで、変更のあるブロック部分のみの複製処理となり、最小限の時間で複製処理が完了できる。例えば、2TB(テラバイト)の容量をもつ論理ボリューム1ペアのバックアップを行う場合、同期(複製、コピー)完了までに最短でも6時間程度の時間が必要である。しかし差分マップに従って変更ブロックのみを複製することで、この複製時間を大幅に短縮できる。また複数ペアのバックアップ操作、ディスクアレイ負荷状態、回線速度(ディスクアレイ装置間の論理ボリューム複製機能の場合)などの要因により、これらの複製処理時間はさらに増大するものである。
コンピュータシステムにおけるストレージシステムに関係する先行特許文献として下記文献がある。特許文献1(特開2006−113975号公報)には、ペア操作時に失われたデータを特定し、消失データに関する情報を出力する技術が開示されている。特許文献1のコンピュータシステムは、管理サーバとそれぞれがストレージシステムを備えた複数の業務サーバを備えている。管理サーバは、ペア状態を変更する要求を受信すると、管理情報を参照して、ペア変更により論理ボリュームから失われるデータを特定する。データを特定することで、意図しないデータの消失を防止している。
特許文献2(特開2006−251937号公報)には、複製元論理ボリュームに関する管理リソースの消費を抑え複製先論理ボリュームの作成可能世代数を拡大できる技術が開示されている。特許文献3(特開2007−164674号公報)には、新規のHDDを追加して論理ボリュームの容量を拡張する際に迅速に容量を拡張することができる容量拡張方法が開示されている。特許文献4(特開平11−327803号公報)には、複数の論理ボリュームを1つの拡張論理ユニットとし、拡張論理ユニット単位でのデータ多重化を行う技術が開示されている。
上記した先行特許文献においては、コンピュータシステムにおけるストレージシステムに関し、それぞれ本願と関連する技術が開示されている。しかし、いずれの先行特許文献にも、本願における課題や、解決するための手段に関する記載・示唆がなされていない。
特開2006−113975号公報 特開2006−251937号公報 特開2007−164674号公報 特開平11−327803号
上記した先行特許文献には、ストレージシステムに関連するそれぞれの課題と、その課題を解決する先行技術が開示されている。しかし、さらにディスクアレイ装置内およびディスクアレイ装置間の論理ボリューム複製機能を持つディスクアレイ装置の容量拡張を行う場合には、以下のような問題がある。
論理ボリューム複製機能を持つディスクアレイ装置の容量拡張を行う場合には、複製元論理ボリュームと複製先論理ボリュームのペア解除が必要である。このペア解除により、差分マップ情報も破棄されている。ペア解除を行い、業務論理ボリューム(複製元論理ボリューム)と複製先論理ボリュームとなる論理ボリュームの容量拡張を行った後で、再度ペア設定を行う。ペア再設定後の1回目のバックアップ機能利用時には、差分マップ情報が破棄されており、複製元論理ボリュームの記憶領域全体のコピーが必要となる。すなわち複製元論理ボリュームから複製先論理ボリュームへのフルコピーが必要となる。このバックアップ作成に膨大な時間が必要であるという問題があり、この問題を解決するための容量拡張方法が必要となってくる。
本発明は、かかる問題点に鑑みなされたものである。本発明の目的は、複製元と複製先論理ボリュームのペア関係、差分マップ情報を保持したまま複製元及び複製先論理ボリュームの論理ボリューム、差分マップの容量拡張制御方法を提供することにある。
本発明のストレージシステムの容量拡張制御方法は、複製元論理ボリュームと複製先論理ボリュームとのペア関係と、前記複製元論理ボリューム内のある単位長のブロック単位にデータが更新されたか否かを示す複製元論理ボリュームの差分マップと、前記複製先論理ボリューム内のある単位長のブロック単位にデータが更新されたか否かを示す複製先論理ボリュームの差分マップと、を保持した状態で、前記複製元論理ボリュームの容量及び前記複製元論理ボリュームの差分マップの容量と、前記複製先論理ボリュームの容量及び前記複製先論理ボリュームの差分マップの容量と、を拡張する第1の手順を備え、
前記第1の手順における前記複製元論理ボリュームの差分マップと前記複製先論理ボリューム差分マップの容量拡張は、それぞれの差分マップが存在する領域に連続した連続領域に拡張可能な場合はそれぞれの連続領域に拡張し、それぞれの連続領域に拡張不可能な場合は別の領域に新しく拡張した差分マップをそれぞれ作成し、拡張前のそれぞれの古い差分マップの差分情報を複製した後、前記拡張前のそれぞれの古い差分マップを破棄し、
前記第1の手順における前記複製元論理ボリューム及び前記複製先論理ボリュームの容量拡張は、それぞれの前記論理ボリュームが存在する領域に連続した連続領域に拡張可能な場合はそれぞれの連続領域に拡張し、それぞれの連続領域に拡張不可能な場合はそれぞれの前記論理ボリュームが存在する領域と離れた不連続領域を拡張領域として拡張することを特徴とする。
また本発明のストレージシステムは、複製元論理ボリュームと複製先論理ボリュームとのペア設定、ペア解除、バックアップ及びリストアを制御するペア制御手段と、複製元論理ボリュームの容量及び前記複製元論理ボリューム内のある単位長のブロック単位にデータが更新されたか否かを示す複製元論理ボリュームの差分マップの容量と、複製先論理ボリュームの容量及び前記複製先論理ボリューム内のある単位長のブロック単位にデータが更新されたか否かを示す複製先論理ボリュームの差分マップの容量と、をそれぞれ拡張する論理ボリューム拡張手段とを備え、
前記ペア制御手段は特定の複製元論理ボリュームと複製先論理ボリュームとをペア設定し、前記論理ボリューム拡張手段は前記ペア制御手段によりペア設定された状態で、
そのペア設定された複製元論理ボリュームと複製先論理ボリュームの論理ボリュームの容量を、それぞれの前記論理ボリュームが存在する領域に連続した連続領域に拡張可能な場合はそれぞれの連続領域に拡張し、それぞれの連続領域に拡張不可能な場合はそれぞれの前記論理ボリュームが存在する領域と離れた不連続領域を拡張領域として拡張し、
そのペア設定された複製元論理ボリュームと複製先論理ボリュームの差分マップの容量を、それぞれの差分マップが存在する領域に連続した連続領域に拡張可能な場合はそれぞれの連続領域に拡張し、それぞれの連続領域に拡張不可能な場合は別の領域に新しく拡張した差分マップを作成し、拡張前のそれぞれの古い差分マップの差分情報を複製した後、前記拡張前のそれぞれの古い差分マップを破棄することを特徴とする。
本発明により、複製元と複製先論理ボリュームのペア関係、差分マップ情報を保持したまま、複製元及び複製先論理ボリュームの容量を拡張することができる。本発明によれば、ペア関係と差分マップを保持していることから、容量拡張後の最初のバックアップ及びリストアはブロック複製とすることができる。論理ボリューム全体の複製ではなく、部分的なブロック複製となることから、その複製時間が大幅に短縮できる効果が得られる。
以下、本発明の実施の形態として、図面を参照して詳細に説明する。
第1の実施形態として、図1〜10を参照して詳細に説明する。図1には、第1の実施形態におけるシステム構成図を示す。図2、図4には、従来のレプリケート状態、セパレート状態における容量拡張手順を示す。図3には、本発明のレプリケート状態及びセパレート状態における容量拡張手順を示す。図5には、本発明における論理ボリューム拡張操作手段の動作フローを示す。図6には本発明における論理ボリューム拡張手段の動作フローを示し、その詳細として処理(1)〜(4)の動作フローを、それぞれ図7〜10に示す。
図1に示すシステムは、サーバ1000、2000とディスクアレイ装置3000、4000から構成されている。本システムのサーバ1000は、例えば業務アプリケーションなどが動作するサーバであり、サーバ2000はバックアップアプリケーションなどが動作するサーバである。サーバ1000とファイバチャネルで接続されたディスクアレイ装置3000は、ディスクアレイ装置間の論理ボリューム複製機能を有している。さらにサーバ2000とファイバチャネルで接続されたディスクアレイ装置4000は、ディスクアレイ装置間の論理ボリューム複製機能を有している。
本発明においては、ストレージシステムA、Bをディスクアレイ装置3000、4000として説明している。しかし、ストレージシステムはディスクアレイ装置に特に限定されるものでない。複数のハードディスクを利用したディスクアレイ装置や、複数のフロッピー(登録商標)ディスクやCD−ROMにより構成されたストレージシステム等にも適用できるものである。本発明は記憶メディアに限定されることなく、全てのストレージシステムに適用できる。
サーバ1000は、サーバ1000上で動作するペア操作手段101と、論理ボリューム拡張操作手段102と、論理ボリューム拡張認識操作手段103を備えている。これらの各手段は、オペレータの指示入力に従って動作し、それぞれ下記のように動作する。
・ペア操作手段101
ペア操作手段101は、論理ボリュームのペア設定、ペア解除、ペア関係にある論理ボリューム間のバックアップ、リストアをディスクアレイ3000のペア制御手段301に指示する機能を持つ。ペア操作手段101は、ディスクアレイ装置3000、4000内にそれぞれ存在する同一容量の論理ボリュームをペア関係として指定する。さらにペア操作手段101は、ペア関係にある論理ボリューム間のバックアップ、リストアを指示する。ここではディスクアレイ装置3000の論理ボリューム311が複製元論理ボリューム、ディスクアレイ装置4000の論理ボリューム411が複製先論理ボリュームとなる。
・論理ボリューム拡張操作手段102
論理ボリューム拡張操作手段102は、ディスクアレイ装置3000上に存在する論理ボリューム311の容量拡張を論理ボリューム拡張手段302に指示する機能を持つ。
・論理ボリューム拡張認識操作手段103
論理ボリューム拡張認識操作手段103は、論理ボリューム管理テーブル313の拡張後サイズを返却データサイズに設定するように、論理ボリューム情報設定手段303に指示する機能を持つ。
サーバ2000は、サーバ2000上で動作する論理ボリューム拡張認識操作手段203を備えている。この論理ボリューム拡張認識操作手段203は、オペレータの指示入力により動作し、下記のように動作する。
・論理ボリューム拡張認識操作手段203
論理ボリューム拡張認識操作手段203は、論理ボリューム管理テーブル413の拡張後サイズを返却データサイズに設定するように、論理ボリューム情報設定手段403に指示する機能を持つ。
ディスクアレイ装置3000は、ペア制御手段301と、論理ボリューム拡張手段302と、論理ボリューム情報設定手段303と、論理ボリューム情報返却手段304と、通信制御手段305を備えている。ディスクアレイ装置3000の各手段の動作について説明する。
・ペア制御手段301
ペア制御手段301は、ペア操作手段101により指示された論理ボリュームのペア設定、ペア解除、ペア関係にある論理ボリュームのバックアップ、リストアを行う機能を持つ。例えば、ペア制御手段301は、ディスクアレイ装置3000の論理ボリューム311と、ディスクアレイ装置4000の論理ボリューム411とをペア設定、あるいはそのペア関係を解除する。バックアップは複製元論理ボリューム311から複製先論理ボリューム411へのデータ複製であり、リストアは複製先論理ボリューム411から複製元論理ボリューム311へのデータ複製である。
ペア設定指示の場合、ペア制御手段301は、複製元論理ボリューム311の実データサイズ(実容量)から必要な差分マップのサイズを計算し、差分マップ312を生成する。さらに、ペア制御手段301は、ペア管理テーブル314を確保し複製元、複製先ボリューム情報、ペア状態の設定を行う。また、ペア制御手段301は、複製先論理ボリューム411の差分マップ412、ペア管理テーブル414の確保、設定についてはペア制御手段401に指示する。ペア解除指示の場合、ペア制御手段301は、論理ボリューム311の差分マップ312、ペア管理テーブル314の解放を行う。ペア制御手段301は、複製先論理ボリューム411の差分マップ412、ペア管理テーブル414の解放についてはペア制御手段401に指示する。
バックアップ指示の場合、ペア制御手段301は、ペア制御手段401に指示し、差分マップ412を取得する。差分マップ312、412との論理和を計算しビットがONとなっているブロックのデータで複製先論理ボリューム411を更新するようにペア制御手段401に指示する。リストア指示の場合、ペア制御手段301は、ペア制御手段401に指示し差分マップ412を取得する。ペア制御手段301は、差分マップ312、412との論理和を計算しビットがONとなっている複製先論理ボリューム411のブロックのデータを送信するようペア制御手段401に指示する。ペア制御手段301は、複製先論理ボリューム411からの取得データを使用して複製元論理ボリューム311を更新する。
・論理ボリューム拡張手段302
論理ボリューム拡張手段302は、論理ボリューム拡張操作手段102により指示された論理ボリュームの容量拡張を行う機能を持つ。論理ボリューム拡張手段302は、論理ボリューム311がペア設定されていない場合は論理ボリューム311の容量拡張を行う。その論理ボリュームが存在する領域に連続した連続領域に拡張可能な場合には、論理ボリューム拡張手段302は、その連続領域に拡張する。連続領域に拡張不可能な場合には、論理ボリューム拡張手段302は、その連続領域以外で連続領域と離れた領域(不連続領域)を拡張領域として拡張する。論理ボリュームは拡張前の領域と、拡張領域とは離れた領域に分割配置されるが、このとき論理ボリューム内のブロックは1つの連続した領域とする。論理ボリューム管理テーブル313の拡張後サイズに新しいサイズを設定する。
論理ボリューム311がペア設定されている場合、論理ボリューム拡張手段302は以下のように動作する。論理ボリューム拡張手段302は、複製先論理ボリューム411の容量拡張、差分マップ412の容量拡張を行うよう論理ボリューム拡張手段402に指示する。論理ボリューム拡張手段302は、複製先論理ボリューム411と差分マップ412の容量拡張が正常終了した後に、複製元論理ボリューム311を拡張する。論理ボリューム拡張手段302は、まず複製元論理ボリューム311の差分マップ312について差分情報を保持したまま連続領域として拡張可能か否か調べる。拡張可能な場合は連続領域に拡張する。連続領域として拡張できない場合、論理ボリューム拡張手段302は、新しい差分マップを作成し古い差分情報をコピーした後、古い差分マップを破棄する。
このとき論理ボリュームの拡張部分については複製元論理ボリューム311と複製先論理ボリューム411は同じ値で初期化される。そのため差分はゼロであり差分マップ拡張部分は差分情報ビットを立てる必要はない。またこの処理では業務によるIO処理で差分マップへのアクセスが発生するため、ロック制御を適切に行う。メモリ不足により差分マップを確保できない場合、複製先論理ボリューム411の差分マップ412、容量を元の大きさに切り戻す。切り戻しを、ディスクアレイ装置4000の論理ボリューム拡張手段402に指示し、切り戻しが完了した後でエラーを返却する。
次に、論理ボリューム拡張手段302は、複製元論理ボリューム311の容量拡張が可能か否かを調べる。連続領域として拡張可能な場合には、論理ボリューム拡張手段302は、その連続領域に拡張する。連続領域に拡張不可能な場合には、論理ボリューム拡張手段302は、連続領域以外を拡張領域として拡張する。このとき論理ボリューム内のブロックは1つの連続した領域とする。物理ディスク不足等で論理ボリュームの容量拡張が不可能な場合、論理ボリューム拡張手段302は、複製先論理ボリューム411の切り戻し処理をディスクアレイ装置4000の論理ボリューム拡張手段402に指示する。論理ボリューム拡張手段302は、切り戻しが完了した後で差分マップ312を元のサイズに切り戻してエラーを返却する。すべて正常に終了した場合、論理ボリューム拡張手段302は、論理ボリューム管理テーブル313の拡張後サイズを更新し正常終了を返却する。
・論理ボリューム情報設定手段303
論理ボリューム情報設定手段303は、論理ボリューム拡張認識操作手段103により指示された論理ボリューム311に関連する論理ボリューム管理テーブル313の返却データサイズに拡張後サイズを設定する機能を持つ。
・論理ボリューム情報返却手段304
論理ボリューム情報返却手段304は、論理ボリューム管理テーブル313の返却データサイズに設定された値を、サーバに返却する機能を持つ。オペレータの指示入力によるサーバ1000(オペレーティングシステム)からの論理ボリューム311の容量確認問い合わせ(SCSIコマンド)に対して、返却データサイズを返却する。
・通信制御手段305
通信制御手段305は、ディスクアレイ装置4000との通信を制御する機能を持つ。ディスクアレイ装置4000とのすべてのデータ受け渡し、指示の受け渡しはこの手段を経由する。
ディスクアレイ装置3000は上記した手段の他に、論理ボリューム311、差分マップ312、論理ボリューム管理テーブル313、ペア管理テーブル314を備えている。論理ボリューム311は、論理的に1つのディスクとして取り扱われる記憶領域であり、ペア設定の場合には複製元論理ボリュームとなる。図では論理ボリューム311として1個のみ示しているが、複数個備えることができる。差分マップ312は論理ボリュームに対して、それぞれ設けられる。差分マップ312は論理ボリュームのある単位長のブロック内のデータが更新されたか否かを示す情報管理テーブルである。論理ボリュームをある単位長のブロック単位に分割し、差分マップはこのブロック単位に当該ブロック内のデータが更新されたか否かを示す差分情報(ビット列)を保持している。
論理ボリューム管理テーブル313は、論理ボリューム311の拡張前サイズ、拡張後サイズ、返却データサイズを情報として有している。返却データサイズは拡張後サイズであり、論理ボリューム情報返却手段304に返却するデータである。ペア管理テーブル314は、複製元ボリューム情報、複製先ボリューム情報及びペア状態であるかどうかのペア情報を有している。
ディスクアレイ装置4000は、ペア制御手段401と、論理ボリューム拡張手段402と、論理ボリューム情報設定手段403と、論理ボリューム情報返却手段404と、通信制御手段405を備えている。これらの手段の動作について、以下説明する。
・ペア制御手段401
ペア制御手段401は、ディスクアレイ装置3000上のペア制御手段301により指示された論理ボリュームのペア設定、ペア解除を制御する機能を持つ。ペア設定指示の場合は、ペア制御手段401は、複製先論理ボリューム411の実データサイズ(実容量)から必要な差分マップのサイズを計算し、差分マップ412を生成する。さらに、ペア制御手段401は、ペア管理テーブル414を確保し複製元、複製先ボリューム情報、ペア状態の設定を行う。ペア解除指示の場合は、ペア制御手段401は、差分マップ412、ペア管理テーブル414を破棄する。ペア制御手段301から差分マップ返却を指示された場合には、ペア制御手段401は、差分マップ412の情報を返却する。バックアップの場合は、ペア制御手段401は、ペア制御手段301から送信されたデータを使用し複製先論理ボリューム411を更新する。リストアの場合は、ペア制御手段401は、ペア制御手段301の指示された差分マップの論理和データを取得後、ビットがONとなっているブロックのデータをペア制御手段301に送信する。
・論理ボリューム拡張手段402
論理ボリューム拡張手段402は、ディスクアレイ装置3000の論理ボリューム拡張手段302の指示に従い、複製先論理ボリューム411及び差分マップ412の容量拡張を行う機能を持つ。論理ボリューム拡張手段402は、複製先論理ボリューム411の差分マップ412について差分情報を保持したまま連続領域として拡張可能か否か調べる。拡張可能な場合、論理ボリューム拡張手段402は、連続領域に拡張する。連続領域として拡張できない場合、論理ボリューム拡張手段402は、新しい差分マップを作成し従来の差分情報をコピーした後、古い差分マップを破棄する。このとき論理ボリュームの拡張部分については複製元論理ボリューム311と複製先論理ボリューム411は同じ値で初期化される。そのため差分はゼロであり差分マップ拡張部分はビットを立てる必要はない。上記処理ではIO処理で差分マップへのアクセスが発生するため、ロック制御を適切に行う。メモリ不足により差分マップを確保できない場合、エラーを返却する。
差分マップの拡張が正常処理された場合、論理ボリューム拡張手段402は、複製先論理ボリューム411の容量拡張が可能か否かを調べる。連続領域として拡張可能な場合には、論理ボリューム拡張手段402は、その連続領域に拡張する。連続領域に拡張不可能な場合には、論理ボリューム拡張手段402は、別な領域を拡張領域として割付、拡張する。このとき論理ボリューム内のブロックは1つの連続した領域とする。物理ディスク不足等で論理ボリュームの容量拡張が不可能な場合、論理ボリューム拡張手段402は、差分マップ412の切り戻し処理を実施後、エラーを返却する。論理ボリュームの容量拡張が可能な場合、論理ボリューム拡張手段402は容量拡張を行う。論理ボリューム拡張手段402は、すべての容量拡張が正常に終了した後、複製先論理ボリューム411に関連する論理ボリューム管理テーブル413の拡張後サイズを更新し、正常終了を返却する。また、ディスクアレイ装置3000の論理ボリューム拡張手段302から論理ボリュームと差分マップと容量の切り戻しを指示された場合は、論理ボリューム拡張手段402は、論理ボリューム411、差分マップ412、論理ボリューム管理テーブル413をもとのサイズに切り戻し処理を行う。
・論理ボリューム情報設定手段403
論理ボリューム情報設定手段403は、論理ボリューム拡張認識操作手段203により指示された論理ボリューム411に関連する論理ボリューム管理テーブル413の返却データサイズに拡張後サイズの値を設定する機能を持つ。
・論理ボリューム情報返却手段404
論理ボリューム情報返却手段404は、論理ボリューム管理テーブル413の返却データサイズに設定された値を返却する機能を持つ。サーバ2000(オペレーティングシステム)からの論理ボリューム411の容量確認問い合わせ(SCSIコマンド)に対して、論理ボリューム情報返却手段404は、返却データサイズを返却する。
・通信制御手段405
通信制御手段405は、ディスクアレイ装置3000との通信を制御する機能を持つ。通信制御手段405は、ディスクアレイ装置3000とのすべてのデータ受け渡し、指示の受け渡しはこの手段を経由する。
ディスクアレイ装置4000は上記した手段の他に、論理ボリューム411、差分マップ412、論理ボリューム管理テーブル413、ペア管理テーブル414を備えている。論理ボリューム411は、論理的に1つのディスクとして取り扱われる記憶領域であり、ペア設定の場合には複製先論理ボリュームとなる。図では論理ボリューム411として1個の論理ボリュームを示しているが、複数個備えることができる。
差分マップ412は論理ボリュームに対して、それぞれ設けられている。差分マップ412は論理ボリュームのある単位長のブロック内のデータが更新されたか否かを示す情報管理テーブルのことである。論理ボリュームをある単位長のブロック単位に分割し、差分マップはこのブロック単位に当該ブロック内のデータが更新されたか否かを示す差分情報(ビット列)を保持している。論理ボリューム管理テーブル413は、論理ボリュームの拡張前サイズ、拡張後サイズ、返却データサイズを情報として有している。返却データサイズは拡張後サイズであり、論理ボリューム情報返却手段404に返却するデータである。ペア管理テーブル414は、複製元ボリューム情報、複製先ボリューム情報及びペア状態であるかどうかのペア情報を有している。
次に、図12に従来のシステム構成図を示す。システムは、サーバ1000、2000とディスクアレイ装置3000、4000から構成されている。このサーバとディスクアレイ装置の構成は、本発明の構成と同一構成であるが、その内部を構成する各種手段が異なる。本発明と、従来のシステムに設けられた手段の大きな相違点は下記のとおりである。従来構成には、論理ボリューム認識操作手段103、203、論理ボリューム情報設定手段303、403が設けられていない。さらにサーバ2000には論理ボリューム拡張操作手段202が設けられている。この論理ボリューム拡張操作手段202はオペレータの指示入力により動作する。論理ボリューム拡張操作手段202の指示により論理ボリューム拡張手段402が複製先論理ボリューム411の容量を拡張する。すなわち複製元と複製先論理ボリュームの容量拡張は別々の指示入力により行われることになる。
ペア操作手段101は、オペレータの指示入力により動作し、ペア制御手段301に指示する。論理ボリューム拡張操作手段102は、オペレータの指示入力により動作し、論理ボリューム拡張手段302に指示する。論理ボリューム拡張操作手段202は、オペレータの指示入力により動作し、論理ボリューム拡張手段402に指示する。ペア制御手段301は、ペア操作手段101により指示された論理ボリュームのペア設定、ペア解除、複製元と複製先論理ボリューム間のバックアップ、リストアを行う。複製先論理ボリュームに対する処理は、ペア制御手段401に指示する。論理ボリューム拡張手段302は、論理ボリューム拡張操作手段102により指示された論理ボリュームの容量拡張を行う。論理ボリューム情報返却手段304は、オペレータの指示入力によるサーバのOSからの論理ボリュームの容量確認問い合わせ(SCSIコマンド)を受信する。論理ボリューム管理テーブル313の返却データサイズをOSに送信し、拡張後サイズをOSに認識させる。
ペア制御手段401は、ペア制御手段301により指示された論理ボリュームのペア設定、ペア解除、複製元と複製先論理ボリューム間のバックアップ、リストアを行う。論理ボリューム拡張手段402は、論理ボリューム拡張操作手段202により指示された論理ボリュームの容量拡張を行う。論理ボリューム情報返却手段404は、オペレータの指示入力によるサーバのOSからの論理ボリュームの容量確認問い合わせ(SCSIコマンド)を受信する。論理ボリューム管理テーブル413の返却データサイズをOSに送信し、拡張後サイズをOSに認識させる。またディスクアレイ装置3000、4000は、それぞれ論理ボリューム311、411、差分マップ312、412、論理ボリューム管理テーブル313、413、ペア管理テーブル314、414および通信制御装置305、405を備えている。これらの構成部品の機能は本発明のシステムとほぼ同様である。これらの手段や、構成部品の動作については、動作フローとして後述する。
図2〜図4を参照し、第1の実施形態について、その容量拡張手順を説明する。図2には従来例におけるレプリケート状態の容量拡張手順、図4にはセパレート状態の容量拡張手順のフローを示している。図3には第1の実施形態におけるレプリケート状態及びセパレート状態の容量拡張手順のフローを示している。
複製元論理ボリュームと複製先論理ボリュームの状態としては、レプリケート状態とセパレート状態の2つの状態がある。レプリケート状態とは、複製元論理ボリュームから複製先論理ボリュームへのバックアップを作成する状態であり、両者が完全に同期している場合と同期処理中の場合がある。バックアップとして複製(コピー)が完了している状態が同期、複製処理中の状態が同期処理中である。セパレート状態とは、レプリケートにより複製元、複製先論理ボリュームの同期が完了し、ペアの論理ボリュームが切り離された状態である。この2つの状態における容量拡張手順を、本発明と従来例とを対比させて説明する。
〈1〉レプリケート状態の場合
レプリケート状態におけるペアの論理ボリュームの容量拡張する場合の従来手順を、図2を参照して説明する。最初に手順a1として、オペレータの指示入力によりサーバ1000は複製元論理ボリュームを使用している業務を停止する。さらに手順a2として、オペレータの指示入力によりペア操作手段101が動作し、ペア制御手段301はセパレートを実行する。ペア制御手段301および401は、ペア(複製元、複製先)論理ボリュームを同期させる。同期後切り離されるのを待ち、セパレートされたかをコマンドで確認する。手順a3として、オペレータの指示入力によりペア操作手段101が動作し、ペア制御手段301および401は複製元論理ボリュームと複製先論理ボリュームとのペア関係を解除する。このペア関係を解除することで、差分マップ情報が破棄される。
手順a4として、オペレータの指示入力により論理ボリューム拡張操作手段102が動作し、論理ボリューム拡張手段302は複製元論理ボリュームの容量を拡張する。さらに拡張後サイズを論理ボリューム管理テーブル313の返却データサイズに設定する。手順a5として、オペレータの指示入力により論理ボリューム情報返却手段304は返却データサイズをOSに返却し、容量拡張後のサイズをOSに認識させる。手順a6として、オペレータの指示入力によりサーバ1000は複製元ボリュームを使用する業務を再開する。
手順a7として、オペレータの指示入力により論理ボリューム拡張操作手段202が動作し、論理ボリューム拡張手段402は複製先論理ボリュームの容量を拡張する。さらに拡張後サイズを論理ボリューム管理テーブル413の返却データサイズに設定する。手順a8として、オペレータの指示入力によりペア操作手段101が動作し、ペア制御手段301および401は複製元、複製先の差分マップを拡張し、複製元、複製先論理ボリュームのペア設定を行う。手順a9として、オペレータの指示入力によりペア操作手段101が動作し、ペア制御手段301はレプリケートを実行する。ペア制御手段301および401は、複製元、複製先論理ボリュームの同期を行う。このとき手順a3で、差分マップ情報が破棄されているため、論理ボリューム内データのフルコピーが必要となる。
本実施形態の容量拡張する手順を、図3を参照して説明する。最初に手順b1として、オペレータの指示入力により論理ボリューム拡張操作手段102が動作し、論理ボリューム拡張手段302に論理ボリュームの容量拡張を指示する。論理ボリューム拡張手段302は、論理ボリューム拡張手段402に、複製先論理ボリュームと差分マップの容量拡張を指示し、拡張させる。さらに論理ボリューム拡張手段302は、複製元論理ボリュームと差分マップの容量を拡張する。本発明においては最初の手順b1で、論理ボリューム拡張操作手段102により複製元と複製先論理ボリューム及びその差分マップの容量を拡張する。この容量拡張は、複製元と複製先論理ボリュームとのペア関係及びその差分マップは保持され、サーバは業務を継続している状態で実行される。
容量拡張をコマンドで確認した後に、手順b2として、オペレータの指示入力によりサーバは複製元論理ボリュームを使用している業務を停止する。手順b3として、オペレータの指示入力により論理ボリューム拡張認識操作手段103を実行し、論理ボリューム情報設定手段303は拡張後サイズを返却データサイズに設定する。手順b4として、オペレータの指示入力により論理ボリューム情報返却手段304は、複製元論理ボリュームの拡張後サイズをサーバ1000のOSに返却し、認識させる。オペレータの指示入力によりサーバ1000のOSからの論理ボリューム311の容量確認問い合わせ(SCSIコマンド)が論理ボリューム情報返却手段304に送られる。論理ボリューム情報返却手段304は、論理ボリューム管理テーブル313の返却データサイズを返却し、サーバのOSに拡張後データサイズを認識させる。
手順b5として、オペレータの指示入力によりサーバは複製元ボリュームを使用する業務を再開する。手順b6として、オペレータの指示入力により論理ボリューム拡張認識操作手段203を実行し、論理ボリューム情報設定手段403は拡張後サイズを返却データサイズに設定する。さらにオペレータの指示入力によりサーバのOSからの論理ボリューム411の容量確認問い合わせ(SCSIコマンド)が論理ボリューム情報返却手段404に送られる。論理ボリューム情報返却手段404は、論理ボリューム管理テーブル413の返却データサイズを返却し、サーバのOSに拡張後データサイズを認識させる。なおレプリケートの場合は複製先論理ボリュームが使用されていないため、手順b6は手順b3の中で実施することも可能である。
従来の手順では以下のような問題がある。
(1)複製先論理ボリュームのデータ整合性を確保するために業務を停止させ、静止点を確保した状態でセパレート(手順a2)を実行する。また論理ボリューム拡張時のOSによる論理ボリュームの自動認識による業務への外乱を防ぐため拡張部分の初期化(手順a4)が完了するまで業務停止する必要性がある。これらの要因により容量拡張を行う場合には早い時点で業務停止を行う必要がある。
(2)手順a2では複製元、複製先論理ボリュームの完全同期後切り離すため差分が大きい場合には業務停止時間が長くなる。
(3)手順a9では再同期のために、データのフルコピーが必要となりバックアップ作成までにかなりの時間が必要である。このため、バックアップなしの状態(障害耐久性がない状態)での業務時間が長くなる。
このように、業務停止期間が長く、またバックアップなしの状態での業務期間が長時間となる問題がある。
しかし本発明においては従来の手順の問題点は、下記の理由により発生しない。
(1)業務を続行したまま容量拡張を実施可能であること。(業務停止は、拡張情報をOSに認識させる期間である。)
(2)業務スケジュールにあわせて任意の時刻に手順b2以降を実施可能であり、さらに業務停止時間が短い。
(3)容量拡張後の再同期においても、差分マップによるブロック複製のためその時間が短い。このように容量拡張時にもバックアップが存在し、システムとしての障害耐久性が維持されている。
〈2〉セパレート状態の場合
セパレート状態における容量拡張について、図4に従来の容量拡張手順を示す。本発明における容量拡張手順はレプリケート、セパレート状態とも、同じく図3の手順であり、上記したとおりである。
セパレート状態における容量拡張する場合の従来手順は、最初に手順c1として、オペレータの指示入力によりサーバは複製元論理ボリュームを使用している業務を停止する。手順c2として、オペレータの指示入力によりペア操作手段101が動作し、ペア制御手段301および401は複製元論理ボリュームと複製先論理ボリュームとのペア関係を解除する。このペア関係を解除することで、差分マップ情報が破棄される。手順c3として、オペレータの指示入力により論理ボリューム拡張操作手段102が動作し、論理ボリューム拡張手段302は複製元論理ボリュームの容量を拡張する。さらに拡張後サイズを論理ボリューム管理テーブル313の返却データサイズに設定する。
手順c4として、オペレータの指示入力により論理ボリューム情報返却手段304は返却データサイズをOSに返却し、容量拡張後のサイズをOSに認識させる。手順c5として、オペレータの指示入力によりサーバは複製元ボリュームを使用する業務を再開する。手順c6として、オペレータの指示入力により論理ボリューム拡張操作手段202が動作し、論理ボリューム拡張手段402は複製先論理ボリュームの容量を拡張する。さらに拡張後サイズを論理ボリューム管理テーブル413の返却データサイズに設定する。手順c7として、オペレータの指示入力によりペア操作手段101が動作し、ペア動作手段301および401は複製元、複製先の差分マップを拡張し、複製元、複製先論理ボリュームのペア設定を行う。手順c8として、オペレータの指示入力によりペア操作手段101が動作し、ペア動作手段301はレプリケートを実行する。ペア動作手段301および401は複製元、複製先論理ボリュームの同期を行う。このとき手順c2において差分マップ情報が破棄されているため論理ボリューム内データのフルコピーが必要となり、同期完了までの時間が長くなる。
従来のセパレート状態における容量拡張手順では以下の問題がある。
(1)手順c8では再同期のためにデータのフルコピーが必要となりディスクアレイの負荷が高くなる可能性から業務IO遅延の可能性がある。
(2)手順c8では同期完了までにかなりの時間が必要である。このため、バックアップなしの状態(障害耐久性がない状態)での業務時間が長くなる。
本発明のレプリケート、セパレートにおける容量拡張手順では、これらの問題は発生せず安全である。本発明では、サーバが業務を続行中に、ペア関係と差分マップを維持したまま論理ボリュームと差分マップを拡張し、容量拡張後の拡張情報を論理ボリューム管理テーブルに備える。その後業務スケジュールにあわせた任意時刻に業務を停止し、その拡張情報をサーバのOSに認識させる。そのため業務停止期間は非常に短期間であり、さらに差分データが維持され、バックアップが存在していることになる。
次に、これらの動作手順を図5〜10を参照して詳細に説明する。本実施形態の論理ボリューム拡張操作手段102の動作手順を図5に、論理ボリューム拡張手段302、402の動作手順をそれぞれ図6〜10に示す。論理ボリューム拡張手段302は論理ボリューム拡張操作手段102からの指示により拡張処理や切り戻し処理を行う。また他のディスクアレイ装置4000にある論理ボリューム拡張手段402は、論理ボリューム拡張手段302からの指示により、論理ボリューム拡張手段302と同様に拡張処理や切り戻し処理を行う。
図5に示す論理ボリューム拡張操作手段102は、手順A1としてディスクアレイ装置3000の論理ボリューム拡張手段302に、論理ボリュームを指定して容量拡張を指示する。実際の拡張動作は指示された論理ボリューム拡張手段302により処理される。
容量拡張を指示された論理ボリューム拡張手段302の動作を、図6を参照して説明する。論理ボリューム拡張手段302は、処理結果をリセットし、正常を設定する。論理ボリューム拡張手段302は、手順B1において容量拡張指示が論理ボリューム拡張操作手段102からの指示であるか確認する。YESの場合は手順B2、NOの場合は手順B12の処理に移行する。論理ボリューム拡張手段302は、手順B2において指定された論理ボリュームが他の論理ボリュームとペア設定されているか確認する。YESの場合は手順B3、NOの場合は手順B7の処理に移行する。論理ボリューム拡張手段302は、手順B3においてペア設定された複製先論理ボリュームは他のディスクアレイ装置にあるか確認する。YESの場合は手順B4、NOの場合は手順B9の処理に移行する。
論理ボリューム拡張手段302は、手順B4において複製先論理ボリュームが存在するディスクアレイ装置の論理ボリューム拡張手段402に、指定された複製先論理ボリュームの拡張を指示し、実行させる。論理ボリューム拡張手段302は、手順B5において論理ボリューム拡張手段402による拡張動作が正常に処理されたかを確認する。YESの場合は手順B6、NOの場合は手順B10の処理に移行する。
論理ボリューム拡張手段302は、手順B6において全ての複製先論理ボリュームに対して拡張処理を行ったかを確認する。YESの場合は手順B7の処理に移行し、NOの場合は手順B3に戻り、残りの複製先論理ボリューム拡張処理を繰り返し行う。1つの複製元論理ボリュームに対し複数の複製先論理ボリュームを備えた場合には、これらの処理を繰り返す。論理ボリューム拡張手段302は、手順B7において指定された複製元論理ボリュームを指定して、拡張処理(1)を実行する。論理ボリューム拡張手段302は、手順B8において正常に処理されたかを確認する。正常処理(YES)の場合には動作終了する。NOの場合には、手順B10としてエラー表示する。
手順B3において複製先論理ボリュームが他のディスクアレイ装置ではなく、自分のディスクアレイ装置の場合には、手順9に移行する。論理ボリューム拡張手段302は、手順B9において、その論理ボリュームを指定し、拡張処理(1)を行う。その後、手順B5に戻る。また論理ボリューム拡張手段302は、手順B5や手順B8において正常処理されない(NO)の場合には手順B10の動作としてエラー表示する。さらに手順B11において切り戻し処理として処理(2)を実行する。切り戻し処理後、動作終了する。さらに論理ボリューム拡張手段302は、手順B1において拡張指示が論理ボリューム拡張操作手段102でない場合には、手順B12の処理に移行する。手順B12では処理(4)を実行し、その後動作終了する。
処理(1)の論理ボリューム、差分マップの拡張動作を、図7を参照して説明する。論理ボリューム拡張手段302は、処理結果をリセットし、正常を設定する。論理ボリューム拡張手段302は、手順C1において指定された論理ボリュームの拡張可能かを確認する。YESの場合は手順C2、NOの場合は手順C14の処理に移行する。論理ボリューム拡張手段302は、手順C2において指定された論理ボリュームが差分マップを保持しているか確認する。YESの場合はC3、NOの場合はC7の処理に移行する。論理ボリューム拡張手段302は、指定された論理ボリュームの差分マップを、手順C3においてロックし、手順C4において差分マップ容量を拡張し、手順C5において差分マップをアンロックする。
論理ボリューム拡張手段302は、手順C6においてこれらの差分マップの拡張動作が正常に処理されたかを確認する。YESの場合は手順C7、NOの場合は手順C14の処理に移行する。論理ボリューム拡張手段302は、手順C7において指定された論理ボリュームに対して容量拡張を実施する。論理ボリューム拡張手段302は、手順C8において論理ボリュームの容量拡張が正常に処理されたかを確認する。YESの場合は手順C9、NOの場合は手順C10の処理に移行する。論理ボリューム拡張手段302は、手順C9において論理ボリューム管理テーブルに拡張後サイズを更新する。処理(1)の動作が終了し、それぞれの動作フローにリターンする。
手順C8において論理ボリュームの拡張動作が正常処理されなかった場合には手順C10に移行する。論理ボリューム拡張手段302は、手順C10において指定された論理ボリュームは差分マップを保持しているか確認する。YESの場合は手順C11、NOの場合は手順C14に移行する。論理ボリューム拡張手段302は、指定された論理ボリュームの差分マップを手順C11においてロックし、手順C12においてその差分マップを縮小(切り戻し)する。さらに手順C13においてその差分マップをアンロックした後、手順C14に移行する。手順C14においては、論理ボリューム拡張手段302は処理結果にエラーを表示する。その後、それぞれの動作フローにリターンする。
処理(2)の複製先論理ボリュームの切り戻し動作を、図8を参照して説明する。論理ボリューム拡張手段302は、処理結果をリセットし、正常を設定する。論理ボリューム拡張手段302は、手順D1において指定された複製先論理ボリュームは他のディスクアレイ装置上に存在するかを確認する。YESの場合は手順D2、NOの場合は手順D4の処理に移行する。論理ボリューム拡張手段302は、手順D2において複製先論理ボリュームが存在するディスクアレイ装置の論理ボリューム拡張手段402に複製先論理ボリュームの切り戻しを指示し、実行させる。
論理ボリューム拡張手段302は、手順D4においてディスクアレイ装置内の複製先論理ボリュームを指定して、切り戻し処理(3)を実行し、手順D3に戻る。論理ボリューム拡張手段302は、手順D3においてすべての複製先論理ボリュームに切り戻し処理を行ったか確認する。NOの場合は手順D1の動作フローに戻り、残された複製先論理ボリュームに対する切り戻し処理を行う。YESの場合は処理(2)の動作を終了し、それぞれの動作フローにリターンする。
処理(3)の差分マップ、論理ボリュームの切り戻し動作を、図9を参照して説明する。論理ボリューム拡張手段302は、処理結果をリセットし、正常を設定する。論理ボリューム拡張手段302は、手順E1において論理ボリューム管理テーブルの拡張前サイズと拡張後サイズが一致しているか確認する。NOの場合は手順E2に移行し、YESの場合は切り戻し処理を実施しないで、それぞれの動作フローにリターンする。
論理ボリューム拡張手段302は、手順E2において指定された論理ボリュームの差分マップのロックし、手順E3においてその差分マップを拡張前サイズに縮小する。さらに手順E4においてその差分マップのアンロックを行う。論理ボリューム拡張手段302は、手順E5において指定された論理ボリュームの容量を拡張前サイズに縮小する。さらに手順E6において論理ボリューム管理テーブルの拡張後サイズに拡張前サイズを設定する。論理ボリューム拡張手段302は、処理(3)の動作を終了し、それぞれの動作フローにリターンする。
処理(4)の論理ボリューム、差分マップの拡張動作を、図10を参照して説明する。論理ボリューム拡張手段302は、処理結果をリセットし、正常を設定する。論理ボリューム拡張手段302は、手順F1において論理ボリュームの容量拡張指示であるかを確認する。YESの場合は手順F2、NOの場合は手順F3の処理に移行する。論理ボリューム拡張手段302は、手順F2において拡張処理(1)を実行し、手順F3においては、切り戻し処理(3)を実行する。論理ボリューム拡張手段302は、動作終了後、それぞれの動作フローにリターンする。
本実施形態においては、複製元論理ボリュームと複製先論理ボリュームのペア関係、差分マップ情報を保持したまま、複製元及び複製先論理ボリュームとその差分マップの容量を拡張することができる。差分マップを保持していることから、容量拡張後のバックアップ及びリストアは全面複製ではなく、部分複製とすることができる。そのため複製時間が短縮できる効果が得られる。またバックアップ状態で業務遂行できることから障害耐久性が高いシステムが構築できる効果が得られる。
さらに拡張後のサイズを論理ボリューム管理テーブルの拡張情報として保管する。業務の切れ目等の任意時刻に業務を停止し、サーバのOSに論理ボリューム管理テーブルの拡張情報を返却し、容量拡張を認識させる。そのため任意の時刻に業務停止でき、その業務停止期間が短くできる効果がある。本実施形態によれば、複製時間が短いストレージシステムが得られる。
次に第2の実施形態として、図11を参照して詳細に説明する。図11には、第2の実施形態におけるシステム構成図を示す。本実施形態は同じディスクアレイ装置内の論理ボリュームに対して、論理ボリューム複製機能を適用した実施形態である。
図11を参照すると、システムはサーバ1000とディスクアレイ装置3000から構成されている。サーバ1000は業務アプリケーション、バックアップアプリケーションなどが動作するサーバである。ディスクアレイ装置3000は、サーバ1000とファイバチャネルで接続され、論理ボリューム複製機能を有する。サーバ1000は、ペア操作手段101、論理ボリューム拡張操作手段102、論理ボリューム拡張認識操作手段103を備えている。このサーバ1000に設けられた手段及びその動作は、第1の実施形態で説明した内容と同じであり、その説明は省略する。
ディスクアレイ装置3000は、手段としてペア制御手段301と、論理ボリューム拡張手段302と、論理ボリューム情報設定手段303と、論理ボリューム情報返却手段304を備えている。さらに論理ボリューム311、321と、差分マップ312、322と、論理ボリューム管理テーブル313、323と、ペア管理テーブル314とを備えている。ここでは例えば、ディスクアレイ装置内の論理ボリューム311が複製元論理ボリューム、論理ボリューム321が複製先論理ボリュームであり、ペア関係にある。
このディスクアレイ装置3000の手段の動作は、ペア制御手段301、論理ボリューム拡張手段302を除き、第1の実施形態で説明した内容と同じである。ペア制御手段301、論理ボリューム拡張手段302には、複製先論理ボリューム321と差分マップ322の制御や容量拡張処理が追加されている。そのため、ペア制御手段301、論理ボリューム拡張手段302のみを説明する。他は第1の実施形態における相当する手段と同様であり、その内容は十分理解できることから、その説明を省略する。
・ペア制御手段301
ペア制御手段301は、ペア操作手段101により指示された論理ボリュームのペア設定、ペア解除、ペア関係にある論理ボリュームのバックアップ、リストアを行う機能を持つ。ペア設定指示の場合、ペア制御手段301は、論理ボリューム311、321の論理ボリューム管理テーブル313、323に設定された拡張前サイズから差分マップの必要サイズを計算する。ペア制御手段301は、差分マップの必要サイズを確保したうえで、差分マップ312、322を作成し、差分情報ビットのONを行う。なおペア設定される論理ボリューム311、321は同一サイズである。また、ペア制御手段301は、ペア管理テーブル314の必要サイズを確保し、複製元、複製先ボリューム情報、ペア情報の設定を行う。
ペア解除指示の場合、ペア制御手段301は、差分マップ312、322、ペア管理テーブル314を開放する。バックアップやリストア指示の場合には、ペア制御手段301は、差分マップ312、322の論理和を計算し、差分情報ビットがONとなっているブロックのデータで論理ボリュームを更新する。ペア制御手段301は、バックアップでは複製元論理ボリューム311から複製先論理ボリューム321へデータを更新し、リストアでは複製先論理ボリューム321から複製元論理ボリューム311へデータを更新する。
・論理ボリューム拡張手段302
論理ボリューム拡張手段302は、サーバ1000上の論理ボリューム拡張操作手段102により指示された論理ボリュームの容量拡張を行う機能を持つ。論理ボリューム311がペア設定されていない場合は、論理ボリューム拡張手段302は、論理ボリューム311の拡張を行う。連続領域として拡張可能な場合には、論理ボリューム拡張手段302は、その連続領域に拡張する。連続領域に拡張不可能な場合には、論理ボリューム拡張手段302は、別な領域を拡張領域として割付、拡張する。このとき論理ボリューム内のブロックは1つの連続した領域とする。論理ボリューム拡張手段302は、論理ボリューム管理テーブル313の実データサイズに拡張後のサイズを設定する。
論理ボリューム311がペア関係を持つ場合、論理ボリューム拡張手段302は、複製先論理ボリューム321の差分マップ322について差分情報を保持したまま連続領域として拡張可能か否か調べる。拡張可能な場合、論理ボリューム拡張手段302は、連続領域に拡張する。連続領域として拡張できない場合、論理ボリューム拡張手段302は、新しい差分マップを作成し従来の差分情報をコピーした後、古い差分マップを破棄する。このとき論理ボリュームの拡張部分については初期化されるため差分はゼロであり差分マップ拡張部分はビットを立てる必要はない。またこの処理では業務等によるIO処理で差分マップへのアクセスが発生するため、ロック制御を適切に行う。拡張に失敗した場合はエラーを返却する。
次に論理ボリューム拡張手段302は、複製先論理ボリュームの容量拡張が可能か否かを調べ、容量拡張する。連続領域として拡張可能な場合には、論理ボリューム拡張手段302は、その連続領域に拡張する。連続領域に拡張不可能な場合には、論理ボリューム拡張手段302は、別な領域を拡張領域として割付、拡張する。このとき論理ボリューム内のブロックは1つの連続した領域とする。物理ディスク不足等で論理ボリュームの容量拡張が不可能な場合、論理ボリューム拡張手段302は、複製先論理ボリューム321の差分マップ322の切り戻し行い、エラーを返却する。
次に論理ボリューム拡張手段302は、複製元論理ボリューム311の差分マップ312について差分情報を保持したまま連続領域として拡張可能か否か調べる。拡張可能な場合は連続領域に拡張する。連続領域として拡張できない場合、論理ボリューム拡張手段302は、新しい差分マップを作成し従来の差分情報をコピーした後、古い差分マップを破棄する。このとき論理ボリュームの拡張部分については初期化されるため差分はゼロであり差分マップ拡張部分はビットを立てる必要はない。またこの処理では業務等のIO処理で差分マップへのアクセスが発生するため、ロック制御を適切に行う。拡張に失敗した場合、論理ボリューム拡張手段302は、複製先論理ボリューム321の差分マップ322、論理ボリューム321の容量の切り戻しを行い、エラーを返却する。
次に論理ボリューム拡張手段302は、複製元論理ボリューム311の容量拡張が可能か否かを調べ、拡張する。連続領域として拡張可能な場合には、論理ボリューム拡張手段302は、その連続領域に拡張する。連続領域に拡張不可能な場合には、論理ボリューム拡張手段302は、別な領域を拡張領域として割付、拡張する。このとき論理ボリューム内のブロックは1つの連続した領域とする。物理ディスク不足等で論理ボリュームの容量拡張が不可能な場合、論理ボリューム拡張手段302は、切り戻しを行い、エラーを返却する。切り戻し処理としては、複製先論理ボリューム321の差分マップ322、複製先論理ボリューム322の容量、複製元論理ボリューム311の差分マップ312に対して行う。
本第2の実施形態は、同じディスクアレイ装置内の論理ボリュームをペア関係とする。上記したペア制御手段301および論理ボリューム拡張手段302により複製元論理ボリュームおよび複製先論理ボリュームのペア制御、容量拡張を制御することができる。したがって第2の実施形態においても、複製元論理ボリュームと複製先論理ボリュームのペア関係、差分マップ情報を保持したまま複製元及び複製先論理ボリュームの容量拡張することができる。そのため第1の実施形態と同様な効果が得られる。
上記したように本発明においては、複製元論理ボリュームと複製先論理ボリュームのペア関係、差分マップ情報を保持したまま複製元及び複製先論理ボリュームの容量が拡張される。さらにその容量拡張情報を論理ボリューム管理テーブルに保持し、任意の時間にサーバのOSに容量拡張を認識させることができる。
本発明によれば、ペア関係と差分マップを保持していることから、容量拡張後のバックアップ及びリストアは全面複製ではなく、部分複製とすることができる。そのため複製時間が短縮できる効果がある。またバックアップ状態で業務遂行できることから障害耐久性が高いシステムが構築できる効果が得られる。業務の切れ目等の任意時刻に業務を停止し、サーバのOSに拡張後のサイズを返却し、拡張後の容量サイズを認識させる。そのため任意の時刻に業務停止でき、その業務停止期間が短くできる効果がある。
さらに容量拡張を行うための手順が少なく、簡単なため事故がおこりにくいという利点がある。1つの論理ボリューム拡張操作手段を呼び出すことにより、簡単にペア関係にある論理ボリュームすべてを拡張できる。従来のようにペア解除→複製先論理ボリューム容量拡張→複製元論理ボリュームの容量拡張→ペア設定→バックアップ操作を1つの操作手順で実行できる。
本発明によれば、複製元及び複製先論理ボリュームのペア関係、差分マップ情報を保持した状態で、複製元及び複製先論理ボリュームの容量を拡張できる拡張制御方法が得られる。この容量拡張制御方法で動作する複製時間が短く、障害耐久性が高いストレージシステムが得られる。
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は上述の実施形態に限定されるものではない。本願の要旨を逸脱しない範囲で種々の変更を施すことができ、これらの変更例も本願に含まれることはいうまでもない。
本発明の第1の実施形態におけるシステム構成図である。 従来例におけるレプリケート状態の容量拡張手順を示すフローである。 本発明の第1の実施形態におけるレプリケート状態及びセパレート状態の容量拡張手順を示すフローである。 従来例におけるセパレート状態の容量拡張手順を示すフローである。 本発明における論理ボリューム拡張操作手段の動作フローである。 本発明における論理ボリューム拡張手段の動作フローである。 図6における処理(1)の動作フローである。 図6における処理(2)の動作フローである。 図8における処理(3)の動作フローである。 図6における処理(4)の動作フローである。 本発明の第2の実施形態におけるシステム構成図である。 従来例におけるシステム構成図である。
符号の説明
1000、2000 サーバ
101 ペア操作手段
102、202 論理ボリューム拡張操作手段
103、203 論理ボリューム拡張認識操作手段
3000、4000 ディスクアレイ装置(ストレージシステム)
301、401 ペア制御手段
302、402 論理ボリューム拡張手段
303、403 論理ボリューム情報設定手段
304、404 論理ボリューム情報返却手段
305、405 通信制御装置
311、321、411 論理ボリューム
312、322、412 差分マップ
313、323、413 論理ボリューム管理テーブル
314、414 ペア管理テーブル

Claims (9)

  1. 複製元論理ボリュームと複製先論理ボリュームとのペア関係と、前記複製元論理ボリューム内のある単位長のブロック単位にデータが更新されたか否かを示す複製元論理ボリュームの差分マップと、前記複製先論理ボリューム内のある単位長のブロック単位にデータが更新されたか否かを示す複製先論理ボリュームの差分マップと、を保持した状態で、前記複製元論理ボリュームの容量及び前記複製元論理ボリュームの差分マップの容量と、前記複製先論理ボリュームの容量及び前記複製先論理ボリュームの差分マップの容量と、を拡張する第1の手順を備え、
    前記第1の手順における前記複製元論理ボリュームの差分マップと前記複製先論理ボリューム差分マップの容量拡張は、それぞれの差分マップが存在する領域に連続した連続領域に拡張可能な場合はそれぞれの連続領域に拡張し、それぞれの連続領域に拡張不可能な場合は別の領域に新しく拡張した差分マップをそれぞれ作成し、拡張前のそれぞれの古い差分マップの差分情報を複製した後、前記拡張前のそれぞれの古い差分マップを破棄し、
    前記第1の手順における前記複製元論理ボリューム及び前記複製先論理ボリュームの容量拡張は、それぞれの前記論理ボリュームが存在する領域に連続した連続領域に拡張可能な場合はそれぞれの連続領域に拡張し、それぞれの連続領域に拡張不可能な場合はそれぞれの前記論理ボリュームが存在する領域と離れた不連続領域を拡張領域として拡張することを特徴とするストレージシステムの容量拡張制御方法。
  2. ストレージシステムを制御するサーバが業務アプリケーションの動作中に、前記容量を拡張する第1の手順が実行されることを特徴とする請求項1に記載のストレージシステムの容量拡張制御方法。
  3. 前記容量を拡張する第1の手順においては、複製先論理ボリュームの差分マップと論理ボリュームの容量拡張を実行し、容量拡張後の複製先論理ボリュームサイズを複製先論理ボリューム管理テーブルに設定し、その後、複製元論理ボリュームの差分マップと論理ボリュームの容量拡張を実行し、容量拡張後の複製元論理ボリュームサイズを複製元論理ボリューム管理テーブルに設定することを特徴とする請求項1又は2に記載のストレージシステムの容量拡張制御方法。
  4. 前記容量を拡張する第1の手順が実行された後に、容量拡張後の論理ボリュームサイズを論理ボリューム管理テーブルの返却データサイズとし、前記返却データサイズをサーバのオペレーションシステム(OS)に返却し、容量拡張後の論理ボリュームサイズを認識させる第2の手順を備えたことを特徴とする請求項1乃至3のいずれかに記載のストレージシステムの容量拡張制御方法。
  5. 前記容量拡張後の論理ボリュームサイズを認識させる第2の手順として、前記サーバが業務アプリケーションを停止した状態で実行されることを特徴とする請求項4に記載のストレージシステムの容量拡張制御方法。
  6. 複製元論理ボリューム及び複製先論理ボリュームが複製元及び複製先サーバによりそれぞれ制御される場合における前記容量拡張後の論理ボリュームサイズを認識させる第2の手順として、前記複製元論理ボリュームの容量拡張後の論理ボリュームサイズの認識は前記複製元サーバが業務アプリケーションを停止した状態で実行され、前記複製先論理ボリュームの容量拡張後の論理ボリュームサイズの認識は前記複製元サーバが業務アプリケーションを再開した状態で実行されることを特徴とする請求項4に記載のストレージシステムの容量拡張制御方法。
  7. 複製元論理ボリュームと複製先論理ボリュームとのペア設定、ペア解除、バックアップ及びリストアを制御するペア制御手段と、複製元論理ボリュームの容量及び前記複製元論理ボリューム内のある単位長のブロック単位にデータが更新されたか否かを示す複製元論理ボリュームの差分マップの容量と、複製先論理ボリュームの容量及び前記複製先論理ボリューム内のある単位長のブロック単位にデータが更新されたか否かを示す複製先論理ボリュームの差分マップの容量と、をそれぞれ拡張する論理ボリューム拡張手段とを備え、
    前記ペア制御手段は特定の複製元論理ボリュームと複製先論理ボリュームとをペア設定し、前記論理ボリューム拡張手段は前記ペア制御手段によりペア設定された状態で、
    そのペア設定された複製元論理ボリュームと複製先論理ボリュームの論理ボリュームの容量を、それぞれの前記論理ボリュームが存在する領域に連続した連続領域に拡張可能な場合はそれぞれの連続領域に拡張し、それぞれの連続領域に拡張不可能な場合はそれぞれの前記論理ボリュームが存在する領域と離れた不連続領域を拡張領域として拡張し、
    そのペア設定された複製元論理ボリュームと複製先論理ボリュームの差分マップの容量を、それぞれの差分マップが存在する領域に連続した連続領域に拡張可能な場合はそれぞれの連続領域に拡張し、それぞれの連続領域に拡張不可能な場合は別の領域に新しく拡張した差分マップを作成し、拡張前のそれぞれの古い差分マップの差分情報を複製した後、前記拡張前のそれぞれの古い差分マップを破棄することを特徴とするストレージシステム。
  8. ペア設定された複製元論理ボリュームと複製先論理ボリュームの論理ボリュームの容量を拡張した拡張後サイズを返却データサイズとして設定する論理ボリューム情報設定手段と、前記返却データサイズを保管する論理ボリューム管理テーブルとをさらに備えたことを特徴とする請求項7に記載のストレージシステム。
  9. 前記返却データサイズをサーバのオペレーションシステムに返却する論理ボリューム情報返却手段をさらに備え、サーバのオペレーションシステムに前記返却データサイズを返却し、認識させることを特徴とする請求項8に記載のストレージシステム。
JP2007261622A 2007-10-05 2007-10-05 ストレージシステムの容量拡張制御方法 Expired - Fee Related JP4412509B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007261622A JP4412509B2 (ja) 2007-10-05 2007-10-05 ストレージシステムの容量拡張制御方法
US12/246,155 US20090094427A1 (en) 2007-10-05 2008-10-06 Capacity expansion control method for storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007261622A JP4412509B2 (ja) 2007-10-05 2007-10-05 ストレージシステムの容量拡張制御方法

Publications (2)

Publication Number Publication Date
JP2009093315A JP2009093315A (ja) 2009-04-30
JP4412509B2 true JP4412509B2 (ja) 2010-02-10

Family

ID=40524304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007261622A Expired - Fee Related JP4412509B2 (ja) 2007-10-05 2007-10-05 ストレージシステムの容量拡張制御方法

Country Status (2)

Country Link
US (1) US20090094427A1 (ja)
JP (1) JP4412509B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7600151B2 (en) * 2007-01-25 2009-10-06 Inventec Corporation RAID capacity expansion interruption recovery handling method and system
US7970903B2 (en) * 2007-08-20 2011-06-28 Hitachi, Ltd. Storage and server provisioning for virtualized and geographically dispersed data centers
CN101751228B (zh) * 2009-12-29 2011-07-20 成都市华为赛门铁克科技有限公司 磁盘阵列的实现方法和数据读写方法及装置
US10284437B2 (en) 2010-09-30 2019-05-07 Efolder, Inc. Cloud-based virtual machines and offices
US9705730B1 (en) 2013-05-07 2017-07-11 Axcient, Inc. Cloud storage using Merkle trees
WO2012066605A1 (en) 2010-11-19 2012-05-24 Hitachi, Ltd. Storage control apparatus and logical volume size setting method
CN103365781B (zh) 2012-03-29 2016-05-04 国际商业机器公司 用于动态地重新配置存储系统的方法和设备
WO2013168276A1 (ja) * 2012-05-10 2013-11-14 株式会社日立製作所 ストレージシステム及びストレージシステム制御方法
US9785647B1 (en) 2012-10-02 2017-10-10 Axcient, Inc. File system virtualization
US9852140B1 (en) 2012-11-07 2017-12-26 Axcient, Inc. Efficient file replication
US9397907B1 (en) 2013-03-07 2016-07-19 Axcient, Inc. Protection status determinations for computing devices
US10359937B2 (en) * 2013-12-20 2019-07-23 Sandisk Technologies Llc System and method of implementing a table storage support scheme
JP6394212B2 (ja) * 2014-09-11 2018-09-26 富士通株式会社 情報処理システム、ストレージ装置及びプログラム
US11623923B2 (en) 2017-11-24 2023-04-11 Medshine Discovery, Inc. Uracil compound as c-MET/AXL inhibitor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020108025A1 (en) * 1998-10-21 2002-08-08 Nicholas Shaylor Memory management unit for java environment computers
JP4175788B2 (ja) * 2001-07-05 2008-11-05 株式会社日立製作所 ボリューム制御装置
US6862668B2 (en) * 2002-02-25 2005-03-01 International Business Machines Corporation Method and apparatus for using cache coherency locking to facilitate on-line volume expansion in a multi-controller storage system
US7480909B2 (en) * 2002-02-25 2009-01-20 International Business Machines Corporation Method and apparatus for cooperative distributed task management in a storage subsystem with multiple controllers using cache locking
JP4796854B2 (ja) * 2006-01-30 2011-10-19 株式会社日立製作所 差分リモートコピーにおける中間ボリュームのデータ溢れ対策
JP4849960B2 (ja) * 2006-05-31 2012-01-11 株式会社日立製作所 レプリケーションボリュームの容量拡張方法

Also Published As

Publication number Publication date
US20090094427A1 (en) 2009-04-09
JP2009093315A (ja) 2009-04-30

Similar Documents

Publication Publication Date Title
JP4412509B2 (ja) ストレージシステムの容量拡張制御方法
US10146472B2 (en) Tertiary storage unit management in bidirectional data copying
JP3968207B2 (ja) データ多重化方法およびデータ多重化システム
JP4257774B2 (ja) 記憶装置を応用したコピー管理の方法と装置
US7353335B2 (en) Storage control method for database recovery in logless mode
US7451345B2 (en) Remote copy synchronization in disaster recovery computer systems
JP4256153B2 (ja) バックアップと回復処理システムの方法と手段
JP4870816B2 (ja) 改良された同期データ・ミラー・スワップのための装置、システム、および方法
JP4484618B2 (ja) ディザスタリカバリシステム、プログラム及びデータの複製方法
US7996611B2 (en) Backup data management system and backup data management method
JP2008165431A (ja) ミラーリングプログラム、ミラーリング方法、情報記憶装置
JP2005182532A (ja) データ多重化制御方法
JP2006004147A (ja) ディザスタリカバリシステム、プログラム及びデータベースのリカバリ方法
US7152183B2 (en) Method and apparatus for volume replication management at planned and unplanned link down
JP3808874B2 (ja) 分散システム及び多重化制御方法
JP2006285336A (ja) 記憶装置及びストレージシステム並びにその制御方法
JP2009265973A (ja) データ同期システム、障害復旧方法、及び、プログラム
JP3955453B2 (ja) 外部記憶装置の制御方法
JP2006106883A (ja) 計算機システム及びリモートレプリケーション方法
JP4721057B2 (ja) データ管理システム,データ管理方法及びデータ管理用プログラム
JP4842859B2 (ja) ストレージシステム及び管理計算機と記憶装置並びに記憶領域管理方法
JP6379914B2 (ja) ストレージシステム、制御方法および制御プログラム
JPH08110840A (ja) 2重化冗長構成磁気ディスク装置の復旧方式
JPH11120017A (ja) 自動採番システム、二重系システム、クラスタシステム
JP2008026965A (ja) データバックアップ方法、及びデータバックアップシステム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4412509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees