JP4842334B2 - ディスクアレイ制御装置 - Google Patents

ディスクアレイ制御装置 Download PDF

Info

Publication number
JP4842334B2
JP4842334B2 JP2009029263A JP2009029263A JP4842334B2 JP 4842334 B2 JP4842334 B2 JP 4842334B2 JP 2009029263 A JP2009029263 A JP 2009029263A JP 2009029263 A JP2009029263 A JP 2009029263A JP 4842334 B2 JP4842334 B2 JP 4842334B2
Authority
JP
Japan
Prior art keywords
disk
raid
dedicated
hot spare
spare disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009029263A
Other languages
English (en)
Other versions
JP2010186282A (ja
Inventor
秀治郎 大黒谷
実希夫 伊藤
和彦 池内
親志 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009029263A priority Critical patent/JP4842334B2/ja
Priority to US12/652,873 priority patent/US8914577B2/en
Publication of JP2010186282A publication Critical patent/JP2010186282A/ja
Application granted granted Critical
Publication of JP4842334B2 publication Critical patent/JP4842334B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094Redundant storage or storage space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0632Configuration or reconfiguration of storage systems by initialisation or re-initialisation of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD

Description

本発明は、ディスクアレイ装置を制御するディスクアレイ制御装置に関する。
従来、RAID(Redundant Arrays of Inexpensive/Independent Disks)装置などのディスクアレイ装置は、冗長性を保持する機構を備えている。
例えば、RAID装置は、RAIDグループを構成するディスクの1つが故障等によって使用不能となり冗長性を失うと、その使用不能となったディスクの代わりにホット・スペア・ディスク(Hot Spare Disk)にデータを再構築する。これにより、冗長性が復活する。この処理は、一般にリビルド(Rebuild)処理と呼ばれている。
リビルドを行なう場合、以下のようにリビルドを行なうディスクを決定している。
(1)ディスク故障が生じたRAIDグループに対して専用に割り当てられるホット・スペア・ディスクが存在する場合、RAID装置は、そのホット・スペア・ディスクをリビルド処理の対象とする。
以下、特定のRAIDグループに対して専用に割り当てられたホット・スペア・ディスクを、「専用ホット・スペア・ディスク(Dedicated Hot Spare Disk)」という。
(2)専用ホット・スペア・ディスクが存在しない場合、任意のRAIDグループに対して割り当て可能なホット・スペア・ディスクが存在すれば、RAID装置は、そのホット・スペア・ディスクをリビルド処理の対象とする。
以下、任意のRAIDグループで使用可能なホット・スペア・ディスクを、「グローバル・ホット・スペア・ディスク(Global Hot Spare Disk)」という。
以上のようにしてリビルドの対象が決まると、RAID装置は、リビルドの対象に決まったホット・スペア・ディスクに対してリビルド処理を行なう。
上記技術に関連して、スペアコントローラを必要としないアレイ型記録装置のホットスタンバイシステムが知られている。
また、1台目のディスク装置が故障した場合、2台目のディスク装置が故障してデータを喪失する前に、正常なディスク装置に置き換えて速やかにデータを再構築するディスクアレイサブシステムが知られている。
また、従来基本処理装置ごとに必要であったスペアディスク装置を一台に低減することで小型化および低価格化を達成するディスクアレイシステムが知られている。
また、障害の発生した物理ディスクの製品種別や、障害内容や、アレイランクの構成を考慮して障害復旧を行うディスクアレイ装置が知られている。
また、磁気ディスク装置が故障した場合のバックアップ用としてホット・スペア・ディスクを用いることにより、故障した磁気ディスク装置の内容を復元する磁気ディスク装置のディスクの共有方法が知られている。
また、未割り当てのデータ記憶装置を用いて劣化したデータ記憶アレイを最良の信頼性、最良の性能及び最良の効率に復元することができると判定すると、未割り当てのデータ記憶装置を含むように劣化したデータ記憶アレイを再構成する方法が知られている。
特開平07−098635号公報 特開平08−221217号公報 特開2002−215337号公報 特開2004−213441号公報 特開2005−099995号公報 特開2007−200299号公報
RAIDグループを構成するディスクは、それぞれ固有の特性を備える。例えば、各ディスクは、回転数や転送速度、ディスク制御のためのファームウェアに用いられているアルゴリズムなど様々な要因によって特性が決まる。
したがって、故障したディスクと異なる特性を備えるディスクを、ホット・スペア・ディスクとして使用すると、RAIDグループ全体の故障発生前後の特性が変化してしまう可能性がある。
例えば、ディスクの故障前とリビルド後とでRAIDグループのレスポンス等が極端に変化してしまう可能性がある。
現状では、コストなどの観点から、専用ホット・スペア・ディスクを割り当てることが可能なRAIDグループは、1つに限られている。
そのため、例えば、各RAIDグループが他のRAIDグループと異なる特性のディスクで構成されていると、RAIDグループ毎に専用ホット・スペア・ディスクを用意しなければ、上述したRAIDグループの特性が変化するという問題を解消できない。
また、既に専用ホット・スペア・ディスクを使用中のRAIDグループにディスク故障が発生した場合、RAIDグループは、グローバル・ホット・スペア・ディスクを使用することになる。
グローバル・ホット・スペア・ディスクは任意のRAIDグループが使用するため、ディスク障害が生じたRAIDグループに最も適切な特性のグローバル・ホット・スペア・ディスクは、既に他のRAIDグループが使用してしまっている可能性がある。
このような状況になると上述したRAIDグループの特性が変化するという問題を解消できない。
RAIDグループ毎に多数の専用ホット・スペア・ディスクを設定すれば、上述したRAIDグループの特性が変化するという問題に対応できる。しかし、この場合、全ての専用ホット・スペア・ディスクが使用される確率は低い。したがって、ディスクの使用効率が悪くなるという問題が発生する。
本ディスクアレイ制御装置は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、冗長性が失われる前の特性を変化させることなく冗長構成を復元するディスクアレイ制御装置を提供することである。
上記課題を解決するために、本ディスクアレイ制御装置は、以下の手段を備える。
障害検出手段は、2以上のディスク装置により冗長構成をなすディスクアレイの冗長性の欠如を検出する。
リビルド手段は、専用スペア・ディスクのうち、冗長性が欠如した前記ディスクアレイに割り当てられた前記専用スペア・ディスクに対してリビルド処理を行なう。
ここで、専用スペア・ディスクとは、前記ディスクアレイの冗長性の欠如に備えたスペア・ディスクであって該スペア・ディスクと同じ特性の2以上の前記ディスクアレイに専用に割り当てられたスペア・ディスクである。
したがって、リビルド手段が、冗長性が欠如したディスクアレイに割り当てられた専用スペア・ディスクに対してリビルド処理を行なってディスクアレイの冗長性を復元した場合でも、ディスクアレイの特性の変化を防止することが可能となる。
以上に説明したように、本ディスクアレイ制御装置によると、冗長性が失われる前の特性を変化させることなく冗長構成を復元するディスクアレイ制御装置を提供することができる。
本実施例に係るディスクアレイ装置の構成例を示す図である。 本実施例に係る専用ホット・スペア・ディスクおよびグローバル・ホット・スペア・ディスクについて説明する図である。 本実施例に係るRAID構成定義情報の構成例を示す図である。 本実施例に係るディスク構成定義情報の構成例を示す図である。 本実施例に係るディスク特性情報の構成例を示す図である。 本実施例に係るディスクアレイ装置のリビルド処理を示すフローチャートである。 グローバル・ホット・スペア・ディスクを専用ホット・スペア・ディスクとして割り当てる専用ホット・スペア・ディスク割り当て処理を示すフローチャートである。 専用ホット・スペア・ディスクとして割り当てられたグローバル・ホット・スペア・ディスクを解放する専用ホット・スペア・ディスク解放処理を示すフローチャートである。 専用ホット・スペア・ディスクの割り当て対象をRAIDグループ群とした場合のRAID構成定義情報の構成例を示す図である。 専用ホット・スペア・ディスクの割り当て対象をRAIDグループ群とした場合のディスク構成定義情報の構成例を示す図である。 専用ホット・スペア・ディスクの割り当て対象をRAIDグループ群とした場合のディスクアレイ装置のリビルド処理を示すフローチャートである。 本実施例に係るホット・スペア・ディスクの最適化処理を示すフローチャートである。
以下、本実施形態について、図1〜図12に基づいて説明する。
図1は、本実施例に係るディスクアレイ装置100の構成例を示す図である。
ディスクアレイ装置100は、複数の磁気ディスク装置を構成要素とするディスクアレイ101と、ディスクアレイ101を制御するCM(Controller Module)102および103と、を備える。
ディスクアレイ101は、複数の磁気ディスク装置を任意に組み合わせることにより、複数のRAIDグループを構成する。「RAIDグループ」とは、複数の磁気ディスク装置を使用してRAIDを構成する磁気ディスク装置のグループのことである。なお、本実施例は、RAIDのレベルを限定するものではない。
図1に示すディスクアレイ101は、RAIDグループ#0〜#3を備えるディスクアレイ101の例を示している。
なお、各RAIDグループは、同じ特性の磁気ディスク装置で構成されているものとする。「同じ特性」とは、各磁気ディスク装置の特性が完全に一致する場合に限定するものではなく、実用上一致に近い場合も含むものとする。例えば、後述する第1の閾値または第2の閾値を満たす場合に「同じ」と判断しても良い。
RAIDグループ#0〜#2は、全て同じ特性の磁気ディスク装置で構成されているものとする。また、RAIDグループ#3は、RAIDグループ#0〜#2を構成する磁気ディスク装置の特性と異なる特性の磁気ディスク装置で構成されているものとする。
RAIDグループ#0は、8台の磁気ディスク装置でRAIDを構成するRAIDグループである。また、RAIDグループ#1および#2は、それぞれ2台の磁気ディスク装置でRAIDを構成するRAIDグループである。また、RAIDグループ#3は、4台の磁気ディスク装置でRAIDを構成するRAIDグループである。各RAIDは、必要に応じたレベルのRAIDとする。
また、ディスクアレイ101は、専用ホット・スペア・ディスク#0〜#3と、グローバル・ホット・スペア・ディスク#0〜#3と、を備える。
専用ホット・スペア・ディスク#0および#1は、RAIDグループ#0〜#2に専用に割り当てられたホット・スペア・ディスクである。専用ホット・スペア・ディスク#0および#1は、RAIDグループ#0〜#2を構成する磁気ディスク装置の特性と同じを有する。
専用ホット・スペア・ディスク#2は、RAIDグループ#3に専用に割り当てられたホット・スペア・ディスクである。専用ホット・スペア・ディスク#2は、RAIDグループ#0〜#2を構成する磁気ディスク装置の特性と同じ特性を有する。
CM102は、CA(Channel Adapter)102aおよび102bと、キャッシュ制御部102cと、RAID制御部102dと、構成定義記憶部102eと、リビルド制御部102fと、GUI(Graphical User Interface)部102gと、DA(Device Adapter)102hおよび102iと、を備える。
CA102aおよび102bは、ホスト104が有する図示しないI/O(Input/Output)装置とのI/F(InterFace)である。
キャッシュ制御部102cは、図示しないがキャッシュ制御部102c内部に備わるキャッシュを制御する。
例えば、キャッシュ制御部102cは、ディスクアレイ101に記憶されているデータの一部を読み出してキャッシュに記憶する。そして、キャッシュ制御部102cは、ホスト104からの要求に応じて、キャッシュに記憶されているデータを操作する。また、キャッシュ制御部102cは、不要となったデータを、キャッシュからディスクアレイ101に書き戻す。
RAID制御部102dは、ディスクアレイ101を制御する。例えば、RAID制御部102dは、構成定義記憶部102eに記憶されている構成定義情報にしたがって、ディスクアレイ101にRAIDグループの構築を指示する。
また、RAID制御部102dは、ディスクアレイ101からRAIDグループに障害が発生して冗長性を喪失したこと、または冗長性を喪失する可能性があることの通知を受けると、後述するリビルド処理を行なう。
この時、RAID制御部102dは、障害が発生したRAIDグループに割り当てられている複数の専用ホット・スペア・ディスクから任意の専用ホット・スペア・ディスクを1つ選択する。そして、RAID制御部102dは、選択した専用ホット・スペア・ディスクをリビルドの対象とする。
障害が発生したRAIDグループに割り当てられている専用ホット・スペア・ディスクが全て使用中の場合、RAID制御部102dは、複数のグローバル・ホット・スペア・ディスクから任意のグローバル・ホット・スペア・ディスクを1つ選択する。そして、RAID制御部102dは、選択したグローバル・ホット・スペア・ディスクをリビルドの対象とする。
また、RAID制御部102dは、後述する専用ホット・スペア・ディスク割り当て処理や専用ホット・スペア・ディスク解放処理等を行なう。
構成定義記憶部102eは、RAIDグループの構成定義情報と、磁気ディスク装置の構成定義情報と、磁気ディスク装置の特性に関する情報と、を記憶する。
以下、RAIDグループに関する構成定義情報を「RAID構成定義情報」という。また、RAIDグループを構成する磁気ディスク装置の構成定義情報を「ディスク構成定義情報」という。また、磁気ディスク装置の特性に関する情報を「ディスク特性情報」という。
リビルド制御部102fは、RAID制御部102dからの指示に応じて、リビルド処理を行なう。
また、リビルド制御部102fは、保守作業等により障害が発生した磁気ディスク装置の交換が行なわれると、ホット・スペア・ディスクのデータを、交換された磁気ディスク装置にコピーするコピーバック処理を行なう。
DA102hおよび102iは、ディスクアレイ101にアクセスするためのI/Fである。
なお、CM102はCM103と同じ構成である。したがって、詳細な説明は省略する。
図1では、CM101および102によってCMを2重化した場合の構成を示しているが、ディスクアレイ装置100をCMが2重化の場合に限定する趣旨ではない。また、CAやDAについても、それらの数を限定する趣旨ではない。
また、ディスクアレイ101を構成する磁気ディスク装置の数、ディスクアレイ101内に備わるRAIDグループ、専用ホット・スペア・ディスク、グローバル・ホット・スペア・ディスクについても例示であって、図1に示す構成に限定する趣旨ではない。
図2は、本実施例に係る専用ホット・スペア・ディスクおよびグローバル・ホット・スペア・ディスクについて説明する図である。
図2に示すRAIDグループ、専用ホット・スペア・ディスクおよびグローバル・ホット・スペア・ディスクは、図1に示したものを概念的に記載したものである。
上述したように、専用ホット・スペア・ディスク#0は、RAIDグループ#0、#1および#2に専用に割り当てられたホット・スペア・ディスクである。専用ホット・スペア・ディスク#1も同様である。
また、専用ホット・スペア・ディスク#2は、RAIDグループ#3に専用に割り当てられた専用ホット・スペア・ディスクである。なお、本実施例に係る専用ホット・スペア・ディスクは、複数のRAIDグループを割り当てることが可能であるが、説明の都合で、専用ホット・スペア・ディスク#2には、RAIDグループ#3のみを割り当てている。
また、グローバル・ホット・スペア・ディスク#0〜#3は、RAIDグループ#0〜#3のいずれにも使用可能なホット・スペア・ディスクである。
(1)RAIDグループの磁気ディスク装置が故障すると、(2)RAID制御部102dは、RAIDグループ#0〜#2に割り当てられている専用ホット・スペア・ディスク#0または#1から、例えば、専用ホット・スペア・ディスク#0を選択する。
そして、RAID制御部102dは、専用ホット・スペア・ディスク#0に対してリビルド処理を行なう。
(3)更に、RAIDグループ#1の磁気ディスク装置が故障すると、(4)RAID制御部102dは、RAIDグループ#0〜#2に割り当てられている専用ホット・スペア・ディスク#1に対してリビルド処理を行なう。
(5)更に、RAIDグループ#2の磁気ディスク装置が故障すると、(6)RAID制御部102dは、グローバル・ホット・スペア・ディスク#0〜#3から、例えば、グローバル・ホット・スペア・ディスク#2を選択する。既に専用ホット・スペア・ディスクは全て使用中だからである。
そして、RAID制御部102dは、グローバル・ホット・スペア・ディスク#2に対してリビルド処理を行なう。
(7)また、例えば、RAIDグループ#0に割り当てられた専用ホット・スペア・ディスク#0および#1が全て使用中となると、RAID制御部102dは、グローバル・ホット・スペア・ディスクを1つ選択する。
この時、RAID制御部102dは、専用ホット・スペア・ディスク#0または#1の特性と一致または略一致する特性を有するグローバル・ホット・スペア・ディスク#2を選択する。
そして、RAID制御部102dは、選択したグローバル・ホット・スペア・ディスクを、RAIDグループ#0の専用ホット・スペア・ディスクに割り当てる。
(8)また、保守作業等により、例えば、RAIDグループ#3の磁気ディスク装置が交換されると、(9)RAID制御部102dは、交換された磁気ディスク装置に対してリビルド処理・コピーバック処理を行なう。すると、RAID制御部102dは、使用していた専用ホット・スペア・ディスク#2を解放する。
(10)専用ホット・スペア・ディスク#2が解放され未使用の状態になると、RAID制御部102dは、RAIDグループ#3の専用ホット・スペア・ディスクに割り当てられていたグローバル・ホット・スペア・ディスクを解放する。
なお、図2に示すかっこ付きの番号(1)〜(10)は、説明を分かりやすくするために付したものであって、(1)〜(10)の順に処理が行なわれることに限定する趣旨ではない。
図3は、本実施例に係るRAID構成定義情報の構成例を示す図である。
各RAIDグループは、図3に示すRAID構成定義情報300によって管理される。
図3に示すRAID構成定義情報300は、以下の設定項目を備える。
「RAIDグループ番号」は、RAIDグループ毎に割り当てられる識別番号である。
「ステータス」は、RAIDグループの状態を示す情報である。例えば、「正常」、「冗長性なし」、「データ再構築中」または「故障中」が設定される。なお、RAIDが「正常」とは冗長構成を有する状態をいう。また、「データ再構築中」とはリビルド中の状態をいう。
「RAIDレベル」は、RAIDグループの磁気ディスク装置を構成要素とするRAIDのRAIDレベルを示す情報である。例えば、「RAID#0」、「RAID#1」、・・・、「RAID#6」、RAID#0+1等が設定される。
「ディスク数/ディスク番号」は、RAIDグループに備わる磁気ディスク装置の数と、それらの磁気ディスク装置に割り当てられる識別番号と、を示す情報である。
「ストライプ・サイズ/ストライプ・デプス」は、RAIDグループの各磁気ディスク装におけるストライプのサイズ(幅)と深さを示す情報である。なお、本情報は、ストライピングが行なわれる場合のみ有効である。
「ブロック・カウント」は、RAIDグループとしての全記憶容量を示す情報である。なお、「ブロック・カウント」には、RAIDグループに記憶可能な最大ブロック数が設定される。したがって、ブロックサイズとブロック・カウントの積がRAIDグループの全記憶容量となる。
「ボリューム数/ボリューム番号」は、RAIDグループ上で定義されているホストボリューム数と、それらのホストボリューム番号と、を示す情報である。
「グローバル・ホット・スペア・ディスク可否」は、グローバル・ホット・スペア・ディスクの使用の可否を示す情報である。本情報には、例えば、「使用可」または「使用不可」が設定される。
図4は、本実施例に係るディスク構成定義情報の構成例を示す図である。
各磁気ディスク装置は、図4に示すディスク構成定義情報400によって管理される。
図4に示すディスク構成定義情報400は、以下の設定項目を備える。
「ディスク番号」は、ディスク毎に割り当てられる識別番号である。
「ステータス」は、ディスクの状態を示す情報である。例えば、「未使用」、「使用中」、「データ構築中」または「故障中」が設定される。なお、「未使用」、「使用中」および「データ構築中」は、磁気ディスク装置が正常に動作している時に設定される情報である。
「RAIDグループ番号」は、RAIDグループに属する場合のRAIDグループ番号である。
「ディスク種別」は、ディスクの種類を示す情報である。例えば、「オンライン」、「ニアライン(Nearline)」、「SSD(Solid State Drive)」などが設定される。
「モータ状態」は、磁気ディスク装置のモータの回転状況を示す情報である。例えば、「通常モード」や「節電モード」が設定される。節電モードとは、例えば、ホスト104からアクセスが無い状況ではモータを停止するモードである。
「使用方法」は、ディスクの使用方法を示す情報である。例えば、「データ」、「グローバル・ホット・スペア・ディスク」、「専用ホット・スペア・ディスク」、「未使用」などが設定される。なお、「データ」は、RAIDグループに最初から登録されている磁気ディスク装置であることを示す情報である。
「RAIDグループ数/RAIDグループ番号」は、「使用方法」に「専用ホット・スペア・ディスク」が設定されている場合に、専用ホット・スペア・ディスクの割り当て先のRAIDグループの数と、それらのRAIDグループのRAIDグループ番号が設定される。
「回転数」は、磁気ディスクの回転数を示す情報である。
「ブロック・カウント」は、磁気ディスク装置の容量を示す情報である。
「リビルド進捗」は、リビルド処理やコピーバック処理の実行時の進捗度合いを示す情報である。
「パトロール進捗」は、ディスクの媒体面の自動確認を行わせた場合の進捗度合いを示す情報である。
図5は、本実施例に係るディスク特性情報の構成例を示す図である。
図5に示すディスク特性情報500は、以下の設定項目を備える。
「回転数」は、磁気ディスクの回転数を示す情報である。この「回転数」は、ディスク構成定義情報400に備わる「回転数」と同じ情報である。
「データ転送速度」は、磁気ディスク装置の平均スループット性能を示す情報である。なお、「データ転送速度」は、「領域別のデータ転送速度」でもよい。磁気ディスク装置の平均スループット性能は、磁気ディスクの外周と内周とでデータの転送速度に違いが生じるからである。
「ディスクの型番」は、磁気ディスク装置の型番を示す情報である。
「ファーム版数」は、磁気ディスク装置で稼働中のファームウェアの版数を示す情報である。
「ディスク・キャッシュの使用/未使用」は、ディスク・キャッシュを使用しているか未使用であるかを示す情報である。例えば、「使用」「未使用」が設定される。
「ディスク・キャッシュの容量」は、磁気ディスク装置に備わるディスク・キャッシュの容量を示す情報である。
図6は、本実施例に係るディスクアレイ装置100のリビルド処理を示すフローチャートである。
RAID制御部102dは、ディスクアレイ101を構成するRAIDグループの磁気ディスク装置に故障等が発生したこと、または磁気ディスク装置に故障等が発生して使用不能となったこと、を検出すると、処理をステップS601に移行する。
以下、磁気ディスク装置に故障等が発生し、または磁気ディスク装置に故障等が発生して使用不能となったことにより、リビルドが必要となった磁気ディスク装置を含むRAIDグループを「リビルド対象RAIDグループ」という。
ステップS601において、RAID制御部102dは、リビルド対象RAIDグループに割り当てられた専用ホット・スペア・ディスクの有無を検索する。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、「ステータス」に未使用、「使用方法」に専用ホット・スペア・ディスク、そして「RAIDグループ数/RAIDグループ番号」にリビルド対象RAIDグループのRAIDグループ番号が設定されているディスク構成定義情報を検索する。
ステップS602において、ステップS601の検索で該当するディスク構成定義情報が検出された場合、RAID制御部102dは、リビルド対象RAIDグループに割り当てられた専用ホット・スペア・ディスクが有ると判断する。そして、RAID制御部102dは、処理をステップS603に移行する(S602 YES)。
以下、ステップS602または後述するステップS1002で検出したディスク構成定義情報の専用ホット・スペア・ディスクを、「リビルド対象専用ホット・スペア・ディスク」という。
ステップS603において、RAID制御部102dは、リビルド対象専用ホット・スペア・ディスクに対するリビルド処理を、リビルド制御部101fに指示する。
リビルド制御部101fは、リビルド対象専用ホット・スペア・ディスクのディスク構成定義情報の「ステータス」を「データ構築中」に変更する。そして、リビルド制御部101fは、リビルド対象専用ホット・スペア・ディスクに対してリビルド処理を実行する。
リビルド処理が完了すると、リビルド制御部101fは、リビルド対象専用ホット・スペア・ディスクのディスク構成定義情報の「ステータス」を「使用中」に変更する。そして、リビルド制御部101fは、リビルド処理を終了する(ステップS608)。
ステップS602において、ステップS601の検索で該当するディスク構成定義情報が検出されない場合、RAID制御部102dは、リビルド対象専用ホット・スペア・ディスクがない判断する。そして、RAID制御部102dは、処理をステップS604に移行する(S602 NO)。
ステップS604において、リビルド対象RAIDグループがグローバル・ホット・スペア・ディスクを使用可能か判断する。
例えば、RAID制御部102dは、構成定義記憶部102eに記憶されているリビルド対象RAIDグループのRAID構成定義情報を参照する。
RAID構成定義情報の「グローバル・ホット・スペア・ディスク可否」に、「使用可」が設定されている場合、RAID制御部102dは、グローバル・ホット・スペア・ディスクを使用可能と判断する。そして、RAID制御部102dは、処理をステップS605に移行する(ステップS604 YES)。
RAID構成定義情報の「グローバル・ホット・スペア・ディスク可否」に、「使用不可」が設定されている場合、RAID制御部102dは、グローバル・ホット・スペア・ディスクを使用できないと判断する。そして、RAID制御部102dは、処理をステップS608に移行する(ステップS604 NO)。
この場合、RAID制御部102dは、リビルド処理を実行することなく処理を終了する。そして、RAID制御部102dは、保守作業等により、障害等が発生した磁気ディスク装置の交換を待つことになる。
ステップS605において、RAID制御部102dは、グローバル・ホット・スペア・ディスクを検索する。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、「ステータス」に未使用、そして「使用方法」にグローバル・ホット・スペア・ディスクが設定されているディスク構成定義情報を検索する。
ステップS606において、ステップS605の検索で該当するディスク構成情報が検出された場合、RAID制御部102dは、使用可能なグローバル・ホット・スペア・ディスクが有ると判断する。そして、RAID制御部102dは、処理をステップS607に移行する(S606 YES)。
ステップS606で検出したグローバル・ホット・スペア・ディスクは、リビルドの対象となる。以下、ステップS606または後述するステップS1006で検出したグローバル・ホット・スペア・ディスクを、「リビルド対象グローバル・ホット・スペア・ディスク」という。
ステップS606において、ステップS605の検索で該当するディスク構成情報が検出されない場合、RAID制御部102dは、リビルド対象グローバル・ホット・スペア・ディスクがないと判断し、処理をステップS608に移行する(S606 NO)。
ステップS607において、RAID制御部102dは、リビルド対象グローバル・ホット・スペア・ディスクに対するリビルド処理を、リビルド制御部101fに指示する。
リビルド制御部101fは、リビルド対象グローバル・ホット・スペア・ディスクのディスク構成定義情報の「ステータス」を「データ構築中」に変更する。そして、リビルド制御部101fは、リビルド対象グローバル・ホット・スペア・ディスクに対してリビルド処理を実行する。
リビルド処理が完了すると、リビルド制御部101fは、リビルド対象グローバル・ホット・スペア・ディスクのディスク構成定義情報の「ステータス」を「使用中」に変更する。そして、リビルド制御部101fは、リビルド処理を終了する(ステップS608)。
なお、以上に説明した処理は、RAID制御部102dでなく、リビルド制御部102fが行なうようにしてもよい。
また、CM102とCM103とは2重化されているので、以上に説明した処理は、CM102が実行してもよいし、CM103が実行してもよい。
また、ステップS604の処理は、必須の処理ではない。
図7は、グローバル・ホット・スペア・ディスクを専用ホット・スペア・ディスクとして割り当てる専用ホット・スペア・ディスク割り当て処理を示すフローチャートである。
ステップS701において、リビルド制御部101fによるリビルド処理が完了すると、RAID制御部102dは、処理をステップS702に移行する。
ステップS702において、RAID制御部102dは、リビルド対象RAIDグループであったRAIDグループに割り当てられた未使用の専用ホット・スペア・ディスクが有るか否かを判別する。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、「ステータス」に未使用、「使用方法」に専用ホット・スペア・ディスク、そして「RAIDグループ番号」にリビルド対象RAIDグループであったRAIDグループの番号が設定されているディスク構成定義情報を検索する。
該当するディスク構成定義情報が検出された場合、RAID制御部102dは、リビルド対象RAIDグループであったRAIDグループに割り当てられた未使用の専用ホット・スペア・ディスクが有ると判断する。そして、RAID制御部102dは、処理をステップS708に移行する(ステップS702 YES)。RAID制御部102dは、専用ホット・スペア・ディスク割り当て処理を終了する(ステップS708)。
該当するディスク構成定義情報が検出されない場合、RAID制御部102dは、リビルド対象RAIDグループであったRAIDグループに割り当てられた未使用の専用ホット・スペア・ディスクがないと判断する。そして、RAID制御部102dは、処理をステップS703に移行する(ステップS702 NO)。
ステップS703において、RAID制御部102dは、リビルド対象RAIDグループであったRAIDグループに備わる磁気ディスク装置の特性と同じ特性のグローバル・ホット・スペア・ディスクを検索する。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、リビルド対象RAIDグループであったRAIDグループに備わる任意の磁気ディスク装置のディスク特性情報を取得する。
以下、リビルド対象RAIDグループであったRAIDグループに備わる任意の磁気ディスク装置のディスク特性情報を、「基準ディスク特性情報」という。
RAID制御部102dは、グローバル・ホット・スペア・ディスクのディスク特性情報のうち、基準ディスク特性情報と同じディスク特性情報を検索する。RAID制御部102dは、ディスク特性情報に設定されている項目のうち一致する項目の数が第1の閾値以上の場合に、ディスク特性情報が「同じ」であると判断する。
第1の閾値は、ディスク特性情報に設定されている全ての項目数であっても良い。また、第1の閾値は、必要に応じて、ディスク特性情報に設定されている全ての項目数より小さい値であっても良い。ただし、第1の閾値は、2以上の整数値であればよい。
ステップS704において、基準ディスク特性情報と同じディスク特性情報を検出すると、RAID制御部102dは、該当するグローバル・ホット・スペア・ディスクがあると判断する。そして、RAID制御部102dは、処理をステップS707に移行する(S704 YES)。
ステップS704において、基準ディスク特性情報と同じディスク特性情報が検出されない場合、RAID制御部102dは、該当するグローバル・ホット・スペア・ディスクがないと判断する。そして、RAID制御部102dは、処理をステップS705に移行する(S704 NO)。
ステップS705において、RAID制御部102dは、リビルド対象RAIDグループであったRAIDグループを構成する磁気ディスク装置の特性に近い特性を有するグローバル・ホット・スペア・ディスクを検索する。
例えば、RAID制御部102dは、グローバル・ホット・スペア・ディスクのディスク特性情報のから、基準ディスク特性情報に近いディスク特性情報を検索する。RAID制御部102dは、ディスク特性情報に設定されている項目のうち一致する項目の数が第2の閾値以上であって第1の閾値より小さい場合に、ディスク特性情報が近いと判断する。
第2の閾値は、必要に応じて第1の閾値より小さい1以上の整数値の範囲で設定すればよい。
ステップS706において、基準ディスク特性情報に近いディスク特性情報を検出すると、RAID制御部102dは、該当するグローバル・ホット・スペア・ディスクがあると判断する。そして、RAID制御部102dは、処理をステップS707に移行する(S706 YES)。
ステップS706において、基準ディスク特性情報に近いディスク特性情報が検出されない場合、RAID制御部102dは、該当するグローバル・ホット・スペア・ディスクがないと判断する。そして、RAID制御部102dは、処理をステップS708に移行する(S706 NO)。
ステップS707において、RAID制御部102dは、ステップS704またはS706で検出したグローバル・ホット・スペア・ディスクを、リビルド対象RAIDグループであったRAIDグループの専用ホット・スペア・ディスクに設定する。
例えば、RAID制御部102dは、ステップS704またはS706で検出したグローバル・ホット・スペア・ディスクのディスク構成定義情報の「使用方法」に「専用ホット・スペア・ディスク」を追加的に設定する。
本実施例では、グローバル・ホット・スペア・ディスクであった専用ホット・スペア・ディスクであることを識別するために、ディスク構成定義情報の「使用方法」に設定された「グローバル・ホット・スペア・ディスク」は保持する。
したがって、ディスク構成定義情報の「使用方法」には、「グローバル・ホット・スペア・ディスク」と「専用ホット・スペア・ディスク」が設定された状態となる。
RAID制御部102dは、ディスク構成定義情報の「使用方法」に「グローバル・ホット・スペア・ディスク」と「専用ホット・スペア・ディスク」が設定されている場合、専用ホット・スペア・ディスクであると判断する。
なお、ディスク構成定義情報の「使用方法」に、「専用ホット・スペア・ディスク」を追加的に設定する代わりに、別途「グローバル・ホット・スペア・ディスクであった専用ホット・スペア・ディスク」という設定を設けても良い。
RAID制御部102dは、ディスク構成定義情報の「RAIDグループ数/RAIDグループ番号」の「RAIDグループ数」を1だけ加算する。
また、RAID制御部102dは、ディスク構成定義情報の「RAIDグループ数/RAIDグループ番号」の「RAIDグループ番号」にリビルド対象RAIDグループであったRAIDグループのRAIDグループ番号を設定する。そして、RAID制御部102dは、専用ホット・スペア・ディスク割り当て処理を終了する(ステップS708)。
図8は、専用ホット・スペア・ディスクとして割り当てられたグローバル・ホット・スペア・ディスクを解放する専用ホット・スペア・ディスク解放処理を示すフローチャートである。
ステップS801において、保守作業等によって、故障した磁気ディスク装置が交換されて専用ホット・スペア・ディスクが解放されると、RAID制御部102dは、処理をステップS802に移行する。
なお、「専用ホット・スペア・ディスクが解放される」とは、交換された新たな磁気ディスク装置に対してリビルド処理・コピーバック処理が行なわれたことにより、専用ホット・スペア・ディスクが未使用の状態になることである。
ステップS802において、RAID制御部102dは、ステップS801で解放された専用ホット・スペア・ディスクを使用していたRAIDグループに割り当てられている他の専用ホット・スペア・ディスクを検索する。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、「RAIDグループ番号」にステップS801で解放された専用ホット・スペア・ディスクが割り当てられていたRAIDグループのRAIDグループ番号が設定されているディスク構成定義情報を検索する。
さらに、RAID制御部102dは、上記検索で検出したディスク構成定義情報のうち、「ステータス」に未使用、そして「使用方法」に専用ホット・スペア・ディスクが設定されているものを検索する。
ステップS803において、RAID制御部102dは、ステップS802の検索で検出されたディスク構成定義情報の専用ホット・スペア・ディスクが、グローバル・ホット・スペア・ディスクだった専用ホット・スペア・ディスクか否かを判別する。
グローバル・ホット・スペア・ディスクだった専用ホット・スペア・ディスクとは、図6に示したステップS707の処理によって、専用ホット・スペア・ディスクに設定されたグローバル・ホット・スペア・ディスクのことである。
ディスク構成定義情報の「使用方法」に「専用ホット・スペア・ディスク」と「グローバル・ホット・スペア・ディスク」が設定されている場合、RAID制御部102dは、グローバル・ホット・スペア・ディスクであった専用ホット・スペア・ディスクと判断する。
ディスク構成定義情報の「使用方法」に専用ホット・スペア・ディスクのみが設定されている場合、RAID制御部102dは、グローバル・ホット・スペア・ディスクであった専用ホット・スペア・ディスクではないと判断する。
RAID制御部102dは、ステップS802で検出した専用ホット・スペア・ディスクがグローバル・ホット・スペア・ディスクであったものと判断すると、処理をステップS804に移行する(ステップS803 YES)。
また、RAID制御部102dは、ステップS802で検出した専用ホット・スペア・ディスクがグローバル・ホット・スペア・ディスクであったものでないと判断すると、処理をステップS805に移行する(ステップS803 NO)。そして、RAID制御部102dは、専用ホット・スペア・ディスク解放処理を終了する(ステップS805)。
ステップS804において、RAID制御部102dは、ステップS802で検出した専用ホット・スペア・ディスクをグローバル・ホット・スペア・ディスクに再設定する。
例えば、RAID制御部102dは、ステップS802で検出したディスク構成定義情報の「使用方法」に設定されている専用ホット・スペア・ディスクを削除する。すると、ディスク構成定義情報の「使用方法」には、グローバル・ホット・スペア・ディスクの設定だけが残ることになる。
グローバル・ホット・スペア・ディスクであった専用ホット・スペア・ディスクをグローバル・ホット・スペア・ディスクに再設定すると、RAID制御部102dは、処理をステップS805に移行する。そして、RAID制御部102dは、専用ホット・スペア・ディスク解放処理を終了する(ステップS805)。
図9は、専用ホット・スペア・ディスクの割り当て対象をRAIDグループ群とした場合のRAID構成定義情報の構成例を示す図である。
「RAIDグループ群」とは、2以上のRAIDグループからなる群のことである。RAIDグループ群を構成するRAIDグループの数は、2以上であればよく、必要に応じた数でよい。
各RAIDグループは、図9に示すRAID構成定義情報900によって管理される。
図9に示すRAID構成定義情報900は、図3に示したRAID構成定義情報300の設定項目に加えて、「RAIDグループ群番号」を更に備える。
「RAIDグループ群番号」は、RAIDグループが属するRAIDグループ群の番号を示す情報である。
図10は、専用ホット・スペア・ディスクの割り当て対象をRAIDグループ群とした場合のディスク構成定義情報の構成例を示す図である。
各磁気ディスク装置は、図10に示すディスク構成定義情報1000によって管理される。
ディスク構成定義情報1000は、図4に示したディスク構成定義情報400と同じ設定項目を備える。ただし、ディスク構成定義情報1000では、「RAIDグループ数/RAIDグループ番号」の代わりに「RAIDグループ群番号」を使用する。
「RAIDグループ群番号」は、「使用方法」に専用ホット・スペア・ディスクが設定されている場合に、専用ホット・スペア・ディスクの割り当て先のRAIDグループ群のRAIDグループ群番号を示す情報である。
図11は、専用ホット・スペア・ディスクの割り当て対象をRAIDグループ群とした場合のディスクアレイ装置100のリビルド処理を示すフローチャートである。
RAID制御部102dは、RAIDグループ群を構成している任意のRAIDグループの磁気ディスク装置に故障等が発生したこと、または磁気ディスク装置に故障等が発生して使用不能となったこと、を検出すると、処理をステップS1101に移行する。
以下、構成要素にリビルド対象RAIDグループを含むRAIDグループ群を「リビルド対象RAIDグループ群」という。
ステップS1101において、RAID制御部102dは、リビルド対象RAIDグループ群に割り当てられた専用ホット・スペア・ディスクの有無を検索する。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、「ステータス」に未使用、「使用方法」に専用ホット・スペア・ディスク、そして「RAIDグループ群番号」にリビルド対象RAIDグループ群のRAIDグループ群番号が設定されているディスク構成定義情報を検索する。
ステップS1102において、ステップS1101の検索で該当するディスク構成定義情報が検出された場合、RAID制御部102dは、リビルド対象RAIDグループ群に割り当てられた専用ホット・スペア・ディスクが有ると判断する。そして、RAID制御部102dは、処理をステップS1103に移行する(S1102 YES)。
以下、ステップS1103〜S1108の処理は、図6に示したステップS603〜S608の処理と同様なので、詳細な説明は省略する。
専用ホット・スペア・ディスクの割り当て対象をRAIDグループ群とした場合のディスクアレイ装置100の専用ホット・スペア・ディスク割り当て処理は、図7に示した処理と同様である。
専用ホット・スペア・ディスクの割り当て対象をRAIDグループ群とした場合のディスクアレイ装置100の専用ホット・スペア・ディスク解放処理は、図8に示した処理と同様である。
以下、専用ホット・スペア・ディスクとグローバル・ホット・スペア・ディスクを総じて単に「ホット・スペア・ディスク」という。
従来、ホット・スペア・ディスクを使用中の場合、リビルド処理の開始時に割り当てたホット・スペア・ディスクを別のホット・スペア・ディスクに移し替える機能がなかった。
そのため、RAIDグループで使用中のホット・スペア・ディスクよりも記憶容量や回転速度といった観点でより適切なホット・スペア・ディスクへの切り替えができなかった。そして、状況によっては磁気ディスク装置の故障時にリビルド処理が開始できないという事態が発生し得た。
例えば、500GBの磁気ディスク装置で構成されているRAIDグループAと、750GBの磁気ディスク装置で構成されているRAIDグループBと、について750GBのホット・スペア・ディスクが1台だけ割り当てられていた場合を考える。
RAIDグループAの磁気ディスク装置が1台故障した場合、ホット・スペア・ディスクに対してリビルド処理が実行される。ここで、新たに500GBのホット・スペア・ディスクが追加された場合、例えば、RAIDグループBの中の磁気ディスク装置に故障が発生しても十分な容量の未使用ホット・スペア・ディスクが無いためリビルド処理が開始できないということになる。
そこで、本実施例に係るディスクアレイ装置100では、以下に示す処理を実行することにより、ホット・スペア・ディスクの最適化を行なう。
図12は、本実施例に係るホット・スペア・ディスクの最適化処理を示すフローチャートである。
RAID制御部102dは、例えば、保守作業等により新たにホット・スペア・ディスクが追加されたこと、または、コピーバック処理が完了したことによりホット・スペア・ディスクが未使用状態となったこと、を検出すると、処理をステップS1201に移行する。
以下、保守作業等により新たに追加されたホット・スペア・ディスク、または、コピーバック処理が完了したことにより未使用状態となったホット・スペア・ディスクを、「新ホット・スペア・ディスク」という。
ステップS1201において、RAID制御部102dは、ホット・スペア・ディスクを使用しているRAIDグループを検索する。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、「ステータス」が使用中であって「使用方法」にホット・スペア・ディスクが設定されているディスク構成定義情報を検索する。ただし、新ホット・スペア・ディスクのディスク構成定義情報は除く。
ステップS1202において、ステップS1201の検索で該当するディスク構成定義情報が検出された場合、RAID制御部102dは、ホット・スペア・ディスクを使用中のRAIDグループがあると判断する。
そして、RAID制御部102dは、検出したディスク構成定義情報から「RAIDグループ番号」を取得する。そして、RAID制御部102dは、処理をステップS1203に移行する(ステップS1202 YES)。
ステップS1202において、ステップS1201の検索で該当するディスク構成定義情報が検出されない場合、RAID制御部102dは、ホット・スペア・ディスクを使用中のRAIDグループはないと判断する。そして、RAID制御部102dは、処理をステップS1210に移行する(ステップS1202 NO)。
以下、ステップS1202で検出したRAIDグループを「最適化対象RAIDグループ」という。また、最適化対象RAIDグループに使用中のホット・スペア・ディスクを「最適化対象ホット・スペア・ディスク」という。
ステップS1203において、RAID制御部102dは、新ホット・スペア・ディスクの特性と第1の条件とを比較する。
ここで、第1の条件とは、以下の2つの条件を同時に満たすことである。
(1)最適化対象ホット・スペア・ディスクの記憶容量以下であること。
(2)最適化対象RAIDグループで使用可能な記憶容量の範囲内であること。なお、「使用可能な記憶容量」とは、例えば、最適化対象RAIDグループで使用可能な最低限度の記憶容量である。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、新ホット・スペア・ディスクのディスク特性情報から記憶容量Q1を取得する。
同様に、RAID制御部102dは、最適化対象ホット・スペア・ディスクのディスク特性情報から記憶容量Q2を取得する。
さらに、RAID制御部102dは、最適化対象RAIDグループのRAID構成定義情報から記憶容量Q3を取得する。そして、RAID制御部102dは、記憶容量Q1と、記憶容量Q2またはQ3と、を比較する。
ステップS1204において、記憶容量Q1が記憶容量Q2以下であって、記憶容量Q1が記憶容量Q3以上の場合、RAID制御部102dは、新ホット・スペア・ディスクの特性が第1の条件を満たすと判断する。そして、RAID制御部102dは、処理をステップS1205に移行する(ステップS1204 YES)。
ステップS1204において、記憶容量Q1が記憶容量Q2より大きい場合、または、記憶容量Q1が記憶容量Qより小さい場合、RAID制御部102dは、新ホット・スペア・ディスクの特性が第1の条件を満たしていない判断する。そして、RAID制御部102dは、処理をステップS1210に移行する(ステップS1204 NO)。
ステップS1205において、RAID制御部102dは、新ホット・スペア・ディスクの特性と第2の条件とを比較する。
ここで、第2の条件とは、新ホット・スペア・ディスクの回転数R1が、最適化対象ホット・スペア・ディスクの回転数R2と一致または略一致することである。なお、略一致とは、例えば、回転数R1が回転数R2の±50%の範囲内であることをいう。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、新ホット・スペア・ディスクのディスク特性情報から回転数R1を取得する。同様に、RAID制御部102dは、最適化対象ホット・スペア・ディスクのディスク特性情報から回転数R2を取得する。そして、RAID制御部102dは、回転数R1とR2とを比較する。
本実施例では、新ホット・スペア・ディスクの回転数R1と比較する回転数として、最適化対象ホット・スペア・ディスクの記憶容量Q2を用いたが、最適化対象RAIDグループに備わる他の磁気ディスク装置の回転数を使用してもよい。
ステップS1206において、回転数R1が回転数R2の±50%の範囲にある場合、RAID制御部102dは、新ホット・スペア・ディスクの特性が第2の条件を満たすと判断する。そして、RAID制御部102dは、処理をステップS1207に移行する(ステップS1206 YES)。
ステップS1204において、回転数R1が回転数R2の±50%の範囲にない場合、RAID制御部102dは、新ホット・スペア・ディスクの特性が第2の条件を満たさないと判断する。そして、RAID制御部102dは、処理をステップS1210に移行する(ステップS1206 NO)。
ステップS1207において、RAID制御部102dは、新ホット・スペア・ディスクを、最適化対象RAIDグループに割り当てる。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、新ホット・スペア・ディスクのディスク構成定義情報の「RAIDグループ数・RAIDグループ番号」のRAIDグループ数を1だけインクリメントする。同時に、RAID制御部102dは、「RAIDグループ数・RAIDグループ番号」のRAIDグループ番号に、最適化対象RAIDグループのRAIDグループ番号を追加的に設定する。
ステップS1208において、RAID制御部102dは、新ホット・スペア・ディスクに、最適化対象ホット・スペア・ディスクの内容をコピーする。
ステップS1209において、RAID制御部102dは、最適化対象ホット・スペア・ディスクをRAIDグループから解放し、未使用の状態に設定する。
例えば、RAID制御部102dは、構成定義記憶部102eを参照する。そして、RAID制御部102dは、最適化対象ホット・スペア・ディスクのディスク構成定義情報の「ステータス」を未使用に設定する。
また、RAID制御部102dは、最適化対象ホット・スペア・ディスクのディスク構成定義情報の「RAIDグループ数」を1だけ減算する。同時に、RAID制御部102dは、「RAIDグループ番号」に設定されている最適化対象RAIDグループのRAIDグループ番号を削除する。
なお、ステップS1208において、コピー中の領域をステージング処理およびライトバック処理で使用する領域と排他にしておけば、ホスト104からI/O命令を受けた場合も、ホスト104側のI/O処理を止めることなくコピー処理を継続できる。この場合、ライトバック処理では、のコピー元の領域とコピー先の領域の両領域にデータを書き込めばよい。
なお、ステップS1203およびS1204、または、ステップS1205およびS1206、の何れかの処理を行なわなくてもよい。
以上に説明したように、専用ホット・スペア・ディスクは、図2に示した専用ホット・スペア・ディスク#0および#1のように、同じ特性の磁気ディスク装置からなる1または2以上のRAIDグループに専用に割り当てられる。
その結果、CM102は、図6で示したステップS601〜S603の処理を行なうことにより、リビルド前のRAIDグループの特性を変化させることなくリビルド処理を行なうことが可能となる。
また、図2に示した専用ホット・スペア・ディスク#0および#1のように、同じ特性の磁気ディスク装置からなる1または2以上のRAIDグループに専用に割り当てる専用ホット・スペア・ディスクは1台である必要はなく、必要に応じて複数台備えることもできる。
その結果、複数のRAIDグループが同じ特性の専用ホット・スペア・ディスクをリビルドに必要とする場合でも、CM102は、各RAIDグループについてリビルド前のRAIDグループの特性を変化させることなくリビルド処理を行なうことが可能となる。
CM102は、使用可能な専用ホット・スペア・ディスクがない場合、CM102は、図6で示したステップS605〜S607の処理により、グローバル・ホット・スペア・ディスクに対してリビルド処理を行なう。
その結果、CM102は、使用可能な専用ホット・スペア・ディスクがない場合であっても、RAIDグループの冗長性を復旧させることが可能となる。
CM102は、グローバル・ホット・スペア・ディスクの使用を禁止しているRAIDグループでは、グローバル・ホット・スペア・ディスクのリビルド処理による冗長性の復旧は行なわない(ステップS604)。
これにより、冗長性の復旧よりもRAIDグループの特性変化の防止を優先させることが可能となる。
CM102は、図7に示したように、専用ホット・スペア・ディスクをリビルドしたことにより使用可能な専用ホット・スペア・ディスクがなくなったことを検出する。すると、CM102は、リビルド対象RAIDグループであったRAIDグループに備わる磁気ディスク装置の特性と同じ特性のグローバル・ホット・スペア・ディスクを専用ホット・スペア・ディスクとして割り当てる。
そして、リビルドが必要となると、CM102は、専用ホット・スペア・ディスクとして割り当てられたグローバル・ホット・スペア・ディスクに対してリビルド処理を行なう。
その結果、CM102は、使用可能な専用ホット・スペア・ディスクがなくなった状態でリビルドが必要となった場合でも、リビルド前のRAIDグループの特性を変更することなく冗長性を復旧させることが可能となる。
CM102は、図12に示したように、新ホット・スペア・ディスクを検出すると、新ホット・スペア・ディスクと最適化対象ホット・スペア・ディスクのうち、一定の条件に合致する方をホット・スペア・ディスクとして設定する。
その結果、CM102は、常にRAIDグループを構成する磁気ディスク装置の特性と同じまたは同じに近い特性のホット・スペア・ディスクをRAIDグループに割り当てた状態に最適化することが可能となる。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
2以上のディスク装置により冗長構成をなすディスクアレイの冗長性の欠如を検出する障害検出手段と、
前記ディスクアレイの冗長性の欠如に備えたスペア・ディスクであって該スペア・ディスクと同じ特性のディスク装置からなる2以上の前記ディスクアレイに専用に割り当てられる専用スペア・ディスクのうち、冗長性が欠如した前記ディスクアレイに割り当てられた前記専用スペア・ディスクに対してリビルド処理を行なうリビルド手段と、
を備えるディスクアレイ制御装置。
(付記2)
前記リビルド手段は、使用可能な前記専用スペア・ディスクがない場合、任意の前記ディスクアレイに使用可能なグローバル・スペア・ディスクに対してリビルド処理を行なう、
ことを特徴とする付記1に記載のディスクアレイ制御装置。
(付記3)
前記ディスクアレイに割り当てられた専用スペア・ディスクが全て使用中であることを検出すると、所望の特性を有する前記グローバル・スペア・ディスクを専用スペア・ディスクとして前記ディスクアレイに割り当てる割り当て手段、
を更に備える付記1に記載のディスクアレイ制御装置。
(付記4)
前記割り当て手段は、前記ディスクアレイの前記ディスク装置の特性と一致または略一致する特性を有する前記グローバル・スペア・ディスクを選択し、該グローバル・スペア・ディスクを専用スペア・ディスクとして前記ディスクアレイに割り当てる、
ことを特徴とする付記3に記載のディスクアレイ制御装置。
(付記5)
前記専用スペア・ディスクが使用中から未使用の状態になると、前記割り当て手段により専用スペア・ディスクとして割り当てられたグローバル・スペア・ディスクを、該割り当てから解放してグローバル・スペア・ディスクに再設定する解放手段、
を更に備える付記3に記載のディスクアレイ制御装置。
(付記6)
新たに使用可能な状態となった新スペア・ディスクの特性と、該新スペア・ディスク以外の他のスペア・ディスクであって前記ディスクアレイに使用中の最適化対象スペア・ディスクの特性と、を比較し、最適な特性のスペア・ディスクを前記ディスクアレイに使用する最適化手段、
を更に備える付記3に記載のディスクアレイ制御装置。
(付記7)
前記最適化手段は、
前記新スペア・ディスクの記憶容量が、前記最適化対象スペア・ディスクの記憶容量以下であって、前記ディスクアレイで使用可能な記憶容量の範囲内である場合に、前記新スペア・ディスクの特性が最適であると判断する、
ことを特徴とする付記3に記載のディスクアレイ制御装置。
(付記8)
前記最適化手段は、
前記新スペア・ディスクの回転数が、前記最適化対象スペア・ディスクの回転数と一致または略一致する場合に、前記新スペア・ディスクの特性が最適であると判断する、
ことを特徴とする付記3に記載のディスクアレイ制御装置。
(付記9)
2以上のディスク装置により冗長構成をなすディスクアレイと、
前記ディスクアレイの冗長性の欠如に備えたスペア・ディスクであって、該スペア・ディスクと同じ特性のディスク装置からなる2以上の前記ディスクアレイに専用に割り当てられるスペア・ディスクである専用スペア・ディスクと、
前記ディスクアレイの冗長性の欠如を検出する障害検出手段と、
前記専用スペア・ディスクのうち、冗長性が欠如した前記ディスクアレイに割り当てられた前記専用スペア・ディスクに対してリビルド処理を行なうリビルド手段と、
を備えるディスクアレイ装置。
(付記10)
任意の前記ディスクアレイに使用可能なスペア・ディスクであるグローバル・スペア・ディスクと、
を更に備え、
前記リビルド手段は、使用可能な前記専用スペア・ディスクがない場合、前記グローバル・スペア・ディスクに対してリビルド処理を行なう、
ことを特徴とする付記9に記載のディスクアレイ装置。
(付記11)
前記ディスクアレイに割り当てられた専用スペア・ディスクが全て使用中であることを検出すると、所望の特性を有する前記グローバル・スペア・ディスクを専用スペア・ディスクとして前記ディスクアレイに割り当てる割り当て手段、
を更に備える付記9に記載のディスクアレイ装置。
(付記12)
前記割り当て手段は、前記ディスクアレイの前記ディスク装置の特性と一致または略一致する特性を有する前記グローバル・スペア・ディスクを選択し、該グローバル・スペア・ディスクを専用スペア・ディスクとして前記ディスクアレイに割り当てる、
ことを特徴とする付記11に記載のディスクアレイ装置。
(付記13)
前記専用スペア・ディスクが使用中から未使用の状態になると、前記割り当て手段により専用スペア・ディスクとして割り当てられたグローバル・スペア・ディスクを、該割り当てから解放してグローバル・スペア・ディスクに再設定する解放手段、
を更に備える付記11に記載のディスクアレイ装置。
(付記14)
新たに使用可能な状態となった新スペア・ディスクの特性と、該新スペア・ディスク以外の他のスペア・ディスクであって前記ディスクアレイに使用中の最適化対象スペア・ディスクの特性と、を比較し、最適な特性のスペア・ディスクを前記ディスクアレイに使用する最適化手段、
を更に備える付記11に記載のディスクアレイ装置。
(付記15)
2以上のディスク装置により冗長構成をなすディスクアレイの冗長性の欠如を検出し、
前記ディスクアレイの冗長性の欠如に備えたスペア・ディスクであって該スペア・ディスクと同じ特性のディスク装置からなる2以上の前記ディスクアレイに専用に割り当てられる専用スペア・ディスクのうち、冗長性が欠如した前記ディスクアレイに割り当てられた前記専用スペア・ディスクに対してリビルド処理を行なう、
ディスクアレイ制御方法。
(付記16)
使用可能な前記専用スペア・ディスクがない場合、任意の前記ディスクアレイに使用可能なグローバル・スペア・ディスクに対してリビルド処理を行なう、
ことを特徴とする付記15に記載のディスクアレイ制御方法。
(付記17)
更に、前記ディスクアレイに割り当てられた専用スペア・ディスクが全て使用中であることを検出すると、所望の特性を有する前記グローバル・スペア・ディスクを専用スペア・ディスクとして前記ディスクアレイに割り当てる、
ことを特徴とする付記15に記載のディスクアレイ制御方法。
(付記18)
前記ディスクアレイの前記ディスク装置の特性と一致または略一致する特性を有する前記グローバル・スペア・ディスクを選択し、該グローバル・スペア・ディスクを専用スペア・ディスクとして前記ディスクアレイに割り当てる、
ことを特徴とする付記17に記載のディスクアレイ制御方法。
(付記19)
更に、前記専用スペア・ディスクが使用中から未使用の状態になると、専用スペア・ディスクとして割り当てられたグローバル・スペア・ディスクを、該割り当てから解放してグローバル・スペア・ディスクに再設定する、
ことを特徴とする付記17に記載のディスクアレイ制御方法。
(付記20)
更に、新たに使用可能な状態となった新スペア・ディスクの特性と、該新スペア・ディスク以外の他のスペア・ディスクであって前記ディスクアレイに使用中の最適化対象スペア・ディスクの特性と、を比較し、最適な特性のスペア・ディスクを前記ディスクアレイに使用する、
ことを特徴とする付記17に記載のディスクアレイ制御方法。
100 ディスクアレイ装置
101 ディスクアレイ
102 CM
102a、102b CA
102c キャッシュ制御部
102d RAID制御部
102e 構成定義記憶部
102f リビルド制御部
102g GUI部
102h、102i DA
103 CM
104 ホスト

Claims (4)

  1. 2以上のディスク装置により冗長構成をなすディスクアレイの冗長性の欠如を検出する障害検出手段と、
    前記ディスクアレイの冗長性の欠如に備えたスペア・ディスクであって該スペア・ディスクと同じ特性のディスク装置からなる2以上の前記ディスクアレイに専用に割り当てられる専用スペア・ディスクのうち、冗長性が欠如した前記ディスクアレイに割り当てられた前記専用スペア・ディスクに対してリビルド処理を行なうリビルド手段と、
    前記ディスクアレイに割り当てられた専用スペア・ディスクが全て使用中であることを検出すると、任意の前記ディスクアレイに使用可能なスペア・ディスクであって所望の特性を有するグローバル・スペア・ディスクを、使用中の前記専用スペア・ディスク以外の新たな専用スペア・ディスクとして前記ディスクアレイに割り当てる割り当て手段、
    を備るディスクアレイ制御装置。
  2. 前記割り当て手段は、前記ディスクアレイの前記ディスク装置の特性と一致または略一致する特性を有する前記グローバル・スペア・ディスクを選択し、該グローバル・スペア・ディスクを専用スペア・ディスクとして前記ディスクアレイに割り当てる、
    ことを特徴とする請求項に記載のディスクアレイ制御装置。
  3. 2以上のディスク装置により冗長構成をなすディスクアレイと、
    前記ディスクアレイの冗長性の欠如に備えたスペア・ディスクであって、該スペア・ディスクと同じ特性のディスク装置からなる2以上の前記ディスクアレイに専用に割り当てられるスペア・ディスクである専用スペア・ディスクと、
    前記ディスクアレイの冗長性の欠如を検出する障害検出手段と、
    前記専用スペア・ディスクのうち、冗長性が欠如した前記ディスクアレイに割り当てられた前記専用スペア・ディスクに対してリビルド処理を行なうリビルド手段と、
    前記ディスクアレイに割り当てられた専用スペア・ディスクが全て使用中であることを検出すると、任意の前記ディスクアレイに使用可能なスペア・ディスクであって所望の特性を有するグローバル・スペア・ディスクを、使用中の前記専用スペア・ディスク以外の新たな専用スペア・ディスクとして前記ディスクアレイに割り当てる割り当て手段、
    を備えるディスクアレイ装置。
  4. 2以上のディスク装置により冗長構成をなすディスクアレイの冗長性の欠如を検出し、
    前記ディスクアレイの冗長性の欠如に備えたスペア・ディスクであって該スペア・ディスクと同じ特性のディスク装置からなる2以上の前記ディスクアレイに専用に割り当てられる専用スペア・ディスクのうち、冗長性が欠如した前記ディスクアレイに割り当てられた前記専用スペア・ディスクに対してリビルド処理を実行し
    前記ディスクアレイに割り当てられた専用スペア・ディスクが全て使用中であることを検出すると、任意の前記ディスクアレイに使用可能なスペア・ディスクであって所望の特性を有するグローバル・スペア・ディスクを、使用中の前記専用スペア・ディスク以外の新たな専用スペア・ディスクとして前記ディスクアレイに割り当てる、
    ディスクアレイ制御方法。
JP2009029263A 2009-02-12 2009-02-12 ディスクアレイ制御装置 Expired - Fee Related JP4842334B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009029263A JP4842334B2 (ja) 2009-02-12 2009-02-12 ディスクアレイ制御装置
US12/652,873 US8914577B2 (en) 2009-02-12 2010-01-06 Disk array control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009029263A JP4842334B2 (ja) 2009-02-12 2009-02-12 ディスクアレイ制御装置

Publications (2)

Publication Number Publication Date
JP2010186282A JP2010186282A (ja) 2010-08-26
JP4842334B2 true JP4842334B2 (ja) 2011-12-21

Family

ID=42541329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009029263A Expired - Fee Related JP4842334B2 (ja) 2009-02-12 2009-02-12 ディスクアレイ制御装置

Country Status (2)

Country Link
US (1) US8914577B2 (ja)
JP (1) JP4842334B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018481A (ja) * 2010-07-06 2012-01-26 Fujitsu Ltd ディスクアレイ装置およびディスクアレイ制御方法
JP2013020544A (ja) * 2011-07-13 2013-01-31 Fujitsu Ltd ストレージ装置および代替記憶媒体選択方法
GB2513377A (en) 2013-04-25 2014-10-29 Ibm Controlling data storage in an array of storage devices
JP6201674B2 (ja) * 2013-11-20 2017-09-27 富士通株式会社 ストレージ制御装置,プログラム及び制御方法
US9519556B2 (en) 2014-09-09 2016-12-13 Dell Products, Lp Member replacement in an array of information storage devices
CN106557266B (zh) * 2015-09-25 2019-07-05 伊姆西公司 用于独立磁盘冗余阵列raid的方法和装置
CN108153622B (zh) * 2016-12-06 2021-08-31 华为技术有限公司 一种故障处理的方法、装置和设备
US10481828B2 (en) * 2017-10-10 2019-11-19 Seagate Technology, Llc Slow drive detection
JP6622273B2 (ja) * 2017-10-12 2019-12-18 株式会社日立製作所 リソース管理装置、リソース管理方法、及びリソース管理プログラム
US11249667B2 (en) 2019-09-05 2022-02-15 International Business Machines Corporation Storage performance enhancement
CN114675791B (zh) * 2022-05-27 2022-10-28 苏州浪潮智能科技有限公司 一种磁盘处理方法、系统及电子设备
CN115826876B (zh) * 2023-01-09 2023-05-16 苏州浪潮智能科技有限公司 数据写入方法、系统、存储硬盘、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2278228B (en) 1993-05-21 1997-01-29 Mitsubishi Electric Corp An arrayed recording apparatus
JPH08221217A (ja) 1995-02-17 1996-08-30 Hitachi Ltd ディスクアレイサブシステムのデータ再構築方法
JP3213799B2 (ja) * 1996-06-12 2001-10-02 株式会社日立製作所 記憶制御装置
US6557123B1 (en) * 1999-08-02 2003-04-29 Inostor Corporation Data redundancy methods and apparatus
JP2002215337A (ja) 2001-01-16 2002-08-02 Nec Corp ディスクアレイシステム
US6732233B2 (en) * 2002-05-21 2004-05-04 International Business Machines Corporation Hot spare reliability for storage arrays and storage networks
JP4158525B2 (ja) 2003-01-07 2008-10-01 日本電気株式会社 ディスクアレイ装置
JP2003288176A (ja) * 2003-03-07 2003-10-10 Hitachi Ltd 記憶装置システム
JP2005099995A (ja) * 2003-09-24 2005-04-14 Fujitsu Ltd 磁気ディスク装置のディスク共有方法及びシステム
JP4634049B2 (ja) * 2004-02-04 2011-02-16 株式会社日立製作所 ディスクアレイ装置における異常通知制御
US7434090B2 (en) * 2004-09-30 2008-10-07 Copan System, Inc. Method and apparatus for just in time RAID spare drive pool management
JP2007087039A (ja) 2005-09-21 2007-04-05 Hitachi Ltd ディスクアレイシステム及びその制御方法
US7721143B2 (en) * 2005-12-06 2010-05-18 Lsi Corporation Method for reducing rebuild time on a RAID device
US7506200B2 (en) 2006-01-25 2009-03-17 International Business Machines Corporation Apparatus and method to reconfigure a storage array disposed in a data storage system
US7805633B2 (en) * 2006-09-18 2010-09-28 Lsi Corporation Optimized reconstruction and copyback methodology for a disconnected drive in the presence of a global hot spare disk
JP2009037304A (ja) * 2007-07-31 2009-02-19 Hitachi Ltd Raidレベルを変更する機能を有したストレージシステム
US20090210620A1 (en) * 2008-02-19 2009-08-20 Jibbe Mahmoud K Method to handle demand based dynamic cache allocation between SSD and RAID cache
US8112582B2 (en) * 2008-03-10 2012-02-07 Lsi Corporation Redundant array of inexpensive disks configuration using simple network management protocol

Also Published As

Publication number Publication date
US8914577B2 (en) 2014-12-16
US20100205372A1 (en) 2010-08-12
JP2010186282A (ja) 2010-08-26

Similar Documents

Publication Publication Date Title
JP4842334B2 (ja) ディスクアレイ制御装置
JP6233086B2 (ja) ストレージ制御装置,ストレージシステム及び制御プログラム
JP5158074B2 (ja) ストレージ管理プログラム、ストレージ管理方法、ストレージ管理装置およびストレージシステム
US8392752B2 (en) Selective recovery and aggregation technique for two storage apparatuses of a raid
JP5768587B2 (ja) ストレージシステム、ストレージ制御装置およびストレージ制御方法
JP4821448B2 (ja) Raidコントローラおよびraid装置
US8601312B2 (en) Storage apparatus, controller, and method for allocating storage area in storage apparatus
US20150286531A1 (en) Raid storage processing
JP2005122338A (ja) スペアディスクドライブをもつディスクアレイ装置及びデータスペアリング方法
JP2005293363A (ja) ディスクアレイコントローラおよび情報処理装置
CN109725838B (zh) 用于管理多个盘的方法、装置以及计算机可读介质
US20200210074A1 (en) Information processing apparatus and method for controlling information processing apparatus
US7873866B2 (en) Computer system, storage system and configuration management method
JP6206160B2 (ja) ストレージ制御装置、ストレージ制御プログラム及びストレージ制御方法
JP6867591B2 (ja) ストレージ制御装置、ストレージ制御方法およびストレージ制御プログラム
US9569329B2 (en) Cache control device, control method therefor, storage apparatus, and storage medium
JP5169993B2 (ja) データストレージシステム、データ領域管理方法
JP2006079219A (ja) ディスクアレイ制御装置およびディスクアレイ制御方法
JP2010267037A (ja) ディスクアレイ装置
JP6556980B2 (ja) ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム
JP6957845B2 (ja) ストレージ制御装置及びストレージ装置
JP7179947B2 (ja) ストレージシステム及びストレージ制御方法
WO2007135731A1 (ja) ストレージ制御装置、ストレージ制御プログラム、ストレージ制御方法
JP6805838B2 (ja) ディスク管理システム、ディスク管理方法、および、ディスク管理プログラム
JP2023133864A (ja) ストレージ装置およびリビルド制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111005

R150 Certificate of patent or registration of utility model

Ref document number: 4842334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141014

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees