JP4268689B2 - Storage system - Google Patents

Storage system Download PDF

Info

Publication number
JP4268689B2
JP4268689B2 JP06050797A JP6050797A JP4268689B2 JP 4268689 B2 JP4268689 B2 JP 4268689B2 JP 06050797 A JP06050797 A JP 06050797A JP 6050797 A JP6050797 A JP 6050797A JP 4268689 B2 JP4268689 B2 JP 4268689B2
Authority
JP
Japan
Prior art keywords
read
parity group
storage medium
storage
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP06050797A
Other languages
Japanese (ja)
Other versions
JPH10254639A (en
Inventor
彰 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP06050797A priority Critical patent/JP4268689B2/en
Publication of JPH10254639A publication Critical patent/JPH10254639A/en
Application granted granted Critical
Publication of JP4268689B2 publication Critical patent/JP4268689B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Techniques For Improving Reliability Of Storages (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、可搬記憶媒体を対象とした可用性の高い記憶装置システムに関する。特に、可用性向上のために、各構成要素に冗長性をもつ記憶装置システムに関する。
【0002】
【従来の技術】
発明に最も近い公知例として、以下に示すPattersonの論文が知られている。
【0003】
エー.シー.エム.シグモッド コンファレンス プロシーディング,1988年,6月,ページ109−116(D.Patterson,et al:A Case for Redundant Arrays of Inexpensive Disks(RAID),ACM SIGMOD conference proceeding,Chicago,IL,June1-3,1988,pp.109-116)。
【0004】
Pattersonの論文は、ディスクアレイ上のデータ配置に関する技術を開示したものである。
【0005】
ディスクアレイは、ディスクシステムの高性能化、高信頼化を実現するための機構である。ディスクアレイでは、高性能化のために、物理的には複数のディスク装置を、処理装置に対しては1台のディスク装置に見せかける。一方、高信頼化のためには、データを格納したディスク装置に障害が発生した場合、データの回復を行うための冗長データを別のディスク装置に格納しておく。
【0006】
通常、ディスク装置のリード/ライト単位となるデータをレコードと呼ぶが、Pattersonの論文では、いくつかのレコード配置方法が提案されている。ただし、ディスクアレイを用いた場合、処理装置から見たリードライト単位であるレコードと、ディスク装置に実際に記録されるレコードとではデータ長が異なる場合がある。以下、前者を論理レコード、後者を物理レコードと呼ぶ。以下、Pattersonの論文で提案されているいくつかのレコード配置方法の説明を行う。
【0007】
第1の配置方法は、論理レコード、すなわち、処理装置側から見たレコードを、ディスク装置上では、m個(m≧1)の物理レコードに分割して格納する配置方法である。以下、この配置方法を、分割配置方法と呼ぶ。分割配置を用いた場合、1つの論理レコードをm台のディスク装置との間で転送できることから、見かけ上データ転送速度をm倍に向上させたのと同様の効果を得ることができる。
次に、分割配置における冗長データの作成方法を説明する。分割配置では、論理レコードを分割したm個の物理レコードに対し、n個(n≧1)の冗長データが作成され、それぞれを、1つの物理レコード(全体でn個ある)としてディスク装置に格納する。以下、処理装置が直接リード/ライトするデータを格納した物理レコードをデータレコード、冗長データを格納した物理レコードをパリティレコードと呼ぶ。また、m個のデータレコードとn個のパリティレコードから構成されるグループを、パリティグループと呼ぶ。通常、パリティグループ内のパリティレコードの数がn個であれば、n台までのディスク装置に障害が発生してもそのパリティグループのデータは回復可能である。第2の配置方法は、処理装置から見たリード/ライト単位である論理レコードを、1つの物理レコード、すなわち、1つのデータレコードとして、ディスク装置上に格納する配置方法である。以下、この配置方法を、非分割配置方法と呼ぶ。したがって、論理レコードは、データレコードと等価である。(それぞれの物理レコードには、データレコードあるいはパリティレコードが割り当てられるため、物理レコードと論理レコードは必ずしも等価にならない。すなわち、1つの論理レコードは、1つの物理レコードではあるが、1つの物理レコードは、1つの論理レコードであるというわけではないし、パリティレコードである場合もある。)非分割配置の特長は、ディスクアレイを構成するそれぞれのディスク装置ごとにリード/ライト処理が実行可能な点である。(分割配置方法をとると、リード/ライトのために複数のディスク装置を専有する必要がある。)したがって、非分割配置をとると、ディスクアレイ内で実行できるリード/ライト処理の多重度を向上させることが可能となり、性能向上を実現できる。非分割配置でも、m個のデータレコードから、n個のパリティレコードを作成し、ディスク装置に格納される。ただし、分割配置の場合、パリティグループ内のデータレコードの集合が、処理装置から見た1つの論理レコードを形成するのに対し、非分割配置の場合、データレコードのそれぞれが、処理装置から見るとまったく独立した論理レコードとなる。
【0008】
計算機システムにおいて、ディスク装置以外にしばしば用いられる記憶装置として、磁気テ−プ、光記憶装置等がある。特に最近では、DVD(Digital Video Disk)が注目されている。これらの記憶装置の特徴は、いずれも記憶媒体とR/W(Read/Write)装置が分離されており、記憶媒体を任意のR/W装置に装填し、記憶媒体上のデ−タを読み書きするという点である。一般にこれらの媒体は、可搬媒体と呼ばれる。大規模計算機システムにおいては、非常に多くの枚数の可搬媒体の管理を容易に実現するために、ライブラリが導入される。ライブラリには、記憶媒体、R/W装置に加えて、多くの枚数の記憶媒体を収納する収納庫と、収納庫とR/W装置との間で、記憶媒体を転送するロボットなどが含まれる。
【0009】
計算機システムで扱うデ−タは、ますます大規模化しているため、その可用性の向上に対するニ−ズも非常に高い。したがって、上記のような可搬媒体で構成される記憶装置システムにおいても、Pattersonの論文で提案されているようなコンセプトを適用することにより、高可用性を実現することは有効である。
【0010】
可搬媒体にこのようなコンセプトを適用した技術として、コムデックス96:DVD アプリケ−ション(Alan E. Bell (IBM Research Division): DVD Applications ,COMDEX 96 ,Nov.20,1996)がある。本文献ではDVD、R/W装置、ロボット等から構成される通常のライブラリを複数組み合わせて冗長性をもつRAIL(Redundant Arrays of Inexpensive Libraries)が提案されている。
【発明が解決しようとする課題】
RAILは、その構成要素となる1つのライブラリは、通常のライブラリであるため、冗長性はないものと考えられる。RAILのコンセプトの特徴は、ライブラリをもう1つ追加することにより、冗長性をもたせている点である。すなわち、冗長性の単位をライブラリとしていることである。
【0011】
また、RAILは、複数のライブラリを単純に並べただけであるため、各ライブラリは独立に構成されていると考えられる。すなわち、あるライブラリ内のロボットは、別のライブラリの記憶媒体の搬送は不可能であるし、別のライブラリのR/W装置に記憶媒体を装填することは出来ない。
【0012】
例えば、あるライブラリのロボットが障害を起こしたとする。これだけならば、残りのライブラリを用いて、通常のリ−ド/ライト処理の実行は可能である。しかし、残りのライブラリの中の、ある1枚の記憶媒体が故障した場合、この故障した記憶媒体の内容を復元するためには、先に述べた障害を起こしているライブラリ内の記憶媒体が必要となるが、この記憶媒体をR/W装置に装填することはできない。したがって、デ−タの復元が出来ず、利用者からは、故障が見えてしまうことになる。
【0013】
本発明の目的は、可搬媒体をベ−スとした記憶装置システムにおいて、以上の従来技術に比較して、さらに一層の可用性を向上させる技術を提供することにある。
【0014】
【課題を解決するための手段】
以上述べた課題に対する本発明の目的を、いかに達成するかについて以下に述べる。
【0015】
すでに述べたように、RAILのコンセプトの特徴は、ライブラリをもう1つ追加することにより、冗長性をもたせている点である。すなわち、冗長性の単位をライブラリとしていることである。
【0016】
これに対し、本発明では、1つのライブラリの構成要素である個々の装置、記憶媒体、R/W装置、収納庫、ロボットそれぞれが独立な冗長性を持つものと考え、装置毎に、正常な状態であるか、障害中であるかを管理する。さらに、ロボットが転送可能なR/W装置、収納庫の範囲に柔軟性をもたせる。
【0017】
これにより、各装置の中で正常な状態にある装置を有効に利用できるため、極めて高い可用性を実現できる。例えば、本発明では、次のような状況でも、利用者には故障を意識させず、デ−タのリ−ド/ライト機能を提供できる。すなわち、あるロボットが障害を起こした状況で、残りのライブラリの中にある、1枚の記憶媒体が故障した場合、故障を起こしていないロボットを用いて、故障した記憶媒体を含むパリティグル−プに属する残りの記憶媒体を、R/W装置に装填し、故障した記憶媒体のデ−タを復元する処理を実行できる。
【0018】
【発明の実施の形態】
図2は、本発明の対象となる計算機システムの構成である。計算機システムは、処理装置1300、制御装置1305、および、2台以上のR/W装置1304、2台以上の収納倉庫1306、2台以上のロボット1307により構成される。処理装置1300は、CPU1301、主記憶1302、および、チャネル1303により構成される場合があってもよい。制御装置1305は、処理装置1300からのリード/ライト要求にしたがって、処理装置1300とディスク装置1304の間で、転送処理を実行する。制御装置バッファ1310は、制御装置1305が読み書きするデータを、一時的に蓄えるバッファである。
【0019】
収納倉庫1306には、デ−タを格納した物理記憶媒体1311が複数枚収納されている。ロボット1307は、収納倉庫1306とR/W装置1304の間で、物理記憶媒体1311を運搬する。R/W装置1304は、ロボット1307により装填された物理記憶媒体1311を読み書きする。
【0020】
図3は、本発明の対象となる別の計算機システムの構成である。図2に示した構成との差異は、制御装置1305が、キャッシュメモリ1308、ディレクトリ1309、不揮発性メモリ1400、および、不揮発性管理情報メモリ1401を含む点である。キャッシュメモリ(以下、単にキャッシュと略す。)1308は、R/W装置1304に装填された物理記憶媒体1311の一部のデ−タを格納する。ディレクトリ1309、キャッシュ1308の管理情報を格納する。不揮発性メモリ1400は、不揮発の媒体であり、キャッシュ1308と同様に、R/W装置1304に装填された物理記憶媒体1311の一部のデ−タを格納する。不揮発性メモリ管理情報1401も不揮発の媒体であり、不揮発性メモリ1400の管理情報を格納する。この場合、制御装置1305は、処理装置1300からのリード/ライト要求とは、非同期に、R/W装置1304とキャッシュ1308との間で、リード/ライト動作を実行する。ただし、図7に示したように、制御装置1305内に2つ以上のディレクタ1312を含み、それぞれのディレクタ1312が処理装置1300からリード/ライト要求を受け付け、リード/ライト動作を実行するような構成でも本発明は有効である。
【0021】
通常、処理装置1300がディスク装置との間で、リード/ライトするデータの単位は、レコードと呼ばれる。ただし、本発明では、処理装置1300から見たレコードと、物理記憶媒体1311上に格納されたレコードが、ディスクアレイのレコード配置によって異なる場合がある。以下、ディスクアレイを適用した場合のデータの記録形式について説明する。
【0022】
次に、図4、図5、図6を用いて、本実施形態における物理記憶媒体1311の記録形式について説明する。図4に示すように、論理記憶媒体400は、処理装置1300から見た1枚の記憶媒体である。これに対し、物理記憶媒体1311は、収納倉庫1306の収納単位、ロボット1307の搬送単位、R/W装置1304の装填単位となる。図4の構成では、m+n枚の物理記憶媒体1311が1枚の論理記憶媒体400となる。図5に示すように、論理レコ−ド401は、処理装置1300からリ−ド/ライトされるレコ−ド、すなわち、論理記憶媒体400のレコ−ドである。一方、図6に示すように、R/W装置1304と制御装置1305の間で、リード/ライトされる単位、すなわち、物理記憶媒体1311に記録されている単位を、物理レコード1502と呼ぶ。本発明においては、物理記憶媒体1311上に格納されている物理レコード1502には、データレコード1500とパリティレコード1501の2種類が存在する。データレコード1500は、論理レコ−ド401の内容を格納した物理レコード1502である。一方、パリティレコード1501は、物理記憶媒体1311に障害が発生し、データレコード1501の内容が消失した時、その消失した内容を回復する処理に用いるレコードである。この場合、データレコード1500の値が変更されると、これに対応して、パリティレコード1501の内容も変更する必要が生ずる。
【0023】
図6に示した、本実施形態における記憶媒体パリティグル−プ1600について説明する。図6に示す構成では、記憶媒体パリティグル−プ1600は、1つの論理記憶媒体400に対応するm+n枚の物理記憶媒体1311に相当する。
次に、レコ−ドパリティグル−プ1610について説明する。1組の記憶媒体パリティグル−プ1600を構成するm枚の物理記憶媒体1311に、それぞれ対応するデータレコード1500が格納されている。これらのm個のデータレコード1500から、n個のパリティレコード1501が作成され、それぞれ対応するn個の物理記憶媒体1311に格納される。したがって、図6では、m個のデータレコード1500とn個のパリティレコード1501から、レコ−ドパリティグループ1610が構成されている。もちろん、1つの記憶媒体パリティグル−プ1600上には、複数のレコ−ドパリティグル−プ1610が格納されることは当然のことである。一般に、n個のパリティレコード1501を含むレコ−ドパリティグループ1610においては、そのレコ−ドパリティグループ1610内の物理レコード1502が格納されているm+n個物理記憶媒体のうち、n台の物理記憶媒体1304が故障しても、レコ−ドパリティグループ1610内のすべての物理レコード1502の内容を回復することができる。以上より、物理記憶媒体1311の高信頼化が実現できる。もちろん、それぞれの物理記憶媒体1311には、複数の物理レコ−ド1502が含まれ、1つの記憶媒体パリティグル−プ1600には、複数のパリティグル−プレコ−ド1610が存在する。
【0024】
なお、図8(a)に示すように、1つの論理記憶媒体400に複数の記憶媒体パリティグル−プ1600が対応してもよい。また、図8(b)に示すように、1組の記憶媒体パリティグル−プ1600に複数の論理記憶媒体400が対応してもよい。
【0025】
図9は、R/W装置パリティグル−プ900と論理R/W装置901を示す。R/W装置パリティグル−プ900は、m+n台のR/W装置1304から構成される。これは、1組の記憶媒体パリティグル−プ1600に相当する。本実施形態では、制御装置1305には、1組以上のR/W装置パリティグル−プ900が接続されているものとする。一方、論理R/W装置901は、処理装置1300から見たR/W処理を実行する論理的な装置であり、論理記憶媒体400を装填する。図9に示すように、1つの記憶媒体パリティグル−プ1600が、1つの論理記憶媒体400に対応する場合、あるいは、1つの記憶媒体パリティグル−プ1600が、複数の論理記憶媒体400に対応する場合、R/W装置パリティグル−プ900と1対1に対応する。一方、複数の記憶媒体パリティグル−プ1600が、1つの論理記憶媒体400に対応する場合、論理R/W装置901は複数のR/W装置パリティグル−プ900に対応する。
【0026】
図10は、収納倉庫1306の構成である。収納倉庫1306は共通部1001と複数のスロット1000を持つ。共通部1001は電源等の共通的な資源が含まれる。共通部1001の障害は収納倉庫1306全体の障害となる。スロット1000は、1枚の物理記憶媒体1311を収納する単位である。スロット1000は、それぞれ独立に故障するものとする。
【0027】
図11は、スロットパリティグル−プ1100と論理スロット1101を示す。スロットパリティグル−プ1100は、1つの記憶媒体パリティグル−プ1600に属するm+n枚の物理記憶媒体1311を収納したm+n個のスロット1000の集合である。図11に示した構成では、スロットパリティグル−プ1100に属するスロット1000は、それぞれ別の収納倉庫1306内のスロット1000となっている。ただし、もちろん、本発明は、1つのスロットパリティグル−プ1100に属する2つ以上のスロット1000が同一の収納倉庫1306に含まれていても有効である。論理スロット1101は、処理装置1300から見た論理記憶媒体400を収納する論理的な収納単位である。記憶媒体パリティグル−プ1600が、1つの論理記憶媒体400に対応する場合には、図11(a)に示すように、論理スロット1101は、スロットパリティグル−プ1100と1対1に対応する。一方、記憶媒体パリティグル−プ1600が、複数の論理記憶媒体400に対応する場合には、図11(b)に示すように、スロットパリティグル−プ1100は、複数の論理スロット1101に対応する。さらに、図11(c)に示すように、複数の記憶媒体パリティグル−プ1610が、1つの論理記憶媒体400に対応する場合、論理スロット1101は、複数のスロットパリティグル−プ1100に対応する。
【0028】
以下、本実施形態では、記憶媒体パリティグル−プ1600が、1つの論理記憶媒体400に対応する場合について説明する。もちろん、本発明は、記憶媒体パリティグル−プ1600が、複数の論理記憶媒体400に対応する場合についても有効である。
【0029】
図1は、本発明の概要を表す。本発明に関する情報として、制御装置1305は、制御装置バッファ1310、ディレクトリ1309、不揮発性メモリ管理情報1401などに、スロットパリティグル−プ構成/状態情報100、収納倉庫状態情報101、R/W装置パリティグル−プ構成/状態情報102、ロボット構成/状態情報103を含む。
【0030】
スロットパリティグル−プ構成/状態情報100は、スロットパリティグル−プ1100を構成するスロット1000の識別子と障害状況とそのスロット1000を含む収納倉庫1306、スロット1000に格納されている物理記憶媒体1311の識別子と障害状況等の情報を保持する
【0031】
収納倉庫状態情報101は、制御装置1305に接続された各収納倉庫1306の障害情報を表す。
【0032】
R/W装置パリティグル−プ構成/状態情報102は、R/W装置パリティグル−プ900を構成するR/W装置1304の識別子と障害状況を表す。
【0033】
ロボット構成/状態情報103は、制御装置1305に接続された各ロボット1307の障害情報、および、そのロボット1307が転送できる収納倉庫1306とR/W装置1304の情報を表す。以上のように、ロボット1307が搬送可能な収納倉庫1306、R/W装置1304の範囲に柔軟性をもたせることで、可用性を向上させている。すなわち、ロボット1307が1台故障しても、物理記憶媒体1311の搬送ができなくなる収納倉庫1306、R/W装置1304が出現するのを防ぐことができる。
【0034】
制御装置1305の主機能は、マウント処理実行部110、R/W処理実行部111、デマウント処理実行部112、障害管理処理実行部113である。
【0035】
マウント処理実行部110は、処理装置1300の要求にしたがって、論理記憶媒体400を論理R/W装置901に装填する。
【0036】
R/W処理実行部111は、処理装置1300の要求にしたがって、論理R/W装置901に装填された論理記憶媒体400のR/W処理を実行する。
【0037】
デマウント処理実行部112は、処理装置1300の要求にしたがって、論理R/W装置901に装填された論理記憶媒体400の取り出しを行う。
【0038】
障害管理処理実行部113は、各装置に障害が発生した時、スロットパリティグル−プ構成/状態情報100、収納倉庫状態情報101、ロボット構成/状態情報103の書き換えを行う。
【0039】
マウント処理実行部110の概要を説明する。まず、ステップ120では、制御装置1305は、受け取ったマウント要求を解析して、要求された論理スロット1101が、どのスロットパリティグル−プ1100に対応するかを計算する。本実施形態では、論理スロット1101とスロットパリティグル−プ1100は1対1に対応するため、容易に認識可能である。1対1に対応しない場合にも、対応関係表等を持てば、特に問題無く認識できる。ステップ121では、制御装置1305は、そのスロットパリティグル−プ1100に対応するスロット1000の障害状況、スロット1000に格納された物理記憶媒体1311の障害状況を把握し、当該論理スロット1101に対応する論理記憶媒体400のマウント処理、R/W処理が実行可能かを判断する。
【0040】
ステップ122では、制御装置1305は、収納倉庫状態情報101を参照し、スロットパリティグル−プ1100に対応するスロット1000を含んでいる収納倉庫1306の障害状況を把握し、収納倉庫1306からの物理記憶媒体1311の取り出しが可能かをチェックする。
【0041】
ステップ123では、制御装置1305は、処理装置1300から指定された論理R/W装置901に対応するR/W装置パリティグル−プ900を計算する。本実施形態では、論理R/W装置901とR/W装置パリティグル−プ900は1対1に対応するため、容易に認識可能である。1対1に対応しない場合にも、対応関係表等を持てば、特に問題無く認識できる。ステップ124では、制御装置1305は、そのR/W装置パリティグル−プ900に対応するR/W装置パリティグル−プ構成/状態情報102を参照し、処理装置1300が、指定されたR/W装置パリティグル−プ900を構成するR/W装置1304の障害状況をチェックし、指定された論理R/W装置901を用いてR/W処理が実行可能かどうかをチェックする。
【0042】
ステップ125では、制御装置1305は、ロボット構成/状態情報103を参照して、指定されたスロットパリティグル−プ1100に対応するスロット1000に格納されている物理記憶媒体1311を、指定されたR/W装置パリティグル−プ900を構成するR/W装置1304との間で搬送可能かをチェックする。
【0043】
ステップ126では、制御装置1305は、この搬送処理を実行する。各装置の障害状況により、搬送処理、R/W処理ができない場合、処理装置1300に障害報告を行う。
【0044】
以上のように、本発明においては、各装置の障害状況を独立に把握しているため、障害をおこしていない装置を最大限に活かし、搬送処理、デ−タのR/W処理を実行できるため、可用性を向上させることができる。さらに、すでに述べたように、ロボット1307が搬送可能な収納倉庫1306、R/W装置1304の範囲に柔軟性をもたせることで、可用性を向上させている点が大きな特徴である。
【0045】
図12は、スロットパリティグル−プ構成/状態情報100を表す。スロットパリティグル−プ構成/状態情報100は、スロットパリティグル−プ1100単位に存在する情報である。収納倉庫識別子1200は、当該スロットパリティグル−プ1100に属するスロット1000が、どの収納倉庫1306に含まれるかを示す情報である。スロット番号1201は、当該スロットパリティグル−プ1100に属するスロット1000の収納倉庫1306内の識別子である。スロット障害状況1202は、そのスロット1000の障害状況を表す。具体的には、ロボット1307を用いて当該スロット1000から物理記憶媒体1311の取り出しができるか、当該スロット1000に物理記憶媒体1311を収納できるかを表す。
【0046】
物理記憶媒体識別子1203は、当該スロット1000に格納された物理記憶媒体1311の識別子である。物理記憶媒体障害情報1204は、当該スロット1000に格納された物理記憶媒体1311の障害情報である。具体的には、当該物理記憶媒体1311に、デ−タを読み書きできるかを表す。以上の1200から1204に示した情報は、スロット1000単位の情報であるため、1つのスロットパリティグル−プ構成/状態情報100内に、m+n個存在する。
【0047】
図13は、収納倉庫状態情報101を示す。収納倉庫状態情報101は、収納倉庫1306単位に存在する。収納倉庫状態情報101は、対応する収納倉庫1306の障害状況を表す。具体的には、収納倉庫1306の共通部1001に障害が発生した場合である。また、収納倉庫1306の一定数以上のスロット1000が故障した場合、収納倉庫1306全体を障害扱いしてもよい。
【0048】
図14は、R/W装置パリティグル−プ構成/状態情報102の構成を示す。R/W装置パリティグル−プ構成/状態情報102は、R/W装置パリティグル−プ900単位に存在する情報である。R/W装置識別子1401は、当該R/W装置パリティグル−プ900に属するR/W装置1304の識別子である。R/W装置障害状況1402は、そのR/W装置1304の障害状況を表す。具体的には、当該R/W装置1304に物理記憶媒体1311を装填して、R/W処理の実行が可能かどうかを表す。以上の1401、1402に示した情報は、R/W装置1304単位の情報であるため、1つのR/W装置パリティグル−プ構成/状態情報100内に、m+n個存在する。
【0049】
図15は、ロボット構成/状態情報103は、ロボット1307単位の情報である。ロボット障害情報220は、当該ロボット1307が物理記憶媒体1311の搬送が可能であるかどうかを表す情報である。接続収納倉庫数221は、当該ロボット1307接続されている収納倉庫1306の数、具体的には、物理記憶媒体1311を取り出し/収納が可能な収納倉庫1306の数を表す。接続R/W装置数222は、当該ロボット1307に接続されているR/W装置1304の数、具体的には、物理記憶媒体1311の装填が可能なR/W装置1304の数を表す。接続収納倉庫数221、接続R/W装置数222の値は、各ロボット1307により異なっていてもよい。接続収納倉庫識別子223は、当該ロボット1307に接続されている収納倉庫1306の識別子を表す。接続R/W装置識別子224は、当該ロボット1307に接続されているR/W装置1304の識別子を表す。接続収納倉庫識別子223の数は、接続収納倉庫数221で定義された数だけ設定されている。ただし、接続収納倉庫識別子223を設定するための領域はそれ以上用意されているものとする。(各ロボット1307により、接続されている収納倉庫1306の数が異なっていてよいため。)同様に、接続R/W装置識別子224の数は、接続R/W装置数222で定義された数だけ設定されている。ただし、接続R/W装置識別子224を設定するための領域はそれ以上用意されているものとする。(各ロボット1306により、接続されているR/W装置1304の数が異なっていてよいため。)
すでに述べたように、本発明では、異なったロボット1307が同じ収納倉庫1306、同じR/W装置1304の間で搬送処理を実行できるようにすることにより、可用性を向上させるため、各ロボット構成/状態情報103に設定されている接続収納倉庫識別子223、接続R/W装置識別子224に共通のものが存在することになる。
【0050】
次に、制御装置1305が有する、マウント処理実行部110と障害管理処理実行部113の詳細なフロ−について説明する。
【0051】
図16は、マウント処理実行部110の処理フロ−である。処理装置1300は、論理スロット1101と論理R/W装置901を指定し、指定された論理スロット1101内の論理記憶媒体400を指定した論理R/W装置901に装填するよう、要求する。
【0052】
ステップ300では、制御装置1305は、受け取ったマウント要求を解析して、指定された論理スロット1101が、どのスロットパリティグル−プ1100に対応するかを計算する。本実施形態では、論理スロット1101とスロットパリティグル−プ1100は1対1に対応するため、容易に認識可能である。1対1に対応しない場合にも、対応関係表等を持てば、特に問題無く認識できる。
ステップ301では、制御装置1305は、ステップ300で得たスロットパリティグル−プ1100に対応するスロットパリティグル−プ構成/状態情報100を参照する。具体的には、まず、スロット障害状況1202を参照し、スロット1000の障害状況を把握する。さらに、物理記憶媒体障害情報1204を参照し、各スロット1000に格納された物理記憶媒体1311の障害状況を把握し、当該論理記憶媒体400のマウント処理、R/W処理が実行可能な物理記憶媒体1311を判断する。ステップ302では、制御装置1305は、m個以上の物理記憶媒体1311のマウント処理、R/W処理が実行可能かどうかをチェックし、条件が成立しなければ、処理装置1300にエラ−報告を行うため、ステップ303へジャンプする。
【0053】
ステップ304では、制御装置1305は、ステップ300で得たスロットパリティグル−プ1100に対応するスロット1000を含んでいる収納倉庫1306の障害状況を把握するために、収納倉庫状態情報101を参照する。さらに、ステップ302でマウント処理、R/W処理が実行可能と判断した物理記憶媒体1311を収容したスロット1000を含む収納倉庫1306が故障を起こしていないかをチェックする。もし、故障を起こしていれば、この収納倉庫1306に対応する物理記憶媒体1311のマウント処理、R/W処理が実行不可能と判断する。ステップ305では、制御装置1305は、まだm個以上の物理記憶媒体1311のマウント処理、R/W処理が実行可能かどうかをチェックし、条件が成立しなければ、処理装置1300にエラ−報告を行うために、ステップ303へジャンプする。
【0054】
ステップ305では、制御装置1305は、指定された論理R/W装置901が、どのR/W装置パリティグル−プ900に対応するかを計算する。本実施形態では、論理R/W装置901とR/W装置パリティグル−プ900は1対1に対応するため、容易に認識可能である。1対1に対応しない場合にも、対応関係表等を持てば、特に問題無く認識できる。
【0055】
ステップ306では、制御装置1305は、まず、ステップ305で得たR/W装置パリティグル−プ900に相当するR/W装置パリティグル−プ構成/状態情報102を認識する。このR/W装置パリティグル−プ構成/状態情報102の中のR/W装置障害状況1402を参照し、当該R/W装置パリティグル−プ900に属するR/W装置1304の中で、マウント処理、R/W処理が実行可能なR/W装置1304を把握する。ステップ307では、制御装置1305は、m個以上のR/W装置1304のマウント処理、R/W処理が実行可能かどうかをチェックし、条件が成立しなければ、処理装置1300にエラ−報告を行うため、ステップ303へジャンプする。
【0056】
本発明では、記憶媒体パリティグル−プ1600に属するそれぞれの物理記憶媒体1311は、R/W装置パリティグル−プ900に属する任意のR/W装置1304に装填可能とすることを特徴とする。(もちろん、ロボット1307が搬送可能な範囲でという制約はある。)これは、装填可能なR/W装置1304に制約を設けると障害時の可用性の低下を招くためである。
【0057】
ステップ308では、制御装置1305は、ロボット構成/状態情報103を参照して、ステップ305でマウント処理、R/W処理を実行可能としたm個以上の物理記憶媒体1311と、ステップ307でマウント処理、R/W処理を実行可能としたm個以上のR/W装置1304との間で、実際にロボット1307の搬送/装填が可能な物理記憶媒体1311を把握する。ステップ309では、制御装置1305は、搬送/装填が可能と判断した物理記憶媒体1311がm個以上あるかをチェックし、条件が成立しなければ、処理装置1300にエラ−報告を行うため、ステップ303へジャンプする。
【0058】
ステップ310では、制御装置1305は、ロボット1307を用いて、搬送/装填が可能と判断した物理記憶媒体1311を、R/W装置1304に搬送、装填するマウント処理を実行する。ステップ311では、この完了報告を行う。
一方、ステップ303では、制御装置1305は、障害のため、要求されたマウント処理を実行できないことを処理装置1300に報告する。
【0059】
図17は、制御装置1305に接続された装置に障害が発生した時、障害管理処理実行部113が、制御装置1305の管理情報の更新を行う際の処理フローである。
【0060】
まず、ステップ1700において、制御装置1305は、障害を起こした装置を解析する。この結果、各ステップに分岐する。
【0061】
ステップ1701は、物理記憶媒体1311に障害が発生した場合の処理である。ステップ1701では、制御装置1305は、スロットパリティグル−プ構成/状態情報100内の物理記憶媒体識別子1203を参照し、障害を起こした物理記憶媒体1311の物理記憶媒体障害情報1204を障害状態に更新する。この後、処理を終了する。
【0062】
ステップ1702は、スロット1000に障害が発生した場合の処理である。ステップ1702では、制御装置1305は、スロットパリティグル−プ構成/状態情報100内の収納倉庫識別子1200、スロット番号1201を参照し、障害を起こしたスロット1000に対応するスロット障害状況1202を障害状態に更新する。さらに、ステップ1703では、制御装置1305は、スロットパリティグル−プ構成/状態情報100を参照して、このスロット1000を含む収納倉庫1306内の故障したスロット1000の数が一定数越えたかをチェックする。越えていなければ、処理を終了する。越えている場合、ステップ1704にジャンプする。
【0063】
ステップ1704は、収納倉庫1306に障害が発生した場合の処理である。ステップ1704では、制御装置1305は、障害を起こした収納倉庫1306に対応する収納倉庫状態情報101障害状態に更新する。この後、処理を終了する。
【0064】
ステップ1705は、R/W装置1304に障害が発生した場合の処理である。ステップ1705では、制御装置1305は、R/W装置パリティグル−プ構成/状態情報102内のR/W装置識別子1401を参照し、障害を起こしたR/W装置1304に対応するR/W装置障害状況1402を障害状態に更新する。
【0065】
ステップ1706は、ロボット1307に障害が発生した場合の処理である。ステップ1706では、制御装置1305は、障害を起こしたロボット1307に対応するロボット障害情報220を障害状態に更新する。この後、処理を終了する。
【0066】
【発明の効果】
本発明によれば、記憶媒体、R/W装置、収納倉庫、ロボットそれぞれに冗長性を持たせ、しかもそれぞれの装置の故障状態を独立に管理し、記憶装置システムでのリ−ド/ライト処理を可能な限り実行させることにより、高可用性を達成する。
【図面の簡単な説明】
【図1】本発明の概要図。
【図2】本発明の対象となる計算機システムの構成図。
【図3】本発明の対象となる別の計算機システムの構成図。
【図4】論理記憶媒体400の構成図。
【図5】論理レコ−ド、物理レコ−ドの関係図。
【図6】記憶装置パリティグル−プ、レコ−ドパリティグル−プの構成図。
【図7】ディレクタが複数存在する場合の構成図。
【図8】論理記憶装置と記憶装置パリティグル−プの関係図。
【図9】R/W装置パリティグル−プと論理R/W装置の構成図。
【図10】収納倉庫の構成図。
【図11】スロットパリティグル−プと論理スロットの構成図。
【図12】スロットパリティグル−プ構成/状態情報の構成図。
【図13】収納倉庫状態情報の構成図。
【図14】R/W装置パリティグル−プ構成/状態情報の構成図。
【図15】ロボット構成/状態情報の構成図。
【図16】マウント処理実行部の処理フロ−図。
【図17】障害管理処理実行部の処理フロ−図。
【符号の説明】
100:スロットパリティグル−プ構成/状態情報、101:収納倉庫状態情報、102:R/W装置パリティグル−プ構成/状態情報、103:ロボット構成/状態情報、110:マウント処理実行部、111:R/W処理実行部、112:デマウント処理実行部、113:障害管理処理実行部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a highly available storage system for portable storage media. In particular, the present invention relates to a storage device system in which each component has redundancy in order to improve availability.
[0002]
[Prior art]
As a known example closest to the invention, the following Patterson paper is known.
[0003]
A. Sea. M. Sigmod Conference Proceeding, 1988, June, page 109-116 (D.Patterson, et al: A Case for Redundant Arrays of Inexpensive Disks (RAID), ACM SIGMOD conference proceeding, Chicago, IL, June 1-3, 1988, pp.109-116).
[0004]
Patterson's paper discloses a technique related to data arrangement on a disk array.
[0005]
The disk array is a mechanism for realizing high performance and high reliability of the disk system. In the disk array, a plurality of disk devices are physically made to appear as a single disk device to a processing device for high performance. On the other hand, for high reliability, when a failure occurs in a disk device that stores data, redundant data for data recovery is stored in another disk device.
[0006]
Normally, data that is a read / write unit of a disk device is called a record, but in the Patson paper, several record arrangement methods have been proposed. However, when a disk array is used, the data length may differ between a record that is a read / write unit viewed from the processing device and a record that is actually recorded on the disk device. Hereinafter, the former is called a logical record and the latter is called a physical record. In the following, some record placement methods proposed in Patterson's paper will be described.
[0007]
The first arrangement method is an arrangement method in which a logical record, that is, a record viewed from the processing device side is divided into m physical records (m ≧ 1) and stored on the disk device. Hereinafter, this arrangement method is referred to as a divided arrangement method. When the divided arrangement is used, since one logical record can be transferred to m disk devices, it is possible to obtain the same effect as apparently improving the data transfer speed m times.
Next, a method for creating redundant data in the divided arrangement will be described. In the divided arrangement, n (n ≧ 1) redundant data is created for m physical records obtained by dividing a logical record, and each of them is stored as one physical record (n in total) in the disk device. To do. Hereinafter, a physical record that stores data that is directly read / written by the processing device is referred to as a data record, and a physical record that stores redundant data is referred to as a parity record. A group composed of m data records and n parity records is called a parity group. Normally, if the number of parity records in a parity group is n, data in that parity group can be recovered even if a failure occurs in up to n disk devices. The second arrangement method is an arrangement method in which a logical record that is a read / write unit viewed from the processing device is stored on the disk device as one physical record, that is, one data record. Less than,This placement method is called non-split placement method.Call it. Therefore, logical records are equivalent to data recordsIs. (Because a data record or a parity record is assigned to each physical record, the physical record and the logical record are not necessarily equivalent. That is, one logical record is one physical record, but one physical record is (It is not a single logical record but may be a parity record.) The feature of the non-divided arrangement is that read / write processing can be executed for each disk device constituting the disk array. . (If the divided arrangement method is used, it is necessary to occupy a plurality of disk devices for reading / writing.) Therefore, the non-divided arrangement improves the multiplicity of read / write processing that can be executed in the disk array. It is possible to improve the performance. Even in the non-divided arrangement, n parity records are created from m data records and stored in the disk device. However, in the case of divided arrangement, the set of data records in the parity group forms one logical record as seen from the processing device, whereas in the case of non-division arrangement, each of the data records is viewed from the processing device. It becomes a completely independent logical record.
[0008]
In a computer system, there are a magnetic tape, an optical storage device, etc. as a storage device often used in addition to a disk device. Recently, DVD (Digital Video Disk) has attracted attention. The features of these storage devices are that the storage medium and R / W (Read / Write) device are separated, and the storage medium is loaded into an arbitrary R / W device, and the data on the storage medium is read and written. It is a point to do. In general, these media are called portable media. In a large-scale computer system, a library is introduced in order to easily manage a very large number of portable media. In addition to storage media and R / W devices, many libraries are stored in the library.MediumAnd a robot that transfers a storage medium between the storage and the R / W device.
[0009]
Since the data handled by a computer system is becoming larger and larger, the need for improving its availability is very high. Therefore, it is effective to realize high availability by applying the concept as proposed in Patterson's paper even in a storage system composed of portable media as described above.
[0010]
Comdex 96: DVD application (Alan E. Bell (IBM Research Division): DVD Applications, COMDEX 96, Nov. 20, 1996) is a technology that applies such a concept to a portable medium. In this document, a redundant array of inexpensive RAIL (Redundant Arrays of Inexpensive) is made by combining multiple ordinary libraries composed of DVDs, R / W devices, robots, etc.Libraries) Has been proposed.
[Problems to be solved by the invention]
RAIL is considered to have no redundancy because one library that is a component of RAIL is a normal library. The feature of the RAIL concept is that redundancy is provided by adding another library. That is, the unit of redundancyLibraryIt is that.
[0011]
In addition, since RAIL simply arranges a plurality of libraries, each library is considered to be configured independently. In other words, a robot in a library cannot transport a storage medium in another library, and cannot load a storage medium in an R / W device in another library.
[0012]
For example, assume that a robot in a library has failed.If only this,A normal read / write process can be executed using the remaining library. However, if one storage medium in the remaining library fails, in order to restore the contents of the failed storage medium, the storage medium in the library causing the failure described above is required. However, this storage medium cannot be loaded into the R / W device. Therefore, data cannot be restored, and the user can see the failure.
[0013]
An object of the present invention is to provide a technique for further improving the availability in a storage device system based on a portable medium as compared with the above conventional technique.
[0014]
[Means for Solving the Problems]
How to achieve the object of the present invention for the problems described above will be described below.
[0015]
As already mentioned, the feature of the RAIL concept is that redundancy is provided by adding another library. That is, the unit of redundancyLibraryIt is that.
[0016]
On the other hand, in the present invention, each device, storage medium, R / W device, storage, and robot that are components of one library are considered to have independent redundancy,For each device,Manage whether it is normal or faulty. Furthermore, flexibility is provided in the range of the R / W device and storage that can be transferred by the robot.
[0017]
As a result, a device in a normal state among the devices can be used effectively, thereby realizing extremely high availability. For example, in the present invention, a data read / write function can be provided without making the user aware of a failure even in the following situation. That is, in a situation where a robot has failed,It is in,If one storage medium fails, the failed storage medium is included using a robot that has not failed.parityThe remaining storage media belonging to the group can be loaded into the R / W device, and the process of restoring the data of the failed storage media can be executed.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 2 shows the configuration of a computer system that is an object of the present invention. The computer system includes a processing device 1300, a control device 1305, two or more R / W devices 1304, and two or more devices.Storage warehouse1306 Consists of two or more robots 1307Be done. The processing device 1300 may be configured by a CPU 1301, a main memory 1302, and a channel 1303. The control device 1305 executes a transfer process between the processing device 1300 and the disk device 1304 in accordance with a read / write request from the processing device 1300. The control device buffer 1310 is stored in the control device 1305.Reading and writingThis is a buffer that temporarily stores data to be stored.
[0019]
The storage warehouse 1306 stores a plurality of physical storage media 1311 storing data. The robot 1307 carries the physical storage medium 1311 between the storage warehouse 1306 and the R / W device 1304. The R / W device 1304 is operated by a robot 1307.LoadingRead / write the read / write physical storage medium 1311.
[0020]
FIG. 3 shows the configuration of another computer system that is the subject of the present invention. A difference from the configuration illustrated in FIG. 2 is that the control device 1305 includes a cache memory 1308, a directory 1309, a nonvolatile memory 1400, and a nonvolatile memory.Management information memory1401 is included. A cache memory (hereinafter simply referred to as a cache) 1308 is connected to the R / W device 1304.LoadingA part of the data stored in the physical storage medium 1311 is stored. Directory 1309IsThe management information of the cache 1308 is stored. The non-volatile memory 1400 is a non-volatile medium, and in the same way as the cache 1308, the R / W device 1304LoadingA part of the data stored in the physical storage medium 1311 is stored. The nonvolatile memory management information 1401 is also a nonvolatile medium, and stores management information of the nonvolatile memory 1400. In this case, the control device 1305 executes a read / write operation between the R / W device 1304 and the cache 1308 asynchronously with the read / write request from the processing device 1300. However, as shown in FIG. 7, the control device 1305 includes two or more directors 1312, and each director 1312 receives a read / write request from the processing device 1300 and executes a read / write operation. However, the present invention is effective.
[0021]
Usually, the unit of data read / written by the processing device 1300 with the disk device is called a record. However, in the present invention, the record viewed from the processing device 1300 and the record stored on the physical storage medium 1311 may differ depending on the record arrangement of the disk array. The data recording format when the disk array is applied will be described below.
[0022]
Next, the recording format of the physical storage medium 1311 in this embodiment will be described with reference to FIGS. 4, 5, and 6.As shown in FIG.The logical storage medium 400 is a single storage medium viewed from the processing device 1300. In contrast,The physical storage medium 1311 isThe storage unit of the storage warehouse 1306, the transport unit of the robot 1307, the R / W device 1304LoadingUnit. In the configuration of FIG. 4, m + n physical storage media 1311 are a single logical storage medium 400. As shown in FIG. 5, the logical record 401 is a record read / written from the processing apparatus 1300, that is, a record of the logical storage medium 400. On the other hand, as shown in FIG. 6, a unit that is read / written between the R / W device 1304 and the control device 1305, that is, a unit recorded in the physical storage medium 1311 is referred to as a physical record 1502. In the present invention, there are two types of physical records 1502 stored on the physical storage medium 1311: a data record 1500 and a parity record 1501. The data record 1500 is a physical record 1502 that stores the contents of the logical record 401. On the other hand, the parity record 1501 is a record used for processing for recovering the lost content when the physical storage medium 1311 fails and the content of the data record 1501 is lost. In this case, if the value of the data record 1500 is changed, the content of the parity record 1501 needs to be changed accordingly.
[0023]
The storage medium parity group in this embodiment shown in FIG.1600Will be described. In the configuration shown in FIG. 6, a storage medium parity group is used.1600Corresponds to m + n physical storage media 1311 corresponding to one logical storage medium 400.
Next, the record parity group1610Will be described. A set of storage media parity groups1600A corresponding data record 1500 is stored in each of the m physical storage media 1311 constituting the. From these m data records 1500, n parity records 1501 are created and stored in the corresponding n physical storage media 1311, respectively. Accordingly, in FIG. 6, a record parity group is obtained from m data records 1500 and n parity records 1501.1610Is configured. Of course, one storage medium parity group1600Above, there are multiple record parity groups1610Is naturally stored. In general, a record parity group including n parity records 15011610The record parity group1610M + n in which physical records 1502 are storedofEven if n physical storage media 1304 out of physical storage media fail, a record parity group1610The contents of all the physical records 1502 can be recovered. As described above, high reliability of the physical storage medium 1311 can be realized. Of course, each physical storage medium 1311 includes a plurality of physical records 1502 and includes one physical record 1502.Storage media parity group 1600Includes a plurality of parity group precodes.1610Exists.
[0024]
In addition,As shown in FIG.A plurality of storage medium parity groups 1600 may correspond to one logical storage medium 400. Also,As shown in FIG.A plurality of logical storage media 400 may correspond to one set of storage media parity group 1600.
[0025]
FIG. 9 shows an R / W device parity group 900 and a logical R / W device 901. The R / W device parity group 900 includes m + n R / W devices 1304.Composed. This corresponds to a set of storage medium parity groups 1600.In the present embodiment, it is assumed that one or more R / W device parity groups 900 are connected to the control device 1305. On the other hand, the logical R / W device 901 is a logical device that executes R / W processing as viewed from the processing device 1300, and is loaded with the logical storage medium 400.FIG.One storage medium parity group as shown in1600Corresponds to one logical storage medium 400, or one storage medium parity group.1600However, when it corresponds to a plurality of logical storage media 400, it corresponds to the R / W device parity group 900 on a one-to-one basis.on the other hand,Multiple storage media parity groups1600However, when corresponding to one logical storage medium 400, the logical R / W device 901 corresponds to a plurality of R / W device parity groups 900.
[0026]
FIG. 10 shows the configuration of the storage warehouse 1306. The storage warehouse 1306 has a common unit 1001 and a plurality of slots 1000. The common unit 1001 includes common resources such as a power source. The failure of the common unit 1001 becomes a failure of the entire storage warehouse 1306. The slot 1000 is a unit for storing one physical storage medium 1311. Assume that each slot 1000 fails independently.
[0027]
FIG. 11 shows a slot parity group 1100 and a logical slot 1101. The slot parity group 1100 is one storage medium parity group.1600M + n physics belonging toMemoryThis is a set of m + n slots 1000 in which the medium 1311 is stored. In the configuration shown in FIG. 11, the slots 1000 belonging to the slot parity group 1100 are slots 1000 in different storage warehouses 1306, respectively. However, of course, the present invention is effective even when two or more slots 1000 belonging to one slot parity group 1100 are included in the same storage warehouse 1306. The logical slot 1101 is a logical storage unit that stores the logical storage medium 400 viewed from the processing device 1300. Storage media parity group1600However, when it corresponds to one logical storage medium 400, as shown in FIG. 11A, the logical slot 1101 corresponds to the slot parity group 1100 on a one-to-one basis. On the other hand, the storage medium parity group1600However, when it corresponds to a plurality of logical storage media 400, the slot parity group 1100 corresponds to a plurality of logical slots 1101, as shown in FIG. Further, as shown in FIG. 11C, when a plurality of storage medium parity groups 1610 correspond to one logical storage medium 400, a logical slot 1101 corresponds to a plurality of slot parity groups 1100.
[0028]
Hereinafter, in this embodiment, a storage medium parity group is used.1600However, a case in which one logical storage medium 400 is supported will be described. Of course, the present invention provides a storage medium parity group.1600However, this is also effective for a case where a plurality of logical storage media 400 are supported.
[0029]
FIG. 1 represents an overview of the present invention. As information relating to the present invention, the control device 1305 includes a control device buffer.1310, Directory 1309, nonvolatile memory management information 1401, etc., slot parity group configuration / status information 100, storage warehouse status information 101, R / W device parity group configuration / status information 102, robot configuration / status information 103. Including.
[0030]
The slot parity group configuration / status information 100 includes the identifier and failure status of the slot 1000 configuring the slot parity group 1100, the storage warehouse 1306 including the slot 1000, and the physical storage medium 1311 stored in the slot 1000. Information such as identifiers and fault statusHold.
[0031]
The storage warehouse state information 101 represents failure information of each storage warehouse 1306 connected to the control device 1305.
[0032]
The R / W device parity group configuration / state information 102 represents the identifier and failure status of the R / W device 1304 constituting the R / W device parity group 900.
[0033]
The robot configuration / state information 103 includes failure information of each robot 1307 connected to the control device 1305, a storage warehouse 1306 to which the robot 1307 can be transferred, and an R / W device 1304.InformationRepresents. As described above, availability is improved by providing flexibility in the ranges of the storage warehouse 1306 and the R / W device 1304 that can be transported by the robot 1307. That is, the storage warehouse 1306 and the R / W device that cannot transfer the physical storage medium 1311 even if one robot 1307 fails.1304Can be prevented from appearing.
[0034]
The main functions of the control device 1305 are a mount process execution unit 110, an R / W process execution unit 111, a demount process execution unit 112,Fault managementThis is a process execution unit 113.
[0035]
The mount processing execution unit 110 loads the logical storage medium 400 into the logical R / W device 901 in accordance with a request from the processing device 1300.
[0036]
The R / W processing execution unit 111 executes R / W processing of the logical storage medium 400 loaded in the logical R / W device 901 in accordance with a request from the processing device 1300.
[0037]
The demount processing execution unit 112 receives the logical storage medium 400 loaded in the logical R / W device 901 in accordance with a request from the processing device 1300.take outI do.
[0038]
Fault managementWhen a failure occurs in each device, the process execution unit 113 performs slot parity group configuration / status information 100, storage warehouse status information 101, robot configuration / status information.103'sRewrite.
[0039]
An overview of the mount processing execution unit 110 will be described. First, in step 120, the control device 1305 analyzes the received mount request and requests it.Logical slot1101 calculates which slot parity group 1100 corresponds to. In this embodiment, the logical slot 1101 and the slot parity group 1100 have a one-to-one correspondence and can be easily recognized. Even in the case of no one-to-one correspondence, if there is a correspondence table or the like, it can be recognized without any particular problem. In step 121, the control device 1305 grasps the failure status of the slot 1000 corresponding to the slot parity group 1100 and the failure status of the physical storage medium 1311 stored in the slot 1000, and the logical device corresponding to the logical slot 1101. It is determined whether the mount processing and R / W processing of the storage medium 400 can be executed.
[0040]
In step 122, the control device 1305 refers to the storage warehouse status information 101, grasps the failure status of the storage warehouse 1306 including the slot 1000 corresponding to the slot parity group 1100, and stores the physical storage from the storage warehouse 1306. Medium 1311take outCheck if it is possible.
[0041]
In step 123, the control device 1305 calculates the R / W device parity group 900 corresponding to the logical R / W device 901 designated from the processing device 1300. In this embodiment, since the logical R / W device 901 and the R / W device parity group 900 correspond one-to-one, they can be easily recognized. Even in the case of no one-to-one correspondence, if there is a correspondence table or the like, it can be recognized without any particular problem. In step 124, the control device 1305 refers to the R / W device parity group configuration / state information 102 corresponding to the R / W device parity group 900, and processes the processing device 1300.But,The failure status of the R / W device 1304 constituting the specified R / W device parity group 900 is checked, and whether or not the R / W processing can be executed using the specified logical R / W device 901 is checked. .
[0042]
In step 125, the controller 1305 determines the robot configuration / status information.103The physical storage medium 1311 stored in the slot 1000 corresponding to the designated slot parity group 1100 is referred to as the R / W device 1304 constituting the designated R / W device parity group 900. Check whether it can be transported between.
[0043]
Step 126ThenThe control device 1305 executes this transport process. If the conveyance process and R / W process cannot be performed due to the failure status of each device, a failure report is sent to the processing device 1300.
[0044]
As described above, in the present invention, since the failure status of each device is independently grasped, it is possible to execute the conveyance processing and the data R / W processing by making the most of the device that has not caused the failure. Therefore, availability can be improved. Furthermore, as already described, the main feature is that availability is improved by providing flexibility in the range of the storage warehouse 1306 and the R / W device 1304 that can be transported by the robot 1307.
[0045]
FIG. 12 shows slot parity group configuration / state information 100. The slot parity group configuration / status information 100 is information existing in the slot parity group 1100 unit. The storage warehouse identifier 1200 is information indicating to which storage warehouse 1306 the slot 1000 belonging to the slot parity group 1100 is included. The slot number 1201 is an identifier in the storage warehouse 1306 of the slot 1000 belonging to the slot parity group 1100. The slot failure status 1202 represents the failure status of the slot 1000. Specifically, robot1307Indicates whether the physical storage medium 1311 can be taken out from the slot 1000 or whether the physical storage medium 1311 can be stored in the slot 1000.
[0046]
The physical storage medium identifier 1203 is an identifier of the physical storage medium 1311 stored in the slot 1000. The physical storage medium failure information 1204 is failure information of the physical storage medium 1311 stored in the slot 1000. Specifically, it indicates whether data can be read from or written to the physical storage medium 1311. More than 1200FromSince the information shown in 1204 is information in units of 1000 slots, there are m + n pieces of information in one slot parity group configuration / state information 100.
[0047]
FIG. 13 shows the storage warehouse state information 101. The storage warehouse state information 101 exists for each storage warehouse 1306. Storage warehouse status information101Represents the failure status of the corresponding storage warehouse 1306. Specifically, this is a case where a failure has occurred in the common unit 1001 of the storage warehouse 1306. Further, when a certain number of slots 1000 or more of the storage warehouse 1306 fail, the entire storage warehouse 1306 may be handled as a failure.
[0048]
FIG. 14 shows the configuration of the R / W device parity group configuration / status information 102. The R / W device parity group configuration / state information 102 is information existing in the unit of the R / W device parity group 900. R / W device identifier1401Is an identifier of the R / W device 1304 belonging to the R / W device parity group 900. R / W device failure status1402Represents the failure status of the R / W device 1304. Specifically, it represents whether or not the R / W processing can be executed by loading the R / W device 1304 with the physical storage medium 1311. More than1401, 1402Since the information shown in FIG. 4 is information for each R / W device 1304, there are m + n pieces of information in one R / W device parity group configuration / state information 100.
[0049]
In FIG. 15, the robot configuration / state information 103 is information in units of the robot 1307. The robot failure information 220 is information indicating whether or not the robot 1307 can transport the physical storage medium 1311. The number of connected storage warehouses 221 is the robot concerned.1307This represents the number of storage warehouses 1306 connected, specifically, the number of storage warehouses 1306 from which the physical storage medium 1311 can be taken out / stored. The number of connected R / W devices 222 is the robot1307This represents the number of connected R / W devices 1304, specifically, the number of R / W devices 1304 that can be loaded with the physical storage medium 1311. The values of the number of connected storage warehouses 221 and the number of connected R / W devices 222 may be different for each robot 1307. The connection storage warehouse identifier 223 is the robot1307It represents the identifier of the connected storage warehouse 1306. The connection R / W device identifier 224 indicates the robot1307An identifier of the connected R / W device 1304 is represented. The number of connection storage warehouse identifiers 223 is set to the number defined by the number of connection storage warehouses 221. However, it is assumed that more areas for setting the connection storage warehouse identifier 223 are prepared. (Each robot1307Therefore, the number of storage warehouses 1306 connected may be different. Similarly, the number of connected R / W device identifiers 224 is set to the number defined by the number of connected R / W devices 222. However, it is assumed that more areas for setting the connection R / W device identifier 224 are prepared. (Because each robot 1306 may have a different number of connected R / W devices 1304.)
AlreadyStatedThus, in the present invention, each robot configuration / state information 103 is improved in order to improve availability by enabling different robots 1307 to execute transfer processing between the same storage warehouse 1306 and the same R / W device 1304. Are common to the connected storage warehouse identifier 223 and the connected R / W device identifier 224.
[0050]
next,A detailed flow of the mount processing execution unit 110 and the failure management processing execution unit 113 included in the control device 1305 will be described.
[0051]
FIG. 16 is a processing flow of the mount processing execution unit 110. The processing device 1300 designates the logical slot 1101 and the logical R / W device 901, and loads the logical storage medium 400 in the designated logical slot 1101 into the designated logical R / W device 901.LikeRequest.
[0052]
In step 300, the control device 1305 analyzes the received mount request and calculates to which slot parity group 1100 the specified logical slot 1101 corresponds. In this embodiment, the logical slot 1101 and the slot parity group 1100 have a one-to-one correspondence and can be easily recognized. Even in the case of no one-to-one correspondence, if there is a correspondence table or the like, it can be recognized without any particular problem.
In step 301, the controller 1305 refers to the slot parity group configuration / state information 100 corresponding to the slot parity group 1100 obtained in step 300. Specifically, first, the failure status of the slot 1000 is grasped by referring to the slot failure status 1202. Further, referring to the physical storage medium failure information 1204, the physical storage medium capable of grasping the failure status of the physical storage medium 1311 stored in each slot 1000 and executing mount processing and R / W processing of the logical storage medium 400 1311 is judged. In step 302, the control device 1305 checks whether or not the mount processing and R / W processing of m or more physical storage media 1311 can be executed, and if the condition is not satisfied, reports an error report to the processing device 1300. Therefore, the process jumps to step 303.
[0053]
In step 304, the controller 1305 stores the storage warehouse state information in order to grasp the failure status of the storage warehouse 1306 including the slot 1000 corresponding to the slot parity group 1100 obtained in step 300.101Refer to Further, it is checked whether or not the storage warehouse 1306 including the slot 1000 containing the physical storage medium 1311 that is determined to be capable of performing the mount process and the R / W process in step 302 has failed. If a failure has occurred, it is determined that the mount processing and R / W processing of the physical storage medium 1311 corresponding to the storage warehouse 1306 cannot be executed. In step 305, the control device 1305 checks whether mount processing and R / W processing of m or more physical storage media 1311 can be executed yet. If the condition is not satisfied, an error report is sent to the processing device 1300. Jump to step 303 to do so.
[0054]
In step 305, the control device 1305 calculates which R / W device parity group 900 the specified logical R / W device 901 corresponds to. In this embodiment, since the logical R / W device 901 and the R / W device parity group 900 correspond one-to-one, they can be easily recognized. Even in the case of no one-to-one correspondence, if there is a correspondence table or the like, it can be recognized without any particular problem.
[0055]
In step 306, the control device 1305 first recognizes the R / W device parity group configuration / state information 102 corresponding to the R / W device parity group 900 obtained in step 305. R / W device failure status in this R / W device parity group configuration / status information 1021402The R / W device 1304 that can execute the mount process and the R / W process is grasped among the R / W devices 1304 belonging to the R / W device parity group 900. In step 307, the control device 1305 checks whether or not m or more R / W devices 1304 can be mounted and R / W processed. If the condition is not satisfied, an error report is sent to the processing device 1300. Jump to step 303 to do so.
[0056]
In the present invention, a storage medium parity group is used.1600Each of the physical storage media 1311 belonging to can be loaded into any R / W device 1304 belonging to the R / W device parity group 900. (Of course, there is a restriction that the robot 1307 can carry it.) This is because if a restriction is placed on the R / W device 1304 that can be loaded, the availability at the time of failure is reduced.
[0057]
In step 308, the control device 1305 determines the robot configuration / status information.103Referring to FIG. 4, m or more physical storage media 1311 that can execute mount processing and R / W processing in step 305, and m or more R that can execute mount processing and R / W processing in step 307. / W device 1304 and actual robot1307The physical storage medium 1311 that can be transported / loaded is grasped. In step 309, the control device 1305 checks whether there are m or more physical storage media 1311 that have been determined to be transportable / loadable. If the condition is not satisfied, an error report is sent to the processing device 1300. Jump to 303.
[0058]
In step 310, the control device 1305 is a robot.1307Is used to execute a mount process for transporting and loading the physical storage medium 1311 that is determined to be transportable / loadable to the R / W device 1304. In step 311, this completion report is made.
On the other hand, in step 303, the control device 1305 reports to the processing device 1300 that the requested mount processing cannot be executed due to a failure.
[0059]
FIG.When a failure occurs in a device connected to the control device 1305, the failure management processing execution unit 113Update management information of the control device 1305Processing flowIt is.
[0060]
First, in step 1700,The control device 1305 analyzes the device that has caused the failure. As a result, the process branches to each step.
[0061]
Step 1701 is processing when a failure occurs in the physical storage medium 1311. In step 1701, the control device 1305 refers to the physical storage medium identifier 1203 in the slot parity group configuration / state information 100, and updates the physical storage medium failure information 1204 of the failed physical storage medium 1311 to a failed state. To do. Thereafter, the process is terminated.
[0062]
Step 1702 is processing when a failure occurs in the slot 1000. In step 1702, the control device 1305 refers to the storage warehouse identifier 1200 and the slot number 1201 in the slot parity group configuration / state information 100, and sets the slot failure status 1202 corresponding to the failed slot 1000 to the failure state. Update. Further, in step 1703, the control device 1305 refers to the slot parity group configuration / status information 100 and checks whether the number of failed slots 1000 in the storage warehouse 1306 including the slot 1000 has exceeded a certain number. . If not, the process ends. If so, jump to step 1704To do.
[0063]
Step 1704 is processing when a failure occurs in the storage warehouse 1306. In step 1704, the control device 1305 stores the storage warehouse state information 101 corresponding to the storage warehouse 1306 that has failed.TheUpdate to fault state. Thereafter, the process is terminated.
[0064]
Step 1705 is processing when a failure occurs in the R / W device 1304. In step 1705, the control device 1305 determines the R / W device identifier in the R / W device parity group configuration / state information 102.1401R / W device failure status corresponding to the failed R / W device 13041402Is updated to a failed state.
[0065]
Step 1706 is processing when a failure occurs in the robot 1307. In step 1706, the control device 1305 updates the robot failure information 220 corresponding to the failed robot 1307 to the failure state. Thereafter, the process is terminated.
[0066]
【The invention's effect】
According to the present invention,Make each storage medium, R / W device, storage warehouse, and robot redundant, and manage the failure status of each device independently, and execute read / write processing in the storage device system as much as possible. To achieve high availability.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of the present invention.
FIG. 2 is a configuration diagram of a computer system that is an object of the present invention.
FIG. 3 is a configuration diagram of another computer system that is an object of the present invention.
4 is a configuration diagram of a logical storage medium 400. FIG.
FIG. 5 is a relationship diagram between logical records and physical records.
FIG. 6 is a configuration diagram of a storage device parity group and a record parity group.
FIG. 7 is a configuration diagram when there are a plurality of directors.
FIG. 8 is a diagram showing the relationship between a logical storage device and a storage device parity group.
FIG. 9 is a configuration diagram of an R / W device parity group and a logical R / W device.
FIG. 10 is a configuration diagram of a storage warehouse.
FIG. 11 is a configuration diagram of a slot parity group and a logical slot.
FIG. 12 is a configuration diagram of slot parity group configuration / status information.
FIG. 13 is a configuration diagram of storage warehouse state information.
FIG. 14 is a configuration diagram of R / W device parity group configuration / status information.
FIG. 15 is a configuration diagram of robot configuration / state information.
FIG. 16 is a processing flowchart of a mount processing execution unit.
FIG. 17Fault managementThe processing flowchart of a process execution part.
[Explanation of symbols]
100: Slot parity group configuration / status information, 101: Storage warehouse status information, 102: R / W device parity group configuration / status information, 103: Robot configuration / status information, 110: Mount processing execution unit, 111: R / W process execution unit 112: Demount process execution unit 113:Fault managementProcessing execution part

Claims (3)

各々、記憶媒体が収納されるスロットを複数有する、複数の収納倉庫と、各々装填された記憶媒体に対してデータを読み書きする、複数のリード/ライト装置と、収納倉庫とリード/ライト装置との間で記憶媒体を搬送する、複数の搬送装置と、処理装置と接続され、前記複数のリード/ライト装置及び前記複数の搬送装置を制御する制御装置とを有し、
データレコードが格納されるm個の記憶媒体と、データレコードの回復処理に使用されるパリティレコードが格納されるn個の記憶媒体とが記憶媒体パリティグループを構成しており、
記憶媒体パリティグループを構成するm+n個の記憶媒体が装填されるm+n個のリード/ライト装置はリード/ライト装置パリティグループを構成しており、
前記複数の搬送装置各々について、該搬送装置が記憶媒体を搬送可能な一又は複数の収納倉庫と一又は複数のリード/ライト装置とを含む搬送可能範囲が定められており、一の収納倉庫及び一のリード/ライト装置間で記憶媒体を搬送可能な搬送装置が複数存在し、
記憶媒体パリティグループを構成する各記憶媒体は、前記複数の搬送装置の搬送可能範囲によって定められる範囲内において、リード/ライト装置パリティグループを構成する任意のリード/ライト装置に装填可能であり、
前記制御装置は、前記処理装置からの指示に応じて記憶媒体パリティグループを構成する記憶媒体をリード/ライト装置に装填する際に、
前記記憶媒体パリティグループを構成する各記憶媒体の障害状況を確認し、
前記処理装置からの指示に基づいて決定される複数のリード/ライト装置の障害状況を確認し、
前記複数の搬送装置各々の障害状況を確認し、
前記障害状況の確認結果と、障害の生じていない一以上の搬送装置を用いて、前記記憶媒体パリティグループを構成する記憶媒体のうち障害の生じていないm個以上の記憶媒体を、前記処理装置からの指示に基づいて決定されるリード/ライト装置パリティグループを構成する障害の生じていないm個以上のリード/ライト装置に搬送して装填可能かどうかを、該障害の生じていない一以上の搬送装置各々について予め定められている搬送可能範囲と、に基づいて判断し、
前記障害の生じていない一以上の搬送装置を用いて、前記障害の生じていないm個以上の記憶媒体を、前記障害の生じていないm個以上のリード/ライト装置に搬送できない場合に、エラーを出力することを特徴とする記憶装置システム。
A plurality of storage warehouses each having a plurality of slots for storing storage media; a plurality of read / write devices for reading / writing data from / to each loaded storage medium; and a storage warehouse and a read / write device A plurality of transport devices that transport the storage medium between them, and a control device that is connected to the processing device and controls the plurality of read / write devices and the plurality of transport devices,
M storage media storing data records and n storage media storing parity records used for data record recovery processing constitute a storage media parity group,
M + n read / write devices loaded with m + n storage media constituting a storage medium parity group constitute a read / write device parity group,
For each of the plurality of transport devices, a transportable range including one or a plurality of storage warehouses and one or a plurality of read / write devices in which the transport device can transport a storage medium is defined, and one storage warehouse and There are multiple transport devices that can transport storage media between one read / write device,
Each storage medium constituting the storage medium parity group can be loaded into any read / write device constituting the read / write device parity group within the range determined by the transportable range of the plurality of transport devices,
The control device, when loading a storage medium constituting a storage medium parity group in a read / write device in accordance with an instruction from the processing device,
Check the failure status of each storage medium constituting the storage medium parity group,
Confirming the failure status of a plurality of read / write devices determined based on instructions from the processing device,
Check the failure status of each of the plurality of transfer devices,
Using the result of confirming the failure status and one or more transport devices in which no failure has occurred, m or more storage media in which no failure has occurred among the storage media constituting the storage medium parity group are processed in the processing device. The read / write device parity group that is determined based on the instruction from the device determines whether or not the read / write device can be loaded and loaded into at least m non-failed read / write devices. a transport range that is determined in advance for the transport device each, determines on the basis of,
An error occurs when it is not possible to transport m or more non-failed storage media to m or more non-failed read / write devices using one or more transport devices that are free of trouble. Is output.
請求項1記載の記憶装置システムであって、 前記制御装置が、前記障害の生じていない一以上の搬送装置を用いて、前記記憶媒体パリティグループを構成する障害の生じていないm個以上の記憶媒体を、前記リード/ライト装置パリティグループを構成する障害の生じていないm個以上のリード/ライト装置に搬送可能である場合に、障害の生じていない一以上の搬送装置を用いて、前記障害の生じていないm個以上の記憶媒体を、前記障害の生じていないm個以上のリード/ライト装置に搬送するよう制御することを特徴とする記憶装置システム。  2. The storage device system according to claim 1, wherein the control device uses at least one non-failed transport device and uses at least one non-failed storage that constitutes the storage medium parity group. When the medium can be transported to m or more non-failing read / write devices constituting the read / write device parity group, the failure is detected using one or more transport devices that do not cause a failure. A storage system that controls to transfer m or more storage media in which no failure occurs to the m or more read / write devices in which the failure does not occur. 請求項2記載の記憶装置システムであって、 前記記憶媒体パリティグループを構成する複数の記憶媒体が収納される複数のスロットはスロットパリティグループを構成しており、 前記処理装置は、前記制御装置に対して論理スロットと論理リード/ライト装置とを指定して記憶媒体のリード/ライト装置への装填を指示し、 前記制御装置は指定された論理スロットに対応するスロットパリティグループに格納されているm+n個の記憶媒体を、指定された論理リード/ライト装置に対応するリード/ライト装置パリティグループを構成する複数のリード/ライト装置に装填するように制御することを特徴とする記憶装置システム。  The storage device system according to claim 2, wherein a plurality of slots in which a plurality of storage media constituting the storage medium parity group are accommodated constitutes a slot parity group, and the processing device is connected to the control device. A logical slot and a logical read / write device are designated to instruct loading of the storage medium into the read / write device, and the control device stores m + n stored in the slot parity group corresponding to the designated logical slot. A storage system that controls to load a plurality of storage media into a plurality of read / write devices constituting a read / write device parity group corresponding to a specified logical read / write device.
JP06050797A 1997-03-14 1997-03-14 Storage system Expired - Fee Related JP4268689B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06050797A JP4268689B2 (en) 1997-03-14 1997-03-14 Storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06050797A JP4268689B2 (en) 1997-03-14 1997-03-14 Storage system

Publications (2)

Publication Number Publication Date
JPH10254639A JPH10254639A (en) 1998-09-25
JP4268689B2 true JP4268689B2 (en) 2009-05-27

Family

ID=13144303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06050797A Expired - Fee Related JP4268689B2 (en) 1997-03-14 1997-03-14 Storage system

Country Status (1)

Country Link
JP (1) JP4268689B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105260A1 (en) 2011-02-04 2012-08-09 パナソニック株式会社 Storage device

Also Published As

Publication number Publication date
JPH10254639A (en) 1998-09-25

Similar Documents

Publication Publication Date Title
JPH10254648A (en) Storage device storing portable media
JP2006285889A (en) Data storage device, reconstruction control device, reconstruction control method, program and storage medium
CN1573705A (en) Memory controller and data storage method
JPH10254631A (en) Computer system
JPH07203337A (en) Method and apparatus for supporting network of full motion video using raid
US20050033933A1 (en) Systems and methods for modifying disk drive firmware in a raid storage system
KR100881803B1 (en) Storage device, data arrangement method and program
JPH10254642A (en) Storage device system
JPH07261945A (en) Disk array device and disk array dividing method
US8555007B2 (en) Storage system with journal disks dynamically assigned
JP4268689B2 (en) Storage system
JPH11212728A (en) External storage sub-system
JP3428350B2 (en) Storage system
JPH08286844A (en) Parity generation control method and disk controller
JP2002278706A (en) Disk array device
JP3584665B2 (en) Library storage device using portable media
JP3518232B2 (en) Portable media library device
JP2003288176A (en) Storage apparatus system
JPH10254634A (en) Storage device and restoration means for storage device
JP4218636B2 (en) Storage device for storing portable media
JPH06324815A (en) Disk array device
JP3288071B2 (en) Information conversion processing device and information transfer control method
JP3874019B2 (en) Storage system
JP3412438B2 (en) Array type library device and control method for array type library device
JP3597550B2 (en) Disk array device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051003

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051006

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20051104

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090223

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees