JP4041284B2 - 記憶装置システム - Google Patents
記憶装置システム Download PDFInfo
- Publication number
- JP4041284B2 JP4041284B2 JP2001014406A JP2001014406A JP4041284B2 JP 4041284 B2 JP4041284 B2 JP 4041284B2 JP 2001014406 A JP2001014406 A JP 2001014406A JP 2001014406 A JP2001014406 A JP 2001014406A JP 4041284 B2 JP4041284 B2 JP 4041284B2
- Authority
- JP
- Japan
- Prior art keywords
- bus
- host
- data transfer
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
【発明の属する技術分野】
本発明はコンピュータシステムの記憶装置システムのための制御方式に係わり、特に記憶装置システムの性能測定に関する。
【0002】
【従来の技術】
ディスクアレイシステムは、RAID(Redundant Arrays of Inexpensive Disks)とも呼ばれ、複数のディスク装置をアレイ状に配置した構成をとり、ホストからのリード要求(データの読み出し要求)およびライト要求(データの書き込み要求)をディスクの並列動作によって高速に処理するとともに、データに冗長データを付加することによって信頼性を向上させた記憶装置である。ディスクアレイシステムは、冗長データの種類と構成により5つのレベルに分類されている(論文:"A Case for Redundant Arrays of Inexpensive Disks (RAID)", David A.Patterson, Garsh Gibson, and Randy H.Katz, Computer Science Division Department of Electrical Engineering and Computer Sciences, University of California Berkeley ACM SIGMOD pp.109−116 1988)。
【0003】
ディスクアレイシステムは複数のディスクからなるディスク群を備えている。上記のようなディスクアレイを実現するためには、ホストからのリード/ライト要求を各ディスクへのリード/ライト要求に変換し、ライト時にはデータを各ディスクへ分散し、リード時には各ディスクからデータを集合するデータ分散・集合制御を行う必要がある。このような制御をディスクアレイ制御と呼ぶこととする。
【0004】
ホストからのリード/ライト要求は、一般的にLU(Logical Unit)と呼ばれる記憶装置の論理ユニット単位で行われる。
【0005】
ディスクアレイの性能測定をLU単位で行っている従来例は、たとえば特開平9−274544号公報がある。この例では、LUごとにシーケンシャル/ランダム等のアクセスの種類を採取している。
【0006】
【発明が解決しようとする課題】
ディスクアレイにおいて、LUごとのアクセス状況がわかれば、システムの再構成時などにアクセス状況に基づいて負荷分散を行うことにより、性能面で最適なLU構成、RAID構成を構築することが可能となる。例えば、シーケンシャルなアクセスが続くことによって、あるLUにアクセスが集中するときは、LUを組替えて1つのLUにアクセスが集中しないようにすることが考えられる。
【0007】
また、LUごとのアクセス性能、LUごとのハードウェア各部位の負荷状況がわかれば、ディスクアレイシステム全体の性能ボトルネックの解析に使用することが出来る。
【0008】
また、複数のユーザに対して、データ保存領域を提供し、代償として料金を受け取るストレージプールというサービスが考えられるが、このストレージプールにおいては、使用容量だけでなく、ハードウェア資源をどれだけ使ったかという性能に対しても課金することが予想される。そのためには、LUごとの性能測定が必要である。
【0009】
また、同様のストレージプールにおいて、特定顧客に特定性能しか使わせないという性能サービスにおける性能コントロールやハードウェア資源使用抑止のための指針を得るためにも、LUごとの性能測定が必要である。しかしながら、従来技術ではLUごとの転送性能、負荷状況の測定および外部への通知は見受けられない。
【0010】
本発明の第1の目的は、測定結果からの負荷分散により最適なRAID構成を構築するために、LUごとの転送性能、負荷状況を測定し、外部へ通知可能としたディスクアレイシステムおよび方法を提供することにある。
【0011】
本発明の第2の目的は、ディスクアレイシステムの性能ボトルネック解析のために、LUごとの転送性能、負荷状況を測定し、外部へ通知可能としたディスクアレイシステムおよび方法を提供することにある。
【0012】
本発明の第3の目的は、ハードウェア資源をどれだけ使ったかがわかり、性能に対する課金を可能とするために、LUごとの転送性能、負荷状況を測定し、外部へ通知可能としたディスクアレイシステムおよび方法を提供することにある。
【0013】
本発明の第4の目的は、ハードウェア資源使用抑止のための指針を得るために、LUごとの転送性能、負荷状況を測定し、外部へ通知可能としたディスクアレイシステムおよび方法を提供することにある。
【0014】
【課題を解決するための手段】
本発明は上記要求を満足するために、ディスクアレイシステム内で、LUごとの転送性能、負荷状況を測定し、さらにディスクアレイシステム外部へ測定結果を通知する手段を備えたものである。
【0015】
前記第1、第2、第3、第4の目的を達成するために、本発明は、アレイ状に配置した複数のディスク装置を有するアレイ型ディスクシステムにおいて、ホストとの入出力を行う少なくとも1つ以上のホスト入出力手段と、複数のディスク装置との入出力を行う少なくとも1つ以上のディスク入出力手段と、データを一時的に保持するディスクキャッシュと、ディスクキャッシュを制御するキャッシュコントローラと、ホスト入出力手段とキャッシュコントローラを接続するホスト側内部バスと、ディスク入出力手段とキャッシュコントローラを接続するディスク側内部バスと、キャッシュコントローラとディスクキャッシュを接続するキャッシュバスと、LUごとの各転送路の使用状況を測定する性能測定手段とを設ける。各転送路とは、上記ホスト側内部バス、ディスク側内部バス、キャッシュバスのすくなくともいずれかひとつのことであり、各転送路におけるLUごとの使用状況を測定する。
【0016】
また、ディスクアレイシステム内にホスト通信プログラムを設けることで、転送路の使用状況をホストに通知できる。
【0017】
また、前記第1、第2、第3、第4の目的を達成するために、本発明は、上記の手段に加え、制御端末との通信を行う制御端末通信手段と、制御端末通信プログラムとを設けることで、転送状況を制御端末に通知できる。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態を、図を用いて説明する。
【0019】
(第1の実施形態)
本発明の第1の実施形態は、ホストからの指示に従い、ディスクアレイ内各バス上のデータ転送量、バス使用量をLU単位で測定し、測定結果のホストへの通知を図るためのものである。
【0020】
(1)システム構成
まず、第1の実施形態のシステム構成を、図1を用いて説明する。
【0021】
図1において、ホストA100、ホストB110、ホストC120は、ディスクアレイ200に対してリード/ライト要求を出し、データの入出力を行うホストであり、130はバススイッチ、200はディスクアレイである。
【0022】
ディスクアレイ200は、ホスト入出力部210、211と、ディスクキャッシュ230と、ディスク入出力部250、251と、ディスク装置群270、271と、ディスクアレイ全体の制御を行うMPU280と、バスブリッジ285と、メモリ290と、キャッシュコントローラ300とを備えている。ディスク装置群270、271は、各々が少なくとも1台以上のディスク装置から構成される。本実施形態では、一例として、ディスク装置群270はディスク装置277〜279から構成されるとする。ホスト入出力部210、211は、少なくとも1つ以上であればよい。ディスク入出力部250、251は、少なくとも1つ以上であればよい。ディスク装置群270、271は、少なくとも1つ以上であればよい。
【0023】
ホストA100、ホストB110、ホストC120は、バススイッチ130を介して、ホストバスA140、ホストバスB141によりディスクアレイ200のホスト入出力部210、211と接続する。ホストA100、ホストB110、ホストC120で表すホストは、少なくとも1つ以上であればよい。
【0024】
ホストA100、ホストB110、ホストC120とキャッシュコントローラ300との間の転送を実行するホスト入出力部210、211は、ホスト側内部バス220によりキャッシュコントローラ300と接続する。ホスト入出力部210は、ホストバスA140上のデータ転送を監視し転送量を測定するバス使用状況測定部212を有する。ホスト入出力部211もホスト入出力部210と同様の機能を有する。
【0025】
ディスク装置群270、271とキャッシュコントローラ300との間のデータ転送を実行するディスク入出力部250、251は、各々ディスクバスA260、ディスクバスB261によりディスク装置群270、271と接続し、ディスク側内部バス240によりキャッシュコントローラ300と接続する。ディスク入出力部250は、ディスクバス260上のデータ転送を監視し使用状況を測定するバス使用状況測定部252を有する。ディスク入出力部251もディスク入出力部250と同様の機能を有する。
【0026】
ディスクキャッシュ230は、キャッシュバス231によりキャッシュコントローラ300と接続される。
【0027】
キャッシュコントローラ300は、ホスト入出力部210、211とディスクキャッシュ230との間のデータ転送をバッファリングするホスト側内部バスバッファ310と、ディスクキャッシュ230とキャッシュコントローラ300の間の転送を制御するキャッシュ制御部320と、ディスク入出力部250、251とディスクキャッシュ230との間のデータ転送をバッファリングするディスク側内部バスバッファ330と、ホスト入出力部210、211からディスクキャッシュ230に転送されるデータに後述するLU情報を付加し、また、ディスクキャッシュ230からホスト入出力部210、211に転送されるデータに付加されているLU情報を削除するLU情報付加/削除部340と、ホスト側内部バス220上のデータ転送を監視し、使用状況を測定するバス使用状況測定部311と、キャッシュバス231上のデータ転送を監視し、使用状況を測定するバス使用状況測定部321と、ディスク側内部バス240上のデータ転送を監視し、使用状況を測定するバス使用状況測定部331とを有する。
【0028】
ここで、LU情報と、LU情報付加/削除部340によって転送データに対して行われるLU情報の付加/削除について説明する。ホストA100は、論理的なユニットであるLU単位でディスクアレイをリード/ライトする。LUは、ディスクアレイ内では複数のディスク装置に分けられ、管理されている。
【0029】
本実施形態においては、ディスクアレイ200内部の各バスの信号線を測定することによって転送量等をカウントするのであるが、ディスクアレイ内の各バスを流れるデータそのものは、どのLUの転送であるかを表わしておらず、LUの特定は出来ない。そのため、本発明においては、バス上を流れるデータにLU情報を付加し、バス上のデータ転送を測定することで、そのデータに対応するLUを特定可能とする。
【0030】
図2に、データにLU情報を付加する具体的な例を示す。論理データブロック401、411、421は、ホストA100がディスクアレイ200にデータを転送する時のホストデータの一部であり、論理データブロック401、論理データブロック411、論理データブロック421の順に連続したデータである。LU情報402、412、422は、ホストA100が該転送において指定したLUの値であり、それぞれ論理データブロック401、411、421に対応して付加される。LU情報は、各論理データブロック401、411、421の最後尾に付加するものとし、論理データブロック401、LU情報402、論理データブロック411、LU情報412、論理データブロック421、LU情報422の順に連続したデータとなる。論理データブロック401にLU情報402を併せたものを拡張データ400とし、拡張データ410、420も同様とする。
【0031】
LU情報の付加は、ホスト入出力部210および211からディスクキャッシュ230へのデータ転送時に、LU情報付加/削除部340によって行なわれる。また、ディスクキャッシュ230からホスト入出力部210および211へのデータ転送時に、LU情報付加/削除部340がLU情報を削除する。これにより、ホスト側内部バス220上を流れるデータは、論理データブロックのみであり、キャッシュバス231、ディスク側内部バス240、ディスクバスA260、ディスクバスB261上を流れるデータは、拡張データとなる。
【0032】
ホストバス140、141および、ホスト側内部バス220上でのLU特定方法、LU情報付加/削除部340がLUを特定する方法については、後述の図3に示すバス使用状況測定部500の説明部分において説明する。
【0033】
引き続き、図1のシステム構成について説明する。
MPU280は、バスブリッジ285を介してメモリ290およびキャッシュコントローラ300と接続される。
【0034】
メモリ290は、MPU280がディスクアレイ制御を実行するために使用するディスクアレイ制御プログラム291と、MPU280がホストバス140、141、ホスト側内部バス220、キャッシュバス231、ディスク側内部バス240、ディスクバスA260、ディスクバスB261上の転送量等の測定を実行するために使用するバス使用状況測定プログラム292と、バス上の転送量等を測定した結果を格納するバス使用状況測定結果テーブル293と、MPU280がバス使用状況測定結果についてホストA100、ホストB110またはホストC120とディスクアレイ200の間で行なわれる通信を実行するために使用されるホスト通信プログラム294とを有する。バス使用状況測定結果テーブル293の詳細については、後述する。
【0035】
バス使用状況測定部212、252、311、321、331について説明する。バス使用状況測定部212、252、311、321、331は、図3に示すバス使用状況測定部500のような構造で実現できる。
【0036】
バス使用状況測定部500は、LUアクセスカウンタ510〜512と、測定するバスのクロック数をカウントするトータルカウンタ550と、トータルカウンタ550がカウントした値を格納するトータルレジスタ551と、測定するバス上のデータ転送が、バスを専有したクロック数をカウントするバス専有値カウンタ560と、バス専有値カウンタ560がカウントした値を格納するテンポラリレジスタ561と、測定するバス上のデータ転送のデータ転送量をカウントするデータ転送量カウンタ570と、データ転送量カウンタ570がカウントした値を格納するテンポラリレジスタ571と、測定するバス上のデータ転送が、どのLUに関するものかを判定し、判定結果によりテンポラリレジスタ561、571の値を該当するLUアクセスカウンタ内のレジスタに足しこむLU判定部580と、MPU280からの指示により、各レジスタを初期化しカウント開始の契機をあたえるカウント開始部590と、MPU280からの指示により、カウントを停止させるカウント停止部595とを有する。
【0037】
LUアクセスカウンタ510,511,512はLUごとに設けられる。LUアクセスカウンタ510は、測定するLUを指定するLUレジスタ520と、LUレジスタ520で指定されたLUに関するデータ転送が、バスを専有したクロック数のカウント値を格納するバス専有値レジスタ530と、LUレジスタ520で指定されたLUに関するデータ転送の転送量のカウント値を格納するデータ転送量レジスタ540とを有する。LUアクセスカウンタ511、512も、LUアクセスカウンタ510と同様の機能を有する。LUアクセスカウンタ510〜512は、少なくとも一つ以上であればよい。
【0038】
一般にデータ転送量とバス専有値とは一致もしないし、比例関係にもない。バス専有値とはデータが転送されているかどうかに係わらずあるLUがバスを専有している時間を表す。バスに接続された機器の応答時間の違いによってバスは専有されていても実際にデータが転送されていないという時間が変化するから、バスの専有値は実際に計測しないと分からない値である。この値が実際にハードウェアを使用している時間を表している。
【0039】
以上が、第1の実施形態のシステム構成である。
【0040】
(2)性能測定
次に、転送されるデータのLU特定方法と、特定したLUごとの性能測定方法について説明する。まず、LU判定部580が、各データ転送においてLUを特定する方法を説明する。
【0041】
キャッシュバス231、ディスク側内部バス240、ディスクバスA260、ディスクバスB261上のデータ転送においては、バス上を流れるデータは図2に示す様にLU情報の付加された拡張データであり、データそのものにLU情報が付加されているため、バス上のデータ転送を監視することにより対応するLUの特定が可能である。
【0042】
ホストバスA140上のデータ転送においては、ホストA100からディスクアレイ200へのリード/ライトは、LU指定で行われる。これは、ホストバスA140上へホストA100がリード/ライトコマンドを発行することによって行われるが、このリード/ライトコマンド中でホストA100がアクセスするLUを指定するので、ホストバスA140を監視し、リード/ライトコマンドのLU指定部分を調べることによって各データに対応するLUの特定が可能である。ホストバスB141の場合も同様である。
【0043】
ホストA100からLU指定で行われるデータ転送は、ディスクアレイ200内では、MPU280によりディスクアレイ特有のアドレス変換が行われ、ディスク装置群270、271に分散して格納される。ホスト側内部バス220上のデータ転送はこのアドレス変換後であり、ホスト側内部バス220上のデータ転送を監視するだけでは、対応するLUを特定することは出来ない。また、LU情報付加/削除部340で図2に示すようなLU情報を付加するときもデータからだけではLUを特定することは出来ない。
【0044】
そこで、本実施形態においては、ホスト入出力部210からディスクキャッシュ230へのデータ転送において、たとえば転送アドレスの上位ビットでかつ、ディスクキャッシュ230のアドレス指定に影響を及ぼさない領域に、ホストから指定されるLU情報を格納しておく。バス使用状況測定部311においては、ホスト側内部バス220上のデータ転送を監視し、この転送アドレスの上位ビットからLU情報を読み出し、LUの特定を行う。また、LU情報付加/削除部340も、同様の手段でLUの特定を行う。
【0045】
なお、その後のディスクアレイ200内でのデータ転送においては、データ自体にLU番号がないとデータ転送ごとにMPUの介在が必要となるのでMPUの負荷が大きい。従って、データ自体にLU情報を付加し、データのみを監視することによってLUごとのバス使用状況が判るようにしてある。
【0046】
次に、バス使用状況測定部500が特定バスを監視し、測定時間とその測定時間内でのLUごとのバス専有時間やLUごとのデータ転送量を測定する方法を説明する。図4は、汎用のローカルバスであるPCIバスのもっとも単純な連続データライト転送のタイミングチャートである。図4においてCLKは同期のための基準信号である。リセットと割り込みを除く総てのPCI信号はCLK信号線の立ち上がりエッジに同期して動作する。
【0047】
t0〜t6はCLK信号線の立ち上がりエッジの時刻を表している。−FRAMEはイニシエータによってドライブされ、バス・サイクルが実行されていることを示す負論理の信号線である。ADはアドレスとデータの転送が時分割で行なわれる32本の信号線である。図4中のADDRはアドレス転送を表し、データ1〜データ4はデータ転送を表している。
【0048】
−C/BEはアドレス転送時にはバス・コマンドを、データ転送時にはバイトイネーブルとして使用される4本の負論理の信号線である。図4中のCMDはバス・コマンドを表し、BE#1〜BE#4はバイト・イネーブルを表している。−IRDYはイニシエータによってドライブされ、イニシエータがデータ転送可能な状態にあることを示す負論理の信号線である。−TRDYはターゲットによってドライブされターゲットがデータ転送可能な状態にあることを示す負論理の信号線である。−DEVSELはバス・アクセスに対する応答として、アクセスを受けたターゲットによってアサートされる負論理の信号線である。
【0049】
ディスク側内部バス240にPCIバスを使用した場合を例にとり、図4を用いてディスク側内部バス240に対する測定動作を説明する。
【0050】
ディスク側内部バス240上の転送を測定するのは、バス使用状況測定部331である。バス使用状況測定部331が測定するのは、測定開始から測定終了までの総クロック数、LUごとのディスク側内部バス240を専有したクロック数、LUごとのディスク側内部バス240上でデータが転送されたクロック数である。
【0051】
まず始めに、MPU280は、LUレジスタ520〜522に測定するLUの番号を設定する。
【0052】
次に、MPU280は、カウント開始部590に、測定開始の指示を与える。カウント開始部590は、MPU280からの指示を受けると、LUアクセスカウンタ510〜512内のバス専有値レジスタ530〜532、データ転送量レジスタ540〜542、およびトータルレジスタ551、テンポラリレジスタ561、テンポラリレジスタ571の値を初期化し、トータルカウンタ550、バス専有値カウンタ560、データ転送量カウンタ570に測定開始の指示を与える。トータルカウンタ550、バス専有値カウンタ560、データ転送量カウンタ570は、カウント開始部590からの指示を受けると、カウント動作を開始する。
【0053】
トータルカウンタ550は、測定開始から測定終了までの間のCLK信号線の立ち上がりエッジをカウントし、その期間のトータルのクロック数をトータルレジスタ551に格納する。
【0054】
バス専有値カウンタ560は、各データ転送がバスを専有している間のCLK信号線の立ち上がりエッジをカウントし、その値をテンポラリレジスタ561に格納する。PCIバスにおいては、データ転送は−FRAME信号の立ち下りで始まり、−FRAME信号と−IRDY信号の両方が立ち上がってバスがアイドルになると終了である。図4においては、バスが専有されているのは、t1〜t5までの5クロックであり、テンポラリレジスタ561には、カウントした結果の値5が格納される。
【0055】
データ転送量カウンタ570は、バス上で実際にデータ転送が行われている期間のCLK信号線の立ち上がりエッジをカウントし、その値をテンポラリレジスタ571に格納する。PCIバスにおいては、−TRDY信号が立ち下がっている期間がデータが転送されている期間であり、図4においていは、t2、t3、t4、t5においてデータ転送量カウンタはカウントアップし、カウントした結果の値4をテンポラリレジスタ571に格納する。
【0056】
1データ転送ごとに、LU判定部580がそのデータ転送に対応するLUを特定する。LU判定部580は、特定したLUと、LUレジスタ520〜522の値を比較し、等しいものがあればその対応するバス専有値レジスタにテンポラリレジスタ561の値を、データ転送量レジスタにテンポラリレジスタ571の値をそれぞれ加える。その後、テンポラリレジスタ561、テンポラリレジスタ571の値をクリアする。
【0057】
測定時間が経過すると、MPU280は、カウント停止部595に、測定終了の指示を与える。カウント停止部595は、MPU280からの指示を受けると、トータルカウンタ550、バス専有値カウンタ560、データ転送量カウンタ570に測定終了の指示を与える。トータルカウンタ550、バス専有値カウンタ560、データ転送量カウンタ570は、カウント停止部595からの指示を受けると、カウント動作を終了する。
【0058】
上記一連の動作により、バス使用状況測定部331は、測定開始から測定終了までの期間の、ディスク側内部バス240の総クロック数、LUごとの、データ転送がディスク側内部バス240を専有したクロック数、ディスク側内部バス240上で実データが転送されたクロック数をカウントする。ディスク側内部バス240のクロック周波数および、データバス幅はあらかじめ判っているので、カウントしたクロック数から正確な測定時間、各LUがバスを専有した時間、LUごとのデータ転送量を導き出すことができる。
【0059】
PCIバスを例に取り、バス使用状況測定部331の場合を説明したが、PCIバス以外のバスの場合でも、ホスト入出力部210、211、キャッシュコントローラ300、ディスク入出力部250、251は各バスのプロトコルを解するインタフェースを備えているため、プロトコルにあったカウントを行うことにより、同様の測定を行うことができる。すなわち、バス使用状況測定部212はホストバスA上のデータ転送を、バス使用状況測定部311はホスト側内部バス220上のデータ転送を、バス使用状況測定部321はキャッシュバス231上のデータ転送を、バス使用状況測定部252はディスクバスA260上のデータ転送をそれぞれ監視し、各バス上の測定開始から測定終了までの期間の、総クロック数、LUごとに、データ転送がバスを専有したクロック数、バス上で実データが転送されたクロック数をカウントする。
【0060】
(3)ホスト−ディスクアレイ間のやりとり
本実施形態においては、ホストがホストバスを介してディスクアレイに測定の指示を与え、ディスクアレイから測定結果を得る。そこで、ホスト−ディスクアレイ間で性能測定に使用するベンダユニークコマンドを定義する。ここでは、ホストA100がディスクアレイ200に対して性能測定を指示する場合を例に説明する。
【0061】
図6において、設定コマンド610、測定開始コマンド620、測定終了コマンド630、結果取得コマンド640は、ホストA100からディスクアレイ200に対して発行されるコマンドであり、結果通知レスポンス650は、ディスクアレイ200が受け取った結果取得コマンド640に対応してホストA100へ返すデータ列である。
【0062】
設定コマンド610は、どのLUの、どのバスを測定の対象にするかを設定するコマンドである。コマンドコード611には、ユニークなコードを割り付ける。LUN(LU Number)612には、測定対象とするLUの番号を一つ設定する。バス指定ビット列613は、LUN612に設定したLUにおいて、どのバスを測定するかを設定する8bitのビット列である。そのビット定義は図示したように左からホストバスA140、ホストバスB141、ホスト側内部バス220、キャッシュバス231、ディスク側内部バス240、ディスクバスA260、ディスクバスB261に対応しており、ビットの値が”0”の場合は該当バスの測定はしないこと、ビットの値が”1”の場合は該当バスの測定を行うことを表す。
【0063】
たとえばLU0に関するデータ転送のホスト側内部バス220、キャッシュバス231、ディスク側内部バス240の性能測定を行う場合、ホストA100はLUN612にLU0を、バス指定ビット列613に”00111000”を指定する。ホストA100は、測定するLUの数だけ、設定コマンド610を発行する。
【0064】
測定開始コマンド620は、ディスクアレイ200に対して性能測定開始を指示するコマンドである。コマンドコード621には、ユニークなコードを割り付ける。
【0065】
測定終了コマンド630は、ディスクアレイ200に対して性能測定終了を指示するコマンドである。コマンドコード631には、ユニークなコードを割り付ける。
【0066】
結果取得コマンド640は、ディスクアレイ200に対して測定結果の送信を指示するコマンドである。コマンドコード641には、ユニークなコードを割り付ける。LUN642には、測定結果の出力を求めるLUの番号を指定する。バス指定ビット列643のビット定義はバス指定ビット列613と同様であり、ビットの値が”0”の場合は該当バスの測定結果は出力しないこと、ビットの値が”1”の場合は該当バスの測定結果を出力することを表す。たとえばLU0に関する、ホスト側内部バス220、キャッシュバス231、ディスク側内部バス240上のデータ転送の測定結果出力をディスクアレイ200に求める場合、ホストA100はLUN641にLU0を、バス指定ビット列643に”00111000”を指定する。ホストA100は、測定結果を得るLUの数だけ、結果取得コマンド640を発行する。なお、どのLUの値とも重ならない値、本実施形態においては0xFFをLUN642に指定すると、測定期間中の総クロック数を表すトータルカウンタ値を指定したものと定義する。
【0067】
結果通知レスポンス650は、ディスクアレイ200からホストA100へ送信されるデータ列である。データ列は、ホストバスA140におけるバス専有値651、ホストバスB141におけるバス専有値652、ホスト側内部バス220におけるバス専有値653、キャッシュバス231におけるバス専有値654、ディスク側内部バス240におけるバス専有値655、ディスクバスA260におけるバス専有値656、ディスクバスB261におけるバス専有値657、ホストバスA140におけるデータ転送量658、ホストバスB141におけるデータ転送量659、ホスト側内部バス220におけるデータ転送量660、キャッシュバス231におけるデータ転送量661、ディスク側内部バス240におけるデータ転送量662、ディスクバスA260におけるデータ転送量663、ディスクバスB261におけるデータ転送量664の順に並んでいる。ディスクアレイ200は、受け取った結果取得コマンド640で指示されたLUの各バスの測定結果をフォーマットに従い送信する。なお、LUN642に0xFFが指定されていた場合は、651〜657に各バスのトータルカウンタ値を出力し、658〜664には0を出力するものとする。
【0068】
以下、図7のフローチャートに基づいて、性能測定の流れを説明する。フローチャート左側は、ホストA100の動作の流れであり、右側は、ディスクアレイ200の動作の流れである。なお、ホストAが性能測定の働きをするのは例であり、ホストB、ホストCであっても良い。
【0069】
ステップ1000において、ホストA100は、ディスクアレイ200に対して測定準備のための設定コマンド610を発行する。ステップ1100において、ディスクアレイ200は、設定コマンド610を受信する。
【0070】
ステップ1110において、MPU280は、受信した設定コマンド610のLUN612とバス指定ビット列613の値を調べ、該当するバス使用状況測定部内のLUレジスタにLUN612の値を設定する。例えばLUN641の値がLU0、バス指定ビット列613の値が”00111000”であった場合、ホスト側内部バス220、キャッシュバス231、ディスク側内部バス240上のデータ転送でLU0に関するものを測定することになるので、MPU280は、バス使用状況測定部311内のLUレジスタ520、バス使用状況測定部321内のLUレジスタ520、バス使用状況測定部331内のLUレジスタ520にそれぞれLU0を設定する。
【0071】
ホストA100は、測定する全LUの設定が終わるまで、ステップ1000を繰り返し実行する。
【0072】
全LUの設定が終わると、ステップ1020において、ホストA100は、ディスクアレイ200に対して測定開始コマンド620を発行する。
【0073】
ステップ1120において、ディスクアレイ200は、測定開始コマンド620を受信し、それを受けステップ1130において、MPU280は、ステップ1110でLUレジスタ設定のなされた全バス使用状況測定部内のカウント開始部590に、測定開始の指示を与える。これにより、各バス使用状況測定部は、各バスを監視し測定する動作を開始する。ここで、MPU280は、LUレジスタ設定の有無にかかわらず、存在する全バス使用状況測定部内のカウント開始部590に対して、測定開始の指示を与えてもよい。
【0074】
測定時間が経過し測定終了時間に達すると、ステップ1030において、ホストA100はディスクアレイ200に対して測定終了コマンド630を発行する。
【0075】
ステップ1140において、ディスクアレイ200は、測定終了コマンド630を受信し、それを受けステップ1150において、MPU280は、ステップ1110でLUレジスタ設定のなされた全バス使用状況測定部内のカウント停止部595に、測定終了の指示を与える。これにより、各バス使用状況測定部は、測定動作を停止する。ここで、MPU280は、LUレジスタ設定の有無にかかわらず、存在する全バス使用状況測定部内のカウント停止部595に対して、測定終了の指示を与えてもよい。
【0076】
測定終了の指示後、MPU280は、各バス使用状況測定部内のバス専有値レジスタ530〜532、データ転送量レジスタ540〜542、およびトータルレジスタからカウント値を読み出し、メモリ290上のバス使用状況測定結果テーブル293に値を集計する。LU0、LU1、LU2の3LUに関して測定を行った時のバス使用状況測定結果テーブル293の構造を図5に示す。バス使用状況測定結果テーブル293は、各バスを行に、各レジスタを列にとったマトリクスになり、カウントされたクロック数の値を格納する。
【0077】
測定終了コマンド630発行後、ステップ1040において、ホストA100はディスクアレイ200に対して結果取得コマンド640を発行して結果の通知を要求する。
【0078】
ステップ1160において、ディスクアレイ200は、結果取得コマンド640を受信する。ステップ1170において、MPU280は、受信した結果取得コマンド640のLUN642とバス指定ビット列643の値を調べ、バス使用状況測定結果テーブル293から該当する測定結果値を読み出して、結果通知レスポンス650としてホストA100に送信する。
【0079】
ステップ1050において、ホストA100は、結果通知レスポンス650を受信する。
【0080】
ホストA100は、必要とする全LUの測定結果が得られるまで、ステップ1040、ステップ1050を繰り返し実行する。測定期間のトータルカウント数を含む全LUの測定結果が得られると、終了である(ステップ1070)。
【0081】
なお、各コマンドに対して、コマンド実行の成否を示すステータスをディスクアレイ200からホストA100に返すが、図7では省略してある。
【0082】
以上の構成、動作により本実施形態によれば、ディスクアレイ200内部の各バス上のデータ転送において、LUごとの転送性能、負荷状況を測定することが可能となる。さらに、ホストA100からの要求に応じて、LUごとの転送性能、負荷状況の測定結果をディスクアレイ200からホストA100へ通知することができる。
【0083】
測定結果が外部ホストへ通知できることから、測定結果からの負荷分散により最適なRAID構成を構築する目的に使用できるという効果がある。
【0084】
また、測定結果を解析することによって、ディスクアレイシステムの性能ボトルネック解析の目的に使用できるという効果がある。
【0085】
また、測定結果から各LUがハードウェア資源をどれだけ使ったかがわかり、ストレージプールで性能に対する課金を可能とするために利用できるという効果がある。
【0086】
また、ハードウェア資源使用抑止のための指針を得るための目的で、測定結果を利用できるという効果がある。
【0087】
なお、ホストA100、ホストB110、ホストC120とホスト入出力部210、211の間、および、ディスク装置群270、271とディスク入出力部250、251の間のインタフェースとしては、たとえばファイバチャネル、SCSIなどが考えられるが、他のインタフェースであってもよい。また、ホスト側内部バス220、および、ディスク側内部バス240は、たとえば64ビット幅のPCIバスなどが考えられるが、32ビット幅のPCIバスや他のバスであっても実現できる。
【0088】
また、本実施形態では、測定結果のカウント値をホストA100へ通知するとしたが、測定結果からMPU280が単位時間あたりの転送量、バス使用率を計算し、計算結果をホストA100へ通知してもよい。
【0089】
また、本実施形態では、測定終了コマンド630により、測定を終了してから測定データを集計し、ホストA100へ通知するとしているが、測定中にもバス使用状況測定結果テーブル293に測定データを集計し、測定終了コマンド630による測定終了を行わずに結果取得コマンド640を発行して動作中の測定データを取得できるように変更することは容易である。
【0090】
(第2の実施形態)
本発明の第2の実施形態は、第1の実施形態においてホストA100が行っていた性能測定の制御を、ディスクアレイ外部の制御端末からの指示により実施するものである。
【0091】
図8に、第2の実施形態におけるシステム構成例を示す。ここでは、第1の実施形態との違いのみを説明する。図8において、制御端末700は、ディスクアレイ200に対してさまざまな制御命令を発行するディスクアレイ制御用の端末である。制御端末700とディスクアレイ200間の通信を実行する制御端末通信装置720はバスブリッジ285と接続し、制御端末700とは制御線710で接続する。制御線710は、シリアルや既存のネットワーク通信線で実現できる。メモリ290は、MPU280が、転送量等の測定について制御端末700とディスクアレイ200の間で行われる通信を実行するために使用する制御端末通信プログラム295を有する。以上が、第2の実施形態のシステム構成である。
【0092】
次に、第2の実施形態の動作について、第1の実施形態と異なる部分について説明する。
第2の実施形態においては、制御端末700が、ディスクアレイ200に対して、設定コマンド610、測定開始コマンド620、測定終了コマンド630、結果取得コマンド640を発行し性能測定を制御する。また、ディスクアレイ200は、制御端末700へ結果通知レスポンス650を送信する。
【0093】
上記構成、動作により、第2の実施形態では、制御端末700からの指示により、LUごとの性能測定が実施できる。したがって、第1の実施形態と同様な効果を得ることができる。
【0094】
(第3の実施形態)
本発明の第3の実施形態は、課金サーバという特別なホストを用いて、性能測定結果を集計し、ハードウェア使用性能に対する課金を図るためのものである。なお、これは第1の実施例においてホストAで課金が出来ないことを表すものではない。ホストAで課金をするようにしても良い。
【0095】
図9に、第3の実施形態におけるシステム構成例を示す。ここでは、第1の実施形態との違いのみを説明する。図9において、課金サーバ900は、ディスクアレイ200内部のバス上のデータ転送量、バス負荷率の監視をLU単位で行うことを目的とした特別なホストである。課金サーバ900は、測定結果を集計するために内部にメモリ910を持つ。
【0096】
課金サーバ900は、バススイッチ130を介して、ホストバスA140、ホストバスB141によりディスクアレイ200のホスト入出力部210、211と接続する。メモリ290は、MPU280が、バス使用状況測定について課金サーバ900とディスクアレイ200の間で行われる通信を実行するために使用する課金サーバ通信プログラム296を有する。以上が、第3の実施形態のシステム構成である。
【0097】
次に、第3の実施形態の動作について、第1の実施形態と異なる部分について説明する。
第3の実施形態においては、課金サーバ900が、ディスクアレイ200に対して、設定コマンド610、測定開始コマンド620、測定終了コマンド630、結果取得コマンド640を発行し性能測定を制御する。また、ディスクアレイ200は、課金サーバ900へ結果通知レスポンス650を送信する。課金サーバ900は、測定結果からLUごとのデータ転送量、バス負荷率を計算し、LUごとに課金額を算出する。
【0098】
図10に、具体例を示す。課金サーバ900内部にあるメモリ910上のバス使用状況測定結果テーブル920は、ディスクアレイ200内のメモリ290上のバス使用状況測定結果テーブル293と同様の構造を持ち、結果通知レスポンス650により得られた測定値を格納する。課金サーバ900は、この測定値を元に、LUごとのデータ転送量、バス負荷率を計算する。データ転送量とは、実際にそのバス上で行われたデータ転送の転送量のことで、バス負荷率は、データ転送がバスを専有使用した時間をパーセントで表したものである。ここで、ホスト側内部バス220が動作周波数33MHz、バス幅64bitのPCIバスで構成されているとすると、ホスト側内部バスの測定のトータルクロック数1000クロックの内、LU0に関するデータ転送がホスト側内部バスを専有使用したクロック数は200クロックであり、バス負荷率200/1000×100=20%が導き出せる。また、LU0に関するデータ転送が行われたクロック数は175クロックであり、そこからデータ転送量175×64bit(8byte)=1400byteが導き出せる。同様の計算によってLUごとの各バスのデータ転送量、バス負荷率をまとめたものが、データ転送量、バス負荷率テーブル930である。このようにまとめることによって、LUごとに各部位のデータ転送量がわかり、また、どのLUがどの部位にどれだけに負荷をかけているのかがわかるようになる。
【0099】
本実施形態では、キャッシュバスに最も負荷がかかるアーキテクチャである。したがって、ハードウェア使用量に対しての課金では、キャッシュバスの負荷率に比例して課金額を決めることが考えられる。データ転送量、バス負荷率テーブル930において、キャッシュバスのバス負荷率は、LU0が45.3%、LU1が24%、LU2が17.3%である。したがって、LU0を使用しているユーザに最も大きな課金額を付け、以下LU1を使用しているユーザ、LU2を使用しているユーザの順の金額となる。
【0100】
上記構成、動作により、第3の実施形態では、課金サーバ900からの指示により、LUごとの性能測定が実施できる。したがって、第1の実施形態と同様の効果を得ることができる。特に、課金サーバ900内でLUごとのデータ転送量、バス負荷率を計算することによって、ハードウェア使用性能に対する課金を実現できるという効果がある。
【0101】
【発明の効果】
以上述べたように、本発明によれば、ディスクアレイ内部の各バスにおける、LUごとの転送性能、負荷状況を測定し、外部ホストまたは制御端末からの要求に従い測定結果を通知するように構成したため、ディスクアレイの外部からLUごとの転送性能・負荷状況がモニタ可能であるという効果が得られる。
【0102】
上記効果は、負荷分散によるディスクアレイの性能チューニング、ボトルネック解析によるディスクアレイの性能コントロール、使用したハードウェア資源に対して課金するシステム、ハードウェア資源使用抑止のための指針を得ることに使用することができる。
【図面の簡単な説明】
【図1】第1の実施形態におけるシステム構成図である。
【図2】LU情報付きの論理データブロックの説明図である。
【図3】バス使用状況測定部のブロック図である。
【図4】ディスク側内部バスのタイミングチャートである。
【図5】バス使用状況測定結果テーブルの構成図である。
【図6】定義したベンダユニークコマンドの説明図である。
【図7】ホストからの指示により性能測定を実施するフローチャートである。
【図8】第2の実施形態におけるシステム構成図である。
【図9】第3の実施形態におけるシステム構成図である。
【図10】バス使用状況測定結果テーブル、データ転送、バス負荷率テーブルの説明図である。
【符号の説明】
100 ホストA
200 ディスクアレイ
210 ホスト入出力部
212 バス使用状況測定部
220 ホスト側内部バス
230 ディスクキャッシュ
231 キャッシュバス
240 ディスク側内部バス
250 ディスク入出力部
252 バス使用状況測定部
260 ディスクバス
270 ディスク装置群
280 MPU
300 キャッシュコントローラ
311 バス使用状況測定部
321 バス使用状況測定部
331 バス使用状況測定部
Claims (9)
- 複数の論理ユニットを構成された記憶装置と、複数の内部のデータ転送路と、前記複数のデータ転送路のそれぞれに対応して前記記憶装置の論理ユニットごとに単位時間当たりの前記データ転送路上のデータ転送量および/又は前記データ転送路の専有率を測定する複数の測定部と、前記測定部で測定された前記論理ユニットごとの前記データ転送量および/又は前記専有率を外部に通知する出力手段とを備えたことを特徴とする記憶装置システム。
- 前記測定部は前記論理ユニットごとにある測定期間における前記論理ユニットが前記少なくとも1つの転送路を専有した期間の合計を測定することを特徴とする請求項1記載の記憶装置システム。
- 前記測定部は前記ある測定期間のトータルクロック数と、前記少なくとも1つの転送路を専有した期間のクロック数の合計クロック数を測定することを特徴とする請求項2記載の記憶装置システム。
- 前記出力手段はホストとの通信を行なうホスト通信プログラムを有し、ホストからの要求に応答して前記使用状況を前記ホストに通知することを特徴とする請求項1記載の記憶装置システム。
- 更に、制御端末との通信を行なう制御端末通信手段を有し、前記出力手段は前記制御端末と通信する制御端末通信プログラムを有し前記制御端末からの要求に応答して前記使用状況を前記制御端末通信手段を通して前記制御端末に通知することを特徴とする請求項1記載の記憶装置システム。
- 複数の論理ユニットを構成された記憶装置と、複数の内部のデータ転送路と、前記データ転送路の少なくとも1つを通るデータに前記論理ユニットを識別する識別子を付加する論理ユニット識別子制御部と、前記複数のデータ転送路のそれぞれに対応して前記識別子を用いて前記記憶装置の論理ユニットごとに単位時間当たりの前記データ転送路上のデータ転送量および/又は前記データ転送路の専有率を測定する複数の測定部と、前記測定部で測定された前記論理ユニットごとの前記データ転送量および/又は前記専有率を外部に通知する出力手段とを備えたことを特徴とする記憶装置システム。
- 更に、前記記憶装置とホストとの間に設けられたキャッシュメモリを有し、前記識別子制御部は前記キャッシュメモリへのデータの読み書きのアドレスに付加された論理ユニットを識別する情報に基づいて前記データに前記識別子を付加することを特徴とする請求項6記載の記憶装置システム。
- 前記識別子制御部はホストへ転送するデータから前記識別子を削除することを特徴とする請求項6記載の記憶装置システム。
- 複数の記憶装置を有し複数の論理ユニットを構成された記憶装置群と、前記記憶装置群とホストの間で転送されるデータを格納するキャッシュメモリと、前記キャッシュメモリへデータを読み書きするキャッシュバスと、前記キャッシュバスの前記論理ユニットごとに単位時間当たりのデータ転送量および/又は転送路の専有率を測定するバス使用状況測定部と、前記データ転送量および/又は前記専有率を外部へ出力する出力部とを備えたことを特徴とする記憶装置システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001014406A JP4041284B2 (ja) | 2001-01-23 | 2001-01-23 | 記憶装置システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001014406A JP4041284B2 (ja) | 2001-01-23 | 2001-01-23 | 記憶装置システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002215335A JP2002215335A (ja) | 2002-08-02 |
JP4041284B2 true JP4041284B2 (ja) | 2008-01-30 |
Family
ID=18881106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001014406A Expired - Fee Related JP4041284B2 (ja) | 2001-01-23 | 2001-01-23 | 記憶装置システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4041284B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4322031B2 (ja) * | 2003-03-27 | 2009-08-26 | 株式会社日立製作所 | 記憶装置 |
JP4775846B2 (ja) | 2006-03-20 | 2011-09-21 | 株式会社日立製作所 | 物理リンクの割当てを制御するコンピュータシステム及び方法 |
JP4679494B2 (ja) * | 2006-11-22 | 2011-04-27 | Necシステムテクノロジー株式会社 | ディスクアレイ装置システム、ディスクアレイ装置制御方法、および、プログラム |
JP2009294949A (ja) | 2008-06-05 | 2009-12-17 | Hitachi Ltd | ストレージ装置及びその性能測定方法 |
JP4920658B2 (ja) * | 2008-10-20 | 2012-04-18 | 株式会社日立製作所 | 電力推定方法及び計算機システム |
JP5245934B2 (ja) * | 2009-03-11 | 2013-07-24 | 富士通株式会社 | 管理装置の管理プログラム、管理装置、管理装置の管理方法およびストレージシステム |
-
2001
- 2001-01-23 JP JP2001014406A patent/JP4041284B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002215335A (ja) | 2002-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6549981B2 (en) | Disk array system with controllers that automate host side of ATA interface | |
JP3201219B2 (ja) | 入出力処理システム | |
US6301625B1 (en) | System and method for processing and tracking the completion of I/O requests in a disk array system | |
US7191285B2 (en) | Configuring memory for a RAID storage system | |
JP4473175B2 (ja) | 記憶制御方法、プログラム及び装置 | |
Chervenak | Performance measurements of the first raid prototype | |
CN103019622B (zh) | 一种数据的存储控制方法、控制器、物理硬盘,及系统 | |
US20070237174A1 (en) | Host port redundancy selection | |
US7401196B2 (en) | Storage system and storage control method for access exclusion control of each storage area unit comprising storage area of storage device | |
JPS5870364A (ja) | ハ−ドウエア・モニタ・インタフエ−ス・ユニツトで用いられるプログラマブル・ヒツト・マトリクス | |
US20120221809A1 (en) | Storage apparatus and data processing method of the same | |
CN108427629A (zh) | 一种数据压缩的SoC芯片信息追踪装置和性能优化方法 | |
US20150058503A1 (en) | Storage apparatus and method of controlling storage apparatus | |
JP4445535B2 (ja) | データ転送装置,情報処理システム,データ転送プログラム及び同プログラムを記録したコンピュータ読取可能な記録媒体 | |
US7363453B1 (en) | Method and apparatus for improving storage device performance by selective volume swapping based on hot spot analysis | |
JP4041284B2 (ja) | 記憶装置システム | |
US20060179219A1 (en) | Configuration definition setup method for disk array apparatus, and disk array apparatus | |
US20020004845A1 (en) | Computer, computer system, and data transfer method | |
US7281106B1 (en) | Method and apparatus for selective volume swapping in a data storage device based on merging multiple sets of candidate storage devices | |
JPH06175786A (ja) | ディスクアレイ装置 | |
US7325117B2 (en) | Storage system and storage control method | |
US20030172229A1 (en) | Systems and methods for detecting and compensating for runt block data transfers | |
JP3812405B2 (ja) | ディスクアレイシステム | |
US20050050269A1 (en) | Method of collecting and tallying operational data using an integrated I/O controller in real time | |
JP2014211813A (ja) | トレース収集回路及びトレース収集方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070328 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |