JP4451118B2 - 情報処理システム、管理装置、論理デバイス選択方法及びプログラム - Google Patents

情報処理システム、管理装置、論理デバイス選択方法及びプログラム Download PDF

Info

Publication number
JP4451118B2
JP4451118B2 JP2003387846A JP2003387846A JP4451118B2 JP 4451118 B2 JP4451118 B2 JP 4451118B2 JP 2003387846 A JP2003387846 A JP 2003387846A JP 2003387846 A JP2003387846 A JP 2003387846A JP 4451118 B2 JP4451118 B2 JP 4451118B2
Authority
JP
Japan
Prior art keywords
logical
array group
logical device
paths
configuration information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003387846A
Other languages
English (en)
Other versions
JP2005149274A (ja
Inventor
直登 河▲崎▼
靖文 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003387846A priority Critical patent/JP4451118B2/ja
Priority to US10/875,210 priority patent/US7111088B2/en
Publication of JP2005149274A publication Critical patent/JP2005149274A/ja
Application granted granted Critical
Publication of JP4451118B2 publication Critical patent/JP4451118B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2206/00Indexing scheme related to dedicated interfaces for computers
    • G06F2206/10Indexing scheme related to storage interfaces for computers, indexing schema related to group G06F3/06
    • G06F2206/1012Load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、アレイ型記憶装置を有する情報処理システムに関し、特に、記憶装置に設定された論理デバイスのうち他のアレイグループに移動する論理デバイスを選択する情報処理システム、及び新たにパスを設定する論理デバイスを選択する情報処理システムに関する。
1台の記憶装置に複数のディスク装置(物理デバイス)を装填し、大容量化したディスクアレイ装置が広く使用されている。このため、1台のサーバが1台の記憶装置を占有するのではなく、記憶装置専用のネットワーク(例えば、SAN:Storage Area Network)で複数のサーバから1台の記憶装置を共有することが一般的になってきた。
このような複数のディスク装置を有するディスクアレイ装置の負荷を均等化することによって、物理デバイス上に設定される複数の論理デバイスの入出力性能を向上させる方法が提案されている。具体的には、複数の物理デバイスを含む複数のアレイグループを備え、各アレイグループに複数の論理デバイスが設定される情報処理システムにおいて、制御装置内の制御情報用メモリに設けられたテーブルで各アレイグループ、論理デバイス、物理デバイス毎の入出力要求の受付頻度の観測結果を記憶し、異なるアレイグループに属し、互いに入出力要求の受付頻度の異なる論理デバイスを入れ換えることで物理デバイスの負荷を均等化する技術が提案されている(例えば、特許文献1参照。)。
特開平11−95934号公報
しかし、前述した従来技術では、物理デバイスの性能を考慮して論理デバイスを配置していなかったので、論理デバイスの記憶装置内における配置を最適化することができず、負荷を適切に分散することができなかった。
本発明は、記憶装置の性能を考慮して論理デバイスを適切に配置し、また適切にパスを設定することによって、負荷を分散させて、データ入出力処理時間を短縮して、効率よくデータ入出力処理を行わせることが可能な情報処理システムを提供することを目的とする。
本発明は、複数の物理デバイスが集合したアレイグループによって構成され、前記物理デバイスに論理的に設定された論理デバイスを備える記憶装置と、前記記憶装置に対してデータ入出力を要求する情報処理装置と、前記記憶装置の構成情報を管理する管理装置と、を備え、前記論理デバイスに対する通信経路となる論理パスを経由してデータ入出力を要求し、前記論理デバイスに対するデータ入出力を要求する情報処理装置を制限可能に構成された情報処理システムにおいて、前記管理装置は、前記記憶装置の構成情報を取得する情報取得部と、前記情報取得部によって取得された構成情報のうち、前記論理デバイスに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とする論理デバイスを選択し、前記選択された論理デバイスを、当該論理デバイスが含まれる第1のアレイグループから前記第1のアレイグループとは性能の異なる第2のアレイグループに移動させる判定部と、を備える。
本発明では、選択された論理デバイスを性能の良い物理デバイスに移動させることによって、物理デバイスの空き領域を有効に利用することができる。また選択された論理デバイスにパスを設定することによって、物理デバイスやパスを最適に配置することができ、物理デバイスの負荷を適切に分散することができる。
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本実施の形態の情報処理システムの全体構成を示すブロック図である。
情報処理システムは、少なくとも1台の情報処理装置(HOST)100、少なくとも1台の記憶装置(STORAGE)110及び少なくとも1台の管理サーバ120を含んで構成される。なお、図1には、3台の情報処理装置100、2台の記憶装置110及び1台の管理サーバ120を備える情報処理システムを示したが、これ以外の台数の情報処理装置100、記憶装置110及び管理サーバ120を備える情報処理システムであってもよい。
情報処理装置100には、ネットワーク(例えば、SAN:Storage Area Network)130を介して、記憶装置110が接続されている。情報処理装置100と記憶装置110との間のSANを介する通信は、ファイバチャネルプロトコル(Fibre Channel Protocol)に従って行われる。すなわち、情報処理装置100から、記憶装置110に対して、ブロック単位のデータアクセス要求がファイバチャネルプロトコルに従って送信される。
また、情報処理装置100は、ネットワーク(例えば、LAN:Local Area Network)140を介して、記憶装置110及び管理サーバ120と接続されている。
管理サーバ120は、情報処理装置100及び記憶装置110と通信して、記憶装置110の構成情報を管理し、記憶装置110内のディスクコントローラ部等の動作状況(障害等)を監視し、ディスクコントローラ部等のデータアクセスの負荷情報やキャッシュメモリの使用率情報等を収集する。
図2は、記憶装置110に構成されるアレイグループの概念図である。
記憶装置110には物理デバイス1111〜1113が設けられており、複数の物理デバイスによってアレイグループ111等が構成されている。アレイグループ内111の物理デバイス1111〜1113によってレイドが構成されており、複数の物理デバイスにデータが記憶されている。
アレイグループ内には、情報処理装置100からのデータの入出力要求の対象となる複数の論理デバイス(LDEV)111a〜111bが、物理デバイスを制御上の論理範囲によって分割して定義されている。この分割された領域を複数の物理デバイスに跨って統合することによって、情報処理装置100からのデータの入出力要求の対象となる複数の論理デバイス(論理ボリューム)が構成されている。すなわち、論理デバイスは、情報処理装置100に提供される記憶資源(物理デバイス)を論理的に設定した記憶領域である。この記憶資源には、ハードディスク装置の他、フレキシブルディスク装置や半導体記憶装置等、様々な記憶媒体を用いることができる。
情報処理装置100からの命令によって、論理デバイスに対するデータの入出力(書き込み又は読み出し)が生じた場合、記憶装置110は、入出力の対象となるデータが記憶されている領域が存在する物理デバイスに対してデータの入出力処理を実行する。
このように定義された論理デバイスには固有の論理デバイス識別子が付与されており、物理デバイスには固有の物理デバイス識別子が付与されており、アレイグループには固有のアレイグループ識別子が付与されている。
各アレイグループに設けられる論理デバイスには、情報処理装置100との間の通信経路(論理パス)が設定されている。情報処理装置100は、これらの論理パスを通じて記憶装置110に記憶されているデータにアクセスする。論理パスは、情報処理装置100と記憶装置110とを接続するハードウェア(ファイバチャネルスイッチ等)によって物理的に構成されるデータ転送路である物理パス上に設定されている。
また、各論理デバイスには、特定の情報処理装置100との間の通信のみを許可するセキュリティ情報が設定されている。このセキュリティ情報は、例えば、ファイバチャネルプロトコルが用いられる場合には、情報処理装置100や記憶装置110のポートに付される固有の識別子(WWN:World Wide Name)を用いて、特定のポートをグループ化して、ゾーンを構成する。そして、情報処理装置100と記憶装置110とを接続するファイバチャネルスイッチによって、ゾーン内におけるパケット転送のみを許可し、他のゾーンからのパケット転送や、他のゾーンへのパケット転送を許可しないように設定され、アクセスの排他制御を実現している。
なお、図2においては、アレイグループ毎に物理デバイスを割り当てたが、一つの物理デバイスに複数のアレイグループが併存する(すなわち、複数のアレイグループが一つの物理デバイスを共用する)ように構成することもできる。
図3は、アレイグループに構成される論理デバイスの概念図である。
アレイグループ0には論理デバイス111aが設けられている。論理デバイス111aには論理パスが設定されていないので、論理デバイス111aは実質的に使用されていない。また、アレイグループ0に設けられている領域111bは、論理パスが設定されているが、セキュリティ情報(通信相手となりうる特定の情報処理装置のポート)は設定されていない。
アレイグループ1には、論理デバイス112a、112bが設けられている。論理デバイス112a、112bには論理パスが設定されているが、セキュリティ情報は設定されていない。
アレイグループ2には、論理デバイス113a、113b、113cが設けられている。論理デバイス113aには論理パスが設定されているが、セキュリティ情報は設定されていない。論理デバイス113b、113cには論理パスが設定されており、セキュリティ情報も設定されている。すなわち、論理デバイス113b、113cへのデータ入出力処理を受け持つホストアダプタ(HBA:Host Bus Adapter)に備わるポートが前述したゾーンに含まれている。これによって、論理デバイス113b、113cに設定された論理パスの少なくとも一部は通信相手となりうる情報処理装置が制限されており、アクセス排他制御がなされている。
この論理デバイスに論理パスが設定されているとき、当該論理デバイスへのアクセスは論理パス数に関連して増加するものといえる。また、論理パスにセキュリティ情報が設定されているときには、当該論理デバイスへは制限された範囲でアクセスされる。この論理デバイスに設定された論理パス数及びセキュリティ情報が設定された論理パス数に基づいて論理デバイスの使用頻度を推定し、論理デバイスを性能の異なる物理デバイス(アレイグループ)に移動することによって、論理デバイスの配置を最適化して、記憶装置全体としての性能を向上させることができる。
図4には、LDEV選択判定用テーブル(図5)を作成する際に使用される加算点数用テーブルを示す。
加算点数用テーブル400には、判定条件401及び当該条件に対する加減算点数402が規定されている。
具体的には、論理デバイス(LDEV)に論理パスが設定されているときには2点を加算する。これは、設定されている論理パスによって情報処理装置100から当該論理デバイスに対するアクセスが生じるので、当該論理デバイスに設定されている論理パス数が多いほど、当該論理デバイスの使用頻度が高くなる。よって、移動対象の論理デバイスを選択する際の優先順位を高くするために、論理パス数×2を加算して、当該論理デバイス(又は当該アレイグループ)の点数を増加させる。
また、論理パスに、セキュリティ情報が設定されている(例えば、通信相手のWWNが設定されている)ときには1点を減算する。これは、セキュリティ情報が設定されることによって、当該論理デバイスにアクセス可能な情報処理装置100が限られるので、当該論理デバイスの使用頻度はそれほど高くならない。よって、移動対象の論理デバイスを選択する際の優先順位がそれほど高くならないように、論理パス数×2を加算した後に、WWN数×1を減算して、当該論理デバイス(又は当該アレイグループ)の点数を減少させる。
図5には、移動対象の論理デバイスを選択する際に使用されるLDEV選択判定用テーブルを示す。
LDEV選択判定用テーブル500には、エントリ番号501、論理デバイス番号502、論理パス数503、WWN数504、論理デバイスの点数505、論理デバイスが移動対象であるかの判定結果506、アレイグループの点数507、及び、アレイグループが移動対象であるかの判定結果508が規定されている。
エントリ番号501は、LDEV選択判定用テーブル500に記載される論理デバイスを区別するために設定される番号である。例えば、論理デバイスの情報を取得した順に”0”からエントリ番号を設定することができる。
論理デバイス番号(LDEV)502は、論理デバイス及び該論理デバイスが属するアレイグループが識別可能な情報が記載されている。例えば、本実施の形態では、「0:01」の形式で表されており、「:」の後の「01」が論理デバイスの識別子であり、「:」の前の「0」が当該論理デバイスが属するアレイグループの識別子である。
論理パス数503は、当該論理デバイスに設定されている論理パスの数(情報処理装置100のポートへの通信経路の数)が記載されている。
WWN数504は、当該論理デバイスにアクセス可能なものとして設定されている情報処理装置100のポートの数が記載されている。
論理デバイスの点数(LDEV点数)505は、論理パス数503及びWWN数504に基づいて算出される。具体的には、当該論理デバイスに設定されている論理パス数×2から、当該当該論理デバイスにWWNが設定されている論理パス数×1を減じた値をLDEV点数に設定する。
論理デバイスが移動対象であるかの判定結果506は、移動対象となる論理デバイスが識別可能な情報が記載されている。論理デバイスが移動対象であるかは、LDEV点数505に基づいて、論理デバイスの使用頻度を推定することによって判定する。例えば、図5に示す場合、論理デバイス番号1:02の論理デバイスがLDEV点数が最も高く、使用頻度が高いと推定されるので、性能の良いアレイグループに移動する候補として選択される。すなわち、レスポンスが悪いアレイグループに使用頻度が高い論理デバイスがあれば、レスポンスが良いアレイグループに移動する候補として選択される。なお、LDEV点数が低い論理デバイスは、使用頻度が低いと推定されるので、性能の低いアレイグループに移動する候補として選択するようにしてもよい。
アレイグループの点数(ArreyGroup点数)507は、論理パス数503及びWWN数504に基づいて算出される。具体的には、当該アレイグループ内の論理デバイスに設定されている論理パス数×2に、当該アレイグループ内の論理デバイスにWWNが設定されている論理パス数×1を減じた値をArreyGroup点数に設定する。すなわち、ArreyGroup点数507は、当該アレイグループ内の論理デバイスのLDEV点数の和となる。
アレイグループが移動対象であるかの判定結果508は、移動対象となるアレイグループが識別可能な情報が記載されている。アレイグループの移動は、LDEV点数505に基づいて、アレイグループの使用頻度を推定することによって判定する。例えば、図5に示す場合、アレイグループ番号2のアレイグループがアレイグループ点数が最も高く、使用頻度が高いと推定されるので、当該アレイグループが(当該アレイグループ内の論理デバイスがアレイグループ単位で)性能の良いアレイグループに移動する候補として選択される。すなわち、使用頻度が高いアレイグループのレスポンスが悪ければ、レスポンスが良いアレイグループに移動する候補として選択される。なお、アレイグループ点数が低いアレイグループは、使用頻度が低いと推定されるので、性能の悪いアレイグループに移動する候補として選択するようにしてもよい。
図6は、管理サーバ120の機能ブロック図である。
情報取得部601は、記憶装置110から、その装置構成、設定状態及び動作状況の情報を取得する。
情報解析部602は、情報取得部601が記憶装置110から取得した情報から論理パス数503及びWWN数504の情報を解析する。
カウンタ生成部603は、情報解析部602が解析した論理パス数503及びWWN数504の情報を用いて、論理デバイスの点数(LDEV点数)を算出する。情報解析部602及びカウンタ生成部603の出力は、GUI(Graphical User Interface)部607に送られ、管理サーバの操作者に認識可能な情報として表示される。すなわち、GUI部607は、情報解析部602によって得られた情報の解析結果及び該解析結果に基づく論理デバイスの点数を出力する情報出力手段として機能する。
カウンタ解析部603で算出されたLDEV点数は、LDEV選択判定用テーブル(図5)に記載され、データ部604に記憶される。データ部604に記憶されたLDEV選択判定用テーブルは、情報解析部602によって参照され、記憶装置110から取得した情報から論理パス数503及びWWN数504の情報を解析する際に用いられる。
ボリューム判定部605は、カウンタ解析部603で算出されたLDEV点数を用いて、使用頻度が高い論理デバイスを移動対象として選択する。なお、管理者がGUI部607によって表示される情報を参照して、移動対象となる論理デバイスを指定するように構成してもよい。
構成設定部606は、論理デバイスに論理パスを設定する。例えば、他のアレイグループに移動した論理デバイスが移動前と同様に稼動できるように、該論理デバイスと情報処理装置100との間にパスを設定する。
性能判定部608は、記憶装置110の動作状況を監視することによってアレイグループ毎の性能を判定する。例えば、IO要求(データ入出力要求)からIO処理終了通知までの間の時間を算出して、アレイグループのレスポンスタイムを取得して、アレイグループの性能を判定し、性能の良い又は性能の悪いアレイグループを特定する。
図7は、論理パス数503及びWWN数504の情報を用いたLDEV点数の算出処理のフローチャートであり、カウンタ生成部603によって実行される。
まず、各論理デバイスのLDEV点数であるpoint(j)(j=0〜n(nはエントリ番号501の最大値))を”0”設定し(S701)、カウンタ値jをエントリ番号501の最小値”0”に設定する初期設定を行う(S702)。
そして、j番目の論理デバイス(LDEV(j))が存在するか否かを判定する(S703)。
j番目の論理デバイス(LDEV(j))が存在すれば、当該論理デバイスに設定されている論理パス数503に2を乗じた値を、当該論理デバイスのLDEV点数(point(j))に加算する(S704)。そして、当該論理デバイスのWWN数(通信相手のWWN数が設定されている論理パス数)504に1を乗じた値を、当該論理デバイスのLDEV点数(point(j))から減算する(S705)。
その後、次の(j+1番目の)論理デバイスのLDEV点数を算出するために、カウンタ値jに”1”を加算して(S706)、ステップS703に戻る。
最後に、j番目の論理デバイス(LDEV(j))が存在しなければ、全ての論理デバイスのLDEV点数505の算出が終了したので、LDEV選択判定用テーブル(図5)を参照して、論理デバイスがどのアレイグループに属するかを特定する。そして、論理デバイス毎に算出したLDEV点数505をアレイグループ毎に集計して、アレイグループ点数507を求め(S707)、この処理を終了する。
図8は、移動対象とする論理デバイスを選択する処理のフローチャートであり、LDEV選択判定用テーブル(図5)を参照して、ボリューム判定部605によって実行される。
まず、カウンタ値jをエントリ番号501の最低値”0”に設定し(S801)、LDEV点数505の最大値を与えるIDを”0”に設定する初期設定を行う(S802)。
そして、0番目の論理デバイス(LDEV(0))が存在するか否かを判定する(S803)。
0番目の論理デバイス(LDEV(0))が存在しなければ、移動対象の論理デバイスを選択することができないので(S810)、この処理を終了する。一方、0番目の論理デバイス(LDEV(0))が存在すれば、ステップS804に進み、移動対象の論理デバイスの選択処理を開始する。
ステップS804では、j番目の論理デバイスのLDEV点数(point(j))と、現時点でのLDEV点数の最大値(point(ID))とを比較する。そして、j番目の論理デバイスのLDEV点数が、現時点でのLDEV点数の最大値より大きければ(point(j)>point(ID)ならば)、point(j)が新たなLDEV点数の最大値であると判定する。
なお、前述したステップS804では、複数の論理デバイスのLDEV点数が等しい場合に、エントリ番号の小さい論理デバイス(先に選択された論理デバイス)を選択したが、この他にアレイグループに設定されている論理デバイスの数に基づいて判断することもできる。例えば、アレイグループ1に2個の論理デバイスが設定され、アレイグループ2に3個の論理デバイスが設定されており、アレイグループ1の論理デバイスとアレイグループ2の論理デバイスとのLDEV点数が等しいとき、設定されている論理デバイス数が多いアレイグループ1に設定されている論理デバイスを優先して選択する。なお、アレイグループに設定されている論理デバイス数と、論理デバイスの選択の先後とを併用し、LDEV点数が等しく、かつ、アレイグループに構成されている論理デバイス数が同じ場合に最先に見出された論理デバイスを選択するように構成することもできる。
また、アレイグループの点数を併用して判断することもできる。例えば、アレイグループ1に設定されている論理デバイスのLDEV点数と、アレイグループ2に設定されている論理デバイスのLDEV点数とが等しいとき、より点数が大きいアレイグループに設定されている論理デバイスを選択する
次に、LDEV(j)のセキュリティ情報を確認する(S805)。具体的には、j番目の論理デバイスのデータ入出力処理を受け持つポートに設定されているセキュリティ情報と、論理デバイスの移動先のアレイグループにおいて、当該論理デバイスのデータ入出力処理を受け持つポートに設定されているセキュリティ情報とを比較し、論理デバイスを移動しても必要な論理パスを設定することができるかによってセキュリティ情報を確認する。
セキュリティ情報を確認した結果、この論理デバイスを移動してもよいと判定されると、このLDEV点数を与える論理デバイスのエントリ番号jをIDに設定して、LDEV点数の最大値を与える論理デバイス番号を更新する(S806)。一方、セキュリティ情報を確認した結果、この論理デバイスを移動することができないと判定されると、LDEV点数の最大値を与える論理デバイス番号を更新することなくステップS807に移行する。
なお、セキュリティ情報の確認はLDEV点数の最大値の候補となる論理デバイスについて行ってもよいが、予め全ての論理デバイスについてセキュリティ情報を確認して、移動対象となりうる論理デバイスの中からLDEV点数の最大値を与える論理デバイスを選択するようにしてもよい。
また、セキュリティ情報を確認することなく移動対象の論理デバイスを選択して、論理デバイスの移動後にセキュリティ情報(通信相手となりうる特定の情報処理装置のポート)を設定してもよい。
その後、次の(j+1番目の)論理デバイスが移動対象であるかを判定するために、カウンタ値jに”1”を加算する(S807)。そして、j番目の論理デバイス(LDEV(j))が存在するか否かを判定する(S808)。
j番目の論理デバイス(LDEV(j))が存在すればステップS804に戻り、この処理を繰り返す。一方、j番目の論理デバイス(LDEV(j))が存在しなければ、全ての論理デバイスについて移動対象として選択するかを判定し終えたので(S809)、この処理を終了する。
次に、新規パスの作成要求を受け付けた際に、管理サーバ120がパスを設定する記憶装置110(論理デバイス)を選択する場合に、前述した論理デバイスの選択処理(図8)を適用する実施例について説明する。
まず、カウンタ値j、及びLDEV点数の最小値を与えるIDを初期設定する(S801、S802)。そして、0番目の論理デバイス(LDEV(0))が存在するか否かを判定する(S803)。
ステップS804では、j番目の論理デバイスのLDEV点数(point(j))と、現時点でのLDEV点数の最小値(point(ID))とを比較する。そして、j番目の論理デバイスのLDEV点数が、現時点でのLDEV点数の最小値より小さければ(point(j)<point(ID)ならば)、point(j)が新たなLDEV点数の最小値であると判定する。
その後、前述した移動対象とする論理デバイスの選択処理(図8)と同様に、LDEV(j)のセキュリティ情報を確認し(S805)、この論理デバイスにパスを設定してよいと判定されると、このLDEV点数を与える論理デバイスのエントリ番号jをIDに設定して、LDEV点数の最小値を与える論理デバイス番号を更新する(S806)。一方、セキュリティ情報を確認した結果、この論理デバイスにパスを設定することができないと判定されると、LDEV点数の最小値を与える論理デバイス番号を更新することなくステップS807に移行する。
その後、次の(j+1番目の)論理デバイスにパスを設定することができるかを判定するために、カウンタ値jに”1”を加算し(S807)、j番目の論理デバイス(LDEV(j))が存在するか否かを判定する(S808)。
j番目の論理デバイス(LDEV(j))が存在すればステップS804に戻り、この処理を繰り返す。一方、j番目の論理デバイス(LDEV(j))が存在しなければ、全ての論理デバイスについてパスを設定することができるかを判定し終えたので(S809)、この処理を終了する。
以上説明したように、パスを設定する論理デバイスを選択する場合には、前述した移動対象とする論理デバイスの選択処理(図8)と異なり、LDEV点数が最小の論理デバイスを選択する。
ここまでの説明では、パスを設定する論理デバイスを選択する処理について説明したが、同様の手順によって、アレイグループに対して算出された点数を用いて、パスを設定するアレイグループを選択することもできる。
また、複数の論理デバイスのLDEV点数が等しい場合に、アレイグループの点数を併用して、パスを設定するアレイグループを選択することもできる。例えば、アレイグループ1に設定されている論理デバイスのLDEV点数と、アレイグループ2に設定されている論理デバイスのLDEV点数とが等しいとき、より点数が小さいアレイグループの論理デバイスにパスを設定する。
さらに、アレイグループに設定されている論理デバイスの数に基づいて判断することもできる。例えば、アレイグループ1に2個の論理デバイスが設定され、アレイグループ2に3個の論理デバイスが設定されており、アレイグループ1の論理デバイスとアレイグループ2の論理デバイスとのLDEV点数が等しいとき、設定されている論理デバイス数が少ないアレイグループ1に設定されている論理デバイスを選択してパスを設定する。
なお、アレイグループに設定されている論理デバイス数と、論理デバイスの選択の先後とを併用し、LDEV点数が等しく、かつ、アレイグループに構成されている論理デバイス数が同じ場合に最先に見出された論理デバイスを選択するように構成することもできる。
図9は、論理デバイスの移動処理のフローチャートであり、ボリューム判定部605によって実行される。
まず、カウンタ値jをエントリ番号501の初期値”0”に設定する初期設定を行う(S901)。
そして、j番目の論理デバイス(LDEV(j))が存在するか否かを判定する(S902)。一方、j番目の論理デバイス(LDEV(j))が存在しなければ、全ての論理デバイスについて移動対象として選択するかを判定し終えたのでこの処理を終了する。
そして、j番目の論理デバイスのLDEV点数(point(j))と閾値(th)とを比較する(S903)。なお、論理デバイス毎に評価されたLDEV点数ではなく、論理デバイスの実際の使用頻度のデータを用いて、移動先の論理デバイスを選択してもよい。
そして、j番目の論理デバイスのLDEV点数(point(j))が閾値(th)より大きければ、j番目の論理デバイスを性能の高いアレイグループに移動する(S904)。一方、j番目の論理デバイスのLDEV点数(point(j))が閾値(th)より大きくなければ、j番目の論理デバイスを移動することなく次のステップに移行する。
その後、次の(j+1番目の)論理デバイスが移動対象であるかを判定するために、カウンタ値jに”1”を加算する(S905)。
また、本発明は、移動対象とする論理デバイスを選択するのみならず、新たにパスを設定する論理デバイスを選択する場合にも適用することができる。すなわち、情報取得部601によって取得された構成情報を用いて、カウンタ生成部603が、論理デバイスに設定された論理パス数に基づいてLDEV点数を加算し、有効な論理パスに対応して設定された通信相手方の数に基づいてLDEV点数を減算し、ボリューム判定部605がLDEV点数に基づいて、新たにパスを設定する論理デバイスを選択する。
以上のように本発明の実施の形態では、論理デバイスに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とする論理デバイスを選択するので、選択された論理デバイスを性能の良い物理デバイスに移動させることによって、物理デバイスの空き領域を有効に利用して、物理デバイスを最適に配置することができ、物理デバイスの負荷を適切に分散することができる。
また、論理デバイスに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、パスを設定する論理デバイスを選択するので、パスを最適に配置することができ、物理デバイスの負荷を適切に分散することができる。
また、アレイグループに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とするアレイグループを選択するので、選択されたアレイグループを性能の良い物理デバイスに移動させることによって、アレイグループを最適に配置することができ、アレイグループの負荷を適切に分散することができる。
また、記憶装置の構成情報の変化が検出されると、変化に係る構成情報に基づいて算出された論理デバイスの点数に基づいて、移動対象とする論理デバイスを選択するので、記憶装置の構成情報に基づいて、動的に負荷分散を図ることができる。特に、初期設定後の記憶装置の構成の変化に対応することができる。
本発明の実施の形態の情報処理システムの全体構成を示すブロック図である。 本発明の実施の形態の記憶装置に構成されるアレイグループの概念図である。 本発明の実施の形態のアレイグループに構成される論理デバイスの概念図である。 本発明の実施の形態の加算点数用テーブルの説明図である。 本発明の実施の形態のLDEV選択判定用テーブルの説明図である。 本発明の実施の形態の管理サーバ120の機能ブロック図である。 本発明の実施の形態のLDEV点数の算出処理のフローチャートである。 本発明の実施の形態の移動対象とする論理デバイスの選択処理のフローチャートである。 本発明の実施の形態の論理デバイスの移動処理のフローチャートである。
符号の説明
100 情報処理装置(HOST)
110 記憶装置(STORAGE)
120 管理サーバ(SERVER)
130 SAN(Storage Area Network)
140 LAN(Local Area Network)
111、112 アレイグループ
111a、111b、111c、112a、112b、113a、113b、113c 論理デバイス
1111、1112、1113 物理デバイス

Claims (19)

  1. 複数の物理デバイスが集合したアレイグループによって構成され、前記物理デバイスに論理的に設定された論理デバイスを備える記憶装置と、
    前記記憶装置に対してデータ入出力を要求する情報処理装置と、
    前記記憶装置の構成情報を管理する管理装置と、を備え、
    前記論理デバイスに対する通信経路となる論理パスを経由してデータ入出力を要求し、
    前記論理デバイスに対するデータ入出力を要求する情報処理装置を制限可能に構成された情報処理システムにおいて、
    前記管理装置は、
    前記記憶装置の構成情報を取得する情報取得部と、
    前記情報取得部によって取得された構成情報のうち、前記論理デバイスに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とする論理デバイスを選択し、前記選択された論理デバイスを、当該論理デバイスが含まれる第1のアレイグループから前記第1のアレイグループとは性能の異なる第2のアレイグループに移動させる判定部と、を備えることを特徴とする情報処理システム。
  2. 前記管理装置は
    前記情報取得部によって取得された構成情報を解析する情報解析部と、
    前記情報解析部によって得られた構成情報の解析結果に基づいて、前記論理デバイスの点数を算出するカウンタ生成部と、を備え、
    前記判定部は、前記カウンタ生成部によって算出された前記論理デバイスの点数に基づいて、移動対象とする論理デバイスを選択することを特徴とする請求項1に記載の情報処理システム。
  3. 前記カウンタ生成部は、前記論理デバイスに設定された論理パス数に基づいて前記論理デバイスの点数を加算し、有効な論理パスに対応して設定された通信相手方の数に基づいて前記論理デバイスの点数を減算することを特徴とする請求項2に記載の情報処理システム。
  4. 前記情報取得部が前記記憶装置の構成情報の変化を検出すると、
    前記判定部は、前記変化に係る構成情報に基づいて算出された前記論理デバイスの点数に基づいて、移動対象とする論理デバイスを選択することを特徴とする請求項1に記載の情報処理システム。
  5. 前記判定部は、前記アレイグループに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とするアレイグループを選択し、前記選択されたアレイグループを、当該アレイグループとは性能の異なる他のアレイグループに移動させることを特徴とする請求項1に記載の情報処理システム。
  6. 複数の物理デバイスが集合したアレイグループによって構成され、前記物理デバイスに論理的に設定された論理デバイスを備える記憶装置と、前記論理デバイスに対する通信経路となる複数の論理パスを経由してデータ入出力を要求する情報処理装置とに接続され、前記記憶装置の構成情報を管理する管理装置において、
    前記記憶装置の構成情報を取得する情報取得部と、
    前記情報取得部によって取得された構成情報のうち、前記論理デバイスに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とする論理デバイスを選択し、前記選択された論理デバイスを、当該論理デバイスが含まれる第1のアレイグループから前記第1のアレイグループとは性能の異なる第2のアレイグループに移動させる判定部と、を備えることを特徴とする管理装置。
  7. 前記情報取得部によって取得された構成情報を解析する情報解析部と、
    前記情報解析部によって得られた構成情報の解析結果に基づいて、前記論理デバイスの点数を算出するカウンタ生成部と、を備え、
    前記判定部は、前記カウンタ生成部によって算出された前記論理デバイスの点数に基づいて、移動対象とする論理デバイスを選択することを特徴とする請求項6に記載の管理装置。
  8. 前記カウンタ生成部は、前記論理デバイスに設定された論理パス数に基づいて前記論理デバイスの点数を加算し、有効な論理パスに対応して設定された通信相手方の数に基づいて前記論理デバイスの点数を減算することを特徴とする請求項7に記載の管理装置。
  9. 前記情報取得部が前記記憶装置の構成情報の変化を検出すると、
    前記判定部は、前記変化に係る構成情報に基づいて算出された前記論理デバイスの点数に基づいて、移動対象とする論理デバイスを選択することを特徴とする請求項6に記載の管理装置。
  10. 前記判定部は、前記アレイグループに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とするアレイグループを選択し、前記選択されたアレイグループを、当該アレイグループとは性能の異なる他のアレイグループに移動させることを特徴とする請求項6に記載の管理装置。
  11. 複数の物理デバイスが集合したアレイグループによって構成され、前記物理デバイスに論理的に設定された論理デバイスを備える記憶装置と、前記論理デバイスに対する通信経路となる複数の論理パスを経由してデータ入出力を要求する情報処理装置と接続され、前記記憶装置の構成情報を管理する管理装置において、移動対象とする論理デバイスを選択する方法であって、
    前記記憶装置の構成情報を取得し、
    前記情報取得部によって取得された構成情報のうち、前記論理デバイスに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とする論理デバイスを選択し、前記選択された論理デバイスを、当該論理デバイスが含まれる第1のアレイグループから前記第1のアレイグループとは性能の異なる第2のアレイグループに移動させることを特徴とする論理デバイスの選択方法。
  12. 前記取得された構成情報を解析し、
    前記構成情報の解析結果に基づいて、前記論理デバイスの点数を算出し、
    前記算出された前記論理デバイスの点数に基づいて、移動対象とする論理デバイスを選択することを特徴とする請求項11に記載の論理デバイスの選択方法。
  13. 前記論理デバイスに設定された論理パス数に基づいて前記論理デバイスの点数を加算し、有効な論理パスに対応して設定された通信相手方の数に基づいて前記論理デバイスの点数を減算して、論理デバイスの点数を算出することを特徴とする請求項12に記載の論理デバイスの選択方法。
  14. 前記情報取得部が前記記憶装置の構成情報の変化を検出すると、前記変化に係る構成情報に基づいて算出された前記論理デバイスの点数に基づいて、移動対象とする論理デバイスを選択することを特徴とする請求項11に記載の論理デバイスの選択方法。
  15. 前記物理デバイスが複数集合したアレイグループに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とするアレイグループを選択し、前記選択されたアレイグループを、当該アレイグループとは性能の異なる他のアレイグループに移動させることを特徴とする請求項11に記載の論理デバイスの選択方法。
  16. 複数の物理デバイスが集合したアレイグループによって構成され、前記物理デバイスに論理的に設定された論理デバイスを備える記憶装置と、前記論理デバイスに対する通信経路となる複数の論理パスを経由してデータ入出力を要求する情報処理装置と接続され、前記記憶装置の構成情報を管理する管理装置を、
    前記記憶装置の構成情報を取得する手段と、
    前記論理デバイスに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とする論理デバイスを選択し、前記選択された論理デバイスを、当該論理デバイスが含まれる第1のアレイグループから前記第1のアレイグループとは性能の異なる第2のアレイグループに移動させる手段として機能させることを特徴とするプログラム。
  17. 前記取得された前記記憶装置の構成情報を解析する手段と、
    前記構成情報の解析結果に基づいて、前記論理デバイスの点数を算出する手段と、
    前記算出された前記論理デバイスの点数に基づいて、移動対象とする論理デバイスを選択する手段として機能させることを特徴とする請求項16に記載のプログラム。
  18. 前記論理デバイスの点数を算出する手段は、前記論理デバイスに設定された論理パス数に基づいて前記論理デバイスの点数を加算し、有効な論理パスに対応して設定された通信相手方の数に基づいて前記論理デバイスの点数を減算することを特徴とする請求項17に記載のプログラム。
  19. 前記論理デバイスを選択する手段は、前記アレイグループに設定された論理パス数及び有効な論理パスに対応して設定された通信相手方の数に基づいて、移動対象とするアレイグループを選択し、前記選択されたアレイグループを、当該アレイグループとは性能の異なる他のアレイグループに移動させることを特徴とする請求項16に記載のプログラム。
JP2003387846A 2003-11-18 2003-11-18 情報処理システム、管理装置、論理デバイス選択方法及びプログラム Expired - Fee Related JP4451118B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003387846A JP4451118B2 (ja) 2003-11-18 2003-11-18 情報処理システム、管理装置、論理デバイス選択方法及びプログラム
US10/875,210 US7111088B2 (en) 2003-11-18 2004-06-25 Computer system, management device, and logical device selecting method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003387846A JP4451118B2 (ja) 2003-11-18 2003-11-18 情報処理システム、管理装置、論理デバイス選択方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2005149274A JP2005149274A (ja) 2005-06-09
JP4451118B2 true JP4451118B2 (ja) 2010-04-14

Family

ID=34567455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003387846A Expired - Fee Related JP4451118B2 (ja) 2003-11-18 2003-11-18 情報処理システム、管理装置、論理デバイス選択方法及びプログラム

Country Status (2)

Country Link
US (1) US7111088B2 (ja)
JP (1) JP4451118B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310656A (ja) * 2006-05-18 2007-11-29 Hitachi Ltd 計算機システム及び論理パス差分検出方法
EP2357552A1 (en) 2006-05-24 2011-08-17 Compellent Technologies System and method for RAID management, reallocation and restriping
US7707379B2 (en) * 2006-07-13 2010-04-27 International Business Machines Corporation Dynamic latency map for memory optimization
US8255628B2 (en) * 2006-07-13 2012-08-28 International Business Machines Corporation Structure for multi-level memory architecture with data prioritization
US8555021B1 (en) * 2006-09-29 2013-10-08 Emc Corporation Systems and methods for automating and tuning storage allocations
JP2008269050A (ja) * 2007-04-17 2008-11-06 Hitachi Ltd 圧縮制御装置及び方法
JP2008287672A (ja) * 2007-05-21 2008-11-27 Hitachi Ltd 計算機システムの管理装置及び方法
US8380925B2 (en) * 2009-05-22 2013-02-19 Hitachi, Ltd. Storage system comprising plurality of processor units
JP5391277B2 (ja) * 2009-05-27 2014-01-15 株式会社日立製作所 ストレージシステム及びストレージシステムの処理効率向上方法
WO2010137070A1 (en) * 2009-05-27 2010-12-02 Hitachi, Ltd. Storage system and processing efficiency improving method of storage system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3181446B2 (ja) * 1993-09-24 2001-07-03 株式会社東芝 情報記憶装置
JPH0944381A (ja) * 1995-07-31 1997-02-14 Toshiba Corp データ格納方法およびデータ格納装置
JP3641872B2 (ja) * 1996-04-08 2005-04-27 株式会社日立製作所 記憶装置システム
JPH10187505A (ja) * 1996-12-24 1998-07-21 Toshiba Corp 情報記憶システム及び同システムに適用するデータ配置方法
JP3544835B2 (ja) 1997-09-22 2004-07-21 株式会社日立製作所 記憶システムの制御方法および制御装置
US6216202B1 (en) * 1998-06-30 2001-04-10 Emc Corporation Method and apparatus for managing virtual storage devices in a storage system
US6931440B1 (en) * 1999-04-21 2005-08-16 Emc Corporation Method and apparatus for dynamically determining whether access to a resource connected to a computer has changed and determining how to access the resource with a new identifier
US6708265B1 (en) * 2000-06-27 2004-03-16 Emc Corporation Method and apparatus for moving accesses to logical entities from one storage element to another storage element in a computer storage system
JP2002182859A (ja) * 2000-12-12 2002-06-28 Hitachi Ltd ストレージシステムおよびその利用方法
JP4121255B2 (ja) * 2001-06-12 2008-07-23 株式会社日立製作所 クラスタ構成記憶システム
US6738839B2 (en) * 2001-12-27 2004-05-18 Storage Technology Corporation Method and system for allocating logical paths between a host and a controller in a virtual data storage system
JP2003330762A (ja) * 2002-05-09 2003-11-21 Hitachi Ltd ストレージシステムの制御方法、ストレージシステム、スイッチ、及びプログラム
JP4183443B2 (ja) * 2002-05-27 2008-11-19 株式会社日立製作所 データ再配置方法及び装置
US7069354B2 (en) * 2002-10-01 2006-06-27 Hewlett-Packard Development Company, L.P. Method and apparatus for identifying multiple paths to a SCSI device using a calculated unique identifier
US7945669B2 (en) * 2002-10-30 2011-05-17 Emc Corporation Method and apparatus for provisioning storage resources

Also Published As

Publication number Publication date
US20050108477A1 (en) 2005-05-19
JP2005149274A (ja) 2005-06-09
US7111088B2 (en) 2006-09-19

Similar Documents

Publication Publication Date Title
JP4749140B2 (ja) データマイグレーション方法及びシステム
US9137148B2 (en) Information processing system and information processing apparatus
US8001229B2 (en) Operation management system, management apparatus, management method and management program
JP5834999B2 (ja) データ収集方法、情報処理システムおよびプログラム
JP4686606B2 (ja) 複数のホスト・バス・アダプタを介して取り付けられた取り外し可能メディア・デバイス間での入力/出力作業負荷の動的分散のための方法、コンピュータ・プログラム、およびシステム
US7428584B2 (en) Method for managing a network including a storage system
US8775730B2 (en) Storage apparatus and method for arranging storage areas and managing error correcting code (ECC) groups
CN101601014B (zh) 利用存储负载信息来平衡集群虚拟机的方法和系统
US9882841B2 (en) Validating workload distribution in a storage area network
US20150081871A1 (en) Actively responding to data storage traffic
US7174425B2 (en) Management of hierarchically configured storage
JP4721734B2 (ja) ストレージシステム、及び情報処理システム
JP2008021116A (ja) San/nas統合管理計算機及び方法
CN102263807A (zh) 在存储区域网络保持通信路径畅通的方法和存储区域网络
US20120239789A1 (en) Storage device, controller, and address management method
JP4451118B2 (ja) 情報処理システム、管理装置、論理デバイス選択方法及びプログラム
JP2011528139A (ja) ストレージ・エリア・ネットワーク、その構成方法、及びプログラム
WO2016082078A1 (zh) 路径管理的系统、装置和方法
US7792966B2 (en) Zone control weights
JP2007122713A (ja) インテリジェント論理ユニットプロビジョニング
JP2008250591A (ja) デバイスを管理する計算機
JP2019003586A (ja) ストレージ制御装置およびパス切り替え制御プログラム
US8521954B2 (en) Management computer and volume configuration management method
JP2024069960A (ja) リソース再構成プログラム、リソース再構成方法および情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100127

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140205

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees