JP5193801B2 - ストレージシステムの性能向上又は管理方法、システム、装置及びプログラム - Google Patents

ストレージシステムの性能向上又は管理方法、システム、装置及びプログラム Download PDF

Info

Publication number
JP5193801B2
JP5193801B2 JP2008277600A JP2008277600A JP5193801B2 JP 5193801 B2 JP5193801 B2 JP 5193801B2 JP 2008277600 A JP2008277600 A JP 2008277600A JP 2008277600 A JP2008277600 A JP 2008277600A JP 5193801 B2 JP5193801 B2 JP 5193801B2
Authority
JP
Japan
Prior art keywords
storage
virtual
information
management
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008277600A
Other languages
English (en)
Other versions
JP2010108114A (ja
JP2010108114A5 (ja
Inventor
記史 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008277600A priority Critical patent/JP5193801B2/ja
Priority to US12/355,156 priority patent/US20100107161A1/en
Publication of JP2010108114A publication Critical patent/JP2010108114A/ja
Publication of JP2010108114A5 publication Critical patent/JP2010108114A5/ja
Application granted granted Critical
Publication of JP5193801B2 publication Critical patent/JP5193801B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ストレージシステムの性能向上又は管理方法、システム、装置及びプログラムに関する。
Virtual Machine(以後VMと省略することがある)技術は、サーバ計算機のCPU、主記憶、ネットワークI/F、及びストレージI/Fを用い、仮想的に複数の計算機を提供する技術である。当該技術によって提供される仮想的な計算機をVirtual machineまたは仮想サーバと呼ぶ。
Virtual machine技術を適用したサーバ計算機の場合、同計算機の有するストレージI/F(以後、I/Oアダプタと呼ぶことがある)を複数の仮想サーバで共有するため、I/O性能が問題となっていた。
特許技術1に開示の技術では仮想サーバ毎に仮想的なストレージI/Fとデータキューを割り当てることで、仮想サーバで消費するデータ帯域を制御する技術が開示されている。
米国特許公開明細書2008/002704
特許文献1に記載の技術をストレージI/Oに適用した場合、ストレージシステムは仮想サーバの設定とは無関係にストレージI/Oの処理を行うため、計算機システム全体としての性能管理が困難である。
本発明は、複数の仮想サーバを提供する計算機と、管理計算機と、複数のLUを提供する複数のストレージコントローラを備えたストレージシステムと、から構成する計算機システムの性能管理に関する方法、装置、システムプログラム、記憶メディアを提供する。
本発明の一実施例によると、仮想サーバ毎に仮想サーバに関するI/O優先度に従って仮想サーバのI/O処理を制御することで、仮想サーバ間のI/O処理性能の調整を行う計算機と、ストレージシステム2の設定を連携させ、又は連携設定させるための仮想サーバに対応したストレージシステムの情報を表示する。
また、本発明の他の実施例によると、前記計算機は前記複数の仮想サーバの複数のI/O優先度を管理するI/O優先度管理情報を有し、複数のLUは前記複数の仮想サーバの複数の仮想ディスクデータを格納し、前記ストレージシステムは、前記複数のLUに対するI/O要求を処理するストレージコントローラを前記複数のストレージコントローラから特定するLU関連設定情報を有し、前記管理計算機は、前記計算機が有する前記I/O優先度管理情報に対応した仮想サーバ設定情報と、前記ストレージシステムが有するLU関連設定情報に対応するストレージシステム構成情報と、を有し、前記仮想サーバ設定情報と前記ストレージシステム構成情報とを参照することで、前記I/O優先度管理情報が示す複数の仮想サーバの複数のI/O優先度を元にしたストレージシステムの構成を計算し、前記構成を元にしたストレージ設定要求を送信し、前記ストレージシステムは、前記ストレージ設定要求を受信したら、LU関連設定情報を変更することで、前記ストレージ設定要求で指定された前記複数のLUの一つのI/O要求を処理するストレージコントローラを変更する。
なお、前記管理計算機は、前記複数の仮想ディスクデータと前記複数のLUとの格納関係を示す仮想ディスクデータ管理情報を有してもよく、前記仮想ディスクデータ管理情報と前記ストレージシステム構成情報とを参照することで前記複数の仮想サーバの一部に対応するストレージコントローラを前記複数のストレージコントローラから特定し、前記複数の仮想サーバの一部に対応するストレージコントローラに関する情報を表示してもよく、前記仮想ディスクデータ管理情報と前記ストレージシステム構成情報と仮想サーバ設定情報とを参照することで、前記複数のコントローラの各々について対応する一つ以上の仮想サーバのI/O優先度の合計値を計算し、当該計算結果を表示してもよい。
また、本発明の他の実施例によると、前記複数の仮想サーバの複数のI/O優先度を管理する前記計算機が有するI/O優先度管理情報に対応する仮想サーバ設定情報を格納するステップと、前記複数のLUに対するI/O要求を処理するストレージコントローラを前記複数のストレージコントローラから特定する、前記ストレージシステムが有するLU関連設定情報に対応するストレージシステム構成情報を格納するステップと、前記仮想サーバ設定情報と前記ストレージシステム構成情報とを参照することで、前記I/O優先度管理情報が示す複数の仮想サーバの複数のI/O優先度を元にしたストレージシステムの構成を計算し、前記構成を元にしたストレージ設定要求を送信するステップとを有する。
なお、前記複数の仮想ディスクデータと前記複数のLUとの格納関係を示す仮想ディスクデータ管理情報を格納するステップを有してもよく、前記仮想ディスクデータ管理情報と前記ストレージシステム構成情報とを参照することで前記複数の仮想サーバの一部に対応するストレージコントローラを前記複数のストレージコントローラから特定するステップと、前記複数の仮想サーバの一部に対応するストレージコントローラに関する情報を表示するステップとを有してもよく、前記仮想ディスクデータ管理情報と前記ストレージシステム構成情報と仮想サーバ設定情報とを参照することで、前記複数のコントローラの各々について対応する一つ以上の仮想サーバのI/O優先度の合計値を計算し、当該計算結果を表示するステップを有してもよい。
本発明により、仮想サーバを提供するサーバ計算機とストレージシステムの両方を考慮した性能管理が可能となる。
以下に、本発明の実施の形態を説明する。
図1は、本発明が実施される計算機システムの構成例を示すものである。該計算機システムは、サーバ計算機(以後、サーバと省略することがある)1、ストレージシステム2、管理サーバ計算機(以後、管理サーバと省略することがある)28から構成される。また、サーバ1とストレージシステム2は、サーバ1のデータインタフェース19とストレージシステムのポート21を接続する第一のネットワーク3によって、接続される。また、サーバ1のネットワークインタフェース13とストレージシステム2のネットワークインタフェース27、管理サーバ28のネットワークインタフェース13は第二のネットワーク4に接続することで、サーバ1と管理サーバ28とストレージシステム2との通信を実現している。
サーバ1は、CPU11a、主記憶12a、ネットワークインタフェース13a、入出力装置14a、記憶装置18a、ストレージインターフェース(I/F)19aから構成されている。なお、サーバ1aはCD−ROM16aを有してもよく、これ以外の部品を含んでも良い。なお、入出力装置14aの例としてはディスプレイとキーボードとポインタデバイスが考えられるが、これ以外の装置であってもよい。また、入出力装置の代替としてシリアルインターフェースやイーサーネットインターフェースを入出力装置とし、当該インターフェースにディスプレイ又はキーボード又はポインタデバイスを有する表示用計算機を接続し、表示用情報を表示用計算機に送信したり、入力用情報を表示用計算機から受信することで、表示用計算機で表示を行ったり、入力を受け付けることで入出力装置14での入力及び表示を代替してもよい。
ストレージシステム2は、ポート21、ストレージコントローラ22、制御メモリ23、プロセッサ24、キャッシュメモリ25、記憶装置26、ネットワークインタフェース27から構成されている。
なお、ストレージコントローラ22は複数の記憶装置26の記憶領域を用いて複数のLU29をサーバ1a(またはサーバ1aが提供する仮想サーバ)に提供する。なお、LU29とはサーバ1aからアクセス可能な記憶領域であり、FibreChannelやiSCSIなどでLUNと呼ばれる識別子が割り当てられている。サーバ1aはLUNによってLU29を指定することでリード要求やライト要求に代表されるI/O要求をストレージシステム2へ送信する。
LU29の一部は仮想サーバに対応した仮想ディスクデータ104を格納する。仮想ディスクデータ104とは、仮想サーバが仮想的に提供するハードウェア構成(例えば、CPUの数やネットワークI/Fの数やメモリ量)の情報を記憶したり、仮想サーバによって起動されるOSのファイルや仮想サーバのユーザが用いるファイルが格納される。なお、仮想ディスクにはこれら以外の情報、例えば、仮想サーバが提供するメモリ空間の内容を格納してもよい。さらには、仮想ディスクは一つ以上のファイルから構成されていてもよい。
管理サーバ28は、CPU11b、主記憶12b、ネットワークインタフェース13b、入出力装置14b、記憶装置18bから構成されている。なお、管理サーバ28はCD−ROM16bを有してもよく、これ以外の部品を含んでも良い。なお、入出力装置14bの例としてはディスプレイとキーボードとポインタデバイスが考えられるが、これ以外の装置であってもよい。また、入出力装置の代替としてシリアルインターフェースやイーサーネットインターフェースを入出力装置とし、当該インターフェースにディスプレイ又はキーボード又はポインタデバイスを有する表示用計算機を接続し、表示用情報を表示用計算機に送信したり、入力用情報を表示用計算機から受信することで、表示用計算機で表示を行ったり、入力を受け付けることで入出力装置14での入力及び表示を代替してもよい。
サーバ1aの記憶装置18には、仮想サーバ管理プログラム103、及び仮想ディスクデータI/O優先度管理情報105が格納されている。仮想サーバ管理プログラム103はCPU11により主記憶12に読み込まれて実行される。なお、仮想サーバ管理プログラム103はCD−ROM16を経由して記憶装置18に格納されてもよい。
記憶装置サブシステム2の制御メモリ23には、LU−コントローラ対応関係変更プログラム102、性能情報収集プログラム108、LU−コントローラ−記憶装置対応関係情報101が格納される。
管理サーバ28の記憶装置18には、LU−コントローラ対応関係変更制御プログラム106、LU−記憶装置対応関係変更制御プログラム108、仮想ディスク情報管理情報107が記憶される。LU−コントローラ対応関係変更制御プログラム106及びLU−記憶装置対応関係変更制御プログラム108は、管理サーバ28のCPU11により管理サーバ28の主記憶12に読み込まれて実行される。また、LU−コントローラ対応関係変更制御プログラム106及びLU−記憶装置対応関係変更制御プログラム108はCD−ROM16を経由して管理サーバ28の記憶装置18に格納される。
また、記憶装置26には仮想サーバ管理プログラム103により管理され、サーバ1のCPU11により主記憶12に読み込まれて実行される仮想サーバが使用する仮想ディスクデータ104を格納するLU29が配置される。
なお、図1中のCD−ROM16はプログラムを媒体から読み込むための手段であり、フロッピー(登録商標)ディスクやテープ等他の媒体であってもかまわない。また、仮想サーバ管理プログラム103は、ネットワークインタフェース13経由で記憶装置18に格納されても良い。
さらに、仮想サーバ管理プログラム103や仮想ディスクデータI/O優先度管理情報105は、ストレージシステム2の記憶装置26上のLU29に配置されてもよい。
なお、サーバ1aは一つでも良いが、複数であっても良い。さらに、ストレージシステム2は仮想サーバを提供しない計算機が接続され、LU29に対してリード又はライトを行っても良い。このときのアクセス対象のLU29は仮想ディスクデータ104を含むものであってもよく、含まないLUであってもよい。
次に本発明の概要を説明する。なお、概要に説明の無い事項について権利を放棄するものではない。
本発明はサーバ1aが提供する仮想サーバ毎に、I/O優先度に従って仮想サーバのI/O処理の処理を制御することで、仮想サーバ間のI/O処理性能の調整を行う仮想サーバ管理プログラム103を有するサーバ1aと、ストレージシステム2とが連携することで、計算機システムとして性能管理を容易にする。管理サーバ28はサーバ1aとストレージシステム2とを連携させる計算機である。
即ち、サーバ1aが提供する仮想サーバのI/O優先度についての情報を取得し、当該取得した情報を基に、ストレージシステム2の性能に関連する設定要求(ストレージ設定要求)を生成し、当該設定要求をストレージシステム2に送信し、当該設定要求を受信したストレージシステムは当該設定要求に従って、ストレージコントローラ22のLUへのI/O要求の性能に関する所定の設定情報(以後、LU関連設定情報と呼ぶ)を変更する。以後、ストレージシステム2は変更後のLU関連設定情報(その一例がLU−コントローラ−記憶装置対応関係管理情報)を元に、仮想サーバから受信したI/O要求を処理する。このように仮想サーバのI/O優先度に従って、ストレージシステム2のLU関連設定を変更するの処理設定を変更することで、計算機システムの性能管理を容易にする。
特に、仮想サーバを提供するサーバ1aとストレージシステム2の連携は下記ケースを含む状況においてより性能管理が容易になる。
(ケース1)ある仮想サーバ(区別のため、VS−Aと命名)のI/O優先度Paよりも低いI/O優先度Pbに対応付けられた仮想サーバ(区別のため、VS−Bと命名)より、ライト要求を受信した場合。管理サーバの処理によって当該I/O優先度に伴ったストレージ資源(例えば、ストレージコントローラ22、キャッシュメモリ125、プロセッサ25やプロセッサ25でI/O要求を処理する割合を指す。)にて実行するため、過度なストレージ資源の割り当てが不要になり、仮想サーバVS−AのI/O要求をより多くの資源で処理することができる。
(ケース2)仮想サーバVS−BのI/O優先度Pbよりも高いI/O優先度Paに対応付けられた仮想サーバVS−Aよりリード要求を受信した場合。当該リード要求に応じたリードデータの送信処理に過小なストレージ資源を用いてしまうことでVS−BのI/O要求の性能が良いというI/O優先度とは逆のI/O性能となってしまうことを回避できる。
(ケース3)仮想サーバを提供しない非仮想化サーバ計算機がストレージシステム2に接続され、ストレージシステム2が当該計算機からのI/O要求を処理する場合。仮想サーバのI/O優先度に従って、非仮想化サーバ計算機に対応するI/O要求の処理を別なストレージコントローラや記憶装置で実行させることで、仮想サーバのI/O性能低下を回避することができる。
(ケース4)ストレージシステム2ではサーバ計算機からのリード要求に対応するリード処理及びライト要求に対応するライト処理とは別な処理が動作する場合。この場合は、ストレージシステム2は当該別な処理をどのストレージコントローラで実行するかを示した管理情報を有し、当該情報は仮想サーバのI/O優先度に従って変更される。なお、この管理情報は直接的にはLUに関係していないものの、当該処理をI/O優先度に従って制御する場合は広義のLU関連設定情報と見なしても良い。このように、前記別な処理を別なストレージコントローラや記憶装置で実行させることで、仮想サーバのI/O性能低下を回避することができる。なお前記別な処理の一例としては、RAID技術によるパリティ計算処理やRAID技術適用時に記憶装置26に障害が発生した場合のリカバリ処理や、ストレージシステム2による記憶装置26に格納したデータの複製処理(リモートコピーやローカルコピー)や、記憶装置26のフォーマットやデータ削除処理、その他リード処理やライト処理とは非同期に実行されるストレージコントローラの処理が考えられる。
または、管理サーバ28は、仮想サーバのI/O優先度と当該設定用要求によるLU関連設定情報を管理サーバ28のユーザに表示する。表示のため、管理サーバ28は、仮想ディスクデータI/O優先度管理情報105と仮想ディスク情報管理情報とを参照することで表示対象の仮想サーバに対応したLU(仮想サーバに対応した仮想ディスクデータ104が格納されている)を特定し、特定したLUが関係するストレージシステムの処理の処理の設定を表示することが考えられる。これによって仮想サーバ28のユーザは容易に仮想サーバとストレージシステムの設定を確認することが出来る。
なお、以後の実施例ではLU関連情報がされた場合の追従処理として、以下が説明されている。
(追従処理1)選択されたLUのI/O処理を行うストレージコントローラを別なストレージコントローラに変更し、以後は当該別なストレージコントローラで選択されたLUのI/O処理を行う。これによってI/O優先度が高くなった仮想ディスクデータに対応するLUに対するI/O要求がストレージコントローラが原因で性能低下(特にIOPSが高い場合)することを回避できる。
(追従処理2)選択されたLUのデータを現在格納されている記憶装置から別な記憶装置へ移動する。これによってI/O優先度が高くなった仮想ディスクデータに対応するLUに対するI/O要求が記憶装置が原因の性能低下(特にスループットが高い場合や、キャッシュ効果が強くない環境下でのIOPSが高い場合)を回避できる。
なお、前記追従処理はI/O優先度が高くなった仮想ディスクデータに対応するLUに対するI/O要求を調節可能な処理であれば上記処理以外でもよい。
また、本発明では説明の容易化として複数の記憶装置上にLUを定義するものとした。しかし、RAID技術を導入した場合、複数の記憶装置をまとめてパリティグループとし、当該パリティグループに対してLUを定義することも考えられる。この場合、記憶装置をパリティグループと読み替えて各種処理または情報を管理してもよい。
さらに、本発明では仮想ディスクデータに対してI/O優先度が対応しているが、仮想サーバに対してI/O優先度を割り当てる場合にも対応可能である。その場合は仮想ディスクデータに対するI/O優先度と説明されている部分を仮想サーバに対するI/O優先度と読み替えればよい。
以上で、本発明の概要説明を終わる。
図2は、仮想ディスクデータI/O優先度管理情報105の例である。該管理情報105は、仮想ディスクデータの名前(または識別子)を記憶する仮想ディスクデータ名フィールド201、及び仮想ディスクデータへのI/Oの優先度であるI/O優先度を記憶するI/O優先度フィールド202から構成されるテーブルである。なお、仮想ディスクデータI/O優先度管理情報105は仮想ディスクデータに対するI/O優先度を格納できればテーブル以外のデータ構造であってもよい。
当該情報を元に、仮想サーバ管理プログラム103は、仮想サーバのOSが発行するリード要求またはライト要求を、優先度に従い送信または受信や要求に関する処理を行う。
図3は、仮想ディスク情報管理情報107の構成例である。該情報は、仮想ディスクデータの名前(または識別子)を記憶する仮想ディスクデータ名フィールド301、当該仮想ディスクデータを記憶するストレージシステムの名前(または識別子)を記憶するストレージ装置名フィールド302、当該仮想ディスクデータが記憶されるLUの番号(または識別子)を記憶するLUNフィールド303から構成されるテーブルである。なお、仮想ディスク情報管理情報107は、仮想ディスクデータが格納されたストレージシステム2とLU29が特定できればテーブル以外のデータ構造であってもよい。
図4は、LU−コントローラ−記憶装置対応関係管理情報101の構成例である。該情報は、LUの番号(または識別子)を記憶するLUNフィールド、当該LUに対するI/Oの制御を行うコントローラを示すコントローラ名フィールド402、及び当該LUが記憶される記憶装置を示す記憶装置フィールド403から構成されるテーブルである。なお、LU−コントローラ−記憶装置対応関係管理情報101は、LU毎にI/O処理を行うコントローラが特定できればテーブル以外のデータ構造であってもよい。
図9は、記憶装置及びLUの容量を管理する容量管理情報109の構成例である。該情報は、記憶領域の種別を示す領域種別フィールド901、記憶領域の名称を示す名称フィールド902、及び領域の容量を示す容量フィールド903から構成されるテーブルである。なお、当該情報はこれらフィールドが格納されていればテーブル以外のデータ構造であってもよい。
なお管理サーバは、ストレージシステム構成情報を主記憶12bまたは記憶装置18bに格納している。当該情報は、管理サーバが有してCPU11bによって実行されるストレージシステム情報取得プログラムが、LU関連設定情報取得要求をストレージシステム2へ送信し、当該要求を受信したストレージシステム2がLU−コントローラ−記憶装置対応関係管理情報101に格納したLUとコントローラの対応情報及びLUと記憶装置の対応情報を送信し、対応情報を受信したストレージシステム情報取得プログラムが、当該対応情報を元にLUとコントローラの対応とLUと記憶装置との対応をストレージシステム構成情報に格納することで管理されている。
なお管理サーバは、仮想サーバ設定情報を主記憶12bまたは記憶装置18bに格納している。当該情報は、管理サーバが有してCPU11bによって実行される仮想サーバ情報取得プログラムが、I/O優先度取得要求を一つ以上のサーバ1aへ送信し、当該要求を受信したサーバ1aが仮想ディスクデータI/O優先度管理情報105に格納した仮想ディスクデータに対するI/O優先度(仮想サーバに対するI/O優先度と読み替えても良い)を含むI/O優先度情報を送信し、当該情報を受信した仮想サーバ情報取得プログラムが、当該情報を元に仮想サーバに対するI/O優先度を仮想サーバ設定情報に格納することで管理されている。
図5は、LU−コントローラ対応関係変更制御プログラム106で実施される処理の例である。以下、当該プログラムをCPU11bが実行することで行われる処理について記載する。なお、以下の処理は特に断らない限り、仮想サーバ設定情報と仮想ディスクデータ管理情報107と仮想ディスクデータ管理情報とを参照することで行われる。
(ステップ501)該プログラムは、まず仮想ディスク毎のI/O優先度を受信する。取得方法には、以下の2方法がある。
(方法1)仮想サーバ管理プログラム103より取得する方法。サーバ1aにI/O優先度取得要求を送信し、当該要求を受信したサーバ1aは仮想サーバの識別子とI/O優先度を含むI/O優先度情報を送信することで最新の仮想サーバ設定情報を最新にし、当該情報を参照する。
(方法2)管理者より受け取る方法。当該プログラムは入出力装置14bによって入力された仮想サーバに対するI/O優先度を受信する。また、管理者から仮想ディスク毎のI/O優先度を取得する場合には、該情報を仮想サーバ管理ソフト103に伝えるか否かも同時に受け取り、伝えると指定された場合は当該I/O優先度と当該I/O優先度に対応する仮想サーバの識別子を含むI/O優先度設定情報をサーバ1aに送信する。なお、I/O優先度設定情報を受信したサーバ1bは当該設定情報に基づいて仮想ディスクデータI/O優先度管理情報105を更新する。また、当該プログラムは仮想サーバ設定情報も更新する。
なお、方法1や方法2に限らず、仮想サーバ管理プログラムはネットワークインターフェース13aまたは入出力装置14aより仮想サーバの識別子と対応するI/O優先度を含むI/O優先度設定情報を含むI/O優先度設定要求を受信し、I/O優先度設定要求を受信したサーバ1bは当該設定情報に基づいて仮想ディスクデータI/O優先度管理情報105が更新される。
(ステップ502)各仮想ディスクデータについて、仮想ディスクデータ管理情報107を参照することで、仮想ディスクデータが格納されているLUを特定する。
(ステップ503、ステップ504)ステップ502で求めたLU毎に、特定元である仮想ディスクデータのI/O優先度を加算し、LU毎のI/O優先度の合計値を計算し計算結果をLU−I/O優先度対応関係管理情報(主記憶12bまたは記憶装置18bに保存されている)に格納し、当該情報をI/O優先度の降順にソートする。
(ステップ505、ステップ506、507)ストレージコントローラ毎のI/O優先度の合計が他のストレージコントローラと比較して小さいストレージコントローラを選択し、情報の先頭のLUを当該ストレージコントローラに割当てるものと判断し、情報の先頭行を削除する。これを当該情報からレコードがなくなるまで繰り返す。なお、判断結果は判断結果情報として主記憶12bまたは記憶装置18bに格納される。
(ステップ508)ステップ505の判断結果情報に従い、LU−コントローラ−記憶装置対応関係管理情報101のLUとコントローラの対応関係を更新する。なお、仮想ディスク毎のI/O優先度を管理者より受け取り、かつ仮想サーバ管理ソフトへの該情報の伝達も同時に受け取った場合には、仮想サーバ管理プログラム103に対して、仮想ディスク別I/O優先度管理情報105をステップ501で受け取った値に変更してもよい。
図6は、LU−記憶装置対応関係変更制御プログラム108で実施される処理の例である。以下、当該プログラムをCPU11bが実行することで行われる処理について記載する。なお、以下の処理は特に断らない限り、仮想サーバ設定情報と仮想ディスクデータ管理情報107と仮想ディスクデータ管理情報とを参照することで行われる。
(ステップ601)当該プログラムは、まず仮想ディスクデータ毎のI/O優先度を受信する。なお、受信方法はステップ501にて説明した方法と同じ方法が考えられる。
(ステップ602)当該プログラムは、各仮想ディスクデータについて、仮想ディスクデータ管理情報を参照することで、仮想ディスクデータが格納されているLUを特定する。
(ステップ603)当該プログラムは、ステップ602で特定したLU毎に、特定元である仮想ディスクデータのI/O優先度を加算し、LU毎のI/O優先度の合計値を計算する。
(ステップ604)当該プログラムは、ステップ603の計算結果を元に、LU−コントローラ−記憶装置対応関係管理情報101を参照してLUが格納されている記憶装置を特定し、記憶装置毎に特定元となるLUのI/O優先度を合計することで、記憶装置毎のI/O優先度を計算する。
(ステップ605)当該プログラムは、各記憶装置のI/O優先度のいずれかが閾値を超えているかどうかを判断し、超えている場合は、LUと記憶装置との対応を変えた場合についてステップ604の計算を行うことで、各記憶装置のI/O優先度が閾値を超えないLUと記憶装置との対応を計算する。なお、ここでの計算では閾値を超ない対応関係が算出できる場合もあるが、算出できない場合もある。なお、当該計算には各LUの容量、及び記憶装置の空き容量が必要となるが、これらは図4に示すLU−コントローラ−記憶装置対応関係管理情報101、及び容量管理情報109を参照して求める。なお、算出結果は算出結果情報として主記憶12bまたは記憶装置18bに格納する。
(ステップ606)その後、現在の構成と算出結果情報とを元に、ステップ605にて新たなLUと記憶装置との対応を算出したと判断した場合は、その算出結果情報に従い、記憶装置との対応が変更されたLUのデータを移動元の記憶装置から移動先の記憶装置へ移動する。そして、LU−コントローラ−記憶装置対応関係管理情報101のLUと記憶装置の対応関係を更新する。なお、仮想ディスク毎のI/O優先度を管理者より受け取り、かつ仮想サーバ管理ソフトへの該情報の伝達も同時に受け取った場合には、仮想サーバ管理プログラム103に対して、仮想ディスク別I/O優先度管理情報105をステップ601で受け取った値に変更してもよい。
以下、図1の構成において以下の状態であった場合の図5に説明したストレージコントローラ割当て変更時の動作について説明する。
(1)LU29aとLU29bとが記憶装置26aに対応付けられ、LU29cとLU29dとが記憶装置26bに対応付けられている。
(2)サーバ1aは仮想サーバ管理プログラム103を処理することで仮想サーバ1乃至4を提供する。
(3)仮想ディスクデータ104a(仮想ディスクデータ名としてVDK01が割り当てられている)を用いて仮想サーバ1は提供される。また、仮想サーバ1による仮想ディスクデータ104aに対するI/O優先度は60である。仮想ディスクデータ104aを格納したLU29aのI/O処理はストレージコントローラ22aにて行われる。
(4)仮想ディスクデータ104b(仮想ディスクデータ名としてVDK02が割り当てられている)を用いて仮想サーバ2は提供される。また、仮想サーバ2による仮想ディスクデータ104bに対するI/O優先度は50である。仮想ディスクデータ104bを格納したLU29bのI/O処理はストレージコントローラ22aにて行われる。
(5)仮想ディスクデータ104c(仮想ディスクデータ名としてVDK03が割り当てられている)を用いて仮想サーバ3は提供される。また、仮想サーバ3による仮想ディスクデータ104cに対するI/O優先度は30である。仮想ディスクデータ104cを格納したLU29cのI/O処理はストレージコントローラ22bにて行われる。
(6)仮想ディスクデータ104d(仮想ディスクデータ名としてVDK04が割り当てられている)を用いて仮想サーバ4は提供される。また、仮想サーバ4による仮想ディスクデータ104aに対するI/O優先度は60である。仮想ディスクデータ104dを格納したLU29dのI/O処理はストレージコントローラ22bにて行われる。
以上説明した状態において、サーバ1aが受信したI/O優先度設定情報に基づいて仮想ディスクデータ104aに対するI/O優先度が160に変更された場合、計算機システムは以下の動作を行う。なお、図7は変更後の仮想ディスクデータI/O優先度管理情報105である。
(動作1)ステップ501とステップ502とステップ503を処理することで、LU−コントローラ対応関係変更制御プログラム106は、LU26aのI/O優先度が160であることを算出し情報格納する。(一つのLUに複数の仮想ディスクデータが格納される場合は仮想ディスクデータそのままのI/O優先度にはならない)。
(動作2)ステップ504とステップ505とステップ506を処理することで、LU−コントローラ対応関係変更制御プログラム106は、ストレージコントローラ22aのI/O優先度を210と算出する(ストレージコントローラ22bのI/O優先度は110のまま)。そして、ストレージコントローラ22aに対応していたLUのうち、最もI/O優先度が低いLU29bを特定する。
(動作3)ステップ508の動作によって、管理サーバ28はストレージステム2にLU−コントローラ対応変更要求を送信し、当該要求を受信したストレージシステム2はLU−コントローラ−記憶装置対応関係管理情報101を変更し、ストレージシステム2は当該情報101を参照することで、以後はLU29bのI/O処理をコントローラ22bで処理する。なお、図8は変更後のLU−コントローラ−記憶装置対応関係管理情報101である。また、LU−コントローラ対応変更要求はLUとストレージコントローラを指定するが、今回はLU29bとストレージコントローラ22bを指定した。
以上示すように、本発明により仮想ディスクのI/O優先度に基づくコントローラの割当て変更が達成できることが確認された。
以下、論理記憶割り当て変更時の動作について説明する。なお、例とする状況は上記コントローラ割り当て変更と同じである。なお、記憶装置割当て変更はデータ移動が伴うために処理完了まで長時間を要する。そのため、本処理は記憶装置毎のI/O優先度の合計値の差が所定の値又は割合(例えば1.5倍等)生じた場合に行うようにしても良い。
(動作1)ステップ601とステップ602とステップ603を処理することで、LU−コントローラ対応関係変更制御プログラム106は、LU26aのI/O優先度が160であることを算出し情報格納する。
(動作2)ステップ604及びステップ605を処理することで、当該プログラムは記憶装置29aのI/O優先度を210と算出する(記憶装置29bのI/O優先度は110のまま)。そして、記憶装置29aに対応していたLUのうち、最もI/O優先度が低いLU29bを特定する。
(動作3)ステップ606の動作によって、管理サーバ28はストレージステム2にLU−記憶装置対応変更要求を送信する。なお、LU−コントローラ対応変更要求はLUとストレージコントローラを指定するが、今回はLU29bとストレージコントローラ22bを指定する。当該要求を受信したストレージシステム2は指定されたLU22bのデータを記憶装置29aから記憶装置29bへ移動し、LU−コントローラ−記憶装置対応関係管理情報101を変更する。なお、図11は変更後のLU−コントローラ−記憶装置対応関係管理情報101である。
以上示すように、本発明により仮想ディスクのI/O優先度に基づく記憶装置の割当て変更が達成できることが確認された。
次に本発明での管理サーバ28での管理情報表示について述べる。これまで説明してきたように、本発明では管理サーバが仮想サーバの仮想ディスクデータのI/O優先度(または仮想サーバのI/O優先度)の変更に応じてストレージ装置の設定変更を行う例について説明してきた。しかし、コントローラや記憶装置の性能限界からI/O処理の負荷移動先がない場合や、信頼性やコスト上の問題から一部のLUについてI/O処理の負荷移動が出来ない場合がある。また、管理サーバによる変更が妥当であるかどうかを確認したい場合もありえる。
本発明ではこうした場合に対応するために管理サーバにて以下の情報を表示してもよい。
(表示1)現在の仮想ディスクデータ(または仮想サーバ)と当該仮想ディスクデータを格納するLUについてのI/O要求を処理するストレージコントローラの識別子。当該情報を表示するために、管理サーバは仮想ディスクデータ管理情報107と、ストレージシステム構成情報を参照する。
(表示2)現在の仮想ディスクデータのI/O優先度(または仮想サーバのI/O優先度)と当該仮想ディスクデータを格納するLUに対するI/Oを処理するストレージコントローラのステップ503で求めたようなI/O優先度の合計(またはその他ストレージコントローラの処理性能に関連した設定情報や構成情報)。当該情報を表示するために、管理サーバは表示1で参照した情報に加えて仮想サーバ設定情報を参照する。
(表示3)現在の仮想ディスクデータ(または仮想サーバ)と当該仮想ディスクデータを格納するLUに対応する記憶装置の識別子。当該情報を表示するために管理サーバが参照する情報は表示1と同じである。
(表示4)現在の仮想ディスクデータのI/O優先度(または仮想サーバのI/O優先度)と当該仮想ディスクデータを格納するLUに対するI/Oを処理するストレージコントローラのステップ503で求めたようなI/O優先度の合計。当該情報を表示するために、管理サーバは表示3で参照した情報に加えて仮想サーバ設定情報を参照する。
なお、これまで説明してきた管理サーバ28のプログラム及び情報はサーバ1aに存在し、実行を行ってもよい。同様に当該プログラム及び情報はストレージシステム2の制御メモリまたは管理メモリに格納し、ストレージシステムのストレージコントローラ22が実行してもよい。なお、その場合の表示や入力は管理サーバがイーサーネットポートやシリアルインターフェースを持つ場合と同様の方法で実現する。
また、ストレージシステム2は一つの装置を前提として説明したが、複数のストレージシステム2(互いが接続されている)を有するストレージクラスタについても同様の考えが適用できる。すなわち、仮にストレージシステムAとストレージシステムBがストレージクラスタに含まれているとして、ストレージシステムAが有するストレージコントローラAと記憶装置AとポートAがストレージコントローラ22aと記憶装置26aとポート21aと考え、ストレージシステムBのストレージコントローラBと記憶装置BとポートBがストレージコントローラ22bと記憶装置26bとポート21bと考える。このような状況で仮想ディスクデータのI/O優先度変更に応じて、LUのデータをストレージシステムAからストレージシステムBへ移動し、それに伴って、LUに対応するポートとストレージコントローラをポートBとストレージコントローラBとすることで、同様のメリットが得られる。
なお、ポートを切り替える場合はサーバ1aに対して切り替え要求を送信することで、サーバ1aが送信するI/O要求の送信先をポートAからポートBに切り替えることで実現できる。なお、当該切り替えは仮想サーバ管理プログラムが処理することで、仮想サーバに対応するOSの設定の変更を行わずに実現してもよい。
本発明が実施される計算機システム及び記憶装置サブシステムの第一の構成例である。 仮想ディスク別I/O優先度管理情報の構成例である。 仮想ディスク情報管理情報の構成例である。 LU−コントローラ−記憶装置対応関係管理情報の構成例である。 LU−コントローラ対応関係変更制御プログラムで実施される処理の例である。 LU−記憶装置対応関係変更制御プログラムで実施される処理の例である。 仮想ディスク別I/O優先度管理情報の更新後の構成例である。 LU−コントローラ−記憶装置対応関係管理情報の第一の変更後の構成例である。 容量管理情報の構成例である。 LU−I/O優先度対応関係管理情報の構成例である。 LU−コントローラ−記憶装置対応関係管理情報の第二の変更後の構成例である。
符号の説明
1・・・サーバ
2・・・記憶装置サブシステム
28・・・管理サーバ
29・・・LU

Claims (8)

  1. 複数の仮想サーバを提供する計算機と、管理計算機と、複数のLUを提供する複数のストレージコントローラを備えたストレージシステムと、から構成する計算機システムであって、
    前記計算機は、前記複数の仮想サーバ間でI/O処理性能の調整を行うための指標である、前記複数の仮想サーバの複数のI/O優先度を管理するI/O優先度管理情報を有し、
    前記複数のLUは前記複数の仮想サーバの複数の仮想ディスクデータを格納し、
    前記ストレージシステムは、前記複数のLUに対するI/O要求を処理するストレージコントローラを前記複数のストレージコントローラから特定するLU関連設定情報を有し、
    前記管理計算機は、前記計算機が有する前記I/O優先度管理情報に対応した仮想サーバ設定情報と、前記ストレージシステムが有するLU関連設定情報に対応するストレージシステム構成情報と、を有し、前記仮想サーバ設定情報と前記ストレージシステム構成情報とを参照することで、前記I/O優先度管理情報が示す複数の仮想サーバの複数のI/O優先度を元にして前記複数のLUの一つのI/O要求を処理するストレージコントローラを決定し、前記決定を元にしたストレージ設定要求を送信し、
    前記ストレージシステムは、前記ストレージ設定要求を受信したら、LU関連設定情報を変更することで、前記ストレージ設定要求で指定された前記複数のLUの一つのI/O要求を処理するストレージコントローラを変更する、
    ことを特徴とした計算機システム。
  2. 請求項1記載の計算機システムであって、前記管理計算機は、前記複数の仮想ディスクデータと前記複数のLUとの格納関係を示す仮想ディスクデータ管理情報を有することを特徴とした計算機システム。
  3. 請求項2記載の計算機システムであって、
    前記管理計算機は、前記仮想ディスクデータ管理情報と前記ストレージシステム構成情報とを参照することで前記複数の仮想サーバの一部に対応するストレージコントローラを前記複数のストレージコントローラから特定し、前記複数の仮想サーバの一部に対応するストレージコントローラに関する情報を表示することを特徴とした計算機システム。
  4. 請求項2または請求項3に記載の計算機システムであって、
    前記管理サーバは、前記仮想ディスクデータ管理情報と前記ストレージシステム構成情報と仮想サーバ設定情報とを参照することで、前記複数のコントローラの各々について対応する一つ以上の仮想サーバのI/O優先度の合計値を計算し、当該計算結果を表示する、
    ことを特徴とした計算機システム。
  5. 複数の仮想サーバを提供する計算機と、前記複数の仮想サーバの複数の仮想ディスクデータを格納する複数のLUを提供し、複数のストレージコントローラを備えたストレージシステムと、に接続された管理計算機の性能管理方法であって、
    前記複数の仮想サーバ間でI/O処理性能の調整を行うための指標である、前記複数の仮想サーバの複数のI/O優先度を管理する前記計算機が有するI/O優先度管理情報に対応する仮想サーバ設定情報を格納するステップと、
    前記複数のLUに対するI/O要求を処理するストレージコントローラを前記複数のストレージコントローラから特定する、前記ストレージシステムが有するLU関連設定情報に対応するストレージシステム構成情報を格納するステップと、
    前記仮想サーバ設定情報と前記ストレージシステム構成情報とを参照することで、前記I/O優先度管理情報が示す複数の仮想サーバの複数のI/O優先度を元にして前記複数のLUの一つのI/O要求を処理するストレージコントローラを決定し、前記決定を元にしたストレージ設定要求を送信するステップと、
    を有することを特徴とした管理計算機の性能管理方法。
  6. 請求項5記載の性能管理方法であって、
    前記複数の仮想ディスクデータと前記複数のLUとの格納関係を示す仮想ディスクデータ管理情報を格納するステップを有することを特徴とした管理計算機の性能管理方法
  7. 請求項6記載の性能管理方法であって、
    前記仮想ディスクデータ管理情報と前記ストレージシステム構成情報とを参照することで前記複数の仮想サーバの一部に対応するストレージコントローラを前記複数のストレージコントローラから特定するステップと、
    前記複数の仮想サーバの一部に対応するストレージコントローラに関する情報を表示するステップと、
    を有することを特徴とした管理計算機の性能管理方法。
  8. 請求項6または請求項7に記載の性能管理方法であって、
    前記仮想ディスクデータ管理情報と前記ストレージシステム構成情報と仮想サーバ設定情報とを参照することで、前記複数のコントローラの各々について対応する一つ以上の仮想サーバのI/O優先度の合計値を計算し、当該計算結果を表示するステップを有することを特徴とした管理計算機の性能管理方法。
JP2008277600A 2008-10-29 2008-10-29 ストレージシステムの性能向上又は管理方法、システム、装置及びプログラム Expired - Fee Related JP5193801B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008277600A JP5193801B2 (ja) 2008-10-29 2008-10-29 ストレージシステムの性能向上又は管理方法、システム、装置及びプログラム
US12/355,156 US20100107161A1 (en) 2008-10-29 2009-01-16 Method of Improving or Managing Performance of Storage System, System, Apparatus, and Program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008277600A JP5193801B2 (ja) 2008-10-29 2008-10-29 ストレージシステムの性能向上又は管理方法、システム、装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2010108114A JP2010108114A (ja) 2010-05-13
JP2010108114A5 JP2010108114A5 (ja) 2011-04-21
JP5193801B2 true JP5193801B2 (ja) 2013-05-08

Family

ID=42118769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008277600A Expired - Fee Related JP5193801B2 (ja) 2008-10-29 2008-10-29 ストレージシステムの性能向上又は管理方法、システム、装置及びプログラム

Country Status (2)

Country Link
US (1) US20100107161A1 (ja)
JP (1) JP5193801B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012032658A1 (ja) 2010-09-10 2012-03-15 株式会社日立製作所 計算機システムに対する処理のタスクでありユーザ操作に基づくタスクを管理するシステム、及び、その種のタスクに関する情報を表示する方法
US8799534B2 (en) 2011-12-27 2014-08-05 Hitachi, Ltd. Storage apparatus and method for controlling same
JP5891900B2 (ja) 2012-03-29 2016-03-23 富士通株式会社 アクセス制御方法、サーバ装置およびストレージ装置
JP5907109B2 (ja) * 2013-03-29 2016-04-20 日本電気株式会社 切り替え装置、この装置を搭載した記憶システム、切り替え方法および切り替えプログラム
WO2015040728A1 (ja) * 2013-09-20 2015-03-26 富士通株式会社 情報処理装置,情報処理方法,プログラム,記録媒体
US9696917B1 (en) * 2014-06-30 2017-07-04 EMC IP Holding Company LLC Method and apparatus for efficiently updating disk geometry with multipathing software

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157963A (en) * 1998-03-24 2000-12-05 Lsi Logic Corp. System controller with plurality of memory queues for prioritized scheduling of I/O requests from priority assigned clients
US6519660B1 (en) * 1999-09-28 2003-02-11 International Business Machines Corporation Method, system and program products for determining I/O configuration entropy
US6651125B2 (en) * 1999-09-28 2003-11-18 International Business Machines Corporation Processing channel subsystem pending I/O work queues based on priorities
JP4206707B2 (ja) * 2002-08-27 2009-01-14 株式会社日立製作所 通信品質設定装置、方法及びプログラム
JP2004152060A (ja) * 2002-10-31 2004-05-27 Hitachi Ltd 計算機システム、および、そのディスクサブシステム
US7783779B1 (en) * 2003-09-19 2010-08-24 Vmware, Inc Storage multipath management in a virtual computer system
JP4227035B2 (ja) * 2004-02-03 2009-02-18 株式会社日立製作所 計算機システム、管理装置、ストレージ装置及びコンピュータ装置
JP4407431B2 (ja) * 2004-08-30 2010-02-03 株式会社日立製作所 計算機システム及び計算機システムの帯域制御方法
JP2006079495A (ja) * 2004-09-13 2006-03-23 Hitachi Ltd ストレージシステム及び論理区画の設定方法
US7797699B2 (en) * 2004-09-23 2010-09-14 Intel Corporation Method and apparatus for scheduling virtual machine access to shared resources
JP4790372B2 (ja) * 2005-10-20 2011-10-12 株式会社日立製作所 ストレージのアクセス負荷を分散する計算機システム及びその制御方法
US7613132B2 (en) * 2006-06-30 2009-11-03 Sun Microsystems, Inc. Method and system for controlling virtual machine bandwidth
US8095675B2 (en) * 2006-07-20 2012-01-10 Oracle America, Inc. Priority and bandwidth specification at mount time of NAS device volume
JP4286281B2 (ja) * 2006-12-11 2009-06-24 株式会社日立製作所 ストレージネットワークシステム、管理装置、管理方法及びプログラム
JP4996929B2 (ja) * 2007-01-17 2012-08-08 株式会社日立製作所 仮想計算機システム
JP2010205208A (ja) * 2009-03-06 2010-09-16 Nec Corp ホストコンピュータ、マルチパスシステム、パス割当方法およびプログラム

Also Published As

Publication number Publication date
US20100107161A1 (en) 2010-04-29
JP2010108114A (ja) 2010-05-13

Similar Documents

Publication Publication Date Title
US10055133B2 (en) System and method for controlling automated page-based tier management in storage systems
US8151013B2 (en) Storage system
US20080184255A1 (en) Storage apparatus and load distribution method
US20050251620A1 (en) Data migration in storage system
JP4885575B2 (ja) 記憶領域の割当ての最適化方法及びそれを実現するための管理計算機
EP2306293A2 (en) Methods and apparatus for managing virtual ports and logical units on storage systems
JP5193801B2 (ja) ストレージシステムの性能向上又は管理方法、システム、装置及びプログラム
US10664182B2 (en) Storage system
JPWO2008136075A1 (ja) ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法
JP2008152663A (ja) ストレージネットワークの性能管理方法、並びに、その方法を用いた計算機システム及び管理計算機
EP1914625B1 (en) Method and program for supporting setting of access management information
WO2012147119A1 (en) Management system and control method for provisioning storage space to writable snapshots satisfying performance requirements
JP2005228278A (ja) 記憶領域の管理方法、管理装置及び管理プログラム
US11188243B2 (en) Storage management apparatus, information system, and storage management method
US10203879B2 (en) Control device and control method
US8799534B2 (en) Storage apparatus and method for controlling same
US10019182B2 (en) Management system and management method of computer system
US7676644B2 (en) Data processing system, storage apparatus and management console
JP2015532734A (ja) 物理ストレージシステムを管理する管理システム、物理ストレージシステムのリソース移行先を決定する方法及び記憶媒体
US20170017507A1 (en) Storage, computer, and control method therefor
US20230185632A1 (en) Management system, data rebalancing management method, and recording medium
JP7225190B2 (ja) 計算機システム
WO2018173300A1 (ja) I/o制御方法およびi/o制御システム
JP5435234B2 (ja) ストレージ装置及びこれを用いたデータ転送方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees