JP4568168B2 - 情報処理方法及びシステム - Google Patents

情報処理方法及びシステム Download PDF

Info

Publication number
JP4568168B2
JP4568168B2 JP2005144634A JP2005144634A JP4568168B2 JP 4568168 B2 JP4568168 B2 JP 4568168B2 JP 2005144634 A JP2005144634 A JP 2005144634A JP 2005144634 A JP2005144634 A JP 2005144634A JP 4568168 B2 JP4568168 B2 JP 4568168B2
Authority
JP
Japan
Prior art keywords
business
storage
storage area
computer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005144634A
Other languages
English (en)
Other versions
JP2006323539A (ja
Inventor
修司 藤野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005144634A priority Critical patent/JP4568168B2/ja
Priority to US11/172,910 priority patent/US8307170B2/en
Publication of JP2006323539A publication Critical patent/JP2006323539A/ja
Application granted granted Critical
Publication of JP4568168B2 publication Critical patent/JP4568168B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659Command handling arrangements, e.g. command buffers, queues, command scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、電子的な情報の処理に関する。
例えば、特開2005−055963号公報には、データ或いはプログラム等の電子的な情報を大量に記憶することができるストレージ装置が開示されている。
また、特開2005−10956号公報には、記憶装置との間に設定される複数の論理パスの負荷を取得し、データ入出力要求を割り当てる論理パスを負荷に応じて決定する技術が開示されている。
特開2005−055963号公報。 特開2005−10956号公報。
ところで、例えば、記憶装置に対するデータの書込み又は読出しの要求であるI/O要求をプロセッサにより実行されることにより出力する複数のプログラムと、出力されたI/O要求を受信してそのI/O要求に従って記憶装置に対してデータの書込み又は読出しを行う記憶制御装置とを備えた情報処理システムがある。複数のプログラムは、それぞれ、要求される性能要件(例えば、仕様として或いはユーザから要求される性能要件)が異なる場合がある。例えば、第一のプログラムは、高速に処理(例えば、記憶装置へのアクセス)を行うことが要求されても、第二のプログラムは、第一のプログラム程の高速な処理を要求されない場合がある。
従って、本発明の一つの目的は、プログラムの性能要件に適した処理が行われるようにすることにある。
本発明の他の目的は、後の記載から明らかになるであろう。
本発明の第一の側面に従う情報処理方法は、例えば以下の通りである。
すなわち、複数のプログラムを実行する少なくとも一つのプロセッサと、情報要素を一時的に記憶することができる記憶域と、前記情報要素を記憶することができる記憶装置とがある。各プログラムそれ自体或いはプログラムの各種性能要件には、或る重要度が対応付けられる。そして、前記複数のプログラムのうちの或るプログラムが実行されることにより或る情報要素が出力された場合、前記或る情報要素を前記記憶域に書込み、前記記憶域に書き込まれている複数の情報要素のうち、実行されたプログラム又はそれの性能要件の重要度が高い情報要素から優先的に前記記憶装置側に出力することが行われる。
この情報処理方法は、例えば、後述の業務コンピュータが行っても良いし、後述のストレージ制御装置が行っても良いし、後述の管理コンピュータが行っても良いし、それらのうちの少なくとも二つが協働して行っても良い。
一つの実施態様では、前記記憶領域には、二以上の入力記憶域と、一以上の出力記憶域とがあってもよい。前記二以上の入力記憶域の各々には、プログラム又はそれの性能要件が対応付けられていてもよい。前記二以上の入力記憶域のうち、前記或るプログラム又はそれの性能要件に対応する入力記憶域に、前記或る情報要素が書込まれてもよい。対応するプログラム又はそれの性能要件の重要度が高い入力記憶域から優先的に情報要素が前記出力記憶域に移され、前記出力記憶域に移された情報要素が出力されてもよい。さらに、前記二以上の入力記憶域に記憶されている情報要素の総数と、各入力記憶域に対応した各プログラム又は各種性能要件に対応する各種重要度とに基づいて、各入力記憶域毎に、その入力記憶域から移動させられる情報要素の最大数を算出し、算出した最大数以下の数の情報要素を前記出力記憶域に移動させることが行われても良い。
一つの実施態様では、前記記憶装置側から少なくとも一つのプログラムを宛先とした情報要素を受信し、その受信した情報要素が前記記憶域に書き込まれることが行われても良い。前記記憶域に書き込まれている複数の情報要素のうち、プログラム又はそれの性能要件の重要度が高いプログラム宛ての情報要素から優先的に出力することが行われても良い。
本発明の第二の側面に従う情報処理方法は、例えば以下の通りである。
一又は複数のプログラムを少なくとも一つのプロセッサが実行することにより出力された情報要素を送信する一又は複数のホスト装置と、前記情報要素を受信して処理することにより記憶装置にアクセスする一又は複数の記憶制御装置とが、通信ネットワークを介して通信可能に接続されている。各プログラムと前記記憶装置との間のやり取りに要した時間長に関わる複数種類のサブ時間長のうち、少なくとも一種類のサブ時間長が特定される。前記特定されたサブ時間長に欠点が有るか否かの判断が行われる。前記判断の結果、前記欠点が有れば、前記特定されたサブ時間長を短縮するための対処処理を実行することが行われる。
一つの実施態様では、前記ホスト装置及び前記記憶制御装置の少なくとも一方である当該装置には、前記当該装置が有する記憶資源の一部が割り当てられた入力記憶域及び出力記憶域と、情報要素を受ける記憶域制御部とがあってもよい。前記当該装置では、前記記憶域制御部により、受けた情報要素が前記入力記憶域に書込まれ、前記入力記憶域から情報要素が読出されて、前記読出された情報要素が前記出力記憶域に書込まれ、前記出力記憶域に書込まれた情報要素を出力することが行われてもよい。前記特定されたサブ時間長は、前記記憶域制御部が情報要素を受けてから、その情報要素が前記出力記憶域から出力されるまでの時間長を含んだ第一のサブ時間長であってもよい。前記第一のサブ時間長を短縮するための対処処理として、前記入力記憶域に割り当てる記憶資源の量を多くし、且つ、前記入力記憶域からの読出し速度を速くすることを実行することが行われても良い。
一つの実施態様では、前記ホスト装置及び前記記憶制御装置の少なくとも一方である当該装置には、前記当該装置が有する記憶資源の一部が割り当てられた記憶域と、情報要素を受ける記憶域制御部とがあってもよい。各プログラムそれ自体或いはプログラムの各種性能要件に、或る重要度が対応付けられていてもよい。前記当該装置では、前記記憶域制御部により、受けた情報要素を前記記憶域に書込み、前記記憶域に書き込まれている複数の情報要素のうち、実行されたプログラム又はそれの性能要件が高い情報要素から優先的に出力することが行われてもよい。前記特定されたサブ時間長は、前記記憶域制御部が情報要素を受けてから、その情報要素が前記出力記憶域から出力されるまでの時間長を含んだ第二のサブ時間長であってもよい。前記或るプログラムについての前記第二のサブ時間長を短縮するための対処処理として、前記或るプログラム又はそれの性能要件に対応する重要度をより高めることが行われても良い。
一つの実施態様では、前記特定されたサブ時間長は、前記ホスト装置と前記記憶制御装置との間での情報要素の送受に要した通信時間長であってもよい。前記通信時間長を短縮するための対処処理として、前記ホスト装置と前記記憶制御装置との間の通信経路を変える、又は、通信帯域を上げることが行われてもよい。
一つの実施態様では、前記記憶制御装置には、キャッシュ領域が備えられていてもよい。前記複数のプログラムには、第一と第二のプログラムが含まれていてもよい。前記第一のプログラムには高い性能要件が割り当てられており、前記第二のプログラムには低い性能要件が割り当てられていてもよい。前記キャッシュ領域に、前記高い性能要件に対応する第一のキャッシュサブ領域と、前記低い性能要件に対応する第二のキャッシュサブ領域とが設けられてもよい。前記第一のプログラムが実行されることにより出力された情報要素の処理には、前記第一のキャッシュサブ領域が利用され、前記第二のプログラムが実行されることにより出力された情報要素の処理には、前記第二のキャッシュサブ領域が利用されてもよい。前記特定されたサブ時間長は、前記キャッシュ領域を利用した処理に要する時間長を含んだ第三のサブ時間長であってもよい。前記高い性能要件に対応する前記第一のプログラムについての前記第三のサブ時間長を短縮するための対処処理として、前記第一のキャッシュサブ領域の記憶容量を増やすことが行われても良い。
一つの実施態様では、前記ホスト装置及び前記記憶制御装置と通信可能に接続された管理装置があってもよい。前記ホスト装置及び前記記憶制御装置の少なくとも一方である当該装置が、前記複種類のサブ時間長のうちの少なくとも一種類のサブ時間長、又は、そのサブ時間長を特定するために必要なパラメータを前記管理装置に送信してもよい。前記管理装置が、前記当該装置からサブ時間長又はパラメータを受信し、前記受信したサブ時間長又はパラメータからサブ時間長を把握し、把握されたサブ時間長の欠点の有無を判断し、欠点があれば、その把握されたサブ時間長を短縮するための対処処理の実行を前記当該装置に命じてもよい。
本発明の第三の側面に従う情報処理方法は、例えば以下の通りである。
情報要素を生成して送信する一又は複数のホスト装置と、前記情報要素を受信して処理することにより記憶装置にアクセスする記憶制御装置とが通信可能に接続されている。前記記憶制御装置には、キャッシュ領域が備えられている。前記一又は複数個のホスト装置には、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサに実行される複数のプログラムが備えられている。前記複数のプログラムには、高い性能要件が割り当てられた第一のプログラムと、低い性能要件が割り当てられた第二のプログラムとが含まれている。前記キャッシュ領域に、前記高い性能要件に対応する第一のキャッシュサブ領域と、前記低い性能要件に対応する第二のキャッシュサブ領域とが設けられる。前記第一のプログラムが実行されることにより出力された情報要素の処理には、前記第一のキャッシュサブ領域が利用され、前記第二のプログラムが実行されることにより出力された情報要素の処理には、前記第二のキャッシュサブ領域が利用される。前記第一のキャッシュサブ領域の記憶容量を増やすことにより、前記高い性能要件に対応する前記第一のプログラムが実行されることにより出力された情報要素の処理速度を速めることが行われる。
一つの実施態様では、前記第一のプログラムが実行されることにより出力された情報要素を処理して前記記憶装置にアクセスする場合、前記第一のキャッシュサブ領域上に或る場所を確保し、前記確保された場所を介して、前記記憶装置と前記高い性能要件に対応するプログラムとの間で情報要素をやり取りすることが行われても良い。
一つの実施態様では、前記第一のキャッシュサブ領域も前記第二のキャッシュサブ領域に予め情報要素が記憶されており、その予め記憶されている情報要素が前記プログラムに送信されることにより、前記記憶装置にアクセスすることなく情報要素をプログラムに提供するようになっている場合、前記第一のキャッシュサブ領域の記憶容量を減らし、前記減らされる部分に記憶されているデータを前記記憶装置に退避させ、前記減らされた記憶容量の全部又は一部を、前記第二のキャッシュサブ領域の記憶容量に追加することが行われても良い。さらに、前記第一のキャッシュサブ領域の記憶容量を増やし、前記増やされた部分に、前記記憶装置に移されたデータを前記記憶装置から戻すことが行われても良い。
上述した情報処理方法における処理は、ハードウェア、コンピュータプログラム又はそれらの組み合わせにより実行することができる。具体的には、例えば、コンピュータプログラムを読み込んだプロセッサにより実行することができる。
以下、図面を参照して、本発明の幾つかの実施例について説明する。
図1は、本発明の第一実施例に係る情報処理システムの構成例の概要を示す。なお、以下の説明では、同種の構成要素のどれでも良い場合には親番号のみを用いて説明し、同種の構成要素を区別する場合には親番号に枝符号を付して説明することがある。また、図では枝符号が付いていても、説明を分かりやすくするために、枝符号を用いないで説明することもある。
第一の通信ネットワーク(例えばLAN(Local Area Network)或いはインターネット)15に、複数(二台を例示)の業務コンピュータ17と、管理コンピュータ5が接続されている。また、複数の業務コンピュータ17は、SAN(Storage Area Network)19にも接続されている。SAN19には、ストレージ制御装置27とSAN制御コンピュータ21とが接続されている。SAN制御コンピュータ21は、第二の通信ネットワーク3にも接続されている。第二の通信ネットワーク(例えばLAN或いはインターネット)には、上述した管理コンピュータ5が接続されている。第一の通信ネットワーク15、第二の通信ネットワーク3及びSAN19は、必ずしも上記のように別々の通信ネットワークである必要はなく、例えば、それらのうちの少なくとも二つが、共通のネットワークであっても良い。
業務コンピュータ17、SAN制御コンピュータ21及び管理コンピュータ5のうちの少なくとも一つは、例えば、パーソナルコンピュータ、ワークステーション、メインフレーム又はサーバマシンとすることができる。それらのコンピュータ17、21及び5は、それぞれ実質的に同じハードウェア構成であってもよい。すなわち、業務コンピュータ17Bを代表的に例に採って示す通り、各コンピュータ17、21及び5は、一以上のCPU32と、記憶資源34と、通信ネットワークに接続するためのポートとを備えることができる。記憶資源34は、例えば、一又は複数の物理的な記憶装置により構成することができ、例えば、少なくとも一つのメモリ及び/又は少なくとも一つのディスク型記憶装置(例えばハードディスク)により構成することができる。各コンピュータコンピュータ17、21及び5の記憶資源34は、一以上のコンピュータプログラムを記憶することができる。少なくとも一つのCPU32が、記憶資源34からコンピュータプログラムを読出して実行することができる。
業務コンピュータ17は、所定の業務を実行するためのコンピュータである。業務としては、例えば、WEBサーバとして図示しないクライアントマシンに情報を提供する処理、図示しないクライアントマシンにオンラインでサービスを提供する処理(例えば、クライアントの銀行口座から別の銀行口座に振り込む処理の依頼を受付け、その依頼を受けた場合にはそれに応答して振り込みを実行する処理)、トランザクション処理、或いは、バッチ処理などがある。例えば、業務コンピュータ17は、ストレージ管理処理部25と、一又は複数の仮想コンピュータ(以下、業務仮想コンピュータ)2を備えることができる。業務仮想コンピュータ2は、動的に生成されたり削除されたりされても良いので、業務コンピュータ17には、業務仮想コンピュータ2が存在しない場合もあり得るし、多数個存在する場合もあり得る。
管理コンピュータ5は、この実施形態に係る情報処理システムを管理することができるコンピュータである。管理コンピュータ5の記憶資源は、種々の構成に関する情報を含んだ構成情報11や、所定の処理を実行するための条件に関するポリシー情報13を記憶することができる。管理コンピュータ5は、マネージャ処理部7を備えることができる。マネージャ処理部7は、業務コンピュータ17やストレージ制御装置27から種々の情報を収集することで、構成情報11を構築したり、取得された情報を、管理コンピュータ5に通信可能に接続されている表示装置(例えば、クライアントマシンのディスプレイ画面)9に表示させたりすることができる。
SAN19は、例えば、複数のファイバチャネルスイッチ(以下、FC−SW)71により構成することができる。この構成により、例えば、第一の業務コンピュータ17Aとストレージ制御装置27とを結ぶ通信経路上に存在するFC−SW71の数と、第二の業務コンピュータ17Bとストレージ制御装置27とを結ぶ通信経路上に存在するFC−SW71の数とは、異なることがある。通信経路上に存在するFC−SW71の数を、「通信経路の長さ」と表現することができる。
SAN制御コンピュータ21は、SAN19を管理するコンピュータであり、SAN用エージェント処理部23を備えることができる。SAN用エージェント処理部23については後述する。
ストレージ制御装置27は、自分に接続されている一以上(三台を例示)のストレージ(例えばハードディスクドライブ)39を制御することができる。ストレージ制御装置27は、例えば、SAN19に接続するための一以上(二つを例示)のポートと、一以上のCPU33と、少なくとも一つのメモリ35と、一以上のストレージ39にそれぞれ接続される一以上のストレージインターフェース装置(以下、「I/F」と略記)37とを備えることができる。各ストレージ39に接続される各I/F37は、多重化(例えば二重化)されていてもよい。
複数のストレージ39の各々には、論理ボリューム(以下、「VOL」と略記することがある)41を設定することができる。一つの論理ボリューム41は、図示のように、一つのストレージ39上に設けられても良いが、複数のストレージ39にまたがって設けられても良い。
図2は、図1に示した情報処理システムの機能を表すブロック図である。なお、以下の説明では、記載の冗長を防ぎ読み易くするために、ストレージを「ST」、ストレージ制御装置を「SC」、ストレージ仮想コンピュータを「SVC」、業務コンピュータを「BC」、業務仮想コンピュータを「BVC」と、それぞれ略記する場合がある。
管理コンピュータ5のマネージャ処理部7は、各業務コンピュータ17、ストレージ制御装置27及びSAN制御コンピュータ21から種々の情報を収集し、収集した情報に基づいて、構成情報11を構築することができる。具体的には、例えば、マネージャ処理部7は、全てのストレージ制御装置27の各々から、一以上のST構成情報要素82R、一以上のVOL構成情報要素83R、一以上のSC情報要素84R及び一以上のSC管理情報要素85Rを収集することで、後述するように、構成情報11(図5A参照)に含まれるST構成情報82(図5B参照)、VOL構成情報83(図5C参照)、SC情報84(図6A〜図7A参照)及びSC管理情報85(図7B参照)を構築することができる。また、例えば、マネージャ処理部7は、全ての業務コンピュータ17の各々から、一以上のBC情報要素86Rを収集することで、後述するように、構成情報11に含まれるBC情報86(図8A参照)を構築することもできる。なお、図5Aを参照して更に説明すると、マネージャ処理部7は、構築されたST構成情報82、VOL構成情報83、SC情報84、SC管理情報85、BC情報86及びSAN構成情報701に基づいて、組み合せ情報81を生成し、更に、生成された組み合せ情報81を用いてマッピング情報群87を生成することができる。これらについては、後に詳述する。
再び図2を参照する。マネージャ処理部7は、構成情報11及びSAN構成情報701から把握できる管理情報(例えば、業務コンピュータ17のどのポートからどのストレージ制御装置27のどのポート31を介してどの論理ボリューム41にアクセスできるかを示した情報)703を、業務コンピュータ17に送信することもできる。また、マネージャ処理部7は、構成情報11に基づいて、ストレージ制御装置27を制御する(例えば、ディザスタリカバリ、複製、クラスタ、及びストレージ変更を行う)こともできる。
SAN用エージェント処理部23は、SAN19の構成に関する情報(以下、SAN構成情報)701を、SAN制御コンピュータ21の記憶資源上で管理することができる。SAN構成情報701は、例えば、どの業務コンピュータ17とどのストレージ制御装置27との間にどんなFC−SW71が存在するかや、どのFC−SW71とどのFC−SW71が接続されているか等を表す情報(図4B参照)とすることができる。
業務コンピュータ17に備えられる一以上のCPU及び記憶資源等は、業務コンピュータのリソースプール22であると考えてもよい。業務コンピュータ17には、そのリソースプール22内の一部又は全部が割り当てられた業務仮想コンピュータ2を用意することができる。そのため、格別図示しないが、業務仮想コンピュータ2は、後述のストレージ仮想コンピュータ61と同様に、仮想的なCPUや、仮想的な記憶資源を備えることができる。業務仮想コンピュータ2は、その仮想的なCPUにより、所定の業務を行うためのアプリケーションプログラム(以下、業務AP)4を実行することができる。
ストレージ管理処理部25は、業務コンピュータのリソースプール22の全部又は一部(例えば、少なくとも一つのCPU32の使用率や記憶資源34の記憶領域)を備えた業務仮想コンピュータ2を、業務コンピュータ17に生成することができる。また、逆に、ストレージ管理処理部25は、業務仮想コンピュータ2が備えるリソースプール部分を解放することにより、その業務仮想コンピュータ2を削除することもできる。また、ストレージ管理処理部25は、業務仮想コンピュータ2の生成或いは削除等に基づいて、業務コンピュータ17の記憶資源に格納されている一以上のBC情報要素86Rのうちの少なくとも一つを更新することもできる。また、ストレージ管理処理部25は、所定のイベントが発生した場合に(例えば、マネージャ処理部7から要求を受けた場合、或いは、BC情報要素86Rが更新された場合)、一以上のBC情報要素86Rの全部又は一部(例えば、更新された情報要素のみ)をマネージャ処理部7に送信することもできる。また、ストレージ管理処理部25は、マネージャ処理部7から管理情報703を受信し、受信した管理情報703を、業務コンピュータ17の記憶資源に書込むことができる。
ストレージ39が有する記憶領域は、ストレージ39のリソースプール28であると考えてもよい。そのリソースプール28の一部又は全部に、論理ボリューム41を用意することができる。
図3は、図2に示されたストレージ制御装置27をより詳細に示す。図2及び図3を参照して、ストレージ制御装置27について説明する。
ストレージ制御装置27に備えられるハードウェア群(例えば、一以上のCPU33、少なくとも一つのメモリ35、一以上のポート31及び一以上のI/F37)は、ストレージ制御装置のリソースプール26であると考えることができる。そのリソースプール26における記憶資源には、種々の情報として、例えば、一以上のST構成情報要素82R、一以上のVOL構成情報要素83R、一以上のSC情報要素84R及び一以上のSC管理情報要素85Rが記憶されている。
ストレージ制御装置27には、ストレージ用エージェント処理部282と、仮想コンピュータ処理部93と、バッファ制御処理部409とが備えられる。ストレージ用エージェント処理部282及び仮想コンピュータ処理部93は、ハードウェア、コンピュータプログラム又はそれらの組み合せによって構成することができるが、本実施形態ではコンピュータプログラムであるとする(これは、マネージャ処理部7、SAN用エージェント処理部23、ストレージ管理処理部25、仮想コンピュータ処理部93及びバッファ制御処理部409についても同様である)。そのため、ストレージ用エージェント処理部282及び仮想コンピュータ処理部93は、例えば少なくとも一つのメモリ35からCPU33に読み込まれることにより、動作することができる。
ストレージ用エージェント処理部282は、例えば、ストレージ制御装置27のリソースプール26に関する状況(例えば、CPU33の使用率、メモリ35の使用容量、存在するストレージ仮想コンピュータ61の数、リソースプール26のうちのどの部分がどの仮想コンピュータに割り当てられているか等)を監視することができる。また、例えば、ストレージ用エージェント処理部282は、その監視結果に基づいて、一以上のST構成情報要素82R、一以上のVOL構成情報要素83R、一以上のSC情報要素84R及び一以上のSC管理情報要素85Rのうちの少なくとも一つを更新することができる。また、例えば、ストレージ用エージェント処理部282は、所定のイベントが発生した場合(例えば、マネージャ処理部7から要求を受けた場合、或いは、少なくとも一つの情報要素82R、83R、84R及び85Rが更新された場合)、少なくとも一つの情報要素82R、83R、84R及び85R(例えば、更新された情報要素のみ)をマネージャ処理部7に送信することもできる。また、例えば、ストレージ用エージェント処理部282は、上記の監視結果に基づいて、仮想コンピュータ処理部93に、ストレージ仮想コンピュータ61の生成或いは削除を実行させることもできる。
仮想コンピュータ処理部93は、ストレージ用エージェント処理部282の制御の下で、ストレージ制御装置リソースプール26の全部又は一部を割り当てた仮想コンピュータ(以下、ストレージ仮想コンピュータ)61を生成したり削除したりすることができる。また、仮想コンピュータ処理部93は、種々のプライオリティに関する条件(例えば、仮想コンピュータの優先順位、処理の優先順位)が記述されたプライオリティポリシー92を、例えばメモリ35から取得することができ、そのプライオリティポリシー92を参照して、生成するストレージ仮想コンピュータ61に設定されるべきプライオリティ情報(例えば、どんな処理をどの処理よりも優先的に行うべきかを表す情報)94を特定し、特定されたプライオリティ情報94を、ストレージ仮想コンピュータ61に設定することもできる。図3に例示されているストレージ仮想コンピュータ61は、割り当てられたCPU資源(例えば、一又は複数のCPU33の全部或いは一部(例えば使用率))を、仮想的なCPU63として備え、また、割り当てられたメモリ資源(例えば、一又は複数のメモリ35の全部或いは一部)を、仮想的なメモリ65、仮想的なポートバッファ51、及び仮想的なI/Fバッファ53として備える。ポートバッファ51は、ポート31に対して入力又は出力される情報要素(例えば、要求或いはデータパケット)を記憶することができる。I/Fバッファ53は、I/F37に対して入力又は出力される情報要素を記憶することができる。
バッファ制御処理部409は、例えば、ストレージ制御装置27に存在するストレージ仮想コンピュータ61の数がゼロから一になる場合に起動し、その数がゼロになる場合に停止することができる。また、例えば、バッファ制御処理部409は、ストレージ用エージェント処理部282からの指示により、一以上のストレージ仮想コンピュータ61のうちの少なくとも一つに、ポートバッファ51やI/Fバッファ53を生成したり削除したりすることができる(その際、例えば、ポート31に対してバッファ51(或いはI/F37に対してバッファ53)を、1対1、N対1(N≧2の整数)、或いは1対Nで割り当てることもできる。また、例えば、バッファ制御処理部409は、各ストレージ仮想コンピュータ61毎に、バッファ51、53に関する状態(例えば、バッファ51、53のそれぞれの数、バッファ51、53に蓄積されている情報要素の数など)を監視し、監視結果を、ストレージ用エージェント処理部282に通知することもできる。
以下、本実施例に係る情報処理システムの種々の要素について詳細に説明する。
図4Aは、ストレージ制御装置27の少なくとも一つのメモリ35の記憶領域の使用例を示す。
少なくとも一つのメモリ35の記憶領域には、例えば、制御情報エリア206と、ストレージ仮想コンピュータエリア202と、キャッシュエリア212とが設けられる。
制御情報エリア206には、ストレージ制御装置27の構成に関する情報や、ストレージ制御装置27に接続されている複数のストレージ39に関する情報等が記憶される。
ストレージ仮想コンピュータエリア202は、各ストレージ仮想コンピュータ61毎に用意される。従って、例えば、M個(M≧0の整数)のストレージ仮想コンピュータ61が存在する場合には、ストレージ仮想コンピュータエリア202もM個存在することになる。一つのストレージ仮想コンピュータエリア202には、バッファエリア208と、ワークエリア210とが含まれる。バッファエリア208は、ポートバッファ51及びI/Fバッファ53として使用されるエリアである。ワークエリア210は、仮想的なメモリ65として使用されるエリアである。
キャッシュエリア212は、業務コンピュータ17とストレージ39との間でやり取りされるデータを一時的に記憶するためのエリアである。具体的には、例えば、ストレージ仮想コンピュータ61が、書込み対象データと書込み要求とを業務コンピュータ17から受けた場合、書込み対象データをキャッシュエリア212に一時格納し、格納された書込み対象データをキャッシュエリア212から読出し、読出した書込み対象データを、論理ボリューム41に書込むことができる。また、例えば、ストレージ仮想コンピュータ61が、読出し要求を業務コンピュータ17から受けた場合、論理ボリューム41から読出し対象データを読出してキャッシュエリア212に一時格納し、格納された読出し対象データをキャッシュエリア212から読出し、読出した読出し対象データを、業務コンピュータ17に送信することができる。
図4Bは、SAN用エージェント処理部23で管理されているSAN構成情報701の概念例を示す。
SAN構成情報701は、前述した通り、例えば、どの業務コンピュータ17のポートとどのストレージ制御装置27のポート31との間にどんなFC−SW71が存在するかや、どのFC−SW71とどのFC−SW71が接続されているかを表す情報とすることができる。具体的には、例えば、業務コンピュータ17とストレージ制御装置27との間の通信経路毎に、業務コンピュータ17のポートのIDと、ストレージ制御装置27のポートのIDと、それらのポート間に存在する一以上のFC−SWにそれぞれ対応した一以上のIDとが、SAN構成情報に含まれていてもよい。一以上のFC−SWにそれぞれ対応した一以上のIDは、業務コンピュータ17からストレージ制御装置27に接続されている順に並んでいても良い。
SAN用エージェント処理部23は、このようなSAN構成情報701を参照することにより、図4Bに例示する構成を特定することができる。すなわち、例えば、業務コンピュータ17Aのポート600が、FC−SW71Aを介してストレージ制御装置27Aの第一のポート31Aに接続されていることがわかる。また、例えば、業務コンピュータ17Aのポート600が、FC−SW71A及びFC−SW71Bを介してストレージ制御装置27Aの第二のポート31Bに接続されていることがわかる。
次に、管理コンピュータ5のマネージャ処理部7によって構築される構成情報11について説明するが、その前に、まず、この図4Bを用いて、本実施例に係る情報処理システムのより具体的な構成例を説明する。
すなわち、この実施例では、例えば、少なくとも、業務コンピュータ17A〜17Eがあるとする。それらのうち、業務コンピュータ17A及び17Dは、処理速度が高速であり(例えば動作周波数の多いCPUを有し)、業務コンピュータ17Bは、処理速度が中速であり、業務コンピュータ17Cは、処理速度が低速であるとする。また、業務コンピュータ17Eは、例えば、複数のブレード型コンピュータ(例えばいわゆるブレードサーバ)を搭載したものであり、処理速度は中速と低速のどちらかになるものとする。なお、業務コンピュータ17の性能要件として、処理速度が採用されているが、それに代えて又は加えて、別の性能要件が採用されても良い。また、処理速度は、高速、中速及び低速の三段階に限らず、より少なく又はより多くすることもできる。
また、少なくとも、ストレージ制御装置27A及び27Bがあるものとする。ストレージ制御装置27Aには、ストレージ39A〜39Cが接続されており、ストレージ制御装置27Bには、ストレージ39D及び39Eが接続されているものとする。ストレージ39A及びストレージ39Dは、書込み速度が高速なストレージであり、ストレージ39B及び39Eは、書込み速度が中速なストレージであり、ストレージ39Cは、書込み速度が低速なストレージであるとする。なお、ストレージ39の性能要件としては、このように書込み速度を採用することができるが、それに代えて又は加えて、別の性能要件(例えば信頼性(具体例としてMTBF(平均故障間隔))を採用することもできる。また、書込み速度は、高速、中速及び低速の三段階に限らず、より少なく又はより多くすることもできる。
以上の構成において、例えば以下のような構成情報11が構築される。
図5Aは、図4Bに例示した情報処理システムにおいて構築される構成情報の構成例を示す。
構成情報11には、図に示す通り、ST構成情報82、VOL構成情報83、SC情報84、SC管理情報85及びBC情報86が含まれている。マネージャ処理部7は、これらの情報のうち、ST構成情報82、VOL構成情報83、SC情報84、SC管理情報85及びBC情報86を、収集された一以上のST構成情報要素82R、一以上のVOL構成情報要素83R、一以上のSC情報要素84R、一以上のSC管理情報要素85R及び一以上のBC情報要素86Rから構築することができる。
以下、各情報について説明する。
図5Bは、ST構成情報82の構成例を示す。
ST構成情報82は、複数のST構成情報要素(例えばレコード)82Rによって構成されており、例えば、本実施例に係る情報処理システムに備えられる複数のストレージ39の各々に関する情報を表している。各ST構成情報要素82Rには、例えば、その要素82Rに対応するストレージ39の名称である「ストレージ名」と、ストレージ39の記憶容量である「ストレージ容量」と、そのストレージ39の記憶容量のうちVOL41として使用されている容量である「ストレージ使用容量」と、そのストレージ39の書込み速度を表す「性能」とが含まれている。なお、各ST構成情報要素82Rには、例えば、更に、ストレージ39がどのストレージ制御装置27に接続されているものかを表す情報(例えば、ストレージ制御装置27の名称)が含まれても良い。また、名称に代えて多種のIDでストレージ39が特定されても良い(これは、以下の他の要素についても同様である)。また、「性能」において、高速、中速及び低速という情報は、例えば、手動で設定されても良いし、或いは、所定のルール(例えば、書込み速度がどの範囲に属する場合にはどんな速度に該当するかを表すルール)に基づいて自動的に設定されても良い。
このST構成情報82を参照することにより、例えば、本実施例に係る情報処理システムに幾つのストレージ39が存在し、各ストレージ39は、どんな性能であり、どれだけの記憶容量を有し、そのうちどれだけがVOL41として割り当てられているかを把握することができる。
図5Cは、VOL構成情報83の構成例を示す。
VOL構成情報83は、複数のVOL構成情報要素(例えばレコード)83Rによって構成されており、例えば、本実施例に係る情報処理システムに備えられる複数のVOL41の各々に関する情報を表している。各VOL構成情報要素83Rには、例えば、その要素83Rに対応するVOL41を備えるストレージの「ストレージ名」と、そのVOL41の名称である「VOL名」と、そのVOL41の記憶容量である「VOL容量」と、そのVOL41の記憶容量のうち使用中の容量(例えば情報で占められている容量)である「VOL使用容量」とが含まれている。
このVOL構成情報83を参照することにより、例えば、本実施例に係る情報処理システムにおけるどのストレージ39にどんなVOL41が存在するかを把握することができる。また、図5Bに例示したストレージ構成情報82も参照すれば、ストレージ39の性能等も把握することができる。
図6Aは、SC情報84の構成例を示す。
SC情報84は、複数のSC情報要素(例えばレコード)84Rによって構成されており、例えば、本実施例に係る情報処理システムに備えられる各ストレージ制御装置27に関する情報を表している。各SC情報要素84Rには、例えば、その要素84Rに対応するストレージ制御装置27の名称である「SC名」と、そのストレージ制御装置27に接続されているストレージ39の数である「接続ストレージ数」と、そのストレージ制御装置27に関する制御情報である「ストレージ制御情報」と、接続されているストレージ39に関する情報である「接続ストレージ情報」とがある。接続ストレージ情報には、例えば、接続されているストレージの各々の「ST名」が含まれている。
図6Bは、SC情報要素84Rに含まれているストレージ制御情報の構成例を示す。
ストレージ制御情報には、例えば、その要素84Rに対応するストレージ制御装置27に搭載されているポート31の数である「搭載ポート数」と、そのポート31に関する情報である「搭載ポート情報」と、そのストレージ制御装置27に搭載されているI/F37の数である「搭載I/F数」とが含まれている。また、ストレージ制御情報には、例えば、そのI/F37に関する情報である「搭載I/F情報」と、そのストレージ制御装置27に存在するストレージ仮想コンピュータ61の数である「SVC数」と、そのストレージ仮想コンピュータ61に関する情報である「SVC情報」とが含まれている。更に、ストレージ制御情報には、例えば、そのストレージ制御装置27に搭載されているCPU33の数である「搭載CPU数」と、そのストレージ制御装置27に搭載されている少なくとも一つ以上のメモリ35により提供される記憶容量である「搭載メモリ容量」とが含まれている。図中のn、m、p及びeは、値を示し、fは、例えば単位がメガバイトの数値である。
SVC情報には、例えば、各ストレージ仮想コンピュータ61毎に、そのストレージ仮想コンピュータ61の名称である「SVC名」と、そのストレージ仮想コンピュータ61について詳細情報が有るか無いかを示す「詳細情報の有無」とが含まれている。
図7Aは、ストレージ仮想コンピュータ61について詳細情報の構成例を示す。
ストレージ仮想コンピュータ61に関する詳細情報には、例えば、そのストレージ仮想コンピュータ61に割り当てられているポート31の数である「使用ポート数」と、そのポート31に関する情報である「使用ポート情報」と、そのストレージ仮想コンピュータ61に割り当てられているI/F37の数である「使用I/F数」と、そのI/F37に関する情報である「使用I/F情報」とが含まれている。また、例えば、詳細情報には、そのストレージ仮想コンピュータ61に割り当てられているCPU33の数である「使用CPU数」と、そのCPU33に関する情報である「使用CPU情報」と、そのストレージ仮想コンピュータ61に割り当てられているメモリ35の容量である「使用メモリ容量」とが含まれている(図中のyは例えば単位がメガバイトの数値である)。更に、例えば、詳細情報には、そのストレージ仮想コンピュータ61に存在するポートバッファ51の数である「ポートバッファ数」と、そのポートバッファ51に関する情報である「ポートバッファ情報」と、そのストレージ仮想コンピュータ61に存在するI/Fバッファ53の数である「I/Fバッファ数」と、そのI/Fバッファ53に関する情報である「I/Fバッファ情報」とが含まれている。
使用ポート情報には、例えば、各ポート31の「ポート名」が含まれており、その数は、「使用ポート数」と同じである。使用I/F情報には、例えば、各I/F37の「I/F名」が含まれおり、その数は、「使用I/F数」と同じである。使用CPU情報には、例えば、各CPU33毎の「CPU名」と「CPU使用率」とのセットが含まれており、そのセットの数は、「使用CPU数」と同じである。また、ここで言う「CPU使用率」は、割り当てられた使用率であっても良いし、実際に使用中の使用率であっても良い。すなわち、この図7Aの例で言えば、3つのCPU33A〜33Cのうち、CPU33Aは使用率100%分、CPU33Bは使用率50%分、CPU33Cは使用率80%分が割り当てられ、これらによって、ストレージ仮想コンピュータ61に仮想的なCPU63が割り当てられ、その割り当てられた範囲で、使用されても良いし、或いは、3つのCPU33A〜33Cの全てが割り当てられ、或る時点での使用状況として、CPU33Aは使用率100%、CPU33Bは使用率50%、CPU33Cは使用率80%であったとしても良い。
以上のようなSC情報84を参照することにより、例えば、本実施例に係る情報処理システムにどんなストレージ制御装置27が存在し、そのストレージ制御装置27にはどんなストレージ仮想コンピュータ61が存在するか等を把握することができる。また、図5B及び図5Cに例示した情報82、83も参照すれば、ストレージ制御装置27にはどんなストレージ39が接続されているのかも把握することができる。
図7Bは、SC管理情報85の構成例を示す。
SC管理情報85は、複数のSC管理情報要素(例えばレコード)85Rによって構成されており、例えば、ストレージ制御装置27の各ポート31と各VOL41との間の論理的なパスの構成を表している。各SC管理情報要素85Rには、例えば、そのパスの一端にあるVOL41の「VOL名」と、そのVOL41にアクセス可能なストレージ仮想コンピュータ61の「SVC名」と、そのストレージ仮想コンピュータ61に割り当てられたポート31の「ポート名」及びI/F37の「I/F名」とが含まれている。
このSC管理情報85を参照することにより、例えば、ポート31Aを介して入力された情報は、ストレージ仮想コンピュータ61Aが受信し、そのストレージ仮想コンピュータ61Aが、I/F37Aを介してVOL41Aに書込むことができるということがわかる。
ストレージ仮想コンピュータ61は、このSC管理情報要素85Rに従って、業務仮想コンピュータ2とVOL41との間のデータのやり取りを制御することができる。例えば、ストレージ仮想コンピュータ61は、自分のSVC名に対応したポート名のポート31を介して、業務仮想コンピュータ2から書込み要求及び書込み対象データを受け、メモリ35のキャッシュエリア212に書込み対象データを一時的に書込み、そのキャッシュエリア212に書込んだ書込み対象データを、自分のSVC名に対応したI/F名のI/F37を介して、自分のSVC名に対応したVOL名を有するVOL41に書込むことができる。また、ストレージ仮想コンピュータ61は、自分のSVC名に対応したポート名のポート31を介して、業務仮想コンピュータ2から読出し要求を受け、自分のSVC名に対応したI/F名のI/F37を介して、自分のSVC名に対応したVOL名を有するVOL41から、読出し要求に従う読出し対象データを読出し、読出された読出し対象データを、メモリ35のキャッシュエリア212に一時的に書込み、そのキャッシュエリア212に書込んだ読出し対象データを、自分のSVC名に対応したポート名のポート31を介して、読出し要求の送信元の業務仮想コンピュータ2に送信することができる。
SC管理情報要素85Rは、例えば、ストレージ用エージェント処理部282を経由して受けるマネージャ処理部7からの要求に応じてストレージ仮想コンピュータ61が生成、削除、複製或いは条件変更等される都度に、追加、削除或いは更新することができる。
図8Aは、BC情報86の構成例を示す。
BC情報86は、複数のBC情報要素(例えばレコード)86Rによって構成されており、例えば、本実施例に係る情報処理システムに備えられる複数の業務コンピュータ17に関する情報を表している。BC情報要素86Rには、例えば、その要素86Rに対応する業務コンピュータ17の名称である「BC名」と、その業務コンピュータ17が有するポート600の「ポート名」とが含まれている。また、BC情報要素86Rには、例えば、その要素86Rに対応する業務コンピュータ17内に存在するコンピュータに関する情報が含まれている。具体的には、例えば、その業務コンピュータ17に業務仮想コンピュータが存在する場合には、その業務仮想コンピュータの名称や、その業務仮想コンピュータが実行することができる業務APに関する情報(例えば、AP名、性能要件及び業務ID)が含まれる。一方、その業務コンピュータ17に業務仮想コンピュータが存在しない場合には、その業務コンピュータ17に備えられている各業務AP毎に、業務APに関する情報として、例えば、AP名、性能要件及び業務IDが含まれている。業務APの性能要件とは、その業務APに求められる性能の要件(例えば、処理速度)であって、例えば、高速、中速及び低速のうちのいずれかとすることができる。業務IDとは、この実施例に係る情報処理システムにおいて一意に識別できるIDであって、例えば、業務APのAP名と、その業務APを備える業務コンピュータ17のBC名とを含んだ情報とすることができる。
このBC情報86を参照することにより、例えば、どの業務コンピュータ17に業務仮想コンピュータ2が存在するか否かや、存在する場合には幾つの業務仮想コンピュータ2が存在するかや、どの業務コンピュータ17或いはどの業務仮想コンピュータ2でどんな業務AP4を実行できるかなどを、把握することができる。
図8Bは、管理コンピュータ5に設定することができる管理情報703の構成例を示す。
管理情報703は、例えば、構成情報11中のSC情報84及びSC管理情報85と、SAN構成情報701とから構築することができる。管理情報703は、例えば、その管理情報703の送信先の業務コンピュータ17と、その業務コンピュータ17とストレージ制御装置27との間の通信経路を表す。具体的には、例えば、管理情報703には、各通信経路毎に、業務コンピュータ17のアクセス先となるストレージ制御装置27の「SC名」と、それのアクセス先となるストレージ制御装置27のポート(以下、SCポート)の名称である「アクセス先ポート名」と、アクセス元となる業務コンピュータ17のポート(以下、BCポート)の名称である「アクセス元ポート名」と、アクセス先となるVOL41の「VOL名」とが含まれる。
管理コンピュータ5は、業務コンピュータ17やストレージ制御装置27に、この制御情報703を送信することができる。業務コンピュータ17やストレージ制御装置27は、この管理情報703を参照することにより、どのBCポート600からどのストレージ制御装置27のどのSCポート31を介してどの論理ボリューム41にアクセスできるかを把握することができる。
以上が、本実施例に係る情報処理システムの種々の要素についての説明である。
この情報処理システムは、業務APの性能要件に応じた処理を行うための工夫が施されている。具体的には、この情報処理システムは、性能要件が「高速」の業務APがCPU32により実行されることにより出力された情報要素を高速に処理し、性能要件がそれよりも劣る業務APが実行されることにより出力された情報要素を、性能要件が「高速」の業務APが実行されることにより出力された情報要素よりも低速に処理するように工夫されている。なお、本実施例で言う「情報要素」とは、情報の全部又は一部のことである。情報とは、例えば、書込み要求又は読出し要求であるI/O要求(入出力要求)であってもよいし、ストレージ39に書き込まれる書き込み対象情報であっても良いし、ストレージ39から読み出される読出し対象情報であっても良い。
以下、上記の工夫の一例を詳細に説明する。
図9Aは、業務APの性能要件に応じた処理を行うために施された業務コンピュータ17における工夫の説明図である。
業務コンピュータ17は、BC名が「BC17B」である業務コンピュータ17Bとする(図8A参照)。従って、業務コンピュータ17Bには、複数の業務AP4として、4つの業務AP4A〜4Dが備えられているとする。4つの業務AP4A〜4Dのうち、業務AP4Aの性能要件は「高速」で、業務AP4B及び4Dの性能要件は「中速」で、業務AP4Cの性能要件は「低速」であるとする。
業務コンピュータ17Bのストレージ管理処理部25は、各業務AP4A〜4Dに対するアプリケーションプログラムインターフェース(以下、API)828を有している。ストレージ管理処理部25は、API828に対して自分を呼び出した業務AP4のAP名を特定することができる。
この第一実施例では、業務コンピュータ17Bの記憶資源(例えば一又は複数のメモリ)の一部には、4つの業務AP4A〜4Dにそれぞれ対応する4つのバッファセット44A〜44Dが設けられている。すなわち、業務ID毎に、バッファセット44が設けられている。各バッファセット44について、業務ID「AP1」(つまり業務AP4A)に対応したバッファセット44Aを代表的に例に採り説明すると、バッファセット44Aは、業務AP4Aが実行されることにより出力された情報要素を含んだ後述の要素セット980が書き込まれる第一入力バッファ44AAと、業務AP4Aに出力される情報要素を含んだ要素セット980が書き込まれる第二出力バッファ44ABとで構成されている。なお、要素セット980とは、情報要素と他種の情報とを含んだ情報群のことである。各バッファ44AA及び44ABに入力された要素セット980は、入力された順序で出力されても良いし、その順序とは別の順序で出力されても良い。
また、この第一実施例では、業務コンピュータ17Bの記憶資源(例えば一又は複数のメモリ)の一部に、BCポート600Bを介して入出力される要素セット980の別のバッファセット453が設けられている。別のバッファセット453は、BCポート600Bを介して出力される要素セットが書き込まれる第一出力バッファ453Bと、BCポート600Aを介して入力された要素セット980が書き込まれる第二入力バッファ453Aとで構成されている。各バッファ453A及び453Bに入力された要素セット980は、入力された順序で出力されても良いし、その順序とは別の順序で出力されても良い。
各バッファセット44A〜44Dや、別のバッファセット453は、ストレージ管理処理部25によって管理されている。ストレージ管理処理部25には、4つの第一入力バッファから第一出力バッファ453Bへの要素セット980の移動を制御することができるポリシーエージェント処理部424が備えられる。ポリシーエージェント処理部424は、例えば、ストレージ管理処理部25のプログラムモジュールの一つであり、各バッファセット44A〜44Dの重み付けを管理するためのバッファ管理テーブル425を保持することができる。
バッファ管理テーブル425には、例えば、図9Bに例示するように、各業務IDと、その業務IDに対応するバッファセット44の名称と、そのバッファセット44の重み付け比率(例えば単位は%)とが登録される。例えば、全ての重み付け比率の合計値が100になるように、各バッファセット44の重み付け比率は設定される。重み付け比率は、管理コンピュータ5を利用する管理者が設定することもできるし、マネージャ処理部7及びストレージ管理処理部25の少なくとも一方が、ポリシー情報13に従って自動的に動的に変更することもできる。この実施例では、重み付け比率は、業務ID毎に設定されるが、その業務IDに対応する業務APの性能要件に基づいて設定されることが好ましい。具体的には、例えば、性能要件が「高速」の業務APの業務IDに対応する重み付け比率は、性能要件がそれよりも低い業務APの業務IDに対応する重み付け比率よりも高い値とされることが好ましい。なぜなら、業務APの性能要件に応じた処理を実行するためである。
ポリシーエージェント処理部424は、バッファ管理テーブル425に基づいて、各第一入力バッファ毎に、その第一入力バッファから第一出力バッファ453Bへ移動させる要素セット980の数を制御することができる。
図9Cは、要素セット980の構成例を示す。
ストレージ管理処理部25とストレージ制御装置27との間でやり取りされる要素セット980には、ストレージ管理処理部25からストレージ制御装置27に送信される要素セットと、ストレージ制御装置27からストレージ管理処理部25に送信される要素セットとがある。後者の要素セットは、例えば、前者の要素セット中の情報要素に起因して生成された情報要素(例えば、I/O要求に対する応答、或いは、読み出し要求に従って読み出されたデータの全部又は一部)を含む要素セットである。以下、ストレージ管理処理部25からストレージ制御装置27に送信される要素セットを「下り要素セット」と呼び、ストレージ制御装置27からストレージ管理処理部25に送信される要素セットを「上り要素セット」と呼び、下り要素セットと上り要素セットのどちらでも良い場合には単に「要素セット」と呼ぶ場合がある。
要素セット980には、例えば、ヘッダフィールド981、タイムスタンプフィールド982、業務IDフィールド983及び情報要素フィールド984がある。各フィールドは、固定長であっても可変長であっても良い。
ヘッダフィールド981には、要素セットに関する所定種類の情報として、例えば、要素セット980を識別するための情報である要素セットIDや、情報要素の発行元の業務APのアクセス先となる論理ボリュームのVOL名等がセットされる。
タイムスタンプフィールド982には、時刻を表す一又は複数のタイムスタンプがセットされる。具体的には、例えば、タイムスタンプフィールド982には、要素セット980が業務コンピュータ17Bからストレージ制御装置27に送信される場合には、業務AP4からストレージ管理処理部25が情報要素を受けた時刻を表すタイムスタンプがセットされる。また、例えば、ストレージ制御装置27から業務コンピュータ17Bに要素セット980が送信される場合には、タイムスタンプフィールド982には、要素セット980が送信される時刻を表すタイムスタンプがセットされる。
下り要素セットの業務IDフィールド983には、その下り要素セット中の情報要素を出力した業務APの業務IDがセットされる。上り要素セットの業務IDフィールド983には、その上り要素セット中の情報要素が発行される起因となった情報要素を出力した業務APの業務ID(例えば、その上り要素セットに対応する下り要素セット中の業務ID)がセットされる。すなわち、下り要素セットと上り要素セットとの数の比は、1対1であっても良いし、複数対1であっても良いし、1対複数であっても良い。
情報要素フィールド984には、情報要素がセットされる。下り要素セットの情報要素フィールド984にセットされる情報要素としては、例えば、業務AP4が実行されることにより出力されたI/O要求の全部又は一部、或いは、書込み対象データの全部又は一部である。上り要素セットの情報要素フィールド984にセットされる情報要素としては、例えば、VOL41から読み出された読出し対象データの全部又は一部、或いは、ストレージ制御装置27から発行される応答の全部又は一部である。
以下、業務コンピュータ17Bのストレージ管理処理部25において行われる処理の流れを説明する。
図10は、業務コンピュータ17Bのストレージ管理処理部25において行われる処理の流れの一例を示す。
ストレージ管理処理部25は、各業務AP4A〜4Dから情報要素の入力を受付けている(ステップS101)。情報要素の入力とは、ストレージ管理処理部25が、各業務AP4A〜4Dから、要素セット980にセットするサイズの情報要素を受けることも、情報を受けて、その情報を複数の情報要素に分割することのいずれであっても良い。
ストレージ管理処理部25は、例えば業務AP4Aから情報要素が入力された場合(S102)、自分のAPI828を呼び出した業務AP4AのAP名をその業務AP4Aから入力し、且つ、情報要素が入力されたときの時刻を表すタイムスタンプを生成する(S103)。
また、ストレージ管理処理部25は、S103で入力されたAP名と、自分を備える業務コンピュータ17BのBC名とを含んだ業務IDを生成する(S104)。
ストレージ管理処理部25は、要素セットIDを生成し、その要素セットIDと、S102で入力された情報要素と、S103で生成されたタイムスタンプと、S104で生成された業務IDとを含んだ下り要素セットを生成する(S105)。その際、ストレージ管理処理部25は、例えば、業務AP4Aからファイル名の指定を受け、ファイル名からVOL名を特定するとともに、そのVOL名に対応するSC名及びアクセス元ポート名等を管理情報703(図8B参照)から特定し、対応するVOL名や、特定されたSC名及びアクセス元ポート名等を、下り要素セットのヘッダフィールド981に書き込むことができる。
ストレージ管理処理部25は、生成された下り要素セットに含まれる業務IDに対応したバッファセットを、例えばバッファ管理テーブル425を参照することにより特定し(S106)、特定されたバッファセット44中の第一入力バッファに、S105で生成された下り要素セットを書き込む(S107)。
ストレージ管理処理部25は、BCポート600Bから上り要素セットが入力された場合、入力された上り要素セットを第二入力バッファ453Aに書き込む。そして、ストレージ管理処理部25は、第二入力バッファ453Aに格納されている各上り要素セット毎に、その上り要素セット中の業務IDに対応する性能要件を、業務コンピュータ17Bで記憶されているBC情報要素86Rから特定する。ストレージ管理処理部25は、性能要件が高い上り要素セットを優先的に第二入力バッファ453Aから第一出力バッファに移動させる。つまり、ストレージ管理処理部25は、性能要件が高い上り要素セットから先に第一出力バッファに移動させる。
具体的には、例えば、ストレージ管理処理部25は、性能要件「高速」に対応する業務IDの上り要素セットが第二入力バッファ453Aに存在する間、その上り要素セットを、第二入力バッファ453Aから、その上り要素セット中の業務IDに対応するバッファセット44中の第二出力バッファに移動させる(S114)。それが完了したら、次に、ストレージ管理処理部25は、性能要件「中速」に対応する業務IDの上り要素セットが第二入力バッファ453Aに存在する間、その上り要素セットを、第二入力バッファ453Aから、その上り要素セット中の業務IDに対応するバッファセット44中の第二出力バッファに移動させることができる(S115)。そして、それも完了したら、ストレージ管理処理部25は、性能要件「低速」に対応する業務IDの上り要素セットが第二入力バッファ453Aに存在する間、その上り要素セットを、第二入力バッファ453Aから、その上り要素セット中の業務IDに対応するバッファセット44中の第二出力バッファに移動させることができる(S116)。
ストレージ管理処理部25は、第一出力バッファ453Bに下り要素セットが存在する場合、入力された順序で下り要素セットをBCポート600Bに出力することができ、その際、出力する下り要素セットに、その下り要素セットを出力するときの時刻を表すタイムスタンプを含めることができる(S117)。なお、これに代えて、例えば、第一出力バッファ453BからBCポート600Bへの出力は、第二入力バッファ453Aから各第二出力バッファ44ABへの出力と同様に、性能要件の高い順番に行われても良い。出力された下り要素セットは、その下り要素セットのヘッダフィールド981に書かれているSC名を有するストレージ制御装置27に送信される。
ストレージ管理処理部25は、第二出力バッファ44ABに上り要素セットが存在する場合、入力された順序で上り要素セットを、対応する業務AP4Aに出力することができる(S118)。
ストレージ管理処理部25は、ポリシーエージェント処理部424による処理を実行することができる(S120)。
ストレージ管理処理部25は、フラグ200を「1」にセットすることで、フラグ200を「0」にセットされたときに始まるループから抜けることができる。
図11は、ポリシーエージェント処理部424によって行われる処理の流れの一例を示す。
ポリシーエージェント処理部424は、入力を受付けている(S120−1)。
ポリシーエージェント処理部424は、マネージャ処理部7から重み付け比率の参照要求を受けた場合、バッファ管理テーブル425を応答としてマネージャ処理部7に送信することができる(S120−2)。
ポリシーエージェント処理部424は、マネージャ処理部7から重み付け比率の変更要求を受けた場合、マネージャ処理部7から指定された業務IDの重み付け比率を、マネージャ処理部7から指定された重み付け比率に変更することができる(S120−3)。
ポリシーエージェント処理部424は、バッファ管理テーブル425を参照し、各業務ID毎(各バッファセット毎)の最新の重み付け比率を取得する(S120−4)。この処理は、例えば、定期的に実行される。
ポリシーエージェント処理部424は、S120−4の後、全ての第一入力バッファにある要素セットの総数を算出する(S120−5)。また、ポリシーエージェント処理部424は、各業務ID毎の性能要件をBC情報要素86Rから取得する(S120−6)。そして、ポリシーエージェント処理部424は、フラグ300をゼロにセットし、以下のS120−7を行う。
すなわち、ポリシーエージェント処理部424は、性能要件が最も高い(つまり「高速」)業務IDに対応する第一入力バッファから順に(性能要件が同じ場合には特定の業務ID(例えば番号が若い)に対応する第一入力バッファから順に)、第一入力バッファ内の要素セットを第一出力バッファ453Bに移す。その際、ポリシーエージェント処理部424は、算出された要素セットの総数をMとし、処理対象の第一入力バッファに現在格納されている要素セットの数をHとし、その第一入力バッファに対応する業務IDの重み付け比率をJとした場合、H<K=M・J/100か否かを判断する。ポリシーエージェント処理部424は、H<Kであれば、処理対象の第一入力バッファからH個の要素セットを第一出力バッファ453Bに移し、H≧Kであれば、K個の要素セットを第一出力バッファ453Bに移す(S120−7)。ここで、好ましくは、重み付け比率Jは、性能要件が高いほど高い値なので、第一出力バッファ453Bに移される要素セットの数は、性能要件が高い業務IDほど多い。
ポリシーエージェント処理部424は、このS120−7の処理を、全ての第一入力バッファについて行って、フラグ300を1にセットし(S120−8)、S120−7を終える。
ストレージ管理処理部25は、第一出力バッファ453Bに移された要素セットを、例えば、第一出力バッファ453Bに書かれた順に、BCポート600Bを介して、ストレージ制御装置27に送信する。
以上のS120−4〜S120−8の処理により、性能要件の高い第一入力バッファから先に要素セットが第一出力バッファ453Bを介してBCポート600Bに出力される。また、S120−4〜S120−8の処理により、単位時間当たりに出力される要素セットの数は、性能要件が高い第一入力バッファほど多い。
上述した重み付け比率に基づく処理(例えば、図11のS120−7)は、下りの通信における入力バッファから出力バッファへの要素セットの移動に代えて又は加えて、上りの通信における出力バッファからの出力に適用されても良い。それにより、例えば、ストレージ管理処理部25は、同一の所定時間帯において、業務ID=AP3に対応する第二出力バッファから業務AP4Cに出力される要素セットの数よりも、業務ID=AP1に対応する第二出力バッファから業務AP4Aに出力される要素セットの数の方が多くすることができる。なお、このことは、後述するストレージ制御装置27における処理にも適用することができる。
図12は、業務APの性能要件に応じた処理を行うために施されたストレージ制御装置27における工夫の説明図である。
ストレージ制御装置27でも、業務コンピュータ17と実質的に同様の構成が施されている。
すなわち、ストレージ制御装置27には、SCポート31を介して入出力される情報のバッファとしての役割を担うポートバッファセット51と、I/F37を介して入出力される情報のバッファとしての役割を担うI/Fバッファセット53とが備えられる。各種バッファセット51,53は、メモリ35上のバッファエリア208に設けることができる。
一つのストレージ制御装置27に備えられるポートバッファセット51は、一つでも複数でも良いが、この実施例に係る情報処理システムに備えられるポートバッファセット51の数は、この情報処理システムに備えられるバッファセット44の数と同じである。すなわち、ポートバッファセット51は、バッファセット44と同様に、業務ID毎に備えられる。各ポートバッファセット51について、業務ID「AP1」(つまり業務AP4A)に対応したポートバッファセット51Aを代表的に例に採り説明すると、ポートバッファセット51Aは、下り要素セットが書き込まれるポート入力バッファ51AAと、上り要素セットが書き込まれるポート出力バッファ51ABとで構成されている。
I/Fバッファセット53は、I/F37を介して出力される情報要素を含んだ下り要素セットが書き込まれるI/F出力バッファ53Bと、I/F37を介して入力された情報要素を含んだ上り要素セットが書き込まれるI/F入力バッファ53Aとで構成されている。
各ポートバッファセット51やI/Fバッファセット53は、SVC61のバッファ制御処理部409によって管理されている。バッファ制御処理部409は、例えば、業務IDを管理するための業務ID管理テーブル926と、各ポートバッファセット51の重み付けを管理するためのバッファ管理テーブル925を保持することができる。業務ID管理テーブル926には、図13Aに例示するように、各業務IDと、その業務IDに対応する性能要件と、後述する取り外されたデータとが記録される。バッファ管理テーブル925には、図13Bに例示するように、各業務IDと、その業務IDに対応するポートバッファセット51の名称と、そのポートバッファセット51の重み付け比率とが記録されている。ストレージ制御装置27に備えられている一又は複数のポートバッファセット51の重み付け比率の合計が100になるように、各ポートバッファセット51の重み付け比率が設定される。
再び図12を参照する。バッファ制御処理部409は、ストレージ管理処理部25と同様の処理を行うことができる。
すなわち、例えば、バッファ制御処理部409は、性能要件の高いポート入力バッファから先に要素セットをI/F出力バッファ53Bに移すことができる。また、例えば、バッファ制御処理部409は、I/F入力バッファ53Aに格納されている一又は複数の要素セットのうち、性能要件が高いものから順に、ポート出力バッファに移すことができる。ポート入力バッファからI/F出力バッファに要素セットを移動させる際、及び、I/F入力バッファからポート出力バッファに要素セットを移動させる際、バッファ制御処理部409は、キャッシュエリア212を介して要素セットを移動させることができる。
また、バッファ制御処理部409は、I/F出力バッファから出力した下り要素セット内の情報要素をI/F37を介してVOL41に書き込むことができる。また、バッファ制御処理部409は、VOL41からI/F37を介して入力された情報要素を含んだ上り要素セットを生成してI/F入力バッファ53Aに書き込むことができる。なお、これらの処理の際、バッファ制御処理部409は、下り要素セット内の情報要素以外のデータを当該下り要素セットから取り外し、その取り外されたデータを、上記「取り外されたデータ」として、業務ID管理テーブル926(特に、例えば、その取り外されたデータ中の業務IDに対応する欄)に、登録しておくことができる。そして、バッファ制御処理部409は、下り要素セット中の情報要素(以下、下り情報要素)に対応した情報要素(以下、上り情報要素)を、下り情報要素の送信元に返す場合に、下り情報要素に対応する「取り外されたデータ」を業務ID管理テーブル926から取得し、取得されたデータと、上り情報要素とを含んだ上り要素セットを生成して、I/F入力バッファ53Aに書き込むことができる。これにより、下り要素セットに対応する上り要素セットを業務コンピュータに送信することができる。なお、データの取り外しは、ポート入力バッファからキャッシュエリア212に下り情報要素が書き込まれる前に行われても良い。また、「取り外されたデータ」の要素セットへの組み込みは、キャッシュエリア212からポート出力バッファに上り情報要素が書き込まれるとき、或いは、ポート出力バッファから上り情報要素が出力されるときに行われても良い。
図14は、この情報処理システムにおいて行われる処理の流れを示す。なお、以下の説明では、その処理流れを分かりやすくするため、一つの下り要素セットに対して一つの上り要素セットが返されるものとする。
この第一実施例では、業務APの性能要件に応じた処理を行うために、複数種類の時間長が測定され、ストレージ管理処理部25、バッファ制御処理部409及びマネージャ処理部7のうちの少なくとも一つによって、測定された各種時間長を短縮化するための対処処理が行われる。
ストレージ管理処理部25は、業務AP4から情報要素を受けた時の時刻t0を表すタイムスタンプ(以下、入力タイムスタンプ)を生成し、その入力タイムスタンプを含んだ下り要素セットを、SAN19を介して、ストレージ制御装置27に送信する。その際、ストレージ管理処理部25は、出力される下り要素セットの出力されるときの時刻t1を表すタイムスタンプ(以下、出力タイムスタンプ)を生成し、ストレージ制御装置27に送信される下り要素セットに、その出力タイムスタンプを含める。ストレージ管理処理部25は、業務コンピュータ17における所定の記憶域に、送信した要素セット中の要素セットIDと、業務IDと、時刻t0及びt1とを対応付けて記憶させることができる。
ストレージ制御装置27のSVC61におけるバッファ制御処理部409は、下り要素セットを受信した場合、下り要素セットを受信した時刻t2を把握することができる。また、バッファ制御処理部409は、下り要素セット中の情報要素に基づいてVOL41にアクセスするときの時刻t3も把握することができる。また、バッファ制御処理部409は、そのアクセスの結果(例えば、書込み完了の応答、或いは、読出し要求に従って読出された情報要素)を受けた時の時刻t4も把握することができる。また、バッファ制御処理部409は、受信した下り要素セットに対応する上り要素セットを出力するときの時刻t5を把握し、その時刻t5を表す別の入力タイムスタンプと、受信した下り要素セットに含まれていた業務ID及び要素セットIDとを含んだ上り要素セットを生成し、その上り要素セットを、下り要素セットの送信元の業務コンピュータ17に送信することができる。バッファ制御処理部409は、上り要素セットに含まれた要素セットID及び業務IDと、時刻t2,t3、t4及びt5とを、ストレージ制御装置27の所定の記憶域(例えばメモリ35の制御情報エリア206)に対応付けて記憶させることができる。また、バッファ制御処理部409は、記憶させた要素セットID、業務ID、時刻t2,t3、t4及びt5のセットを、能動的に又はマネージャ処理部7からの要求に応答して、マネージャ処理部7に通知することができる。
ストレージ管理処理部25は、自分が送信した下り要素セットに対応する上り要素セットを受信した場合、その上り要素セットを受信した時の時刻t6を把握し、その上り要素セット中の要素セットID及び業務IDと時刻t6とを所定の記憶域に記憶させることができる。また、ストレージ管理処理部25は、受信した上り要素セットを第二入力バッファ453Aに書き込み、その上り要素セットを、その上り要素セットに含まれている業務IDに対応する第二出力バッファ44ABに移動させ、その第二出力バッファ44ABから、それに対応する業務AP4に、上り要素セット中の情報要素を出力するが、その出力のときの時刻t7を把握し、上記所定の記憶域に、上記要素セットID及び業務IDに対応付けて時刻t7を記憶させることができる。ストレージ管理処理部25は、記憶させた要素セットID、業務ID、時刻t0、t1、t6及びt7のセットを、能動的に又はマネージャ処理部7からの要求に応答して、マネージャ処理部7に通知することができる。
マネージャ処理部7は、ストレージ管理処理部25から、要素セットID、業務ID、時刻t0、t1、t6及びt7のセットを受信し、管理コンピュータ5における所定の記憶域(又は外部のストレージ)に記憶させることができる。また、マネージャ処理部7は、バッファ制御処理部409から、要素セットID、業務ID、時刻t2,t3、t4及びt5のセットを受信し、所定の記憶域に記憶させることができる。また、マネージャ処理部7は、記憶させた時刻t0,t1,t2,t3,t4,t5、t6及びt7に基づいて、複数種類の時間長を算出することができる。算出する時間長としては、例えば、t7−t0によって算出される(1)応答時間長と、t1−t0によって算出される(2)第一の下り処理時間長と、t2−t1によって算出される(3)下り通信時間長と、t3−t2によって算出される(4)第二の下り処理時間長と、t4―t3によって算出される(5)IO処理時間長と、t5−t4によって算出される(6)第一の上り処理時間長と、t6−t5によって算出される(7)上り通信時間長と、t7−t6によって算出される(8)第二の上り処理時間長と、(9)t3−t0によって算出される下り時間長と、t7−t4によって算出される(10)上り時間長とがある。マネージャ処理部7は、図15Aに例示するように、各要素セットID及び業務IDのセット毎に、時間長テーブル940を準備し、その時間長テーブル940に、算出した(1)〜(10)の時間長(以下、算出された時間長を「時間長の実測値」と呼ぶ場合がある)を登録する。そして、マネージャ処理部7は、ポリシー情報13を参照し、算出した(1)〜(10)の時間長のうちの少なくとも一つの時間長を短縮化するための対処処理を、ストレージ管理処理部25、バッファ制御処理部409又はSAN制御コンピュータ21に実行させることができる。
具体的には、例えば、図15Bに例示するように、ポリシー情報13には、各業務ID毎に、対処処理テーブル1013が含まれている。各業務IDに対応付けられた各対処処理テーブル1013には、どの種類の時間長の実測値がどんな場合にどんな対処処理を実行すべきかが記録されている。より具体的には、例えば、業務ID=AP1は、性能要件「高速」に対応しているため、業務ID=AP1に対応した対処処理テーブル1013には、各種時間長の実測値をより短縮化するために実行すべき対処処理が記録されている。更に具体的には、例えば、業務ID=AP1に対応した対処処理テーブル1013には、下り時間長(t3−t0)の実測値が所定の閾値A1よりも大きい場合、及び/又は、下り時間長の実測値と上り通信長(t7−t4)の実測値との差分が或る定数Sよりも大きい場合に、下り時間長の実測値を短縮化するための対処処理として、以下の(A−1)〜(A−4)の対処処理、
(A−1)業務ID=AP1に対応するポート入力バッファ(及び/又は第一入力バッファ)のリソースと読出し速度とを上げる(代わりに、業務ID=AP1の性能要件よりも低い性能要件の業務ID=AP3に対応するポート入力バッファ(及び/又は第一入力バッファ)のリソースと読出し速度とを下げる)、
(A−2)SANの通信速度を上げる、
(A−3)業務ID=AP1に対応する第一入力バッファ(及び/又はポート入力バッファ)の重み付け比率を上げる(代わりに、業務ID=AP1の性能要件よりも低い性能要件の業務ID=AP3に対応する第一入力バッファ(及び/又はポート入力バッファ)の重み付け比率を下げる)、
(A−4)キャッシュサブエリアの記憶容量を増やす(代わりに、他のキャッシュサブエリアの記憶容量を減らす)、
のうちの少なくとも一つを行うべきであることが記録されている。なお、これは、下り時間長に着目したものであるが、上り時間長に着目した場合に応用することができる。すなわち、上り時間長の実測値が所定の閾値A2よりも大きい場合、及び/又は、上り時間長の実測値と下り通信長の実測値との差分が或る定数S2よりも大きい場合に、上り時間長の実測値を短縮化するための対処処理として、(A−1)〜(A−4)の対処処理の少なくとも一つを行うことが、業務ID=AP1に対応する対処処理テーブル1013に記録されていても良い。その際、例えば、(A−1)及び(A−3)については、上りの通信に適した内容に変更されても良い。すなわち、例えば、(A−1)について言えば、対象となるバッファは、上りの通信経路におけるバッファ(例えば、ポート出力バッファ、第二入力バッファ)とすることができる。
また、格別図示しないが、業務ID=AP1に対応する対処処理テーブル1013には、例えば以下の(a)〜(c)の対処処理、
(a)第一の下り処理時間長の実測値が所定の閾値A3よりも大きい場合、及び/又は、第一の下り処理時間長の実測値と第二の上り処理時間長の実測値との差分が或る定数S3よりも大きい場合に、(A−1)及び/又は(A−3)の対処処理を行うことが記述されていても良い。ただし、(A−1)及び(A−3)では、対象となるバッファは、第一入力バッファとすることができる。
(b)下り通信時間長の実測値が所定の閾値A4よりも大きい場合、及び/又は、下り通信時間長の実測値と上り通信時間長の実測値との差分が或る定数S4よりも大きい場合に、(A−2)の対処処理を行うことが記述されていても良い。
(c)第二の下り処理時間長の実測値が所定の閾値A5よりも大きい場合、及び/又は、第二の下り処理時間長の実測値と第一の上り処理時間長の実測値との差分が或る定数S5よりも大きい場合に、(A−1)及び/又は(A−3)の対処処理を行うことが記述されていても良い。ただし、(A−1)及び(A−3)では、対象となるバッファは、ポート入力バッファとすることができる。
が記述されていてもよい。(a)〜(c)は、下り時間長についての対処処理のように、下りの通信に着目したものであるが、上りの通信にも応用することができる。
マネージャ処理部7は、定期的に、或いは、要素セットID、業務ID及び時刻t0〜t7のセットが新たに得られる都度に、図16Aに例示する処理や、図16Bに例示する処理を実行することができる。すなわち、図16Aに例示するように、マネージャ処理部7は、時間長テーブル940を準備し(S721)、各種時間長を算出し、算出された各種時間長を、S721で準備した時間長テーブル940に登録することができる(S722)。また、例えば、図16Bに例示するように、マネージャ処理部7は、所定の記憶域に記憶されている任意の業務IDに対応する対処処理テーブル1013を参照し(S701)、少なくとも一種類の時間長が、参照した対処処理テーブル1013に記録されている条件に適合するか否かを判断し(S702)、適合すれば(S702でYES)、その対処処理テーブル1013に基づく処理を実行することができる(S703)。参照した対処処理テーブル1013が、例えば、業務ID=AP1に対応する対処処理テーブル1013であった場合、マネージャ処理部7は、以下の処理を実行することができる。
例えば、マネージャ処理部7は、下り時間長の実測値>閾値A1か否かを判断し、下り時間長の実測値>閾値A1であれば、対処処理テーブル1013に従う処理を実行することができる。また、マネージャ処理部7は、下り時間長の実測値と上り時間長の実測値との差分が定数Sよりも大きいか否かを判断し、大きいと判断されれば、対処処理テーブル1013に従う処理を実行することができる。
ところで、例えば、マネージャ処理部7は、(A−1)の対処処理を実行させる場合、業務ID=AP1に対応するポート入力バッファ(及び/又は第一入力バッファ)のリソースを所定量アップし、且つ、そのポート入力バッファ(及び/又は第一入力バッファ)からの要素セットの読出し速度(ポート入力バッファ及び/又は第一入力バッファから要素セットを出力させる速度)を所定値アップすることの命令を、バッファ制御処理部409(及び/又はストレージ管理処理部25)に送信することができる。また、それに加えて、マネージャ処理部7は、性能要件「低速」又は「中速」に対応する業務IDとして、例えば、業務ID=AP3に対応するポート入力バッファ(及び/又は第一入力バッファ)のリソース及び読出し速度を上記アップ分だけダウンさせることの命令を、バッファ制御処理部409(及び/又はストレージ管理処理部25)に送信することができる。これにより、その命令を受けたバッファ制御処理部409(及び/又はストレージ管理処理部25)が、業務ID=AP1に対応するポート入力バッファ(及び/又は第一入力バッファ)のリソース及び読出し速度を、命令された分だけアップし、他のポート入力バッファ(及び/又は第一入力バッファ)のリソース及び読出し速度を、アップ分だけダウンさせることができる。
また、例えば、マネージャ処理部7は、(A−2)の対処処理を実行させる場合、SAN制御コンピュータ21に、業務ID=AP1の業務APを備える業務コンピュータ17と、業務ID=AP1の送信元のストレージ制御装置27との間の通信速度を上げることの命令を送信することができる。これにより、その命令を受けたSAN制御コンピュータ21は、その業務コンピュータ17とそのストレージ制御装置27との間のルーティングを変更する、或いは、その業務コンピュータ17とそのストレージ制御装置27との間の帯域を増やす等の方法により、その業務コンピュータ17とそのストレージ制御装置27との間の通信速度を上げることができる。
また、例えば、マネージャ処理部7は、(A−3)の対処処理を実行させる場合、ストレージ管理処理部25(及び/又はバッファ制御処理部409)に、業務ID=AP1に対応する重み付け比率を所定値アップすることの命令(例えば10%アップすることの命令)を送信することができる。また、それに加えて、マネージャ処理部7は、性能要件「低速」又は「中速」に対応する業務IDとして、例えば、業務ID=AP3に対応する重み付け比率を上記アップ分だけダウンさせることの命令(例えば10%ダウンすることの命令)を、ストレージ管理処理部25(及び/又はバッファ制御処理部409)に送信することができる。これにより、その命令を受けたストレージ管理処理部25(及び/又はバッファ制御処理部409)が、業務ID=AP1に対応する重み付け比率を所定値アップし、他の重み付け比率を所定値ダウンさせることにより、バッファ管理テーブル425(及び/又はバッファ管理テーブル925)を更新することができる。
また、例えば、マネージャ処理部7は、(A−4)の対処処理を実行させる場合、業務ID=AP1の性能要件「高速」に対応するキャッシュサブエリアの記憶容量を所定量増やすことの命令を、ストレージ制御装置27に送信することができる。また、それに加えて、マネージャ処理部7は、性能要件「高速」よりも性能要件が劣る「中速」或いは「低速」に対応するキャッシュサブエリアの記憶容量を減らすことの命令を、ストレージ制御装置27に送信することもできる。
図17Aは、キャッシュサブエリアの記憶容量の変更に関する説明図である。
例えば、(A)に示すように、キャッシュエリア212に、性能要件「高速」に対応するキャッシュサブエリア(以下、高速サブエリア)212Aと、性能要件「中速」に対応するキャッシュサブエリア(以下、中速サブエリア)212Bと、性能要件「低速」に対応するキャッシュサブエリア(以下、低速サブエリア)212Cとがある。例えば、バッファ制御処理部409は、性能要件「高速」に対応する業務IDを含んだ下り要素セットをI/F出力バッファ53Bに移動させる場合、高速サブエリア212Aにおける或る場所を確保し(これを、「キャッシュヒット」と言う)、その確保された或る場所を介して、性能要件「高速」に対応する業務IDを含んだ下り要素セットをI/F出力バッファ53Bに移動させることができる。従って、高速サブエリア212Aの記憶容量が多ければ多いほど、キャッシュヒットに成功する確率(以下、キャッシュヒット率)が高まり、逆に、その記憶容量が少なければ少ないほど、キャッシュヒット率が下がることになる。故に、高速サブエリア212Aの記憶容量を増やすということは、性能要件「高速」に対応する業務IDを含んだ要素セットについてのキャッシュヒット率を高め、以って、性能要件「高速」に対応する業務IDの業務APが実行されることにより出力された情報要素の処理速度を速めることになる。
ストレージ制御装置27は、例えば、マネージャ処理部7からの命令に応じて、(A)から(B)のように、高速サブエリア212Aの記憶容量を減らし、代わりに、中速サブエリア212B及び低速サブエリア212Cの記憶容量を増やすこともできるし、(B)から(C)のように、中速サブエリア212B及び低速サブエリア212Cの記憶容量を減らし、代わりに、高速サブエリア212Aの記憶容量を増やすこともできる。
また、例えば、ストレージ制御装置27は、(A)から(B)のように、高速サブエリア212Aの記憶容量を減らした場合、高速サブエリア212Aではなくなった場所に記憶されていたデータを、ストレージ39に一旦退避させ、記憶容量減少後の高速サブエリア212Aからデータが無くなり空きが生じた場合に(例えば空きが生じたら直ちに)、ストレージ39に退避させたデータを、記憶容量減少後の高速サブエリア212Aに読出し、そのデータを処理することができる。退避先のストレージ39は、退避元のサブエリアの性能要件に対応したストレージ(例えば、退避元が高速サブエリア212Aであれば、退避先は高速ストレージ39A)とすることができる。これは、他の性能要件のサブエリアについても同様とすることができる。
マネージャ処理部7は、以上のような処理を行うことができる。なお、4種類の対処処理(A−1)〜(A−4)は、優先順位が設定されていても良い。例えば、マネージャ処理部7は、最も優先順位の高い対処処理を行っても、下り時間長が短縮されない場合には、次に優先順位の高い対処処理を実行しても良い。また、マネージャ処理部7は、下り時間長と上り時間長よりも細分化された時間長として、第一の下り処理時間長、下り通信時間長、第二の下り処理時間長、第一の上り処理時間長、上り通信時間長及び第二の上り処理時間長のうちの少なくとも一つと、対処処理テーブル1013とに基づいて、上述した4種類の対処処理(A−1)〜(A−4)のうちの少なくとも一つを実行しても良い。
また、下り時間長を短縮するための対処処理は、バッファ制御処理部409或いはストレージ管理処理部25が、マネージャ処理部7からの命令を受けることなく行っても良い。例えば、図17Bに例示するように、バッファ制御処理部409或いはストレージ管理処理部25は、算出可能な一種類以上の時間長のうちの所定種類の時間長を算出し、算出された時間長が、特定の条件(例えば対処処理テーブルに記載の条件)に適合するか否かを判断し(S601)、適合すれば、所定の対処処理を実行することができる(S602)。具体的には、例えば、バッファ制御処理部409は、受信した下り要素セット中のタイムスタンプが表す時刻t0と、ストレージへのアクセスを行うときの時刻t3とから、下り時間長を算出し、算出された下り時間長が、各種性能要件に対応した閾値のうち、受信した下り要素セット中の業務IDに対応した性能要件に対応した閾値よりも大きいか否かを判断し、大きければ、上述した(A−1)、(A−3)及び/又は(A−4)の対処処理を実行することができる。
以上、上述した第一実施例によれば、業務APの業務IDに基づいて、業務APが実行されることにより出力された情報要素の処理の速度が制御される。例えば、性能要件「高速」の業務IDを有する業務APが実行されることにより出力された情報要素が業務コンピュータ17内に存在する時間長を、他の性能要件「中速」或いは「低速」の業務IDに対応する業務APが実行されることにより出力された情報要素のそれよりも短くすることができる。また、例えば、性能要件「高速」の業務IDを有する業務APが実行されることにより出力された情報要素がストレージ制御装置27に到達するまでの時間長を、他の性能要件「中速」或いは「低速」の業務IDに対応する業務APが実行されることにより出力された情報要素のそれよりも短くすることができる。また、例えば、性能要件「高速」の業務IDを有する業務APが実行されることにより出力された情報要素がストレージ制御装置27に存在する時間長を、他の性能要件「中速」或いは「低速」の業務IDに対応する業務APが実行されることにより出力された情報要素のそれよりも短くすることができる。これにより、業務APの性能要件にマッチした処理を行うことができる。
また、上述した第一実施例によれば、応答時間長(t7−t0)が細分化された種々の時間長が算出され、細分化された各種時間長に基づいて、どこにおける処理が、応答時間長のボトルネックになっているのかを特定することができる。そして、その特定された結果に基づいて、そのボトルネックを解消するための対象処理が行われるので、全体として、応答時間長を短縮することができる。このようなことを、性能要件に基づいて行うことができる。
以下、本発明の第二実施例について説明する。なお、その際、第一実施例との相違点を主に説明し、第一実施例との共通点については説明を省略或いは簡略する。
図18Aは、本発明の第二実施例において、業務APの性能要件に応じた処理を行うために施された業務コンピュータ17における工夫の説明図である。
第一実施例では、バッファセットは、業務ID毎に用意されたが、この第二実施例では、バッファセット144は、性能要件毎に用意される。すなわち、性能要件「高速」に対応するバッファセット144Aと、性能要件「中速」に対応するバッファセット144Bと、性能要件「低速」に対応するバッファセット144Cとが用意される。従って、例えば、性能要件がいずれも「中速」である業務AP4B及び4Dからそれぞれ出力された情報要素を含む下り要素セットは、いずれも、性能要件「中速」に対応する第一入力バッファ144BAに書込まれる。
バッファセット144は、性能要件毎に用意されているので、バッファ管理テーブル1425では、図18Bに例示するように、性能要件毎に、重み付け比率が設定されている。
ストレージ管理処理部1125は、図19Aに例示するように、図10のS101〜S105と同様の処理を行うことにより(S201〜S205)、下り要素セットを生成することができる。そして、ストレージ管理処理部1125は、生成した下り要素セット中の業務IDに対応した性能要件をBC情報要素86Rから特定し、特定された性能要件にマッチするバッファセットをバッファ管理テーブル1425から特定し、特定されたバッファセット中の第一入力バッファに、S205で生成された下り要素セットを書込むことができる(S207〜S209)。
ストレージ管理処理部1125におけるポリシーエージェント処理部1424は、図11のS120−7に代えて、図19Bに例示するS220−7を実行することができる。
すなわち、ポリシーエージェント処理部1424は、性能要件が最も高い(つまり「高速」)第一入力バッファから順に、第一入力バッファ内の要素セットを第一出力バッファ453Bに移す。その際、ポリシーエージェント処理部1424は、全ての第一入力バッファにおける要素セットの総数をMとし、処理対象の第一入力バッファに現在格納されている要素セットの数をXとし、その第一入力バッファに対応する業務IDの重み付け比率をPとした場合、X<L=M・P/100か否かを判断する。ポリシーエージェント処理部1424は、X<Lであれば、処理対象の第一入力バッファからX個の要素セットを第一出力バッファ453Bに移し、X≧Lであれば、L個の要素セットを第一出力バッファ453Bに移す(S220−7)。
この処理により、性能要件が高い第一入力バッファほど、多くの要素セットが第一出力バッファ453Bに移動することになる。
なお、この第二実施例では、図20Aに例示するように、ストレージ制御装置27に、必ずしもストレージ仮想コンピュータ61は無くても良い。
また、この第二実施例では、図20Bに例示するように、対処処理テーブル2013は、性能要件毎に用意される。
以上、第二実施例によれば、業務APの性能要件に基づいて、業務APが実行されることにより出力された情報要素の処理の速度が制御され、故に、業務APの性能要件にマッチした処理を行うことができる。
以下、本発明の第三実施例について説明する。
図22は、本発明の第三実施例におけるキャッシュエリア212の一例である。
第三実施例では、業務AP4によって頻繁に読み出される情報要素(例えば一分間に所定回数以上読み出される情報要素)を含んだ要素セットを、業務AP4の性能要件別に、予め、各キャッシュサブエリア212A〜212Cに登録しておくことができる。これにより、ストレージ制御装置27は、ストレージ39にアクセスしなくても、読出し対象のデータが既にキャッシュサブエリアに存在するので、ストレージ39にアクセスすることなくデータを業務APに提供することができ、以って、読出しの場合における応答時間長を、短縮させることができる。
さらに、この第三実施例では、ストレージ制御装置27は、記憶容量が増えるサブエリアに、そのサブエリアの性能要件に対応するストレージからデータを読み出したり、記憶容量が減るサブエリアから、そのサブエリアの性能要件に対応するストレージにデータを移したりすることができる。
例えば、(A)から(B)のように、高速サブエリア212Aの記憶容量が減る場合、ストレージ制御装置27は、高速サブエリア212Aで無くなったエリアに記憶されていたデータを、高速のストレージ39Aに退避させることができる。そして、(B)から(C)のように、高速サブエリア212Aの記憶容量が増える場合、ストレージ制御装置27は、高速サブエリア212Aになった場所に、ストレージ39Aに退避させられたデータをストレージ39Aから戻すことができる。
一方、例えば、(A)から(B)のように、低速サブエリア212Aが増える場合、ストレージ制御装置27は、増えた領域部分に、性能要件「低速」の業務AP4Cによって頻繁に読み出されるデータを低速ストレージ39Cからロードすることもできる。そして、(B)から(C)のように、低速サブエリア212Cの記憶容量が減る場合、ストレージ制御装置27は、低速サブエリア212Cでなくなった場所からストレージ39Cにデータを戻すことができる。
以上の(A)〜(C)の一連の遷移は、ポリシー情報13に従って自動的に行われても良い。例えば、第一の時間帯(例えば午前9時〜午後9時)では、ストレージ制御装置27は、キャッシュエリア212の状態を、(A)及び(C)の状態とし、第二の時間帯(例えば午後9時〜午前9時)では、(B)の状態としても良い。
以上、本発明の幾つかの実施例を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施例にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
例えば、性能要件は、「高速」、「中速」及び「低速」の三段階に限らず、それより少段階であっても多段階であっても良い。
また、例えば、要素セットを記憶するものは、バッファに限らず、他種の記憶域であっても良い。
また、例えば、業務コンピュータ17とストレージ制御装置27との接続形態は、上述の説明に限られない。従って、例えば、図21Aに例示するように、一つの業務コンピュータ17に、複数の業務AP4が備えられ、その一つの業務コンピュータ17に、複数のストレージ制御装置27が通信可能に接続されていても良い。また、図21Bに例示するように、一つのストレージ制御装置27に、複数の業務コンピュータ17が通信可能に接続され、各業務コンピュータ17に備えられる業務APの数は一つであっても良い。
また、例えば、入力バッファと出力バッファのように区別されていなくてもよく、一つの記憶域になっていても良い。具体的には、例えば、業務コンピュータ17の下りの通信において、第一入力バッファと第一出力バッファとが一つの記憶域となっている場合には、業務APが実行されることにより出力された情報要素を含んだ要素セットがその一つの記憶域に格納された後、その一つの記憶域からその要素セットが出力されることにより、その要素セットがストレージ制御装置27に送信されても良い(つまり、第一入力バッファから第一出力バッファへの要素セットの移動が無くても良い)。その際、その一つの記憶域に存在する複数の要素セットのうち各要素セットの性能要件を、ストレージ管理処理部25が特定することができればよい。例えば、ストレージ管理処理部25が、その一つの記憶域に存在する各要素セット中の業務IDから性能要件を特定するようにしても良い。また、この場合、重み付け比率は、バッファに対する重み付け比率ではなく、性能要件に対する重み付け比率とされても良い。
また、例えば、業務IDには、業務APに対応する性能要件を表す情報が含められても良い。この場合、マネージャ処理部7、ストレージ管理処理部25及びバッファ制御処理部409は、業務IDから性能要件を特定することができる。
また、例えば、業務APの代わりに、他種のプログラムであってもよい。例えば、ストレージ39を利用することができる種々のプログラム(例えば業務プログラム)を採用することができる。
図1は、本発明の第一実施例に係る情報処理システムの構成例の概要を示す。 図2は、図1に示した情報処理システムの機能を表すブロック図である。 図3は、図2に示されたストレージ制御装置27をより詳細に示す。 図4Aは、ストレージ制御装置27の少なくとも一つのメモリ35の記憶領域の使用例を示す。図4Bは、SAN用エージェント処理部23で管理されているSAN構成情報701の概念例を示す。 図5Aは、図4Bに例示した情報処理システムにおいて構築される構成情報の構成例を示す。図5Bは、ST構成情報82の構成例を示す。図5Cは、VOL構成情報83の構成例を示す。 図6Aは、SC情報84の構成例を示す。図6Bは、SC情報要素84Rに含まれているストレージ制御情報の構成例を示す。 図7Aは、ストレージ仮想コンピュータ61について詳細情報の構成例を示す。図7Bは、SC管理情報85の構成例を示す。 図8Aは、BC情報86の構成例を示す。図8Bは、管理コンピュータ5に設定することができる管理情報703の構成例を示す。 図9Aは、業務APの性能要件に応じた処理を行うために施された業務コンピュータ17における工夫の説明図である。図9Bは、バッファ管理テーブル425の構成例を示す。図9Cは、要素セット980の構成例を示す。 図10は、業務コンピュータ17Bのストレージ管理処理部25において行われる処理の流れの一例を示す。 図11は、ポリシーエージェント処理部424によって行われる処理の流れの一例を示す。 図12は、業務APの性能要件に応じた処理を行うために施されたストレージ制御装置27における工夫の説明図である。 図13Aは、業務ID管理テーブル926の構成例を示す。図13Bは、バッファ管理テーブル925の構成例を示す。 図14は、本発明の第一実施例に係る情報処理システムにおいて行われる処理の流れを示す。 図15Aは、時間長テーブル940の一例を示す。図15Bは、各業務ID毎に用意された対処処理テーブル1013の一例を示す。 図16Aは、マネージャ処理部7が行う処理の流れの一例を示す。図16Bは、マネージャ処理部7が行う処理の流れの別の一例を示す。 図17Aは、キャッシュサブエリアの記憶容量の変更に関する説明図である。図17Bは、バッファ管理制御部409が行う処理の流れの一例を示す。 図18Aは、本発明の第二実施例において、業務APの性能要件に応じた処理を行うために施された業務コンピュータ17における工夫の説明図である。図18Bは、バッファ管理テーブル1425の構成例を示す。 図19Aは、ストレージ管理処理部1125が行う処理の流れの一部を示す。図19Bは、ポリシーエージェント処理部1424が行うS220−7の説明図である。 図20Aは、ストレージ制御装置27に仮想コンピュータ61が備えられない場合があることの説明図である。図20Bは、対処処理テーブル2013が性能要件毎に用意されることの説明図である。 図21Aは、業務コンピュータ17とストレージ制御装置27との接続の形態の一例を示す。図21Bは、業務コンピュータ17とストレージ制御装置27との接続の形態の別の一例を示す。 図22は、本発明の第三実施例におけるキャッシュエリア212の一例を示す。
符号の説明
2…業務仮想コンピュータ 4…業務アプリケーションプログラム(業務AP) 5…管理コンピュータ 7…マネージャ処理部 11…構成情報 13…ポリシー情報 17…業務コンピュータ 19…SAN 21…SAN制御コンピュータ 27…ストレージ制御装置 31…ポート 37…ストレージインターフェース装置(I/F) 39…ストレージ 41…論理ボリューム(VOL) 61…ストレージ仮想コンピュータ 93…仮想コンピュータ処理部 282…ストレージ用エージェント処理部

Claims (8)

  1. 処理速度の異なる複数の業務コンピュータと、
    前記複数の業務コンピュータに接続された1以上のストレージ制御装置と、
    前記1以上のストレージ制御装置に接続された、書込み速度の異なる複数のストレージと
    を有し、
    各業務コンピュータは、ハードウェア群である業務リソースプールを有し、前記業務リソースプールは、1以上のプロセッサ及び1以上の記憶資源を含み、
    各ストレージ制御装置は、ハードウェア群であるストレージ制御リソースプールを有し、前記ストレージ制御リソースプールは、1以上のプロセッサと、1以上のメモリ、前記複数の業務コンピュータに接続される複数のポートを含み、
    前記複数の業務コンピュータの少なくとも1以上は、前記業務リソースプールの少なくとも一部が割り当てられた1以上の仮想的なコンピュータである業務仮想コンピュータを生成し、又は、1以上の業務仮想コンピュータのうちのいずれかを削除し、
    前記1以上のストレージ制御装置の少なくとも1以上は、前記ストレージ制御リソースプールの少なくとも一部が割り当てられた1以上の仮想的なコンピュータであるストレージ仮想コンピュータを生成し、又は、1以上のストレージ仮想コンピュータのうちのいずれかを削除し、
    各業務コンピュータ及び業務仮想コンピュータが、所定の業務を行うためのアプリケーションプログラムである業務アプリケーションを実行し、それ故、前記複数のストレージシステム及び仮想コンピュータにおいて複数の業務アプリケーションが実行され、
    前記複数の業務コンピュータ及び業務仮想コンピュータが、前記複数の業務アプリケーションにそれぞれ対応した複数の第1の記憶領域セットと、第2の記憶領域セットとを有し、
    前記1以上のストレージ制御装置及びストレージ仮想コンピュータが、前記複数のアプリケーションにそれぞれ対応した複数の第3の記憶領域セットと、第4の記憶領域セットとを有し、
    前記業務仮想コンピュータが有する前記第1及び第2の記憶領域セットは、前記業務リソースプールの一部分であり、
    前記ストレージ仮想コンピュータが有する前記第3及び第4の記憶領域セットは、前記ストレージ制御リソースプールの一部分であり、
    前記複数の業務アプリケーションは、業務アプリケーションの性能要件が高いほど高い重要度が対応付けられており、
    各記憶領域セットは、入力記憶領域と、出力記憶領域とを有し、
    前記複数の第1及び第3の記憶領域セットの各々には、業務アプリケーションが対応付けられている、
    情報処理システムで実現される情報処理方法であって、
    (A)前記複数の業務アプリケーションのうちの或る業務アプリケーションが実行されることにより或る情報要素が出力された場合、その或る業務アプリケーションを実行した業務コンピュータ又は業務仮想コンピュータが、前記或る業務アプリケーションに対応する第1の記憶領域セット内の入力記憶領域に、前記或る業務アプリケーションから出力されたI/O要求を含んだ情報要素である下り情報要素を書込み、
    (B)業務コンピュータ又は業務仮想コンピュータが、重要度の高い業務アプリケーションに対応した第1の記憶領域セットから順に、前記複数の第1の記憶領域セット内の入力記憶領域に記憶されている下り情報要素の総数と、前記業務アプリケーションに対応する重要度とに基づいて、入力記憶域から移せる下り情報要素の最大数を算出し、且つ、算出した最大数以下の数の下り情報要素を、前記第2の記憶領域セット内の出力記憶域に移し、
    (C)業務コンピュータ又は業務仮想コンピュータが、前記第2の記憶領域セット内の出力記憶領域が有する下り情報要素を、ストレージ制御装置に送信し、
    (D)ストレージ制御装置又はストレージ仮想コンピュータが、(D1)下り情報要素を受信し、(D2)前記下り情報要素に付随して前記複数の業務アプリケーションの何れかを示す識別子に基づいて、前記下り情報要素を、前記或る業務アプリケーションに対応した第3の記憶領域セット内の入力記憶領域に書き込み、
    (E)ストレージ制御装置又はストレージ仮想コンピュータが、重要度の高い業務アプリケーションに対応した第3の記憶領域セットから順に、前記複数の第3の記憶領域セット内の入力記憶領域に記憶されている下り情報要素の総数と、前記業務アプリケーションに対応する重要度とに基づいて、入力記憶域から移せる下り情報要素の最大数を算出し、且つ、算出した最大数以下の数の下り情報要素を、前記第4の記憶領域セット内の出力記憶域に移し、
    (F)ストレージ制御装置又はストレージ仮想コンピュータが、(F1)前記第4の記憶領域セット内の出力記憶領域が有する下り情報要素に基づいてストレージにアクセスすることで前記下り情報要素に対応し、前記複数の業務アプリケーションの何れかを示す識別子が付随した上り情報要素を生成し、且つ、(F2)前記上り情報要素を、前記第4の記憶領域セット内の入力記憶領域に書き込み、
    (G)ストレージ制御装置又はストレージ仮想コンピュータが、上り情報要素に付随する前記複数の業務アプリケーションの何れかを示す識別子に基づいて、前記第4の記憶領域セット内の入力記憶領域が有する上り情報要素を、重要度が高い業務アプリケーションから順に、前記或る業務アプリケーションに対応する前記第3の記憶領域セット内の出力記憶領域に移し、
    (H)ストレージ制御装置又はストレージ仮想コンピュータが、前記第3の記憶領域セット内の出力記憶領域が有する上り情報要素を、前記或る業務アプリケーションを有する業務コンピュータ又は業務仮想コンピュータに送信し、
    (I)業務コンピュータ又は業務仮想コンピュータが、上り情報要素を受信し、その上り情報要素を、前記第2の記憶領域セット内の入力記憶領域に書き込み、
    (J)業務コンピュータ又は業務仮想コンピュータが、上り情報要素に付随する前記複数の業務アプリケーションの何れかを示す識別子に基づいて、前記第2の記憶領域セット内の入力記憶領域が有する上り情報要素を、重要度の高い業務アプリケーションから順に、前記或る業務アプリケーションに対応した第1の記憶領域セット内の出力記憶領域に移し、
    (K)業務コンピュータ又は業務仮想コンピュータが、前記或る業務アプリケーションに対応した第1の記憶領域セット内の出力記憶領域が有する上り情報要素を、前記或る業務アプリケーションに出力する、
    情報処理方法。
  2. 請求項1記載の情報処理方法であって、
    前記ストレージ制御装置は、キャッシュエリアを有し、
    前記キャッシュエリアは、業務アプリケーションの複数の性能要件に対応した複数のキャッシュサブエリアを有し、
    キャッシュサブエリアは、業務アプリケーションの性能要件が高いほど大きく、
    第3の記憶領域セットと第4の記憶領域セット間の情報要素の移動は、その情報要素に対応した業務アプリケーションの性能要件に対応したキャッシュサブエリアを介して行われる、
    情報処理方法。
  3. 請求項1又は2記載の情報処理方法であって、
    前記(G)において、ストレージ制御装置又はストレージ仮想コンピュータが、前記第4の記憶領域セット内の入力記憶領域に記憶されている上り情報要素の総数と、前記業務アプリケーションに対応する重要度とに基づいて、入力記憶域から移せる上り情報要素の最大数を算出し、且つ、算出した最大数以下の数の上り情報要素を、前記第3の記憶領域セット内の出力記憶域に移す、
    情報処理方法。
  4. 請求項1乃至3のうちのいずれか1項に記載の情報処理方法であって、
    前記(J)において、業務コンピュータ又は業務仮想コンピュータが、前記第2の記憶領域セット内の入力記憶領域に記憶されている上り情報要素の総数と、前記業務アプリケーションに対応する重要度とに基づいて、入力記憶域から移せる上り情報要素の最大数を算出し、且つ、算出した最大数以下の数の上り情報要素を、前記第1の記憶領域セット内の出力記憶域に移す、
    情報処理方法。
  5. 処理速度の異なる複数の業務コンピュータと、
    前記複数の業務コンピュータに接続された1以上のストレージ制御装置と、
    前記1以上のストレージ制御装置に接続された、書込み速度の異なる複数のストレージと
    を有し、
    各業務コンピュータは、ハードウェア群である業務リソースプールを有し、前記業務リソースプールは、1以上のプロセッサ及び1以上の記憶資源を含み、
    各ストレージ制御装置は、ハードウェア群であるストレージ制御リソースプールを有し、前記ストレージ制御リソースプールは、1以上のプロセッサと、1以上のメモリ、前記複数の業務コンピュータに接続される複数のポートを含み、
    前記複数の業務コンピュータの少なくとも1以上は、前記業務リソースプールの少なくとも一部が割り当てられた1以上の仮想的なコンピュータである業務仮想コンピュータを生成し、又は、1以上の業務仮想コンピュータのうちのいずれかを削除し、
    前記1以上のストレージ制御装置の少なくとも1以上は、前記ストレージ制御リソースプールの少なくとも一部が割り当てられた1以上の仮想的なコンピュータであるストレージ仮想コンピュータを生成し、又は、1以上のストレージ仮想コンピュータのうちのいずれかを削除し、
    各業務コンピュータ及び業務仮想コンピュータが、所定の業務を行うためのアプリケーションプログラムである業務アプリケーションを実行し、それ故、前記複数のストレージシステム及び仮想コンピュータにおいて複数の業務アプリケーションが実行され、
    前記複数の業務コンピュータ及び業務仮想コンピュータが、前記複数の業務アプリケーションにそれぞれ対応した複数の第1の記憶領域セットと、第2の記憶領域セットとを有し、
    前記1以上のストレージ制御装置及びストレージ仮想コンピュータが、前記複数のアプリケーションにそれぞれ対応した複数の第3の記憶領域セットと、第4の記憶領域セットとを有し、
    前記業務仮想コンピュータが有する前記第1及び第2の記憶領域セットは、前記業務リソースプールの一部分であり、
    前記ストレージ仮想コンピュータが有する前記第3及び第4の記憶領域セットは、前記ストレージ制御リソースプールの一部分であり、
    前記複数の業務アプリケーションは、業務アプリケーションの性能要件が高いほど高い重要度が対応付けられており、
    各記憶領域セットは、入力記憶領域と、出力記憶領域とを有し、
    前記複数の第1及び第3の記憶領域セットの各々には、業務アプリケーションが対応付けられており、
    (A)前記複数の業務アプリケーションのうちの或る業務アプリケーションが実行されることにより或る情報要素が出力された場合、その或る業務アプリケーションを実行した業務コンピュータ又は業務仮想コンピュータが、前記或る業務アプリケーションに対応する第1の記憶領域セット内の入力記憶領域に、前記或る業務アプリケーションから出力されたI/O要求を含んだ情報要素である下り情報要素を書込み、
    (B)業務コンピュータ又は業務仮想コンピュータが、重要度の高い業務アプリケーションに対応した第1の記憶領域セットから順に、前記複数の第1の記憶領域セット内の入力記憶領域に記憶されている下り情報要素の総数と、前記業務アプリケーションに対応する重要度とに基づいて、入力記憶域から移せる下り情報要素の最大数を算出し、且つ、算出した最大数以下の数の下り情報要素を、前記第2の記憶領域セット内の出力記憶域に移し、
    (C)業務コンピュータ又は業務仮想コンピュータが、前記第2の記憶領域セット内の出力記憶領域が有する下り情報要素を、ストレージ制御装置に送信し、
    (D)ストレージ制御装置又はストレージ仮想コンピュータが、(D1)下り情報要素を受信し、(D2)前記下り情報要素に付随して前記複数の業務アプリケーションの何れかを示す識別子に基づいて、前記下り情報要素を、前記或る業務アプリケーションに対応した第3の記憶領域セット内の入力記憶領域に書き込み、
    (E)ストレージ制御装置又はストレージ仮想コンピュータが、重要度の高い業務アプリケーションに対応した第3の記憶領域セットから順に、前記複数の第3の記憶領域セット内の入力記憶領域に記憶されている下り情報要素の総数と、前記業務アプリケーションに対応する重要度とに基づいて、入力記憶域から移せる下り情報要素の最大数を算出し、且つ、算出した最大数以下の数の下り情報要素を、前記第4の記憶領域セット内の出力記憶域に移し、
    (F)ストレージ制御装置又はストレージ仮想コンピュータが、(F1)前記第4の記憶領域セット内の出力記憶領域が有する下り情報要素に基づいてストレージにアクセスすることで前記下り情報要素に対応し、前記複数の業務アプリケーションの何れかを示す識別子が付随した上り情報要素を生成し、且つ、(F2)前記上り情報要素を、前記第4の記憶領域セット内の入力記憶領域に書き込み、
    (G)ストレージ制御装置又はストレージ仮想コンピュータが、上り情報要素に付随する前記複数の業務アプリケーションの何れかを示す識別子に基づいて、前記第4の記憶領域セット内の入力記憶領域が有する上り情報要素を、重要度が高い業務アプリケーションから順に、前記或る業務アプリケーションに対応する前記第3の記憶領域セット内の出力記憶領域に移し、
    (H)ストレージ制御装置又はストレージ仮想コンピュータが、前記第3の記憶領域セット内の出力記憶領域が有する上り情報要素を、前記或る業務アプリケーションを有する業務コンピュータ又は業務仮想コンピュータに送信し、
    (I)業務コンピュータ又は業務仮想コンピュータが、上り情報要素を受信し、その上り情報要素を、前記第2の記憶領域セット内の入力記憶領域に書き込み、
    (J)業務コンピュータ又は業務仮想コンピュータが、上り情報要素に付随する前記複数の業務アプリケーションの何れかを示す識別子に基づいて、前記第2の記憶領域セット内の入力記憶領域が有する上り情報要素を、重要度の高い業務アプリケーションから順に、前記或る業務アプリケーションに対応した第1の記憶領域セット内の出力記憶領域に移し、
    (K)業務コンピュータ又は業務仮想コンピュータが、前記或る業務アプリケーションに対応した第1の記憶領域セット内の出力記憶領域が有する上り情報要素を、前記或る業務アプリケーションに出力する、
    情報処理システム。
  6. 請求項5記載の情報処理システムであって、
    前記ストレージ制御装置は、キャッシュエリアを有し、
    前記キャッシュエリアは、業務アプリケーションの複数の性能要件に対応した複数のキャッシュサブエリアを有し、
    キャッシュサブエリアは、業務アプリケーションの性能要件が高いほど大きく、
    第3の記憶領域セットと第4の記憶領域セット間の情報要素の移動は、その情報要素に対応した業務アプリケーションの性能要件に対応したキャッシュサブエリアを介して行われる、
    情報処理システム。
  7. 請求項5又は6記載の情報処理システムであって、
    前記(G)において、ストレージ制御装置又はストレージ仮想コンピュータが、前記第4の記憶領域セット内の入力記憶領域に記憶されている上り情報要素の総数と、前記業務アプリケーションに対応する重要度とに基づいて、入力記憶域から移せる上り情報要素の最大数を算出し、且つ、算出した最大数以下の数の上り情報要素を、前記第3の記憶領域セット内の出力記憶域に移す、
    情報処理システム。
  8. 請求項5乃至7のうちのいずれか1項に記載の情報処理システムであって、
    前記(J)において、業務コンピュータ又は業務仮想コンピュータが、前記第2の記憶領域セット内の入力記憶領域に記憶されている上り情報要素の総数と、前記業務アプリケーションに対応する重要度とに基づいて、入力記憶域から移せる上り情報要素の最大数を算出し、且つ、算出した最大数以下の数の上り情報要素を、前記第1の記憶領域セット内の出力記憶域に移す、
    情報処理システム。
JP2005144634A 2005-05-17 2005-05-17 情報処理方法及びシステム Expired - Fee Related JP4568168B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005144634A JP4568168B2 (ja) 2005-05-17 2005-05-17 情報処理方法及びシステム
US11/172,910 US8307170B2 (en) 2005-05-17 2005-07-05 Information processing method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005144634A JP4568168B2 (ja) 2005-05-17 2005-05-17 情報処理方法及びシステム

Publications (2)

Publication Number Publication Date
JP2006323539A JP2006323539A (ja) 2006-11-30
JP4568168B2 true JP4568168B2 (ja) 2010-10-27

Family

ID=37449637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005144634A Expired - Fee Related JP4568168B2 (ja) 2005-05-17 2005-05-17 情報処理方法及びシステム

Country Status (2)

Country Link
US (1) US8307170B2 (ja)
JP (1) JP4568168B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4885575B2 (ja) * 2006-03-08 2012-02-29 株式会社日立製作所 記憶領域の割当ての最適化方法及びそれを実現するための管理計算機
US7917713B2 (en) * 2006-12-20 2011-03-29 International Business Machines Corporation Optimized data migration with a support processor
JP5175483B2 (ja) * 2007-03-30 2013-04-03 株式会社日立製作所 ストレージ装置及びその制御方法
US20120254502A1 (en) * 2011-03-28 2012-10-04 Byungcheol Cho Adaptive cache for a semiconductor storage device-based system
US9098423B2 (en) * 2011-10-05 2015-08-04 Taejin Info Tech Co., Ltd. Cross-boundary hybrid and dynamic storage and memory context-aware cache system
JP6065843B2 (ja) * 2012-01-10 2017-01-25 日本電気株式会社 サービスレベル管理装置、プログラム、及び、方法
KR102098246B1 (ko) 2013-04-29 2020-04-07 삼성전자 주식회사 호스트, 저장 장치, 및 이를 포함하는 시스템의 동작 방법
US9923965B2 (en) 2015-06-05 2018-03-20 International Business Machines Corporation Storage mirroring over wide area network circuits with dynamic on-demand capacity
US10177993B2 (en) 2015-11-25 2019-01-08 International Business Machines Corporation Event-based data transfer scheduling using elastic network optimization criteria
US9923839B2 (en) * 2015-11-25 2018-03-20 International Business Machines Corporation Configuring resources to exploit elastic network capability
US10581680B2 (en) 2015-11-25 2020-03-03 International Business Machines Corporation Dynamic configuration of network features
US9923784B2 (en) 2015-11-25 2018-03-20 International Business Machines Corporation Data transfer using flexible dynamic elastic network service provider relationships
US10057327B2 (en) 2015-11-25 2018-08-21 International Business Machines Corporation Controlled transfer of data over an elastic network
US10216441B2 (en) 2015-11-25 2019-02-26 International Business Machines Corporation Dynamic quality of service for storage I/O port allocation
JP6755680B2 (ja) * 2016-03-09 2020-09-16 キヤノン株式会社 データ移行システム、及び、データ移行システムの制御方法
KR102610846B1 (ko) * 2016-05-13 2023-12-07 한국전자통신연구원 고속 분산 저장 장치 및 방법
JP7221585B2 (ja) 2017-07-20 2023-02-14 富士通株式会社 情報処理装置、情報処理システム、情報処理装置制御方法及び情報処理装置制御プログラム
CN108848261B (zh) * 2018-06-05 2021-04-02 阿里巴巴(中国)有限公司 通知栏中通知信息的显示方法、装置、存储介质和终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358259A (ja) * 2001-05-31 2002-12-13 Toshiba Corp 優先度制御機能を有するファイルサーバ、同サーバにおけるファイルアクセス方法及びファイルアクセスプログラム
JP2005025294A (ja) * 2003-06-30 2005-01-27 Fujitsu Ltd 複数システムにおける入出力要求優先制御装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4463424A (en) * 1981-02-19 1984-07-31 International Business Machines Corporation Method for dynamically allocating LRU/MRU managed memory among concurrent sequential processes
US4503501A (en) * 1981-11-27 1985-03-05 Storage Technology Corporation Adaptive domain partitioning of cache memory space
US5394531A (en) * 1989-04-03 1995-02-28 International Business Machines Corporation Dynamic storage allocation system for a prioritized cache
US5434992A (en) * 1992-09-04 1995-07-18 International Business Machines Corporation Method and means for dynamically partitioning cache into a global and data type subcache hierarchy from a real time reference trace
GB2271202B (en) * 1992-10-01 1995-12-13 Digital Equipment Int Dynamic non-coherent cache memory resizing mechanism
US6092180A (en) * 1997-11-26 2000-07-18 Digital Equipment Corporation Method for measuring latencies by randomly selected sampling of the instructions while the instruction are executed
US6260114B1 (en) * 1997-12-30 2001-07-10 Mcmz Technology Innovations, Llc Computer cache memory windowing
US6446028B1 (en) * 1998-11-25 2002-09-03 Keynote Systems, Inc. Method and apparatus for measuring the performance of a network based application program
US6601151B1 (en) * 1999-02-08 2003-07-29 Sun Microsystems, Inc. Apparatus and method for handling memory access requests in a data processing system
US6996820B1 (en) * 1999-04-05 2006-02-07 Cisco Technology, Inc. Efficient multiple priority list memory system
US6697849B1 (en) * 1999-08-13 2004-02-24 Sun Microsystems, Inc. System and method for caching JavaServer Pages™ responses
US6845503B1 (en) * 1999-08-13 2005-01-18 Sun Microsystems, Inc. System and method for enabling atomic class loading in an application server environment
US7748005B2 (en) * 2000-01-28 2010-06-29 Hewlett-Packard Development Company, L.P. System and method for allocating a plurality of resources between a plurality of computing domains
US7043606B2 (en) * 2002-10-01 2006-05-09 America Online, Inc. Automatic browser web cache resizing system
JP4175185B2 (ja) * 2003-06-06 2008-11-05 日本電気株式会社 ネットワーク情報記録装置
US7487320B2 (en) * 2004-12-15 2009-02-03 International Business Machines Corporation Apparatus and system for dynamically allocating main memory among a plurality of applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358259A (ja) * 2001-05-31 2002-12-13 Toshiba Corp 優先度制御機能を有するファイルサーバ、同サーバにおけるファイルアクセス方法及びファイルアクセスプログラム
JP2005025294A (ja) * 2003-06-30 2005-01-27 Fujitsu Ltd 複数システムにおける入出力要求優先制御装置

Also Published As

Publication number Publication date
JP2006323539A (ja) 2006-11-30
US8307170B2 (en) 2012-11-06
US20060265558A1 (en) 2006-11-23

Similar Documents

Publication Publication Date Title
JP4568168B2 (ja) 情報処理方法及びシステム
US7457925B2 (en) Storage control method and system
US10534542B2 (en) Dynamic core allocation for consistent performance in a non-preemptive scheduling environment
US9563423B1 (en) System and method for simultaneous shared access to data buffers by two threads, in a connection-oriented data proxy service
US10394606B2 (en) Dynamic weight accumulation for fair allocation of resources in a scheduler hierarchy
KR101827369B1 (ko) 데이터 스트림 분산 병렬 처리 서비스 관리 장치 및 방법
JP4407431B2 (ja) 計算機システム及び計算機システムの帯域制御方法
US20060294045A1 (en) Control of service workload management
JP2006350780A (ja) キャッシュ割当制御方法
Deshpande et al. Scatter-gather live migration of virtual machines
JP5245711B2 (ja) 分散データ処理システム、分散データ処理方法および分散データ処理用プログラム
US20200125473A1 (en) Hybrid log viewer with thin memory usage
US9647905B1 (en) System and method for optimized management of statistics counters, supporting lock-free updates, and queries for any to-the-present time interval
JP2009075718A (ja) 仮想i/oパスの管理方法、情報処理システム及びプログラム
JP6272190B2 (ja) 計算機システム、計算機、負荷分散方法及びそのプログラム
US11556391B2 (en) CPU utilization for service level I/O scheduling
JP2010191670A (ja) ストレージシステム、容量管理方法、および管理計算機
US9232000B1 (en) Method and system for balancing load across target endpoints on a server and initiator endpoints accessing the server
JP2005338985A (ja) 記憶領域管理方法及びシステム
JP2010231502A (ja) ジョブ処理方法、ジョブ処理プログラムを格納したコンピュータ読み取り可能な記録媒体、および、ジョブ処理システム
US9591099B1 (en) Server connection establishment over fibre channel using a block device access model
JP7036866B2 (ja) 情報処理装置及び方法
US9407601B1 (en) Reliable client transport over fibre channel using a block device access model
US9237057B1 (en) Reassignment of a virtual connection from a busiest virtual connection or locality domain to a least busy virtual connection or locality domain
JP6279816B2 (ja) ストレージ監視システムおよびその監視方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100806

R150 Certificate of patent or registration of utility model

Ref document number: 4568168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees