JP6753875B2 - 運用管理システム及び運用管理方法 - Google Patents

Description

本発明は、運用管理システム及び運用管理方法に関するものである。

クラウド環境において、SDS（Software Defined Storage）を用いてスケーラブルなストレージプールを構築し、ユーザのテナントのグレードに応じて異なるオーバーコミット率となる物理容量に対するストレージプールを提供するストレージ提供サービスがある。

たとえば、CephインスタンスをKubernetes上に構築してテナント毎に（ストレージ）プールを提供するといった技術も存在する。また、特許文献１には、複数の異なる顧客（テナント）に対してストレージ機能（プール）を提供するために、各顧客に対して異なるVM（Virtual Machine）を用いてIO性能やキャッシュを分割する技術が記載されている。

米国特許出願公開第２０１２／０２９７３８１号明細書

特許文献１に記載された技術を用いれば、各顧客に対して異なるストレージ機能を提供することは可能になる。

しかしながら、顧客によっては、提供されるプール（論理ボリューム）の中でストレージの領域（物理容量）を多く使用する顧客もいれば、ストレージの領域をあまり使用しない顧客もおり、単純にオーバーコミット率を割り当てたのでは物理容量の使用効率が悪くなるのに対し、特許文献１にはこのような使用効率の悪化に対する技術の開示は見当たらない。

本発明の目的は、SDSのノードを利用し、テナントに提供する論理ボリュームの中で、テナントに割り当てる物理容量を、テナントから書き込まれたデータのサイズに応じて調整可能とすることである。

以上の課題を解決するため、本発明に係る代表的な運用管理システムは、テナントに対してストレージの機能を提供し、提供するストレージの機能を調整する運用管理システムにおいて、テナントに対してストレージの論理ボリュームを提供し、テナントからの論理ボリュームへのデータの書き込みを受け付け、テナントに割り当てられた物理容量のストレージの領域へ、受け付けたデータを書き込むノードと、論理ボリュームのサイズと、書き込まれたデータのサイズと、テナントに割り当てられた物理容量とに基づいて、融通する物理容量を決定し、決定した物理容量に関する情報を前記ノードへ通知する容量割当回収システムと、を備えたことを特徴とする。

本発明によれば、SDSのノードを利用し、テナントに提供する論理ボリュームの中で、テナントに割り当てる物理容量が、テナントから書き込まれたデータのサイズに応じて調整可能となり、オーバーコミット率も調整されることになる。

運用管理システムの例を示す図である。 SDSノードの例を示す図である。 SDSインスタンスと物理容量の例を示す図である。 SDSプロセスとストレージリソースの管理の例を示す図である。 不足率設定情報の例を示す図である。 各SDSノードにおける物理容量割当情報の例を示す図である。 テナント−インスタンス対応付け情報の例を示す図である。 オーバーコミット率調整運用の第１のシーケンスの例を示す図である。 オーバーコミット率調整運用の第２のシーケンスの例を示す図である。 オーバーコミット率調整運用の第３のシーケンスの例を示す図である。 同一グレードグループ内での物理容量融通処理の例を示す図である。 他グレードグループを含む物理容量融通処理の例を示す図である。

ストレージサービス及びその運用管理システムの例を図１に示す。この運用管理システムは、1つ以上のコンピュータ（サーバ）をクラスタとして利用し、SDSのソフトウェアが稼動するSDSノード10と、SDSノード10と通信し、オーバーコミット率を調節しながらSDSインスタンスへの割当てを変更する容量割当／回収システム20（容量割当回収システム）で構成される。

なお、SDSノード10-1とSDSノード10-2とを特に区別することなく、代表的に1つのSDSノードを表す場合、ハイフンと枝番の無いSDSノード10と記載し、他の符号も同じように記載する。

テナント（クラウドユーザ）に対するストレージ機能の提供はSDSノード10においてなされる。1つのSDSノード10は1台の物理サーバであるが、1つのSDSノード10が複数台の物理サーバから構成されてもよい。

SDSノード10-1には「SDSノードX」、SDSノード10-2には「SDSノードY」という識別子が付与されている。図１の例では、SDSノード10-1ではストレージ機能を提供するための3つのSDSインスタンス14-1〜14-3が実行される。3つのSDSインスタンス14-1〜14-3には3つの物理容量13-1〜13-3が割り当てられる。

これら3つの物理容量13-1〜13-3は、SDSノード10-1の物理サーバとしての物理記憶装置群12-1の中から、インスタンス管理エージェント11-1の制御により割り当てられる。また、この割当の制御のために、インスタンス管理エージェント11-1は、容量割当／回収システム20から変更の情報を受ける。

なお、物理容量13-1〜13-3のそれぞれは、LVM（Logical Volume Management）で管理されてもよいし、クォータ設定で管理されてもよい。図１の例では、SDSノード10-2の構成もSDSノード10-1と同じ例を示したが、SDSインスタンス14-4〜14-6と物理容量13-4〜13-6の個数がSDSノード10-1と異なってもよい。

SDSノード10-1とSDSノード10-2は複数のSDSインスタンス14によりクラスタとしてテナントへストレージ機能を提供する。本実施の形態において、ストレージ機能の提供先は、テナントと呼ばれるユーザのグループを単位に管理される。たとえば、テナントは企業の部門などの契約単位で、ユーザはその部門の個別のユーザなどに相当する。

1つのテナントに対して、1つのクラスタのSDSインスタンスを稼動させる。別の見方をすると、1つのクラスタのSDSインスタンスはストレージ機能をテナントに提供する1つの独立したサービスである。

たとえば、SDSインスタンス14-1とSDSインスタンス14-4によりテナントA向けクラスタとしてストレージ機能を提供し、SDSインスタンス14-2とSDSインスタンス14-5によりテナントB向けクラスタとしてストレージ機能を提供し、SDSインスタンス14-3とSDSインスタンス14-6によりテナントC向けクラスタとしてストレージ機能を提供する。

このため、「SDSノードX」のSDSノード10-1においてテナントA向けクラスタを構成するSDSインスタンス14-1には「SDSインスタンスXA」（略してI-XA）という識別子が付与され、他のSDSインスタンス14-2〜14-5及び物理容量13-1-13-6もSDSノード10の識別子（「X」など）とテナントの識別情報（「A」など）の組合せを含む識別子が付与されている。

なお、たとえば1つのクラスタのSDSインスタンス14-1とSDSインスタンス14-2をテナントA向けの1つのSDSインスタンスとみなしてもよい。このように1つのSDSインスタンスが複数のSDSノード10にまたがっているとみなせるため、SDSノード10毎に独立したものとして、SDSプロセスを、図３を用いて後で説明する。

1つのSDSノード10の中の複数のSDSインスタンス14間は管理上分離されており、それぞれが独自のユーザとアクセス権限などを設定する。SDSインスタンスの例としては、オープンソースプロジェクトとして管理されているCephなどが挙げられる。

SDSインスタンス14のそれぞれが独自のユーザとアクセス権限などを設定するため、物理容量13は、SDSインスタンス14がそれぞれ排他的に管理する物理記憶装置の領域である。

容量割当／回収システム20は、コンピュータ（サーバ）であり、図示を省略したCPU（Central Processing Unit）、メモリ、及びNIC（Network Interface Card）を備え、CPUがメモリに格納されたプログラムを実行してメモリに格納されたデータを処理し、NICを制御する。

容量割当／回収システム20のメモリは、不足率設定情報21、各SDSノードにおける物理容量割当情報22、及びテナント−インスタンス対応付け情報23が格納される。なお、これらの情報の一部が一時的に、プログラムの実行に応じて、メモリに格納されるだけもよい。メモリに格納されない情報は不揮発性の記憶装置に格納されてもよい。これらの情報に関しては、図５、図６、及び図７を用いて後でそれぞれ説明する。

SDSノード10の例を図２に示す。図２に示すように各SDSノード10は、一般的なコンピュータ（サーバ）によって構成される。CPU201はメモリ202に格納されたプログラムを実行してメモリ202に格納されたデータを処理し、NIC207を制御する。物理記憶装置であるSSD（Solid State Drive）205とHDD（Hard Disk Drive）206-1、206-2はデータ（情報）が格納され、プログラムが格納されてもよい。

CPU201などにより、メモリ202と、SSD205あるいはHDD206との間でデータあるいはプログラムが転送されてもよく、メモリ202とNIC207との間でデータが転送されてもよい。図１に示した物理記憶装置群12はSSD205とHDD206から構成される。NIC207はネットワークと通信するため、ポート208-1がネットワークスイッチ209のポート208-2に接続される。

ネットワークスイッチ209には、容量割当／回収システム20あるいはテナントのコンピュータが、コンピュータ210として接続されてもよい。なお、SDSノード10のNIC207は複数のポートを備え、ネットワークスイッチ209以外のネットワークスイッチに接続されてもよい。

SDSインスタンス14、及びSDSインスタンスが利用する物理容量13の例を図３に示す。図３に示した例はSDSノード10-1であるが、SDSノード10-2も同じである。SDSノード10は複数の物理記憶装置310を備える。物理記憶装置310は、図２に示したSDD205とHDD206である。複数の物理記憶装置310は、オペレーティングシステム300の処理により1つの論理ボリュームグループ301を構成する。

論理ボリュームグループ301は複数のOS論理ボリューム302を含む。1つのOS論理ボリューム302は1つのファイルシステム303により管理される。1つのファイルシステム303は1つまたは複数のディレクトリ304を含む。このため、1つのディレクトリ304-1に1つのOS論理ボリューム302-1が対応する場合もあれば、複数のディレクトリ304-1、304-2が1つのOS論理ボリューム302-2を共有する場合もある。

SDSインスタンス14は、オペレーティングシステム300上で稼動するソフトウェアプログラム(プロセス)として実行される。SDSインスタンス14のそれぞれは、たとえばクラスタを管理するSDSプロセス305、物理記憶装置310とのデータアクセスを管理するSDSプロセス306、テナントとのI/OのフロントエンドとなるSDSプロセス307などを含む。

ここで、SDSプロセス305は、クラスタを管理するために、他のSDSノード10-2のSDSインスタンス14-4のSDSプロセスと連携してもよい。また、図２に示したNIC207はSDSプロセス307毎に仮想NIC308となる。

SDSプロセス307-1が仮想NIC308-1を介してテナントからのデータアクセスを受信し、SDSプロセス306-1がディレクトリ304-1を介して物理記憶装置310にデータアクセスする。これにより、物理記憶装置310は、オペレーティングシステム300の機能を通してファイルシステム303-1として利用される。

SDSプロセス306-1が管理する物理記憶装置310の容量と領域の初期値は、SDSインスタンス14-1の起動時の設定などによって指定される。その後は、SDSインスタンス14-1とインスタンス管理エージェント11-1によって管理と変更される。

図３の例において、SDSインスタンス14-1のSDSプロセス306-1は、ファイルシステム303-1とOS論理ボリューム302-1を利用するが、SDSインスタンス14-2のSDSプロセス306-2とSDSインスタンス14-3のSDSプロセス306-3の両方が、ファイルシステム303-2とOS論理ボリューム302-2を利用する。

SDSインスタンス14-2がストレージ機能を提供するテナントBとSDSインスタンス14-3がストレージ機能を提供するテナントCとはテナントが異なるため、OS論理ボリューム302-2はディレクトリ304-2とディレクトリ304-3で分けて利用される。この利用のためのSDS論理ボリュームについて次に説明する。

SDSプロセス306が管理するストレージリソースの例を図４に示す。SDSインスタンス14は、新たにテナントの契約などが行われた場合に、図１に示したインスタンス管理エージェント11によって作成される。契約がなされた場合、テナントがどのようなグレードあるいはSLA（Service Level Agreement）の契約かが、容量割当／回収システム20の各SDSノードにおける物理容量割当情報22に記録される。

SDSノード10が複数台あるクラスタ構成において、クラスタ中のどのSDSノード10を稼働させるか、何台のSDSノード10を稼動させるかについては、特に本実施の形態では規定しない。1つの例としては、テナントのために初期値として1台のSDSノード10が起動され、その後のテナント（ユーザ）の要求に応じて割り当てられた記憶容量に従ってSDSノード10の台数が増加してもよい。

もう1つの例としては、テナントの動的な要求によらず、クラスタに属すると設定されたSDSノード10で、予め設定されたテナントのためのSDSインスタンス14が稼動してもよい。たとえば10台のSDSノード10のクラスタで5つのテナント向けのサービスを提供する場合には、各SDSノード10にテナント毎の5個のSDSインスタンス14が起動され、合計で50個のSDSインスタンス14が起動されてもよい。

以降の説明では、稼働は後者の例であるとして、説明する。起動されたSDSインスタンス14が、どのテナントに対するサービスであるかは、容量割当／回収システム20のテナント−インスタンス対応付け情報23に記録される。

テナント−インスタンス対応付け情報23の例を図７に示す。テナント識別子700はサービスの提供先となるテナントの識別子である。「SDSノードX」のインスタンス701はSDSノード10-1で稼働するSDSインスタンス14の識別子であり、「SDSノードY」のインスタンス702はSDSノード10-2で稼働するSDSインスタンス14の識別子である。

図１では図示を省略したが、識別子が「SDSノードZ」のSDSノード10のインスタンス703もあり、例えば10台のSDSノード10がクラスタとなるように設定されている場合、1つのテナントに対して10個のSDSインスタンス14の識別子を、テナント−インスタンス対応付け情報23は含む。

そして、図７の例では、たとえば識別子が「テナントA」のテナントは、識別子が「SDSノードX」のSDSノード10-1で稼働する識別子が「I-XA」（「SDSインスタンスXA」）のSDSインスタンス14-1などに対応付けられていることを示す。

図４に説明を戻し、インスタンス管理エージェント11は、各SDSインスタンス14（SDSプロセス306）に対して、SDSノード10の物理記憶装置310に作成されたファイルシステム（OS論理ボリューム302）から、特定の書込み容量を切り出して割り当てる。

特定の容量のこの割当は、何通りかの設定により実現できる。本実施の形態においては、Linux（登録商標）におけるxfsファイルシステムなどが備えるクォータ値(pquota)を利用する。ただし、この割当のためにLVMを利用してもよい。

すなわち、インスタンス管理エージェント11-1は、SDSプロセス306-2、306-3が利用できるディレクトリ304-2、304-3をファイルシステム303-2に作成し、それらのディレクトリ304-2、304-3に対してpquota値402-2、402-3を設定する（矢印414-2、414-3）。

これにより、SDSプロセス306-2、306-3がディレクトリ304-2、304-3にpquota値402-2、402-3の制限を越えた容量を追加することはできないようになり、結果として利用できる物理容量13-2、13-3を設定することができるようになる。

1つのテナント（SDSインスタンス14、SDSプロセス306）に対して設定されるpquota値402の初期値は、インスタンス管理エージェント11によって決定及び設定される。初期値は予め設定された固定値であってもよいし、1台のSDSノード10の複数のSDSプロセス306間で等分に割り当てられた値であってもよい。

インスタンス管理エージェント11-1が、1台のSDSノード10-1で稼動する2個のSDSインスタンス14-2、14-3（SDSプロセス306-2、306-3）のpquota値402-2、402-3を変更することで、物理容量13-2、13-3の融通を実現できる。

たとえばSDSインスタンス14-2（SDSプロセス306-2）のpquota値402-2を200GB削減させ（回収し）、SDSインスタンス14-3のpquota値402-3を200GB増加させる（割り当てる）ことで、容量の融通が実現される。

インスタンス管理エージェント11-1によって起動（矢印411-2、411-3）されたSDSプロセス306は割り当てられたディレクトリ304を用いて、1つ以上のSDS論理ボリューム404を生成するためのSDS論理プール403を管理する。

SDS論理プール403に生成されたSDS論理ボリューム404は、SDSプロセス306を通して、別のコンピュートサーバ(通常のコンピュータ、もしくは仮想マシンなど)からアクセスされ、通常のボリュームとしてデータの読み書きが行われる。

SDS論理ボリューム404はソフトウェア的に再現されたディスク機能であり、物理容量13が無くともオーバーコミットの機能によりユーザへ仮想的にボリュームとして存在するように見せかけることができる。

図４では、SDSプロセス306がSDS論理ボリューム404（SDS論理プール403）を見せかけるため、SDSプロセス306の中にSDS論理ボリューム404（SDS論理プール403）が存在するように表現したが、SDSプロセス306の中に物理的に読み書きされる領域が存在するわけではない。

物理容量13-2、13-3を超えた容量のSDS論理ボリューム404-2〜404-4を提供する場合、SDS論理ボリューム404-2〜404-4の容量のうち、実際にデータが書き込まれた領域のみが物理記憶装置310の領域に割り当てられるThin Provisioningの機能が用いられる。

以上により、物理容量13-2、13-3それぞれが1TBしかない場合（pquota値402-2、402-3が1TBの場合）においても、テナントには2TBの領域（SDS論理プール403-2、403-3）が存在するように見せかけることができる。

なお、SDS論理プール403は、そのSDS論理プール403に含まれる1以上のSDS論理ボリュームであってもよい。このため、SDS論理ボリューム404-2のサイズは2TBであってもよく、SDS論理ボリューム404-3のサイズとSDS論理ボリューム404-4のサイズの総和は2TBであってもよい。

インスタンス管理エージェント11-1は、定期的にSDSプロセス306-2、306-3がテナントに対して提供するSDS論理ボリューム404-2〜404-4の容量の総和を監視し（矢印412-2〜412-4）、実際に書き込まれたデータサイズ401-2、401-3を監視する（矢印413-2、413-3）。

そして、インスタンス管理エージェント11-1は、SDSプロセス306-2、306-3に割り当てられたpquota値402-2、402-3から実際に書き込まれたデータサイズ401-2、401-3を減算して、物理容量13-2、13-3の空き容量を監視する。

本実施の形態では、不足率をたとえば1つのSDSインスタンス14-3（SDSプロセス306-3）がテナントに提供する1つ以上のSDS論理ボリューム404-3、404-4のサイズの中で、実際の物理容量13-3（pquota値402-3）に割り当てられていない容量(未割当容量)の大きさを示す指標として定義する。

このため、不足率の指標の計算式は、
不足率 ＝（（1つのSDSインスタンス14のSDS論理ボリューム404のサイズの総和）−（データサイズ401)）／（（1つのSDSインスタンス14に割り当てられた物理容量（pquota値402））−（データサイズ401））− 1
となる（パーセントで表す場合は100をさらに乗ずる）。

不足率が高くなると、テナントがSDS論理ボリューム404にデータを書き込むに従い、そのデータを格納するための物理容量13の空きが無くなり、書込みデータが消失してしまう可能性が高くなることを示す。

特にブロックストレージを提供するサービスにおいては、SDS論理ボリューム404を利用するコンピュータがどのタイミングで、どのようなデータを書き込むかを想定することは難しく、データの書き込みタイミングによっては、OS論理ボリューム302に構築されたファイルシステム303のインデックスデータを壊してしまい、それまでにSDS論理ボリューム404に書き込まれていたデータを破壊してしまう可能性がある。

よって、オーバーコミットを無尽蔵に行うことによって、予期せぬデータ消失のリスクを負う可能性がある。ストレージサービスの管理者は、それぞれのテナントとのSLA契約に従い、どの程度のリスクを許容するかをテナント毎に定めて、不足率を監視し、物理容量13を調整することが望ましい。

図５は、不足率設定情報21の例を示す図である。不足率設定情報21には、ストレージサービスが管理するテナント毎のオーバーコミットに影響するSLAに関する情報が格納される。不足率設定情報21に格納される情報は、各テナントに対して対応付けて管理される属性値の組である。

テナント識別子500はサービスの提供先となるテナントの識別子である。許容不足率501はテナント毎に許容される不足率である。グレードグループ502は物理容量13を融通し合うテナントをグルーピングする単位を示す。

たとえばグレードグループ502が「002」に属するテナントにサービスするSDSインスタンス14の不足率が許容不足率を超えた場合、グレードグループ502が同一の「002」に所属するテナントにサービスするSDSインスタンス14の中で、不足率が許容不足率以下のSDSインスタンス14の物理容量13から容量が融通され、不足率が許容量を超えたSDSインスタンス14の容量が増加される。

グレード優先度503はグレードグループ間の優先順位である。たとえば過去にグレードグループ502が「002」に属するテナントにサービスするSDSインスタンス14が、「002」よりも優先度が低いグレードグループ502の「003」に属するテナントにサービスするSDSインスタンス14に容量を融通した状態であるとする。

この状態において、グレードグループ502が「002」に属するテナントにサービスするSDSインスタンス14の不足率が許容不足率を上回った場合、過去に容量を融通したグレードグループ502の「003」に属するテナントにサービスするSDSインスタンス14に提供した容量を強制的に回収して割り当てる。備考504はグレード優先度503と同じ意味で別の表現の情報である。

なお、不足率設定情報21に格納される情報は、図１、２では図示が省略された表示装置と入力装置で、各情報の項目が表示されて各情報の値が入力されることにより設定されてもよい。また、項目が表示されて値が入力される情報は、不足率設定情報21に格納される情報の一部であってもよい。

図６は各SDSノード10における物理容量割当情報22の例を示す図である。各SDSノード10における物理容量割当情報22は、各SDSノード10において各SDSインスタンス14に割り当てられた物理容量13すなわち各テナントに割り当てられた物理容量13の容量の情報を含む。ここで、物理容量13の容量は、pquota値402のことである。

テナント識別子600はサービスの提供先となるテナントの識別子である。「SDSノードX」の容量601はSDSノード10-1の物理容量13-1〜13-3の容量であり、「SDSノードY」の容量602はSDSノード10-2の物理容量13-4〜13-6の容量である。図１では図示を省略したが、識別子が「SDSノードZ」のSDSノード10の容量603もある。

そして、図６の例では、たとえば識別子が「テナントA」のテナントは、識別子が「SDSノードX」のSDSノード10-1で「50GB」が物理容量13-1として割り当てられていることを示す。図６に示した範囲では、「テナントA」のテナントには、３台のSDSノード10により120GBが提供されていることになる。

インスタンス管理エージェント11が、定期的にSDSインスタンス14のSDS論理ボリューム404及び物理容量13（pquota値402）の利用状況をモニタリングして、不足率を計算し、不足率の許容不足率に違反を検出した場合、SDSインスタンス14間で物理容量13の容量を融通し合うことにより、オーバーコミット率を指定した範囲に収まるように制御する。

これにより、テナント間の物理記憶装置310の利用量が一時的に偏った場合に、特定のテナントのデータのみで他の優先度の高いテナントの容量を使いつぶすことなく運用ができるようにする。このような運用をオーバーコミット率調整運用と定義する。

以降では、本実施の形態の運用管理システムの動作について説明する。図８Ａ〜８ＣはSDSノード10-1のインスタンス管理エージェント11-1によるオーバーコミット率調整運用の処理シーケンスの例を示す図である。図８Ａ〜８ＣではSDSインスタンス14-1とSDSインスタンス14-2の2つを例として示すが、他にSDSインスタンス14が存在してもよい。

インスタンス管理エージェント11-1は、SDSインスタンス14-1、14-2を含むSDSノード10-1上で稼動するSDSインスタンス14のそれぞれのSDSプロセス306が利用するディレクトリ304のそれぞれにおける、実際に書き込まれたデータサイズ401をオペレーティングシステム300から取得する（ステップ801、821）。

なお、物理容量13-1、13-2を含むSDSノード10-1の物理容量13のそれぞれのpquota値402は、インスタンス管理エージェント11-1により設定された値であって、インスタンス管理エージェント11-1により値が保持されているが、オペレーティングシステム300から取得し直されてもよい。

インスタンス管理エージェント11-1は、SDSインスタンス14-1、14-2を含むSDSノード10-1上で稼動するSDSインスタンス14のそれぞれが、(クラスタとして)テナントに提供するSDS論理ボリューム404のサイズを、SDSインスタンス14のそれぞれから取得する（ステップ802、811-1、811-2）。

次に取得した情報から、インスタンス管理エージェント11-1は、SDSノード10-1の各SDSインスタンス14に対して、不足率を
不足率 ＝（（1つのSDSインスタンス14のSDS論理ボリューム404のサイズの総和）−（データサイズ401)）／（（1つのSDSインスタンス14に割り当てられた物理容量（pquota値402））−（データサイズ401））− 1
で計算する（ステップ803）。

インスタンス管理エージェント11-1は、容量割当／回収システム20から不足率設定情報21の許容不足率501を取得し(ステップ804、831)、取得した許容不足率501の値とステップ803で計算した不足率とを比較し、計算した不足率が許容不足率501の値を超えているか判定する(ステップ805)。

インスタンス管理エージェント11-1は、計算した不足率が許容不足率501の値を超えていないと判定した場合、すなわち不足が検出されなかった場合、ステップ808へ進み、処理を終了する。

インスタンス管理エージェント11-1は、計算した不足率が許容不足率501の値を超えていると判定した場合、すなわち不足が検出された場合、図８Ｂに示すように、容量割当／回収システム20に対して物理容量13間の調整（再配分）の案を要求する(ステップ806)。

この要求は、SDS論理ボリューム404のサイズ、データサイズ401、及びpquota値402の情報を含んでもよい。また、pquota値402が容量割当／回収システム20から応答された情報である場合、この要求はpquota値402を含まなくてもよい。

容量割当／回収システム20は、同一グレードグループ（グレードグループ502が同じ値のテナントに提供される物理容量13）かつ同一SDSノード10-1内での物理容量13の融通処理（再配分処理）の案を生成する (ステップ832)。この処理については、図９を用いて後でさらに説明する。

容量割当／回収システム20は、ステップ832で生成した案で不足率が許容不足率501の値以下になるかを判定し（ステップ833）、不足率が許容不足率501の値以下になると判定した場合、すなわちオーバーコミット率の問題が解決する場合、容量の回収先と回収元それぞれのSDSインスタンス14の識別子と容量（pquota値402の増減に関する情報）を含むステップ832で生成した融通配分変更案（再配分案）を応答する(ステップ834)。

容量割当／回収システム20は、ステップ832において不足率が許容不足率501の値以下にならないと判定した場合、すなわち条件を満たすSDSインスタンス14を発見できなかった場合、同一SDSノード10-1内の他のグレードグループとの物理容量13の融通処理の案を生成する(ステップ835)。この処理については、図１０を用いて後でさらに説明する。

容量割当／回収システム20は、ステップ835で生成した案で不足率が許容不足率501の値以下になるかを判定し（ステップ836）、不足率が許容不足率501の値以下になると判定した場合、すなわちオーバーコミット率の問題が解決する場合、容量の回収先と回収元それぞれのSDSインスタンス14の識別子と容量を含むステップ835で生成した融通配分変更案を応答する(ステップ837)。

容量割当／回収システム20は、ステップ836において不足率が許容不足率501の値以下にならないと判定した場合、すなわち容量不足によるリスクの増大と判定した場合、運用管理システムの管理者に警告を通知する（ステップ838）。

そして図８Ｃに示すように、インスタンス管理エージェント11-1は、容量割当／回収システム20から応答された融通配分変更案に従って、物理容量13の変更をオペレーティングシステム300へ指示し（ステップ807）、この指示に従って、オペレーティングシステム300は物理容量13を変更する（ステップ822）。

ここで、物理容量13の変更は、図４を用いて説明したようにpquota値402の増減により実現される。また、物理容量13の変更中に物理容量13へのアクセスが発生すると、そのアクセスの動作は保証されない可能性があるため、ステップ807にアクセスを一時的に停止させる指示が含まれてもよい。

インスタンス管理エージェント11-1からのアクセスを一時的に停止させる指示に対して、SDSインスタンス14-1、14-2は書き込みを閉塞し（ステップ812-1、812-2）、閉塞を解除する（ステップ813-1、813-2）。物理容量13の変更が完了すると、インスタンス管理エージェント11-1は処理を終了する（ステップ808）。

同一グレードグループ内での物理容量融通処理の手順の例を図９に示す。この手順の例は、図８Ｂを用いて説明したステップ832〜834に相当する。なお、グループが決まればグレード優先度（グレード）も決まるため、グレードグループを単にグループと呼んでもよい。

容量割当／回収システム20は、SDSノード10-1のインスタンス管理エージェント11-1からステップ806で再配分案を要求されると、各SDSノードにおける物理容量割当情報22、テナント−インスタンス対応付け情報23、及び再配分案を要求したインスタンス管理エージェント11-1からの各SDSインスタンス14の情報を参照して、SDSノード10-1の各SDSインスタンス14の許容不足率を取得し、不足率を計算する。

そして容量割当／回収システム20は、同一のSDSノード10-1内で不足率＜許容不足率となっている1以上のSDSインスタンス14をSDSインスタンス群Pとしてグレードグループ毎に抽出する（ステップ1001）。

以下では、1つの（同一の）グレードグループのSDSインスタンス14による1つのSDSインスタンス群Pを説明するが、ステップ1001で複数のグレードグループからSDSインスタンス14が抽出された場合、グレードグループ毎に以下で説明するステップ1002〜1009が繰り返されてもよい。

容量割当／回収システム20は、ステップ1001で1つのグレードグループから抽出されたSDSインスタンス群Pと同一SDSノード10-1の同一グレードグループ内で不足率＞許容不足率のSDSインスタンス群Qを抽出する（ステップ1002）。

容量割当／回収システム20は、SDSインスタンス群PのSDSインスタンス14それぞれについて、余剰物理容量すなわち物理容量が回収されると不足率＝許容不足率となる物理容量を計算し（不足物理容量の計算式より逆算し）、計算された物理容量のSDSインスタンス群Pにおける総和Rを計算する（ステップ1003）。

また容量割当／回収システム20は、SDSインスタンス群QのSDSインスタンス14それぞれについて、不足物理容量すなわち追加されると不足率＝許容不足率となる物理容量を計算し、計算された物理容量のSDSインスタンス群Qにおける総和Sを計算する（ステップ1004）。

容量割当／回収システム20は、物理容量の総和Rと総和Sを比較し、総和R≧総和Sであると判定して、条件を満たす場合はステップ1006へ進み、条件を満たさない場合はステップ1010へ進む（ステップ1005）。ステップ1006で容量割当／回収システム20は、SDSインスタンス群Pから回収してSDSインスタンス群Qへ割り当てる物理容量Tを決定する。

物理容量Tは、SDSインスタンス群Pから回収可能な物理容量であり、SDSインスタンス群Qへ割り当てることで不足を解消可能な物理容量であるから、総和S≦物理容量T≦総和Rを満たすように決定される。この物理容量Tは、総和S≦物理容量T≦総和Rを満たせば、任意の値であってもよい。

たとえば、物理容量T＝総和Sであってもよい。ただし、ある程度のデータ量が増加してゆく可能性もあるため、物理容量T＝min（総和S×1日以外のデータ増加予想率、総和R）などとするのが望ましい。ここで、min（I、J）はIとＪの最小値である。

容量割当／回収システム20は、SDSインスタンス群Pからの物理容量Tの回収案を生成し（ステップ1007）、SDSインスタンス群Qへの物理容量Tの割当案を生成する（ステップ1008）。回収案と割当案はそれぞれpquota値の変更案である。

容量割当／回収システム20は、同一のSDSノード10-1のSDSインスタンス14に関して不足率≦許容不足率となったかを判定し（ステップ1009）、不足率≦許容不足率になったと判定した場合は、ステップ834へ進み、回収案と割当案を含む再配分案を応答して処理を終了する。図９のステップ834は図８Ｂのステップ834に相当する。

ステップ1009で不足率≦許容不足率になっていないと判定した場合、容量割当／回収システムは、ステップ1010へ進み、再配分失敗を記録して、回収案と割当案が生成されている場合は破棄し、図１０を用いて説明する他グループからの再配分へ進む。

なお、ステップ1001で複数のグレードグループからSDSインスタンス14が抽出され、ステップ1002〜1009の処理対象となっていないグレードグループのSDSインスタンス14が不足率＞許容不足率として残っている場合は、ステップ1008の判定に基づいてステップ1002へ戻ってもよい。

また、ステップ1009で容量割当／回収システム20は、物理容量Tを決定できなかったことを判定してもよい。物理容量Tが決定できなかった場合、ステップ1007とステップ1008がスキップされてもよい。総和R≧総和Sであるので、物理容量Tは数値として存在できても、何らかの制限により回収と割当で使用できない数値である場合は、物理容量Tは決定できないとしてもよい。

また、以上の説明では、SDSインスタンス群Pの総和RとSDSインスタンス群Qの総和Sを用いた処理を説明したが、その代わりに、SDSインスタンス群Pとして列挙された個々のSDSインスタンス14の余剰物理容量をRとし、SDSインスタンス群Qとして列挙された個々のSDSインスタンス14の不足物理容量をSとして処理してもよい。

図１０は、図９に示した同一グレードグループ内での容量融通処理が失敗し、ステップ1010で再配分失敗が記録された場合に、他のグレードグループも含めて物理容量を融通する処理の例を示す図である。まず容量割当／回収システム20は、同一のSDSノード10-1内の他のグレードグループで、不足率＜許容不足率となり余剰物理容量を持つSDSインスタンス群Uを抽出する（ステップ1101）。

そして、容量割当／回収システム20は、ステップ1101で1つ以上のSDSインスタンス群Uが存在して抽出できたかを判定し（ステップ1102）、SDSインスタンス群Uが存在しないと判定するとステップ1107へ進み、SDSインスタンス群Uが存在すると判定するとステップ1103へ進む。

ステップ1103で容量割当／回収システム20は、図９に示したステップ1001で抽出したSDSインスタンス群PにSDSインスタンス群Uを加えて、複数のグレードグループを1つの仮想グレードグループとし、SDSインスタンス群PとSDSインスタンス群Uの余剰物理容量の総和Rを計算する。

ステップ1104〜1106は、図９に示したステップ1005〜1009に相当する。ただし、ステップ1105で容量割当／回収システム20は、SDSインスタンス群Qを含むグレードグループを融通先グレードグループとして、融通した物理容量Tと共に融通履歴へ記録する。

ステップ1106で容量割当／回収システム20は、ステップ1101〜1105の処理対象となっていないグレードグループのSDSインスタンス14が不足率＞許容不足率として残っている場合は、ステップ1101へ戻ってもよい。

そして、ステップ1106で容量割当／回収システム20は、同一のSDSノード10-1のSDSインスタンス14に関して不足率≦許容不足率になったと判定した場合、ステップ837へ進み、ステップ1105で生成した回収案と割当案を含む再配分案を応答して処理を終了する。図１０のステップ837は図８Ｂのステップ837に相当する。

これに対して、ステップ1104あるいはステップ1106で再配分失敗に相当すると判定した場合、容量割当／回収システム20は、ステップ1107へ進み、融通履歴を参照してSDSインスタンス群Qを含むグレードグループが過去に他のグレードグループへ融通したかを判定する。

容量割当／回収システム20は、ステップ1107で融通したと判定した場合、ステップ1108へ進み、融通したと判定された融通先グレードグループのグレード優先度503の値が、SDSインスタンス群Qを含むグレードグループのグレード優先度503の値より低いかを判定する。

容量割当／回収システム20は、ステップ1108で低いと判定した場合、ステップ1109へ進み、総和S≦物理容量Tとなる物理容量Tを決定し、グレード優先度503の値が低いと判定された融通先グレードグループのSDSインスタンス14からの物理容量Tの回収案を生成し、SDSインスタンス群Qへの物理容量Tの割当案を生成し、融通履歴の融通先グレードグループの記録を更新する。

ただし、この物理容量Tの決定処理においては、融通先グレードグループのSDSインスタンス14について、余剰物理容量≧物理容量Tとなることを条件としておらず、結果として強制的に物理容量が回収される。物理容量Tの回収によりpquota値402の値がデータサイズ401の値より小さくなる場合、書き込まれたデータが強制的に削除される。

このデータの削除については、SDS論理ボリューム404単位で削除されてもよいし、運用管理システムなどの管理者の選択により削除されてもよいし、最終アクセス時刻が最も古いデータから削除されてもよいし、pquota値402の値を小さくすると実装上使用できなくなる領域のデータが削除されてもよい。このデータの削除は、SDSノード10-1により実行されてもよい。

ステップ1109の後、容量割当／回収システム20は、ステップ1105で生成した回収案と割当案を含む再配分案を応答して処理を終了する（ステップ837）。また、ステップ1107あるいはステップ1108で融通先グレードグループを利用できないと判定した場合、容量割当／回収システム20は、図８Ｂに示したステップ838へ進み、運用管理システムの管理者に警告を通知する。

以上で説明したように、インスタンス管理エージェント11の監視する情報に基づいて、容量割当／回収システム20が不足率を算出でき、算出した不足率に基づいて物理容量13をSDSインスタンス14間で回収及び割当を行うことができる。

インスタンス管理エージェント11の監視する情報は、SDSインスタンス14（SDSプロセス306）とオペレーティングシステム300（ファイルシステム303）が一般的に提供する情報であり、制御する情報は一般的なpquota値402（物理容量13）あるいはLVMの制御情報であるため、既存のインターフェースを利用してストレージサービスの管理が可能になる。

また、物理容量13をSDSインスタンス14間で回収及び割当を行うことにより、テナント間での物理容量13の融通が可能になる。そして、テナントの優先度（グレード）に基づいて、同じ優先度のテナント間での物理容量13の融通あるいは優先度の低いテナントからの物理容量13の回収により、優先度の高い、容量確保が必要なテナントが、優先度が低いテナントによるデータ書き込みの影響を受ける可能性を抑えることができる。

また、SLAにより許容不足率が設定されることにより、物理容量13に対するSDS論理ボリューム404のサイズの比率であるオーバーコミット率が実質的に設定され、設定された許容不足率を超えないように不足率が調整されることにより、SLAを維持しながら、物理容量13の使用効率の良いストレージ提供サービスが実現できる。

10：SDSノード
11：インスタンス管理エージェント
13：物理容量
14：SDSインスタンス
20：容量割当／回収システム

Claims (15)

1. テナントに対してストレージの機能を提供し、提供するストレージの機能を調整する運用管理システムにおいて、
   テナントに対してストレージの論理ボリュームを提供し、テナントからの論理ボリュームへのデータの書き込みを受け付け、テナントに割り当てられた物理容量のストレージの領域へ、受け付けたデータを書き込むノードと、
   論理ボリュームのサイズと、書き込まれたデータのサイズと、テナントに割り当てられた物理容量とに基づいて、融通する物理容量を決定し、決定した物理容量に関する情報を前記ノードへ通知する容量割当回収システムと、
   を備えたことを特徴とする運用管理システム。
2. 請求項１に記載の運用管理システムにおいて、
   前記ノードは、
   論理ボリュームのサイズと、書き込まれたデータのサイズを、前記容量割当回収システムへ送信し、
   前記容量割当回収システムは、
   論理ボリュームのサイズと、書き込まれたデータのサイズを、前記ノードから受信して記憶することを特徴とする運用管理システム。
3. 請求項２に記載の運用管理システムにおいて、
   前記ノードは、
   テナントに割り当てられた物理容量より大きい論理ボリュームをテナントに対して提供することを特徴とする運用管理システム。
4. 請求項３に記載の運用管理システムにおいて、
   前記ノードは、
   テナントに対してストレージの複数の論理ボリュームを論理プールとして提供し、テナントからの複数の論理ボリュームへの複数のデータの書き込みを受け付け、テナントに割り当てられた物理容量のストレージの領域へ、受け付けた複数のデータを書き込むことを特徴とする運用管理システム。
5. 請求項４に記載の運用管理システムにおいて、
   前記容量割当回収システムは、
   予め設定された許容不足率を記憶して、記憶した許容不足率を前記ノードへ送信し、
   前記ノードは、
   複数の論理ボリュームのサイズの総和から、書き込まれた複数のデータのサイズを減算した第１の値を、テナントに割り当てられた物理容量から、書き込まれた複数のデータのサイズを減算した第２の値で除算し、除算した値から値の１を減算した不足率を算出し、
   前記容量割当回収システムから受信した許容不足率を、算出した不足率が超えると判定すると、前記容量割当回収システムへ再配分要求を送信することを特徴とする運用管理システム。
6. 請求項５に記載の運用管理システムにおいて、
   前記運用管理システムは、
   複数のテナントに対してストレージの機能を提供し、
   前記容量割当回収システムは、
   前記ノードから再配分要求を受信すると、
   複数のテナントの中の第１のテナントであって、不足率が許容不足率未満となる第１のテナントのための余剰物理容量を算出し、
   複数のテナントの中の第２のテナントであって、不足率が許容不足率を超える第２のテナントのための不足物理容量を算出し、
   算出された余剰物理容量と不足物理容量に基づいて、融通する物理容量を決定し、決定した物理容量を、第１のテナントに割り当てられた物理容量から回収して、第２のテナントに割り当てられた物理容量に割り当てる情報を生成し、生成した情報を再配分要求への応答として前記ノードへ通知することを特徴とする運用管理システム。
7. 請求項６に記載の運用管理システムにおいて、
   前記運用管理システムは、
   複数のノードを備え、
   第１のグループに属する複数のテナントの中の第１のテナントと第２のテナントに対してストレージの機能を提供し、
   複数の前記ノードの中の第１のノードは、
   第１のテナントに対して第１のインスタンスを実行し、
   第２のテナントに対して第２のインスタンスを実行し、
   第１のインスタンスは、
   第１のテナントに対してストレージの第１の論理ボリュームを提供し、第１のテナントからの第１の論理ボリュームへの第１のデータの書き込みを受け付け、第１のテナントに割り当てられた第１の物理容量のストレージの領域へ、受け付けた第１のデータを書き込み、
   第２のインスタンスは、
   第２のテナントに対してストレージの第２の論理ボリュームを提供し、第２のテナントからの第２の論理ボリュームへの第２のデータの書き込みを受け付け、第２のテナントに割り当てられた第２の物理容量のストレージの領域へ、受け付けた第２のデータを書き込み、
   前記容量割当回収システムは、
   前記第１のノードから再配分要求を受信すると、
   前記第１のノードにおいて、第１のグループに属する第１のテナントのための第１のインスタンスであって、不足率が許容不足率未満となる第１のインスタンスの余剰物理容量を算出し、
   前記第１のノードにおいて、第１のグループに属する第２のテナントのための第２のインスタンスであって、不足率が許容不足率を超える第２のインスタンスの不足物理容量を算出し、
   算出された余剰物理容量が、算出された不足物理容量以上であると判定すると、算出された余剰物理容量と算出された不足物理容量に基づいて、融通する物理容量を決定し、決定した物理容量を、第１のインスタンスの第１の物理容量から回収して、第２のインスタンスの第２の物理容量に割り当てる情報を生成し、生成した情報を再配分要求への応答として前記第１のノードへ通知することを特徴とする運用管理システム。
8. 請求項７に記載の運用管理システムにおいて、
   前記運用管理システムは、
   第２のグループに属する複数のテナントの中の第３のテナントに対してストレージの機能を提供し、
   前記第１のノードは、
   第３のテナントに対して第３のインスタンスを実行し、
   第３のインスタンスは、
   第３のテナントに対してストレージの第３の論理ボリュームを提供し、第３のテナントからの第３の論理ボリュームへの第３のデータの書き込みを受け付け、第３のテナントに割り当てられた第３の物理容量のストレージの領域へ、受け付けた第３のデータを書き込み、
   前記容量割当回収システムは、
   前記第１のノードから再配分要求を受信すると、
   第１のインスタンスの余剰物理容量を算出し、
   第２のインスタンスの不足物理容量を算出し、
   算出された余剰物理容量が、算出された不足物理容量未満であると判定し、前記第１のノードにおいて、第２のグループに属する第３のテナントのための第３のインスタンスであって、不足率が許容不足率未満となる第３のインスタンスが存在するとさらに判定すると、第１のインスタンスと第３のインスタンスの余剰物理容量を算出し、
   算出された第１のインスタンスと第３のインスタンスの余剰物理容量が、算出された第２のインスタンスの不足物理容量以上であると判定すると、算出された第１のインスタンスと第３のインスタンスの余剰物理容量と算出された第２のインスタンスの不足物理容量に基づいて、融通する物理容量を決定し、決定した物理容量を回収して割り当てる情報を生成し、融通先グループとして第１のグループを記録し、生成した回収して割り当てる情報を再配分要求への応答として前記第１のノードへ通知することを特徴とする運用管理システム。
9. 請求項８に記載の運用管理システムにおいて、
   前記運用管理システムは、
   優先度が付与された第１のグループに属する複数のテナントの中の第１のテナントと第２のテナントに対してストレージの機能を提供し、
   優先度が付与された第３のグループに属する複数のテナントの中の第４のテナントに対してストレージの機能を提供し、
   前記第１のノードは、
   第４のテナントに対して第４のインスタンスを実行し、
   第４のインスタンスは、
   第４のテナントに対してストレージの第４の論理ボリュームを提供し、第４のテナントからの第４の論理ボリュームへの第４のデータの書き込みを受け付け、第４のテナントに割り当てられた第４の物理容量のストレージの領域へ、受け付けた第４のデータを書き込み、
   前記容量割当回収システムは、
   算出された第１のインスタンスの余剰物理容量が、算出された第２のインスタンスの不足物理容量未満であると判定し、
   前記第１のノードにおいて、第２のグループに属する第３のテナントのための第３のインスタンスであって、不足率が許容不足率未満となる第３のインスタンスが存在しないと判定し、
   融通先グループが記録されていると判定し、
   融通先グループとして記録された第３のグループの優先度が第１のグループの優先度より低いとさらに判定すると、算出された第２のインスタンスの不足物理容量に基づいて、融通する物理容量を決定し、決定した物理容量を、第４のインスタンスの第４の物理容量から回収して、第２のインスタンスの第２の物理容量に割り当てる情報を生成し、生成した情報を再配分要求への応答として前記第１のノードへ通知することを特徴とする運用管理システム。
10. 請求項９に記載の運用管理システムにおいて、
    前記容量割当回収システムは、
    前記第１のノードにおいて、第２のグループに属する第３のテナントのための第３のインスタンスであって、不足率が許容不足率未満となる第３のインスタンスが存在しないと判定し、
    融通先グループが記録されていないと判定する、あるいは融通先グループとして記録された第３のグループの優先度が第１のグループの優先度より低くないと判定すると、管理者へ警告を通知することを特徴とする運用管理システム。
11. テナントに対してストレージの機能を提供するノードと容量割当回収システムにより、
    提供するストレージの機能を調整する運用管理方法において、
    前記ノードは、
    テナントに対してストレージの論理ボリュームを提供し、テナントからの論理ボリュームへのデータの書き込みを受け付け、テナントに割り当てられた物理容量のストレージの領域へ、受け付けたデータを書き込み、
    前記容量割当回収システムは、
    論理ボリュームのサイズと、書き込まれたデータのサイズと、テナントに割り当てられた物理容量とに基づいて、融通する物理容量を決定し、決定した物理容量に関する情報を前記ノードへ通知することを特徴とする運用管理方法。
12. 請求項１１に記載の運用管理方法において、
    前記ノードは、
    論理ボリュームのサイズと、書き込まれたデータのサイズを、前記容量割当回収システムへ送信し、
    前記容量割当回収システムは、
    論理ボリュームのサイズと、書き込まれたデータのサイズを、前記ノードから受信して記憶することを特徴とする運用管理方法。
13. 請求項１２に記載の運用管理方法において、
    前記ノードは、
    テナントに割り当てられた物理容量より大きい論理ボリュームをテナントに対して提供することを特徴とする運用管理方法。
14. 請求項１３に記載の運用管理方法において、
    前記ノードは、
    テナントに対してストレージの複数の論理ボリュームを論理プールとして提供し、テナントからの複数の論理ボリュームへの複数のデータの書き込みを受け付け、テナントに割り当てられた物理容量のストレージの領域へ、受け付けた複数のデータを書き込むことを特徴とする運用管理方法。
15. 請求項１４に記載の運用管理方法において、
    前記容量割当回収システムは、
    予め設定された許容不足率を記憶して、記憶した許容不足率を前記ノードへ送信し、
    前記ノードは、
    複数の論理ボリュームのサイズの総和から、書き込まれた複数のデータのサイズを減算した値を、テナントに割り当てられた物理容量から、書き込まれた複数のデータのサイズを減算した値で除算し、除算した値から値の１を減算した不足率を算出し、
    前記容量割当回収システムから受信した許容不足率を、算出した不足率が超えると判定すると、前記容量割当回収システムへ再配分要求を送信すること
    を特徴とする運用管理方法。

Images