JP7229214B2 - 計算機システム及び負荷分散方法 - Google Patents

Description

本開示は、計算機システム及び負荷分散方法に関する。

ＨＣＩ（Hyper-Converged Infrastructure）のような、データを格納するストレージデバイスを管理する複数のサーバを備えた計算機システムが知られている。この種の計算機システムでは、ストレージデバイスに格納されているデータを別のサーバで管理されているストレージデバイスに移行するデータマイグレーションを行い、そのデータに対するＩ／Ｏ処理を別のサーバに実行させることで、各サーバに係る負荷を分散させることができる。

近年、複数のストレージデバイスボックスと複数のサーバとをネットワークを介して接続し、複数のサーバが同一のドライブボックスを共用する計算機システムが提案されている。この種の計算機システムでは、ストレージデバイスボックスにアクセスするためのメタデータを別のサーバに移行するデータマイグレーションであるメタマイグレーションを行うことで、そのデータに対するＩ／Ｏ処理を別のサーバに実行させることが可能になる。

メタマイグレーションでは、従来のデータマイグレーションのようなストレージデバイスに格納されているデータの移行を行う必要がないため、データマイグレーションによる移動負荷を低減することが可能になる。

しかしながら、メタデータのデータ量は種々の条件に応じて異なるため、単にメタマイグレーションを行うだけでは、データ量の大きいメタデータが移行されるなど、移動負荷を適切に低減することができないという問題がある。

本開示の目的は、マイグレーションの移動負荷を低減することが可能な計算機システム及び負荷分散方法を提供することにある。

本開示の一態様に従う計算機システムは、データを記憶する記憶デバイスと、前記記憶デバイスに対するリード及びライトを行う複数の計算機ノードと、を有する計算機システムであって、各計算機ノードは、前記記憶デバイスの物理的な記憶領域にマッピングされた論理的な記憶領域を有するボリュームを管理するための管理情報を格納し、当該管理情報に応じて前記ボリュームをコンピュートホストに提供し、前記計算機システムは、前記ボリュームごとに、当該ボリュームを管理するための管理情報のデータ量であるメタデータ量を算出し、各メタデータ量に基づいて、前記ボリュームの中から移動対象ボリュームを決定し、当該移動対象ボリュームを前記コンピュートホストに提供する計算機ノードを移動先の計算機ノードに移行するボリュームマイグレーションを行う。

本発明によれば、マイグレーションの移動負荷を低減することが可能になる。

本開示の一実施形態の計算機システムを示す構成図である。 ストレージデバイスボックスのハードウェア構成を示す図である。 サーバのハードウェア構成を示す図である。 ストレージデバイスボックス及びサーバの機能的な構成を示す図である。 ブロックマッピングを説明するための図である。 サーバのメモリに記憶されたメタデータ及びプログラムの内部構成を示す図である。 サーバ情報の一例を示す図である。 ストレージデバイス情報の一例を示す図である。 ネットワーク情報の一例を示す図である。 ネットワークＩ／Ｆ情報の一例を示す図である。 アプリケーション情報の一例を示す図である。 コンピュートホスト情報の一例を示す図である。 システムコントローラ情報の一例を示す図である。 フォールトドメイン情報の一例を示す図である。 ストレージコントローラ情報の一例を示す図である。 ボリューム情報の一例を示す図である。 ブロックマッピング情報の一例を示す図である。 ストレージデバイスボックスのメモリに記憶されたメタデータ及びプログラムの内部構成を示す図である。 ストレージデバイスボックス情報４０１の一例を示す図である。 ライト処理の一例を説明するためのフローチャートである。 新規割当処理の一例を説明するためのフローチャートである。 リード処理の一例を説明するためのフローチャートである。 マイグレーションの概要を説明するための図である。 マイグレーションジョブ処理の一例を説明するためのフローチャートである。 移動先サーバ候補の評価処理の一例を説明するためのフローチャートである。 移動対象ボリュームの選択処理の一例を説明するためのフローチャートである。 コンピュートホストとボリュームのマイグレーション処理の一例を説明するためのフローチャートである。

以下、本開示の実施形態について図面を参照して説明する。

なお、以下の説明では、「プログラム」を動作主体として処理を説明する場合があるが、プログラムは、プロセッサ（例えば、ＣＰＵ（Central Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えば、メモリ）及び／又は通信インターフェースデバイス（例えば、ポート）を用いながら行うため、処理の主体はプロセッサ又はそのプロセッサを有するデバイス（例えば、計算機）としてもよい。また、「ＡＡＡテーブル」といった表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ＡＡＡテーブル」を「ＡＡＡ情報」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。

図１は、本開示の一実施形態の計算機システムを示す構成図である。図１に示す計算機システム１は、１つ以上のフォールトドメイン（Fault Domain）２を有する。フォールトドメイン２が複数ある場合、各フォールトドメイン２は、ネットワーク（Network）３を介して相互に通信可能に接続される。

フォールトドメイン２は、１つ以上のストレージデバイスボックス（Storage Device Box）１０と、１つ以上のサーバ（Server）２０とを有する。各ストレージデバイスボックス１０と各サーバ２０とは、ネットワーク３０を介して相互に通信可能に接続される。ネットワーク３０は、例えば、イーサネット（登録商標）などの高速ネットワークである。なお、フォールトドメイン２が複数ある場合、ネットワーク３０は、各フォールトドメイン２を相互に接続するネットワーク３と接続される。

ストレージデバイスボックス１０は、データを格納するストレージデバイスを１つ以上備えたデバイスであり、ストレージデバイスの制御に特化している。

サーバ２０は、ストレージデバイスを管理する計算機ノードであり、計算機システムのユーザにて使用されるアプリケーションプログラム及びストレージデバイスを制御するストレージコントローラなどを実行するデバイスである。サーバ２０は、ストレージデバイスを備えていてもよい。

なお、フォールトドメイン２が複数ある場合、複数のフォールトドメイン２のいずれかがダウンしても、他のフォールトドメイン２で計算機システム１が継続できるように、２つ以上のフォールトドメインのそれぞれのストレージデバイス間でデータの冗長化が行われてもよい。データの冗長化方法としては、例えば、レプリケーション及びイレージャーコーディング(Erasure Coding)などが挙げられる。

図２は、ストレージデバイスボックス１０のハードウェア構成を示す図である。図２に示すストレージデバイスボックス１０は、ストレージデバイス（Storage Device）１１と、ネットワークＩ／Ｆ（Network I/F）１２と、メモリ（Memory）１３と、ＣＰＵ（Central Processing Unit）１４とを有する。

ストレージデバイス１１は、データを記憶する記憶デバイスである。ストレージデバイス１１の種類は、特に限定されないが、例えば、ハードディスクドライブ及びＳＳＤ（Solid State Drive）などである。また、ストレージデバイス１１は、複数あってもよい。

ネットワークＩ／Ｆ１２は、ネットワーク３０を介してサーバ２０と通信可能に接続し、サーバ２０との間でデータの送受信を行う。

メモリ１３は、ＣＰＵ１４にて読み取り可能な記録媒体であり、ＣＰＵ１４の動作を規定するプログラムを記憶する。メモリ１３は、ＤＲＡＭ（Dynamic Random Access Memory）のような揮発性のメモリでもよいし、ＳＣＭ（Storage Class Memory）のような不揮発性のメモリでもよい。

ＣＰＵ１４は、メモリ１３に記憶されたプログラムを読み取り、その読み取ったプログラムを実行することで、種々の機能を実現するプロセッサである。

図３は、サーバ２０のハードウェア構成を示す図である。図３に示すサーバ２０は、ストレージデバイス２１と、ネットワークＩ／Ｆ２２と、メモリ２３と、ＣＰＵ２４とを有する。

ストレージデバイス２１は、データを記憶する記憶デバイスである。ストレージデバイス２１の種類は、特に限定されないが、例えば、ハードディスクドライブ及びＳＳＤなどである。また、ストレージデバイス２１は、複数あってもよい。

ネットワークＩ／Ｆ２２は、ネットワーク３０を介してストレージデバイスボックス１０及び他のサーバ２０と通信可能に接続し、ストレージデバイスボックス１０及び他のサーバ２０との間でデータの送受信を行う。

メモリ２３は、ＣＰＵ２４にて読み取り可能な記録媒体であり、ＣＰＵ２４の動作を規定するプログラムと、ＣＰＵ２４で使用される種々の情報を記憶する。メモリ２３は、ＤＲＡＭのような揮発性のメモリでもよいし、ＳＣＭのような不揮発性のメモリでもよい。

ＣＰＵ２４は、メモリ２３に記憶されたプログラムを読み取り、その読み取ったプログラムを実行することで、種々の機能を実現するプロセッサである。

図４は、ストレージデバイスボックス１０及びサーバ２０の機能的な構成を示す図である。図４に示すようにストレージデバイスボックス１０は、ストレージデバイス１１と、システムコントローラ（System Controller）１５と、ストレージデバイスボックスコントローラ（Storage Device Box Controller）１６とを有する。

システムコントローラ１５は、ストレージデバイスボックス１０のハードウェア及びソフトウェアを制御するプログラムであり、例えば、ＯＳ（Operating System）又はハイパーバイザ(hypervisor)などである。また、システムコントローラ１５は、サーバ２０との間でデータの送受信を行う機能を有する。

ストレージデバイスボックスコントローラ１６は、システムコントローラ１５上で動作するプログラムであり、ストレージデバイス１１を制御する。例えば、ストレージデバイスボックスコントローラ１６は、サーバ２０（具体的には、後述のストレージコントローラ２６）と通信し、サーバ２０からのＩ／Ｏ要求に応じて、ストレージデバイス１１に対するＩ／Ｏ処理を実行し、その処理結果をサーバ２０に返却する。

また、図４に示すようにサーバ２０は、ストレージデバイス２１と、システムコントローラ２５と、ストレージコントローラ（Storage Controller）２６と、コンピュートホスト（Compute Host）２７とを有する。

システムコントローラ２５は、サーバ２０のハードウェア及びソフトウェアを制御するプログラムであり、例えば、ＯＳ（Operating System）又はハイパーバイザ(hypervisor)などである。また、システムコントローラ２５は、ストレージデバイスボックス１０及び他のサーバ２０との間でデータの送受信を行う機能を有する。

ストレージコントローラ２６及びコンピュートホスト２７は、システムコントローラ２５上で動作するプログラムである。

ストレージコントローラ２６は、サーバ２０自身のストレージデバイス２１及びストレージデバイスボックス１０内のストレージデバイス１１を制御する。

例えば、ストレージコントローラ２６は、コンピュートホスト２７（具体的には、後述のアプリケーションプログラム２９）に提供する論理的な記憶領域であるボリューム（Volume）２８を管理する。ボリューム２８は、１つのサーバ２０内に複数あってもよい。ボリューム２８は、複数の論理ブロックにて構成され、各論理ブロックは、ストレージデバイス１１及び２１の物理的な記憶領域の管理単位である物理ブロックにマッピングされる。論理ブロックと物理ブロックとの間のマッピング関係は、ブロックマッピングと呼ばれ、ストレージコントローラ２６にて管理される（図５参照）。

ストレージコントローラ２６は、コンピュートホスト２７からのボリューム２８に対するＩ／Ｏ要求に応じて、ボリューム２８に対するリード及びライトを実行し、その結果をコンピュートホスト２７に返却する。

また、ストレージコントローラ２６は、ボリューム２８並びにストレージデバイス１１及び２１へのアクセスを担当するオーナ権を管理する。オーナ権を他のサーバ２０のストレージコントローラ２６に移動させることで計算機システムの負荷分散を行うことができる。オーナ権の移動は、オーナ権に関するメタデータの転送にて実施される。

また、ストレージコントローラ２６は、ボリューム２８に対して、そのボリューム２８に関する種々のデータ管理機能を提供する。データ管理機能は、例えば、容量仮想化機能（例えば、シンプロビジョニング機能）、容量削減機能（例えば、圧縮機能、重複排除機能及びスナップショット機能）、及び、データ保護機能（例えば、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）機能及びイレージャーコーディング(Erasure Coding機能)などを提供する。データ管理機能によってボリューム２８のメタデータのデータ量であるメタデータ量が変化する。

コンピュートホスト２７は、サーバ２０のハードウェア資源（ネットワークＩ／Ｆ２２、メモリ２３及びＣＰＵ２４など）を制御するプログラムである。コンピュートホスト２７は、例えば、ＶＭＭ(Virtual Machine Monitor)又はコンテナなどである。

コンピュートホスト２７上でアプロケーションプログラム（Application Program）が実行される。アプリケーションプログラム２９は、計算機システムのユーザにて使用されるプログラムである。アプリケーションプログラム２９は、ストレージコントローラ２６から提供されるボリューム２８に対するＩ／Ｏ要求を行う。

図５は、ブロックマッピングを説明するための図である。

ボリューム２８は、論理ブロック（Logical Block）３１と呼ばれる単位で管理される。また、ストレージデバイス１１及び２１のデータ記憶領域は物理ブロック（Physical Block）３２と呼ばれる単位で管理される。論理ブロック４１と物理ブロック４２との対応関係は、ブロックマッピング（Block Mapping）４０と呼ばれる。論理ブロック４１のサイズは、固定されていてもよいが、本実施形態では、データの圧縮処理などに対応するため可変であるとする。

ブロックマッピング４０では、１つの論理ブロック４１が１つ以上の物理ブロック４２に対応する。また、あるボリューム２８の論理ブロック４１は、他のボリューム２８の論理ブロック４１と共用（同じ物理ブロックにマッピング）されることがある。例えば、重複排除機能又はスナップショット機能が使用される場合、あるボリューム２８の論理ブロック４１は、他のボリューム２８の論理ブロック４１と共用される

ストレージコントローラ２６が、論理ブロック４１のデータが更新される際に物理ブロックのデータを更新せずに、新たなデータを新たな物理ブロックに追記するログ構造化方式に対応してもよい。この場合、データのライトが行われるたびに、そのデータの格納先となる物理ブロック４２が変更されるため、新しいブロックマッピング４０が生成される。古いブロックマッピング４０は、そのブロックマッピング４０を使用するストレージコントローラ２６が存在しなくなると、ガベージコレクション処理などで削除される。

図６は、サーバ２０のメモリ２３に記憶されたメタデータ及びプログラムの内部構成を示す図である。図６に示すメタデータ１００は、当該メタデータ１００を記憶しているサーバ２０（以下、当該サーバ２０と称する）に関するデータであり、サーバ情報（Server Information）１０１と、ストレージデバイス情報（Storage Device Information）１０２と、ネットワーク情報（Network Information）１０３と、ネットワークＩ／Ｆ情報（Network I/F Information）１０４と、アプリケーション情報（Application Informaion）１０５と、コンピュートホスト情報（Compute Host Information）１０６と、システムコントローラ情報（System Controller Information）１０７と、フォールトドメイン情報（Fault Domain Information）１０８と、ストレージコントローラ情報（Storage Controller Information）１０９と、ボリューム情報（Volume Information）１１０と、ブロックマッピング情報（Block Mapping Information）１１１とを含む。また、プログラム１５０は、システムコントローラ２５と、ストレージコントローラ２６と、コンピュートホスト２７と、アプリケーションプログラム２９とを有する。

図７は、サーバ情報１０１の一例を示す図である。図７に示すサーバ情報１０１は、フィールド２０１～２０６を含む。

フィールド２０１は、当該サーバ２０を識別する識別情報であるサーバＩＤ（Server ID）を格納する。フィールド２０２は、当該サーバ２０が属するフォールトドメイン２を識別する識別情報であるフォールトドメインＩＤ（Fault Domain ID）を格納する。フィールド２０３は、当該サーバ２０に記憶されているネットワークＩ／Ｆ情報１０４の一覧であるネットワークＩ／Ｆ情報リスト（Network I/F Information List）を格納する。フィールド２０４は、当該サーバ２０に記憶されているストレージデバイス情報１０２の一覧であるストレージデバイス情報リスト（Storage Device Information List）を格納する。フィールド２０５は、当該サーバ２０のハードウェアに関するサーバハードウェア情報（Hardware Information of Server）を格納する。フィールド２０６は、当該サーバ２０のハードウェア及びソフトウェアに関連するモニタ情報であるサーバモニタ情報（Monitoring Information of Server）を格納する。サーバモニタ情報は、例えば、メモリ２３及びＣＰＵ２４の負荷（利用率）などである。

図８は、ストレージデバイス情報１０２の一例を示す図である。図８に示すストレージデバイス情報１０２は、フィールド２１１～２１５を含む。なお、ストレージデバイス情報１０２は、当該サーバ２０が備えるストレージデバイス２１（以下、当該ストレージデバイス２１と称する）ごとに用意される。

フィールド２１１は、当該ストレージデバイス２１を識別する識別情報であるストレージデバイスＩＤ（Storage Device ID）を格納する。フィールド２１２は、当該サーバ２０（当該ストレージデバイス２１を備えるサーバ２０）を識別するサーバＩＤを格納する。フィールド２１３は、当該ストレージデバイス２１のハードウェアに関するストレージデバイスハードウェア情報（Hardware Information of Storage Device）を格納する。ストレージデバイスハードウェア情報は、例えば、記憶容量などのスペックを示す。フィールド２１４は、ストレージデバイスに関するモニタ情報であるストレージデバイスモニタ情報（Monitoring Information of Storage Device）を格納する。ストレージデバイスモニタ情報は、例えば、負荷（Ｉ／Ｏ要求の量など）などを示す。フィールド２１５は、当該ストレージデバイス２１に対応する物理ブロックを有するブロックマッピング情報１１１の一覧であるブロックマッピング情報リストを格納する。

図９は、ネットワーク情報１０３の一例を示す図である。図９に示すネットワーク情報１０３は、フィールド２２１～２２８を含む。なお、ネットワーク情報１０３は、当該サーバ２０が接続されているネットワーク３（以下、当該ネットワーク３と称する）ごとに用意される。

フィールド２２１は、当該ネットワーク３を識別する識別情報であるネットワークＩＤ（Network ID）を格納する。フィールド２２２は、当該ネットワーク３が属するフォールトドメインを識別するフォールトドメインＩＤを格納する。フィールド２２３は、当該ネットワーク３と接続されているネットワークＩ／Ｆ１２及び２２のネットワークＩ／Ｆ情報１０４の一覧であるネットワークＩ／Ｆ情報リスト（Network I/F Information List）を格納する。フィールド２２４は、当該ネットワーク３と接続されているサーバ２０のサーバＩＤの一覧であるサーバＩＤリスト（Server ID List）を格納する。

フィールド２２５は、当該ネットワーク３と接続されているストレージデバイスボックス１０を識別する識別情報であるストレージデバイスボックスＩＤの一覧であるストレージデバイスボックスＩＤリスト（Storage Device Box ID List）を格納する。フィールド２２６は、当該ネットワーク３と接続されている他のネットワーク３のネットワークＩＤの一覧であるネットワークＩＤリスト（Network ID List）を格納する。フィールド２２７は、当該ネットワーク３のハードウェアに関する情報であるネットワークハードウェア情報（Hardware Information of Network）を格納する。ネットワークハードウェア情報は、例えば、ネットワーク３上のスイッチ（図示せず）などに関する情報である。フィールド２２８は、当該ネットワーク３に関するモニタ情報であるネットワークモニタ情報（Monitoring Information of Network）を格納する。ネットワークモニタ情報は、例えば、ネットワーク３上のスイッチの負荷などである。

図１０は、ネットワークＩ／Ｆ情報１０４の一例を示す図である。図１０に示すネットワークＩ／Ｆ情報１０４は、フィールド２３１～２３３を含む。なお、ネットワークＩ／Ｆ情報１０４は、当該サーバ２０が備えるネットワークＩ／Ｆ２２（以下、当該ネットワークＩ／Ｆ２２と称する）ごとに用意される。

フィールド２３１は、当該ネットワークＩ／Ｆ２２を識別する識別情報であるネットワークＩ／ＦＩＤ（Network I/F ID）を格納する。フィールド２３２は、当該ネットワークＩ／Ｆ２２のネットワーク３上のアドレス（Address）を格納する。アドレスは、例えば、ＩＰアドレス及びポート番号である。フィールド２３３は、当該ネットワークＩ／Ｆ２２の種別（Type）を格納する。種別は、例えば、当該ネットワークＩ／Ｆの用途（管理用、データ転送用など）を示す。

図１１は、アプリケーション情報１０５の一例を示す図である。図１１に示すアプリケーション情報１０５は、フィールド２４１～２４３を含む。なお、アプリケーション情報１０５は、当該サーバ２０が備えるアプリケーションプログラム２９（以下、当該アプリケーションプログラム２９と称する）ごとに用意される。

フィールド２４１は、当該アプリケーションプログラム２９を識別する識別情報であるアプリケーションＩＤ（Application ID）を格納する。フィールド２４２は、当該アプリケーションプログラム２９の実行するコンピュートホスト２７を識別する識別情報であるコンピュートホストＩＤ（Compute Host ID）を格納する。フィールド２４３は、当該アプリケーションプログラム２９に関するモニタ情報であるアプリケーションモニタ情報（Monitoring Information of Application）を格納する。アプリケーションモニタ情報は、例えば、当該アプリケーションプログラム２９のハードウェア資源に対する負荷などである。

図１２は、コンピュートホスト情報１０６の一例を示す図である。図１２に示すコンピュートホスト情報１０６は、フィールド２５１～２５３を含む。なお、コンピュートホスト情報１０６は、当該サーバ２０が備えるコンピュートホスト２７（以下、当該コンピュートホスト２７と称する）ごとに用意される。

フィールド２５１は、当該コンピュートホスト２７を識別する識別情報であるコンピュートホストＩＤを格納する。フィールド２５２は、当該コンピュートホスト２７上で実行されるアプリケーションプログラム２９を識別する識別情報であるアプリケーションＩＤを格納する。フィールド２５３は、当該コンピュートホスト２７に関するモニタ情報であるコンピュートホストモニタ情報（Monitoring Information of Compute Host）を格納する。コンピュートホストモニタ情報は、例えば、当該コンピュートホスト２７のハードウェア資源に対する負荷などである。

図１３は、システムコントローラ情報１０７の一例を示す図である。図１３に示すシステムコントローラ情報１０７は、フィールド２６１～２６３を含む。なお、システムコントローラ情報１０７は、当該サーバ２０が備えるシステムコントローラ２５（以下、当該システムコントローラ２５と称する）ごとに用意される。

フィールド２６１は、当該システムコントローラ２５を識別する識別情報であるシステムコントローラＩＤを格納する。フィールド２６２は、当該サーバ２０（当該システムコントローラ２５を実行するサーバ２０）のサーバＩＤを格納する。フィールド２６３は、当該システムコントローラ２５に関するモニタ情報であるシステムコントローラモニタ情報（Monitoring Information of System Controller）を格納する。コンピュートホストモニタ情報は、例えば、当該システムコントローラ２５のハードウェア資源に対する負荷などである。

図１４は、フォールトドメイン情報１０８の一例を示す図である。図１４に示すフォールトドメイン情報１０８は、フィールド２７１～２７４を含む。

フィールド２７１は、当該サーバ２０が属するフォールトドメイン２（以下、当該フォールトドメイン２と称する）を識別情報であるフォールトドメインＩＤ（Fault Domain ID）を格納する。フィールド２７２は、当該フォールトドメイン２に属するサーバ２０のサーバＩＤの一覧であるサーバＩＤリストを格納する。フィールド２７３は、当該フォールトドメイン２に属するストレージデバイスボックス１０のストレージデバイスボックスＩＤの一覧であるストレージデバイスボックスＩＤリストを格納する。フィールド２７４は、当該フォールトドメイン２に属するネットワーク３のネットワークＩＤの一覧であるネットワークＩＤリストを格納する。

図１５は、ストレージコントローラ情報１０９の一例を示す図である。図１５に示すストレージコントローラ情報１０９は、フィールド２８１～２８４を含む。なお、ストレージコントローラ情報１０９は、当該サーバ２０が備えるストレージコントローラ２６（以下、当該ストレージコントローラ２６と称する）ごとに用意される。

フィールド２８１は、当該ストレージコントローラ２６を識別する識別情報であるストレージコントローラＩＤを格納する。フィールド２８２は、当該サーバ２０（当該ストレージコントローラ２６を実行するサーバ２０）のサーバＩＤを格納する。フィールド２８３は、当該ストレージコントローラ２６がオーナ権を有するボリュームを識別する識別情報であるボリュームＩＤの一覧であるボリュームＩＤリスト（Volume ID List）を格納する。フィールド２８４は、当該ストレージコントローラ２６がオーナ権を有するブロックマッピング情報１１１の一覧であるブロックマッピング情報リストを格納する。

図１６は、ボリューム情報１１０の一例を示す図である。図１６に示すボリューム情報１１０は、フィールド２９１～２９７を含む。なお、ボリューム情報１１０は、当該ストレージコントローラ２６がオーナ権を有するボリューム２８（以下、当該ボリューム２８と称する）ごとに用意される。

フィールド２９１は、当該ボリューム２８を識別する識別情報であるボリュームＩＤ（Volume ID）を格納する。フィールド２９２は、当該ボリューム２８のオーナ権を有するストレージコントローラ２６のストレージコントローラＩＤを格納する。フィールド２９３は、当該ボリューム２８を使用するコンピュートホスト２７のコンピュートホストＩＤを格納する。フィールド２９４は、当該ボリューム２８に対応する論理ブロックを有するブロックマッピング情報１１１の一覧であるブロックマッピング情報リストを格納する。フィールド２９５は、当該ボリューム２８に対して適用されるデータ管理機能を示すストレージ特徴情報（Storage Features Information）を格納する。フィールド２９６は、当該ボリューム２８に関するモニタ情報であるボリュームモニタ情報（Monitoring Information of Volume）を格納する。ボリュームモニタ情報は、例えば、ＩＯＰＳ（当該ボリューム２８のハードウェア資源に対する負荷）などである。フィールド２９７は、当該ボリューム２８のボリュームマイグレーションのコスト（移動データ量、ＣＰＵ負荷など）である移動コスト（マイグレーション処理コスト）を示す移動コスト情報（Cache of Current Volume Migration Cost）を格納する。

図１７は、ブロックマッピング情報１１１の一例を示す図である。図１７に示すブロックマッピング情報１１１は、フィールド３０１～３０３を含む。なお、ブロックマッピング情報１１１は、当該ストレージコントローラ２６がオーナ権を有するブロックマッピング情報１１１（以下、当該ブロックマッピング情報１１１と称する）ごとに用意される。

フィールド３０１は、当該ブロックマッピング情報１１１を識別する識別情報であるブロックマッピングＩＤ（Block Mapping ID）を格納する。フィールド３０２は、当該ブロックマッピング情報１１１に関連する関連論理ブロックに関する論理ブロック情報を格納する。フィールド３０３は、当該ブロックマッピング情報１１１に関連する関連物理ブロックに関する物理ブロック情報を格納する。

重複排除機能及びスナップショット機能のようなデータ管理機能が使用される場合、複数のボリュームが同一の物理ブロックを共用することがあるため、論理ブロック情報は、ボリュームごとに設けられる。各論理ブロック情報は、関連論理ブロックに対応するボリュームのボリュームＩＤと、関連論理ブロックの論理アドレス（ＬＢＡ：Logical Block Address）と、関連論理ブロックのサイズ（Logical Block Size）とを含むタプル（tuple）である。

物理ブロック情報は、ストレージデバイスごとに設けられる。各物理ブロック情報は、関連物理ブロックに対応するストレージデバイスのストレージデバイスＩＤと、関連物理ブロックの開始アドレス（Physical Block Address）と、使用されるデータ保護機能の種別（Data Protection Type）と、データ保護機能によるデータ保護の組みの中での優先度（Rank）とを含むタプルである。

図１８は、ストレージデバイスボックス１０のメモリ１３に記憶されたメタデータ及びプログラムの内部構成を示す図である。図１８に示すメタデータ４００は、当該メタデータ１００を記憶しているストレージデバイスボックス１０（以下、当該ストレージデバイスボックス１０と称する）に関するデータであり、ストレージデバイスボックス情報（Storage Device Box Information）４０１と、ストレージデバイス情報４０２と、ネットワーク情報４０３と、ネットワークＩ／Ｆ情報４０４と、システムコントローラ情報４０５と、フォールトドメイン情報４０６と、ストレージデバイスボックスコントローラ情報（Storage Device Box Controller Information）４０７と、を有する。また、プログラム４５０は、システムコントローラ１５と、ストレージデバイスボックスコントローラ１６とを有する。

図１９は、ストレージデバイスボックス情報４０１の一例を示す図である。図１９に示すストレージデバイスボックス情報４０１は、フィールド４１１～４１６を含む。

フィールド４１１は、当該ストレージデバイスボックス１０を識別する識別情報であるストレージデバイスボックスＩＤ（Storage Device Box ID）を格納する。フィールド４１２は、当該ストレージデバイスボックス１０が属するフォールトドメイン２のフォールトドメインＩＤを格納する。フィールド４１３は、当該ストレージデバイスボックス１０に記憶されているネットワークＩ／Ｆ情報４０４の一覧であるネットワークＩ／Ｆ情報リストを格納する。フィールド４１４は、当該ストレージデバイスボックス１０に記憶されているストレージデバイス情報４０２の一覧であるストレージデバイス情報リストを格納する。フィールド４１５は、当該ストレージデバイスボックス１０のハードウェアに関するストレージデバイスボックスハードウェア情報（Hardware Information of Storage Device Box）を格納する。フィールド４１６は、当該ストレージデバイスボックス１０のハードウェア及びソフトウェアに関連するモニタ情報であるストレージデバイスボックスモニタ情報（Monitoring Information of Storage Device Box）を格納する。ストレージデバイスボックスモニタ情報は、例えば、メモリ１３及びＣＰＵ１４の負荷（利用率）などである。

なお、図１８において、ストレージデバイス情報４０２、ネットワーク情報４０３、ネットワークＩ／Ｆ情報４０４、システムコントローラ情報４０５、フォールトドメイン情報４０６及びストレージデバイスボックスコントローラ情報４０７は、それぞれストレージデバイス情報１０２、ネットワーク情報１０３、ネットワークＩ／Ｆ情報１０４、システムコントローラ情報１０７、フォールトドメイン情報１０８及びストレージコントローラ情報１０９と対応している。

ただし、ストレージデバイス情報４０２では、図８に示したサーバＩＤの代わりにストレージデバイスボックスＩＤを格納する。システムコントローラ情報１０７では、図１３に示したサーバＩＤの代わりにストレージデバイスボックスＩＤを格納する。

以上説明したメタデータ１００及び４００は、ストレージデバイスボックス１０のストレージデバイス１１及びサーバ２０のストレージデバイス２１の少なくとも一方に永続化（格納）されてもよい。このとき、同じメタデータを複数のストレージデバイスに格納することで、メタデータの冗長化が行われてもよい。メタデータ１００及び４００を格納するストエージデバイスは特に限定されない。また、プログラム１５０及び４５０もストレージデバイス１１及び２１の少なくとも一方に永続化されてもよい。また、各メタデータに含まれる種々の識別情報（ＩＤ）は、計算機システム１でユニークな値であるとする。識別情報は、例えば、数値又はＵＵＩＤ（Universally Unique Identifier）のような文字列で構成される。

図２０は、本計算機システムによるライト処理の一例を説明するためのフローチャートである。サーバ２０のアプリケーションプログラム２９がライト要求を発行すると、以下のライト処理が実行される。

ライト処理では、先ず、コンピュートホスト２７は、ストレージコントローラ２６に対してライト要求を発行する（ステップＳ５０１）。ストレージコントローラ２６は、ライト要求を受信すると、メモリ２３に格納されているメタデータから、ライト要求の対象となるボリューム２８に関するメタデータを取得する（ステップＳ５０２）。

ストレージコントローラ２６は、取得したメタデータに基づいて、ライト要求にてライトデータが書き込まれる記憶領域（物理ブロック）の新規割当が必要か否かを判断する（ステップＳ５０３）。新規割当は、所定のデータ管理機能が有効な場合、必要となる。、所定のデータ管理機能は、例えば、データ保護機能、圧縮機能、重複解除機能、スナップショット機能及びシンプロビジョニング機能である。ただし、シンプロビジョニング機能の場合には、ライトデータに記憶領域が未割当の場合のみ、新規割当が必要となる。なお、ライト要求が多いほど、新規割当によりボリューム２８に関するメタデータ量が増加する

新規割当が必要な場合、ストレージコントローラ２６は、新規割当処理（図２１参照）を実行して、ライト要求に応じたライトデータを格納する物理ブロックを決定する（ステップＳ５０４）。新規割当が必要でない場合、ストレージコントローラ２６は、ステップＳ５０４の処理をスキップする。

ストレージコントローラ２６は、ライトデータを格納する記憶領域を有するストレージデバイス１１又は２１を有するストレージデバイスボックス１０又はサーバ２０のストレージデバイスボックスコントローラ１６又はストレージコントローラ２６にライト要求を転送する（ステップＳ５０５）

ストレージデバイスボックスコントローラ１６又はストレージコントローラ２６は、ライト要求を受信すると、そのライト要求に従ってストレージデバイス１１又は２１にライトデータをライトし、その処理結果を、ライト要求の送信元であるストレージコントローラ２６に返却する（ステップＳ５０６）。

ストレージコントローラ２６は、処理結果を受信すると、その処理結果をコンピュートホスト２７に返却する（ステップＳ５０７）。コンピュートホスト２７は、処理結果をアプリケーションプログラム２９に返却する（ステップＳ５０８）。

また、ストレージコントローラ２６は、ガベージコレクションが必要か否かを判断する（ステップＳ５０９）。例えば、新たなデータを新たな物理ブロックに追記するログ構造化方式に対応しているデータ管理機能（所定のデータ管理機能（圧縮機能、重複排除機能、スナップショット機能及びデータ保護機能など）が使用される場合、ストレージコントローラ２６は、ガベージコレクションが必要と判断する。

ガベージコレクションが必要な場合、ストレージコントローラ２６は、ガベージコレクションのジョブを起動して（ステップＳ５１０）、処理を終了する。一方、ガベージコレクションが必要でない場合、ストレージコントローラ２６は、ステップＳ５１０の処理をスキップして処理を終了する。ガベージコレクションのジョブは、同期実行方式のジョブでもよいし、非同期実行方式のジョブでもよい。

図２１は、図２０のステップＳ５０４の新規割当処理の一例を説明するためのフローチャートである。

新規割当処理では、ストレージコントローラ２６は、ライト要求と、ライト要求の対象となるボリューム２８に対して有効なデータ管理機能（例えば、データ削減機能及びデータ容量仮想化機能など）の設定に基づいて、ライト要求によるライトデータの格納に必要な記憶領域のサイズを算出する（ステップＳ６０１）。

ストレージコントローラ２６は、算出したデータ領域のサイズと、ライト要求の対象となるボリューム２８に対して有効なデータ保護機能の設定とに基づいて、ストレージデバイス１１及び２１の空き領域を検索して記憶領域を確保する（ステップＳ６０２）。

ストレージコントローラ２６は、メタデータの作成及び更新を実行し（ステップＳ６０３）、処理を終了する。

図２２は、本計算機システムによるリード処理の一例を説明するためのフローチャートである。サーバ２０のアプリケーションプログラム２９がリード要求を発行すると、以下のリード処理が実行される。

リード処理では、先ず、コンピュートホスト２７は、ストレージコントローラ２６に対してリード要求を発行する（ステップＳ７０１）。ストレージコントローラ２６は、リード要求を受信すると、メモリ２３に格納されているメタデータから、リード要求の対象となるボリューム２８に関するメタデータを取得する（ステップＳ５０２）。

ストレージコントローラ２６は、取得したメタデータに基づいて、リード要求によるリード対象のデータが記憶された記憶領域（物理ブロック）が割り当て済みか否かを判断する（ステップＳ７０３）。

記憶領域が割り当て済みの場合、ストレージコントローラ２６は、リード要求によるリード対象のデータが記憶された記憶領域を有するストレージデバイス１１又は２１を有するストレージデバイスボックス１０又はサーバ２０のストレージデバイスボックスコントローラ１６又はストレージコントローラ２６にリード要求を転送する（ステップＳ７０４）

ストレージデバイスボックスコントローラ１６又はストレージコントローラ２６は、リード要求を受信すると、そのリード要求に従ってストレージデバイス１１又は２１からリードデータをリードし、その処理結果を、リード要求の送信元であるストレージコントローラ２６に返却する（ステップＳ７０５）。

ストレージコントローラ２６は、処理結果を受信すると、その処理結果をコンピュートホスト２７に返却する（ステップＳ７０６）。コンピュートホスト２７は、処理結果をアプリケーションプログラム２９に返却して（ステップＳ７０７）、処理を終了する。

なお、上記のリード処理のステップＳ７０３で記憶領域が割り当て済みでない場合、ストレージコントローラ２６は、ステップＳ７０４及びＳ７０５の処理をスキップし、ステップＳ７０６でゼロデータ又は記憶領域が未割当であることを示す情報を処理結果としてコンピュートホスト２７に返却する。

図２３は、マイグレーションの概要を説明するための図である。

マイグレーションは、サーバ２０の負荷を分散させるために、ストレージデバイス１１及び２１に記憶されたデータに対するリード及びライトを行うサーバ２０を他のサーバに移行する処理である。本実施形態では、計算機システム１は、ストレージデバイス１１及び１２に格納されているデータを移動させるデータマイグレーションをなるべく行わずに、ボリューム２８を移動させるボリュームマイグレーション（Volume Migration）を行うことで、負荷分散を行う。より具体的には、計算機システム１は、ボリューム２８のオーナ権を移動させるメタマイグレーションを行う。このとき、移動元（Source)及び移動先（Destination）のサーバ２０は、それらのサーバ２０間の関係性などに基づいて、マイグレーションの移動コストが低くなるように選択される。例えば、フォールトドメイン２間の通信は、フォールトドメイン２内の通信と比べて、通常、ホップ数及びレイテンシなどが大きくなるため、移動元及び移動先のサーバ２０は、同じフォールトドメイン２に属するサーバ２０（つまり、ストレージデバイスボックス１０を共用する（Shared）するサーバ２０）から選択されることが望ましい。

以下では、マイグレーションについてより詳細に説明する。

図２４は、計算機システム１によるマイグレーションのジョブが起動された際のマイグレーションジョブ処理の一例を説明するためのフローチャートである。マイグレーションジョブ処理は、所定の契機によりサーバ２０のストレージコントローラ２６にて実行される。所定の契機は、例えば、新たなサーバ２０が計算機システム１に追加された場合、サーバ２０のいずれかが計算機システム１から削除された場合、及び、サーバ２０のいずれかが別のサーバ２０に交換された場合などである。また、所定の契機は、サーバ２０のいずれかが高負荷となるなど、計算機システム１の負荷分散の必要が生じた場合などでもよい。

マイグレーションジョブ処理では、ストレージコントローラ２６は、マイグレーションの候補となるボリューム２８である候補ボリュームごとに、その候補ボリュームの移動先のサーバの候補である移動先サーバ候補を評価する「移動先サーバ候補の評価処理（図２５参照）」を実行する（ステップＳ８０１）。候補ボリュームは、例えば、サーバ２０単位で指定されてもよいし、ストレージコントローラ２６単位で指定されてもよいし、個々のボリューム２８単位で指定されてもよい。移動先サーバ候補は、例えば、候補ボリュームを有するサーバ２０以外の全てのサーバ２０である。

続いて、ストレージコントローラ２６は、ステップＳ８０１の移動先サーバ候補の評価処理の評価結果に基づいて、候補ボリュームの移動先（マイグレーション先）サーバとして選択可能な移動先サーバ候補である移動可能サーバ候補が存在する候補ボリュームの中から、移動させるボリュームである移動対象ボリュームを選択する「移動対象ボリュームの選択処理（図２６参照）」を実行する（ステップＳ８０２）。

ストレージコントローラ２６は、移動対象ボリュームの選択処理にて移動対象ボリュームが選択されたか否かを判断する（ステップＳ８０３）。

移動対象ボリュームが選択された場合、ストレージコントローラ２６は、その移動対象ボリュームに対して「マイグレーション処理」（図２７参照）を実行して（ステップＳ８０４）、処理を終了する。なお、移動対象ボリュームが選択されていない場合、ストレージコントローラ２６は、ステップＳ８０４の処理をスキップして処理を終了する。

図２５は、図４のＳ８０１の移動先サーバ候補の評価処理の一例を説明するためのフローチャートである。ストレージコントローラ２６は、以下の移動先サーバ候補の評価処理を、候補ボリュームごとに行う。

移動先サーバ候補の評価処理では、ストレージコントローラ２６は、計算機システム１内のサーバ２０のいずれかを、移動先サーバ候補として選択し、その移動先サーバ候補がメタマイグレーションの可能なサーバか否かを判断する（ステップＳ９０１）。メタマイグレーションの可能なサーバは、例えば、リソース（メモリ１３、ＣＰＵ１４及びストレージデバイス１１及び２１）に空きがあり、かつ、当該候補ボリュームを有するサーバ２０と同じストレージデバイスボックス１０を共用しているサーバ（例えば、同じフォールトドメイン２に含まれるサーバ）である。なお、リソースに空きがあるサーバ２０は、例えば、各リソースの負荷（メモリ２３及びＣＰＵ２４の使用量など）が所定値よりも低いサーバである。

移動先サーバ候補がメタマイグレーションの可能なサーバの場合、ストレージコントローラ２６は、その移動先サーバ候補が候補ボリュームに関するメタデータのレプリケーション先のサーバか否かを判断する（ステップＳ９０２）。レプリケーション先のサーバは、メタデータを冗長化した場合に、そのメタデータのレプリカを格納しているサーバである。

移動先サーバ候補がレプリケーション先のサーバの場合、ストレージコントローラ２６は、移動先サーバ候補を「メタデータ転送レスメタマイグレーション可能な移動先サーバ」として評価する（ステップＳ９０３）。一方、移動先サーバ候補がレプリケーション先のサーバでない場合、ストレージコントローラ２６は、移動先サーバ候補を「メタデータ転送メタマイグレーション可能な移動先サーバ」として評価する（ステップＳ９０４）。メタデータ転送レスメタマイグレーション及びメタデータ転送メタマイグレーションは、共にメタマイグレーションの一種である。メタデータ転送レスメタマイグレーションは、メタデータの転送を行わずに、オーナ権だけを移動させるマイグレーションであり、メタデータ転送メタマイグレーションは、メタデータを転送すると共にオーナ権を移動させるマイグレーションである。

また、移動先サーバ候補がメタマイグレーションの可能なサーバでない場合、ストレージコントローラ２６は、移動先サーバ候補がデータマイグレーションの可能なサーバか否かを判断する（ステップＳ９０５）。データマイグレーションの可能なサーバは、リソースに空きがあり、当該候補ボリュームを有するサーバ２０とネットワーク３０等を介して接続されているサーバである。ただし、当該候補ボリュームを有するサーバ２０が格納しているデータと同じ冗長化グループに属するデータを格納しているサーバは、データマイグレーションの可能なサーバから除外される。冗長化グループは、データとそのデータを復元するための冗長コードとを含むグループである。

移動先サーバ候補がデータマイグレーションの可能なサーバである場合、ストレージコントローラ２６は、移動先サーバ候補を「データマイグレーション可能な移動先サーバ」として評価する（ステップＳ９０６）。一方、移動先サーバ候補がデータマイグレーションの可能なサーバでない場合、ストレージコントローラ２６は、移動先サーバ候補を「マイグレーションできない移動先サーバ」として評価する（ステップＳ９０７）。

そして、ステップＳ９０３、Ｓ９０４、Ｓ９０６又はＳ９０７で移動先サーバ候補を評価すると、ストレージコントローラ２６は、計算機システム１内の全てのサーバ２０を移動先サーバ候補として選択したか否かを判断する（ステップＳ９０８）。

全てのサーバ２０を選択していない場合、ストレージコントローラ２６は、ステップＳ９０１の処理に戻り、未だ選択されていないサーバを移動先サーバ候補として選択する。一方、全てのサーバを選択した場合、ストレージコントローラ２６は、移動先サーバ候補の評価処理を終了する。

図２６は、図２４のステップＳ８０２の移動対象ボリュームの選択処理の一例を説明するためのフローチャートである。

移動対象ボリュームの選択処理では、先ず、ストレージコントローラ２６は、移動先サーバ候補の評価処理の評価結果に基づいて、候補ボリュームのうち、移動可能サーバ候補が存在する候補ボリュームのいずれかを対象候補ボリュームとして選択し、その対象候補ボリュームに関するメタデータのデータ量であるメタデータ量を算出する（ステップＳ１００１）。移動可能サーバ候補は、移動先サーバ候補の評価処理において、メタデータ転送レスメタマイグレーション可能な移動先サーバ、メタデータ転送メタマイグレーション可能な移動先サーバ及びメタマイグレーションの可能な移動先サーバと評価されたサーバである。

対象候補ボリュームに関するメタデータは、対象候補ボリュームの管理に必要な管理情報であり、例えば、対象候補ボリュームのボリューム情報１１０及び対象候補ボリュームの（割り当て済みの）論理ブロックに対応するブロックマッピング情報１１１などである。メタデータ量は、例えば、対象候補ボリュームに関するメタデータのデータ量そのものでもよいし、対象候補ボリュームにおける割り当て済みの論理ブロックを有するブロックマッピング情報の数でもよいし、対象候補ボリュームにおける割り当て済みの論理ブロックのブロックマッピング情報へのエントリ数でもよいし、対象候補ボリュームにおける割り当て済みの論理ブロックを有するブロックマッピング情報１１１の１つ当たりの対象候補ボリュームに関するデータ量とエントリ数との積などでもよい。

ストレージコントローラ２６は、対象候補ボリュームに関連するボリューム２８である関連ボリュームのメタデータ量である関連メタデータ量を算出する（ステップＳ１００２）。関連ボリュームは、重複排除機能及びスナップショット機能などのデータ管理機能が有効な場合に生じ、例えば、対象候補ボリュームの割り当て済みの論理ブロックと同じ物理ブロックにマッピングされている論理ブロックを有するボリュームである。関連ボリュームは複数あってもよい。関連ボリュームは、対象候補ボリュームを提供するサーバ２０と同じサーバ２０にて提供される方が運用時のコスト的に有利であるため、ボリュームマイグレーション時に対象候補ボリュームと共に同じ移動先サーバにマイグレーションすることが好ましい。関連メタデータ量は、各関連ボリュームのメタデータ量の総和である。関連ボリュームのメタデータ量の算出方法は、対象候補ボリュームのメタデータ量の算出方法と同様である。

ストレージコントローラ２６は、対象候補ボリュームのメタデータ量と、関連ボリュームの関連メタデータ量とに基づいて、対象候補ボリュームのマイグレーションに係る負荷である移動コストを評価する（ステップＳ１００３）。移動コストは、例えば、対象候補ボリュームのメタデータ量と関連ボリュームの関連メタデータ量との和である。

そして、ストレージコントローラ２６は、移動可能サーバ候補が存在する候補ボリュームを全て選択したか否かを判断する（ステップＳ１００４）。移動可能サーバ候補が存在する候補ボリュームを全て選択していない場合、ストレージコントローラ２６は、ステップＳ１００１の処理に戻り、未だ選択されていない移動可能サーバ候補が存在する候補ボリュームを選択する。

移動可能サーバ候補が存在する候補ボリュームを全て選択した場合、ストレージコントローラ２６は、予め定められたボリューム選択ポリシーと、各候補ボリュームの移動コストとに基づいて、マイグレーションを実行する候補ボリュームを移動対象ボリュームとして決定する（ステップＳ１００５）。

ボリューム選択ポリシーは、例えば、「移動コストが最も低い候補ボリュームを移動対象ボリュームとして決定する」などである。このとき、移動コストが最も低い候補ボリュームが複数ある場合、ストレージコントローラ２６は、その複数の候補ボリュームのそれぞれを移動対象ボリュームとして決定してもよいし、その複数の候補ボリュームのいずれかを移動対象ボリュームとして決定してもよい。また、ボリューム選択ポリシーは、例えば、「移動コストが低い方から順に所定個の候補ボリュームを移動対象ボリュームとして決定する」でもよいし、「移動コストが閾値以下の候補ボリュームを移動対象ボリュームとして決定する」などでもよい。また、ボリューム選択ポリシーは、「候補ボリュームを有するサーバ２０の負荷（例えば、ＣＰＵ２４の負荷）が閾値以下となるように、移動コストが低い方から順に移動対象ボリュームを決定する」などでもよい。なお、ボリューム選択ポリシーは、「移動可能サーバ候補が存在する候補ボリュームの全て」でもよい。この場合、候補ボリュームの移動コストの算出を省略することができる。

ストレージコントローラ２６は、予め定められたサーバ選択ポリシーに基づいて、移動対象ボリュームごとに、その移動対象ボリュームの移動先サーバ候補のいずれかを移動先サーバとして決定し、移動対象ボリュームと移動先サーバとの組み合わせのリストを生成して（ステップＳ１００６）、処理を終了する。

移動先サーバの決定では、ストレージコントローラ２６は、移動先サーバ候補に対して、優先度を、高い方から「メタデータ転送レスメタマイグレーション可能な移動先サーバ」、「メタデータ転送メタマイグレーション可能な移動先サーバ」「データマイグレーション可能な移動先サーバ」の順に設定し、優先度の最も高い移動先サーバ候補を移動先サーバとして決定する。なお、同じ優先度の移動先サーバ候補が複数ある場合、ストレージコントローラ２６は、その複数の移動先サーバ候補のいずれかを移動先サーバとして決定する。このとき、ストレージコントローラ２６は、異なる移動対象ボリュームの移動先サーバができるだけ異なるように、移動先サーバが決定してもよい。また、ストレージコントローラ２６は、各移動先サーバのリソースの状況などに応じて移動先サーバを決定してもよい

図２７は、図２４のステップＳ８０４のマイグレーション処理の一例を説明するためのフローチャートである。以下では、マイグレーション処理として、ボリューム２８とそのボリュームの提供を受けるコンピュートホスト２７との両方を移動先サーバにマイグレーションする「コンピュートホストとボリュームのマイグレーション処理」の一例を説明する。コンピュートホストとボリュームのマイグレーション処理は、移動先サーバがメタデータ転送レスメタマイグレーション及びメタデータ転送メタマイグレーション可能な場合に行われる。なお、移動先サーバがデータマイグレーション可能な場合に行われるデータマイグレーションの説明は省略する。

コンピュートホストとボリュームのマイグレーション処理は、移動対象ボリュームを有するサーバ２０である移動元サーバのストレージコントローラ２６が移動対象ボリュームごとに行う。具体的には、先ず、ストレージコントローラ２６は、移動対象ボリュームに関するメタデータの転送が必要か否かを判断する（ステップＳ１１０１）。具体的には、ストレージコントローラ２６は、移動対象ボリュームに対応する移動先サーバがメタデータ転送レスメタマイグレーション可能な場合、メタデータの転送が必要ないと判断し、移動対象ボリュームに対応する移動先サーバがメタデータ転送メタマイグレーション可能な場合、メタデータの転送が必要であると判断する。

メタデータの転送が必要な場合、ストレージコントローラ２６は、メタデータのスナップショットを作成する（ステップＳ１１０２）。その後、ストレージコントローラ２６は、そのスナップショットをメタデータとして移動先サーバへの転送を行う（ステップＳ１１０３）。なお、対象候補ボリュームに関連ボリュームが存在する場合、ストレージコントローラ２６は、その関連ボリュームのメタデータのスナップショットの作成と転送も行う。

ストレージコントローラ２６は、転送が終了すると、その転送したスナップショットと保持しているメタデータとの差分のスナップショットに対する割合である差分割合が規定量未満か否かを判断する（ステップＳ１１０４）。この段階では、移動元サーバのコンピュートホスト２７は停止されていないので、スナップショットの転送中に移動対象ボリュームに対するライト処理が発生してメタデータが更新され、メタデータとそのスナップショットとに差が生じることがある。なお、規定量は、例えば、５％である。

差分割合が規定量以上の場合、ストレージコントローラ２６は、ステップＳ１１０２の処理に戻る。なお、ステップＳ１１０３では、ストレージコントローラ２６は、メタデータとそのスナップショットとの差分に該当するデータを転送してもよい。

ステップＳ１１０１でメタデータの転送が必要ないと判断された場合、又は、ステップＳ１１０４で差分が規定量未満と判断された場合、ストレージコントローラ２６は、移動元サーバのコンピュートホスト２７を一時停止する（ステップＳ１１０５）。

ストレージコントローラ２６は、移動元のメタデータと移動先のメタデータとに差分があるか否かを判断する（ステップＳ１１０６）。なお、ステップＳ１１０１でメタデータの転送が必要ないと判断された場合には、ストレージコントローラ２６は、メタデータに差分がないと判断する。

差分がある場合、ストレージコントローラ２６は、その差分を転送する（ステップＳ１１０７）。差分がない場合、ストレージコントローラ２６は、ステップＳ１１０７の処理をスキップする。

そして、ストレージコントローラ２６は、移動先のサーバに、転送したメタデータに応じたボリューム２８の提供を受けるコンピュートホスト２７を起動させることで、コンピュートホスト２７のマイグレーションを行い（ステップＳ１１０８）、処理を終了する。ステップＳ１１０８では、ストレージコントローラ２６は、コンピュートホスト２７の起動に必要なデータ（転送したメタデータに応じたボリューム２８のオーナ権など）を移動先のサーバに渡す。

なお、コンピュートホスト２７のマイグレーションが何らかの理由でできない場合には、ボリューム２８のマイグレーションだけを行ってもよい。また、メタデータの転送を行う前に、移動元サーバ上のコンピュートホスト２７を停止してもよい。この場合、メタデータの転送中に移動対象ボリュームに対するライト処理が発生することがない、メタデータのスナップショットを作成する必要はない。

以上説明したように本実施形態によれば、各サーバ２０は、ストレージデバイス１１及び２１の物理ブロックにマッピングされた論理ブロックを有するボリューム２８を管理するためのメタデータを格納し、そのメタデータに応じてボリューム２８をコンピュートホスト２７に提供する。計算機システム１は、ボリューム２８ごとに、そのボリューム２８のメタデータのデータ量であるメタデータ量を算出し、各メタデータ量に基づいて、ボリューム２８の中から移動対象ボリュームを決定し、当該移動対象ボリュームをコンピュートホスト２７に提供するサーバ２０を移動先のサーバ２０に移行するボリュームマイグレーションを行う。したがって、ボリューム２８のメタデータのメタデータ量に基づいて移動対象ボリュームが決定されるので、マイグレーションの移動負荷を低減することが可能になる。

また、本実施形態では、計算機システム１は、移動対象ボリュームが有する論理ブロックと同じ物理ブロックにマッピングされている論理ブロックを有するボリューム２８である関連ボリュームに対してさらにボリュームマイグレーションを行う。特に、このとき、関連ボリュームをコンピュートホストに提供する計算機ノードを移動対象ボリュームの移動先の計算機ノードに移行する。したがって、移動対象ボリュームと関連ボリュームとを同一のサーバ２０で管理することが可能となるため、計算機システム１の負荷をより適切に分散することが可能になる。

また、本実施形態では、計算機システム１は、ボリューム２８ごとに、当該ボリュームの関連ボリュームのデータ量である関連メタデータ量を算出し、各メタデータ量及び各関連メタデータ量に基づいて、移動対象ボリュームを決定する。したがって、移動対象ボリュームのメタデータと共に転送される関連ボリュームのデータ量を考慮して移動対象ボリュームが決定されるので、マイグレーションの移動負荷をより適切に低減することが可能になる。

また、本実施形態では、計算機システム１は、移動対象ボリュームを提供している移動元のサーバ２０と各サーバ２０との関係性に基づいて、移動先のサーバ２０を決定する。このため、適切な移動先へのマイグレーションが可能になる。

また、本実施形態では、計算機システム１は、移動元のサーバ２０とストレージデバイス１１又は２１を共有しているサーバを移動先のサーバに決定する。このため、データの移行（データマイグレーション）を行わずに、マイグレーションが可能となるため、マイグレーションの移動負荷をより適切に低減することが可能になる。

また、本実施形態では、ストレージデバイス１１は、複数のサーバ２０とネットワーク３０を介して接続された複数のデバイスボックス２のそれぞれに収容されている。このため、各サーバ２０が他のサーバ２０を経由することなく、ストレージデバイス２１にアクセスすることが可能になるため、計算機システム１の負荷を低減することが可能となる。

また、本実施形態では、計算機システム１は、移動元のサーバとストレージデバイス１１又は２１を共有している計算機ノードの中で、移動対象ボリュームのメタデータのレプリカを格納しているサーバ２０が存在する場合、そのサーバ２０を移動先のサーバに決定する。このため、レプリカを管理情報として使用することが可能になるため、管理情報の移行を行わずにボリュームマイグレーションが可能となり、マイグレーションの移動負荷をより適切に低減することが可能になる。

上述した本開示の実施形態は、本開示の説明のための例示であり、本開示の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本開示の範囲を逸脱することなしに、他の様々な態様で本開示を実施することができる。

１：計算機システム、２：フォールトドメイン、３：ネットワーク、１０：ストレージデバイスボックス、１１：ストレージデバイス、１２：ネットワークＩ／Ｆ、１３：メモリ、１４：ＣＰＵ、１５：システムコントローラ、１６：ストレージデバイスボックスコントローラ、２０：サーバ、２１：ストレージデバイス、２２：ネットワークＩ／Ｆ、２３：メモリ、２４：ＣＰＵ、２５：システムコントローラ、２６：ストレージコントローラ、２７：コンピュートホスト、２８：ボリューム、２９：アプリケーションプログラム、３０：ネットワーク

Claims (9)

1. データを記憶する記憶デバイスと、前記記憶デバイスに対するリード及びライトを行う複数の計算機ノードと、を有する計算機システムであって、
   各計算機ノードは、
   前記記憶デバイスの物理的な記憶領域にマッピングされた論理的な記憶領域を有するボリュームを提供するコントローラと、当該提供されたボリュームに対するＩ／Ｏ要求を行うコンピュートホストと、前記ボリュームを管理するための管理情報と、を有し、
   前記複数の計算機ノードのいずれかである移動元の計算機ノードのコントローラは、
   当該計算機ノードが管理する前記ボリュームごとに、当該ボリュームを管理するための管理情報のデータ量であるメタデータ量を算出し、各メタデータ量に基づいて、当該ボリュームの中から移動対象ボリュームを決定し、当該移動対象ボリュームと当該移動対象ボリュームの提供を受ける前記コンピュートホストとを移動先の計算機ノードに移行するボリュームマイグレーションを行う、計算機システム。
2. 前記コントローラは、前記移動対象ボリュームが有する論理的な記憶領域と同じ物理的な記憶領域にマッピングされている論理的な記憶領域を有するボリュームである関連ボリュームに対してさらに前記ボリュームマイグレーションを行う、請求項１に記載の計算機システム。
3. 前記コントローラは、前記ボリュームごとに、当該ボリュームの前記関連ボリュームを管理するための管理情報のデータ量である関連メタデータ量を算出し、各メタデータ量及び各関連メタデータ量に基づいて、前記移動対象ボリュームを決定する、請求項２に記載の計算機システム。
4. 前記コントローラは、前記移動対象ボリュームの前記関連ボリュームを前記コンピュートホストに提供する計算機ノードを前記移動先の計算機ノードに移行する、請求項２に記載の計算機システム。
5. 前記コントローラは、当該移動元の計算機ノードと各計算機ノードとの関係性に基づいて、前記移動先の計算機ノードを決定する、請求項１に記載の計算機システム。
6. 前記記憶デバイスは、複数あり、
   複数の前記計算機ノードには、リード及びライトを行う前記記憶デバイスを共用しているものがあり、
   前記コントローラは、当該移動元の計算機ノードと前記記憶デバイスを共用している計算機ノードを前記移動先の計算機ノードに決定する、請求項５に記載の計算機システム。
7. 前記記憶デバイスは、複数の前記計算機ノードとネットワークを介して接続された複数のデバイスボックスのそれぞれに収容されている、請求項６に記載の計算機システム。
8. 前記コントローラは、当該移動元の計算機ノードと前記記憶デバイスを共用している計算機ノードの中で、前記移動対象ボリュームの管理情報のレプリカを格納している前記計算機ノードが存在する場合、当該計算機ノードを前記移動先の計算機ノードに決定する、請求項６に記載の計算機システム。
9. データを記憶する記憶デバイスと、前記記憶デバイスに対するリード及びライトを行う複数の計算機ノードと、を有し、各計算機ノードは、前記記憶デバイスの物理的な記憶領域にマッピングされた論理的な記憶領域を有するボリュームを提供するコントローラと、当該提供されたボリュームに対するＩ／Ｏ要求を行うコンピュートホストと、前記ボリュームを管理するための管理情報と、を有する、計算機システムによる負荷分散方法であって、
   前記複数の計算機ノードのいずれかである移動元の計算機ノードのコントローラが、
   当該計算機ノードが管理する前記ボリュームごとに、当該ボリュームを管理するための管理情報のデータ量であるメタデータ量を算出し、
   各メタデータ量に基づいて、当該ボリュームの中から移動対象ボリュームを決定し、当該移動対象ボリュームと当該移動対象ボリュームの提供を受ける前記コンピュートホストとを移動先の計算機ノードに移行するボリュームマイグレーションを行う、負荷分散方法
   。

Images