JP7107981B2 - 計算機システム - Google Patents

Description

本発明は、複数のサーバがクラスタを構成している計算機システムに係り、特に、ハイパーコンバージドインフラストラクチャ（ＨＣＩ）を実現するための計算機システムに関するものである。

コンピュータの物理的な環境にとらわれることなく、ハードウェアに含まれるＣＰＵ、メモリ等のリソースを論理的に分割・統合する技術として、仮想化が知られている。仮想化された複数のコンピュータは、ハードウェアリソースを共有することによって、コンピュータシステムの拡張や管理を容易にするという利点をもたらしている（例えば、特許文献１）。

米国特許出願公開第２００９／０１７２６６６号明細書

最近では、ハイパーコンバージドインフラストラクチャ（ＨＣＩ）が、次世代の仮想化インフラとして注目を集めている。ＨＣＩは、ｘ８６サーバのみで構成されたハードウェアにコンピュート機能とストレージ機能とを統合し、シンプルな構成を実現した仮想化基盤であって、ＳＤＳ（Software-Defined Storage）によって、複数のサーバ夫々のストレージを仮想的に統合することで一つの大規模な共有ストレージに見立てる、サーバ/ストレージ共有インフラでもある。

クラスタを構成するノードに、新たに、ＶＭ（バーチャルマシン）を配置しようとする際、クラスタの管理ノードは、例えば、VMware社のＤＲＳ（Distributed Resource Scheduler）を利用して、複数のサーバ間でＶＭ数が均等になるようにして、新たなＶＭをノードに配置している。一方、管理ノードは、ＶＭの配置とは独立して、ＶＭの仮想ハードディスクに割り当てられる、ストレージプールのボリューム（ＬＵＮ）を、共有ストレージから、複数のノードに、例えば、ラウンドロビン方式で順番に設定すればよい。

しかしながら、ＨＣＩ環境を実現しようとするクラスタであっても、管理ノードが、ＶＭとボリュームとを関連させることなく、これらをクラスタに配置、或いは、設定させると、帯域ネックのために、ＶＭのＩ／Ｏ性能が低下したり、ＶＭに割り当てようとするリソースを有効活用できていないという課題がある。

そこで、本発明は、係る課題に鑑みて、仮想コンピュータとボリュームとを、仮想コンピュータのＩ／Ｏ性能を低下させることなく、クラスタに配置できる計算機システム、及び、その設定方法を提供することを目的とする。

前記目的を達成するために、本発明は、プロセッサと、メモリと、を夫々有する複数のノードと、記憶ドライブと、管理装置と、を備える計算機システムであって、前記管理装置は、仮想コンピュータと、当該仮想コンピュータがデータを入出力するボリュームと、を前記複数のノードのうち何れかのノードに配置させることにより、前記プロセッサ、前記メモリ、そして、前記記憶ドライブのリソースのうち所定のリソースを前記仮想コンピュータと前記ボリュームとに割り当てて、当該仮想コンピュータと当該ボリュームとを稼働させ、前記仮想コンピュータと前記ボリュームとを前記複数のノードのうち同一ノードに配置できる場合、当該仮想コンピュータと前記ボリュームとに割り当てられるリソース量の複数のリソース間での割合の差に基づいて、前記同一ノードを前記複数のノードの中から決定する計算機システム、並びに、仮想コンピュータの設定方法である。

本発明によれば、仮想コンピュータとボリュームとを、仮想コンピュータのＩ／Ｏ性能を低下させることなく、クラスタに配置できる計算機システムを提供することができる。

本発明に係る計算機システムの実施形態の一例を示すハードウェアブロック構成図である。 ノードの詳細なハードウェアブロック図である。 クラスタ管理ノードの機能ブロック図である。 図１の計算機システムを管理するＶＭ管理テーブルの一例である。 空きリソース管理テーブルの一例である。 ノード間ネットワークホップ数管理テーブルの一例である。 リソース分離可否テーブルの一例である。 新規コンピュートＶＭをクラスタシステムのノードに初期配置するための動作を説明するフローチャートである。 図８の配置先ノード決定処理の詳細を示すフローチャートである。 ２種類のリソース間、即ち、コンピュートリソース（ＣＰＵコア数，メモリ容量）とストレージリソース（ボリューム容量）とのバランスを示す特性図である。 クラスタがＳＤＳとして構成される計算機システムのハードウェアブロック図の一例である。 クラスタが既述のコンポーザブルとして構成される計算機システムのハードウェアブロック図の一例である。

以下、図面を参照して、本発明の実施の形態を詳述する。以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされることもある。そして、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。本発明が実施の形態に制限されることはなく、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。本発明は、当業者であれば本発明の範囲内で様々な追加や変更等を行うことができる。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は複数でも単数でも構わない。

以下の説明では、「テーブル」、「表」、「リスト」、「キュー」等の表現にて各種情報を説明することがある。各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

以下の説明では、同種の要素を区別しないで説明する場合には、参照符号又は参照符号における共通番号を使用し、同種の要素を区別して説明する場合は、その要素の参照符号を使用又は参照符号に代えてその要素に割り振られたＩＤを使用することがある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、少なくとも１以上のプロセッサ（例えばＣＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又はインターフェースデバイス（例えば、通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノード、ストレージシステム、ストレージ装置、サーバ、管理計算機、クライアント、又はホストであってもよい。プログラムを実行して行う処理の主体を明確にするために、プロセッサではなく、プロセッサが実行するプログラムを主体とすることもある。プログラムを実行して行う処理の主体（例えばプロセッサ）は、処理の一部又は全部を行うハードウェア回路を含んでもよい。例えば、プログラムを実行して行う処理の主体は、暗号化及び復号化、又は、圧縮及び伸張を実行するハードウェア回路を含んでもよい。プロセッサは、プログラムにしたがって動作することによって、所定の機能を実現する機能部として動作する。プロセッサを含む装置及びシステムは、これらの機能部を含む装置及びシステムである。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ、又は、計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

仮想マシンとは、実際のコンピュータ（例えば、ＣＰＵ、メモリなど）のハードウェアリソースを仮想化、又は、仮想化環境に変換する、仮想化環境における特定のソフトウェアベースのマシンを実装したものである。仮想マシンは、実際のコンピュータと同じように、基本的な物理リソース上で独自のＯＳとアプリケーションを実行できる。仮想化は、コンピュータハードウェア、又は、ホストＯＳ上にソフトウェアの薄い層を直接挿入することによって機能する。このソフトウェア層には、ハードウェアリソースを動的かつ透過的に割り当てる仮想マシンモニター、又は、「ハイパバイザ」が含まれている。複数のＯＳが単一の物理コンピュータ上で同時に実行され、ハードウェアリソースを互いに共有する。

近年、コンテナベースの仮想化技術が普及している。ホストのＯＳ上で実行される仮想マシンを作成して独立した物理マシンを模倣する、当該仮想マシンと比較して、コンテナはＯＳのカーネル上で、直接ユーザ空間で実行できるアプリケーションを仮想化したものである。コンテナ内から実行されるＷｅｂサーバやデータベースなどのアプリケーションでは、物理マシンとのインターフェースにエミュレーションレイヤー又はハイパーバイザーレイヤーは必要がない。代わりに、コンテナ化されたアプリケーションは、ＯＳの通常のシステムコールを使用して機能することができる。このようにして、コンテナは仮想化されたゲストＯＳを必要としないため、コンテナは、仮想マシンより一般的に速い（例えば、転送が速く、ブート、又は、ロードが速い）ＯＳレベルの仮想化を提供する。

図１は、本発明に係る計算機システムの実施形態の一例であって、複数のサーバがクラスタとして動作するシステムのハードウェアブロック図を示している。クラスタは、複数の被管理ノード１２０Ａ，１２０Ｂ・・・と、被管理ノードを管理するための管理ノード１１０（管理装置）と、を備える。各ノードはＣＰＵ、メモリ、記憶ドライブ等の計算機資源を有している。

管理ノード１１０（vCenter Server）は、配下にある複数の被管理ノード１２０（ESXiサーバ）を論理的にグループ化してサーバ群を作り、このサーバ群が協調動作されるクラスタを実現している。管理ノード１１０と被管理ノード１２０とは、ネットワーク１３０によって互いに接続されている。なお、以後、被管理ノード１２０を、単に「ノード」と記載する。また、管理ノードの統合管理フレームワーク（vCenter：管理装置）は、専用機ではなく、被管理ノード１２０の仮想化ソフトウェア（ESXi）による仮想マシンによって実行されてもよい。

図１の計算機システムは、既述のＨＣＩ環境を実現するためのクラスタであり、複数のノード夫々は、アプリケーション１２３を動作させる、複数のコンピュートＶＭ(１２１)と、ストレージコントローラを動作させ、ストレージプール１２４からコンピュートＶＭの仮想ハードディスクにボリューム（ＬＵＮ）を提供するストレージＶＭ（１２３）とを備えている。複数のコンピュートＶＭ（１２１）、ストレージＶＭ（１２３）は、互いに、ノードのリソース（ＣＰＵ,メモリ、ボリュームなど）を共有している。

各ノードのハイパバイザ１２５（ESXi）は、物理的なノードの中に、仮想コンピュータ（コンピュートＶＭ、ストレージＶＭ）を作り出し、同じノード内で複数の異なるＯＳ（コンピュートＶＭ用ＯＳ、ストレージＶＭ用ＯＳ）を並列に実行させている。コンピュートＶＭ（１２１）は、そのＯＳによってアプリケーションやミドルウェアを動作させる。

複数のノード夫々のストレージＶＭ（１２３）は、ノード内の複数の記憶ドライブ５１８を一つの大きなストレージ領域として集約させることにより、ストレージプール１２４を構成している。

ストレージＶＭ(１２３)はストレージプールを管理して、仮想ハードディスクファイルに対するデータをストレージプールのボリュームに記録する。管理ノード１１０は、複数のノードのストレージプールを結合、或いは、統合することによって、クラスタシステムの複数のノード、或いは、全てのノードを横断した共有ストレージをクラスタシステムに対して設定できる。

したがって、コンピュートＶＭ（１２１）の仮想ハードディスクは、同一ノードのストレージプールのボリューム、又は、他ノードのストレージプールのボリュームに対応することになるが、後述のとおり、管理ノード１１０は、コンピュートＶＭ（１２１）の仮想ハードディスクには、同一ノードのストレージプールのボリュームが、優先的に割り当てられるようにしている。

図２は、ノードの詳細なハードウェアブロック図である。符号２０００は、複数のノードに対する共有ストレージを示す。共有ストレージは、複数ノード夫々のストレージプールを束ねたものであり、管理ノード１１０は、共有ストレージからボリュームをコンピュートＶＭに設定する。

複数のノード夫々のストレージＶＭ(１２３)は、同じノードの複数の記憶ドライブ１２６の記憶領域を束ねてストレージプール１２４を設定する。ストレージＶＭ（１２３Ａ）は、ストレージプール１２４Ａからボリューム５１６，５１７を切り出し、ボリューム５１６はコンピュートＶＭ１（１２１Ａ）のボリューム（仮想ハードディスク）５１４Ａに割り当てられる。仮想ハードディスクは、データストアを介して、ストレージプールのボリュームに１:１で対応するため、仮想マシン単位でのバックアップ、リストア、冗長化が可能になる。

コンピュートＶＭ１（１２１Ａ）のＯＳ５１３はアプリケーション１２２を実行して、ボリューム５１４ＡにＩ／Ｏを発行する。ストレージＶＭ（１２３Ａ）は、ボリューム５１４Ａに対するＩ／Ｏに基づいて、ボリューム５１６に対するデータの読み書きを制御する。

ノード１２０ＡのコンピュートＶＭ１（１２１Ａ）のアクセス先であるボリューム５１４Ａには、同一ノード１２０Ａのストレージプール１２４Ａのボリューム５１６が割り当てられる。一方、ノード１２０Ａとは別のノード１２０ＢのコンピュートＶＭ２（１２１Ｂ）のボリューム５１４Ｂには、ノード１２０Ａのストレージプール１２４Ａのボリューム５１７が割り当てられる。

前者は、所謂、「ローカリティ」がある構成であり、ノード１２０ＡのコンピュートＶＭ１（１２１Ａ）のボリューム５１４Ａに対するＩ/Ｏは、同じノードのストレージプール１２４Ａのボリューム５１６に提供されるために、アプリケーションのＩ/Ｏは高速処理される。すなわち、ノード１２０Ａにおいては、コンピュートＶＭ１（１２１Ａ）のアプリケーション１２２が利用するデータの記録/読み出し先は、ローカルノード（同一ノード１２０Ａ）の記憶ドライブ５１８になる。

これに対して、後者では、ノード１２０ＢのコンピュートＶＭ２（１２１Ｂ）からのＩ/Ｏは、ノード１２０Ｂとノード１２０Ａとの間のネッワークスイッチを経由して、他のノード１２０ＡのストレージＶＭ（１２３Ａ）によって、ストレージプール１２４Ａのボリューム５１７に提供されるために、Ｉ/Ｏ処理性能は低下する。

なお、後述のとおり、後者の場合でも、管理ノード１１０は、複数のノードの中から、ノード１２０Ｂとの間のネットワークスイッチのホップ数が極力少ない、即ち、ネットワーク距離が近い他ノードのストレージプールからボリュームをコンピュートＶＭ２（１２１Ｂ）になるようにしている。
にした。

なおまた、コンピュートＶＭとストレージプールとの対応関係は図２のものに限定されない。例えば、図２では説明を簡略にするために、二つのノードに適用された共有ストレージを説明したが、共有ストレージは、全てのノードに対して設定されてもよい。また、ストレージプールのボリュームは、一つのボリュームを分割したサブボリュームであってもよい。

管理ノードは、仮想コンピュータと、仮想コンピュータがデータを入出力するボリュームと、を複数のノードのうち何れかのノードに配置させることにより、プロセッサ、メモリ、そして、記憶ドライブのリソースのうち所定のリソースを仮想コンピュータとボリュームとに割り当てて、仮想コンピュータとボリュームとをノード内で稼働させている。

図２において、符号５３１は、クラスタを構成する複数のノードの何れかのノードに、初期配置されようとしている新規コンピュートＶＭを示す。コンピュートＶＭのＯＳ（５１３）がアプリケーション１２２を実行し、アプリケーション１２２がボリューム（仮想ハードディスク）５１４を利用できるようにするために、配置先ノードのハードウェアリソースがコンピュートＶＭに割り当てられる。

なお、複数のノードからなるマルチノード構成において、データを冗長化するために、ストレージＶＭは、ストレージプールへライトするデータを、ストレージＶＭが存在するノードとは別のノードのストレージプールへのライトを実行する。

冗長化処理には、例えば、ミラーリング、Erasure Codingがある。ストレージＶＭは、ストレージプールへのＩ/Ｏを実行するため、即ち、記憶ドライブへデータを書き込む、又は、記憶ドライブからデータを読み込む動作のために、ノードのリソースを利用する。

図３は、管理ノード１１０に於ける、クラスタの統合管理フレームワークの機能ブロックの一例を示す。管理ノード１１０は、記憶ドライブ４１０と、コントローラ（ＣＰＵ）４２０と、ネットワークインターフェース４３０と、メモリ４４０と、そして、これらを接続するバス４５０と、を備える。

メモリ４４０は、クラスタ管理プログラム４４１、配置先ノード決定（又は、選択）プログラム４４２、ＶＭ管理テーブル４４３、空きリソース管理テーブル４４４、ノード間ネットワークホップ数管理テーブル４４５、そして、リソース分離可否テーブル４４６と、を備える。なお、夫々のプログラムを、手段、機能、回路、又は、ユニット等と言い換えてもよい。

管理クライアントは、専用ユーザー・インターフェースを介して、仮想マシンが十分な性能を発揮するためには、最初にどのようなストレージをどのくらいの容量・性能で使用し、バックアップをどのくらいの頻度で行うかといったストレージポリシーを選択するなどして、サービスレベルの詳細を、管理ノード１１０の統合管理フレームワークに設定する。

クラスタ管理プログラム４４１は、クラスタの属性、複数のノード毎のリソースの管理等、クラスタに対する一般管理、特別管理を実行する。クラスタの属性には、既述のＨＣＩの他に、ＳＤＳ、コンポーザブルがある。後２者の構成については、後述する。

配置先ノード決定プログラム４４２は、クラスタ管理プログラム４４１の制御にしたがって、前記管理クライアントによる設定に基づいて、コンピュートＶＭと、コンピュートＶＭに対する、ストレージプールボリュームとを、夫々、配置すべきノードを決定、選択、設定、判定、或いは、認定する。

図４に、ＨＣＩクラスタに於ける、ＶＭ管理テーブル４４３の一例を示す。ＶＭ管理テーブル４４３は、コンピュートＶＭ毎に管理情報を記録する。７０１は、コンピュートＶＭのＩＤを記録する。

７０２は、コンピュートＶＭのためのボリューム（ストレージプールのボリューム）のＩＤである。７０３はコンピュートＶＭに割り当てられた、リソース１の消費量（ＣＰＵコア数）である。７０４は、コンピュートＶＭに割り当てられた、リソース２の消費量（メモリ容量）である。７０５は、コンピュートＶＭに割り当てられた、リソース３の消費量（ボリューム容量）である。７０６は、コンピュートＶＭの配置先ノードのＩＤである。７０７はボリューム７０２の配置先ノードＩＤである。

７１１は、コンピュートＶＭのＩＤが１であり、コンピュートＶＭの消費ＣＰＵコア数は“１６コア”であり、コンピュートＶＭの消費メモリ容量は“１２８ＧＢ”であり、コンピュートＶＭの消費ボリューム容量は“１ＴＢ”であり、コンピュートＶＭの配置先ノードＩＤはＨＣＩクラスタの“ＨＣＩ＿Ｎｏｄｅ－１”であり、ボリューム(７０２)の配置先ノードＩＤは同じ“ＨＣＩ＿Ｎｏｄｅ－１”であることを示している。つまり、７１１は、コンピュートＶＭについて、既述のローカリティがある構造を示している。

７１２は、コンピュートＶＭのＩＤが２であり、コンピュートＶＭの消費ＣＰＵコア数は“８コア”であり、コンピュートＶＭの消費メモリ容量は“６４ＧＢ”であり、コンピュートＶＭの消費ボリューム容量は“２ＴＢ”であり、コンピュートＶＭの配置先ノードＩＤはＨＣＩクラスタの“ＨＣＩ＿Ｎｏｄｅ－１”であり、ボリューム７０２の配置先ノードＩＤは“ＨＣＩ＿Ｎｏｄｅ－２”であることを示している。

つまり、コンピュートＶＭ（ＩＤ：２）に対するボリューム７０２は、コンピュートＶＭが配置されたノードとは別のノードに存在する。既述のとおり、コンピュートＶＭが配置されたノードと、このコンピュートＶＭに対するボリューム７０２が存在するノードとは、ネットワークスイッチのホップ数がより少ない、近接関係になるようにして、既述のローカリティが害されないようにしている。

クラスタ管理プログラム４４１は、管理ユーザからのコンピュートＶＭの新規配置要求、そして、コンピュートＶＭの配置先ノード変更情報等を受信する都度、ＶＭ管理テーブル４４３を更新する。

図５に空きリソース管理テーブル４４４の一例を示す。このテーブルはクラスタのノード毎に、リソースを管理するためのものである。図５はＨＣＩクラスタのテーブルを示す。８０１はノードのＩＤであり、８０２はノードの全ＣＰＵコア数であり、８０３はコンピュートＶＭ、又は、ストレージＶＭへ割り当てられてはいない、残りのＣＰＵコア数（全ＣＰＵコア数に対する割合）を示し、８０４はノードの全メモリ容量であり、８０５は残りのメモリ容量であり、８０６はノードの記憶ドライブの全容量であり、８０７は記憶ドライブの残り容量である。クラスタ管理プログラム４４１は、複数のノード夫々に定期的にアクセスして情報を取得し、空きリソース管理テーブル４４４を更新する。

図６にノード間ネットワークホップ数管理テーブル４４５の一例を示す。このテーブルは、ノード毎に、クラスタを構成する他ノードとの間のネットワークホップ数を管理するためのテーブルである。ネットワークホップ数とは、例えば、経由するネットワークスイッチやルータの数である。例えば、同一ラック内の複数のノードのように、クラスタに於けるネットワーク距離が近い複数のノード間のネットワークホップ数は少なく、反対に、夫々、異なるラックのノードのように、クラスタに於けるネットワーク距離が遠い複数のノード間のネットワークホップ数は多くなる。

９１１は、Node-1とNode-2の間のネットワークホップ数は１、Node-1とNode-3とのそれは１、Node-1とNode-4とのそれは２、Node-1とNode-5とのそれは３であることを示している。クラスタ管理プログラム４４１は、クラスタを設定する都度、そして、クラスタを更新する都度、このテーブルを設定、或いは、更新する。

図７にリソース分離可否テーブルの一例を示す。このテーブルは、クラスタ毎に、ハードウェアリソースをコンピュートＶＭ、又は、ストレージＶＭに割り当てる上で、複数のリソースが互いに分離できる/分離できない、を管理するものであって、クラスタＩＤ１１００、クラスタ属性１１０１、リソースの種類１１０４、リソースの分離可否フラグ１１０６を含む。

クラスタ属性には、既述のＨＣＩ、ＳＤＳ、又は、コンポーザブルがある。リソースの種類は、ＣＰＵ、メモリ、そして、記憶ドライブ（ボリューム）の他、ＦＥ ＮＷ（フロントエンドネットワーク）、インターノードＮＷがある。後者の二つは、ストレージＶＭのためのリソースである。

ＣＰＵとメモリはリソース分離フラグが同じ“１”であるため、互いに分離して、別々にコンピュートＶＭ、又は、ストレージＶＭに割り当てることができず、一方、ドライブのリソース分離フラグは“２”であって、ＣＰＵ、メモリとは異なるため、ドライブは、これらと分離して、ストレージＶＭに割り当てができることを示している。

次に、新規ＶＭ（コンピュートＶＭ）を、クラスタシステムに配置するための動作について説明する。図８は、この動作の一例を説明するフローチャートである。クラスタ管理プログラム４４１が、管理クライアントから、新規ＶＭの配置リクエストを受領する(９００)。クラスタ管理プログラム４４１は、管理クライアントからの新規ＶＭの設定に基づいて、ＶＭが必要とするＣＰＵコア数、ＶＭが必要とするメモリ容量、コンピュートＶＭが必要とするボリューム容量とを決定する。

次いで、クラスタ管理プログラム４４１は、新規ＶＭをクラスタ内の何れかのノードに配置できるか否かの判定を実行する（９０２）。クラスタ管理プログラム４４１は、空きリソース管理テーブル４４４を参照して、配置対象のＶＭの要求リソース量(ＣＰＵコア数／メモリ容量)が収まるノードがあるか否かを判定する。さらに、クラスタ管理プログラム４４１は、リソース分離可否テーブル４４６を参照し、要求リソースの分離可否を判定する。リソースの分離可否テーブルでは、ＣＰＵコア数／メモリ容量とは互いに分離できないので、クラスタ管理プログラム４４１は、新規ＶＭに対する、ＣＰＵコア数とメモリ容量の両方を配置できるノードの有無を判定する。

クラスタ管理プログラム４４１がこの判定を肯定すると（９０２：Ｙｅｓ）、空きリソース管理テーブル４４４を参照して要求ボリューム量を配置できるノードが存在するか否かを判定する（９０４）。クラスタ管理プログラム４４１がこの判定を肯定すると（９０４：Ｙｅｓ）、配置先ノード決定プログラム４４２を呼び出し、コンピュートＶＭとボリュームとの配置先ノードを決定する(９０６)。

クラスタ管理プログラム４４１は、配置先ノード決定プログラム４４２から、ＶＭ配置先ノードＩＤ、ボリューム配置先ノードＩＤを受領して、ＶＭ管理テーブル４４３にエントリを追加して、コンピュートＶＭ ＩＤ、ボリュームＩＤを採番して記録し、さらに、ＣＰＵコア数、メモリ容量、ボリューム容量、コンピュートＶＭ置先ノードＩＤ、ボリューム配置先ノードＩＤを記録する（９０８）。

クラスタ管理プログラム４４１は、このＶＭ管理テーブル４４３を参照して、配置先ノード決定プログラムによって決定されたノードにコンピュートＶＭとボリュームとの作成を命令する（９１０）。

クラスタ管理プログラム４４１が、ステップ９０２、又は、ステップ９０４を否定すると、管理クライアントに、要求されたＶＭを配置できるノードがないことを通知する(９１２)。

次に、配置先ノード決定処理（図８:９０６）の詳細について説明する。図９は、その一例を示すフローチャートである。配置先ノード決定プログラム４４２は、クラスタ管理プログラム４４１から、新規ＶＭの要求リソース量(ＣＰＵコア数、メモリ容量、ボリューム容量)を取得する（１０００）。

次に、配置先ノード決定プログラム４４２は、リソース分離可否テーブル４４６（図７）を参照して、クラスタの属性を判定する(１００２)。配置先ノード決定プログラム４４２は、クラスタ属性が“ＨＣＩ”であることを判定するとステップ１００４に進む。

配置先ノード決定プログラム４４２は、空きリソース管理テーブル４４４を参照して、先のステップ１０００で取得した、ＣＰＵコア数、メモリ容量を備えるコンピュートＶＭと、ボリューム容量の全てを自身で割り当てることができるノードを探索する。配置先ノード決定プログラム４４２は、探索結果に基づいて、当該ノードの有無を判定する(１００６)。

配置先ノード決定プログラム４４２がこの判定を肯定すると、このノードが複数存在するか否かを判定し(１００８)、これを肯定すると、複数のノードの夫々において、コンピュートＶＭに割り当てられるリソース量を評価、これは、複数種類のリソース間で、複数種類のリソース夫々のリソース量(割合)のバランスを判定することを含み、この結果に基づいて、複数のノードの中からコンピュートＶＭの配置先候補ノードを決定する（１０１０）。

そこで、この決定処理の実施形態を説明する。配置先ノード決定プログラム４４２は、ステップ１００８において判定された複数のノードの夫々について、ＶＭ管理テーブル４４３を参照して、ノードに既に存在している、一つ又は複数のコンピュートＶＭに割り当てられているリソース量を、リソースの種類毎に累積させる。ストレージＶＭについても同様にする。なお、ノードのストレージＶＭは一つでも複数でもよい。複数のストレージＶＭ夫々に、ペアとなるコンピュートＶＭを決めてもよい。

図１０に示すように、あるノードに一つのストレージＶＭと、３つのコンピュートＶＭ（コンピュートＶＭ－Ａ～ＶＭ－Ｃ）が存在していることを想定されたい。ストレージＶＭ、コンピュートＶＭ-Ａ、そして、コンピュートＶＭ-Ｂは、このノードに既存のもの、コンピュートＶＭ-Ｃは、このノードに、配置させようとしている新規のものであるとする。図１０は、２種類のリソース間、即ち、コンピュートリソース（ＣＰＵコア数，メモリ容量）とストレージリソース（ボリューム容量）とのバランスを示す特性図である。ストレージリソースは、このノード自身の記憶ドライブ（ストレージプール）である。

ストレージＶＭはボリュームサービスを行うためにコンピュートリソースも消費し、ボリュームを管理するためにストレージリソースを消費する。コンピュートＶＭはアプリケーションサービスを行うためにコンピュートリソースを消費し、そして、コンピュートＶＭが使用するボリュームのためにストレージリソースを消費してもよい。

ストレージＶＭは全コンピュートリソースのうちの４０％を消費し、そして、全ストレージリソースのうちの１０％を占有し、コンピュートＶＭ－Ａは全コンピュートリソースの１０％を消費し、そして、全ストレージリソースの３０％を消費し、コンピュートＶＭ－Ｂは全コンピュートリソースの１０％を消費し、そして、全ストレージリソースの３０％を消費済みである。コンピュートＶＭ-Ｃは、全コンピュートリソースの２０％を消費し、そして、全ストレージリソースの１０％を消費しようとしている。

ストレージＶＭ、コンピュートＶＭ－Ａ、コンピュートＶＭ－Ｂとの合計リソース量は、コンピュートリソースが６０％、ストレージリソースが７０％である。このノードにコンピュートＶＭ－Ｃを加えた後では、合計リソース量は、コンピュートリソースが８０％、ストレージリソースが８０％になって、両者は均衡する。

図１０において、符号１２００は、コンピュートＶＭとストレージＶＭとのコンピュートリソースの全消費割合と、それのストレージリソースの全消費割合とが均衡している基準線を示し、コンピュートリソースの全消費割合とストレージリソースの全消費割合とがこの基準線に近づくほど、ノードの複数のリソースがバランスよく有効利用されている、即ち、有効利用率が高いことを示している。

配置先ノード決定プログラム４４２は、新たなコンピュートＶＭ（コンピュートＶＭ－Ｃ）を配置すべきノードを決定しようとする際、ノードの既存ＶＭに新規コンピュートＶＭを加えた後のコンピュートリソース合計消費割合と、ストレージリソース合計消費割合量との座標が、この基準線１２００に最も近くなるノードを、新規コンピュートＶＭ配置先候補ノードとすればよい。

図１０は、前記ノードに新規コンピュートＶＭ-Ｃを加えた後でのコンピュートリソース合計消費割合と、ストレージリソース合計消費割合とが基準線１２００に一致していることを示している。これは、換言すれば、新規コンピュートＶＭをノードに配置後での複数のリソース（コンピュートリソースとストレージリソース）の間での空き割合（残り割合）もしくは合計消費割合の差が最小になるノードをＶＭの初期配置先候補とするということである。

既述のとおり、ＣＰＵコア数とメモリ容量とを纏めてコンピュートリソースとし、コンピュートリソースとストレージリソースとの間の２次元で、リソース量を比較したが、この態様に限定されない。例えば、ＣＰＵコア数、メモリ容量、そして、ボリューム容量の３次元のリソース間でリソースの空き割合もしくは合計消費割合を比較してもよい。３次元以上のリソース間の比較では、例えば各リソースの空き割合の標準偏差が最小になるノードを選択する。ここで各リソースの空き割合に代えて、各リソースの合計消費割合であってもよい。また、標準偏差に代えて、分散であってもよく、基準線１２００とＶＭ-Ｃの頂点とのユークリッド距離であってもよい。

また、図１０ではストレージＶＭとコンピュートＶＭの合計の消費リソース割合を示しているが、この態様に限定されない。例えば、縦軸と横軸をコンピュートＶＭが利用可能な全コンピュートリソースの割合として、コンピュートＶＭの合計の消費リソース割合を示すのでもよい。

配置先ノード決定プログラム４４２は、候補ノードが複数か否かを判定し（１０１２）、候補ノードが複数であることを判定するとステップ１０１４に進む。ステップ１０１４は、追加条件に基づいて、複数の候補ノードを評価し、ステップ１０１６はその結果に基づいて、複数の候補ノートの中から新規コンピュートＶＭ配置先ノードを決定する。

この追加条件は、例えば、新規コンピュートＶＭのリソース消費量を加えた、リソース全消費量（割合）が最も大きいノード、換言すれば、空きリソース量(割合)が最も小さいノードであること、又は、リソース全消費量が最も小さいノード、換言すれば、空きリソース量が最も大きいノードであるというものである。前者では、新規コンピュートＶＭを配置したノードのリソース占有率を高くすることができ、後者では、複数のノード間でリソース利用率がより平均化される。

ステップ１００２において、配置先ノード決定プログラム４４２は、クラスタ属性がＨＣＩ以外の属性（ＳＤＳ，コンポーザブル）を判定すると、ステップ１０１８に移行し、そして、ステップ１００６において、コンピュートＶＭとボリュームとの両方を自身に配置できるノードがない場合にも、ステップ１０1８に移行する。

配置先ノード決定プログラム４４２は、空きリソース管理テーブル４４４を参照してコンピュートＶＭを配置できる余裕のある第１ノードと、ボリュームを配置できる余裕があり、第１ノードとは異なる第２ノードとを夫々選択し、両方のノードの組み合わせの中から、さらに、ノード間ネットワークホップ数管理テーブル４４５を参照して、ノードネットワークホップ数が最小になる、即ち、ネットワーク距離が最小となる、二つのノードのペアを選択する。図７のノード間ネットワークホップ数管理テーブル４４６を例にすると、最小のホップ数となるノードのペアは、HCI Node-1とHCI Node-2,HCI Node-1とHCI Node-3,HCI Node-2とHCI Node-3である。

配置先ノード決定プログラム４４２は、ステップ１０２０において、選択されたペアが複数の場合、複数ペア夫々について、コンピュートＶＭが配置される候補ノードにコンピュートＶＭのリソース量を適用した後での、複数リソース（ＣＰＵとメモリ）間で、リソース量のバランスを判定し、リソース量のバランスがとれている最適ノードを選択する。

配置先ノード決定プログラム２２４は、空きリソース管理テーブル４４４を参照して、新規ＶＭの配置候補ノード毎に、新規コンピュートＶＭのリソース量を適用した後での空きリソース量（割合）を計算し、ＣＰＵ,メモリの夫々の空きリソース量(割合)の差が最も小さいノードを最適ノードとして選択し、これを新規ＶＭの初期配置先ノードとして決定する（１０２２）。

そして、配置先ノード決定プログラム４４２は、このノードとペアになったノードをコンピュートＶＭのボリュームが配置されるべきノードとして決定する(１０２４)。

以上により、図１０のフローチャートが終了する。このフローチャートによれば、ＨＣＩ構成のクラスタについて、管理ノードが、コンピュートＶＭと同一ノードにボリュームを配置できない場合であっても、ネットワークスイッチ数が少ないノードにボリュームを配置できるので、コンピュートＶＭのＩ／Ｏ性能の低下を抑制できる。コンピュートＶＭのＩ／Ｏ性能の低下を抑制できることは、ＨＣＩ以外の属性のクラスタについても同じである。

なお、ステップ１０１４において、選別されるノードが複数存在する場合は、さらなる追加条件、例えば、ノードＩＤの大小によって、候補ノードを選別してもよい。ステップ１０１０、次いで、ステップ１０１４とは、同一のステップにしてもよいし、逆の順番にしてもよい。

図１１は、クラスタのタイプが既述のＳＤＳである計算機システムのハードウェアブロック図の一例を示す。ＳＤＳにおいては、コンピュートＶＭが存在するノード２２０とストレージＶＭ・記憶ドライブが存在するノード２３０とが別になっている。つまり、ノード２３０はコンピュートＶＭ用のコンピュートリソースは持たず、ストレージＶＭ用が稼働するためのコンピュートリソースとストレージリソースのみを持つ。

図１２は、クラスタが既述のコンポーザブルとして構成される計算機システムのハードウェアブロック図の一例を示す。コンポーザブルにおいては、ディスクアレイ１７０がコンピュートＶＭ・ストレージＶＭとを備えるノード１２０とは分離されている。ディスクアレイは、具体的には、FBOF(Fabric-attached Bunch Of Flash)やJBOD(Just a Bunch Of Disks)になる。

図４に示すＶＭ管理テーブルにおいて、ＨＣＩ構成の場合は、７０６と７０７で同じノードが入る可能性があるが、ＳＤＳやコンポーザブルでは、異なるノードになる。ＳＤＳの場合、コンピュートＶＭ配置先ノードＩＤには計算機ノード（コンピュートＶＭ）のＩＤが入り、ボリューム配置先ノードＩＤにはストレージノード（ストレージＶＭ）のＩＤが記録される。コンポーザブルでは、コンピュートＶＭ配置先ノードＩＤには計算機ノードのＩＤが入り、ボリューム配置先ノードＩＤはディスクアレイのＩＤになる。

図５の空きリソース管理テーブルにおいて、ＨＣＩ Ｎｏｄｅ-１は、ＣＰＵコア数が全体で１２８、現時点での空きが６４であり、メモリ容量が全体で５１２ＧｉＢ、現時点での空きが３８４ＧｉＢであり、全ドライブ容量が全体で２０，０００ＧｉＢ、現時点での空きが８，０００であるのに対し、ＳＤＳでは、計算機ノード：ＣＰＵ数・メモリ容量（８０２―８０５）には値があり、ドライブ容量(８０６－８０７)には値がなく、ストレージノード：ＣＰＵ数・メモリ容量（８０２－８０５）には値がなく、ドライブ容量(８０６-８０７)には値があり、コンポーザブルでは、計算機ノード：ＣＰＵ数・メモリ容量（８０２―８０５）には値があり、ドライブ容量(８０６－８０７)には値がなく、ディスクアレイ：ＣＰＵ数・メモリ容量（８０２－８０５）には値がなく、ドライブ容量(８０６-８０７)には値がある８０５）は値がなく、ドライブ容量(８０６―８０７)には値がある。

図６のノード間ネットワークホップ数管理テーブルにおいて、ＳＤＳでは、縦軸は計算機ノードＩＤ、横軸はストレージノードＩＤになり、その逆でもよいが、ＨＣＩのテーブルのように斜線はなく、コンポーザブルでは、縦軸は計算機ノードＩＤ、横軸はディスクアレイＩＤになり、その逆でもよいが、ＨＣＩのテーブルのように斜線はない。

図７のリソース分離可否テーブルにおいて、１０１１は、クラスタ１の構成がＨＣＩで、リソースの種類は、コンピュートＶＭ用のＣＰＵ、同メモリ、ストレージ（ドライブ）があり、前二者が分離不可で、ドライブはこれらとは分離可であることを示しているのに対して、ＳＤＳ、コンポーザブルでも同じである。

ストレージのデータ保護のための冗長化の観点から、仮想コンピュータ（ＶＭ、コンテナ）を初期配置することができる。管理ノードは、冗長化先として、コンピュートＶＭ配置後で、コンピュートリソースの空容量とストレージリソースの空容量との差が小さくなるノードを選択すればよい。また、管理ノードは、Failoverを考慮して、冗長化先の消費リソース量を多く見積もった上で、コンピュートＶＭの配置先を決定してもよい。さらにまた、管理ノードは、誤差を考慮し、消費リソース量を多く見積もった上で、コンピュートＶＭの配置先を決定して、コンピュートＶＭの再配置が頻繁に発生するのを防ぐことができる。

１１０：管理ノード、１２０Ａ，１２０Ｂ：被管理ノード、１２：コンピュートＶＭ、１２２:アプリケーション、１２３：ストレージＶＭ、１２４:ストレージプール、１２５：ハイパバイザ、１２６:記憶ドライブ

Claims (7)

1. プロセッサと、メモリと、を夫々有する複数のノードと、
   記憶ドライブと、
   管理装置と、
   を備える計算機システムであって、
   前記管理装置は、
   仮想コンピュータと、当該仮想コンピュータがデータを入出力するボリュームと、を前記複数のノードのうち何れかのノードに配置させることにより、前記プロセッサ、前記メモリ、そして、前記記憶ドライブのリソースのうち所定のリソースを前記仮想コンピュータと前記ボリュームとにて、当該仮想コンピュータと当該ボリュームとを稼働させ、
   前記仮想コンピュータと前記ボリュームとを前記複数のノードのうち同一ノードに配置できる場合、当該仮想コンピュータと前記ボリュームとに割り当てられるリソース量の複数のリソース間での割合の差に基づいて、前記同一ノードを前記複数のノードの中から決定するものであり、前記割合は、前記複数のノードのあるノードにおける、前記リソースのあるリソースについての全体量に対する、割り当てのための残り量の割合、又は、割り当て済みの消費量の割合である、
   計算機システム。
2. 請求項１において、
   前記管理装置は、
   前記仮想コンピュータと前記ボリュームとにリソースが割り当てられた後の残りリソース量の割合の差が小さくなるように、前記同一ノードを決定する、
   計算機システム。
3. 請求項１において、
   前記管理装置は、
   前記プロセッサのリソースと前記メモリのリソースとを前記仮想コンピュータに割り当て、
   前記プロセッサのリソース、前記メモリのリソース、そして、前記記憶ドライブのリソースを前記ボリュームに割り当てる、
   計算機システム。
4. 請求項３において、
   前記記憶ドライブは、前記複数のノード夫々に設けられており、
   前記管理装置は、
   前記プロセッサのリソース、前記メモリのリソース、そして、前記記憶ドライブのリソースの間でのリソース量の割り当て済み割合の差に基づいて、前記同一ノードを前記複数のノードの中から決定する、
   計算機システム。
5. 請求項３において、
   前記記憶ドライブは、前記複数のノード外で、当該複数のノードから共用され得るように設けられており、
   前記プロセッサのリソース、そして、前記メモリのリソースの間でのリソース量の割り当て済み割合の差に基づいて、前記複数のノードの中から、前記仮想コンピュータ及びボリュームを配置するノードを決定する
   計算機システム。
6. 請求項１において、
   前記管理装置は、前記仮想コンピュータと前記ボリュームとを、前記同一ノードに配置できない場合に、前記複数のノード夫々のノード間のネットワーク距離と、当該複数のノード夫々での前記割り当てられるリソース量の複数のリソース間での割合の差と、に基づいて、前記仮想コンピュータと前記ボリュームとを夫々割り当てる、二つの異なるノードを、前記複数のノードの中から選択する、
   計算機システム。
7. プロセッサと、メモリと、を夫々有する複数のノードと、記憶ドライブと、管理装置と、を備える計算機システムにおける仮想コンピュータの設定方法であって、
   前記管理装置は、
   仮想コンピュータと、当該仮想コンピュータがデータを入出力するボリュームと、を前記複数のノードのうち何れかのノードに配置させることにより、前記プロセッサ、前記メモリ、そして、前記記憶ドライブのリソースのうち所定のリソースを前記仮想コンピュータと前記ボリュームとに割り当てて、当該仮想コンピュータと当該ボリュームとを稼働させ、
   前記仮想コンピュータと前記ボリュームとを前記複数のノードのうち同一ノードに配置できる場合、当該仮想コンピュータと前記ボリュームとに割り当てられるリソース量の複数のリソース間での割合の差に基づいて、前記同一ノードを前記複数のノードの中から決定するものであり、前記割合は、前記複数のノードのあるノードにおける、前記リソースのあるリソースについての全体量に対する、割り当てのための残り量の割合、又は、割り当て済みの消費量の割合である、
   仮想コンピュータの設定方法。

Images