JP7102950B2 - 情報処理システム、情報処理システムの制御方法及び管理装置の制御プログラム - Google Patents

Description

本発明は、情報処理システム、情報処理システムの制御方法及び管理装置の制御プログラムに関する。

クラウドシステムでは、負荷の増加に応じて、システムを構成するサーバの台数を増やすことによりシステムの処理能力を高めるスケールアウトが重要であるが、スケールアウトの要となる仮想ロードバランサ（仮想負荷分散装置）がボトルネックとなる場合がある。ここで、仮想ロードバランサとは、ＶＭ（Virtual Machine：仮想マシン）で実行されるロードバランサであり、処理を実行する複数のＶＭに負荷を分散する処理を行う。

仮想ロードバランサに過負荷が発生すると、処理を実行するＶＭに割り当てられる物理的なリソースを追加してもクラウドシステムの性能は向上しない。したがって、クラウドシステムでは、仮想ロードバランサのスケールアウトが重要となる。このため、負荷状況に応じて仮想ロードバランサが自動的にスケールアウトする技術がある。

なお、負荷分散に関する技術として、ネットワ－ク上に接続されたクライアントとサ－バの間でトランザクション処理を行うシステムにおいて、トランザクションの処理を効率化、高速化し、システム全体としての処理効率を向上させる技術がある。この技術では、トランザクションの負荷を監視し、監視結果に基づいて業務サーバプロセス数を制御する。そして、各業務サーバプロセスが処理要求を受け付けるべき業務クライアントを決定し、各業務サーバプロセスが処理要求を受け付ける業務クライアントを管理する（以下、特許文献１参照）。

また、アクセス要求が負荷の高い資源に到着した場合に、他の代替資源管理装置に転送することで負荷分散を可能とし、負荷の増大に対してボトルネックになる機構をなくし、効果的な分散を行う技術がある（以下、特許文献２参照）。

また、通常データ分散処理システムと高負荷データ分散処理システムとで構成することで、高負荷データの発生時に、高負荷データの処理を継続しつつ、他のデータの信号処理への影響の発生や、非効率なスケールアウトの頻発を抑止する分散処理システムがある。この分散処理システムでは、通常データ分散処理システムの各ノードは、データの処理負荷と、リソース負荷とを計測することにより、高負荷データを抽出する。そして、各ノードは、高負荷データを専用で処理する高負荷データ分散処理システムに、抽出した高負荷データを移管する。また、高負荷データ分散処理システムのノードは、負荷が低減したデータを正常負荷データとして抽出し、通常データ分散処理システムに返還する（以下、特許文献３参照）。

特開平７－３０２２４２号公報 特開平５－２１６８４２号公報 特開２０１６－１５７３６７号公報

仮想ロードバランサの自動スケールアウトには、数分程度の時間を要するため、テレビ放送等に起因するサイト（例えばウェブサイト）への瞬発的なアクセス量の増加に間に合わないという問題がある。

本発明は、１つの側面では、仮想ロードバランサに割り当てられるリソースを瞬時に増加することを目的とする。

１つの態様では、情報処理システムは、複数の第１の仮想マシンに負荷を分散する仮想負荷分散装置を実行する第２の仮想マシンを動作させる情報処理装置と、前記情報処理装置を制御する管理装置とを有する。前記情報処理装置は、前記第２の仮想マシンへのリソース割り当てを制御する第１の制御部を有する。前記第１の制御部は、前記仮想負荷分散装置の負荷を監視し、該負荷が所定の閾値を超えると過負荷の発生を前記管理装置に通知する監視部を有する。前記管理装置は、前記情報処理装置のリソース情報及び前記仮想負荷分散装置の管理情報を記憶する記憶部を有する。また、前記管理装置は、前記過負荷が発生すると、前記第２の仮想マシンに割り当てられるリソースを追加する追加命令を前記記憶部に基づいて作成し、該作成した追加命令を前記第１の制御部に通知する第２の制御部を有する。前記第１の制御部は、前記追加命令を実行して前記リソースを追加する。

１つの側面では、本発明は、仮想ロードバランサに割り当てられるリソースを瞬時に増加することができる。

図１は、実施例１に係る情報処理システムの構成を示す図である。 図２は、仮想ロードバランサが動作する処理装置及び管理装置の機能構成を示す図である。 図３は、ＬＢ管理テーブルの一例を示す図である。 図４は、リソース管理テーブルの一例を示す図である。 図５は、ＣＰＵ－ＩＤ管理テーブルの一例を示す図である。 図６は、ＬＢに過負荷が発生したときの処理装置及び管理装置の動作を示す図である。 図７は、情報収集に関する動作を示す図である。 図８Ａは、メモリ拡張に関する動作を示す第１の図である。 図８Ｂは、メモリ拡張に関する動作を示す第２の図である。 図９Ａは、ＣＰＵ拡張に関する動作を示す第１の図である。 図９Ｂは、ＣＰＵ拡張に関する動作を示す第２の図である。 図１０は、スケールアップしたＬＢへの処理投入を示す図である。 図１１は、ＬＢに過負荷が発生したときの処理の全体フローを示すフローチャートである。 図１２は、情報収集及び負荷状況監視の処理のフローを示すフローチャートである。 図１３は、メモリ領域を拡張する処理のフローを示すフローチャートである。 図１４は、ＣＰＵを拡張する処理のフローを示すフローチャートである。 図１５は、スケールアップ後の引継ぎ処理のフローを示すフローチャートである。 図１６Ａは、ＬＢに過負荷が発生したときの処理のシーケンスを示す第１の図である。 図１６Ｂは、ＬＢに過負荷が発生したときの処理のシーケンスを示す第２の図である。 図１７は、１つのサイトの負荷が上昇したときの処理装置及び管理装置の動作を示す図である。 図１８は、実施例１及び２に係る制御プログラムを実行するコンピュータのハードウェア構成を示す図である。

以下に、本願の開示する情報処理システム、情報処理システムの制御方法及び管理装置の制御プログラムの実施例を図面に基づいて詳細に説明する。なお、実施例は開示の技術を限定するものではない。

まず、実施例１に係る情報処理システムの構成について説明する。図１は、実施例１に係る情報処理システムの構成を示す図である。図１に示すように、実施例１に係る情報処理システム１は、管理装置２と、管理端末２ａと、仮想ロードバランサ４２が動作する処理装置３と、仮想サーバ４３が動作する複数の処理装置３と、複数のクライアント４とを有する。

仮想ロードバランサ４２が動作する処理装置３は、複数のクライアント４とネットワーク５で接続され、仮想サーバ４３が動作する複数の処理装置３とネットワーク６で接続される。管理装置２は、各処理装置３及び管理端末２ａと接続される。なお、仮想ロードバランサ４２が動作する処理装置３の数は複数でもよい。また、仮想サーバ４３が動作する処理装置３の数は１でもよい。

管理装置２は、処理装置３に関する情報を管理して処理装置３を制御する装置である。管理端末２ａは、管理者が管理装置２との対話に使用する端末である。処理装置３は、ＶＭを実行する情報処理装置である。仮想サーバ４３は、情報処理を行うＶＭである。仮想ロードバランサ４２は、ＶＭで実行され、仮想サーバ４３に負荷を分散する仮想的な負荷分散装置である。クライアント４は、処理を依頼する装置である。

クライアント４が依頼した処理は、仮想ロードバランサ４２により受け付けられ、仮想サーバ４３に振り分けられる。仮想ロードバランサ４２は、振り分け処理以外に、セッション維持・セッション管理を含む接続管理、ＳＳＬ（Secure Sockets Layer）のための暗号処理及び復号処理を行う。

次に、仮想ロードバランサ４２が動作する処理装置３及び管理装置２の機能構成について説明する。図２は、仮想ロードバランサ４２が動作する処理装置３及び管理装置２の機能構成を示す図である。図２に示すように、仮想ロードバランサ４２が動作する処理装置３では、仮想化基盤３１と、ＶＭ＃１、ＶＭ＃２、・・・で表される複数のＶＭ３２が動作する。ＶＭ＃１ではＯＳ（Operating System）＃１で表されるＯＳ４１とＬＢ＃１で表されるＬＢ４２が動作する。ここで、ＬＢ４２は、仮想ロードバランサ４２を表す。ＶＭ＃２ではＯＳ＃２で表されるＯＳ４１とＬＢ＃２で表されるＬＢ４２が動作する。

仮想化基盤３１は、処理装置３を仮想化して制御する。仮想化基盤３１は、処理装置３が有する演算処理装置またはプロセッサとしてのＣＰＵ（Central Processing Unit）６１、メモリ６２等のリソースを管理し、ＶＭ３２に割り当てる。仮想化基盤３１は、ＣＰＵ６１を、ＣＰＵプール５１を用いて管理し、メモリ６２を共有メモリ５２として管理する。なお、プロセッサとしては、ＣＰＵ以外にＧＰＵ（Graphics Processing Unit）、ＮＰＵ（Network Processing Unit）、ＤＳＰ（Digital Signal Processor）等が含まれる。

仮想化基盤３１は、監視部５３を有する。監視部５３は、ＬＢ４２のＣＰＵ使用率を監視し、所定の閾値を超えるとＬＢ４２へのリソース追加要求を管理装置２に送信する。また、監視部５３は、仮想化基盤３１の情報、ＬＢ４２の情報、処理装置３の情報を管理装置２に送信する。

仮想化基盤３１は、構成情報５４と負荷情報５５を記憶する。構成情報５４には、動作するＶＭ３２の情報、ＬＢ４２の情報等が含まれる。負荷情報５５には、ＶＭ３２毎あるいはＬＢ４２毎のＣＰＵ使用率が含まれる。

管理装置２は、構成情報ＤＢ２１と、管理部２２と、制御部２３とを有する。構成情報ＤＢ２１は、監視部５３により送られてきた情報を記憶する。構成情報ＤＢ２１には、ＬＢ管理テーブルとリソース管理テーブルとＣＰＵ－ＩＤ管理テーブルが含まれる。

ＬＢ管理テーブルは、ＬＢ４２に関する情報を記憶する。図３は、ＬＢ管理テーブルの一例を示す図である。図３に示すように、ＬＢ管理テーブルは、ＶＭ－ＩＤ、仮想化基盤装置名、プロセスＩＤ、使用ＣＰＵ－ＩＤ及び使用メモリ量をＬＢ４２毎に記憶する。

ＶＭ－ＩＤは、ＬＢ４２を実行するＶＭ３２を識別する番号である。仮想化基盤装置は、仮想化基盤３１が動作する処理装置３であり、仮想化基盤装置名は、ＬＢ４２が動作する処理装置３を識別する名前である。プロセスＩＤは、ＬＢ４２のプロセス（以下、ＬＢプロセス）を識別する番号である。すなわち、ＬＢ４２は、ＶＭ３２においてプロセスとして実行される。使用ＣＰＵ－ＩＤは、ＬＢ４２を実行するＶＭ３２に割り当てられたＣＰＵ６１を識別する番号である。使用メモリ量は、ＬＢ４２を実行するＶＭ３２に割り当てられたメモリ６２の量である。使用メモリ量の単位は、例えばＭＢ（メガバイト）である。

例えば、「Ｓｅｒｖｅｒ１」で識別される処理装置３において「０００１」で識別されるＶＭ３２で動作するＬＢプロセスのプロセスＩＤは「１０００」である。また、当該ＶＭ３２には、「１」で識別されるＣＰＵ６１が割り当てられ、「３５０ＭＢ」のメモリ６２が割り当てられる。

リソース管理テーブルは、ＣＰＵ６１及びメモリ６２に関する情報を記憶する。図４は、リソース管理テーブルの一例を示す図である。図４に示すように、リソース管理テーブルは、仮想化基盤装置名、搭載ＣＰＵ－ＩＤ数、未使用ＣＰＵ－ＩＤ数、搭載メモリ量及び未使用メモリ量を処理装置３毎に記憶する。

仮想化基盤装置名は、処理装置３の名前である。搭載ＣＰＵ－ＩＤ数は、処理装置３に搭載されたＣＰＵ６１の数である。未使用ＣＰＵ－ＩＤ数は、使用されていないＣＰＵ６１の数である。搭載メモリ量は、処理装置３に搭載されたメモリ６２の量である。未使用メモリ量は、使用されていないメモリ６２の量である。搭載メモリ量及び未使用メモリ量の単位は、例えばＭＢである。

例えば、「Ｓｅｒｖｅｒ１」で識別される処理装置３には、「２０個」のＣＰＵ６１と「２６４０００ＭＢ」のメモリ６２が搭載され、使用されていないＣＰＵ６１の数は「１７」であり、使用されていないメモリ６２の量は「２６３０００ＭＢ」である。

ＣＰＵ－ＩＤ管理テーブルは、ＣＰＵ６１の使用状況に関する情報を記憶する。図５は、ＣＰＵ－ＩＤ管理テーブルの一例を示す図である。図５に示すように、ＣＰＵ－ＩＤ管理テーブルは、仮想化基盤装置名、ＣＰＵ－ＩＤ及び使用フラグをＣＰＵ６１毎に記憶する。仮想化基盤装置名は、ＣＰＵ６１を搭載する処理装置３の名前である。ＣＰＵ－ＩＤは、ＣＰＵ６１を識別する番号である。使用フラグは、ＣＰＵ６１が使用されている「ｕｓｅ」であるか、使用されていない「ｎｏ ｕｓｅ」であるかを示す。例えば、「Ｓｅｒｖｅｒ１」で識別される処理装置３において「１」で識別されるＣＰＵ６１は、使用されている。

図２に戻って、管理部２２は、構成情報ＤＢ２１を用いて全ての処理装置３のリソース、ＶＭ３２を管理する。例えば、管理部２２は、監視部５３から仮想化基盤３１の情報、ＬＢ４２の情報、処理装置３の情報を受信して構成情報ＤＢ２１に格納する。

また、管理部２２は、ＬＢ４２が動作する処理装置３の監視部５３からリソース追加要求を受信すると、メモリ６２を増設するメモリ領域追加命令の作成を制御部２３に要求する。また、管理部２２は、ＬＢ４２用にメモリ増設を実行した仮想化基盤３１からメモリ増設の完了を通知されると、ＶＭ３２のメモリ領域を拡張するメモリ領域拡張命令の作成を制御部２３に要求する。また、管理部２２は、ＬＢ４２を実行するＶＭ３２のＯＳ４１からメモリ領域拡張の完了を通知されると、ＣＰＵ追加命令の作成を制御部２３に要求する。

制御部２３は、管理部２２からのメモリ領域追加命令の作成要求に基づいて、ＬＢ４２が処理に用いているデータ領域を確保するメモリ領域確保命令と、メモリ領域追加命令を作成し、リソース追加要求を送信した監視部５３を有する仮想化基盤３１に発行する。また、制御部２３は、管理部２２からのメモリ領域拡張命令の作成要求に基づいて、メモリ領域拡張命令を作成し、メモリ追加が行われたＶＭ３２のＯＳ４１に発行する。

また、制御部２３は、管理部２２からのＣＰＵ追加命令の作成要求に基づいて、ＬＢプロセスに対するＣＰＵ６１の固定割り当て（保護）を要求するＬＢプロセス保護命令と、ＣＰＵ６１を追加するＣＰＵ追加命令を作成する。そして、制御部２３は、ＣＰＵ６１が追加されるＶＭ３２のＯＳ４１にＬＢプロセス保護命令を発行し、リソース追加要求を送信した監視部５３を有する仮想化基盤３１にＣＰＵ追加命令を発行する。

次に、ＬＢ４２に過負荷が発生したときの処理装置３及び管理装置２の動作について説明する。図６は、ＬＢ４２に過負荷が発生したときの処理装置３及び管理装置２の動作を示す図である。

図６に示すように、ＬＢ＃１が動作する処理装置３の監視部５３が、ＶＭ＃１のＣＰＵ負荷の閾値オーバーを検知し（１）、管理部２２へＣＰＵ過負荷通知を送信する（２）。管理部２２は、ＣＰＵ過負荷通知を受信すると、構成情報ＤＢ２１から未使用ＣＰＵ６１を選定する（３）。

そして、制御部２３が、構成情報を確認し、既存のメモリ空間を維持したままＬＢ＃１を停止せずにリソース（ＣＰＵ６１及びメモリ６２）を拡張する命令を作成する（４）。具体的には、制御部２３は、メモリ領域確保命令、メモリ領域追加命令、メモリ領域拡張命令、ＬＢプロセス保護命令及びＣＰＵ追加命令を作成する。そして、制御部２３は、メモリ領域確保命令、メモリ領域追加命令及びＣＰＵ追加命令を仮想化基盤３１に通知し、メモリ領域拡張命令、ＬＢプロセス保護命令を対象ＯＳ４１に通知する（５）。なお、各命令を作成して通知するタイミングについては後述する。

そして、仮想化基盤３１が、メモリ領域確保命令を実行後、メモリ領域追加命令を実行する（６）。そして、ＯＳ＃１が、メモリ領域拡張命令を実行して、ＬＢ＃１の既存のメモリ領域を確保したままメモリ領域を拡張する（７）。そして、ＯＳ＃１は、ＬＢプロセス保護命令を実行して、ＬＢ＃１の処理中の命令を既存のＣＰＵ６１に紐づける（８）ことで、ＬＢ＃１の停止を防ぐ。そして、仮想化基盤３１が、ＣＰＵ追加命令を実行する（９）。

このように、仮想化基盤３１がメモリ領域追加命令及びＣＰＵ追加命令を実行してＶＭ＃１に割り当てられるリソースを追加するので、情報処理システム１はＬＢ＃１の過負荷を解消することができる。また、仮想化基盤３１がメモリ領域追加命令の前にメモリ領域確保命令を実行するので、情報処理システム１はＬＢ４２が処理に用いているデータ領域を確保したままメモリ６２を増設することができる。また、仮想化基盤３１がＣＰＵ追加命令を実行する前にＯＳ＃１がＬＢプロセス保護命令を実行するので、情報処理システム１はＬＢ＃１を停止することなくＣＰＵ６１を追加することができる。

次に、図６に示した動作の詳細について図７～図１０を用いて説明する。図７は、情報収集に関する動作を示す図であり、図８Ａ及び図８Ｂは、メモリ拡張に関する動作を示す図であり、図９Ａ及び図９Ｂは、ＣＰＵ拡張に関する動作を示す図であり、図１０は、スケールアップしたＬＢ４２への処理投入を示す図である。

図７に示すように、監視部５３は、仮想化基盤装置の情報、各ＶＭ３２のＩＤ、各ＶＭ３２の使用ＣＰＵ６１のＣＰＵ－ＩＤ及びメモリ使用量、未使用ＣＰＵ６１のＣＰＵ－ＩＤを管理装置２に通知する（１）。ここで、各ＶＭ３２は、ＬＢ４２を実行するＶＭ３２である。

そして、管理部２２が、通知された情報を構成情報ＤＢ２１に保存する（２）。そして、監視部５３は、各ＬＢ４２の負荷監視を実施し（３）、過負荷が発生すると対象ＶＭ－ＩＤと、ＬＢ４２のプロセスＩＤを管理部２２へ報告する（４）。

そして、図８Ａに示すように、監視部５３は、管理部２２へリソース追加要求を行う（５）。すると、管理部２２は、対象ＶＭ－ＩＤから、メモリ増設対象のＬＢ４２を特定し（６）、制御部２３へメモリ領域追加命令の作成を要求する（７）。すると、制御部２３は、メモリ領域確保命令とメモリ領域追加命令を作成し（８）、仮想化基盤３１に対し、メモリ領域確保命令とメモリ領域追加命令を発行する（９）。

すると、図８Ｂに示すように、仮想化基盤３１は、メモリ領域確保命令を実行した後、メモリ領域追加命令を実行してメモリ６２を増設する。仮想化基盤３１は、メモリ増設対象のＬＢ４２を管理装置２からの命令情報とＶＭ３２のＩＤとＬＢ４２のプロセスＩＤにより抽出し、増設対象ＶＭ３２のメモリ６２を増設する（１０）。

そして、図８Ａに示すように、仮想化基盤３１は、メモリ領域追加後、管理部２２に報告する（１１）。管理部２２は、制御部２３へメモリ領域拡張命令の作成を要求する（１２）。そして、制御部２３は、メモリ領域拡張命令を作成し（１３）、対象ＬＢ４２のＶＭ３２のＯＳ４１へメモリ領域拡張命令を発行する（１４）。

そして、図８Ｂに示すように、仮想化基盤上にあるＬＢ４２のＶＭ３２のＯＳ４１が、ＬＢ＃１の処理で使用する領域を未使用領域と結合し、該領域を拡張する（１５）。ＬＢ＃１の処理で使用する領域には、クッキー情報、セッションＩＤ情報及びＳＳＬ暗号処理情報が含まれる。そして、対象ＶＭ３２のＯＳ４１は、メモリ拡張完了後、管理部２２へ報告する（１６）。

このように、仮想化基盤３１がメモリ領域追加命令を実行する前にメモリ領域確保命令を実行する。したがって、仮想化基盤上にあるＬＢ４２のＶＭ３２のＯＳ４１は、ＬＢ＃１の処理で使用する領域をクッキー情報、セッションＩＤ情報及びＳＳＬ暗号処理情報を保持したまま未使用領域と結合することができる。

そして、図９Ａに示すように、管理部２２は、制御部２３へＣＰＵ追加命令の作成を要求する（１７）。すると、制御部２３は、対象ＶＭ－ＩＤとＬＢ４２のプロセスＩＤを基に、ＬＢプロセス保護命令を作成し（１８）、対象ＶＭ３２のＯＳ４１にＬＢプロセス保護命令を発行する（１９）。

そして、図９Ｂに示すように、対象ＶＭ３２のＯＳ４１は、ＬＢプロセス保護命令を実行し（２０）、制御部２３へＬＢプロセス保護命令の実行完了を報告する（２１）。そして、図９Ａに示すように、制御部２３は、報告を受けたのち構成情報ＤＢ２１より未使用ＣＰＵ６１のＣＰＵ－ＩＤを特定し（２２）、特定したＣＰＵ－ＩＤを基に、ＣＰＵ追加命令を作成する（２３）。そして、制御部２３は、仮想化基盤３１に対しＣＰＵ追加命令を発行する（２４）。

そして、図９Ｂに示すように、仮想化基盤３１は、ＣＰＵ追加命令を実行し、対象ＶＭ３２のＣＰＵ６１を追加する（２５）。そして、ＶＭ３２のＯＳ４１は、追加されたＣＰＵ６１の使用登録を実施する（２６）。そして、仮想化基盤３１は、ＣＰＵ６１の追加完了後、管理部２２へ報告する（２７）。管理部２２は、図９Ａに示すように、制御部２３に処理完了後の状態を構成情報ＤＢ２１に反映することを要求する（２８）。そして、図９Ｂに示すように、ＶＭ３２のＯＳ４１は、ＬＢリソースのスケールアップ処理完了かを判断する（２９）。

そして、ＬＢリソースのスケールアップ処理完了の場合には、図１０に示すように、対象ＬＢ４２のＯＳ４１は、スケールアップしたＬＢリソースへ処理を投入する（３０）。そして、スケールアップしたＬＢリソースが処理を開始する（３１）。図１０では、スケールアップ前は、プロセッサの空き待ちやクッキーとセッションの追加ができない状況が発生していたが、スケールアップ後は、プロセッサの空き待ちやクッキーとセッションの追加ができない状況が解消される。

次に、ＬＢ４２に過負荷が発生したときの処理のフローについて図１１～図１５を用いて説明する。図１１は、ＬＢ４２に過負荷が発生したときの処理の全体フローを示すフローチャートである。図１１に示すように、情報処理システム１は、情報収集及び負荷状況の監視を実施する（ステップＳ１）。

そして、ＬＢ４２に過負荷が発生すると、情報処理システム１は、ＬＢ４２が動作するＶＭ３２のメモリ領域の拡張を実施し（ステップＳ２）、ＬＢ４２が動作するＶＭ３２のＣＰＵ６１の拡張を実施する（ステップＳ３）。そして、情報処理システム１は、スケールアップ後の処理引継ぎ作業を実施する（ステップＳ４）。

このように、情報処理システム１は、ＬＢ４２に過負荷が発生すると、ＬＢ４２が動作するＶＭ３２のメモリ領域とＣＰＵ６１を自動的に拡張することで、過負荷に瞬時に対応することができる。

図１２は、情報収集及び負荷状況監視の処理のフローを示すフローチャートである。なお、図１２の処理は、図１１に示したステップＳ１の処理に対応する。図１２に示すように、監視部５３は、仮想化基盤装置の情報、各ＶＭ３２のＩＤ、各ＶＭ３２の使用ＣＰＵ６１のＣＰＵ－ＩＤ及びメモリ使用量、未使用ＣＰＵ６１のＣＰＵ－ＩＤを管理装置２に初期設定として送信する（ステップＳ１１）。ここで、各ＶＭ３２は、ＬＢ４２を実行するＶＭ３２である。

そして、管理部２２は、送信された情報を構成情報ＤＢ２１に保存する（ステップＳ１２）。そして、監視部５３は、各ＬＢ４２の負荷監視を実施し（ステップＳ１３）、負荷が閾値を超えているか否かを判定する（ステップＳ１４）。そして、負荷が閾値を超えていると、監視部５３は、対象ＶＭ－ＩＤと、ＬＢ４２のプロセスＩＤを管理部２２へ報告する（ステップＳ１５）。

このように、監視部５３が各ＬＢ４２の負荷監視を実施し、負荷が閾値を超えていると、対象ＶＭ－ＩＤとＬＢ４２のプロセスＩＤを管理部２２へ報告するので、管理部２２は過負荷の発生を知ることができる。

図１３は、メモリ領域を拡張する処理のフローを示すフローチャートである。なお、図１３の処理は、図１１に示したステップＳ２の処理に対応する。図１３に示すように、監視部５３は、管理部２２へリソース追加を要求する（ステップＳ２１）。すると、管理部２２は、対象ＶＭ－ＩＤから、メモリ増設対象のＬＢ４２を特定し（ステップＳ２２）、制御部２３へメモリ領域追加命令の作成を要求する（ステップＳ２３）。すると、制御部２３は、メモリ領域確保命令とメモリ領域追加命令を作成し（ステップＳ２４）、仮想化基盤３１に対し、メモリ領域確保命令とメモリ領域追加命令を発行する（ステップＳ２５）。

すると、仮想化基盤３１は、メモリ領域確保命令とメモリ領域追加命令を実行し（ステップＳ２６）、メモリ領域追加後、管理部２２に報告する（ステップＳ２７）。管理部２２は、報告を受けたのち、制御部２３へメモリ領域拡張命令の作成を要求する（ステップＳ２８）。そして、制御部２３は、メモリ領域拡張命令を作成し（ステップＳ２９）、対象ＬＢ４２のＶＭ３２のＯＳ４１へメモリ領域拡張命令を発行する（ステップＳ３０）。そして、対象ＬＢ４２のＶＭ３２のＯＳ４１は、メモリ領域拡張命令を実行し（ステップＳ３１）、メモリ拡張完了後、管理部２２へ報告する（ステップＳ３２）。

このように、情報処理システム１は、メモリ領域追加命令を実行する前にメモリ領域確保命令を実行することにより、ＬＢ４２が処理に用いているデータを維持したままメモリ領域を拡張することができる。

図１４は、ＣＰＵ６１を拡張する処理のフローを示すフローチャートである。なお、図１４の処理は、図１１に示したステップＳ３の処理に対応する。図１４に示すように、管理部２２は、制御部２３へＣＰＵ追加命令の作成を要求する（ステップＳ４１）。すると、制御部２３は、対象ＶＭ－ＩＤとＬＢ４２のプロセスＩＤを基に、ＬＢプロセス保護命令を作成し（ステップＳ４２）、対象ＶＭ３２のＯＳ４１にＬＢプロセス保護命令を発行する（ステップＳ４３）。

そして、対象ＶＭ３２のＯＳ４１は、ＬＢプロセス保護命令を実行し（ステップＳ４４）、制御部２３へＬＢプロセス保護命令の実行完了を報告する（ステップＳ４５）。そして、制御部２３は、報告を受けたのち、構成情報ＤＢ２１より未使用ＣＰＵ６１のＣＰＵ－ＩＤを特定し（ステップＳ４６）、特定したＣＰＵ－ＩＤを基に、ＣＰＵ追加命令を作成する（ステップＳ４７）。そして、制御部２３は、仮想化基盤３１に対しＣＰＵ追加命令を発行する（ステップＳ４８）。

そして、仮想化基盤３１は、ＣＰＵ追加命令を実行し、対象ＶＭ３２のＣＰＵ６１を追加する（ステップＳ４９）。そして、ＶＭ３２のＯＳ４１は、追加されたＣＰＵ６１の使用登録を実施する（ステップＳ５０）。そして、仮想化基盤３１は、ＣＰＵ６１の追加完了後、管理部２２へ通知する（ステップＳ５１）。管理部２２は、制御部２３に処理完了後の状態を構成情報ＤＢ２１に反映することを要求する（ステップＳ５２）。

このように、情報処理システム１は、ＣＰＵ６１の追加を行う前に、ＬＢプロセス保護命令を実行するので、ＬＢ４２のプロセスに対するＣＰＵ６１の割り当てを固定し、ＬＢ４２の停止を防ぐことができる。

図１５は、スケールアップ後の引継ぎ処理のフローを示すフローチャートである。なお、図１５の処理は、図１１に示したステップＳ４の処理に対応する。図１５に示すように、対象ＬＢ４２のＯＳ４１は、ＬＢリソースのスケールアップ処理完了か否かを判断し（ステップＳ６１）、ＬＢリソースのスケールアップ処理完了の場合には、スケールアップしたＬＢリソースへ処理を投入する（ステップＳ６２）。そして、スケールアップしたＬＢリソースを用いた処理が開始する（ステップＳ６３）。

このように、情報処理システム１は、ＬＢリソースのスケールアップ処理が完了すると、スケールアップしたＬＢリソースへ処理を投入するので、ＬＢ４２の過負荷を解消することができる。

次に、ＬＢ４２に過負荷が発生したときの処理のシーケンスについて説明する。図１６Ａ及び図１６Ｂは、ＬＢ４２に過負荷が発生したときの処理のシーケンスを示す図である。図１６Ａに示すように、ＶＭ－ＯＳ４１は、メモリ領域の情報を管理部２２へ送信する（ｔ１）。ここで、ＶＭ－ＯＳ４１は、ＶＭ３２で動作するＯＳ４１である。そして、仮想化基盤３１は、各ＶＭ３２のメモリ領域の情報を管理部２２へ送信する（ｔ２）。

そして、監視部５３は、管理部２２へ収集情報を送信する（ｔ３）。ここで、収集情報とは、仮想化基盤装置の情報、ＬＢ４２を実行するＶＭ３２について、各ＶＭ３２のＩＤと各ＶＭ３２の使用ＣＰＵ６１のＣＰＵ－ＩＤ及びメモリ使用量、未使用ＣＰＵ６１のＣＰＵ－ＩＤである。そして、管理部２２は、メモリ領域の情報、収集情報を受信し（ｔ４）、構成情報ＤＢ２１に反映する（ｔ５）。

そして、監視部５３は、ＬＢ４２のＣＰＵ使用率を監視し（ｔ６）、閾値オーバーが発生したか否かを判定する（ｔ７）。そして、閾値オーバーが発生すると、監視部５３は、管理部２２に発生元ＬＢ４２のリソース追加要求を送信する（ｔ８）。

すると、管理部２２は、リソース追加要求を受信し（ｔ９）、制御部２３にメモリ領域追加命令の作成を要求する（ｔ１０）。すると、制御部２３は、メモリ領域確保命令とメモリ領域追加命令を作成する（ｔ１１）。このとき、制御部２３は、構成情報ＤＢ２１を参照してメモリサイズの確認を行う（ｔ１２）。そして、制御部２３は、仮想化基盤３１に対し、メモリ領域確保命令とメモリ領域追加命令を発行する（ｔ１３）。

すると、仮想化基盤３１は、メモリ領域確保命令を実行した後にメモリ領域追加命令を実行することでＬＢ用にメモリ増設を実行し（ｔ１４）、メモリ増設が完了すると、ＬＢ用のメモリ増設完了を管理部２２に報告する。管理部２２は、ＬＢ用のメモリ増設完了を受信し（ｔ１５）、制御部２３にメモリ領域拡張命令の作成を要求する（ｔ１６）。そして、制御部２３は、メモリ領域拡張命令を作成し（ｔ１７）、対象ＬＢ４２のＶＭ－ＯＳ４１へメモリ領域拡張命令を発行する（ｔ１８）。

そして、ＶＭ－ＯＳ４１は、メモリ領域拡張命令を実行し（ｔ１９）、図１６Ｂに示すように、メモリ領域拡張の完了を管理部２２へ通知する（ｔ２０）。そして、管理部２２は、メモリ領域拡張の完了を通知されると、制御部２３へＣＰＵ追加命令の作成を要求する（ｔ２１）。すると、制御部２３は、ＬＢプロセス保護命令を作成する（ｔ２２）。このとき、制御部２３は、構成情報ＤＢ２１を参照してプロセス情報の確認を行う（ｔ２３）。そして、制御部２３は、ＶＭ－ＯＳ４１にＬＢプロセス保護命令を発行する（ｔ２４）。

そして、ＶＭ－ＯＳ４１は、ＬＢプロセス保護命令を実行し（ｔ２５）、制御部２３へＬＢプロセス保護命令の実行完了を報告する。そして、制御部２３は、報告を受けると、ＣＰＵ追加命令を作成する（ｔ２６）。このとき、制御部２３は、構成情報ＤＢ２１を参照してＣＰＵプール情報の確認を行う（ｔ２７）。そして、制御部２３は、仮想化基盤３１に対しＣＰＵ追加命令を発行する（ｔ２８）。

そして、仮想化基盤３１は、ＣＰＵ追加命令を実行し（ｔ２９）、対象ＶＭ３２にＣＰＵ６１を追加する。そして、ＶＭ－ＯＳ４１は、追加されたＣＰＵ６１の使用登録を行い（ｔ３０）、ＣＰＵ６１の使用登録の完了を仮想化基盤３１に通知する（ｔ３１）。仮想化基盤３１は、ＣＰＵ６１の使用登録の完了を管理部２２へ通知する（ｔ３２）。

管理部２２は、制御部２３に処理完了後の状態を構成情報ＤＢ２１に反映することを要求し、制御部２３は、処理完了後の状態を構成情報ＤＢ２１に反映する（ｔ３３）。そして、制御部２３は、ＤＢ反映完了を管理部２２に通知し（ｔ３４）、管理部２２は、リソース拡張を完了する（ｔ３５）。

このように、情報処理システム１は、ＬＢ４２に過負荷が発生すると、メモリ領域を拡張してＣＰＵ６１を追加することで、ＬＢ４２の過負荷を解消することができる。

上述してきたように、実施例１では、情報処理システム１は、管理装置２と処理装置３を有し、処理装置３ではＬＢ４２を実行するＶＭ３２が仮想化基盤３１の制御の下で動作し、管理装置２は構成情報ＤＢ２１を管理する。そして、仮想化基盤３１の監視部５３が、ＬＢ４２の負荷を監視し、負荷が閾値を超えると過負荷の発生を管理装置２に通知する。そして、管理装置２の制御部２３が、構成情報ＤＢ２１を参照し、メモリ領域追加命令及びＣＰＵ追加命令を作成して仮想化基盤３１に発行する。そして、仮想化基盤３１が、メモリ領域追加命令及びＣＰＵ追加命令を実行する。したがって、情報処理システム１は、ＬＢ４２に割り当てられるＣＰＵ６１とメモリ６２を瞬時に増加することができる。

また、実施例１では、仮想化基盤３１は、メモリ領域追加命令を実行する前にメモリ領域確保命令を実行するので、ＬＢ４２が使用しているデータ領域を維持したままメモリ６２を拡張することができる。

また、実施例１では、制御部２３はＣＰＵ追加命令を発行する前にＬＢプロセス保護命令を発行し、ＯＳ４１はＣＰＵ６１が追加される前にＬＢプロセス保護命令を実行してＬＢプロセスに対するＣＰＵ６１を固定するので、ＬＢプロセスの停止を防ぐことができる。

なお、実施例１では、ＣＰＵ６１とメモリ６２を追加する場合について説明したが、情報処理システム１は、ＣＰＵ６１とメモリ６２の一方を追加してもよい。

ところで、上記実施例１では、ＬＢ４２は１つのサイトを管理したが、ＬＢ４２は複数のサイトを管理することもできる。そこで、実施例２では、ＬＢ４２が２つのサイトを管理する場合について説明する。なお、ＬＢ４２は３つ以上のサイトを管理してもよい。

図１７は、１つのサイトの負荷が上昇したときの処理装置３及び管理装置２の動作を示す図である。図１７では、ＬＢ＃１がサイト＃１とサイト＃２の２つのサイトについて負荷分散を行う。サイト＃１は「ＵｓｅｒＡ」で識別されるユーザに対応付けられ、サイト＃２は「ＵｓｅｒＢ」で識別されるユーザに対応付けられる。サイト＃１についての負荷分散を行うＬＢプロセスのプロセスＩＤ（ＰＩＤ）は「０１」であり、サイト＃２についての負荷分散を行うＬＢプロセスのプロセスＩＤは「０２」である。

図１７に示すように、サイト＃１のアクセス量が増加する（１）と、監視部５３が、ＶＭ＃１のＣＰＵ負荷の閾値オーバーを検知し（２）、管理部２２へ過負荷通知をＶＭ－ＩＤと、サイト＃１に対応するＬＢプロセスのプロセスＩＤとともに送信する（３）。管理部２２は、ＣＰＵ過負荷通知を受信すると、構成情報ＤＢ２１から未使用ＣＰＵ６１を選定するとともに、プロセスＩＤに対応するＣＰＵ－ＩＤを特定する（４）。

そして、制御部２３が、メモリ領域確保命令と、メモリ領域追加命令と、メモリ領域拡張命令と、紐づけ命令と、ＣＰＵ追加命令とを作成する（５）。ここで、紐づけ命令は、過負荷のＣＰＵ６１のＣＰＵ－ＩＤ、プロセス及びサイト（ユーザ）を紐づける命令である。なお、サイト（ユーザ）を特定するために、図３に示したＬＢ管理テーブルには、サイト（ユーザ）に関する情報が追加される。そして、制御部２３は、メモリ領域確保命令、メモリ領域追加命令及びＣＰＵ追加命令を対象仮想化基盤３１に通知し、メモリ領域拡張命令及び紐づけ命令をＯＳ＃１に通知する（６）。

そして、仮想化基盤３１が、メモリ領域確保命令を実行し（７）、メモリ領域追加命令を実行する（８）。そして、ＯＳ＃１が、メモリ領域拡張命令を実行し（９）、紐づけ命令を実行する（１０）。ＯＳ＃１が紐づけ命令を実行することで、サイト＃１について負荷分散を行うＬＢプロセスに対するＣＰＵ６１の割り当てを固定することができる。そして、仮想化基盤３１が、ＣＰＵ追加命令を実行する（１１）。

このように、ＯＳ＃１が、ＣＰＵ－ＩＤ、プロセス、サイト及びユーザを紐づける紐づけ命令を実行することで、情報処理システム１は、ＬＢ＃１によるサイト＃１の処理を維持しながらＬＢ＃１に割り当てられるリソースを拡張することができる。

上述してきたように、実施例２では、監視部５３が、ＬＢ４２の負荷をサイト毎に監視し、負荷が閾値を超えるサイトがあると、管理装置２へ過負荷の発生を通知する。そして、制御部２３が、紐づけ命令を作成し、ＯＳ４１が、ＣＰＵ追加命令を実行する前に紐づけ命令を実行する。したがって、情報処理システム１は、サイト毎に負荷分散を行うプロセスに対するＣＰＵ６１の割り当てを固定することができ、サイト毎のＬＢ４２の処理を維持しながらＣＰＵ６１を拡張することができる。

なお、実施例１及び２では、管理装置２について説明したが、管理装置２が有する構成をソフトウェアによって実現することで、同様の機能を有する制御プログラムを得ることができる。そこで、制御プログラムを実行するコンピュータについて説明する。

図１８は、実施例１及び２に係る制御プログラムを実行するコンピュータのハードウェア構成を示す図である。図１８に示すように、コンピュータ８０は、メモリ８１と、ＣＰＵ８２と、ＬＡＮ（Local Area Network）インタフェース８３と、ＨＤＤ（Hard Disk Drive）８４とを有する。また、コンピュータ８０は、スーパーＩＯ（Input Output）８５と、ＤＶＩ（Digital Visual Interface）８６と、ＯＤＤ（Optical Disk Drive）８７とを有する。

メモリ８１は、プログラムやプログラムの実行途中結果などを記憶するＲＡＭ（Random Access Memory）である。ＣＰＵ８２は、メモリ８１からプログラムを読み出して実行する中央処理装置である。ＣＰＵ８２は、メモリコントローラを有するチップセットを含む。

ＬＡＮインタフェース８３は、コンピュータ８０をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。ＨＤＤ８４は、プログラムやデータを格納するディスク装置であり、スーパーＩＯ８５は、マウスやキーボードなどの入力装置を接続するためのインタフェースである。ＤＶＩ８６は、液晶表示装置を接続するインタフェースであり、ＯＤＤ８７は、ＤＶＤの読み書きを行う装置である。

ＬＡＮインタフェース８３は、ＰＣＩエクスプレス（ＰＣＩｅ）によりＣＰＵ８２に接続され、ＨＤＤ８４及びＯＤＤ８７は、ＳＡＴＡ（Serial Advanced Technology Attachment）によりＣＰＵ８２に接続される。スーパーＩＯ８５は、ＬＰＣ（Low Pin Count）によりＣＰＵ８２に接続される。

そして、コンピュータ８０において実行される制御プログラムは、コンピュータ８０により読み出し可能な記録媒体の一例であるＤＶＤに記憶され、ＯＤＤ８７によってＤＶＤから読み出されてコンピュータ８０にインストールされる。あるいは、制御プログラムは、ＬＡＮインタフェース８３を介して接続された他のコンピュータシステムのデータベースなどに記憶され、これらのデータベースから読み出されてコンピュータ８０にインストールされる。そして、インストールされた制御プログラムは、ＨＤＤ８４に記憶され、メモリ８１に読み出されてＣＰＵ８２によって実行される。

１ 情報処理システム
２ 管理装置
２ａ 管理端末
３ 処理装置
４ クライアント
５ ネットワーク
６ ネットワーク
２１ 構成情報ＤＢ
２２ 管理部
２３ 制御部
３１ 仮想化基盤
３２ ＶＭ
４１ ＯＳ
４２ 仮想ロードバランサ（ＬＢ）
４３ 仮想サーバ
５１ ＣＰＵプール
５２ 共有メモリ
５３ 監視部
５４ 構成情報
５５ 負荷情報
６１ ＣＰＵ
６２ メモリ
８０ コンピュータ
８１ メモリ
８２ ＣＰＵ
８３ ＬＡＮインタフェース
８４ ＨＤＤ
８５ スーパーＩＯ
８６ ＤＶＩ
８７ ＯＤＤ

Claims (7)

1. 複数の第１の仮想マシンに負荷を分散する仮想負荷分散装置を実行する第２の仮想マシンを動作させる情報処理装置と、
   前記情報処理装置を制御する管理装置と
   を有し、
   前記情報処理装置は、前記第２の仮想マシンへのリソース割り当てを制御する第１の制御部を有し、
   前記第１の制御部は、
   前記仮想負荷分散装置の負荷を監視し、該負荷が所定の閾値を超えると過負荷の発生を前記管理装置に通知する監視部を有し、
   前記管理装置は、
   前記情報処理装置のリソース情報及び前記仮想負荷分散装置の管理情報を記憶する記憶部と、
   前記過負荷が発生すると、前記第２の仮想マシンに割り当てられるリソースを追加する追加命令を前記記憶部に基づいて作成し、該作成した追加命令を前記第１の制御部に通知する第２の制御部を有し、
   前記第１の制御部は、
   前記追加命令を実行して前記リソースを追加することを特徴とする情報処理システム。
2. 前記リソースは少なくともプロセッサ又はメモリであることを特徴とする請求項１に記載の情報処理システム。
3. 前記第２の制御部は、リソースとしてのメモリの追加命令を作成して通知する際に、前記仮想負荷分散装置が処理に使用するデータ領域を確保する確保命令も作成して前記第１の制御部に通知し、
   前記第１の制御部は、前記確保命令を実行した後でメモリの追加命令を実行することを特徴とする請求項１に記載の情報処理システム。
4. 前記第２の仮想マシンは、該第２の仮想マシンを制御する第３の制御部を有し、
   前記第２の制御部は、リソースとしてのプロセッサの追加命令を作成して通知する前に、前記仮想負荷分散装置を実行するプロセッサを固定する保護命令を作成して前記第３の制御部に通知し、
   前記第３の制御部は、前記保護命令を実行し、
   前記第１の制御部は、前記第３の制御部により前記保護命令が実行された後にプロセッサの追加命令を実行することを特徴とする請求項１に記載の情報処理システム。
5. 前記仮想負荷分散装置は、複数サイトについてサイト毎のプロセスで負荷分散を行い、
   前記監視部は、サイト毎に負荷を監視し、該負荷が所定の閾値を超えると過負荷の発生を前記管理装置に通知し、
   前記第２の仮想マシンは、該第２の仮想マシンを制御する第３の制御部を有し、
   前記第２の制御部は、リソースとしてのプロセッサの追加命令を作成して通知する前に、過負荷が発生したサイトについて負荷分散を行うプロセスを実行するプロセッサを固定する紐づけ命令を作成して前記第３の制御部に通知し、
   前記第３の制御部は、前記紐づけ命令を実行し、
   前記第１の制御部は、前記第３の制御部により前記紐づけ命令が実行された後にプロセッサの追加命令を実行することを特徴とする請求項１に記載の情報処理システム。
6. 複数の第１の仮想マシンに負荷を分散する仮想負荷分散装置を実行する第２の仮想マシンを動作させる情報処理装置と、前記情報処理装置を制御する管理装置とを有する情報処理システムの制御方法において、
   前記管理装置は、前記情報処理装置のリソース情報及び前記仮想負荷分散装置の管理情報を前記情報処理装置から受信して記憶部に格納し、
   前記第２の仮想マシンへのリソース割り当てを制御する第１の制御部は、前記仮想負荷分散装置の負荷を監視し、該負荷が所定の閾値を超えると過負荷の発生を前記管理装置に通知し、
   前記管理装置は、前記過負荷が発生すると、前記第２の仮想マシンに割り当てられるリソースを追加する追加命令を前記記憶部に基づいて作成し、該作成した追加命令を前記第１の制御部に通知し、
   前記第１の制御部は、前記追加命令を実行して前記リソースを追加する
   ことを特徴とする情報処理システムの制御方法。
7. 複数の第１の仮想マシンに負荷を分散する仮想負荷分散装置を実行する第２の仮想マシンを動作させる情報処理装置から該情報処理装置のリソース情報及び前記仮想負荷分散装置の管理情報を受信して記憶部に格納し、
   前記第２の仮想マシンへのリソース割り当てを制御する第１の制御部から前記仮想負荷分散装置の過負荷の発生を通知されると、前記第２の仮想マシンに割り当てられるリソースを追加する追加命令を前記記憶部に基づいて作成し、該作成した追加命令を前記第１の制御部に通知して該第１の制御部に前記リソースを追加させる
   処理をコンピュータに実行させることを特徴とする管理装置の制御プログラム。

Images