JP6640025B2 - 分散処理制御システム及び分散処理制御方法 - Google Patents

Description

本発明は、通信ネットワークを介して相互通信可能に接続されている、分散処理システムを構成する複数の演算処理資源のそれぞれの動作状態の切替えを制御する技術に関する。

負荷分散において第１仮想マシンの負荷が第１の負荷条件を充足する場合、第２仮想マシンを配置し、第２仮想マシンの配置後、第１仮想マシンの負荷が第１の負荷条件を充足し、第２の仮想マシンの負荷が第２の負荷条件を充足する場合に第３仮想マシンを追加し、第２仮想マシンの負荷が第２の負荷条件を充足しない場合に第３仮想マシンの追加を制限する技術的手法が提案されている（特許文献１参照）。

特開２００６−３３８２６４号公報

しかしながら、特許文献１の技術的手法では、負荷が急速に増加している場合、待機状態の仮想マシンを負荷処理可能な状態に遷移させるまでに時間がかかってしまうことにより、負荷が仮想マシンの処理能力を超えてしまうおそれがあった。

一方、予め十分多くの数の仮想マシンを常に負荷処理可能な状態で動作させておくと、負荷に鑑みて処理能力に大きな余剰が生まれてしまい、無駄が生じうる。

これらの点に鑑みて、本発明は、演算処理負荷の増減に鑑みて適当に複数の演算処理資源のそれぞれの動作状態の変更を制御することができるシステム及び方法を提供することを解決課題とする。

本発明の分散処理制御システムは、
演算処理を実行する複数の演算処理資源のそれぞれの動作状態の変更を制御する分散処理制御システムであって、
基準時点よりも将来の第１時点における前記複数の演算処理資源の全体に対する演算処理負荷である予測演算処理負荷を予測する負荷予測要素と、
前記予測演算処理負荷が前記第１時点において動作予定の演算処理資源の予測処理能力の所定の範囲に含まれるという第１条件を充足するように、前記第１時点よりも前に前記演算処理資源の動作状態の変更処理を開始する状態制御要素と、を備えていることを特徴とする。

本発明の分散処理制御システムによれば、前記予測演算処理負荷が前記第１時点において動作予定の演算処理資源の全体の予測処理能力の所定の範囲に含まれるように演算処理資源の動作状態の変更処理が開始される。これにより、演算処理負荷の増減に鑑みて適当に複数の演算処理資源のそれぞれの動作状態の変更処理を制御することができる。

本発明の分散処理制御システムにおいて、
前記第１条件は、前記予測演算処理負荷が前記所定の範囲の上限値である予測高負荷閾値以下であるという予測高負荷条件を含み、
前記状態制御要素は、前記予測演算処理負荷が前記予測高負荷条件を充足するまで動作中の演算処理資源に演算処理資源を仮想的に追加することにより、前記動作予定の演算処理資源を決定するように構成されていることが好ましい。

当該構成の分散処理制御システムによれば、予測演算処理負荷が予測高負荷閾値を超えるような場合には、予測高負荷条件を充足するまで演算処理資源が仮想的に追加される。これにより、第１時点における演算処理負荷を処理するリソースの不足又は余剰を抑えるように演算処理資源が適切に選択される。

本発明の分散処理制御システムにおいて、
前記状態制御要素は、前記仮想的に追加された演算処理資源の前記第１時点における予測処理能力を通常の処理能力よりも低く評価し、
前記予測高負荷条件は、前記演算処理資源１つあたりの前記予測演算処理負荷が前記予測高負荷閾値以下であるという条件であることが好ましい。

当該構成の分散処理制御システムによれば、仮想的に追加された演算処理資源の第１時点における予測処理能力が通常の処理能力よりも低く評価された上で、前記演算処理資源１つあたりの前記予測演算処理負荷が前記予測高負荷閾値以下となるように演算処理資源の動作が制御される。これにより、演算処理資源が追加された直後に演算処理資源の処理能力が通常よりも低下する場合でも、処理能力の低下が勘案された形で演算処理資源が追加される。

本発明の分散処理制御システムにおいて、
前記第１条件は、前記予測演算処理負荷が前記所定の範囲の下限値である予測低負荷閾値以上であるという予測低負荷条件を含み、
前記状態制御要素は、前記予測演算処理負荷が前記予測低負荷条件を充足するまで動作中の演算処理資源の数を仮想的に減少させることにより、前記動作予定の演算処理資源を決定するように構成されていることが好ましい。

当該構成の分散処理制御システムによれば、予測演算処理負荷が予測低負荷閾値を下回るような場合には、予測低負荷条件を充足するまで演算処理資源の数が仮想的に減少される。これにより、第１時点における演算処理負荷を処理するリソースの不足又は余剰を抑えるように演算処理資源が適切に選択される。

本発明の分散処理制御システムにおいて、
前記状態制御要素は、
前記第１時点において動作予定の演算処理資源の数が前記基準時点における動作中の演算処理資源の数よりも少ない場合、前記動作中の演算処理資源のうち、前記動作予定の演算処理資源と異なる演算処理資源の停止処理を前記第１時点までに開始させ、
前記第１時点において動作予定の演算処理資源の数が前記基準時点における動作中の演算処理資源の数よりも多い場合、前記複数の演算処理資源のうち、前記第１時点において動作予定の演算処理資源の数と動作中の演算処理資源の数との差分だけ停止中の演算処理資源の起動処理を前記第１時点までに開始することを特徴とする。

本発明の分散処理制御システムによれば、演算処理資源が過剰である場合には、演算処理資源が停止され、演算処理資源が不足している場合には、基準時点において動作中の演算処理資源に追加するように演算処理資源の起動処理が開始される。これにより、必要な演算処理資源だけの起動処理を開始させることが出来るので、演算処理資源の動作に係るコストが削減されうる。

本発明の分散処理制御システムにおいて、
前記複数の演算処理資源のそれぞれは、認証した端末からの要求を処理する演算処理資源であり、
前記分散処理制御システムは、
前記複数の演算処理資源のうちの一の演算処理資源を停止させる際に当該一の演算処理資源に蓄積され、前記端末の認証情報を含むデータを前記一の演算処理資源から取得し、
前記基準時点から所定の時間以内に第１要求を受けつけた端末から新たな第２要求を受信し、かつ、前記第１要求を処理した演算処理資源が停止している場合、前記データに含まれる認証情報を前記第２要求とともに動作中又は前記第２要求を処理する時点において動作予定の演算処理資源に送信するデータ同期要素とを備えるように構成されていることを特徴する。

本発明の分散処理制御システムによれば、第１要求を処理した演算処理資源が停止をしていても、当該演算処理資源が停止する際に同期したデータに含まれる認証情報が第２要求とともに動作中又は第２要求を受け付けた時点において動作予定の演算処理資源に送信される。これにより、別個に第２要求の送信元の端末の認証を行う必要がなくなる。これにより、認証のための処理を省略することが出来、演算処理負荷を軽減することが出来る。

本発明の分散処理制御システムにおいて、
前記状態制御要素は、前記予測演算処理負荷が前記基準時点において動作中の演算処理資源の処理能力の所定の範囲から逸脱する第２条件を充足することを要件として、前記第１条件を充足する演算処理資源の選択処理を開始することを特徴とする。

本発明の分散処理制御システムによれば、前記予測演算処理負荷が前記基準時点において動作中の演算処理資源の処理能力の所定の範囲から逸脱する場合に、第１条件を充足する演算処理資源の選択処理が開始される。これにより、前記予測演算処理負荷が前記基準時点において動作中の演算処理資源の処理能力の所定の範囲内であるような、演算処理資源の動作状態の変更が必要ない場合の分散処理制御システム自体の演算処理負荷を軽減できる。

本発明の分散処理制御システムにおいて、
所定の単位期間を構成する複数の要素期間のそれぞれごとの過去の演算処理負荷の時系列的な変化態様である第１変化態様を記憶する記憶要素を備え、
前記負荷予測要素は、前記基準時点における演算処理負荷である測定演算処理負荷を測定し、前記測定演算処理負荷と前記基準時点に対応する前記要素期間における第１変化態様とに基づいて、前記予測演算処理負荷を予測するように構成されていることが好ましい。

本発明の分散処理制御システムによれば、測定演算処理負荷と当該分散処理制御システムの過去の実績に含まれ、基準時点に対応する要素期間の第１変化態様に基づいて予測演算処理負荷が予測されるので、予測演算処理負荷の予測精度が向上する。

本発明の分散処理制御システムにおいて、
前記負荷予測要素は、前記基準時点よりも過去の第２時点から前記基準時点までの演算処理負荷の時系列的な変化態様である第２変化態様を認識し、前記第２変化態様との近似度が所定値以上の変化態様が前記基準時点から前記第１時点までの間に起こると仮定して前記予測演算処理負荷を予測するように構成されていることが好ましい。

本発明の分散処理制御システムによれば、実際に起こっている第２変化態様と同一の変化態様が起こると予測して前記予測演算処理負荷が予測されるので、予測演算処理負荷の予測精度が向上する。

本発明の分散処理制御システムにおいて、
過去の演算処理負荷の時系列的な変化態様である第３変化態様を記憶する記憶要素を備え、
前記負荷予測要素は、前記基準時点よりも過去の第３時点から前記基準時点までの演算処理負荷の時系列的な変化態様である第４変化態様を認識し、当該第４変化態様との近似度が所定値以上の前記第３変化態様に基づいて前記予測演算処理負荷を予測するように構成されていることが好ましい。

本発明の分散処理制御システムによれば、予測演算処理負荷が当該分散処理制御システムの過去の類似した演算処理負荷の時系列的な変化態様に基づいて予測されるので、予測演算処理負荷の予測精度が向上する。

当該構成の分散処理制御システムにおいて、前記負荷予測要素は、前記第４変化態様との近似度が所定値以上の前記第３変化態様のうち、鮮度が所定値以上の第３変化態様に基づいて前記予測演算処理負荷を予測するように構成されている。

本発明の分散処理制御システムによれば、当該分散処理制御システムの過去の近似度が所定値以上の演算処理負荷の時系列的な変化態様のうち、鮮度が所定値以上の変化態様に基づいて予測演算処理負荷が予測されるので、予測演算処理負荷の予測精度がより向上する。

これらの分散処理制御システムにおいて、
前記負荷予測要素は、前記演算処理負荷を増減させるバイアス期間を認識し、前記基準時点が前記バイアス期間に含まれる場合には、前記バイアス期間における増減量に応じて前記予測演算処理負荷を認識するように構成されていることが好ましい。

本発明の分散処理制御システムによれば、演算処理負荷を増減させるバイアス期間の増減量が勘案されて予測演算処理負荷が認識されるので、十分に過去の演算処理負荷に関する情報がない場合でも、時期的な性質に鑑みて予測演算処理負荷が適当な値に設定されうる。

本発明の分散処理制御システムの全体構成図。 負荷分散制御処理のフローチャート。 演算処理資源１つあたりの演算処理負荷の時系列変化と、動作中の演算処理資源の個数の時系列変化との関係を示す図で、縦軸は、演算処理資源１つあたりの演算処理負荷又は動作中の演算処理資源の個数、横軸は時刻、１点鎖線のグラフは演算処理資源１つあたりの演算処理負荷、２点鎖線のグラフは動作中の演算処理資源の個数を示す。 起動処理のフローチャート。 要求受付処理のフローチャート。

図１〜図５を参照しながら、本発明の一実施形態を説明する。

（構成）
図１に示されている分散処理制御システム１０は、複数の端末Ｃｉ（ｉ＝１，２，‥，ｍ）から第１ネットワークを介して受信した要求を、第２ネットワークを介して相互通信可能に接続されている複数の第１演算処理資源Ｓ１〜第ｎ演算処理資源Ｓｎのいずれかに対して割り当てるように構成されている。複数の端末Ｃｉのうち少なくとも一部が各演算処理資源を構成していてもよい。

第１ネットワークは、例えばインターネット等の広域ネットワークであり、第２ネットワークは、例えばローカルエリアネットワークである。第１および第２ネットワークは共通の通信ネットワークであってもよい。

分散処理制御システム１０は、例えば、コンピュータ（ＣＰＵ、ＲＯＭおよびＲＡＭなどのメモリ、Ｉ／Ｏ回路などにより構成されている。）により構成された、ロードバランサである。分散処理制御システム１０は、後述する演算処理を実行するように構成されている負荷予測要素１１、状態制御要素１２、データ同期要素１３、認証制御要素１４及び記憶要素１５を備えている。

本発明の構成要素が担当演算処理を実行するように「構成されている」とは、当該構成要素を構成するＣＰＵ等の演算処理装置が、ＲＯＭ、ＲＡＭ等のメモリまたは記録媒体から必要な情報に加えてソフトウェアを読み出し、当該情報に対して当該ソフトウェアにしたがって演算処理を実行するように「プログラムされている」または「デザイン（設計）されている」ことを意味する。各構成要素が共通のプロセッサ（演算処理装置）により構成されてもよく、各構成要素が相互通信可能な複数のプロセッサにより構成されてもよい。

端末Ｃｉは、タブレット型端末、スマートフォンまたはウェアラブル端末（たとえば腕時計型端末）など、ユーザによる携帯が可能なようにサイズ、形状および重量が設計されている情報端末により構成されている。端末Ｃｉは、車両に搭載可能なようにサイズ等が設計されている情報端末（例えばナビゲーション装置）であってもよいし、ＴＣＵ、ＬＶＦ等の通信機器であってもよい。

第ｊ演算処理資源Ｓｊ（ｊ＝１、２、‥、ｎ）は、例えばコンピュータ（ＣＰＵ、ＲＯＭおよびＲＡＭなどのメモリ、Ｉ／Ｏ回路などにより構成されている。）により構成された、サーバ又は仮想マシンである。第ｊ演算処理資源Ｓｊは、端末Ｃｉから受信した要求を処理し、必要に応じて処理結果を要求の送信元の端末Ｃｉに送信する。分散処理制御システム１０の指示により、第ｊ演算処理資源Ｓｊ（ｊ＝１，２、‥、ｎ）の起動処理又は停止処理が開始される。本実施形態では、各演算処理資源の処理能力は同一と仮定して説明するが、各処理能力が異なっていてもよい。処理能力が異なる場合、後述する式（１）（２）の修正が必要となる。

第ｊ演算処理資源Ｓｊが、本発明の「演算処理資源」を構成する。

端末Ｃｉから受信する要求は、例えば、出発地及び目的地を結ぶルートの探索要求であるルート探索要求又はＦＣＤ（Ｆｌｏａｔｉｎｇ Ｃａｒ Ｄａｔａ）等の車両のセンサーから得られたデータの記録要求であるデータ記録要求である。

一の装置が他の装置との通信に基づいて情報を「認識する」とは、一の装置が他の装置から当該情報を受信すること、一の装置が他の装置から受信した信号を対象として所定の演算処理（計算処理または探索処理など）を実行することにより当該情報を導出すること、一の装置が他の装置による演算処理結果としての当該情報を当該他の装置から受信すること、から一の装置が当該受信信号にしたがって内部記憶装置または外部記憶装置から当該情報を読み取ること等、通信を伴って当該情報を取得するためのあらゆる演算処理が実行されることを意味する。

（負荷分散制御処理）
図２〜図３を参照して、分散処理制御システム１０の各要素が実行する負荷分散制御処理を説明する。

負荷予測要素１１は、測定演算処理負荷を認識し、記憶要素１５に記憶する（図２／ＳＴＥＰ１０２）。

測定演算処理負荷は、例えば、ＣＰＵ使用率、メモリ使用率、ディスクＩ／Ｏ（Ｉｎｐｕｔ／ＯｕｔＰｕｔ）時間又はレスポンスタイム等により直接的または間接的に示される、端末Ｃｉから送信された要求の処理に必要な図２／ＳＴＥＰ１０２実行時点である基準時点における演算処理負荷である。測定演算処理負荷は、１つの値だけでなく、複数の値のセットであってもよい。また、基準時点は、図２／ＳＴＥＰ１０２の実行時点に限られず、演算処理負荷を測定する観点から図２／ＳＴＥＰ１０２と同一視できる時点でもよい。例えば、演算処理負荷の測定が定期的に実行され、図２／ＳＴＥＰ１０２において、最新の測定時点における演算処理負荷が測定演算処理負荷として認識されてもよい。

たとえば、負荷予測要素１１は、１分毎など定期的に各演算処理資源Ｓｊが共有する記憶装置を参照し、ＣＰＵ使用率、メモリ使用率又はディスクＩ／Ｏ（Ｉｎｐｕｔ／ＯｕｔＰｕｔ）時間のモニタリング情報を取得することにより、測定演算処理負荷を認識してもよい。また、分散処理制御システム１０は、各演算処理資源Ｓｊのレスポンスタイムを測定することにより、各演算処理資源Ｓｊの測定演算処理負荷を認識してもよい。

負荷予測要素１１は、基準時点よりも将来の第１時点（例えば基準時点の５分後）における予測演算処理負荷を認識する（図２／ＳＴＥＰ１０４）。第１時点は、現在停止中の演算処理資源が処理を開始できる以降の時点であることが好ましく、例えば、現在停止中の演算処理資源の起動処理に３分かかる場合には、３分以降の時点であることが好ましい。

第１時点における予測演算処理負荷は、第１時点における端末Ｃｉからの要求の全ての処理に必要な演算処理負荷の予測値である。予測演算処理負荷は、１つの値だけでなく、複数の値のセットであってもよいが、測定演算処理負荷と同一の形式の値であることが好ましい。

例えば、負荷予測要素１１は、測定演算処理負荷と基準時点に対応する演算処理負荷の第１変化態様とに基づいて第１時点における予測演算処理負荷を予測してもよい。第１変化態様は、記憶要素１５に記憶された、単位期間を構成する複数の要素期間のそれぞれの過去の測定演算処理負荷の時系列的な変化態様である。

単位期間は例えば１日であり、要素期間は例えば１０分刻みの時間である。要素期間は、例えば、１分間、５分間及び１０分間のようにその長さが互いに異なる期間であってもよい。

複数の要素期間は、互いに重複があってもよい。たとえば、９：００〜９：１０の要素期間と、９：０５〜９：１５の要素期間があってもよい。

また、基準時点に対応する要素期間とは、複数の要素期間のうち、基準時点と同一時点を含む要素期間を意味する。例えば、基準時点が２０１６年６月１日 ９：０５であり、単位期間が１日であり、要素期間が１０分毎の期間である場合、基準時点と同一時点９：０５を含む要素期間８：５５〜９：０５、９：００〜９：１０、９：０５〜９：１５等が基準時点に対応する要素期間である。

複数の要素期間がある場合、それらのうちの一つの要素期間を選択すればよいが、要素期間の始期となるような基準時点が選択されることが好ましい。

第１変化態様は、過去の測定演算処理負荷を要素期間（例えば９：００〜９：１０）ごとの値により表される。

例えば、第１変化態様は、９：００〜９：１０において測定演算処理負荷が１０％増加した等、要素期間ごとの各測定演算処理負荷の増減量で表されてもよい。この場合、負荷予測要素１１は、第１変化態様に示される基準時点に対応する要素期間の測定演算処理負荷の増減量と図２／ＳＴＥＰ１０２で認識された測定演算処理負荷とを加算した値を、第１時点における予測演算処理負荷としてもよい。

また、例えば、第１変化態様は、９：００における演算処理負荷の平均値が５０％、９：０１における平均的な演算処理負荷が５２％、‥９：１０における演算処理負荷の平均値が６０％というように、要素期間における各時刻における演算処理負荷の平均値により表されてもよい。この場合、負荷予測要素１１は、第１変化態様に示される第１時点に対応する時刻の演算処理負荷の平均値に、測定演算処理負荷と基準時点における演算処理負荷の平均値との差分を加えた値を、第１時点における予測演算処理負荷としてもよい。

これに加えてまたは代えて、負荷予測要素１１は、基準時点に対応する演算処理負荷の第２変化態様を認識し、当該第２変化態様との近似度が所定値以上の変化態様が基準時点から第１時点までに起こると仮定して、第１時点における予測演算処理負荷を予測してもよい。

第２変化態様は、記憶要素１５に記憶された、基準時点よりも過去の第２時点（例えば基準時点の５分前）から基準時点までの測定演算処理負荷の時系列的な変化態様である。なお、第２時点から基準時点までの間隔と基準時点から第１時点までの間隔は異なっていてもよいが、同一であることがより好ましい。

例えば、第２変化態様は、第２時点から基準時点までにおいて測定演算処理負荷が１０％増加した等、第２時点から基準時点までにおける各測定演算処理負荷の増減量で表されてもよい。この場合、第２時点から基準時点までにおける測定演算処理負荷の増減量と近似度が所定以上の増減量は、例えば、第２時点から基準時点までにおける測定演算処理負荷の増減量に所定の係数（例えば、０．５〜２に含まれる係数）の間の値を乗じた値である。負荷予測要素１１は、このようにして求められた値と図２／ＳＴＥＰ１０２で認識された測定演算処理負荷とを加算した値を、第１時点における予測演算処理負荷としてもよい。

第２時点から基準時点までの間隔と基準時点から第１時点までの間隔とが異なっている場合には、負荷予測要素１１は、第２時点から基準時点までにおける各測定演算処理負荷の増減量を、第２時点から基準時点までの間隔と基準時点から第１時点までの間隔との比で割った値を用いて第１時点における予測演算処理負荷を認識してもよい。

また、これらに加えてまたは代えて、負荷予測要素１１は、演算処理負荷の第３変化態様と演算処理負荷の第４変化態様とに基づいて、第１時点における予測演算処理負荷を予測してもよい。

第３変化態様は、記憶要素１５に記憶された、過去の演算処理負荷の時系列的な変化態様である。また、第４変化態様は、基準時点よりも過去の第３時点から基準時点（例えば５分前）までの演算処理負荷の時系列的な変化態様である。

例えば、第３変化態様は、２０１６年５月１日の９：００における測定演算処理負荷が５０％、２０１６年５月１日の９：０１における測定演算処理負荷が５２％、‥２０１６年５月１日の９：１０における測定演算処理負荷が６０％というように、各時刻における測定演算処理負荷により表されてもよい。

また、第４変化態様は、第３時点における測定演算処理負荷が４８％、‥基準時点における測定演算処理負荷が５８％というように、第３変化態様と同様の形式のデータにより表される。

負荷予測要素１１は、第４変化態様と近似度が所定以上の変化態様の第３変化態様を認識し、当該第３変化態様に続く変化態様から、第１時点における予測演算処理負荷を予測してもよい。また、第４変化態様と近似度が所定以上の第３変化態様が複数ある場合には、鮮度が高い（新しい）第３変化態様を採用することが好ましい。

負荷予測要素１１は、これらの複数の値に基づいて一の予測演算処理負荷を定めてもよい。たとえば、負荷予測要素１１は、第１変化態様に基づいて予測した値と、第２変化態様に基づいて予測した値との平均値を、予測演算処理負荷としてもよい。

また、これらに加えて、負荷予測要素１１は、演算処理負荷を増減させるバイアス期間を認識し、基準時点がバイアス期間に含まれる場合には、バイアス期間における増減量に応じて予測演算処理負荷を認識するように構成されていてもよい。

例えば、バイアス期間は、週末若しくは祝日、お盆、年末年始等の大型連休又は梅雨など車両の使用頻度が増加する時期又は降雪時期などの車両の使用頻度が減少する時期である。このようなバイアス期間においては、車両の使用頻度の増減に応じて、受信するルート探索要求等の要求の数が増減し、ひいては、当該要求の処理に必要な演算処理負荷が増減する。このように、第１時点がバイアス期間に含まれる場合においては、上記のようにして求めた予測演算処理負荷にあらかじめ定められたバイアス期間の増減量に応じた係数を乗じることにより、予測演算処理負荷を補正してもよい。

状態制御要素１２は、予測演算処理負荷が基準高負荷条件を充足しているか否かを判定する（図２／ＳＴＥＰ１０６）。

基準高負荷条件は、動作中の演算処理資源Ｓｊの１つあたりの予測演算処理負荷（例えば、ＣＰＵ使用率）が、図３に示されるような所定の基準高負荷閾値Ｔ１（例えば６０％）を超過していることという条件である。

予測演算処理負荷が複数の値のセットである場合には、基準高負荷条件は、その夫々が高負荷閾値Ｔ１を超過しているという条件であってもよいし、それらの平均値等の統計値が高負荷閾値Ｔ１を超過しているという条件であってもよいし、複数の値のセットそれぞれに設けられた高負荷閾値を複数の値のいずれか１つ又は全てが超過しているしているという条件であってもよい。この条件は他の条件でも同様である。基準高負荷条件が、本発明の「第２条件」の一例に相当し、高負荷閾値Ｔ１が本発明の「第２条件」の「所定の範囲」の上限値に相当する。

例えば、図３における時刻ｔ１では、１点鎖線で示される動作中の演算処理資源Ｓｊの１つあたりの予測演算処理負荷が基準高負荷閾値Ｔ１を超えているので、図２／ＳＴＥＰ１０６の判定結果は肯定的となる。

また、負荷予測要素１１は、一定の時間（例えば５分間）継続して予測演算処理負荷が基準高負荷条件を充足している場合に、図２／ＳＴＥＰ１０６を肯定的と判定してもよい。

図２／ＳＴＥＰ１０６の判定結果が肯定的である場合（図２／ＳＴＥＰ１０６‥ＹＥＳ）、
状態制御要素１２は、動作予定候補の演算処理資源のグループである動作予定候補グループに、停止中の演算処理資源を所定数（例えば２）だけ仮想的に追加する（図２／ＳＴＥＰ１０８）。状態制御要素１２は、停止中の演算処理資源に代えてまたは加えて、現在稼働中の演算処理資源であって現在演算処理負荷を割り当てていない演算処理資源を追加してもよい。

動作予定候補グループは、図２／ＳＴＥＰ１０８の初期においては、基準時点において動作中の演算処理資源から構成される。図２／ＳＴＥＰ１０８の初期において、ｓｐ１個の演算処理資源が動作中である場合、例えばｓｐ２個の停止中の演算処理資源が動作予定候補グループに仮想的に追加されると、動作予定候補グループには合計ｓｐ１＋ｓｐ２個の演算処理資源が含まれることとなる。

状態制御要素１２は、予測演算処理負荷に基づいて、第１時点における動作予定候補グループに含まれる演算処理資源の１つ当たりの予測演算処理負荷を算出する（図２／ＳＴＥＰ１１０）。

たとえば、状態制御要素１２は、以下の式（１）により、動作予定候補グループに含まれる演算処理資源の１つ当たりの予測演算処理負荷ＰＬ１を求めてもよい。

ここで、ＰＬ０は図２／ＳＴＥＰ１０４で予測された予測演算処理負荷に所定の制御値を加えた値、ｓｐ１は、基準時点において動作中の演算処理資源の数、ｓｐ２は仮想的に追加した演算処理資源の数、ｓｃは、０より大きく１以下（好ましくは１未満）であって、追加した演算処理資源の数ｓｐ２に乗ずる係数である。１未満の所定の係数ｓｃは、起動直後の演算処理資源が初期設定処理、又は同期処理等のために演算性能を完全に発揮できない場合などの、通常の処理能力よりも低い演算処理資源の予測処理能力を表すための係数である。

状態制御要素１２は、予測演算処理負荷が予測高負荷条件を充足しているか否かを判定する（図２／ＳＴＥＰ１１２）。

予測高負荷条件は、動作予定候補グループの演算処理資源の１つあたりの予測演算処理負荷ＰＬ１（例えば、ＣＰＵ使用率）が、図３に示されるような所定の予測高負荷閾値Ｔ２（例えば６０％）以下であるという条件である。予測高負荷閾値Ｔ２は、基準高負荷閾値Ｔ１と同じ値であることが好ましいが、基準高負荷閾値Ｔ１とは異なる値であってもよい。

図２／ＳＴＥＰ１１２の判定結果が否定的である場合（図２／ＳＴＥＰ１１２‥ＮＯ）、すなわち、動作予定候補グループの演算処理資源の１つあたりの予測演算処理負荷ＰＬ１が予測高負荷閾値Ｔ２を超過する場合、状態制御要素１２は、再度図２／ＳＴＥＰ１０８以下の処理を実行する。状態制御要素１２は、図２／ＳＴＥＰ１０８の処理に先立ち、演算処理資源の起動処理の開始タイミングを早める又は一部の初期設定を省略した場合の演算処理資源の早期起動を行った場合のシミュレーションを行い、そのシミュレーションにより図２／ＳＴＥＰ１１２の判定結果が肯定的となる場合、図２／ＳＴＥＰ１０８以下の処理を実行せずに、図２／ＳＴＥＰ１１４に進んでもよい。

図２／ＳＴＥＰ１１２の判定結果が肯定的である場合（図２／ＳＴＥＰ１１２‥ＹＥＳ）、すなわち、動作予定候補グループの演算処理資源の１つあたりの予測演算処理負荷ＰＬ１が予測高負荷閾値Ｔ２以下である場合、状態制御要素１２は、追加した演算処理資源の起動処理を開始させる（図２／ＳＴＥＰ１１４）。

状態制御要素１２は、追加した演算処理資源が正常に動作しているかを判定し（図２／ＳＴＥＰ１１６）、もし正常に動作していない場合（図２／ＳＴＥＰ１１６‥ＮＯ）には再度図２／ＳＴＥＰ１１４の処理を実行する。

追加した演算処理資源が正常に動作している場合（図２／ＳＴＥＰ１１６‥ＹＥＳ）、状態制御要素１２は、追加した演算処理資源に演算処理負荷の割振り（端末Ｃｉから受信した要求の転送）を開始する（図２／ＳＴＰＥ１１８）。

図２／ＳＴＥＰ１０６の判定結果が否定的である場合（図２／ＳＴＥＰ１０６‥ＮＯ）、
状態制御要素１２は、予測演算処理負荷が基準低負荷条件を充足しているか否かを判定する（図２／ＳＴＥＰ１２０）。

基準低負荷条件は、動作中の演算処理資源Ｓｊの１つあたりの予測演算処理負荷（例えば、ＣＰＵ使用率）が、図３に示されるような所定の基準低負荷閾値Ｔ３（例えば２０％）以下であることという条件である。基準低負荷条件が、本発明の「第２条件」の一例に相当し、基準低負荷閾値Ｔ３が、本発明の「第２条件」の「所定の範囲」の下限値に相当する。

例えば、図３における時刻ｔ４では、１点鎖線で示される動作中の演算処理資源Ｓｊの１つあたりの予測演算処理負荷が基準低負荷閾値Ｔ３以下であるので、図２／ＳＴＥＰ１２０の判定結果は肯定的となる。

また、状態制御要素１２は、一定の時間（例えば５分間）継続して予測演算処理負荷が基準低負荷条件を充足している場合に、図２／ＳＴＥＰ１２０を肯定的と判定してもよい。

図２／ＳＴＥＰ１２０の判定結果が否定的である場合（図２／ＳＴＥＰ１２０‥ＮＯ）、状態制御要素１２は、今回周期の負荷分散制御処理を終了する。

図２／ＳＴＥＰ１２０の判定結果が肯定的である場合（図２／ＳＴＥＰ１２０‥ＹＥＳ）、状態制御要素１２は、動作中の演算処理資源のグループである動作中グループから所定数（例えば２）の演算処理資源を仮想的に除外する（図２／ＳＴＥＰ１２２）。

図２／ＳＴＥＰ１２２の初期において、ｓｐ１個の演算処理資源が動作中である場合、例えばｓｐ３個の動作中演算処理資源が動作中グループから仮想的に除外されると、動作中グループには合計ｓｐ１−ｓｐ３個の演算処理資源が含まれることとなる。

状態制御要素１２は、予測演算処理負荷に基づいて、第１時点における動作中グループに含まれる演算処理資源の１つ当たりの予測演算処理負荷を算出する（図２／ＳＴＥＰ１２４）。

たとえば、状態制御要素１２は、以下の式（２）により、動作中グループに含まれる演算処理資源の１つ当たりの予測演算処理負荷ＰＬ２を求めてもよい。

ここで、ＰＬ０は図２／ＳＴＥＰ１０４で予測された予測演算処理負荷に所定の制御値を加えた値、ｓｐ１は基準時点において動作中の演算処理資源の数、ｓｐ３は仮想的に除外した演算処理資源の数である。

状態制御要素１２は、予測演算処理負荷が予測低負荷条件を充足しているか否かを判定する（図２／ＳＴＥＰ１２６）。

予測低負荷条件は、動作予定候補グループの演算処理資源の１つあたりの予測演算処理負荷ＰＬ２（例えば、ＣＰＵ使用率）が、図３に示されるような所定の予測低負荷閾値Ｔ４（例えば２０％）以上であるという条件である。予測低負荷閾値Ｔ４は、基準低負荷閾値Ｔ３と同じ値であることが好ましいが、基準低負荷閾値Ｔ３とは異なる値であってもよい。予測低負荷条件が、本発明の「第１条件」の一例に相当する。

図２／ＳＴＥＰ１２６の判定結果が否定的である場合（図２／ＳＴＥＰ１２６‥ＮＯ）、すなわち、動作予定候補グループの演算処理資源の１つあたりの予測演算処理負荷ＰＬ２が予測低負荷閾値Ｔ４に満たない場合、状態制御要素１２は、再度図２／ＳＴＥＰ１２２以下の処理を実行する。

図２／ＳＴＥＰ１２６の判定結果が肯定的である場合（図２／ＳＴＥＰ１２６‥ＹＥＳ）、すなわち、動作予定候補グループの演算処理資源の１つあたりの予測演算処理負荷ＰＬ２が予測低負荷閾値Ｔ４以上である場合、状態制御要素１２は、除外した演算処理資源への演算処理負荷の割振りを停止させる（図２／ＳＴＥＰ１２８）。

データ同期要素１３は、除外した演算処理資源に蓄積されたデータを同期し、記憶要素１５に記憶する（図２／ＳＴＥＰ１３０）。このデータには、要求送信元の端末Ｃｉの認証情報が含まれる。

状態制御要素１２は、除外した演算処理資源を停止処理を開始する（図２／ＳＴＥＰ１３２）。

（負荷分散処理の作用効果）
負荷分散処理によれば、図３に示されるように、時刻ｔ１において予測演算処理負荷が基準高負荷閾値Ｔ１を超過した場合でも、予測演算処理負荷が予測高負荷閾値Ｔ２以下となるように演算処理資源の起動処理が開始されるので、時刻ｔ２において適切な数の演算処理資源が動作（要求を処理）するようになる。これにより、例えば時刻ｔ１〜ｔ３に示されるような急激な演算処理負荷の増加があっても、随時適切な数の演算処理資源が追加されるので、演算処理資源に過剰な演算処理負荷がかかることが回避されうる。

また、負荷分散処理によれば、図３に示されるように、時刻ｔ４において予測演算処理負荷が基準低負荷閾値Ｔ３以下となった場合でも、予測演算処理負荷が予測低負荷閾値Ｔ４以上となるように演算処理資源が停止されるので、時刻ｔ５において動作する演算処理資源が適当な数となる。これにより、例えば時刻ｔ４〜ｔ５に示されるような演算処理資源の停止があっても、残った演算処理資源に適当な演算処理負荷が割り当てられる。

また、時刻ｔ３〜ｔ４の間では、各演算処理資源に対する過剰な負荷又は処理能力の余剰が抑制される。

（起動処理）
次に、図４を参照して、図２／ＳＴＥＰ１１４で起動処理が開始された演算処理資源の起動フローを説明する。

演算処理資源は、分散処理制御システム１０からの起動指示により、電力の供給が開始されると、ＢＩＯＳの設定及びＯＳの設定等の初期処理を行う（図４／ＳＴＥＰ２０２）。

演算処理資源は、所定時間以内に設定情報の同期を行ったか否かを判定する（図４／ＳＴＥＰ２０４）。

当該判定結果が否定的である場合（図４／ＳＴＥＰ２０４‥ＮＯ）、演算処理資源は、設定情報の同期を実施する（図４／ＳＴＥＰ２０６）。

当該判定結果が肯定的である場合（図４／ＳＴＥＰ２０４‥ＹＥＳ）、又は図４／ＳＴＥＰ２０６の処理の後、演算処理資源は、通信機能及び演算処理機能等が正常に動作しているか否かの確認を実施する（図４／ＳＴＥＰ２０８）。正常に動作していない機能がある場合には、演算処理資源は、分散処理制御システム１０にエラーメッセージを送信した上で、再度当該機能または自身の再起動を実施し、各機能の正常動作を確保する。

演算処理資源は、図４／ＳＴＥＰ２０８の後、図２／ＳＴＥＰ１１８で割振られた演算処理負荷（端末Ｃｉから受信した要求）の処理を開始する（図４／ＳＴＥＰ２１０）。

上記処理により、同期処理を適切に省略しながら、演算処理資源を適切に起動することが出来る。

（要求受付処理）
次に、図５を参照して、分散処理制御システム１０が、端末Ｃｉから要求を受信した場合の処理フローを説明する。

認証制御要素１４は、端末Ｃｉから新たな要求を受信すると（図５／ＳＴＥＰ３０２）、当該新たな要求元の送信元の端末Ｃｉから、新たな要求の受信時点から所定の時間以内に要求を受信していたか否かを判定する（図５／ＳＴＥＰ３０４）。認証制御要素１４は、例えば、記憶要素１５のログ情報に基づいて図５／ＳＴＥＰ３０４の判定を実行する。

当該判定結果が否定的である場合（図５／ＳＴＥＰ３０４‥ＮＯ）、認証制御要素１４は、端末Ｃｉと適当な情報処理資源とを接続する（図５／ＳＴＥＰ３０６）。接続された情報処理資源により、端末Ｃｉの認証が行われ、認証情報が作成される。

当該判定結果が肯定的である場合（図５／ＳＴＥＰ３０４‥ＹＥＳ）、認証制御要素１４は、記憶要素１５に記憶されたログ情報を参照することにより、端末Ｃｉの前回の要求を停止中の演算処理資源が処理したか否かを判定する（図５／ＳＴＥＰ３０８）。

当該判定結果が否定的である場合（図５／ＳＴＥＰ３０８‥ＮＯ）、認証制御要素１４は、端末Ｃｉの前回の要求を処理した情報処理資源と、当該端末Ｃｉとを接続させる（図５／ＳＴＥＰ３１０）。

当該判定結果が肯定的である場合（図５／ＳＴＥＰ３０８‥ＹＥＳ）、認証制御要素１４は、記憶要素１５を参照して、図２／ＳＴＥＰ１３０で同期されたデータを検索することにより、端末Ｃｉの認証情報を認識する（図５／ＳＴＥＰ３１２）。

図５／ＳＴＥＰ３１２の後、認証制御要素１４は、新たな要求とともに端末Ｃｉの認証情報を適当な情報処理資源に送信し、端末Ｃｉと当該情報処理資源とを接続させる（図５／ＳＴＥＰ３１４）。

上記の処理により、前回の要求を処理した演算処理資源が停止をしていても、当該演算処理資源が停止する際に同期したデータに含まれる認証情報を用いて端末の認証が行われる。これにより、認証の通信を省略することが出来るので、演算処理負荷を軽減することが出来る。

１０‥分散処理制御システム、１１‥負荷予測要素、１２‥状態制御要素、Ｓｊ‥演算処理資源。

Claims (13)

1. 演算処理を実行する複数の演算処理資源のそれぞれの動作状態の変更を制御する分散処理制御システムであって、
   基準時点よりも将来の第１時点における前記複数の演算処理資源の全体に対する演算処理負荷である予測演算処理負荷を予測する負荷予測要素と、
   前記予測演算処理負荷が前記第１時点において動作予定の演算処理資源の予測処理能力の所定の範囲に含まれるという第１条件を充足するように、前記第１時点よりも前に前記演算処理資源の動作状態の変更処理を開始する状態制御要素と、を備え、
   前記状態制御要素は、
   前記第１時点において動作予定の演算処理資源の数が前記基準時点における動作中の演算処理資源の数よりも少ない場合、前記動作中の演算処理資源のうち、前記動作予定の演算処理資源と異なる演算処理資源の停止処理を前記第１時点までに開始させ、
   前記第１時点において動作予定の演算処理資源の数が前記基準時点における動作中の演算処理資源の数よりも多い場合、前記複数の演算処理資源のうち、前記第１時点において動作予定の演算処理資源の数と動作中の演算処理資源の数との差分だけ停止中の演算処理資源の起動処理を前記第１時点までに開始し、
   前記複数の演算処理資源のそれぞれは、認証した端末からの要求を処理する演算処理資源であり、
   前記分散処理制御システムは、
   前記複数の演算処理資源のうちの一の演算処理資源を停止させる際に当該一の演算処理資源に蓄積され、前記端末の認証情報を含むデータを前記一の演算処理資源から取得し、
   前記基準時点から所定の時間以内に第１要求を受けつけた端末から新たな第２要求を受信し、かつ、前記第１要求を処理した演算処理資源が停止している場合、前記データに含まれる認証情報を前記第２要求とともに動作中又は前記第２要求を処理する時点において動作予定の演算処理資源に送信するデータ同期要素を備えるように構成されていることを特徴とする分散処理制御システム。
2. 請求項１記載の分散処理制御システムにおいて、
   前記状態制御要素は、前記予測演算処理負荷が前記基準時点において動作中の演算処理資源の処理能力の所定の範囲から逸脱する第２条件を充足することを要件として、前記第１条件を充足する演算処理資源の選択処理を開始することを特徴とする分散処理制御システム。
3. 演算処理を実行する複数の演算処理資源のそれぞれの動作状態の変更を制御する分散処理制御システムであって、
   基準時点よりも将来の第１時点における前記複数の演算処理資源の全体に対する演算処理負荷である予測演算処理負荷を予測する負荷予測要素と、
   前記予測演算処理負荷が前記第１時点において動作予定の演算処理資源の予測処理能力の所定の範囲に含まれるという第１条件を充足するように、前記第１時点よりも前に前記演算処理資源の動作状態の変更処理を開始する状態制御要素と、を備え、
   前記状態制御要素は、前記予測演算処理負荷が前記基準時点において動作中の演算処理資源の処理能力の所定の範囲から逸脱する第２条件を充足することを要件として、前記第１条件を充足する演算処理資源の選択処理を開始することを特徴とする分散処理制御システム。
4. 請求項１〜３のいずれか１項に記載の分散処理制御システムにおいて、
   前記第１条件は、前記予測演算処理負荷が前記所定の範囲の上限値である予測高負荷閾値以下であるという予測高負荷条件を含み、
   前記状態制御要素は、前記予測演算処理負荷が前記予測高負荷条件を充足するまで動作中の演算処理資源に演算処理資源を仮想的に追加することにより、前記動作予定の演算処理資源を決定するように構成されていることを特徴とする分散処理制御システム。
5. 請求項４記載の分散処理制御システムにおいて、
   前記状態制御要素は、前記仮想的に追加された演算処理資源の前記第１時点における予測処理能力を通常の処理能力よりも低く評価し、
   前記予測高負荷条件は、前記演算処理資源１つあたりの前記予測演算処理負荷が前記予測高負荷閾値以下であるという条件であることを特徴とする分散処理制御システム。
6. 請求項１〜５のうちいずれか１項記載の分散処理制御システムにおいて、
   前記第１条件は、前記予測演算処理負荷が前記所定の範囲の下限値である予測低負荷閾値以上であるという予測低負荷条件を含み、
   前記状態制御要素は、前記予測演算処理負荷が前記予測低負荷条件を充足するまで動作中の演算処理資源の数を仮想的に減少させることにより、前記動作予定の演算処理資源を決定するように構成されていることを特徴とする分散処理制御システム。
7. 請求項１〜６のうちいずれか１項記載の分散処理制御システムにおいて、
   所定の単位期間を構成する複数の要素期間のそれぞれごとの過去の演算処理負荷の時系列的な変化態様である第１変化態様を記憶する記憶要素を備え、
   前記負荷予測要素は、前記基準時点における演算処理負荷である測定演算処理負荷を測定し、前記測定演算処理負荷と前記基準時点に対応する前記要素期間における第１変化態様とに基づいて、前記予測演算処理負荷を予測するように構成されていることを特徴とする分散処理制御システム。
8. 請求項１〜７のうちいずれか１項記載の分散処理制御システムにおいて、
   前記負荷予測要素は、前記基準時点よりも過去の第２時点から前記基準時点までの演算処理負荷の時系列的な変化態様である第２変化態様を認識し、前記第２変化態様との近似度が所定値以上の変化態様が前記基準時点から前記第１時点までの間に起こると仮定して前記予測演算処理負荷を予測するように構成されていることを特徴とする分散処理制御システム。
9. 請求項１〜８のうちいずれか１項記載の分散処理制御システムにおいて、
   過去の演算処理負荷の時系列的な変化態様である第３変化態様を記憶する記憶要素を備え、
   前記負荷予測要素は、前記基準時点よりも過去の第３時点から前記基準時点までの演算処理負荷の時系列的な変化態様である第４変化態様を認識し、当該第４変化態様との近似度が所定値以上の前記第３変化態様に基づいて前記予測演算処理負荷を予測するように構成されていることを特徴とする分散処理制御システム。
10. 請求項９記載の分散処理制御システムにおいて、
    前記負荷予測要素は、前記第４変化態様との近似度が所定値以上の前記第３変化態様のうち、鮮度が所定値以上の第３変化態様に基づいて前記予測演算処理負荷を予測するように構成されていることを特徴とする分散処理制御システム。
11. 請求項２又は３に記載の分散処理制御システムにおいて、
    前記負荷予測要素は、前記演算処理負荷を増減させるバイアス期間を認識し、前記基準時点が前記バイアス期間に含まれる場合には、前記バイアス期間における増減量に応じて前記予測演算処理負荷を認識するように構成されていることを特徴とする分散処理制御システム。
12. 演算処理を実行する複数の演算処理資源のそれぞれの動作状態の変更を制御する分散処理制御方法であって、
    基準時点よりも将来の第１時点における前記複数の演算処理資源の全体に対する演算処理負荷である予測演算処理負荷を予測する負荷予測ステップと、
    前記予測演算処理負荷が前記第１時点において動作予定の演算処理資源の予測処理能力の所定の範囲に含まれるという第１条件を充足するように、前記第１時点よりも前に前記演算処理資源の動作状態の変更処理を開始する状態制御ステップと、を含み、
    前記状態制御ステップでは、
    前記第１時点において動作予定の演算処理資源の数が前記基準時点における動作中の演算処理資源の数よりも少ない場合、前記動作中の演算処理資源のうち、前記動作予定の演算処理資源と異なる演算処理資源の停止処理を前記第１時点までに開始させ、
    前記第１時点において動作予定の演算処理資源の数が前記基準時点における動作中の演算処理資源の数よりも多い場合、前記複数の演算処理資源のうち、前記第１時点において動作予定の演算処理資源の数と動作中の演算処理資源の数との差分だけ停止中の演算処理資源の起動処理を前記第１時点までに開始し、
    前記複数の演算処理資源のそれぞれは、認証した端末からの要求を処理する演算処理資源であり、
    前記分散処理制御方法は、
    前記複数の演算処理資源のうちの一の演算処理資源を停止させる際に当該一の演算処理資源に蓄積され、前記端末の認証情報を含むデータを前記一の演算処理資源から取得し、
    前記基準時点から所定の時間以内に第１要求を受けつけた端末から新たな第２要求を受信し、かつ、前記第１要求を処理した演算処理資源が停止している場合、前記データに含まれる認証情報を前記第２要求とともに動作中又は前記第２要求を処理する時点において動作予定の演算処理資源に送信するデータ同期ステップを含むことを特徴とする分散処理制御方法。
13. 演算処理を実行する複数の演算処理資源のそれぞれの動作状態の変更を制御する分散処理制御方法であって、
    基準時点よりも将来の第１時点における前記複数の演算処理資源の全体に対する演算処理負荷である予測演算処理負荷を予測する負荷予測ステップと、
    前記予測演算処理負荷が前記第１時点において動作予定の演算処理資源の予測処理能力の所定の範囲に含まれるという第１条件を充足するように、前記第１時点よりも前に前記演算処理資源の動作状態の変更処理を開始する状態制御ステップと、を含み、
    前記状態制御ステップでは、前記予測演算処理負荷が前記基準時点において動作中の演算処理資源の処理能力の所定の範囲から逸脱する第２条件を充足することを要件として、前記第１条件を充足する演算処理資源の選択処理を開始することを特徴とする分散処理制御方法。