JP7491396B2 - コンピュータシステムおよびフロー制御方法 - Google Patents

Description

本発明は、フローセントリックコンピューティングにおける通信ネットワークＮＷを介したデータ移動および演算処理を制御するためのフロー制御技術に関する。

機械学習や人工知能（ＡＩ）やＩｏＴ（Internet of Things）など多くの分野で技術革新が進み、様々な情報やデータを活用することで、サービスの高度化・付加価値の提供が盛んに行われている。このような処理では、大量の計算をする必要があり、そのための情報処理基盤が必須である。
例えば、非特許文献１では、既存の情報処理基盤をアップデートしようとする試みが展開されてはいるものの、急速に増えていくデータに対して現代のコンピュータが対応しきれていないのも事実であり、今後さらなる進化を遂げていくためには、ムーアの法則を越える「ポストムーア技術」が確立されなければいけないと指摘している。

ポストムーア技術として、例えば、非特許文献２では、フローセントリックコンピューティングという技術が開示されている。フローセントリックコンピューティングでは、データのある場所で処理を行うというこれまでのコンピューティングの考えではなく、計算機能が存在する場所にデータを移動して処理を行うという新たな概念を導入した。
このようなフローセントリックコンピューティングを実現するためには、データ移動に必要な広帯域な通信ネットワークＮＷが必要となるだけでなく、同時に効率よく通信ネットワークＮＷを制御しないと、データの移動を効率よく実施できない可能性がある。

特開２０２０－７２３４６号公報

「NTT Technology Report for Smart World 2020」，日本電信電話株式会社，28 May 2020，［2020年10月19日検索］，インターネット，＜https://www.rd.ntt/_assets/pdf/techreport/NTT_TRFSW_2020_EN_W.pdf＞ R. Takano and T. Kudoh, "Flow-centric computing leveraged by photonic circuit switching for the post-moore era", Tenth IEEE/ACM International Symposium on Networks-on-Chip (NOCS), Nara, 2016, pp. 1-3, ［2020年10月19日検索］，インターネット，＜https://ieeexplore.ieee.org/abstract/document/7579339＞

一般に、通信ネットワークＮＷにおいて、データ移動の高速化・高効率化のために用いられる技術として、フロー制御が知られている（例えば、特許文献１）。フロー制御は、通信ネットワークＮＷの負荷やバッファの蓄積容量に応じて、動的に通信経路を制御することで、パケットロスを抑制することが可能である。しかしながら、上記のような、通信ネットワークＮＷを介したフローセントリックコンピューティングにおいて、コンピューティング処理を考慮して、パケットロスを抑制し、演算処理を効率よく行うためのフロー制御を適用している例は開示されていない。

本発明はこのような課題を解決するためのものであり、フローセントリックコンピューティングにおける通信ネットワークＮＷを介したデータ移動および演算処理を効率よく行うことができるフロー制御技術を提供することを目的としている。

このような目的を達成するために、本発明にかかるコンピュータシステムは、処理すべきデータを保持する複数のデータ記憶・生成装置と、通信ネットワークを介して前記複数のデータ記憶・生成装置と接続される複数の演算装置と、前記データの処理要求ごとに、前記複数の演算装置のうちから、当該データを処理するための演算装置を特定するとともに、当該データの移動のための前記通信ネットワーク上の経路を特定するように構成されたフロー制御装置とを備え、前記フロー制御装置は、前記複数の演算装置のうちから候補となる演算装置を選択し、当該演算装置の装置負荷と、前記データを当該演算装置で処理した場合に要する処理時間の推定値と、前記通信ネットワークから選択した前記データの移動のための経路に関する経路負荷とを、それぞれの閾値と比較し、得られた比較結果に基づいて、前記装置負荷、前記処理時間の推定値、及び前記経路負荷が、それぞれの前記閾値よりも小さい演算装置及び経路を、当該データの処理を行う演算装置と当該データの移動のための経路として特定し、前記フロー制御装置は、特定した前記データの処理を行う演算装置と当該データの移動のための経路とを、当該データを保持するデータ記憶・生成装置へ通知し、
前記データ記憶・生成装置は、前記フロー制御装置から通知された前記通信ネットワーク上の経路を介して、前記フロー制御装置から通知された前記データの処理を行う演算装置へ、当該データを送信するように構成したものである。

また、本発明にかかるフロー制御方法は、処理すべきデータを保持する複数のデータ記憶・生成装置と、通信ネットワークを介して前記複数のデータ記憶・生成装置と接続される複数の演算装置と、前記データの処理ごとに、前記複数の演算装置のうちから、当該データを処理するための演算装置を特定するとともに、当該データの移動のための前記通信ネットワーク上の経路を特定するように構成されたフロー制御装置とを備えるコンピュータシステムで用いられるフロー制御方法であって、前記フロー制御装置が、前記複数の演算装置のうちから候補となる演算装置を選択する第１のステップと、前記フロー制御装置が、当該演算装置の装置負荷と、前記データを当該演算装置で処理した場合に要する処理時間の推定値と、前記通信ネットワークから選択した前記データの移動のための経路に関する経路負荷とを、それぞれの閾値と比較する第２のステップと、前記フロー制御装置が、得られた比較結果に基づいて、前記装置負荷、前記処理時間の推定値、及び前記経路負荷が、それぞれの前記閾値よりも小さい演算装置及び経路を、当該データの処理を行う演算装置と当該データの移動のための経路として特定する第３のステップと、前記フロー制御装置が、特定した前記データの処理を行う演算装置と当該データの移動のための経路とを、当該データを保持するデータ記憶・生成装置へ通知する第４のステップと、前記データ記憶・生成装置が、前記フロー制御装置から通知された前記通信ネットワーク上の経路を介して、前記フロー制御装置から通知された前記データの処理を行う演算装置へ、当該データを送信する第５のステップとを備えている。

本発明によれば、フローセントリックコンピューティングにおける通信ネットワークを介したデータ移動および演算処理を効率よく行うことが可能となる。

図１は、第１の実施の形態にかかるコンピュータシステムの構成を示すブロック図である。 図２は、第１の実施の形態にかかるフロー制御装置の構成を示すブロック図である。 図３は、第１の実施の形態にかかるコンピュータシステムの演算処理動作を示すフローチャートである。 図４は、第１の実施の形態にかかるフロー制御装置のフロー制御方法を示すフローチャートである。 図５は、第１の実施の形態にかかる数値シミュレーション結果を示すグラフである。 図６は、第２の実施の形態にかかるフロー制御装置の構成を示すブロック図である。 図７は、第２の実施の形態にかかるフロー制御装置のフロー制御方法を示すフローチャートである。 図８は、第３の実施の形態にかかるフロー制御装置の構成を示すブロック図である。 図９は、第３の実施の形態にかかる優先制御の例を示す説明図である。 図１０は、第３の実施の形態にかかるフロー制御装置のフロー制御方法を示すフローチャートである。 図１１は、従来のネットワークカードの構成を示すブロック図である。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるコンピュータシステムについて説明する。図１は、第１の実施の形態にかかるコンピュータシステムの構成を示すブロック図である。

図１に示すように、本実施の形態にかかるコンピュータシステム１０は、主な装置構成として、通信ネットワークＮＷを介して相互に接続された、Ｎ（Ｎは１以上の整数）個のデータ記憶・生成装置１１（＃１～＃Ｎ）、および、Ｍ（Ｍは１以上の整数）個の演算装置１２（＃１～＃Ｎ）と、フロー制御装置１３とを備えている。
このコンピュータシステム１０は、全体として、通信ネットワークＮＷを介して、データ記憶・生成装置１１が出力したデータに対して、演算装置１２で所定の演算処理を行い、その演算結果をデータ記憶・生成装置１１へ出力する。

［データ記憶・生成装置］
データ記憶・生成装置１１は、演算装置１２で演算処理すべきデータを保持する装置であり、当該データを記憶する機能、または、当該データを生成する機能と、フロー制御装置１３に対して、当該演算処理の演算装置１２への割り当てを要求する割り当て要求と処理内容とを通知する機能と、フロー制御装置１３が指定した通信ネットワークＮＷ上の経路を介して、フロー制御装置１３が指定した演算装置１２にデータを出力する機能と、演算装置１２が出力したデータを受信する機能と、を有する。

具体的には、データ記憶・生成装置１１のうち、データを記憶する機能は、データストレージやデータサーバなどのデータ保持に特化した装置や、一般に記憶機能を有する汎用コンピュータなどの情報処理装置により構成される。また、データを生成する機能は、センサ端末等の自装置がデータを生成する機能を有している装置により構成される。処理内容は、例えば、平均値の計算や画像データのフォーマット変換、動画像データの人物検出など、一般的な関数ライブラリのような比較的単一の演算処理の粒度から、複数の演算処理を組合せたアプリケーション処理のような粒度までが想定される。

なお、上記の例では、データ記憶・生成装置１１がフロー制御装置１３に対して処理内容を通知する例を示したが、データ記憶・生成装置１１は、必ずしも処理内容を通知しなくともよく、所望の処理に対して、各演算装置１２で処理することを想定した場合の処理時間をフロー制御装置１３に通知してもよい。

［演算装置１２］
演算装置１２は、自己で実行中の演算処理の負荷状態（稼働状態）を示す負荷情報をフロー制御装置１３へ通知する機能と、通信ネットワークＮＷを介してデータ記憶・生成装置１１から入力されたデータに対して、所定の演算処理（演算または処理）を行い、得られた演算処理結果（演算結果また処理結果）を出力する機能を有する。
演算装置１２の出力は、通信ネットワークＮＷを介して、データ記憶・生成装置１１または他の演算装置１２へ入力される。他の演算装置１２へ入力することで、１つの演算装置１２で完了しないような複数のステップから構成されるプログラムに対しても、このコンピュータシステム１０を適用できる。演算装置１２は、ＣＰＵやＧＰＵ上のソフトウェアで実現してもよく、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）に形成したＬＳＩ（Large Scale Integration）回路で実現してもよい。

［フロー制御装置１３］
フロー制御装置１３は、通信ネットワークＮＷの各経路の経路負荷情報と、処理内容の情報と、演算装置１２の装置負荷情報とを入力として、データ記憶・生成装置１１からの処理要求に応じて、データ記憶・生成装置１１が保持するデータに対する演算処理を実行する演算装置１２を特定する、すなわち演算装置１２に演算処理を割り当てる機能と、得られた特定結果を要求元のデータ記憶・生成装置１１へ通知する機能と、を有している。

経路負荷情報には、データ記憶・生成装置１１から各演算装置１２までの通信ネットワークＮＷの各経路に対して、通信ネットワークＮＷ帯域や、伝送遅延、中継装置などの装置遅延などの経路負荷が含まれている。フロー制御装置１３は、通信ネットワークＮＷの負荷が高い場合には、演算装置１２へ到達するまでに要する時間がオーバヘッドとなるため、処理高速化の効果をより高く得るためには、通信ネットワークＮＷの負荷の低い経路が必要となる。

また、フロー制御装置１３は、処理内容の情報に基づいて、候補となる演算装置１２で処理することを想定した場合の処理時間を推定する。例えば、処理内容は、平均値の計算や画像データのフォーマット変換、動画像データの人物検出など、関数の粒度により表される。また、装置負荷情報は、演算装置１２が当該処理を実行するのに必要な計算リソースが確保できるか、当該処理を当該演算装置１２で処理した場合の高速化の効果により表される。例えば、動画像データの処理であればその処理に特化したＧＰＵを具備する演算装置１２での処理が適するが、一般的に汎用プロセッサでの処理ではＧＰＵほどの高速化の効果を得るのは困難である。

フロー制御装置１３は、これら指標、すなわち演算装置１２の装置負荷および処理時間と通信ネットワークＮＷの経路の経路負荷とについて、予め設けられているそれぞれの閾値と比較し、得られた比較結果に基づいて、当該処理に関するフロー、すなわちデータ移動のための通信ネットワークＮＷ上の経路と、データ移動先となる演算装置１２とを特定する。これら指標がそれぞれの閾値を満たさない場合、当該割り当て要求を一時的にバッファリングして、次サイクルでの割り当てを待つ。

上記の割り当ては、割り当て要求のそれぞれで要求されたデータおよび処理ごとに実行する。これは、データ記憶・生成装置１１ごとに各演算装置１２までの通信ネットワークＮＷの負荷状態が異なるためであり、また各処理内容が異なるためである。このように、処理を実行する演算装置１２を特定する際に、通信ネットワークＮＷの各経路の経路負荷情報と、当該処理の実行において処理内容と演算装置１２の相性とを考慮することで、オーバヘッドを抑制しつつ、処理の高速化が可能となる。

［通信ネットワーク］
通信ネットワークＮＷは、任意のネットワークトポロジーまたは構成を対象としている。例えば、ツリー型やスター型、トーラス構造、ＦＴＴＨ（Fiber to the home）で用いられるＰＯＮ（Passive Optical Network）などのネットワークトポロジーがある。また、構成要素として、ネットワークスイッチやルーターなどのネットワーク機器が含まれることもある。
なお、上記の例では割り当てる演算装置１２が１つである場合を示したが、１つの処理に対して、割り当てる演算装置１２を複数にすることもある。

図１１は、従来のネットワークカードの構成を示すブロック図である。図１１に示すように、従来のコンピュータシステム５０は、フロー制御を行わない構成がある。また、フロー制御を行う構成では、演算装置をラウンドロビン（Round-Robin）のように単に巡回させて処理を割り当てる方式が用いられている。あるいは、処理を実行する演算装置を特定する際に、通信ネットワークＮＷの各経路の負荷情報と、当該処理の実行において処理内容と演算装置の相性とを考慮していない場合もある。

これに対して、本実施の形態にかかるコンピュータシステムは、従来のコンピュータシステムにはないフロー制御装置１３を備え、このフロー制御装置１３において、処理を実行する演算装置１２を特定し、その際、通信ネットワークＮＷの各経路の負荷情報と、処理内容の情報と、演算装置１２の負荷情報とを考慮している。これにより、当該処理の実行において処理内容と相性の良い演算装置１２を選択して処理ができるようになるため、処理を高速化することが可能となる。

［フロー制御装置の詳細］
次に、図２を参照して、本実施の形態にかかるフロー制御装置１３について詳細に説明する。図２は、第１の実施の形態にかかるフロー制御装置の構成を示すブロック図である。
図２に示すように、フロー制御装置１３は、主な回路部として、経路負荷取得回路１３Ａ、装置負荷取得回路１３Ｂ、およびフロー特定回路１３Ｃを備えている。これら回路部は、ＣＰＵやＧＰＵ上のソフトウェアで実現してもよく、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）に形成したＬＳＩ（Large Scale Integration）回路で実現してもよい。

［装置負荷取得回路］
装置負荷取得回路１３Ｂは、各演算装置１２から、それぞれの演算装置１２の実際の処理負荷（稼働状態）を示す装置負荷情報を取得するように構成されている。
［経路負荷取得回路］
経路負荷取得回路１３Ａは、通信ネットワークＮＷから、通信ネットワークＮＷ上の各経路に関する実際の経路負荷（負荷状態）を示す経路負荷情報を取得するように構成されている。

［フロー特定回路］
フロー特定回路１３Ｃは、各データ記憶・生成装置１１から通知された割り当て要求のうちから、割り当てを行う対象としていずれかの処理を選択し、当該処理を実行する演算装置１２の候補を選択する機能と、当該処理の処理内容と候補となる演算装置１２の装置負荷情報とに基づいて、当該演算装置１２で処理することを想定した場合の処理時間を推定する機能と、得られた処理時間と、当該演算装置１２の装置負荷、および、要求元のデータ記憶・生成装置１１から当該演算装置１２までの経路に関する経路負荷とを、予め設けられている処理時間閾値と、装置負荷閾値および経路負荷閾値とそれぞれ比較し、得られた比較結果に基づいて、当該処理に関するフロー、すなわちデータ移動のための通信ネットワークＮＷの経路と、データ移動先となる演算装置１２とを特定する機能と、得られた特定結果を要求元のデータ記憶・生成装置１１へ通知する機能とを有する。

［第１の実施の形態の動作］
次に、第１の実施の形態にかかるコンピュータシステム１０の動作について説明する。以下では、コンピュータシステム１０全体の動作を示す演算処理動作と、フロー制御装置１３のフロー制御動作とについて、それぞれ説明する。

［演算処理動作］
最初に、図３を参照して、第１の実施の形態にかかるコンピュータシステム１０の演算処理動作について説明する。図３は、第１の実施の形態にかかるコンピュータシステムの演算処理動作を示すフローチャートである。
本実施の形態にかかるコンピュータシステム１０は、全体として、データ記憶・生成装置１１（＃１～＃Ｎ）が出力したデータを、通信ネットワークＮＷを介して移動させ、演算装置１２（＃１～＃Ｍ）でそのデータに対して所定の演算処理を行い、その演算結果を出力する。

図３に示すように、まず、データ記憶・生成装置１１は、保持するデータの処理を要求するための割り当て要求を、フロー制御装置１３に通知する（ステップＳ１００）。この際、データ記憶・生成装置１１は、割り当て要求とともに、当該処理に関する処理内容をフロー制御装置１３に通知する。この処理内容については、例えば、フロー制御装置１３に対して、平均値の計算や画像データのフォーマット変換、動画像データの人物検出など、一般的な関数ライブラリのような比較的単一の演算処理の粒度から、複数の演算処理を組合せたアプリケーション処理のような粒度までが想定される。なお、データ記憶・生成装置１１は、必ずしも処理内容を通知しなくともよく、所望の処理に対して、各演算装置１２で演算処理することを想定した場合の処理時間を通知してもよい。

次に、フロー制御装置１３は、通信ネットワークＮＷの各経路の経路負荷情報と、演算装置１２の装置負荷情報とを取得し（ステップＳ１０１）。これら負荷情報とデータ記憶・生成装置１１から通知された処理内容とに基づいて、当該処理に関するフロー、すなわち当該処理を実行すべき（データの送信先となる）演算装置１２と通信ネットワークＮＷ上の経路とを特定し（割り当て）、特定結果（割り当て結果）を当該処理の要求元であるデータ記憶・生成装置１１へ通知する（ステップＳ１０２）。

経路負荷情報には、データ記憶・生成装置１１から各演算装置１２までの通信ネットワークＮＷの各経路に対して、通信ネットワークＮＷ帯域や、伝送遅延、中継装置などの装置遅延などの経路負荷が含まれている。フロー制御装置１３は、通信ネットワークＮＷの負荷が高い場合には、演算装置１２へ到達するまでに要する時間がオーバヘッドとなるため、処理高速化の効果をより高く得るためには、通信ネットワークＮＷの負荷の低い経路が必要となる。

また、フロー制御装置１３は、処理内容の情報に基づいて、候補となる演算装置１２で処理することを想定した場合の処理時間を推定する。例えば、処理内容は、平均値の計算や画像データのフォーマット変換、動画像データの人物検出など、関数の粒度により表される。また、装置負荷情報は、演算装置１２が当該処理を実行するのに必要な計算リソースが確保できるか、当該処理を当該演算装置１２で処理した場合の高速化の効果により表される。例えば、動画像データの処理であればその処理に特化したＧＰＵを具備する演算装置１２での処理が適するが、一般的に汎用プロセッサでの処理ではＧＰＵほどの高速化の効果を得るのは困難である。

フロー制御装置１３は、これら指標、すなわち演算装置１２の装置負荷および処理時間と通信ネットワークＮＷの経路の経路負荷とについて、予め設けられているそれぞれの閾値と比較し、得られた比較結果に基づいて、当該処理に関するフロー、すなわちデータ移動のための通信ネットワークＮＷ上の経路と、データ移動先となる演算装置１２とを特定する。これら指標がそれぞれの閾値を満たさない場合、当該割り当て要求を一時的にバッファリングして、次サイクルでの割り当てを待つ。

上記の割り当ては、割り当て要求のそれぞれで要求されたデータおよび処理ごとに実行する。これは、データ記憶・生成装置１１ごとに各演算装置１２までの通信ネットワークＮＷの負荷状態が異なるためであり、また各処理内容が異なるためである。このように、処理を実行する演算装置１２を特定する際に、通信ネットワークＮＷの各経路の経路負荷情報と、当該処理の実行において処理内容と演算装置１２の相性とを考慮することで、オーバヘッドを抑制しつつ、処理の高速化が可能となる。

データ記憶・生成装置１１は、フロー制御装置１３からの、特定結果（割り当て結果）の通知に基づいて、指定された通信ネットワークＮＷ上の経路を介して、指定された演算装置１２へデータを出力する（ステップＳ１０３）。
これにより、通信ネットワークＮＷは、データ記憶・生成装置１１が出力したデータを、演算装置１２へ伝送する。なお、通信ネットワークＮＷは、任意のネットワークトポロジーまたは構成を対象としている。例えば、ツリー型やスター型、トーラス構造、ＦＴＴＨ（Fiber to the home）で用いられるＰＯＮ（Passive Optical Network）などのネットワークトポロジーがある。また、構成要素として、ネットワークスイッチやルーターなどのネットワーク機器が含まれることもある。

この後、演算装置１２は、通信ネットワークＮＷを介してデータ記憶・生成装置１１から入力されたデータを受信し、このデータに対して所定の演算処理を行い（ステップＳ１０４）、得られた演算結果を、例えば、データ送信元であるデータ記憶・生成装置１１に対して出力し（ステップＳ１０５）、一連の演算処理動作を終了する。

この場合、演算結果は、必ずしも処理の開始前に読み出したデータ記憶・生成装置１１に対して出力しなくともよく、通信ネットワークＮＷを介して、データ記憶・生成装置１１または他の演算装置１２へ入力してもよい。他の演算装置１２へ入力することで、１つの演算装置１２で完了しないような複数のステップから構成されるプログラムに対しても、本コンピュータシステムを適用できる。演算装置１２は、ＣＰＵやＧＰＵ上のソフトウェアでの実現や、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）に形成したＬＳＩ（Large Scale Integration）回路で実現してもよい。

［パケット制御動作］
次に、図４を参照して、図３のステップＳ１０１，Ｓ１０２におけるフロー制御装置１３のフロー制御動作について説明する。図４は、第１の実施の形態にかかるフロー制御装置のフロー制御方法を示すフローチャートである。

まず、フロー制御装置１３は、経路負荷取得回路１３Ａにより、通信ネットワークＮＷから、通信ネットワークＮＷ上の各経路に関する経路負荷情報を取得し（ステップＳ１１０）、装置負荷取得回路１３Ｂにより、各演算装置１２から、それぞれの演算装置１２の装置負荷情報を取得する（ステップＳ１１１）。

次に、フロー特定回路１３Ｃは、各データ記憶・生成装置１１から通知された割り当て要求のうちから、演算装置１２への割り当て処理を行う対象としていずれかの処理を選択し（ステップＳ１１２）、当該処理を実行すべき演算装置１２の候補を選択する（ステップＳ１１３）（第１のステップ）。
続いて、フロー特定回路１３Ｃは、当該候補の演算装置１２の装置負荷情報に含まれる装置負荷を、予め設定されている装置負荷閾値と比較する（ステップＳ１１４）。装置負荷が装置負荷閾値以上である場合（ステップＳ１１４：ＮＯ）、当該演算装置１２による処理高速化の効果が得られないため、フロー特定回路１３Ｃは、ステップＳ１１３に戻って、当該処理を実行する演算装置１２の候補を選択しなおす。

装置負荷が装置負荷閾値よりも小さい場合（ステップＳ１１４：ＹＥＳ）、フロー特定回路１３Ｃは、当該処理の処理内容の情報に基づいて、当該候補の演算装置１２で処理することを想定した場合に要する処理時間の推定値を計算する（ステップＳ１１５）。処理時間の推定は、必ずしもフロー制御装置１３にて行わなくともよく、例えば、データ記憶・生成装置１１が各々の演算装置１２毎に推定した処理時間を用いてもよい。

次に、フロー特定回路１３Ｃは、処理時間の推定値を予め設けられている処理時間閾値と比較する（ステップＳ１１６）（第２のステップ）。処理時間の推定値が処理時間閾値以上である場合（ステップＳ１１６：ＮＯ）、当該演算装置１２による処理高速化の効果が得られないため、フロー特定回路１３Ｃは、ステップＳ１１３に戻って、当該処理を実行する演算装置１２の候補を選択しなおす。

一方、処理時間の推定値が閾値よりも小さい場合（ステップＳ１１６：ＹＥＳ）、フロー特定回路１３Ｃは、要求元のデータ記憶・生成装置１１から候補の演算装置１２までの経路に関する経路負荷を、予め設定されている経路負荷閾値と比較する（ステップＳ１１７）（第２のステップ）。経路負荷が経路負荷閾値以上である場合（ステップＳ１１７：ＮＯ）、当該演算装置１２による処理高速化の効果が得られないため、フロー特定回路１３Ｃは、ステップＳ１１３に戻って、当該処理を実行する演算装置１２の候補を選択しなおす。

一方、経路負荷が経路負荷閾値より小さい場合（ステップＳ１１７：ＹＥＳ）、フロー特定回路１３Ｃは、当該経路および候補として選択した演算装置１２を、当該処理に関するフロー、すなわちデータ移動のための通信ネットワークＮＷの経路と、データ移動先となる演算装置１２として特定し、得られた特定結果を当該処理の要求元であるデータ記憶・生成装置１１へ通知する（ステップＳ１１８）（第３のステップ）。

この後、フロー特定回路１３Ｃは、未割当の処理の有無を確認し（ステップＳ１１９）、未割当の処理がある場合（ステップＳ１１９：ＹＥＳ）、ステップＳ１１２へ戻って上記処理を繰り返す。また、未割当の処理がない場合（ステップＳ１１９：ＮＯ）、一連のフロー制御処理を終了する。

上記の例では、処理時間の推定値と、装置負荷および経路負荷とが、それぞれの処理時間閾値および負荷閾値を満たしていれば、当該処理を候補の演算装置１２に割り当てるが、判断方法はこれに限らない。例えば、所定の回数だけ演算装置１２を変更しながら、処理時間の推定値および経路負荷の閾値処理を繰り返し行い、所定回数だけ試行した後、最も処理時間の推定値が小さい演算装置１２、または最も経路負荷が小さい経路を選択することもある。
なお、上記の例では、１つの処理に割り当てる演算装置１２が１つである場合を示したが、１つの処理に対して割り当てる演算装置１２を複数にすることもある。

［第１の実施の形態の効果］
このように、本実施の形態のコンピュータシステム１０は、フロー制御装置１３で、複数の演算装置１２のうちから候補となる演算装置１２を選択し、当該演算装置１２の装置負荷と、処理すべきデータを当該演算装置１２で処理した場合に要する処理時間の推定値と、通信ネットワークＮＷから選択したデータの移動のための経路に関する経路負荷とを、それぞれの閾値と比較し、得られた比較結果に基づいて、当該データの処理を行う演算装置１２と当該データの移動のための経路とを特定するように構成したものである。

より具体的には、フロー制御装置１３は、演算装置１２から取得したデータに対する処理内容を示す情報に基づいて、当該処理時間の推定値を計算するように構成したものである。
また、フロー制御装置１３は、特定したデータの処理を行う演算装置１２と当該データの移動のための経路とを、当該データを保持するデータ記憶・生成装置１１へ通知し、データ記憶・生成装置１１は、フロー制御装置１３から通知された通信ネットワークＮＷ上の経路を介して、フロー制御装置１３から通知された当該データの処理を行う演算装置１２へ、当該データを送信するように構成したものである。

これにより、当該データの処理の実行において、その処理内容と相性の良い演算装置１２を選択して処理ができるようになるため、処理を高速化することができ、消費電力を削減することができる。また、通信ネットワークＮＷの各経路の負荷情報をもとに、経路負荷の小さい経路を選択して、演算装置１２までデータ移動を行うことができ、データ移動に伴うオーバヘッドを削減することができる。したがって、システム全体では、通信ネットワークＮＷの負荷が分散されて全体の負荷を低減することができ、結果として、フローセントリックコンピューティングにおける通信ネットワークＮＷを介したデータ移動を効率よく行うことが可能となる。

図５は、第１の実施の形態にかかる数値シミュレーション結果を示すグラフである。演算装置１２の数と平均処理時間の関係を示している。この数値シミュレーションでは、各々異なる処理時間のタスクがポアソン分布に基づき、１０００個生成された場合に、各々のタスクを完了するまでに要する処理時間を計算した。図５において、特性Ａが、処理を実行する演算装置１２を特定する際に、通信ネットワークＮＷの各経路の負荷情報と、処理内容の情報と、演算装置１２の負荷情報とを考慮した場合を示し、特性Ｂが、これらを考慮しない場合を示している。特性Ｂと比較して特性Ａのほうが、いずれの演算装置数の場合も平均処理時間が小さく、平均処理時間が削減することができることを示している。

［第２の実施の形態］
次に、図６を参照して、本発明の第２の実施の形態にかかるコンピュータシステム１０について説明する。図６は、第２の実施の形態にかかるフロー制御装置の構成を示すブロック図である。
第１の実施の形態との違いは、フロー制御装置１３において、データ記憶・生成装置１１から割り当て要求された処理について、演算装置１２への割り当てが完了するまでの割り当て経過時間に基づき制御する点である。

第１の実施の形態では、各々の処理内容について、処理時間や通信ネットワークＮＷに対して閾値を満たさないと、演算装置１２に割り当てられないのに対して、本実施の形態では、演算装置１２への割り当て要求を契機として計測を開始するタイマ１３Ｄをフロー制御装置１３に導入することで、割り当て経過時間が予め設定されている割り当て可能時間を超過したことを契機として、割り当て要求された処理を演算装置１２へ割り当てる。これにより、演算装置１２へ割り当てるまでの時間を短縮することが可能である。

本実施の形態において、フロー制御装置１３は、データ記憶・生成装置１１からの割り当て要求を契機として計時を開始し、処理の割り当て完了までに要した時間を計測するタイマ１３Ｄを備え、通信ネットワークＮＷの各経路の負荷情報と、処理内容の情報と、演算装置１２の負荷情報と、を入力として、当該処理を実行する演算装置１２を特定する機能を有している。

経路負荷情報には、データ記憶・生成装置１１から各演算装置１２までの通信ネットワークＮＷの各経路に対して、通信ネットワークＮＷ帯域や、伝送遅延、中継装置などの装置遅延などの経路負荷が含まれている。フロー制御装置１３は、通信ネットワークＮＷの負荷が高い場合には、演算装置１２へ到達するまでに要する時間がオーバヘッドとなるため、処理高速化の効果をより高く得るためには、通信ネットワークＮＷの負荷の低い経路が必要となる。

また、フロー制御装置１３は、処理内容の情報に基づいて、候補となる演算装置１２で処理することを想定した場合の処理時間を推定する。例えば、処理内容は、平均値の計算や画像データのフォーマット変換、動画像データの人物検出など、関数の粒度により表される。また、装置負荷情報は、演算装置１２が当該処理を実行するのに必要な計算リソースが確保できるか、当該処理を当該演算装置１２で処理した場合の高速化の効果により表される。例えば、動画像データの処理であればその処理に特化したＧＰＵを具備する演算装置１２での処理が適するが、一般的に汎用プロセッサでの処理ではＧＰＵほどの高速化の効果を得るのは困難である。

フロー制御装置１３は、これら指標、すなわち演算装置１２の装置負荷および処理時間と通信ネットワークＮＷの経路の経路負荷とについて、予め設けられているそれぞれの閾値と比較し、得られた比較結果に基づいて、当該処理に関するフロー、すなわちデータ移動のための通信ネットワークＮＷ上の経路と、データ移動先となる演算装置１２とを特定する。これら指標がそれぞれの閾値を満たさない場合、当該割り当て要求を一時的にバッファリングして、次サイクルでの割り当てを待つ。

上記の割り当ては、割り当て要求のそれぞれで要求されたデータおよび処理ごとに実行する。これは、データ記憶・生成装置１１ごとに各演算装置１２までの通信ネットワークＮＷの負荷状態が異なるためであり、また各処理内容が異なるためである。このように、処理を実行する演算装置１２を特定する際に、通信ネットワークＮＷの各経路の経路負荷情報と、当該処理の実行において処理内容と演算装置１２の相性とを考慮することで、オーバヘッドを抑制しつつ、処理の高速化が可能となる。

本実施の形態にかかるフロー制御装置１３において、具体的には、タイマ１３Ｄは、データ記憶・生成装置１１からの割り当て要求の通知を契機として、割り当て要求ごとに割り当て経過時間の計時を開始する。フロー特定回路１３Ｃは、タイマ１３Ｄで計時中の割り当て経過時間が、予め設定されている割り当て許可時間を超過した場合、データ移動のための経路の経路負荷が閾値を満たさない、つまり経路の負荷が高い状態であっても、その割り当て要求された処理に関する演算装置１２への割り当て可能と判定する。また、演算装置１２の装置負荷が閾値を満たさない、つまり当該処理を実行するのに必要な計算リソースが十分に演算装置１２で確保できない状態や、処理時間の推定値が処理時間閾値を満たさない、つまり当該処理を当該演算装置１２にて処理した場合の高速化の効果が十分に得られない状態であっても、演算装置１２への割り当て可能と判定する。

このようにして、フロー特定回路１３Ｃは、演算装置１２への割り当ての際、当該割り当て時点において、当該処理を割り当て可能な演算装置１２の候補の中から、通信ネットワークＮＷの負荷情報と、演算装置１２の高速化の効果との、両方を考慮した指標に基づいて、その効果が最も得られる演算装置１２を選択する。
演算装置１２への割り当てが完了すれば、フロー特定回路１３Ｃは、その割り当て時点で割り当て経過時間の計測を停止し、タイマ１３Ｄをリセットして、タイマ１３Ｄを開放する。一方、割り当て経過時間が割り当て許可時間を超過するまでに、演算装置１２への割り当てが完了すれば、その割り当て時点で計測を停止し、タイマ１３Ｄをリセットして、タイマ１３Ｄを開放する。

なお、上記の例では、割り当て許可時間の超過を契機として、演算装置１２への割り当てを開始する例を示したが、タイマ１３Ｄの使い方はこれに限らない。例えば、割り当て経過時間が割り当て許可時間を超過したタイミングで、当該処理を演算装置１２に割り当てる際に用いる、経路負荷閾値、装置負荷閾値、あるいは処理時間閾値を緩和する方向に変更することもある。つまり、所定の時間の経過とともに、演算装置１２への割り当て条件を段階的に緩和する。また、上記通信ネットワークＮＷの負荷情報と、演算装置１２の高速化の効果との、いずれか一方の閾値のみを緩和するなど、各々を独立に変更することもある。

また、処理内容に応じて割り当て許可時間を変更することもある。例えば、優先度の高いサービスについては、割り当て要求から演算装置１２への割り当てを開始するまでの時間を短縮するために、割り当て許可時間を短く設定する。このように、演算装置１２への割り当てを開始する割り当て許可時間を処理毎に個別に設定することもある。また、複数の演算装置１２にて分散処理することもある。

また、当該割り当て時点における経路負荷情報や装置負荷情報に基づいて、割り当て許可時間を変更することもある。例えば、経路負荷が所定の値よりも低い場合、割り当て許可時間を短く設定することで、より早期に割り当て処理を開始できる。同様に、演算負荷が所定の値よりも低い場合、割り当て許可時間を短く設定することで、より早期に割り当て処理を開始できる。

［第２の実施の形態の動作］
次に、図７を参照して、第２の実施の形態にかかるコンピュータシステムの動作として、フロー制御装置１３のフロー制御動作について説明する。図７は、第２の実施の形態にかかるフロー制御装置のフロー制御方法を示すフローチャートである。
図７に示すフロー制御処理は、前述した図４と比較して、ステップＳ１１２とステップＳ１１３との間に、ステップＳ１２０，Ｓ１２１が追加されている点が異なる。図６におけるその他のステップについては、図４と同様であり、ここでの説明は省略する。

図７に示すように、フロー特定回路１３Ｃは、ステップＳ１１２で、各データ記憶・生成装置１１から通知された割り当て要求のうちから、演算装置１２への割り当て処理を行う対象としていずれかの処理を選択した後、当該処理の割り当て要求の通知を契機として、タイマ１３Ｄで計時を開始した割り当て経過時間が、割り当て許可時間を超過したか否か確認する（ステップＳ１２０）。この際、タイマ１３Ｄに割り当て許可時間を設定しておき、タイマ１３Ｄの満了有無に基づいて、割り当て許可時間を超過したか否かを確認してもよい。

割り当て許可時間を超過していない場合（ステップＳ１２０：ＮＯ）、ステップＳ１１３へ移行する。一方、割り当て許可時間を超過している場合（ステップＳ１２０：ＹＥＳ）、フロー特定回路１３Ｃは、装置負荷閾値、処理時間閾値、経路負荷閾値の一部または全てを緩和する方向に変更し（ステップＳ１２１）、ステップＳ１１３へ移行する。

これにより、経路負荷が高い状態、演算装置１２の装置負荷が閾値を満たさず、当該処理を実行するのに必要な計算リソースが十分に演算装置１２で確保できない状態、あるいは、処理時間の推定値が処理時間閾値を満たさず、当該処理を当該演算装置１２にて処理した場合の高速化の効果が十分に得られない状態であっても、演算装置１２への割り当て可能と判定される。したがって、演算装置１２へ割り当てるまでの時間を短縮でき、さらには、データ記憶・生成装置１１において、バッファ溢れを防ぐことができる。

［第２の実施の形態の効果］
このように、本実施の形態のコンピュータシステム１０は、フロー制御装置１３が、割り当て要求ごとに、当該割り当て要求の通知からの割り当て経過時間を計時し、当該割り当て経過時間が予め設定されている割り当て許可時間を超過した場合、装置負荷閾値、処理時間閾値、経路負荷閾値の一部または全てを緩和する方向に変更するように構成したものである。この際、これら閾値の変更に代えて、装置負荷閾値、処理時間閾値、経路負荷閾値を用いた割り当て可否判定の一部または全てを省略するようにしてもよい。

これにより、割り当て経過時間が割り当て許可時間を超過した場合、装置負荷閾値、処理時間閾値、経路負荷閾値を用いた割り当て可否判定の一部または全てが、緩和されることになる。したがって、経路負荷が高い状態、演算装置１２の装置負荷が閾値を満たさず、当該処理を実行するのに必要な計算リソースが十分に演算装置１２で確保できない状態、あるいは、処理時間の推定値が処理時間閾値を満たさず、当該処理を当該演算装置１２にて処理した場合の高速化の効果が十分に得られない状態であっても、演算装置１２への割り当て可能と判定される。したがって、演算装置１２へ割り当てるまでの時間を短縮でき、さらには、データ記憶・生成装置１１において、バッファ溢れを防ぐことができる。

［第３の実施の形態］
まず、図８および図９を参照して、本発明の第３の実施の形態にかかるコンピュータシステム１０について説明する。図８は、第３の実施の形態にかかるフロー制御装置の構成を示すブロック図である。図９は、第３の実施の形態にかかる優先制御の例を示す説明図である。
第１および第２の実施の形態との違いは、フロー制御装置１３において、演算装置１２を割り当てる際に、処理毎の優先度を考慮する点である。

図８に示すように、フロー制御装置１３は、主な回路部として、経路負荷取得回路１３Ａ、装置負荷取得回路１３Ｂ、フロー特定回路１３Ｃに加えて、優先制御回路１３Ｅを備えている。
優先制御回路１３Ｅは、割り当て要求された処理ごとに付与された優先度情報に基づいて、装置負荷閾値、処理時間閾値、経路負荷閾値の一部または全てを変更することにより、割り当て処理の優先制御を行う機能を有する。この際、これら閾値を用いた割り当て可否判定の一部または全てに関する実行要否を変更することにより、割り当て処理の優先制御を行う機能を有することもある。

具体的には、図９に示すような優先度を設定した場合、優先度が「最高優先」の処理に対しては、割り当て要求が発生した時点で、全ての演算装置１２の中から、最も処理時間が短く済む演算装置１２を割り当てる。当該時刻において他の処理を行っている場合でも、「最高優先」より優先度の低い処理の一時中断し、最高優先の処理を実行する。
また、優先度が「高優先」の処理については、割り当て要求が発生した時点で、計算リソースの空きがある演算装置１２の中から、最も処理時間が短く済む演算装置１２を割り当てる。

また、優先度が「優先」の処理については、装置負荷閾値、処理時間閾値、経路負荷閾値の一部または全てを緩和する方向に変更し、あるいは、これら閾値を用いた割り当て可否判定の一部または全てを省略することにより、早期に割り当てされやすくする。
また、優先度が「ベストエフォート」の処理については、第１の実施の形態と同様に、装置負荷閾値、処理時間閾値、経路負荷閾値を用いた割り当て可否判定をした後、演算装置１２を割り当てる。これにより、当該処理を行うのに適している演算装置１２の計算リソースが確保されるまで待機したりして、演算装置１２に割り当てるまでに時間を要することもある。

このように、各処理の優先度を考慮して、演算装置１２に割り当てることで、低遅延が要求されるような処理のサービス品質を損なうことなく、演算装置１２を用いた演算処理を実現できる。また、バッチ処理などのベストエフォートでも済む処理については、計算リソースに余裕があり、通信ネットワークＮＷの負荷が比較的低い時間に処理を行えるようにすることで、システム全体での処理の効率化を図ることができる。

［第３の実施の形態の動作］
次に、図１０を参照して、第３の実施の形態にかかるコンピュータシステムの動作として、フロー制御装置１３のフロー制御動作について説明する。図１０は、第３の実施の形態にかかるフロー制御装置のフロー制御方法を示すフローチャートである。
図１０に示すフロー制御処理は、前述した図４と比較して、ステップＳ１１２とステップＳ１１３との間に、ステップＳ１３０が追加されている点が異なる。図１０におけるその他のステップについては、図４と同様であり、ここでの説明は省略する。

図１０に示すように、フロー特定回路１３Ｃは、ステップＳ１１２で、各データ記憶・生成装置１１から通知された割り当て要求のうちから、演算装置１２への割り当て処理を行う対象としていずれかの処理を選択した後、選択した処理の優先度に基づいて、装置負荷閾値、処理時間閾値、経路負荷閾値の一部または全てを変更し（ステップＳ１３０）、ステップＳ１１３へ移行する。この際、装置負荷閾値、処理時間閾値、経路負荷閾値の変更に代えて、これら閾値を用いた割り当て可否判定の一部または全てに関する実行要否を変更することもある。

これにより、処理の優先度に基づいて割り当て可否判定の一部または全てを柔軟に変更できる。したがって、処理の各処理の優先度を考慮して、演算装置１２に割り当てることで、低遅延が要求されるような処理のサービス品質を損なうことなく、演算装置１２を用いた演算処理を実現できる。また、バッチ処理などのベストエフォートでも済む処理については、計算リソースに余裕があり、通信ネットワークＮＷの負荷が比較的低い時間に処理を行えるようにすることで、システム全体での処理の効率化を図ることができる。

［第３の実施の形態の効果］
このように、本実施の形態のコンピュータシステムは、フロー制御装置１３において、演算装置１２を割り当てる際に、処理毎に付与される優先度情報に基づいて、処理の割り当てを優先制御するように構成したものである。
これにより、低遅延が要求されるような処理のサービス品質を損なうことなく、通信ネットワークＮＷ上の演算装置１２を使うことができる。また、バッチ処理などのベストエフォートでも済む処理については、計算リソースに余裕があり、通信ネットワークＮＷの負荷が比較的低い時間に処理を行えるようにすることで、システム全体での処理の効率化が図れることができる。

［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。

１０…コンピュータシステム、１１…データ記憶・生成装置、１２…演算装置、１３…フロー制御装置、１３Ａ…経路負荷取得回路１３Ａ…装置負荷取得回路、１３Ｃ…フロー特定回路、１３Ｄ…タイマ、１３Ｅ…優先制御回路、ＮＷ…通信ネットワーク。

Claims (6)

1. 処理すべきデータを保持する複数のデータ記憶・生成装置と、
   通信ネットワークを介して前記複数のデータ記憶・生成装置と接続される複数の演算装置と、
   前記データの処理要求ごとに、前記複数の演算装置のうちから、当該データを処理するための演算装置を特定するとともに、当該データの移動のための前記通信ネットワーク上の経路を特定するように構成されたフロー制御装置とを備え、
   前記フロー制御装置は、前記複数の演算装置のうちから候補となる演算装置を選択し、当該演算装置の装置負荷と、前記データを当該演算装置で処理した場合に要する処理時間の推定値と、前記通信ネットワークから選択した前記データの移動のための経路に関する経路負荷とを、それぞれの閾値と比較し、得られた比較結果に基づいて、前記装置負荷、前記処理時間の推定値、及び前記経路負荷が、それぞれの前記閾値よりも小さい演算装置及び経路を、当該データの処理を行う演算装置と当該データの移動のための経路として特定し、
   前記フロー制御装置は、特定した前記データの処理を行う演算装置と当該データの移動のための経路とを、当該データを保持するデータ記憶・生成装置へ通知し、
   前記データ記憶・生成装置は、前記フロー制御装置から通知された前記通信ネットワーク上の経路を介して、前記フロー制御装置から通知された前記データの処理を行う演算装置へ、当該データを送信する
   ことを特徴とするコンピュータシステム。
2. 請求項１に記載のコンピュータシステムにおいて、
   前記フロー制御装置は、前記演算装置から取得した前記データに対する処理内容を示す情報に基づいて、前記処理時間の推定値を計算することを特徴とするコンピュータシステム。
3. 請求項１または請求項２に記載のコンピュータシステムにおいて、
   前記フロー制御装置は、前記処理要求ごとに、当該処理要求の通知からの割り当て経過時間を計時し、当該割り当て経過時間が予め設定されている割り当て許可時間を超過した場合、前記装置負荷の閾値、前記処理時間の推定値の閾値、前記経路負荷の閾値の、一部または全てを緩和する方向に変更することを特徴とするコンピュータシステム。
4. 請求項１または請求項２に記載のコンピュータシステムにおいて、
   前記フロー制御装置は、前記処理要求ごとに、当該処理要求の通知からの割り当て経過時間を計時し、当該割り当て経過時間が予め設定されている割り当て許可時間を超過した場合、前記装置負荷の閾値、前記処理時間の推定値の閾値、前記経路負荷の閾値を用いた割り当て可否判定の、一部または全てを省略することを特徴とするコンピュータシステム。
5. 請求項１～請求項４のいずれかに記載のコンピュータシステムにおいて、
   前記フロー制御装置は、前記データの処理ごとに付与されている、当該処理に関する優先度情報に基づいて、当該処理の割り当てを優先制御することを特徴とするコンピュータシステム。
6. 処理すべきデータを保持する複数のデータ記憶・生成装置と、通信ネットワークを介して前記複数のデータ記憶・生成装置と接続される複数の演算装置と、前記データの処理ごとに、前記複数の演算装置のうちから、当該データを処理するための演算装置を特定するとともに、当該データの移動のための前記通信ネットワーク上の経路を特定するように構成されたフロー制御装置とを備えるコンピュータシステムで用いられるフロー制御方法であって、
   前記フロー制御装置が、前記複数の演算装置のうちから候補となる演算装置を選択する第１のステップと、
   前記フロー制御装置が、当該演算装置の装置負荷と、前記データを当該演算装置で処理した場合に要する処理時間の推定値と、前記通信ネットワークから選択した前記データの移動のための経路に関する経路負荷とを、それぞれの閾値と比較する第２のステップと、
   前記フロー制御装置が、得られた比較結果に基づいて、前記装置負荷、前記処理時間の推定値、及び前記経路負荷が、それぞれの前記閾値よりも小さい演算装置及び経路を、当該データの処理を行う演算装置と当該データの移動のための経路として特定する第３のステップと、
   前記フロー制御装置が、特定した前記データの処理を行う演算装置と当該データの移動のための経路とを、当該データを保持するデータ記憶・生成装置へ通知する第４のステップと、
   前記データ記憶・生成装置が、前記フロー制御装置から通知された前記通信ネットワーク上の経路を介して、前記フロー制御装置から通知された前記データの処理を行う演算装置へ、当該データを送信する第５のステップと
   を備えることを特徴とするフロー制御方法。

Images