JP5173084B2 - エネルギー効率を考慮したルーティング - Google Patents

Description

本発明は、相互間でコネクション（フロー）の確立を要求することが可能な複数のネットワーク要素（通信ノード）と、前記フローのルーティングをサポートする複数のネットワーク要素（スイッチ）とを有する通信ネットワークに関する。

また、本発明は、通信ネットワークの動作方法に関する。前記ネットワークは、相互間でコネクション（フロー）の確立を要求することが可能な複数のネットワーク要素（通信ノード）と、前記フローのルーティングをサポートする複数のネットワーク要素（スイッチ）とを有する。

今日の通信ネットワークは、全利用可能ネットワーク容量を大幅に下回るネットワーク負荷によって特徴づけられることが多い。例えば、データセンタネットワークにおいて、一日のある時間帯、例えば夜間には、ネットワーク負荷は低い。というのは、データセンタによって提供されるサービスが要求されることは昼間よりもきわめて稀であるが、ネットワークは輻輳なしにピークトラフィックを処理するように設計されるからである。その結果、ネットワークスイッチの利用は１００％を大きく下回ることが多い。ブロードバンドネットワークのような他のネットワークでは、低負荷の別の理由として、新規アップグレード時に、次のアップグレードが実行されるまでの将来のトラフィック増大を考慮した予備のリソースを提供するために、ネットワーク機器が過剰投資されることが挙げられる。このことは、最初は機器の利用が大幅に過少であることを意味する。

このようなネットワーク過少利用の状況において、ネットワーク内の一部のネットワーク要素を停止してエネルギーを節減することが原理的には可能である。しかし、トラフィックは一般に、すべてのネットワーク要素が使用されるような形で動的にルーティングされる。また、ＱｏＳ（サービス品質）要求やその他の制約のため、あるネットワーク要素が不可欠か否か、そして、ネットワーク性能に影響を及ぼしたりＱｏＳ制約に違反したりせずに停止可能かどうかを容易に判定することができない。結果として、ネットワーク負荷が軽いにもかかわらず、実質的にすべてのネットワーク機器が動作し続け、利用率が１００％を大幅に下回るとき、特に、多数のネットワーク要素を考慮すると、大量のエネルギーが浪費される。

通信ネットワークにおいて負荷集中を誘導する際に困難なことは、ネットワークトポロジー、ネットワークトラフィックの時間的ダイナミクス、およびさまざまな種類のＱｏＳ等の任意の種類の制約がみたされるようにその集中を実現することである。これらの問題を解決しようとするいくつかのアプローチがある。例えば、非特許文献１に記載されているように、いくつかの方法は、すべての要求を取り入れた完全な大域的情報に基づくが、これは大規模であり、きわめて動的となり得る。したがって、このようなアプローチは、計算の複雑さにより、上記のすべての制約を満たしながらエネルギーを節減するために負荷を集中させる効率的でスケーラブルな手段を提供することはできない。それらのアプローチは、よりエネルギー効率の良いネットワークを実現するためにどのようなルーティング決定をすべきかを適時に決定することができない。

また、計算効率を改善するため、いくつかの解決法は、例えば非特許文献２に記載されているように、完全な情報に依らずに負荷集中を実現しようとする別のアプローチに従っている。しかし、このような解決法もまた、ネットワーク性能を損なう状況を完全には避けることができない。というのは、計算に際していくつかのＱｏＳ関連パラメータを観測することができなかったり、省エネルギーの可能性を十分に活用できなかったりするからである。

L. Chiaraviglio et al., "Reducing Power Consumption in Backbone Networks", in IEEE International Conference on Communication, 2009 M. Gupta et al., "A Feasibility Study for Power Management in LAN Switches", in 12th IEEE International Conference on Network Protocols, pp. 361-371, 2004 Nick McKeown et al. "OpenFlow: Enabling Innovation in Campus Networks, March 2008 （http://www.OpenFlowSwitch.org から入手可能)

したがって、本発明の目的は、頭書のような通信ネットワークおよび通信ネットワークの動作方法において、実施の容易なメカニズムを使用することにより、全体的なネットワーク性能に影響を及ぼさずにネットワークのエネルギー効率が確実かつ効率的に最適化されるような改良およびさらなる展開を行うことである。

本発明によれば、上記の目的は、請求項１の構成を備えた通信ネットワークによって達成される。この請求項に記載の通り、本ネットワークは、以下のことを特徴とする。すなわち、ネットワークは、フロー確立に対する要求をインターセプトする手段と、各フローに対して、該フローの性能要求および／または品質制約に準拠した可能なネットワーク経路の集合であって、該フローが通過しなければならないスイッチの特定の集合を各経路が含むようなネットワーク経路の集合を事前選択するように構成された少なくとも１つの計算モジュールと、前記事前選択されたネットワーク経路の集合からエネルギー効率に関して最適な単一のネットワーク経路を決定するために、前記事前選択されたネットワーク経路の集合の任意のネットワーク経路に含まれるスイッチの負荷を分析する選択アルゴリズムを適用するように構成された少なくとも１つの選択モジュールと、をさらに有する。

また、上記の目的は、独立請求項１２の構成を備えた方法によって達成される。この請求項に記載の通り、本方法は、フローの確立に対する要求をインターセプトするステップと、各フローに対して、該フローの性能要求および／または品質制約に準拠した可能なネットワーク経路の集合であって、該フローが通過しなければならないスイッチの特定の集合を各経路が含むようなネットワーク経路の集合を事前選択するステップと、前記事前選択されたネットワーク経路の集合からエネルギー効率に関して最適な単一のネットワーク経路を決定するために、前記事前選択されたネットワーク経路の集合の任意のネットワーク経路に含まれるスイッチの負荷を分析する選択アルゴリズムを適用するステップと、を備えたことを特徴とする。

本発明によって初めて認識されたこととして、通信ネットワークのエネルギー効率は、ネットワークトポロジー、ネットワークトラフィックの時間的ダイナミクス、および多くのさまざまな種類のサービス品質（ＱｏＳ）のようなすべての他のネットワーク制約を守りながら、実際に必要とされているネットワーク要素のみにネットワーク負荷を集中させることによって改善することができる。この問題はきわめて困難である。というのは、ネットワークは非常に大規模となって多くのルーティング選択肢を含むことがあり、トラフィックパターンは短い時間スケールできわめて動的となって予測困難となることがあり、ＱｏＳ要求はいつでも変化し得るからである。

本発明が提案するネットワークおよび方法によれば、負荷集中が、ネットワークにおいてフローのルーティングをサポートするネットワーク要素の部分集合に対して誘導される。以下、これらのネットワーク要素を単にスイッチと呼ぶ。このような負荷集中により、未使用のネットワーク要素を停止し、場合によっては大量のエネルギーを節減することが可能となる。本発明の主要な利点は、例えばデータセンタの管理・運用システムによって規定されるような制約について知る必要がないことである。

これを実現するために、本発明は、計算モジュール（例えばＱｏＳモジュール）によって提供される複数の経路選択肢の集合から省エネルギーに関して好ましい経路を勧告することによってネットワーク経路選択に影響を与えるアプローチを適用する。時間とともに、このような決定は、必要とされないネットワーク要素が最終的にネットワークトラフィックから解放されて停止可能となるように集約される。この点に関して、本発明は、通信ネットワークに対する一種の予測的省エネルギー技術とみなすことができる。即時に一部のネットワーク要素を解放するためにどのような変更が必要かを決定しようとする代わりに、そのような変更は行わずに、そのような変更を緩やかに引き起こすように、スイッチ上にトラフィックを配置する動作が影響を受ける。選択アルゴリズムは、省エネルギーの可能性を表すメトリックに基づき、この時間的に緩やかな変化を引き起こす。

注意すべき重要な点であるが、選択モジュールは、データセンタ内の他の管理サブシステムを参照せずに、どのルートを選択すべきかを自由に決定することができる。というのは、それらのルートの性質は事前にチェックされており、最初に計算モジュールによってルートの事前選択が行われているからである。これは、ネットワークの性能がいつでも損なわれず、フロー選択肢を線型時間計算量できわめて効率的に勧告できることを保証する際の鍵となる。さらに、一部の制約（例えばＱｏＳパラメータ）が変更を受ける場合、本発明によれば、これは十分に透過的であり、アルゴリズムの適応は不要である。

結果として、本発明は、任意の種類のネットワーク制約（ネットワークトポロジー、ネットワークトラフィック、およびＱｏＳ要求）の下で、ネットワークエネルギー消費の最小化を実現する。これは、ネットワーク制約におけるいかなる変化にも適応的であり、ネットワーク性能（ＱｏＳ）を損なわない点で非侵襲的である。また、本発明は、計算時間に関してきわめて効率的である。というのは、すべての要求を取り入れた完全な大域的情報を必要としないからである。

好ましい実施形態によれば、選択アルゴリズムは、前記通信ネットワーク内のフロー設定の変更によってトリガされてもよい。例えば、１つのトリガとして、例えばネットワークにアタッチされた２つのサーバ間のＴＣＰコネクションの作成による新たなフローの作成が挙げられる。より複雑な場合としては、複数のフローのリルーティングが挙げられる。これは、仮想マシンが別の物理マシンに再配置されるときの典型的状況である。いずれの場合でも、１つ以上のフローが、性能およびエネルギー効率制約を満たすような形で、ネットワークスイッチを通じてリルーティングを要求する。

高い効率に関して、通信ネットワークは、少なくとも１つの管理ノードを含むようにしてもよい。管理ノードは、前記スイッチの少なくとも部分集合を含む管理ドメインに対する協調エンティティとして機能する。典型的応用場面において、通信ネットワークは、複数の管理のメインに分割され、ネットワークの各スイッチが特定のドメインに属し、各ドメインは対応する管理ノードを有する。

フロー確立に対する要求のインターセプトに関して、要求側通信ノードの最も近く、すなわち１ホップの距離に配置されたスイッチがインターセプトを実行すると有利であることがわかる。この目的のため、スイッチは、管理ノードへ、好ましくは当該スイッチが属している管理ドメインに対応する管理ノードへフロー確立に対する要求をリルーティングすることによって、インターセプトを実行するように構成されてもよい。具体的実施形態において、管理ノードは、フロー確立に対するインターセプトされた要求を受信するように構成されたインターセプタモジュールを備えてもよい。

具体的実施形態によれば、選択アルゴリズムは、以下のように動作してもよい。第１ステップで、事前選択されたネットワーク経路の集合の任意のネットワーク経路に含まれる各スイッチに、その利用率メトリックに関連するスカラー値を付与してもよい。利用率メトリックは、例えば当該スイッチが処理しているネットワークトラフィックおよび／またはフロー数で、スイッチの（およその）利用率を表してもよい。利用率メトリックの計算は、スイッチの状態における任意の変化でトリガされることが可能である。また、利用率メトリックの計算は、フローに対する新たなネットワーク経路が選択モジュールによって決定されたときにのみ実行されることも可能である。

具体的実施形態によれば、選択アルゴリズムは、相異なる経路エンドポイントを有するネットワーク経路選択肢の集合に対して実行されてもよい。例えば、通信エンドポイントがデータセンタのサーバであるような具体的応用場面において、複数のサーバに対する複数のネットワーク経路に選択アルゴリズムが適用されてもよい。この場合、すべての経路が、エンドポイントを区別することなく選択アルゴリズムによって扱われる。その場合、選択アルゴリズムによって出力される最終的に選択される経路は、選択された経路を通るフローが強制されるエンドポイント（すなわち、データセンタの場合にはサーバ）をも暗黙的に決定する。

活動の少ないスイッチを負荷から緩やかに解放するため、選択アルゴリズムは、事前選択されたネットワーク経路の集合から、所定しきい値よりも高い利用率メトリックのスイッチのみを含むネットワーク経路を選択するように構成されてもよい。これにより、低い利用率メトリックのスイッチは、高い利用率メトリックのスイッチよりも、フローに対するネットワーク経路として選択されることが稀になるため、トラフィックは徐々にそれらから逸らされることになる。

特に好ましい実施形態において、選択アルゴリズムは、反復的に複数ステップで実行される。例えば、第１ステップで、選択アルゴリズムは、事前選択されたネットワーク経路の集合の任意のネットワーク経路に含まれるスイッチの集合から、利用率メトリックが最高のスイッチを選択してもよい。次のステップで、この選択された利用率メトリックが最高のスイッチが、スイッチの集合から削除され、事前選択されたネットワーク経路の集合のうち選択されたスイッチを含むすべてのネットワーク経路においてマーキングされてもよい。次に、可能性が分かれる。ある事前選択されたネットワーク経路のすべてのスイッチがマーキングされている場合、選択アルゴリズムは、そのネットワーク経路を、それぞれのフローに対するネットワーク経路として選択してもよい。そうでない場合、選択アルゴリズムは第１ステップに戻ってもよい。すなわち、残りのスイッチの集合から利用率メトリックが最高のスイッチを選択し、上記の通りに続行する。このアプローチでは、利用率メトリックの値が最小のスイッチは、他の選択肢が存在しないときにのみ選択されることが保証される。すなわち、最大値のスイッチが常に優先されることにより、（利用率メトリックに従って）最も利用の多いスイッチがますます多くのネットワークトラフィックを引き寄せ、利用の少ないスイッチには最終的にトラフィックがなくなることになる。再び認識すべき重要な点であるが、最も利用の多いスイッチはメトリックに従って取られているが、この時点でのネットワーク性能要求（ＱｏＳ制約等）はすでに分析済みであり、ネットワーク性能要求に対する違反は生じない。

容易に実施可能な効果的な技術的実現に関して、少なくとも１つの計算モジュールおよび／または少なくとも１つの選択モジュールは、少なくとも１つの管理ノードに含まれるようにしてもよい。すなわち、ネットワークの各管理ノードが、計算モジュールおよび選択モジュールの両方を備えるようにしてもよい。具体的実施形態において、選択モジュールは、それぞれの管理ノードの対応する計算モジュールから、事前選択されたネットワーク経路の集合を入力として受信するように構成されてもよい。さらに、選択モジュールは、それぞれの管理ノードの制御モジュールへ、選択された単一のネットワーク経路を出力するように構成されてもよい。制御モジュールは、選択された単一のネットワーク経路を通じて、それぞれのフローを強制するように構成されてもよい。

具体的応用場面において、通信ノードは、データセンタのサーバであってもよい。データセンタおよびその管理ソフトウェアは、現時点で最も適当なターゲット技術とみなされる。しかし、原理的には、本発明は、通信ノード間のフローが複数のネットワーク要素によってルーティングされるすべての種類の通信ネットワークに適用可能である。

本発明の期待される応用として、ＯｐｅｎＦｌｏｗコンソーシアムによって開発されているＯｐｅｎＦｌｏｗ技術（例えば非特許文献３のホワイトペーパーに記載）に関するものが挙げられる。例えば、スイッチはＯｐｅｎＦｌｏｗスイッチとして実現してもよい。また、管理ノードのインターセプタモジュールは、ＯｐｅｎＦｌｏｗコントローラとして実現してもよい。

別の実施形態として、ＭＰＬＳ（Multiprotocol Label Switching）技術を用いた本発明による方法の実現が挙げられる。これによっても、ノード間でフローを管理することが可能である。この技術では、パケットは、通過する経路でラベルされ、この経路は、選択アルゴリズムによって追加的に影響を受けることが可能である。そして、ＲＳＶＰ−ＴＥ（Resource Reservation Protocol - Traffic Engineering）を用いて、ＩＰネットワーク越しにリソースを予約すること、すなわち、選択された経路を通知することができる。もう１つの実施形態として、ＳＮＭＰ（Simple Network Management Protocol）技術を用いるものが挙げられる。例えば、ＳＮＭＰトラップを用いて、開始パケットの送信をインターセプトすることができる。そして、ＳＮＭＰを用いて、適当なルーティングエントリによってスイッチを設定することができる。

本発明を好ましい態様で実施するにはいくつもの可能性がある。このためには、一方で請求項１および１２に従属する諸請求項を参照しつつ、他方で図面により例示された本発明の好ましい実施形態についての以下の説明を参照されたい。図面を用いて本発明の好ましい実施形態を説明する際には、本発明の教示による好ましい実施形態一般およびその変形例について説明する。

単一ネットワークセグメントへの負荷集中を用いた、本発明の一実施形態による通信ネットワークの模式図である。 本発明の別の実施形態による通信ネットワークの模式図である。 図２の通信ネットワークの管理ノードの構造を例示する模式図である。

本発明の本質的な考え方は、一種の予測的省エネルギー（predictive energy saving, 以下ＰＥＳと略記）アルゴリズムを用いてネットワークを記述することである。本発明は、エネルギー効率の良いネットワークを実現するために、どのネットワーク機器（以下一般的にスイッチと称する）が（近い）将来に停止される可能性が最も高いかを予測することができる。

図１は、本発明の適用対象となる典型的状況を示している。例として、データセンタ１が示されている。データセンタ１は、全部で４個のサーバ２_１〜２_４と、ネットワークのサーバ２_１〜２_４間でフロー（例えばＴＣＰコネクション）のルーティングをサポートする複数のネットワーク要素（スイッチ３）とを有する。黒丸は、サーバ２_１〜２_４のアクティブなフローの数を示す。図１において、本発明による方法を適用することによって、ネットワーク全体におけるネットワーク負荷が、データセンタ１内のネットワークセグメントの１つに移行し、それにより集中する。負荷集中前には、すべてのスイッチ３がＯＮである。右側のネットワークセグメントにすべてのトラフィックを集中させた後、左側のネットワークセグメント内のすべてのスイッチ３をＯＦＦにすることができる。

ＰＥＳは、スイッチポート、ネットワークスイッチ、および（図１に示すように）ネットワークセグメント全体等のさまざまな粒度に適用可能であり、しかもこれらに限定されないが、以下では、ネットワークスイッチに基づいて本発明を例示する。考え方は、スイッチポートおよびネットワークセグメントにも直ちに適応可能である。

ＰＥＳの考え方は、通信ネットワークにおいて、近い将来に非アクティブとなる可能性が最も高いため停止することができるようなネットワークスイッチを予測することである。「非アクティブ」とは、ネットワークスイッチがフローを処理していないこと、すなわち、パケットを転送していないことを意味する。直感的には、ネットワークスイッチ上のフローの量が少なくなるほど、残りのフローをリルーティングすることによって、または、タイムアウトがサポートされている場合には残りのフローがタイムアウトするのを待つことによって、そのスイッチを停止することが容易となる。

ＰＥＳの一実施形態は、通信ネットワークにおけるフロー設定の変化によってトリガされる一連の動作に基づいて実行される。１つのトリガとして、例えばネットワークにアタッチされた２つのサーバ間のＴＣＰコネクションの作成による新たなフローの作成が挙げられる。

ＰＥＳは、ネットワークにおいてフローを積極的に再配置するのではなく、このような方法とシームレスに統合されることが可能である。例えば、データセンタの管理システムは、いくつかのフローが直ちにリルーティングされるべきだと決定した場合、これはＰＥＳの動作に影響を及ぼさずに実行可能である。このような状況において、ＰＥＳは、その利用率メトリック（以下のセクション６を参照）を再計算することによって適応することができ、この状態から整合的に継続動作する。これにより、特に、持続的フロー、すなわち、（例えば周期的バックグラウンドトラフィックの状況における）長期間変化しないフローを扱うことが可能となる。このような場合、停止を阻止しているトラフィックからスイッチを解放するために積極的再配置をトリガすることができる。この点に関して、注意すべき重要な点であるが、積極的再配置は常に非常にコストが高い。

以下、図２および図３を参照して、２つの物理マシン間のＴＣＰコネクションの設定による新たなフローの作成の場合に基づいて、ＰＥＳの一般的動作を説明する。図２は、全部で８個のサーバ２_１〜２_８と、フローのルーティングをサポートするネットワークスイッチＳ_１〜Ｓ_１４とを有するデータセンタ１の典型的なネットワーク配置を模式的に例示している。ネットワークスイッチＳ_１〜Ｓ_１４は、３つの相異なる管理ドメイン４に属し、各ドメインは対応する管理ノード５によって管理される。図３は、図２に示したネットワークの管理ノード５の構造を例示している。

１．開始要求
最初のステップで、ある時刻にフロー（一般的な場合には複数のフロー）の作成が要求される。図２では、サーバ２_１がサーバ２_８とのＴＣＰコネクションの確立を要求する。サーバ２_１はネットワークスイッチＳ_１に接続され、それを通じて、ＴＣＰの最初のコネクション確立メッセージが送信される。

２．要求のインターセプト
次に、開始要求がインターセプトされる。図２の例では、インターセプトはネットワークスイッチＳ_７で起こる。そのため、スイッチは、それぞれの管理ノード５へパケットをリルーティングすることによってインターセプトをサポートする。例えば、ＯｐｅｎＦｌｏｗスイッチは、データパケットがどのスイッチングエントリ（ＯｐｅｎＦｌｏｗではフローテーブルエントリと呼ばれる）にも一致しないことを認識することによって、このような機能をサポートし、ＴＣＰに関連する開始要求は、ネットワークスイッチＳ_７を含む対応する管理ドメイン４（点線で示す）を担当する管理ノード５（ＯｐｅｎＦｌｏｗコントローラ）へ送信されることになる。このステップで、図３に示す管理ノード５内のインターセプタモジュール６は、インターセプトされたパケットを受信し、それを計算モジュール７に渡す。

３．経路選択
計算モジュール７（例えばＱｏＳ関連モジュール）は、新たなフローを作成するためにネットワークスイッチＳ_１〜Ｓ_１４のどのような集合を使用すればよいかを決定する。このステップは、ＰＥＳの方法およびアルゴリズムとは完全に独立であるので、ＯｐｅｎＦｌｏｗコントローラは、データセンタ管理サブシステムによって規定される性能制約に集中することができる。したがって、このステップは、相異なる管理ドメイン４（すなわち、ネットワークスイッチＳ_１〜Ｓ_１４の部分集合）を制御する複数の管理ノード５の間でのような任意の種類のネゴシエーションや、どのフロー設定が有効かを判定するために参照しなければならないようなデータセンタ１の他の管理サブシステムとの協調を含むことができる。

このステップの結果は、計算モジュール７の要求に準拠したネットワーク経路（フロー）の集合である。各経路は、パケットが通過しなければならないネットワークスイッチＳの順序リストを含む。図２の例では、２つの異なる経路が決定される可能性がある。一方はルートＳ_７→Ｓ_３→Ｓ_２→Ｓ_６→Ｓ_１４を経由し、他方はＳ_７→Ｓ_４→Ｓ_２→Ｓ_５→Ｓ_１３を経由する。いずれのネットワーク経路（フロー）も、計算モジュール７によって規定される（例えば帯域幅に関連する）性能要求を満たす。

４．ＰＥＳの計算
可能な経路が計算された後、それらの経路のうちエネルギー効率に関して最適な経路の勧告を決定するために、選択モジュール（以下、ＰＥＳモジュール８という）を参照する。

ＰＥＳモジュール８は、特定のアルゴリズム（その１つを以下でさらに説明する）を適用して、事前選択されたネットワーク経路のうちから最も効率の良い経路を決定する。図２の例では、第１の経路Ｓ_７→Ｓ_３→Ｓ_２→Ｓ_６→Ｓ_１４がエネルギー効率に関して最適であると仮定する。すなわち、この経路を選択することにより、影響を受けないスイッチ（この例ではＳ_１、Ｓ_３等）は将来すべてのフローから解放される可能性が高くなるとする。この点で、本発明によって達成される重要な性質として、ＰＥＳモジュール８は、データセンタ１内の他の管理サブシステムを参照せずに、どのルートを選択すべきかを自由に決定することができる。というのは、それらのルートの性質は計算モジュール７によって事前にチェックされており、最初に管理ノード４によってルートの事前選択が行われているからである。これは、ネットワークの性能がいつでも損なわれないことを保証する際の鍵となる。

ＰＥＳモジュール８によって実行される基本的な選択アルゴリズムは以下のように動作する。基本的な仮定として、ネットワークスイッチＳ_１〜Ｓ_１４のそれぞれに利用率メトリックというスカラー値が付与されるとする。この値は、後で説明する追加的なプロセスによって決定される。

そして、アルゴリズムは、経路の集合を入力として以下のように動作する。
１） いずれかの入力経路の一部となるすべてのネットワークスイッチを含むネットワークスイッチの集合を作成する。
２） すべての入力経路におけるすべてのネットワークスイッチのマーキングを解除する。
３） １）で作成された集合から、利用率メトリックが最高値のネットワークスイッチを選択する。
４） １）で作成された集合から、選択されたネットワークスイッチを削除する。
５） 選択されたネットワークスイッチを含むすべてのルートにおいて、選択されたネットワークスイッチをマーキングする。
６） ある経路内のすべてのネットワークスイッチがマーキングされている場合、その経路を出力し、そうでない場合、３）から続行する。

このアプローチでは、利用率メトリックの値が最小のネットワークスイッチは、他の選択肢が存在しないときにのみ選択されることが保証される。すなわち、最大値のネットワークスイッチが常に優先される（すなわち、（利用率メトリックに従って）最も利用の多いネットワークスイッチがますます多くのネットワークトラフィックを引き寄せ、利用の少ないネットワークスイッチには最終的にトラフィックがなくなることになる）。

そして、上記のアルゴリズムによって決定された経路が勧告され、制御モジュール９（図３参照）に入力される。制御モジュール９は、以下のセクション５に従って、ネットワークにおいてフローを強制する。

５．フローの強制
最後のステップで、ＰＥＳモジュール８によって単一の経路に対して勧告されたフローが、ネットワークにおいて共同で管理ノード４によって強制される。図２では、フローエントリがスイッチＳ_７、Ｓ_３、Ｓ_２、Ｓ_６、およびＳ_１４に対して生成されることにより、サーバ２_８に到達するためにこれらのスイッチを通ってＴＣＰコネクションを確立することができる。具体的実施形態において、フローは、協調目的で相互に通信する複数の管理ノード４によって共同で強制されてもよい。

６．利用率メトリックの計算
各ネットワークスイッチＳ_１〜Ｓ_１４に対して、エネルギー効率に関して当該ネットワークスイッチを特徴づける利用率メトリックが計算される。直感的には、メトリックは、例えば当該ネットワークスイッチが処理しているネットワークトラフィックおよび／またはフロー数で、ネットワークスイッチの（およその）利用率を表す。

利用率メトリックの計算は、ネットワークスイッチの状態における任意の変化でトリガされることが可能である。また、利用率メトリックの計算は、フローに対する新たな経路がＰＥＳモジュール８によって決定されたときにのみ実行されることも可能である。

７．スイッチの停止
なお、例示した実施形態において、ＰＥＳはスイッチの実際の起動および停止を実行せず、ネットワークを制御する既存の管理機能にこれらのアクションを委ねる。

スイッチの停止に関して、これは最終的に、個々のスイッチにおけるルーティングテーブルエントリの減少によって最終的に引き起こされる。通常、このようなテーブルエントリは、テーブルエントリがある一定時間後に使用されていない場合に満了するタイムアウトを伴う。これにより個々のエントリが削除され、最終的にはスイッチのすべてのエントリが削除される。その場合、あるスイッチをいつ停止することができるかを直ちに判定することができる。最も簡単な場合、スイッチは、もはやルーティングテーブルエントリを含まないとき、すなわち、パケットを処理していないときに、停止することができる。本発明の追加的実施形態として、タイムアウト値の合計（または最大）の長さを有するスイッチを優先することによって、利用率メトリック（セクション６に記載）を計算する際にルーティングテーブルエントリのタイムアウト属性および残存期間を考慮することができる。

スイッチの起動に関して、このアクションもまた、ＰＥＳにとって十分に透過的であり、あるスイッチが、例えばＱｏＳ要求を満たすように起動される必要があることを決定する計算モジュール（図３参照）によってトリガされる。

スイッチの起動および停止は、さまざまな手段によって実現可能である。起動は、例えば、Ｗａｋｅ−ｏｎ−ＬＡＮの方法を使用することによって、何らかのＬＯＭ（lights-out management）技術によって、またはスイッチが直接接続されている電源コンセントを制御することによって、達成することができる。停止もまた、ＬＯＭや電源コンセント、または、例えばＳＮＭＰやウェブプロトコルを通じてスイッチによって提供される明示的な方法を使用することができる。

好ましい実施形態によれば、図２および図３を参照して説明した方法は、ＯｐｅｎＦｌｏｗ技術で実現される。この場合、上記の機能は以下のように割り当てられる。

１．開始要求：開始要求は、この実施形態によって影響されない。この場合も、開始要求は、開始サーバによって送出される。

２．要求のインターセプト：接続要求は、開始サーバに最も近いＯｐｅｎＦｌｏｗスイッチによって受信される。要求は、スイッチによって、対応するＯｐｅｎＦｌｏｗコントローラへ転送される。したがって、ＯｐｅｎＦｌｏｗコントローラは、上記のように管理ノードのインターセプタモジュールを実現する。

３．経路選択：経路選択は、この実施形態によって影響されない。この場合も、何らかの特定のモジュールが、ネットワークを通る可能な経路の集合を計算する。

４．ＰＥＳの計算：この実施形態では、ＰＥＳの計算はＯｐｅｎＦｌｏｗコントローラ内で行われる。

５．フローの強制：フローの強制は、ＯｐｅｎＦｌｏｗスイッチによって実行される。選択された経路は、ＯｐｅｎＦｌｏｗコントローラによって、適当なＯｐｅｎＦｌｏｗルーティングテーブルエントリに変換される。そして、エントリは、ＯｐｅｎＦｌｏｗコントローラからそれぞれのＯｐｅｎＦｌｏｗスイッチへ伝達される。

６．利用率メトリックの計算：利用率メトリックの計算は、ＯｐｅｎＦｌｏｗ技術によるインターセプトおよび強制とは独立である。しかし、ＯｐｅｎＦｌｏｗによれば、ＯｐｅｎＦｌｏｗ技術特有の利用率メトリックの計算が可能である。そのようなメトリックの１つとして、ＯｐｅｎＦｌｏｗルーティングテーブルエントリ（これはスイッチから読み出すことができる）の個数がある。このメトリックは、ＰＥＳの計算に直接に利用可能である。というのは、ルーティングテーブルエントリの個数は、スイッチ負荷と弱い相関があるからである。

本発明の重要な利点は次のようにまとめることができる。
１）ネットワーク性能を損なうことなく、通信ネットワークにおける省エネルギーの可能性を活用する
２）負荷集中のためのきわめて効率的な（局所化された）アルゴリズムにより、ａ）管理アルゴリズム自体のエネルギー消費が最小化され、ｂ）過去に実行された管理動作に関して存在する可能性のあるタイミング要求を守る
３）スイッチポートごと、ネットワークスイッチごと、ネットワークセグメントごと等のメトリックにより、さまざまな場合の粒度に適応可能
４）以下の考慮を含むメトリックにより、混在環境に適応可能
ａ．ＱｏＳパラメータ
ｂ．計算機器（ＩＴ）、例えばデータセンタにおけるサーバ
ｃ．アプリケーション要求

従来のアプローチは、完全情報型で設定を生成する際に非効率的であるか、あるいは、部分情報型でネットワーク性能を損なう可能性があるという点で不完全であるかのいずれかである。本発明のアプローチは、複雑な計算も必要としなければ、ネットワーク性能を損なうこともなく、さらに、ネットワークにおいて実施可能な、達成可能な省エネルギーの範囲内で効果的である。

メトリックが不適切に選択された場合、省エネルギーは最適に及ばない可能性がある。しかし、実行時にメトリックを取り替え、例えば特定のデータセンタのメトリックの有効性をその負荷によって評価することが容易に可能である。また、ネットワーク上の負荷が過大である場合、最初はエネルギーを節減することができず、その場合はもちろん、アルゴリズムはこの状況を改善することができない。しかし、注意すべきであるが、アルゴリズムは依然として動作しているので、この第２の制限は、アルゴリズムによる（計算の形での）管理オーバーヘッドが追加的であるが低いことを意味するだけである。しかし、この不利益は、最も簡単な場合、ネットワーク全体の負荷がある一定レベルのときに選択アルゴリズムを停止することによって回避することができる。

上記の説明および添付図面の記載に基づいて、当業者は本発明の多くの変形例および他の実施形態に想到し得るであろう。したがって、本発明は、開示した具体的実施形態に限定されるものではなく、変形例および他の実施形態も、添付の特許請求の範囲内に含まれるものと解すべきである。本明細書では特定の用語を用いているが、それらは総称的・説明的意味でのみ用いられており、限定を目的としたものではない。

Claims (14)

1. 相互間でコネクションすなわちフローの確立を要求することが可能な複数のネットワーク要素すなわち通信ノードと、
   前記フローのルーティングをサポートする複数のネットワーク要素すなわちスイッチと、
   フロー確立に対する要求をインターセプトする手段と、
   各フローに対して、該フローの性能要求および／または品質制約に準拠した可能なネットワーク経路の集合であって、該フローが通過しなければならないスイッチの特定の集合を各経路が含むようなネットワーク経路の集合を事前選択するように構成された少なくとも１つの計算モジュールと、
   前記事前選択されたネットワーク経路の集合からエネルギー効率に関して最適な単一のネットワーク経路を決定するために、前記事前選択されたネットワーク経路の集合の任意のネットワーク経路に含まれるスイッチの負荷を分析する選択アルゴリズムを適用するように構成された少なくとも１つの選択モジュールと
   を有する通信ネットワークにおいて、前記選択モジュールが、前記選択アルゴリズムを、
   １） 前記事前選択されたネットワーク経路の集合のいずれかのネットワーク経路の一部となるすべてのスイッチを含むスイッチの集合を作成し、該スイッチのそれぞれに利用率メトリックを付与し、
   ２） すべてのネットワーク経路におけるすべてのスイッチのマーキングを解除し、
   ３） １）で作成された集合から、利用率メトリックが最高値のスイッチを選択し、
   ４） １）で作成された集合から、選択されたスイッチを削除し、
   ５） 選択されたスイッチを含むすべてのネットワーク経路において、選択されたスイッチをマーキングし、
   ６） あるネットワーク経路内のすべてのスイッチがマーキングされている場合、該ネットワーク経路を出力し、そうでない場合、３）から続行する
   ことにより実行するように構成されることを特徴とする通信ネットワーク。
2. 前記スイッチの少なくとも部分集合を含む管理ドメインに対する協調エンティティとして機能する少なくとも１つの管理ノードを有することを特徴とする請求項１に記載のネットワーク。
3. 前記少なくとも１つの管理ノードが、フロー確立に対する前記インターセプトされた要求を受信するように構成されたインターセプタモジュールを備えたことを特徴とする請求項２に記載のネットワーク。
4. 前記少なくとも１つの計算モジュールおよび／または前記少なくとも１つの選択モジュールが、前記少なくとも１つの管理ノードに含まれることを特徴とする請求項２または３に記載のネットワーク。
5. 前記少なくとも１つの選択モジュールが、前記少なくとも１つの計算モジュールから、前記事前選択されたネットワーク経路の集合を入力として受信するように構成されることを特徴とする請求項１ないし４のいずれか１項に記載のネットワーク。
6. 前記少なくとも１つの選択モジュールが、前記少なくとも１つの管理ノードの制御モジュールへ、前記選択された単一のネットワーク経路を出力するように構成され、
   前記制御モジュールが、前記選択された単一のネットワーク経路を通じて、それぞれのフローを強制するように構成されてもよい
   ことを特徴とする請求項２ないし４のいずれか１項に記載のネットワーク。
7. 前記通信ノードが、データセンタのサーバであり、および／または
   前記スイッチの少なくとも１つが、ＯｐｅｎＦｌｏｗスイッチとして実現される
   ことを特徴とする請求項１ないし６のいずれか１項に記載のネットワーク。
8. 前記少なくとも１つの管理ノードの前記インターセプタモジュールが、ＯｐｅｎＦｌｏｗコントローラとして実現され、および／または
   前記スイッチが、スイッチポート、ネットワークスイッチ、またはネットワークセグメント全体として実現される
   ことを特徴とする請求項３項に記載のネットワーク。
9. 通信ネットワークの動作方法において、前記ネットワークは、相互間でコネクションすなわちフローの確立を要求することが可能な複数のネットワーク要素すなわち通信ノードと、前記フローのルーティングをサポートする複数のネットワーク要素すなわちスイッチとを有し、該方法が、
   フローの確立に対する要求をインターセプトするステップと、
   各フローに対して、該フローの性能要求および／または品質制約に準拠した可能なネットワーク経路の集合であって、該フローが通過しなければならないスイッチの特定の集合を各経路が含むようなネットワーク経路の集合を事前選択するステップと、
   前記事前選択されたネットワーク経路の集合からエネルギー効率に関して最適な単一のネットワーク経路を決定するために、前記事前選択されたネットワーク経路の集合の任意のネットワーク経路に含まれるスイッチの負荷を分析する選択アルゴリズムを適用するステップと
   を備え、前記選択アルゴリズムが、
   前記事前選択されたネットワーク経路の集合の任意のネットワーク経路に含まれる前記スイッチのそれぞれに、該スイッチの利用率メトリックに関連するスカラー値を付与するステップと、
   前記事前選択されたネットワーク経路の集合の任意のネットワーク経路に含まれるスイッチの集合から、利用率メトリックが最高のスイッチを選択するステップと、
   前記選択されたスイッチを前記スイッチの集合から削除するステップと、
   前記事前選択されたネットワーク経路の集合のうち前記選択されたスイッチを含むすべてのネットワーク経路において前記選択されたスイッチをマーキングするステップと、
   ある事前選択されたネットワーク経路のすべてのスイッチがマーキングされている場合、該事前選択されたネットワーク経路を、それぞれのフローに対するネットワーク経路として選択するステップと
   を含むことを特徴とする、通信ネットワークの動作方法。
10. 前記選択アルゴリズムが、前記通信ネットワーク内のフロー設定の変更によってトリガされることを特徴とする請求項９に記載の方法。
11. フロー確立に対する要求のインターセプトが、要求側通信ノードの最も近くに配置されたスイッチによって実行されることを特徴とする請求項９または１０に記載の方法。
12. フロー確立に対するインターセプトされた要求が、前記通信ネットワークの管理ノードへリルーティングされることを特徴とする請求項９ないし１１のいずれか１項に記載の方法。
13. スイッチの前記利用率メトリックが、該スイッチによって処理されているネットワークトラフィックおよび／またはフロー数に基づいて計算され、および／または
    前記利用率メトリックの計算が、前記スイッチの状態における任意の変化によってトリガされる
    ことを特徴とする請求項９ないし１２のいずれか１項に記載の方法。
14. 前記選択アルゴリズムが、相異なる経路エンドポイントを有する経路選択肢の集合に対して実行され、および／または
    前記選択アルゴリズムが、前記事前選択されたネットワーク経路の集合から、所定しきい値よりも高い利用率メトリックのスイッチのみを含むネットワーク経路をそれぞれのフローに対するネットワーク経路として選択するように構成される
    ことを特徴とする請求項９ないし１３のいずれか１項に記載の方法。

Images