JP7296330B2 - 仮想ネットワーク制御装置、仮想ネットワーク制御方法、及びプログラム - Google Patents

Description

本発明は、総電気料金が最小になるように、物理ネットワークに仮想ネットワークを埋め込む技術に関連するものである。

エリア毎に電気料金単価が異なる仮想ネットワーク環境においては、総電気料金が最安となるようなサーバ負荷配置及び経路選択がなされることが望ましい。

一般的にこのようなサーバ負荷配置及び経路選択問題においては、ネットワーク事業者のコスト削減手法として、消費電力をモデル化し、ネットワーク全体の消費電力を最小化する手法等が検討されている。

例えば非特許文献１には、サーバ及びリンクについて利用率を考慮した消費電力モデルを構築し、総消費電力が最小となるようなＶＮＦ（Virtual Network Function）の埋め込み方法が提案されている。しかし、非特許文献１に開示された技術では、電気料金単価のエリア格差を考慮しておらず、真の意味でコスト最小化とはなっていない。

また、非特許文献２においては、エリア毎に異なる電気料金単価を定義し、消費電力モデルと合わせて電気料金が最小となるようなＶＮＦの埋め込み方法を提案している。しかし、非特許文献２では、新たなリクエストに対して既存ネットワークにどのように追加でＶＮＦを埋め込むかを開示しており、複数の仮想ネットワークを埋め込む問題に対して全体最適となっていない。

Zhichao Xu et al, "Energy-efficient Virtual Network Function Placement in Telecom Networks," IEEE ICC2018, May 2018. Walid Racheg et al, "Profit-Driven Resource Provisioning in NFV-based Environments," IEEE ICC2017, May 2017.

仮想ネットワーク環境におけるサーバ負荷配置及び経路選択問題におけるコスト最小化については、消費電力をモデル化するだけではなくエリア毎に異なる電気料金単価まで考慮する必要がある。また、これらの諸条件に加え、各サーバやリンクの容量制限等の制約条件も考慮した最適化が必要である。

更に、通常は１つの物理ネットワークに複数の仮想ネットワーク（ＶＮ：Virtual Network）が埋め込まれるため、各仮想ネットワークの要求条件を加味し、全体最適となるような埋め込み法を使用することが望ましい。

本発明は上記の点に鑑みてなされたものであり、制約条件を考慮して、総電気料金が最小になるように、仮想ネットワークを物理ネットワークに埋め込むための技術を提供することを目的とする。

開示の技術によれば、クライアントと仮想マシンを有する仮想ネットワークを、リンクとノードを有する物理ネットワークに埋め込むための仮想ネットワーク制御装置であって、
前記物理ネットワークにおけるノードの中心性を示す指標と、エリア毎の電気料金単価とに基づいて、仮想マシンを配置する候補となるノード群を決定する探索範囲削減部と、
前記探索範囲削減部により決定されたノード群における各ノードについて、前記物理ネットワークにおける容量の上限を超えないという制約の下で、ノードに仮想マシンを配置した場合におけるクライアント毎の通信経路を解候補として算出する解候補計算部と、
前記解候補計算部により算出された複数の解候補のそれぞれについての電気料金を算出し、電気料金が最小となる解候補を最適設定解として決定する電気料金計算部と
を備える仮想ネットワーク制御装置が提供される。

開示の技術によれば、制約条件を考慮して、総電気料金が最小になるように、仮想ネットワークを物理ネットワークに埋め込むための技術が提供される。

本発明の実施の形態における仮想ネットワーク制御装置の構成図である。 仮想ネットワーク制御装置のハードウェア構成例を示す図である。 ネットワークトポロジーの例を示す図である。 アルゴリズムのイメージを示す図である。 複雑なトポロジーの例を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（実施の形態の概要）
本実施の形態では、総電気料金が小さくなるように、仮想ネットワークを物理ネットワークに埋め込むための制御技術について説明する。より具体的には、各エリアの電気料金単価が既知であるサーバ負荷配置及び経路選択の問題において、各サーバやリンク、消費電力やトラヒック需要等を定式化する。当該問題の解法において、例えば、物理ネットワークのトポロジーの中心性及びエリア毎の電気料金単価を考慮した解候補削減をすることで、サーバ及びリンクの容量制限を満たしつつ、総電気料金が小さくなるような複数仮想ネットワークの埋め込みのための計算を効率良く実施する。これにより諸条件を考慮した準最適解が導出される。

以下、１以上の仮想ネットワークの埋め込みのための処理を実行する仮想ネットワーク制御装置１００の構成と動作を詳細に説明する。

（装置構成）
図１に、本実施の形態における仮想ネットワーク制御装置１００の機能構成例を示す。図１に示すように、仮想ネットワーク制御装置１００は、物理ノード・リンク情報収集部１１０、消費電力情報推定部１２０、電気料金単価情報収集部１３０、仮想ネットワーク要求情報収集部１４０、探索範囲削減部１５０、配列計算部１６０、電気料金計算部１７０、制御部１８０、制御管理部１９０を有する。各部の機能概要は下記のとおりである。

物理ノード・リンク情報収集部１１０は、クライアントと仮想マシンを有する仮想ネットワークを埋め込む対象となる物理ネットワークのノードの数や各ノード間のリンク等のトポロジー情報や各ノード、リンクの上限容量情報等を収集する。

消費電力情報推定部１２０は、各ノード及び各リンクの消費電力を推定する。電気料金単価情報収集部１３０は、各電力会社の電気料金プラン情報を収集し、各ノード・リンクに適用される電気料金単価を収集する。

仮想ネットワーク要求情報収集部１４０は、対象とする各仮想ネットワークについて、各クライアントの位置（ノード）情報やそれぞれの通信で必要なトラヒック量等の要求情報を収集する。

上記の各情報収集部１１０、１３０、１４０は、例えば、目的の情報を格納するサーバからインターネット等を介して当該目的の情報を収集することができる。なお、仮想ネットワーク制御装置１００が情報収集部１１０、１３０、１４０を備えないこととしてもよい。その場合、例えば、別装置の情報収集部１１０、１３０、１４０で収集された情報が仮想ネットワーク制御装置１００に入力され、入力された情報は仮想ネットワーク制御装置１００の記憶部（メモリ、ＨＤＤ等）に記憶され、処理のときに読み出される。

探索範囲削減部１５０は、物理ネットワークトポロジー情報及び電気料金単価情報を基にサーバＶＭ（Virtual Machine）配置候補（サーバＶＭを配置する候補となるノード）を算出し、算出結果を配列計算部１６０に渡す。

配列計算部１６０は、情報収集部１１０、１３０、１４０からの情報及び探索範囲削減部１５０による計算結果を基に、制約条件を満たす解の候補を導出し、導出した解候補を電気料金計算部１７０に渡す。なお、ここでの解候補は、サーバＶＭを配置するノードと、そのノードにサーバＶＭを配置した場合におけるサーバＶＭと各クライアントとの間の通信経路（トラヒックを流すリンクの集合）を有する。配列計算部１６０を解候補計算部と称してもよい。

電気料金計算部１７０は、導出された各解候補について電気料金を計算し、電気料金が最も安くなった候補を最適設定解として決定し、最適設定解を制御部１８０に渡す。

制御部１８０は、導出された最適設定解に基づき仮想ネットワーク制御を行う。本実施の形態では、制御部１８０は、仮想ネットワークを管理するオーケストレータに対して、導出された最適設定解に対応する仮想ネットワークが物理ネットワークに設定されるように、制御ポリシーを送信する。なお、制御部１８０は、仮想ネットワーク制御装置１００の外部に備えられていてもよい。

制御管理部１９０は、電気料金単価情報収集部１３０及び仮想ネットワーク要求情報収集部１４０から各パラメータの変動を検知し、それに基づき配列計算部１６０、電気料金計算部１７０及び制御部１８０に適切な動作タイミングを指令する。

すなわち、本実施の形態では、仮想ネットワークが新たに追加される場合、仮想ネットワークの要求内容が変更される場合（クライアント追加、トラヒック量変更等）、電気料金単価が変更される場合等を契機として、仮想ネットワークを物理ネットワークに埋め込むための計算がなされ、計算結果に基づいて、物理ネットワークへの制御が実施される。

仮想ネットワーク制御装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。

すなわち、仮想ネットワーク制御装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、仮想ネットワーク制御装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図２は、上記コンピュータのハードウェア構成例を示す図である。図２のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、仮想ネットワーク制御装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられ、ネットワークを介した入力手段及び出力手段として機能する。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。

仮想ネットワーク制御装置１００の動作の具体例について、下記の実施例を用いて説明する。

（実施例）
図３は、本実施例における仮想ネットワークを実現している物理的なネットワークのトポロジーを示す。

図３におけるＡ、Ｂ、Ｃはそれぞれノード（データセンタ）を表し、ノード間をつなぐ線１～６はそれぞれリンクを示す。図３に示すとおり、リンクは方向を有する。クライアントが、Ａ～Ｃの各ノードの配下に存在し、Ａ～Ｃに配置されたデータセンタのうちの１つ（サーバＶＭが配置されるノード）からクライアントに対してサービスが提供されるとする。なお、トラヒック観点で、以下の説明においては、クライアントはノード上に存在するものとして説明している。

図３における異なる網掛けで区別されているエリアは、電力会社の管轄を示し、エリア毎に電気料金単価が異なる。なお、エリア間で電気料金単価が同じであっても構わない。

仮想化されたネットワーク環境においては、あるサービスを提供するサーバＶＭ（仮想マシン）をノード間で柔軟に再配置可能である。また、ネットワーク上のトラヒック経路についても仮想ネットワーク毎に選択が可能である。

このような環境において、仮想ネットワーク制御装置１００は、各ノード及び各リンクの容量制限を満たしつつ、１以上の仮想ネットワークを図３の物理ネットワークに総電気料金が最小となるように埋め込む制御を実行する。具体的には、仮想ネットワーク制御装置１００は、定式化された問題を解くことでこのような制御を実行する。なお、問題を定式化して記述することは必ずしも必須ではない。後述する解法により、仮想ネットワークを埋め込むための解（サーバＶＭの配置ノード、サーバＶＭとクライアント間の通信経路）が得られればよい。

本実施例における具体的な問題設定を説明する。まず、各クライアントはノード（具体的には、仮想マシンを動作させることのできるサーバ等）に配置されるサーバＶＭにアクセスし、ネットワークサービスを享受するものとする。

各クライアントの位置（ノード）、及びサーバＶＭ－クライアント間で発生し得るトラヒック量は予め与えられている。また、各ノード及び各リンクの電気料金単価や、ノード容量・リンク容量の制約条件も既知とする。

より具体的には、仮想ＮＷ要求情報収集部１４０が、各クライアントの位置及びサーバＶＭ－クライアント間で発生し得るトラヒック量等を収集し、電気料金単価情報収集部１３０が電気料金単価を収集し、物理ノード・リンク情報収集部１１０が、トポロジー情報、ノード容量及びリンク容量等を収集する。

仮想ネットワーク制御装置１００は、制約条件の下、総電気料金が最小となるようにサーバＶＭの配置位置（配置ノード）とサーバＶＭと各クライアントとの間の通信経路を決定する。更に、トラヒック量やクライアント位置等の需要条件が異なる複数のＶＮ（Virtual Network）を同時に１つの物理ネットワークに埋め込む場合を想定する。なお、複数のＶＮを埋め込むことは一例であり、１つのＶＮを埋め込むこととしてもよい。本問題の定式化は下記のとおりである。

＜定式化について＞
まず、各ノード、各リンク、それらを流れるトラヒック、及び消費電力について以下の通りに記号を定義する。

● Ｅ：リンクの集合；
● Ｑ：エッジノードの集合；
・トラヒックはエッジノードを介してネットワークに流入したり、ネットワークから流出したりする。

● Ｄ：ＶＮの集合；
● ｔ_ｄ ^ｐｑ：ＶＮ ｄ∈Ｄにおける、発ノードｐと着ノードｑの間のトラヒック量；
● ｔ_ｄ＿ｄｑ：ＶＮ ｄ∈Ｄでの、サーバＶＭからクライアントｑまでのトラヒック量；
● ｔ_ｕ＿ｐｄ：ＶＮ ｄ∈Ｄでの、クライアントｐからサーバＶＭへのトラヒック量；
● （ｉ，ｊ）∈Ｅ：ノードｉからノードｊへのリンク；
● ｃ_ｉｊ：（ｉ，ｊ）のリンク容量；
● ｃ_ｉ：ノードｉのサーバ容量；
● ｘ_ｉｊ ^ｐｑｄ：ＶＮ ｄ∈Ｄにおいてノードｐ∈Ｑからノードｑ∈Ｑへのトラヒックのうち、（ｉ，ｊ）を通る量の割合；
● ｙ_ｉｊ：（ｉ，ｊ）を通るトラヒック量；
● ｗ_ｄ：ＶＮ ｄ∈ＤのサーバＶＭによるサーバリソース使用量；
● ｚ_ｋ ^ｄ：ＶＮ ｄ∈ＤのサーバＶＭをノードｋに置いたとき１、そうでなければ０を取る変数；
● ｆ_ｉｊ（ｙ_ｉｊ）：（ｉ，ｊ）の電気料金（そのリンク上のトラヒック量ｙ_ｉｊの関数）；
・例：ｆ_ｉｊ（ｙ_ｉｊ）＝ａ_ｉｊＪ（ｙ_ｉｊ）
・ａ_ｉｊはリンク（ｉ，ｊ）の電気料金
・Ｊ（ｙ_ｉｊ）はｙが０なら０、ｙ＞０なら１を返す関数
●ｇ_ｉ（ｙ）：ノードｉの電気料金（そのノードにつながる全リンクのトラヒック量ｙの関数）；
・例：ｇ_ｉ（ｙ）＝ｂ_ｉＪ（ｙ）
・ｂ_ｉはノードｉの電気料金
・Ｊ（ｙ）はｙが０なら０、ｙ＞０なら１を返す関数
以上の定義を基に、目的関数及び制約条件を以下の通り定式化する。

● 目的関数

（Ｉ（ｉ≠ｑ）は、ｉ≠ｑなら１、そうでなければ０を返す関数）
● ｓ．ｔ．（制約条件）

目的関数のｍｉｎの中の第一項（Σ_ｉｊｆ_ｉｊ（ｙ_ｉｊ））は全リンクの電気料金である。第二項（Σ_ｉｇ_ｉ｛Σ_ｄΣ_{ｐ，ｑ∈Ｑ}Σ_ｊＪ（ｘ_ｉｊ ^ｐｑｄ）＋Σ_ｄΣ_{ｐ，ｑ∈Ｑ}Σ_ｊＪ（ｘ_ｊｉ ^ｐｑｄ×Ｉ（ｉ≠ｑ））｝は全ノードの電気料金である。ｍｉｎの本式により総電気料金を最小化している。なお、ｇ_ｉ｛｝の｛｝の中は、ノードｉにつながる全リンクを見たときのトラヒックの有無を示している。

制約条件式１は、ある経路途中のノードについて流入するトラヒック量と流出するトラヒック量が等しいことを示している。制約条件式２は、発ノードｐからのトラヒック（入力）が他ノードへの出力の和に等しいことを示しており、制約条件式１と合わせてトラヒックの保存を規定している。

制約条件式３は、全トラヒック量ｔと、ｔに対するリンク（ｉ，ｊ）に流れるトラヒックｙ、ｔに対するｙの割合ｘについて関係性を示している。

制約条件式４及び５は、各サーバ及び各リンクの容量上限を規定している。制約条件式６は、ｘは割合を示すため０～１の間の値であることを規定している。制約条件式７は、発ノードｐと着ノードｑの間の総トラヒック量は、ｐｑ間の上りトラヒック量と下りトラヒック量の和であることを示している。

制約条件式８は、ｚがバイナリーデータであることを規定している。制約条件９は、各ＶＮにおいて、サーバＶＭを１か所（１ノード）に割り当てることを示している。なお、各ＶＮにおいてサーバＶＭを１箇所（１ノード）に割り当てることは例であり、各ＶＮにおいてサーバＶＭを複数箇所に割り当ててもよい。

上記の問題を解く方法は特定の方法に限られない。本実施例では、探索範囲削減部１５０により絞られた探索範囲（サーバＶＭの配置候補）を用いて、配列計算部１６０が上記の問題の解候補を算出し、電気料金計算部１７０が各解候補についての電気料金を計算し、電気料金が最も安い候補を、最適設定解として決定する。その後、制御部１８０がオーケストレータへの指示を実行する。以下、解を算出する手順例を詳細に説明する。

＜配列計算部１６０による解候補算出手順＞
まず、配列計算部１６０による解候補算出手順を説明する。配列計算部１６０は、埋め込み対象のＶＮに対して下記のＳ１～Ｓ５を実行する。

Ｓ１：サーバＶＭを配置する１つのノードｘを決定する。

Ｓ２：あるクライアントが配置されたノードｉについて、ｘとの間の取り得るルート（通信経路）を算出し、それぞれについて解（ルート、トラヒック量）を解配列に追記する。

Ｓ３：解配列において、サーバ（ノード）及びリンクの容量上限をチェックし、容量を超えるものは解候補から削除する。

Ｓ４：他のクライアントが配置されたノードについても同様にＳ２～Ｓ３に従い、解配列に解候補を追記する。

Ｓ５：サーバＶＭ配置箇所を他のノード位置に変更し、変更後のサーバＶＭのノード位置で上記のＳ２～Ｓ４を実行する処理を、全てのノード位置（探索範囲が絞られる場合は、絞られた全てのノード位置）で行う。

複数のＶＮがある場合、あるＶＮに対して上記のＳ１～Ｓ５で得られたそれぞれの解候補（サーバＶＭの配置ノードが異なるそれぞれの解候補）に対し、次のＶＮについて上記のＳ１～Ｓ５を行うことで、当該次のＶＮについての各解配列が得られる。このような処理を、複数のＶＮにおけるそれぞれのＶＮに対して行う。

処理の中で、複数ＶＮが埋め込まれた状態のサーバ及びリンクの容量上限をチェックし、容量を超えるものは解候補から削除する。

例えば、ノードＡの容量制限が３である場合に、３つのＶＮが埋め込まれた状態のある解候補についてのノードＡの容量が３になり、当該解候補に追加される別のＶＮのある解候補についてのノードＡの容量が１になった場合、容量の合計は４になり、ノードＡの容量上限を超えるので、その解候補は削除される。

配列計算部１６０により得られた解候補は電気料金計算部１７０に渡され、電気料金計算部１７０が、各解候補について総電気料金を計算し、総電気料金が最も小さい解候補を最適解として抽出する。

配列計算部１６０が実行する解配列を用いた解法について、図４を参照して、あるＶＮについての具体例を説明する。図４に示す各テーブルが解配列である。各解配列におけるＡ～Ｃは、ノードＡ～Ｃを示し、Ａ～Ｃの各列はサーバＶＭの配置を示す。１～６は、リンク１～６であり、１～６の各列はリンク利用量（リンクを流れるトラヒック量）を示している。

あるＶＮに対するＯＤ（Origin Destination）ペア＃１（サーバＶＭをノードＡに置き、ノードＣのクライアントを対象とする場合）における解候補１では、サーバＶＭをノードＡに置いているためＡ列の１行目に「１」を置いている。ここでは、１サーバＶＭに必要なリソースを１としている。

また、クライアントＣ（ノードＣ配下のクライアント）からの経路をＣ→Ａ（図３のリンク４）としているため、４の列（リンク４を表す）の一行目にトラヒック量の「５」を置いている。解候補２については経路をＣ→Ｂ→Ａ（リンク６、リンク２）としているため、６の列と２の列の一行目にそれぞれ「５」を置いている。なお、ここでは、例として、クライアントからサーバＶＭへのトラヒックを取り上げている。サーバＶＭからクライアントへのトラヒックについても同様に解配列への追記が行われる。

次に、解候補１からの展開である解候補１－１及び１－２では、解候補１を基に別のクライアントによる通信を埋め込んでいる。解候補１－１では解候補１と同様にサーバＶＭをノードＡに置いており、Ａの列の２行目に「１」を追記している。また、クライアントＢからの通信経路をＢ→Ａ（リンク２）としており、結果として２の列２行目にトラヒック量「２」を追記している。

解候補１－２では通信経路をＢ→Ｃ→Ａ（リンク５、リンク４）としており、結果として５の列と４の列の２行目にそれぞれ「２」が追記されている。

配列計算部１６０は、解配列への追記が行われるたびに、リンクの各列の合計値を計算する。その結果、合計値がそのリンクの容量を超えるようであれば解候補から配列自体を削除し、以降の探索も行わない。例えば、リンク４の容量上限が６である場合、解候補１－２は容量を超過しているため解候補から削除し、以降の探索も行わない。ノードについては、前述した定式化のように、サーバＶＭをあるノードに置くことで、あるリソース量ｗ（ここでは１と想定）が使用されるとした場合、ＶＮにおける複数サーバＶＭの埋め込みや複数ＶＮの複数サーバＶＭの埋め込みにより、ノードのサーバ容量が上限を超えるかどうかをチェックし、上限を超える解候補は削除し、以降の探索も行わない。

このように、全てのＶＮそれぞれについて、全てのクライアントについて解配列への追記を行った上で、容量制限を満たした解候補の総電気料金を計算し最も安くなったものを最適解として決定する。

＜電気料金の算出方法＞
電気料金計算部１７０は、各電気料金を、ノードとリンクのそれぞれについて、
「電気料金単価（円／ｋＷｈ）」×「機器の稼働時間（ｈ）」×「消費電力（ｋＷ）」
により計算する。なお、電気料金算出の対象となるノード（電気料金が０ではないノード）は、トラヒックの発出元／着信先ノード（クライアント、サーバＶＭがあるノード）、トラヒックが通るノードである。電気料金算出の対象となるリンク（電気料金が０ではないリンク）は、トラヒックが流れるリンクである。

上記の式における「消費電力（ｋＷ）」については、例えば、消費電力情報推定部１２０が、過去の実績データから推定する。「機器の稼働時間（ｈ）」についても過去の実績データから推定することとしてもよいし、予め定めた時間を用いてもよい。

ノードの「電気料金単価（円／ｋＷｈ）」については、該当ノードが存在するエリアの「電気料金単価（円／ｋＷｈ）」を用いる。リンクについても同様である。

ただし、リンクについては、電気料金単価が異なる複数エリアに跨る場合がある。その場合、例えば、当該複数エリアの電気料金単価の平均を当該リンクの電気料金算出に使用する。また、リンクがエリアにかかる長さの割合で電気料金単価を按分してもよい。例えば、電気料金単価がＰＡのエリアＡ、電気料金単価がＰＢのエリアＢ、電気料金単価がＰＣのエリアＣがあるとして、長さＬのリンクのうち、Ｌ／２がエリアＡに含まれ、Ｌ／３がエリアＢに含まれ、Ｌ／６がエリアＣに含まれているとする。このとき、下記の式で当該リンクの電気料金を計算することができる。

（「ＰＡ／２」＋「ＰＢ／３」＋「ＰＣ／６」）×「リンクの稼働時間（ｈ）」×「リンクの消費電力（ｋＷ）」
（「電気料金単価（円／ｋＷｈ）」×「機器の稼働時間（ｈ）」×「消費電力（ｋＷ）」）を用いて電気料金を算出する方法は、前述した定式化におけるｆ_ｉｊ（ｙ_ｉｊ）、ｇ_ｉ（ｙ）で電気料金を求めることの一例である。トラヒックがあれば、（「機器の稼働時間（ｈ）」×「消費電力（ｋＷ）」）は０より大きくなるから、（「電気料金単価（円／ｋＷｈ）」×「機器の稼働時間（ｈ）」×「消費電力（ｋＷ）」）はトラヒック量の関数の例である。

「消費電力（ｋＷ）」に関して、一例として、下記の式に基づき、消費電力情報推定部１２０が、過去のある一定期間におけるノード稼働時の消費電力の平均を取ることでノードの消費電力を推定する。

各記号の意味は下記のとおりである。

Ｐ_ｉ：ノードｉの稼働時の消費電力推定値
ｔ_０：平均を取る時刻の始点
ｔ_１：平均を取る時刻の終点
Ｐ_ｉ（ｔ）：ノードｉの時刻ｔにおける消費電力
Ｘ_ｉ（ｔ）＝１（ノードｉが時刻ｔにおいて稼働している場合）
＝０（上記以外）

：時刻ｔ_０からｔ_１において、ノードｉが稼働している総時間
平均に用いる期間は例えば１週間分のデータを用いることが考えられる。また、前日の実績データを適用する方法も想定される。

リンクの消費電力についても、上記の処理でノードをリンクと読み替えることで、ノードと同様にして電気料金を計算できる。

＜解探索範囲の削減について＞
上述した実施例では、説明の便宜上、ノード数が３つの小規模なトポロジーで例を示した。ノード数が３よりも大きなトポロジーにおいても本実施例の手法は適用可能である。

しかし、ノード数が大きい場合、上記の解導出の際に解の組合せ数が膨大となるため、現実的な時間内での解導出のために解探索範囲の削減が必要となる。本実施例において、上記解法におけるサーバＶＭ配置候補を削減する手法について説明する。なお、サーバＶＭ配置候補を削減する処理を実行することは必須ではなく、例えば、ノード数が小さい場合等ではサーバＶＭ配置候補を削減する処理を実行しないこととしてもよい。

一般に通信距離（通信経路長）が短いほど通信経路上で発生する消費電力が小さくなるため、各クライアントからの通信距離が短くなるノードを選択することが望ましい。本実施例はこの観点で解探索範囲の削減を行う。本実施例では、ノードの各クライアントからの近さを測る指標として近接中心性を用いる。

仮想ネットワーク制御装置１００の探索範囲削減部１５０は、近接中心性を以下の式で計算する。近接中心性は他のノードまでの距離が小さいほど大きな値を取るため、近接中心性が高いノードにサーバＶＭを置くことで各クライアントからの通信経路長が小さくなることが期待される。

Ｃｅｎｔ_ｃ＿ｉ＝（Ｎ－１）／Ｌｉ
上記の式において、Ｃｅｎｔ_ｃ＿ｉは、ノードｉの近接中心性であり、Ｎは対象とするネットワークにおけるノード数であり、Ｌｉはノードｉから他のノードまでの距離の総和である。

一例として、図５に示すトポロジーにおける各ノードの近接中心性を計算すると、近接中心性が高い上位３ノードとその数値はそれぞれ（ノード９：０．４５）、（ノード１２：０．４３）、（ノード１０：０．４１）となり、トポロジーの中心により近いノードが選択されていることがわかる。

また、電気料金を最小化するために、中心性を考慮するだけでなく、できるだけ電気料金単価ｂ_ｉが安いノードにサーバＶＭを配置することを考慮してもよい。本実施例では、中心性と電気料金単価ｂ_ｉとを考慮した、サーバＶＭ配置候補を絞る指標として、ノードｉについてのＦ（ｉ）を下記の式のとおり、「中心性／電気料金単価」として定義する。

Ｆ（ｉ）＝Ｃｅｎｔ_ｃ＿ｉ／ｂ_ｉ
上記式に示すとおり、近接中心性が高く、ノードｉが属するエリアの電気料金単価が安いほどＦ（ｉ）の値は大きくなる。探索範囲削減部１５０は、サーバＶＭ配置候補となる全ノードに対してそれぞれＦ（ｉ）を算出し、サーバＶＭ配置候補をＦ（ｉ）値が大きいノード群（例えば、上位１０％に入るノード群等）に絞る。これにより、探索数を大幅に削減することが可能となる。

本実施例においては、ノードの中心性（クライアントとノード間の近さ）を評価するための指標として近接中心性を用いたが、近接中心性を用いることは一例であり、中心性を評価するための他の指標を用いてもよい。例えば、次数中心性や媒介中心性等を適用することとしてもよい。

媒介中心性は、下記の式で計算され、対象ノードが各ノード間の最短経路を媒介している度合が高いほど高くなる。従って、媒介中心性が高いノードにサーバＶＭを置くことで各クライアントからの通信経路長が小さくなることが期待される。

Ｃｅｎｔ_ｂ＿ｉ：ノードｉの媒介中心性
ｒｏｏｔ_ｐ，ｑ（ｉ）：ノードｐからノードｑへの最短経路のうちノードｉを通る経路の数
ｒｏｏｔ_ｐ，ｑ：ノードｐからｑへの最短経路の数
探索範囲削減部１５０が中心性を算出する際は、クライアントの配置状況を考慮しても良い。また、本実施例では、Ｆ（ｉ）を「中心性／電気料金単価」として計算したが、これは一例であり、これら２つのパラメータを用いた別の関数によりＦ（ｉ）を算出してもよい。

（実施の形態の効果）
以上、説明したように、本実施の形態では、物理ネットワークにおけるサーバ及びリンクの容量制限を満たしつつ、総電気料金を最小化するように、当該物理ネットワークに１以上の仮想ネットワークを埋め込むことができる。また、物理ネットワークのトポロジーの中心性及びエリア毎の電気料金単価を考慮した解候補削減をすることで、効率良く解を算出することができる。

（実施の形態のまとめ）
本明細書には、少なくとも下記各項の仮想ネットワーク制御装置、仮想ネットワーク制御方法、及びプログラムが開示されている。
（第１項）
クライアントと仮想マシンを有する仮想ネットワークを、リンクとノードを有する物理ネットワークに埋め込むための仮想ネットワーク制御装置であって、
前記物理ネットワークにおけるノードの中心性を示す指標と、エリア毎の電気料金単価とに基づいて、仮想マシンを配置する候補となるノード群を決定する探索範囲削減部と、
前記探索範囲削減部により決定されたノード群における各ノードについて、前記物理ネットワークにおける容量の上限を超えないという制約の下で、ノードに仮想マシンを配置した場合におけるクライアント毎の通信経路を解候補として算出する解候補計算部と、
前記解候補計算部により算出された複数の解候補のそれぞれについての電気料金を算出し、電気料金が最小となる解候補を最適設定解として決定する電気料金計算部と
を備える仮想ネットワーク制御装置。
（第２項）
前記探索範囲削減部は、前記中心性を示す指標を前記電気料金単価で割った値に基づいて前記ノード群を決定する
第１項に記載の仮想ネットワーク制御装置。
（第３項）
前記電気料金計算部は、解候補として算出された各リンクと各ノードについて、属するエリアの電気料金単価を用いて電気料金を算出する
第１項又は第２項に記載の仮想ネットワーク制御装置。
（第４項）
リンクが複数のエリアにかかる場合において、前記電気料金計算部は、当該リンクに対して、当該複数のエリアの電気料金単価の平均を用いる、又は、当該複数のエリアに含まれるリンクの長さの割合に基づき算出した電気料金単価を用いる
第３項に記載の仮想ネットワーク制御装置。
（第５項）
クライアントと仮想マシンを有する仮想ネットワークを、リンクとノードを有する物理ネットワークに埋め込むための仮想ネットワーク制御装置が実行する仮想ネットワーク制御方法であって、
前記物理ネットワークにおけるノードの中心性を示す指標と、エリア毎の電気料金単価とに基づいて、仮想マシンを配置する候補となるノード群を決定する探索範囲削減ステップと、
前記探索範囲削減ステップにより決定されたノード群における各ノードについて、前記物理ネットワークにおける容量の上限を超えないという制約の下で、ノードに仮想マシンを配置した場合におけるクライアント毎の通信経路を解候補として算出する解候補計算ステップと、
前記解候補計算ステップにより算出された複数の解候補のそれぞれについての電気料金を算出し、電気料金が最小となる解候補を最適設定解として決定する電気料金計算ステップと
を備える仮想ネットワーク制御方法。
（第６項）
コンピュータを、第１項ないし第４項のうちいずれか１項に記載の仮想ネットワーク制御装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 仮想ネットワーク制御装置
１１０ 物理ノード・リンク情報収集部
１２０ 消費電力情報推定部
１３０ 電気料金単価情報収集部
１４０ 仮想ネットワーク要求情報収集部
１５０ 探索範囲削減部
１６０ 配列計算部
１７０ 電気料金計算部
１８０ 制御部
１９０ 制御管理部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置

Claims (6)

1. クライアントと仮想マシンを有する仮想ネットワークを、リンクとノードを有する物理ネットワークに埋め込むための仮想ネットワーク制御装置であって、
   前記物理ネットワークにおけるノードの中心性を示す指標と、エリア毎の電気料金単価とに基づいて、仮想マシンを配置する候補となるノード群を決定する探索範囲削減部と、
   前記探索範囲削減部により決定されたノード群における各ノードについて、前記物理ネットワークにおける容量の上限を超えないという制約の下で、ノードに仮想マシンを配置した場合におけるクライアント毎の通信経路を解候補として算出する解候補計算部と、
   前記解候補計算部により算出された複数の解候補のそれぞれについての電気料金を算出し、電気料金が最小となる解候補を最適設定解として決定する電気料金計算部と
   を備える仮想ネットワーク制御装置。
2. 前記探索範囲削減部は、前記中心性を示す指標を前記電気料金単価で割った値に基づいて前記ノード群を決定する
   請求項１に記載の仮想ネットワーク制御装置。
3. 前記電気料金計算部は、解候補として算出された各リンクと各ノードについて、属するエリアの電気料金単価を用いて電気料金を算出する
   請求項１又は２に記載の仮想ネットワーク制御装置。
4. リンクが複数のエリアにかかる場合において、前記電気料金計算部は、当該リンクに対して、当該複数のエリアの電気料金単価の平均を用いる、又は、当該複数のエリアに含まれるリンクの長さの割合に基づき算出した電気料金単価を用いる
   請求項３に記載の仮想ネットワーク制御装置。
5. クライアントと仮想マシンを有する仮想ネットワークを、リンクとノードを有する物理ネットワークに埋め込むための仮想ネットワーク制御装置が実行する仮想ネットワーク制御方法であって、
   前記物理ネットワークにおけるノードの中心性を示す指標と、エリア毎の電気料金単価とに基づいて、仮想マシンを配置する候補となるノード群を決定する探索範囲削減ステップと、
   前記探索範囲削減ステップにより決定されたノード群における各ノードについて、前記物理ネットワークにおける容量の上限を超えないという制約の下で、ノードに仮想マシンを配置した場合におけるクライアント毎の通信経路を解候補として算出する解候補計算ステップと、
   前記解候補計算ステップにより算出された複数の解候補のそれぞれについての電気料金を算出し、電気料金が最小となる解候補を最適設定解として決定する電気料金計算ステップと
   を備える仮想ネットワーク制御方法。
6. コンピュータを、請求項１ないし４のうちいずれか１項に記載の仮想ネットワーク制御装置における各部として機能させるためのプログラム。

Images