WO2015118874A1 - ネットワークシステム、ネットワーク制御方法および制御装置 - Google Patents

ネットワークシステム、ネットワーク制御方法および制御装置 Download PDF

Info

Publication number
WO2015118874A1
WO2015118874A1 PCT/JP2015/000525 JP2015000525W WO2015118874A1 WO 2015118874 A1 WO2015118874 A1 WO 2015118874A1 JP 2015000525 W JP2015000525 W JP 2015000525W WO 2015118874 A1 WO2015118874 A1 WO 2015118874A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
server
path
virtual
information
Prior art date
Application number
PCT/JP2015/000525
Other languages
English (en)
French (fr)
Inventor
勇人 逸身
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2015561226A priority Critical patent/JP6398999B2/ja
Priority to US15/117,180 priority patent/US10218615B2/en
Priority to EP15746658.2A priority patent/EP3104560B1/en
Priority to ES15746658T priority patent/ES2743547T3/es
Publication of WO2015118874A1 publication Critical patent/WO2015118874A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/70Routing based on monitoring results
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/64Hybrid switching systems
    • H04L12/6418Hybrid transport
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • H04L41/122Discovery or management of network topologies of virtualised topologies, e.g. software-defined networks [SDN] or network function virtualisation [NFV]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • H04L45/036Updating the topology between route computation elements, e.g. between OpenFlow controllers
    • H04L45/037Routes obligatorily traversing service-related nodes
    • H04L45/0377Routes obligatorily traversing service-related nodes for service chaining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/82Miscellaneous aspects
    • H04L47/822Collecting or measuring resource availability data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/70Virtual switches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities

Abstract

【課題】ネットワーク上での仮想ネットワーク機能の配置を解決するネットワークシステム、ネットワーク制御方法および制御装置を提供する。 【解決手段】複数のノードおよびサーバを有するネットワークを制御する装置(10)は、ネットワーク(20)のリンクおよびノードに関する第1情報と、仮想ネットワーク機能(VNF)を配置可能なサーバ(SV)のコンピューティングリソースに関する第2情報と、を格納し、少なくとも一つの仮想ネットワーク機能(VNF)が要求された場合、第1情報および第2情報に基づいて、要求された仮想ネットワーク機能(VNF)のサーバ(SV)への配置と、配置先のサーバに接続するネットワークのパス(P)の設定と、を一括で実行する。

Description

ネットワークシステム、ネットワーク制御方法および制御装置
 本発明は仮想ネットワーク機能を含むネットワークシステムに係り、特にネットワークの制御方法および制御装置に関する。
 現在の通信システムでは、BRAS(Broadband Remote Access Server)、NAT(Network Address Translation)、ルータ、ファイヤウォールなどの様々なネットワーク機能(Network Function:NF)を専用のハードウェア機器(アプライアンス)により実現している。このために、ネットワークオペレータは、新たな通信サービスを立ち上げる場合、新たな専用のハートウェア機器の導入を強いられ、機器の購入費用や設置スペース等の多大なコストを必要とする。このような状況に鑑み、近年、ハードウェア機器で実行されるネットワーク機能をソフトウェアにより仮想的に実行する技術(ネットワーク機能の仮想化:Network Function Virtualization)が検討されている(非特許文献1)。通信サービスの仮想化の一例として、特許文献1に、通信ノード装置上に複数の仮想ルータを構築し、これらの仮想ルータの資源を通信品質に応じて動的に配分する方法が開示されている。
 また、複数の仮想ネットワーク機能(Virtual Network Function:VNF)を組み合わせた通信経路に通信フローを伝送することにより種々の通信サービスを提供する技術(サービスチェイニング:Service Chaining)も検討されている(たとえば、非特許文献2を参照)。
特開2012-175418号公報
Network Functions Virtualization – Update White Paper, October 15-17, 2013 at the "SDN and OpenFlow World Congress", Frankfurt-Germany (http://portal.etsi.org/NFV/NFV_White_Pater2.pdf)
"Interface to the Routing System (I2RS) for Service Chaining: Use Cases and Requirements", Internet Engineering Task Force I2RS working group Internet Draft (July 15, 2013)
 仮想化されたネットワーク機能の環境では、データプレーンのVNF間トラフィックが、今日のデータセンタに比べて、非常に大きくなることが予想される。特にサービスチェイニングのエッジに位置するノードのトラフィック負荷が非常に重くなると考えられる。したがって、サービスチェイニングでは、単に仮想マシンの配置を考慮するだけでは不十分であり、コンピューティングおよびネットワーキングの両方のリソースを考慮することが必要である。
 しかしながら、上述した特許文献および非特許文献が開示しているのは、仮想マシンの配置先決定およびサービスチェインを構成するパスの決定だけである。言い換えれば、上述した背景技術は、VNFの配置を考慮するだけで、ネットワークパフォーマンス(end-to-end bandwidth, end-to-end delay, end-to-end reliability)を考慮していない。たとえば、特許文献1では、通信ノード装置内で仮想ルータのための資源を配分する技術を開示しているが、ネットワークパフォーマンスを考慮した仮想ルータの配置、すなわちネットワーク上での仮想ルータの配置、を決定するものではない。
 そこで、本発明の目的は、ネットワーク上での仮想ネットワーク機能の配置を解決するネットワークシステム、ネットワーク制御方法および制御装置を提供することにある。
 本発明によるネットワーク制御装置は、複数のノードおよびサーバを有するネットワークを制御する装置であって、前記ネットワークのリンクおよびノードに関する第1情報と、仮想ネットワーク機能を配置可能なサーバのコンピューティングリソースに関する第2情報と、を格納する格納手段と、少なくとも一つの仮想ネットワーク機能が要求された場合、前記第1情報および前記第2情報に基づいて、前記要求された仮想ネットワーク機能のサーバへの配置と、配置先のサーバに接続する前記ネットワークのパス設定と、を一括で実行するパス決定手段と、を有することを特徴とする。
 本発明によるネットワーク制御方法は、複数のノードおよびサーバを有するネットワークを制御する方法であって、前記ネットワークのリンクおよびノードに関する第1情報と、仮想ネットワーク機能を配置可能なサーバのコンピューティングリソースに関する第2情報と、を格納手段に格納し、少なくとも一つの仮想ネットワーク機能が要求された場合、前記第1情報および前記第2情報に基づいて、前記要求された仮想ネットワーク機能のサーバへの配置と、配置先のサーバに接続する前記ネットワークのパス設定と、を一括で実行する、ことを特徴とする。
 本発明によるネットワークシステムは、複数のノードおよびサーバを有するネットワークと前記ネットワークを制御する制御装置とを有するネットワークシステムであって、前記制御装置が、ネットワークのリンクおよびノードに関する第1情報と、少なくとも1つの仮想ネットワーク機能を配置可能なサーバのコンピューティングリソースに関する第2情報と、を格納する格納手段と、少なくとも一つの仮想ネットワーク機能が要求された場合、前記第1情報および前記第2情報に基づいて、前記要求された仮想ネットワーク機能のサーバへの配置と、配置先のサーバに接続する前記ネットワークのパス設定と、を一括で実行するパス決定手段と、を有することを特徴とする。
 本発明によれば、仮想ネットワーク機能のサーバへの配置とネットワークのパス設定とを一括で実行することで、ネットワーク上での仮想ネットワーク機能の最適な配置を実現できる。
図1は本発明の実施形態を実装するネットワークの一例を示すシステム構成図である。 図2は本発明の実施形態によるネットワークシステムでのサービスチェインの一例を示す模式的なネットワーク図である。 図3は本発明の第1実施形態による制御装置の概略的構成を示すブロック図である。 図4は第1実施形態におけるサーバの概略的構成を示すブロック図である。 図5は第1実施形態による制御装置に設けられたデータベースのデータ構成例を示す図である。 図6は第1実施形態による制御装置の概略的な動作を示すフローチャートである。 図7は本発明の第2実施形態による制御装置の概略的構成を示すブロック図である。 図8は第2実施形態による制御装置の動作を説明するための仮想リンクを示す模式的なネットワーク構成図である。 図9は第2実施形態による制御装置のネットワークパスの決定動作を示すフローチャートである。 図10は図8における物理リンクの選択動作を説明するための模式的なネットワーク構成図である。 図11は第2実施形態による制御装置のサーバ選択動作およびサービスチェインパスの決定動作を示すフローチャートである。 図12は図11におけるサーバ選択動作およびサービスチェインパスの決定動作を説明するための模式的なネットワーク構成図である。 図13は本発明の実施形態を実装するネットワークの他の例を示すシステム構成図である。 図14は本発明の第3実施形態による運用管理装置の概略的構成を示すブロック図である。 図15は第3実施形態における運用管理装置によるネットワーク可視化の一例である表示画面を模式的に示す図である。 図16は第3実施形態における運用管理装置によるサービスチェイン可視化の一例である表示画面を模式的に示す図である。 図17は本発明の第4実施形態による運用管理装置の概略的構成を示すブロック図である。 図18は本発明の第5実施形態による制御装置の概略的構成を示すブロック図である。 図19は第5実施形態におけるネットワークノードの概略的構成を示すブロック図である。 図20は第5実施形態におけるサーバの概略的構成を示すブロック図である。 図21は第5実施形態において採用されるオープンフロー技術について説明するための模式的なシステム構成図である。 図22は図21におけるフローテーブルに格納されるエントリの構成を模式的に示すフォーマット図である。 図23は本発明の第6実施形態による仮想ネットワーク機能の配置決定方法を説明するためのネットワーク機能フォワーディンググラフを示す図である。 図24は第6実施形態におけるアンダーレイネットワークトポロジを示すネットワーク図である。 図25は第6実施形態における拡張ネットワークトポロジを示すネットワーク図である。 図26は第6実施形態における拡張ネットワークトポロジを用いたサービスチェインのVNF配置を示すネットワーク図である。 図27は図26におけるVNF配置決定の際のフロー保存則を説明するための模式的なネットワーク図である。 図28は図26におけるVNF配置決定の際の帯域制約条件を説明するための模式的なネットワーク図である。 図29は図26におけるVNF配置決定の際のコンピューティング制約条件を説明するための模式的なネットワーク図である。 図30は図26におけるVNF配置決定の際のVNFリンク制約条件を説明するための模式的なネットワーク図である。
 A.本発明の実施形態の概要
 本発明の実施形態によれば、仮想ネットワーク機能(VNF)の配置とネットワークのパス設定とを一括で実行することにより、アンダーレイネットワークの通信特性および通信性能を考慮した最適なVNF配置を実現できる。以下、図1に示すネットワークシステムを参照しながら本発明の実施形態の概要を説明する。
 図1に示すように、制御装置10はネットワーク20を制御し、後述するVNFの配置とネットワークのパス設定とを一括で実行する。ネットワーク20は複数のNW(ネットワーク)ノードおよび複数のサーバSV1~SVnを含み、それらが隣接するノードあるいはサーバと物理リンクで接続されている。なお、制御装置10はネットワークの運用管理装置内に設けられてもよい。
 各サーバは、複数の仮想ネットワーク機能VNF1~VNFnにそれぞれ実行する仮想マシン(VM:Virtual Machine)を構築することができる。ここでは、各VNFがサーバSV1~SVmに配置可能であるものとする。図1において、各サーバSVと各VNFとを相互に接続する破線はVNFの配置可能性を表し、これらの相互接続の集合が「VNFの可能な配置」である。この「VNFの可能な配置」において、サーバとそこに配置される仮想マシンVMとをネットワークトポロジの構成要素とし、かつ、仮想マシンの配置の可否判断に必要な情報(サーバの空き容量および計算能力、仮想マシンの要求条件など)を各構成要素に関連づける。これにより「VNFの可能な配置」に示す相互接続をネットワーク20のトポロジの拡張と考えることができる。この拡張されたネットワークトポロジを用いることで、VNFのサーバへの配置とネットワークパスの設定とを一括で実行することが可能となる。
 たとえば、図1において、ネットワーク20のNWノードAと仮想ネットワーク機能VNF1との間の仮想リンクをアンダーレイヤにマッピングしようとする場合を一例として考える。この例では、NWノードAから各サーバSVまでの可能なパス(ネットワークリソース情報)と、各サーバSVとVNF1との間の相互接続(各サーバへのVNF1配置のためのコンピューティングリソース情報)と用いて、VNF1に要求されるリソースを満たす最適経路を一括して計算することができる。図1では、NWノードAとサーバSV2との間のネットワークパスPとVNF1の配置先としてのサーバSV2とが最適解として例示されている。言うまでもなく、アンダーレイヤネットワークの状態およびサーバSVの計算能力の変化等により条件が変化すれば、仮想リンクおよびVNF1の要求に最も合致した別のネットワークパスおよび/または別のサーバが最適解となり得る。
 なお、複数の連結されたVNFを通して2つのNWノードの間に通信経路を設定する場合には、当該通信経路を分割して上述した手順を順次適用すればよい。たとえば、一方のNWノードから第1のVNFの間で上述した手順を適用し、第1のVNFから次のVNFの間、更にその次のVNFというように順次適用し、最後のVNFから他方のNWノードの間に適用する。
 B.サービスチェイン
 以下、説明を簡略化するために、図2に示すネットワーク構成を参照しながら、本発明の実施形態におけるサービスチェインについて説明する。
 図2において、ネットワークノードN1~N4が相互に物理リンクで接続されており、ネットワークノードN2およびN4の各々がサーバSV1~SV4に物理リンクで接続されているものとする。各サーバは2つの仮想ネットワーク機能VNF_AとVNF_Bを配置可能である。なお、ネットワークノードN1~N4およびサーバSV1~SV4は、図示されていない制御装置10の制御により上述した仮想リンクを設定する。以下、ノードN1~N4の任意の1つを「ノードN」、サーバSV1~SV4の任意の1つを「サーバSV」と適宜略記する。
 図2に示すサービスチェインPscは、太線で示されるように、ネットワークノードN1から、ネットワークノードN2およびサーバSV1を通して仮想ネットワーク機能VNF_Aまでの仮想リンクと、VNF_AからサーバV1を通してVNF_Bまでの仮想リンクと、VNF_BからサーバSV1およびネットワークN2を通してネットワークノードN3までの仮想リンクと、からなる。ここでは、サーバSV1にVNF_AとVNF_Bが配置されたものとする。
 ネットワークのパスは、サービスチェインPscに対応する仮想リンクを構成する物理リンクの集合として定義される。すなわち、図2において、ネットワークノードN1-ネットワークノードN2-サーバSV1と、サーバSV1-ネットワークノードN2-ネットワークノードN3とを経由する物理パスの集合がネットワークのパスである。
 以下、図2に示すVNF_AおよびVNF_Bのサービスチェインを一例として、本発明の実施形態について具体的に説明する。
 1.第1実施形態
 1.1)システム構成
 図3において、本発明の第1実施形態による制御装置10は、データベース111およびパス決定部112を有し、ネットワーク20のノードN1~N4およびサーバSV1~SV4を制御する。パス決定部112はVNFのサーバへの配置とサービスチェインに対応するネットワークのパス設定とを一括で実行する。データベース111は、後述するように(図5参照)、パス決定部112が上記動作を実行するための情報を有する。なお、図示されていないが、制御装置10は、ネットワーク20内のノード、サーバ等から後述する情報を収集してデータベース111を構築する機能を有する。
 図4において、各サーバSVは、複数のVNFをそれぞれ実行する複数の仮想マシンVM1、VM2、・・・を設定可能であり、本実施形態では二つの仮想マシンVM1およびVM2にVNF_AおよびVNF_Bを配置することができるものとする。仮想マシンVMおよびサーバとしての動作は制御部113により制御される。
 図5に示すように、データベース111に格納される情報は、ネットワークトポロジの構成要素(リンク、スイッチ等)に関する情報と、ネットワークトポロジの構成要素に関するパラメータと、を含む。パラメータは、パス決定部112がサービスチェインに対応するネットワークのパス設定を実行するために用いられる。 
 本実施形態におけるデータベース111は、ネットワークトポロジの構成要素として、ネットワークに関する情報(リンク、スイッチに関する情報)に加えて、コンピューティングリソースに関する情報(サーバ、仮想マシンに関する情報)を保持している。上述したように、サーバとそこに配置されるVNFを実行する仮想マシンVMとをネットワークトポロジの構成要素として表現することでネットワークトポロジを拡張し、さらに、仮想マシンVMの配置の判断に必要なパラメータ(CPU使用率や、VMの要求条件等)を構成要素に関連付けることで、仮想マシンVMの配置とネットワークパス設定とを一括で実行することが可能となる。
 1.2)パス決定動作
 図6に示すように、制御装置10のパス決定部112は、ネットワークに関する第一の要求条件とコンピューティングリソースに関する第二の要求条件とを参照する(動作S211)。ここで、「第一の要求条件」は、サービスチェインを構成するネットワークに対する要求条件であり、例えば、要求される通信帯域等である。「第二の要求条件」は、仮想マシンVM(VNF)の実行基盤となるコンピューティングリソースに対する要求条件であり、例えばサーバに要求されるCPU/メモリリソース等である。 
 続いて、パス決定部112は、データベース111を参照して、ネットワークに関する第一のパラメータとコンピューティングリソースに関する第二のパラメータとを参照する(動作S212)。ここで、「第一のパラメータ」は、ネットワークトポロジの構成要素のうちリンク、スイッチ等の、本来的にネットワークを構成するエンティティに対応付けられたパラメータであり、具体的には使用可能な通信帯域等である。「第二のパラメータ」は、ネットワークトポロジの構成要素のうちサーバ、仮想マシン等の、本来的にコンピューティングに関するエンティティに対応付けられたパラメータであり、具体的にはCPU使用率、要求されるCPU能力等である。
 続いて、パス決定部112は、上述した第一のパラメータおよび第二のパラメータに基づいて、上述した第一の要求条件および第二の要求条件を満たすネットワーク上でのサービスチェインのパス(VMの配置を含む)を決定する(動作S213)。
 1.3)効果
 上述したように、本発明の第1実施形態によれば、ネットワークに関する第一のパラメータとコンピューティングに関する第二のパラメータとに基づいて、仮想ネットワーク機能(VNF)の配置とネットワークのパス設定との両方を、すなわちネットワーク上の仮想ネットワーク機能(VNF)の配置を、要求条件を満たすように一度で決定することができる。これにより、アンダーレイネットワークの通信特性および通信性能を考慮した最適なVNF配置が可能となる。
 2.第2実施形態
 本発明の第2実施形態による制御装置10は、ネットワーク条件に関する比較結果とコンピューティング条件に関する比較結果とに基づいて、要求を満たすネットワーク上でのサービスチェインのパスを決定する。以下、図7~図12を参照しながら第2実施形態について詳述する。
 2.1)システム構成
 図7において、本発明の第2実施形態による制御装置10はデータベース111およびパス決定部122を有し、さらに、第1実施形態と同様に、ネットワークのノード等から情報を収集してデータベース111を構築する機能を有する。データベース111は、第1実施形態と同様であり、図5に示すように、パス決定部122がパス決定動作を実行するための情報を格納する。なお。サーバSVについては、第1実施形態と同様に、図4に示す構成を有する。
 パス決定部122は、ネットワーク条件比較部122aとコンピューティング条件比較部122bとを有する。ネットワーク条件比較部122aは、ネットワークに関する要求条件(第1実施形態の「第一の要求条件」)とネットワークに関する構成要素のパラメータとを比較し、要求条件を満たすパスを検索する。コンピューティング条件比較部122bは、コンピューティングに関する要求条件(第1実施形態の「第二の要求条件」)とコンピューティングに関する構成要素(サーバ)のパラメータとを比較し、要求条件を満たす構成要素(VMの配置先)を検索する。
 なお、制御装置10のパス決定部122は、次に述べるパス決定制御プログラムを実行するプロセッサ(CPU:Central Processing Unit)と、プログラムを保持するROM(Read Only Memory)および情報を保持するRAM(Random Access Memory)等の記憶装置と、により実現することもできる。
 2.2)パス決定動作
 以下、ネットワーク条件比較部122aおよびコンピューティング条件比較部122bを含むパス決定部122のパス決定動作について説明する。
 図8に示すように、パス決定部122はサービスチェインを作成するにあたり、まず、始点(Source)と終点(Destination)のみを定めた仮想的なリンクを要求条件と共に設定する。すなわち、ネットワークノードN1を始点、仮想ネットワーク機能VNF_Aを終点とする仮想リンクVLを設定し、始点と終点との間で実際に経由する物理リンクについてはDon’t Careとする。仮想リンクVLを設定するのは、ネットワークの管理者等が行ってもよいし、制御装置自身が設定してもよい。
 <ネットワーク条件比較>
 図9において、ネットワーク条件比較部122aは、上述した仮想リンクVLをサービスチェインのパス設定の対象として参照し(動作S221)、この仮想リンクVLを構成するための物理リンクの候補を選択する(動作S222)。続いて、ネットワーク条件比較部122aは、物理リンクの候補からネットワーク要求条件(要求される通信帯域等)を満たす物理リンクを選択する(動作S223)。
 まず、図8に示すネットワークにおいて、始点のノードN1から終点のVNF_Aへ向かう可能な物理リンク(実線)が物理リンクの候補として選択される(動作S222)。
 続いて、図10に示すように、物理リンクの候補から、ネットワーク要求条件(要求される通信帯域等)を満たす物理リンクが選択される(動作S223)。たとえば、始点のノードN1から終点のVNF_Aへ向かう可能な通信経路のうち要求条件を満たすものが太線の矢印で表された物理リンクPHYL1およびPHYL2/PHYL3、またはPHYL4およびPHYL5であるとすれば、これらの物理リンクが仮想リンクVLを構成するための物理リンクとして選択される。なお、サーバSVとVNF間は実線ではなく破線で表されているが、これは、サーバSVとVNF間に実際には物理リンクが存在せず、既に述べたように、VNFの配置とパス設定とを一括で計算するために用いる便宜上のリンクであることを意味している。
 なお、図5に示すデータベース111においては、図10に示す実線あるいは太線矢印で示された物理リンクに通信帯域等の通信に関するパラメータが対応付けられ、VNFやサーバSVにCPU使用率、要求されるCPU/メモリ能力等のコンピューティングに関するパラメータが対応付けられている。
 <コンピューティング条件比較(1)>
 図11において、コンピューティング条件比較部122bは、VNFを実行する仮想マシンVMに対するパラメータおよびコンピューティング要求条件を参照する(動作S224)。続いて、コンピューティング条件比較部122bは、パラメータとコンピューティング要求条件とを比較し、当該仮想マシンを配置する全てのサーバSVであるサーバ候補からコンピューティング要求条件を満たすサーバSVを選択する(動作S225)。こうして選択されたコンピューティング要求条件を満たすサーバSVと上述したネットワーク条件比較により選択された物理リンク(図10の太線矢印)とに基づいて、ネットワーク上でのサービスチェインのパス(VMの配置を含む)を決定する(動作S226)。
 図12に太い破線矢印で示すように、上述した動作225によってVNF_Aの配置先がサーバSV1に決定されると、図10の太線矢印のうち物理リンクPHYL1およびPHYL2からなるネットワークパスが決定される。
 <コンピューティング条件比較(2)>
 上述したコンピューティング条件比較(1)では、上記ネットワーク条件比較動作とは独立してVNF_Aを配置可能な全てのサーバ候補の中から条件を満たすサーバを選択するという総当たり方式を採用したが、これに限定されるものではない。たとえば、上述したネットワーク条件比較により選択された物理リンク(図10の太線矢印)に接続したサーバSVをサーバ候補として限定しておき、限定されたサーバ候補からコンピューティング要求条件を満たすサーバSVを選択してもよい。この方式は、ネットワーク条件比較結果を利用することにより、総当たり方式の場合よりもコンピューティング要求条件を確認するサーバ数が減少するという利点がある。
 2.3)効果
 上述したように、本発明の第2実施形態においても、第1実施形態と同様に、アンダーレイネットワークの通信特性および通信性能を考慮した最適なVNF配置が可能となる。すなわち、ネットワークに関するパラメータとネットワーク要求条件との比較と、コンピューティングに関するパラメータとコンピューティング条件との比較とを実行することで、仮想ネットワーク機能(VNF)の配置とネットワークのパス設定との両方を、すなわちネットワーク上の仮想ネットワーク機能(VNF)の配置を、一度で決定することができる。さらに、第2実施形態によれば、ネットワーク条件比較の結果を利用することで、コンピューティング条件比較の計算負荷を軽減することも可能となる。
 3.第3実施形態
 図13に示すように、本発明の第3実施形態によるネットワークシステムでは、運用管理装置30が制御装置10に対する各種設定および決定されたサービスチェインの通信経路の表示を行うことができる。その他の構成および機能は上述した第1実施形態あるいは第2実施形態と同様であるから、図1と同じ参照番号を使用して説明は省略する。なお、制御装置10は運用管理装置30内に設けられてもよい。
 3.1)運用管理装置
 図14において、運用管理装置30は、仮想リンク設定部301、要求条件設定部302、インターフェース303、およびユーザインターフェース304を有し、その他、図示しない制御部や記憶部を有する。ユーザインターフェース304はキーボード等の情報入力部とモニタ等の情報表示部とを含み、運用管理者による仮想リンク設定および要求条件設定、制御装置10により決定されたネットワーク上のVNF配置および経路の可視化などを可能にする。
 仮想リンク設定部301は、運用管理者がユーザインターフェース304を通して入力したサービスチェインから仮想リンクを生成する。要求条件設定部302は、ネットワーク条件設定部305およびコンピューティング条件設定部306を有し、運用管理者の入力に基づいてサービスチェインを構成する際の要求条件(ネットワーク要求条件およびコンピューティング要求条件)を生成する。第2実施形態で述べたように、ネットワーク要求条件はサービスチェインにおけるネットワーク面の要求条件(例えば、要求通信帯域)などであり、コンピューティング要求条件はサービスチェインにおけるコンピューティングリソースの要求条件(例えば、要求されるCPU/メモリ能力)などである。以下、本実施形態による運用管理装置の動作について図15および図16を参照しながら説明する。
 3.2)ネットワーク上のVNF配置の可視化
 図15に例示するように、ユーザインターフェース304に表示された運用管理画面400は、入力ウィンドウ400aとネットワーク表示ウィンドウ400bとに分割されている。入力ウィンドウ400aにはサービスチェイン入力欄401と複数の要求条件入力欄402とが表示され、ネットワーク表示ウィンドウ400bには運用管理対象であるネットワークの物理的なトポロジが表示される。たとえば、運用管理装置30は、制御装置10のデータベース111からトポロジ情報を取得し、取得したトポロジ情報に基づいてネットワークの構成を表示する。
 図15において、ネットワーク表示ウィンドウ400bに例示されるネットワークトポロジでは、ネットワークノードA、B、C、Dが相互に物理リンクで接続されており、ネットワークノードBおよびDの各々がサーバA、B、Cに物理リンクで接続されている。また、各サーバは2つの仮想ネットワーク機能VNF_AとVNF_Bを配置可能であるとする。
 図15に示すように、運用管理者がユーザインターフェース304を通してサービスチェイン入力欄401に次のようなサービスチェインを入力したとする:
A ⇔ VNF_A ⇔ VNF_B ⇔ B。
 このサービスチェインが入力されると、仮想リンク設定部301は、このサービスチェインを実現するための次のような仮想リンク情報VL1、VL2およびVL3を生成する。
VL1:始点=NWノード(A);終点=VNF_A
VL2:始点=VNF_A   ;終点=VNF_B
VL3:始点=VNF_B   ;終点=NWノード(C)
 また、要求条件入力欄402に、ネットワークに要求される通信帯域とサーバに要求されるCPU/メモリ能力とが入力されると、要求条件設定部302は、ネットワーク要求条件とコンピューティング要求条件とをそれぞれ生成し、上記仮想リンク情報(VL1、VL2、VL3)と共に制御装置10へ送信し設定する。
 制御装置10は、第1あるいは第2実施形態で説明したように、運用管理装置30により設定された仮想リンク情報および要求条件情報に基づいて、仮想リンクVL1、VL2およびVL3のそれぞれについて最適パスを計算する。最適パスの計算結果はネットワーク20のノードおよびサーバと運用管理装置30へ送信される。
 図16に例示するように、最適パス情報を受信した運用管理装置30のユーザインターフェース304では、運用管理画面400のネットワーク表示ウィンドウ400bに、仮想リンクVL1、VL2およびVL3にそれぞれ対応する最適パスRP1、RP2およびRP3が表示される。この例では、仮想リンクVL1を構成するネットワークパスがNWノード(A)-NWノード(B)-サーバ(A)、仮想リンクVL2を構成するネットワークパスがサーバ(A)-NWノード(B)-サーバ(B)、仮想リンクVL3を構成するネットワークパスがサーバ(B)-NWノード(D)-NWノード(C)、仮想ネットワーク機能VNF_Aの配置先がサーバA、仮想ネットワーク機能VNF_Bの配置先がサーバBである。
 なお、運用管理装置30の仮想リンク設定部301および要求条件設定部302は、上述したような運用管理プログラムを実行するプロセッサ(CPU:Central Processing Unit)と、プログラムを保持するROM(Read Only Memory)および情報を保持するRAM(Random Access Memory)等の記憶装置と、により実現することもできる。
 3.3)効果
 上述したように、本発明の第3実施形態によれば、運用管理装置30が制御装置10に対して各種設定を行うことができ、運用管理者が設定したサービスチェインおよび要求条件に基づいて、第1および第2実施形態と同様に、アンダーレイネットワークの通信特性および通信性能を考慮した最適なVNF配置が可能となる。
 特に、第3実施形態によれば、運用管理者がユーザインターフェースを通して制御装置10により計算されたネットワーク上のVNF配置を視覚的に確認することができ、ネットワークの運用管理が容易になるという利点がある。
 4.第4実施形態
 図17に示すように、本発明の第4実施形態による運用管理装置31は、第3実施形態による運用管理装置30の構成に加えてパス制御部311を設けた構成を有する。したがって、運用管理装置30と同様のブロックには同じ参照番号を付して説明は省略する。
 図17において、パス制御部311は、仮想リンク設定部301および要求条件設定部302により設定された仮想リンク情報および要求条件情報を用いて、上述したように、アンダーレイネットワークの通信特性および通信性能を考慮した最適なVNF配置の計算(制御装置10のパス決定)を行う。最適パスの計算結果は、インターフェース303を通して制御装置11へ送信されると共に、ユーザインターフェース304へ転送される。したがって、本実施形態による運用管理装置31は、第3実施形態と同様に、運用管理画面400のネットワーク表示ウィンドウ400bに最適パスを表示する(図16参照)。パス決定がパス制御部311で行われるために、本実施形態における制御装置11には、第1~第3実施形態における制御装置10のパス決定部112および122が不要となる。
 上述したように、本発明の第4実施形態による運用管理装置31においても、上述した第3実施形態による運用管理装置30と同様の効果を有する。さらに、運用管理装置31は、ネットワーク上の最適なVNF配置を内部で計算しているので、制御装置11へ転送される前に、運用管理者がサービスチェインを構成する物理リンクおよびVNF配置をモニタで確認することができ、ネットワークの運用管理の信頼性を向上させることができる。また、制御装置11は、パス決定動作が不要となるので、構成の簡略化および消費電力の削減も可能となる。
 5.第5実施形態
 本発明の第5実施形態による制御装置は、上述した各実施形態によりネットワークにおけるサービスチェインのパスを決定し、当該パスに沿って通信フローが転送されるようにネットワークノードおよびサーバを制御する。以下、図18~図22を参照しながら第5実施形態について詳述する。
 5.1)システム構成
 図18に示すように、本発明の第5実施形態による制御装置12は、データベース111、パス決定部112および制御部131を有し、さらに、第1実施形態と同様に、ネットワークのノード等から情報を収集してデータベース111を構築する機能を有する。データベース111は、第1実施形態と同様であり、図5に示すように、パス決定部112がパス決定動作を実行するための情報を格納する。なお、パス決定部112の代わりに、第2実施形態におけるパス決定部122を用いることもできる。制御部131には、ネットワーク20のノードを制御するネットワーク制御部132とサーバ内の仮想マシン(VM)間のデータ転送を制御するVM制御部133とが機能的に設けられている。制御部131は、パス決定部112により決定されたパスに沿って通信フローが転送されるようにネットワークノードNおよびサーバSVを制御する。
 図19に示すように、第5実施形態におけるネットワークノードNは、データ転送部501、経路情報データベース502、および制御装置12と通信を行うためのインターフェース503を有する。ネットワークノードNは、サービスチェインに属するフローを識別するための条件と当該フローのパケットの転送先とを含むデータを制御装置12から受信し、経路情報データベース502に格納する。データ転送部501は、経路情報データベース502に格納された条件および転送先情報に従って、サービスチェインに属するフローのパケットを識別し、対応する転送先(ノードあるいはサーバ)へ転送する。
 図20に示すように、第5実施形態におけるサーバSVは、複数のVNFをそれぞれ実行するための複数の仮想マシンVMと、複数の仮想マシンVMおよび隣接するネットワークノードの間の通信フローの切り替えを行う仮想スイッチ600とを有する。
 仮想スイッチ600は、本実施形態におけるネットワークトポロジの一つのネットワークノードと見なすことができ、データ転送部601、経路情報データベース602、および制御装置12と通信を行うためのインターフェース603を有する。仮想スイッチ600は、サービスチェインに属するフローを識別するための条件と当該フローのパケットの転送先とを含むデータを制御装置12から受信し、経路情報データベース602に格納する。データ転送部601は、経路情報データベース602に格納された条件および転送先情報に従って、隣接するネットワークサーバNあるいは一つの仮想マシンVMから受信したパケットがサービスチェインに属するフローであるか否かを識別し、対応する転送先(仮想マシンVMあるいはネットワークサーバN)へ転送する。したがって、一つのサーバSV内にある仮想マシンVM間のパケット転送であれば、外部のネットワークノードへ転送することなくサービスチェインを構成できる。
 なお、制御装置12、ネットワークノードNおよびサーバSVは、既に述べたようにそれぞれの動作を制御するプログラムを実行するプロセッサ(CPU:Central Processing Unit)と、プログラムを保持するROM(Read Only Memory)および情報を保持するRAM(Random Access Memory)等の記憶装置と、により実現することもできる。
 上述したように、サービスチェインに属するフローを識別するための条件と当該フローのパケットの転送先とを含む情報を制御装置12が設定する集中制御型のネットワークアーキテクチャシステムは、たとえばオープンフロー(OpenFlow)、I2RS(Interface to the Routing System)、ForCES(Forwarding and Control Element Separation)等により実現することが可能である。以下、制御装置12およびネットワークノードN/サーバSVの実装例としてオープンフローを用いたものを示す。
 5.2)オープンフロー
 オープンフローは、通信をエンドツーエンドのフローとして認識し、フロー単位で経路制御、障害回復、負荷分散等を実行する。ここで、フローとは、例えば所定の属性を有する一連の通信パケット群のことであり、本実施形態においては設定されたサービスチェインに属するフローをいう。以下、図21に示すネットワークを一例としてオープンフローについて説明する。
 図21において、オープンフロースイッチ(OpenFlow Switch)701、702、703はオープンフロー技術を採用したネットワークスイッチであり、本実施形態ではネットワークノードNあるいはサーバSVの仮想スイッチ600に相当する。オープンフローコントローラ(OpenFlow Controller)704はオープンフロースイッチ701、702、703を制御する情報処理装置であり、本実施形態では制御装置12に相当する。
 各オープンフロースイッチ701、702、703は、オープンフローコントローラ704との間にセキュアチャネル(Secure Channel)705が設定されており、セキュアチャネル705を通してオープンフローコントローラ704と通信する。オープンフローコントローラ704は、セキュアチャネル705を介して、オープンフロースイッチ701、702、703のフローテーブル(Flow Table)706の設定を行う。なお、セキュアチャネル705は、各オープンフロースイッチ701、702、703とコントローラ704との間の通信経路であって、通信の盗聴や改ざん等を防止するための処置がなされたものである。
 図22は、各オープンフロースイッチ701、702、703に設けられたフローテーブル706の各エントリ(フローエントリ)の構成例を示す。フローエントリは、スイッチが受信したパケットのヘッダに含まれる情報(例えば、宛先IPアドレスやVLAN ID等)と照合するためのマッチングルールを規定するマッチフィールド(Match Fields)と、パケットフロー毎の統計情報を示すフィールド(Counters)と、マッチングルールにマッチするパケットの処理方法を規定するアクションフィールド(Action)とで構成される。
 オープンフロースイッチ701、702、703は、パケットを受信すると、フローテーブル706を参照する。オープンフロースイッチ701、702、703は、受信したパケットのヘッダ情報にマッチするフローエントリを検索する。受信パケットのヘッダ情報にマッチするエントリが検索された場合、オープンフロースイッチ701、702、703は、検索されたエントリのアクションフィールドに定義された処理方法に従って、受信パケットを処理する。処理方法は、例えば、「受信パケットを所定のポートから転送する」、「受信したパケットを廃棄する」、「受信パケットのヘッダの一部を書き換えて、所定のポートへ転送する」といったことが規定されている。
 一方、受信パケットのヘッダ情報にマッチするエントリが見つからない場合、オープンフロースイッチ701、702、703は、例えば、セキュアチャネル705を通してオープンフローコントローラ704へ受信パケットを転送し、オープンフローコントローラ704に対して受信パケットの処理方法を規定したフローエントリの設定を要求する。
 オープンフローコントローラ704は、受信パケットの処理方法を決定し、決定した処理方法を含むフローエントリをフローテーブル706に設定する。その後、オープンフロースイッチ701、702、703は、設定されたフローエントリにより、受信パケットと同一のフローに属する後続のパケットを処理する。
 5.3)効果
 本発明の第5実施形態によれば、第1~第4実施形態と同様にサービスチェインのパスを決定し、当該パスに沿って通信フローが転送されるようにネットワークのノードあるいはサーバを制御するので、アンダーレイネットワークの通信特性および通信性能を考慮した最適なVNF配置が可能となる。
 特に、サーバSV内に複数のVNFをそれぞれ実行する複数の仮想マシンを仮想スイッチにより切り替え可能に構成することで、ネットワークノードの経路切替とサーバ内での仮想マシンの切替とを同等に制御することができ、たとえばオープンフロー技術を用いた一括制御が可能となる。
 6.第6実施形態
 既に述べたように、サービスチェイニングでは、単に仮想マシンの配置を考慮するだけでは不十分であり、コンピューティングおよびネットワーキングの両方のリソースを考慮することが必要である。本発明の第6実施形態によれば、必要とされるVNFとそれを配置可能なサーバとを含むようにネットワークトポロジを拡張し、この拡張トポロジに基づいてネットワーク上での仮想マシン(VNF)の最適配置を決定する。このVNF配置の最適解は、たとえば整数計画法(Integer Programming)を用いて求めることができる。
 まず、図23に示すように、クラシファイアAおよびBの間に仮想ネットワーク機能VNF_AおよびVNF_Bを組み合わせたサービスチェインを示すフォワーディンググラフを考える。組み合わせるVNFには必要なCPU能力およびメモリサイズ(コンピューティング要求条件)が設定され、仮想リンクには始点および終点と必要な帯域幅(ネットワーク要求条件)とが設定されている。このフォワーディンググラフは、上述した図15におけるサービスチェイン入力欄401および要求条件欄402の入力内容に対応する。
 図24に、上記フォワーディンググラフの仮想リンクを構成するためのアンダーレイネットワークトポロジを示す。クラシファイアとスイッチとの間、およびスイッチとサーバとの間は、それぞれ物理リンクにより相互接続され、各物理リンクは利用可能な帯域幅(ネットワークパラメータ)を有する。また、各サーバは利用可能なCPUおよびメモリサイズ(コンピューティングパラメータ)を有する。
 図25に、上記アンダーレイネットワークトポロジにVNF_AおよびVNF_Bの可能な配置を付加した拡張トポロジを示す。サーバとVNFとを相互接続する破線により当該サーバが当該VNFの配置先であることを示す。この拡張トポロジに基づいて整数計画法によりサービスチェインの配置を決定する。
 図26に、VNF_AおよびVNF_BがサーバAに配置される場合の最適解が例示されている。ここでは、図23に示すNFフォワーディンググラフ:クラシファイアA ⇔ VNF_A ⇔ VNF_B ⇔ クラシファイアBに対して、図26に示す太線の矢印で示す仮想リンクVL1、VL2、VL3が生成される:
VL1:始点=クラシファイアA;終点=VNF_A
VL2:始点=VNF_A   ;終点=VNF_B
VL3:始点=VNF_B   ;終点=クラシファイアB
 6.1)最適VNF配置の決定
 以下、図26に示すようなネットワーク上での最適VNF配置を決定する整数計画法による計算過程を示す。変数の定義は次の通りである。
 ・VNFのコンピューティング要求条件:required_cpux  (x:vnf_id)
 ・仮想リンク(VL)のネットワーク要求条件:required_bwx (x:vl_id)
 ・ネットワークパス(アンダーレイパス):
 ・upathx ij ∈ {0,1} (x:vl_id, i,j:underlay_node_id) ここで、仮想リンクxが物理ノードiとjとの間のリンクijを使用していれば、upathx ij=1である。
 ・サーバのコンピューティングパラメータ(利用可能CPU):
      available_cpus (s:server_id)
 ・リンクのネットワークパラメータ(利用可能帯域幅):
      available_bwij (i:from_id, j:to_id)
 ・目的関数Cの最小化/最大化によりVNF配置の最適解を計算する。目的関数Cの一例を次式に示す:
Figure JPOXMLDOC01-appb-M000001
この式の場合、目的関数Cが最小となるupathx ij=1の物理リンクの集合が本実施形態におけるVNF配置の最適解となる。その際、次の制約条件を考慮する:フロー保存則;帯域幅制約条件;コンピューティング制約条件;およびVNFリンク制約条件。以下、それぞれの制約条件について図27~図33を参照しながら説明する。
 6.2)フロー保存則
 フロー保存則は仮想リンクをパスとして成立させるための条件であり、各仮想リンクがアンダーレイにマッピングされるとき満たす必要がある。以下、図27を参照しながら説明する。
 ・次式に示すように、始点(source)と終点(destination)以外のノードの送信量と受信量の差は0でなければならない。
Figure JPOXMLDOC01-appb-M000002
図27において、"srcx”は仮想リンクVLの始点(ここではクラシファイアA)であり、“dstx”は仮想リンクVLの終点(ここではVNF_A)である。
 ・始点の送信量と受信量の差は1でなければならない。
Figure JPOXMLDOC01-appb-M000003
 ・終点の送信量と受信量の差は-1でなければならない。
Figure JPOXMLDOC01-appb-M000004
 6.3)帯域幅制約条件
 帯域幅制約条件は要求帯域を収容するための条件であり、リンクijに仮想リンクVLがマッピングされている場合、当該リンクijを通る総トラフィック量が当該リンクijの使用可能な帯域幅に収容可能でなければならない。したがって、次式を満たす必要がある。
Figure JPOXMLDOC01-appb-M000005
たとえば、図28を参照すると、スイッチAとサーバAとの間の物理リンクには仮想リンクVL1およびVL3がマッピングされている。したがって、仮想リンクVL1の要求帯域幅と仮想リンクVL3の要求帯域幅の和は、当該物理リンクの利用可能帯域幅以下であることが必要である。
 6.4)コンピューティング制約条件
 コンピューティング制約条件は、仮想マシン(VM)が要求するコンピューティングリソース(CPU、メモリ容量など)を収容するための条件であり、あるサーバを使用する仮想マシン(VM)の要求リソースの総和が当該サーバの使用可能なリソースに収容可能でなければならない。図29に示すような重複を考慮して、次式を満たす必要がある。
Figure JPOXMLDOC01-appb-M000006
 6.5)VNFリンク制約条件
 VNFリンク制約条件は、VNFを実行する仮想マシン(VM)の配置先を決めるための条件であり、次に述べるように、仮想マシン(VM)とサーバのリンクは一本しか使ってはならない。図30に示すように、VNF_Aを例として説明する。
 ・図30(A)に示すように、サーバからVM(VNF_A)へのリンクの使用は、次式に示すように、宛先をVMとする全ての仮想リンクで等しくなければならない。
 upathsv x = upathsv y (∀s,∀ν,∀x|dstx=ν, ∀y|dstx=ν)
 ・図30(B)に示すように、VM(VNF_A)からサーバへのリンクの使用は、次式に示すように、送信元をVMとする全ての仮想リンクで等しくなければならない。
 upathvs x = upathvs y (∀s,∀ν,∀x|srcx=ν, ∀y|srcx=ν)
 ・図30(C)に示すように、サーバからVM(VNF_A)へのリンクの使用とVM(VNF_A)からサーバへのリンクの使用は、次式に示すように、等しくなければならない。
 upathsv x = upathvs y (∀s,∀ν,∀x|dstx=ν, ∀y|srcx=ν)
 6.6)効果
 以上述べたように、本実施形態によれば、上記制約条件の下で線形計画法により、目的関数Cが最小となるupathx ij=1の物理リンクの集合をVNF配置の最適解として求めることができる。この最適解はネットワークパスおよびVNF配置の両方を含む拡張トポロジでの最適解となり、コンピューティングおよびネットワーキングリソースの両方を考慮したサービスチェイニング配置を達成することができる。また、整数計画法を用いることでネットワーク上でのVNF配置を迅速に得ることができる。
 本発明は、仮想ネットワーク機能(VNF)をネットワーク上に配置するシステムで利用可能である。
10、11、12 制御装置
20 ネットワーク
30、31 運用管理装置
111 データベース
112 パス決定部
113 制御部
122 パス決定部
122a ネットワーク条件比較部
122b コンピューティング条件比較部
131 制御部
132  ネットワーク制御部
133 仮想マシン制御部
301 仮想リンク設定部
302 要求条件設定部
303 インターフェース
304 ユーザインターフェース
305 ネットワーク条件設定部
306 コンピューティング条件設定部
311 パス制御部
400 運用管理画面
400a 入力ウィンドウ
400b ネットワーク表示ウィンドウ
401 サービスチェイン入力欄
402 要求条件入力欄
501 データ転送部
502 経路情報データベース
503 インターフェース
600 仮想スイッチ
601 データ転送部
602 経路情報データベース
603 インターフェース
701、702、703 オープンフロースイッチ
704 オープンフローコントローラ
705 セキュリティチャネル
706 フローテーブル

Claims (27)

  1.  複数のノードおよびサーバを有するネットワークを制御する装置であって、
     前記ネットワークのリンクおよびノードに関する第1情報と、仮想ネットワーク機能を配置可能なサーバのコンピューティングリソースに関する第2情報と、を格納する格納手段と、
     少なくとも一つの仮想ネットワーク機能が要求された場合、前記第1情報および前記第2情報に基づいて、前記要求された仮想ネットワーク機能のサーバへの配置と、配置先のサーバに接続する前記ネットワークのパス設定と、を一括で実行するパス決定手段と、
     を有することを特徴とするネットワーク制御装置。
  2.  前記パス決定手段は、前記第1情報および前記第2情報に基づいて、前記少なくとも一つの仮想ネットワーク機能の要求条件を満たす前記パスを決定することを特徴とする請求項1に記載のネットワーク制御装置。
  3.  前記パス決定手段は、
     前記少なくとも一つの仮想ネットワーク機能のネットワークに関する第1要求条件と前記第1情報とを比較する第1比較手段と、
     前記少なくとも一つの仮想ネットワーク機能のコンピューティングリソースに関する第2要求条件と前記第2情報とを比較する第2比較手段と、
     を有し、前記第1比較手段の比較結果と前記第2比較手段の比較結果とに基づいて、前記第1要求条件および前記第2要求条件を共に満たす前記パスを決定することを特徴とする請求項1または2に記載のネットワーク制御装置。
  4.  前記パス決定手段は、前記第1比較手段の比較結果により前記第1要求条件を満たすネットワークパス候補を選択し、前記第2比較手段の比較結果により前記第2要求条件を満たすサーバへの配置を決定し、前記サーバへの配置に従って前記ネットワークパス候補から前記パスを決定する、ことを特徴とする請求項3に記載のネットワーク制御装置。
  5.  前記パス決定手段は、前記第1要求条件を満たすネットワークパス候補の選択と、前記第2要求条件を満たすサーバへの配置の決定とを独立に実行することを特徴とする請求項4に記載のネットワーク制御装置。
  6.  前記パス決定手段は、前記第1要求条件を満たすネットワークパス候補の中から前記第2要求条件を満たすサーバへの配置を決定することを特徴とする請求項4に記載のネットワーク制御装置。
  7.  前記サーバには複数の同一あるいは異なる仮想ネットワーク機能が配置可能であることを特徴とする請求項1-6のいずれか1項に記載のネットワーク制御装置。
  8.  前記ネットワークのノードと、前記サーバにおける前記仮想ネットワーク機能を実行する仮想マシンと、を制御する制御手段を更に有し、
     前記制御手段が前記パス決定手段により決定された前記パスに沿って通信フローが転送されるように前記ネットワークのノードおよびサーバを制御する、ことを特徴とする請求項1-7のいずれか1項に記載のネットワーク制御装置。
  9.  前記サーバは前記ネットワークの少なくとも1つの隣接ノードと接続し、複数の同一あるいは異なる仮想ネットワーク機能の間および/または前記隣接ノードとの間でデータ転送を行う仮想スイッチを有し、前記制御手段が前記ノードと同様に前記仮想スイッチを制御することを特徴とする請求項8に記載のネットワーク制御装置。
  10.  複数のノードおよびサーバを有するネットワークを制御する方法であって、
     前記ネットワークのリンクおよびノードに関する第1情報と、仮想ネットワーク機能を配置可能なサーバのコンピューティングリソースに関する第2情報と、を格納手段に格納し、
     少なくとも一つの仮想ネットワーク機能が要求された場合、前記第1情報および前記第2情報に基づいて、前記要求された仮想ネットワーク機能のサーバへの配置と、配置先のサーバに接続する前記ネットワークのパス設定と、を一括で実行する、
     ことを特徴とするネットワーク制御方法。
  11.  前記第1情報および前記第2情報に基づいて、前記少なくとも一つの仮想ネットワーク機能の要求条件を満たす前記パスを決定する、ことを特徴とする請求項10に記載のネットワーク制御方法。
  12.  第1比較手段が前記少なくとも一つの仮想ネットワーク機能のネットワークに関する第1要求条件と前記第1情報とを比較し、
     第2比較手段が前記少なくとも一つの仮想ネットワーク機能のコンピューティングリソースに関する第2要求条件と前記第2情報とを比較し、
     前記第1比較手段の比較結果と前記第2比較手段の比較結果とに基づいて、前記第1要求条件および前記第2要求条件を共に満たす前記パスを決定する、
     ことを特徴とする請求項10または11に記載のネットワーク制御方法。
  13.  前記第1比較手段の比較結果により前記第1要求条件を満たすネットワークパス候補を選択し、
     前記第2比較手段の比較結果により前記第2要求条件を満たすサーバへの配置を決定し、
     前記サーバへの配置に従って前記ネットワークパス候補から前記パスを決定する、
     ことを特徴とする請求項12に記載のネットワーク制御方法。
  14.  前記第1要求条件を満たすネットワークパス候補の選択と、前記第2要求条件を満たすサーバへの配置の決定とを独立に実行することを特徴とする請求項13に記載のネットワーク制御方法。
  15.  前記第1要求条件を満たすネットワークパス候補の中から前記第2要求条件を満たすサーバへの配置を決定することを特徴とする請求項13に記載のネットワーク制御方法。
  16.  前記サーバには複数の同一あるいは異なる仮想ネットワーク機能が配置可能であることを特徴とする請求項10-15のいずれか1項に記載のネットワーク制御方法。
  17.  決定された前記パスに沿って通信フローが転送されるように前記ネットワークのノードと、前記サーバにおける前記仮想ネットワーク機能を実行する仮想マシンとを制御する、ことを特徴とする請求項10-16のいずれか1項に記載のネットワーク制御方法。
  18.  前記サーバは前記ネットワークの少なくとも1つの隣接ノードと接続し、複数の同一あるいは異なる仮想ネットワーク機能の間および/または前記隣接ノードとの間でデータ転送を行う仮想スイッチを有し、
     前記ノードと同様に前記仮想スイッチを制御することを特徴とする請求項17に記載のネットワーク制御方法。
  19.  複数のノードおよびサーバを有するネットワークと前記ネットワークを制御する制御装置とを有するネットワークシステムであって、
     前記制御装置が、
      ネットワークのリンクおよびノードに関する第1情報と、少なくとも1つの仮想ネットワーク機能を配置可能なサーバのコンピューティングリソースに関する第2情報と、を格納する格納手段と、
      少なくとも一つの仮想ネットワーク機能が要求された場合、前記第1情報および前記第2情報に基づいて、前記要求された仮想ネットワーク機能のサーバへの配置と、配置先のサーバに接続する前記ネットワークのパス設定と、を一括で実行するパス決定手段と、
     を有する、
    ことを特徴とするネットワークシステム。
  20.  前記パス決定手段は、前記第1情報および前記第2情報に基づいて、前記少なくとも一つの仮想ネットワーク機能の要求条件を満たす前記パスを決定することを特徴とする請求項19に記載のネットワークシステム。
  21.  前記パス決定手段は、
     前記少なくとも一つの仮想ネットワーク機能のネットワークに関する第1要求条件と前記第1情報とを比較する第1比較手段と、
     前記少なくとも一つの仮想ネットワーク機能のコンピューティングリソースに関する第2要求条件と前記第2情報とを比較する第2比較手段と、
     を有し、前記第1比較手段の比較結果と前記第2比較手段の比較結果とに基づいて、前記第1要求条件および前記第2要求条件を共に満たす前記パスを決定することを特徴とする請求項19または20に記載のネットワークシステム。
  22.  前記パス決定手段は、前記第1比較手段の比較結果により前記第1要求条件を満たすネットワークパス候補を選択し、前記第2比較手段の比較結果により前記第2要求条件を満たすサーバへの配置を決定し、前記サーバへの配置に従って前記ネットワークパス候補から前記パスを決定する、ことを特徴とする請求項21に記載のネットワークシステム。
  23.  前記サーバには複数の同一あるいは異なる仮想ネットワーク機能が配置可能であることを特徴とする請求項19-22のいずれか1項に記載のネットワークシステム。
  24.  前記制御装置の運用管理を行う運用管理装置を更に有し、
     前記運用管理装置が、
      前記制御装置に対して前記少なくとも一つの仮想ネットワーク機能の要求条件を設定する要求条件設定手段と、
      前記ネットワークのトポロジを前記決定されたパスと共に表示する表示手段と、
     を有する
    ことを特徴とする請求項19-23のいずれか1項に記載のネットワークシステム。
  25.  前記制御装置は、前記ネットワークのノードと、前記サーバにおける前記仮想ネットワーク機能を実行する仮想マシンと、を制御する制御手段を更に有し、
     前記制御手段が前記パス決定手段により決定された前記パスに沿って通信フローが転送されるように前記ネットワークのノードおよびサーバを制御する、ことを特徴とする請求項19-24のいずれか1項に記載のネットワークシステム。
  26.  前記サーバは前記ネットワークの少なくとも1つの隣接ノードと接続し、複数の同一あるいは異なる仮想ネットワーク機能の間および/または前記隣接ノードとの間でデータ転送を行う仮想スイッチを有し、前記制御手段が前記ノードと同様に前記仮想スイッチを制御することを特徴とする請求項25に記載のネットワークシステム。
  27.  複数のノードおよびサーバを有するネットワーク制御装置としてコンピュータを機能させるプログラムであって、
     前記ネットワークのリンクおよびノードに関する第1情報と、仮想ネットワーク機能を配置可能なサーバのコンピューティングリソースに関する第2情報と、格納手段に格納する機能と、
     パス決定手段が、少なくとも一つの仮想ネットワーク機能が要求された場合、前記第1情報および前記第2情報に基づいて、前記要求された仮想ネットワーク機能のサーバへの配置と、配置先のサーバに接続する前記ネットワークのパス設定と、を一括で実行する機能と、
     を前記コンピュータに実現することを特徴とするプログラム。
PCT/JP2015/000525 2014-02-06 2015-02-05 ネットワークシステム、ネットワーク制御方法および制御装置 WO2015118874A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015561226A JP6398999B2 (ja) 2014-02-06 2015-02-05 ネットワークシステム、ネットワーク制御方法および制御装置
US15/117,180 US10218615B2 (en) 2014-02-06 2015-02-05 Network system, network control method and control apparatus
EP15746658.2A EP3104560B1 (en) 2014-02-06 2015-02-05 Network system, network control method, and control device
ES15746658T ES2743547T3 (es) 2014-02-06 2015-02-05 Sistema de red, método de control de red y dispositivo de control

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014020979 2014-02-06
JP2014-020979 2014-02-06

Publications (1)

Publication Number Publication Date
WO2015118874A1 true WO2015118874A1 (ja) 2015-08-13

Family

ID=53777686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000525 WO2015118874A1 (ja) 2014-02-06 2015-02-05 ネットワークシステム、ネットワーク制御方法および制御装置

Country Status (5)

Country Link
US (1) US10218615B2 (ja)
EP (1) EP3104560B1 (ja)
JP (2) JP6398999B2 (ja)
ES (1) ES2743547T3 (ja)
WO (1) WO2015118874A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154325A (ja) * 2014-02-17 2015-08-24 日本電信電話株式会社 装置選択ネットワークシステム、装置選択サーバおよびプログラム
JP2017076967A (ja) * 2015-10-12 2017-04-20 富士通株式会社 マルチドメイン・ネットワークにおけるバーテックス中心のサービス機能チェーン形成
JP2017079352A (ja) * 2015-10-19 2017-04-27 日本電信電話株式会社 リソース割当管理装置、および、サービスチェイニングシステム
JP2017111744A (ja) * 2015-12-18 2017-06-22 日本電信電話株式会社 データ処理システム、データ処理方法、カスタマイズドサービス管理制御装置及びカスタマイズドサービス管理制御プログラム
EP3206349A1 (en) 2016-02-15 2017-08-16 Fujitsu Limited Packet relay program and packet relay method
WO2018142700A1 (ja) * 2017-02-02 2018-08-09 日本電信電話株式会社 制御装置、制御方法、及びプログラム
CN109863726A (zh) * 2016-09-09 2019-06-07 At&T知识产权一部有限合伙公司 分布式客户驻地装置
US10652148B2 (en) 2014-10-30 2020-05-12 At&T Intellectual Property I, L. P. Distributed customer premises equipment
JPWO2021048981A1 (ja) * 2019-09-12 2021-03-18
CN114598613A (zh) * 2022-04-07 2022-06-07 中国移动通信集团陕西有限公司 虚拟网络功能的部署方法、装置、设备及介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116514B1 (en) * 2015-03-30 2018-10-30 Amdocs Development Limited System, method and computer program for deploying an orchestration layer for a network based on network function virtualization (NFV)
US10630557B2 (en) * 2015-10-19 2020-04-21 Nicira, Inc. Virtual network management
US9438478B1 (en) * 2015-11-13 2016-09-06 International Business Machines Corporation Using an SDN controller to automatically test cloud performance
US10439882B2 (en) * 2016-11-15 2019-10-08 T-Mobile Usa, Inc. Virtualized networking application and infrastructure
US10469317B1 (en) 2017-03-29 2019-11-05 Juniper Networks, Inc. Virtualized network function descriptors for virtualized network function configuration
US11575579B2 (en) 2017-04-25 2023-02-07 Nutanix, Inc. Systems and methods for networked microservice modeling
US10735275B2 (en) 2017-06-16 2020-08-04 Cisco Technology, Inc. Releasing and retaining resources for use in a NFV environment
US11070446B2 (en) * 2017-10-24 2021-07-20 At&T Intellectual Property I, L.P. Intelligent network resource orchestration system and method for internet enabled device applications and services
US10809987B2 (en) * 2018-08-14 2020-10-20 Hyperblox Inc. Software acceleration platform for supporting decomposed, on-demand network services
KR102546521B1 (ko) * 2019-01-04 2023-06-22 한국전자통신연구원 분산 엣지 클라우드 환경에서의 서비스 제공 방법 및 서비스 제공 장치
CN111385202B (zh) * 2020-03-17 2022-03-11 重庆邮电大学 一种基于虚拟网络功能的路由分配方法
CN112565082B (zh) * 2020-12-25 2022-06-17 鹏城实验室 基于混合网络的服务链映射方法、智能终端及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329734A1 (en) * 2012-06-11 2013-12-12 Radware, Ltd. Techniques for providing value-added services in sdn-based networks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314587A (ja) 2001-04-17 2002-10-25 Hitachi Ltd ルート設定方法、ルート設定サービス方法、ネットワーク経路管理システム及びネットワーク支援システム
EP1421804A4 (en) * 2001-08-10 2007-11-21 Strix Systems Inc VIRTUAL LINK USING A WIRELESS DEVICE
US8539098B2 (en) * 2007-10-17 2013-09-17 Dispersive Networks, Inc. Multiplexed client server (MCS) communications and systems
US8392497B2 (en) 2009-11-25 2013-03-05 Framehawk, LLC Systems and algorithm for interfacing with a virtualized computing service over a network using a lightweight client
JP5304813B2 (ja) 2011-02-22 2013-10-02 沖電気工業株式会社 通信ノード装置
WO2014058764A1 (en) * 2012-10-08 2014-04-17 Huawei Technologies Co. Ltd. Transport functions virtualization for wavelength division multiplexing (wdm)-based optical networks
US9973375B2 (en) * 2013-04-22 2018-05-15 Cisco Technology, Inc. App store portal providing point-and-click deployment of third-party virtualized network functions
EP2849064B1 (en) * 2013-09-13 2016-12-14 NTT DOCOMO, Inc. Method and apparatus for network virtualization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329734A1 (en) * 2012-06-11 2013-12-12 Radware, Ltd. Techniques for providing value-added services in sdn-based networks

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAISUKE SASO: "Kasoka Tsushin Gijutsu no Hatten SDN/OpenFlow to NFV no Saishin Doko", SOFTWARE DESIGN, vol. 278th, 18 December 2013 (2013-12-18), pages 18 - 23, XP008184637 *
See also references of EP3104560A4 *
WOLFGANG JOHN ET AL.: "Research Directions in Network Service Chaining", SDN4FNS 2013, 2013 WORKSHOP ON SOFTWARE DEFINED NETWORKS FOR FUTURE NETWORKS AND SERVICES, November 2013 (2013-11-01), XP032540960, Retrieved from the Internet <URL:http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6702549> *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154325A (ja) * 2014-02-17 2015-08-24 日本電信電話株式会社 装置選択ネットワークシステム、装置選択サーバおよびプログラム
US11388093B2 (en) 2014-10-30 2022-07-12 Ciena Corporation Distributed customer premises equipment
US10652148B2 (en) 2014-10-30 2020-05-12 At&T Intellectual Property I, L. P. Distributed customer premises equipment
JP2017076967A (ja) * 2015-10-12 2017-04-20 富士通株式会社 マルチドメイン・ネットワークにおけるバーテックス中心のサービス機能チェーン形成
JP2017079352A (ja) * 2015-10-19 2017-04-27 日本電信電話株式会社 リソース割当管理装置、および、サービスチェイニングシステム
JP2017111744A (ja) * 2015-12-18 2017-06-22 日本電信電話株式会社 データ処理システム、データ処理方法、カスタマイズドサービス管理制御装置及びカスタマイズドサービス管理制御プログラム
EP3206349A1 (en) 2016-02-15 2017-08-16 Fujitsu Limited Packet relay program and packet relay method
US10171342B2 (en) 2016-02-15 2019-01-01 Fujitsu Limited Recording medium and packet relay method for relaying a packet in a first sub-domain among a plurality of sub-domains in a service chain configured across the plurality of sub-domains
JP7113006B2 (ja) 2016-09-09 2022-08-04 シエナ コーポレーション 分散顧客構内機器
CN109863726A (zh) * 2016-09-09 2019-06-07 At&T知识产权一部有限合伙公司 分布式客户驻地装置
JP2019533340A (ja) * 2016-09-09 2019-11-14 エイ・ティ・アンド・ティ インテレクチュアル プロパティ アイ,エル.ピー. 分散顧客構内機器
JPWO2018142700A1 (ja) * 2017-02-02 2019-11-07 日本電信電話株式会社 制御装置、制御方法、及びプログラム
WO2018142700A1 (ja) * 2017-02-02 2018-08-09 日本電信電話株式会社 制御装置、制御方法、及びプログラム
US11809895B2 (en) 2017-02-02 2023-11-07 Nippon Telegraph And Telephone Corporation Control device, control method, and program
WO2021048981A1 (ja) * 2019-09-12 2021-03-18 日本電信電話株式会社 ネットワーク管理装置、方法およびプログラム
JPWO2021048981A1 (ja) * 2019-09-12 2021-03-18
JP7264261B2 (ja) 2019-09-12 2023-04-25 日本電信電話株式会社 ネットワーク管理装置、方法およびプログラム
CN114598613A (zh) * 2022-04-07 2022-06-07 中国移动通信集团陕西有限公司 虚拟网络功能的部署方法、装置、设备及介质
CN114598613B (zh) * 2022-04-07 2023-09-29 中国移动通信集团陕西有限公司 虚拟网络功能的部署方法、装置、设备及介质

Also Published As

Publication number Publication date
JP2018191349A (ja) 2018-11-29
JPWO2015118874A1 (ja) 2017-03-23
EP3104560A4 (en) 2017-11-01
US10218615B2 (en) 2019-02-26
JP6648790B2 (ja) 2020-02-14
ES2743547T3 (es) 2020-02-19
JP6398999B2 (ja) 2018-10-03
EP3104560A1 (en) 2016-12-14
EP3104560B1 (en) 2019-05-29
US20160352634A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
JP6648790B2 (ja) ネットワークシステム、ネットワーク制御方法および制御装置
JP6436102B2 (ja) ネットワーク管理方法および装置
WO2015118875A1 (ja) 仮想ネットワーク機能の最適配置方法、ネットワーク制御装置、ネットワーク管理装置およびネットワークシステム
Lin et al. Balanced service chaining in software-defined networks with network function virtualization
US10038629B2 (en) Virtual machine migration using label based underlay network forwarding
CN107078937B (zh) 用于计算机网络中的可达性管理的方法
WO2016157864A1 (ja) ネットワークシステム、ネットワーク制御方法および制御装置
JP6761210B2 (ja) ネットワークシステム、ネットワーク制御方法および制御装置
EP3593504A1 (en) Virtual filtering platform in distributed computing systems
JP6721869B2 (ja) ネットワークシステム、ネットワーク制御方法および制御装置
US20160080263A1 (en) Sdn-based service chaining system
CN112291294A (zh) 内联服务交换机
US20200195558A1 (en) Transparent Migration of Virtual Network Functions
JP2015156168A (ja) データセンタのリソース配分システム及びデータセンタのリソース配分方法
JP2016046736A (ja) サービスチェイニングシステム、サービスチェイニングフォワーダ装置、及びサービスチェイニング方法
EP2978175A1 (en) A method of communicating information over a network and a system for communicating information over a network
US10868759B2 (en) System and method for virtual machine port translation and dynamic routing
JP2016192661A (ja) ネットワークシステム、ネットワーク制御方法および制御装置
JP6330479B2 (ja) 情報処理システム及び情報処理方法
JP6275180B2 (ja) 設定情報生成装置、ネットワーク制御装置、方法、及び、プログラム
WO2016152080A1 (ja) ネットワークシステム、ネットワーク制御方法、制御装置および運用管理装置
JP2016192660A (ja) ネットワークシステム、ネットワーク制御方法、制御装置および運用管理装置
Sharma et al. Switchboard: A Middleware for Wide-Area Service Chaining
Gonuguntla et al. A technology case study on integrating open stack with SDN for internet connectivity using BGP
Cui Software-defined measurement to support programmable networking for SoyKB

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15746658

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015561226

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15117180

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015746658

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015746658

Country of ref document: EP