WO2014106945A1 - 制御装置、通信システム、トンネルエンドポイントの制御方法及びプログラム - Google Patents
制御装置、通信システム、トンネルエンドポイントの制御方法及びプログラム Download PDFInfo
- Publication number
- WO2014106945A1 WO2014106945A1 PCT/JP2013/085147 JP2013085147W WO2014106945A1 WO 2014106945 A1 WO2014106945 A1 WO 2014106945A1 JP 2013085147 W JP2013085147 W JP 2013085147W WO 2014106945 A1 WO2014106945 A1 WO 2014106945A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- virtual
- tunnel endpoint
- virtual machine
- virtual network
- tunnel
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/64—Hybrid switching systems
- H04L12/6418—Hybrid transport
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/25—Mapping addresses of the same type
- H04L61/2503—Translation of Internet protocol [IP] addresses
- H04L61/2592—Translation of Internet protocol [IP] addresses using tunnelling or encapsulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/036—Updating the topology between route computation elements, e.g. between OpenFlow controllers
Definitions
- the present invention is based on a Japanese patent application: Japanese Patent Application No. 2013-000160 (filed on Jan. 4, 2013), and the entire description of the application is incorporated herein by reference.
- the present invention relates to a control device, a communication system, a tunnel endpoint control method, and a program, and more particularly to a control device, a communication system, and a tunnel end that control communication between virtual machines belonging to a virtual network configured using a virtual tunnel.
- the present invention relates to a point control method and a program.
- Non-Patent Document 1 is a draft of VXLAN.
- VXLAN encapsulates layer 2 frames at the tunnel end point that is the end point of the virtual tunnel.
- VNI VXLAN Network Identifier
- Header see page 9 “5. VXLAN Frame Format” of Non-Patent Document 1).
- This VNI is twice as long as the VLAN ID defined in IEEE802.1Q, and has received attention because it can dramatically increase the number of “tenants (physical network shared users)” in the cloud computing environment. (Maximum is about 16.77 million (2 ⁇ 24)).
- Non-Patent Document 2 is a draft of NVGRE that performs the same tunneling as VXLAN. Also in NVGRE, the number of segments that can be logically divided is increased by Tenant Network Identifier (TNI) having a length of 24 bits.
- TTI Tenant Network Identifier
- Non-Patent Documents 3 and 4 OpenFlow captures communication as an end-to-end flow and performs path control, failure recovery, load balancing, and optimization on a per-flow basis.
- the OpenFlow switch specified in Non-Patent Document 4 includes a secure channel for communication with the OpenFlow controller, and operates according to a flow table that is appropriately added or rewritten from the OpenFlow controller. For each flow, a set of match conditions (Match Fields), flow statistical information (Counters), and instructions (Instructions) that define processing contents are defined for each flow (non-patented). (Refer to “4.1 Flow Table” in Document 4).
- the OpenFlow switch searches the flow table for an entry having a matching condition (see “4.3 Match Fields” in Non-Patent Document 4) that matches the header information of the received packet. If an entry that matches the received packet is found as a result of the search, the OpenFlow switch updates the flow statistical information (counter) and processes the processing (designated) in the instruction field of the entry for the received packet. Perform packet transmission, flooding, discard, etc. from the port. On the other hand, if no entry that matches the received packet is found as a result of the search, the OpenFlow switch requests the OpenFlow controller to set an entry, that is, determines the processing content of the received packet, via the secure channel. A request (Packet-In message) is transmitted. The OpenFlow switch receives a flow entry whose processing content is defined and updates the flow table. In this way, the OpenFlow switch performs packet transfer using the entry stored in the flow table as a processing rule.
- a matching condition see “4.3 Match Fields” in Non-Patent Document 4
- the OpenFlow switch updates the flow
- NVGRE Network Virtualization using Generating Routing Encapsulation
- [online] [November 29, 2012 search]
- “OpenFlow: Enabling Innovation in Campus Networks” [online], [searched on November 22, 2012]
- a virtual machine is connected to an opposing TEP via a tunnel end point (hereinafter “TEP”) that terminates the virtual tunnel.
- TEP tunnel end point
- the TEP to which the virtual machine is connected participates in the virtual network associated with the virtual machine (more precisely, the TEP participates in the multicast group of the corresponding VNI). Setting is required.
- Non-Patent Document 1 or 2 When virtual machines communicate with each other through a virtual tunnel conforming to NVGRE, settings for joining (connecting) a TEP to a virtual network and management of the set information are complicated. .
- the present invention provides a control device, a communication system, a tunnel endpoint control method, and a program that can contribute to facilitating connection setting and management between a TEP and a virtual network in a virtual network configured using a virtual tunnel. Objective.
- a connection detection unit that detects that a virtual machine is newly connected to a tunnel endpoint that functions as a termination point of a virtual tunnel used for communication between virtual machines belonging to a virtual network, and a virtual Based on information associating a machine with a virtual network, a virtual network specifying unit that specifies a virtual network to which the detected virtual machine belongs, and the tunnel endpoint does not participate in the specified virtual network,
- a control device including a tunnel end point control unit that causes the tunnel end point to participate in the identified virtual network.
- a connection detection unit that detects that a virtual machine is newly connected to a tunnel endpoint that functions as a termination point of a virtual tunnel used for communication between virtual machines belonging to a virtual network; Based on information associating a machine with a virtual network, a virtual network specifying unit that specifies a virtual network to which the detected virtual machine belongs, and the tunnel endpoint does not participate in the specified virtual network,
- a communication system including a control device including a tunnel end point control unit that causes the tunnel end point to participate in a specified virtual network, and a tunnel end point controlled by the control device.
- a control device that controls a tunnel endpoint that functions as a termination point of a virtual tunnel used for communication between virtual machines belonging to a virtual network has a virtual machine newly connected to the tunnel endpoint. Detecting the event, identifying the virtual network to which the detected virtual machine belongs based on the information associating the virtual machine with the virtual network, and the tunnel endpoint joining the identified virtual network If not, joining the tunnel endpoint to the identified virtual network is provided.
- the method is tied to a specific machine, a controller that controls the tunnel endpoint.
- a computer that controls a tunnel endpoint functioning as a termination point of a virtual tunnel used for communication between virtual machines belonging to a virtual network has a new virtual machine at the tunnel endpoint.
- a process of detecting connection, a process of identifying a virtual network to which the detected virtual machine belongs based on information associating a virtual machine and a virtual network, and the virtual network identified by the tunnel endpoint In the case where the tunnel endpoint is not joined, a program for executing the process of joining the tunnel endpoint to the identified virtual network is provided.
- This program can be recorded on a computer-readable (non-transient) storage medium. That is, the present invention can be embodied as a computer program product.
- the present invention it is possible to contribute to facilitating connection setting and management between a TEP and a virtual network in a virtual network configured using a virtual tunnel.
- FIG. 3 is a diagram showing a state in which a new VM 7 is connected to TEP-2 in FIG. It is a figure which shows the entry added to VM-TEP connection state memory
- the present invention can be realized by a control device 10 ⁇ / b> A including a virtual network specifying unit 11, a connection detection unit 12, and a TEP (tunnel end point) control unit 13. .
- connection detection unit 12 adds a new virtual machine to a tunnel endpoint (for example, TEP-1 in FIG. 1) that functions as a termination point of a virtual tunnel used for communication between virtual machines belonging to a virtual network.
- a tunnel endpoint for example, TEP-1 in FIG. 1
- VM1 in FIG. 1 is detected to be connected.
- a notification to that effect is received from the tunnel endpoint, or a notification is received from a virtual network management system that provides a management environment for the virtual machine or virtual switch.
- Various methods such as a method can be adopted.
- the virtual network specifying unit 11 specifies the virtual network to which the detected virtual machine (for example, VM1 in FIG. 1) belongs based on the information that associates the virtual machine with the virtual network.
- the virtual network specifying method includes a method using a table equivalent to the table managing the relationship between the MAC address of the virtual machine held by the tunnel end point and the VNI, or the like, or VNI for the virtual machine detection notification from the tunnel end point. The method etc. of including can be used.
- the TEP control unit 13 The tunnel endpoint is joined to the virtual network. Specifically, processing for instructing the tunnel end point to join (JOIN) the multicast group configured in the specified virtual network is performed.
- the setting of the tunnel endpoint triggered by the connection of the virtual machine to the tunnel endpoint is automated.
- FIG. 2 is a diagram illustrating the configuration of the communication system according to the first embodiment of this invention.
- a physical network physical NW
- a virtual network virtual NW # 1 to # 3
- a virtual tunnel is configured on virtual NW # 1 to # 3 Tunnel endpoints TEP-1 to TEP-3
- VM1 to VM6 connectable to these tunnel endpoints TEP-1 to TEP-3
- a control device 10 for controlling the tunnel endpoints TEP-1 to TEP-3 It is shown.
- the virtual NWs # 1 to # 3 are connected to the same tunnel endpoint or other tunnel endpoints by using the tunnel endpoints, even if each VM does not know the identifier of the virtual network to which it belongs. It is a network that is logically divided using VXLAN, NVGRE, STT of Non-Patent Documents 1 and 2 that are communicable with a VM, or a method equivalent to these.
- the tunnel end points TEP-1 to TEP-3 are configured by physical switches, virtual switches, or the like controlled by the control device 10, and configure a virtual tunnel between the tunnel end points facing each other across the virtual NW.
- the tunnel protocol VXLAN, NVGRE, STT of Non-Patent Documents 1 and 2, or a protocol equivalent to these can be used.
- VM1 to VM6 are managed by a hypervisor (not shown) and operate on a virtualization server or the like.
- the tunnel end points TEP-1 to TEP-3 are physical switches
- the VM1 to VM6 are connected to the tunnel end points TEP-1 to TEP-3 via the virtual switch provided on the virtualization server. Will do.
- numbers # 1 to # 3 written together with VM1 to VM6 in FIG. 2 indicate virtual networks to which VM1 to VM6 belong, respectively.
- FIG. 3 is a functional block diagram showing a detailed configuration of the control device according to the first embodiment of the present invention.
- a virtual network specifying unit 11 a connection detection unit 12, a TEP control unit 13, a VM-virtual NW correspondence storage unit (second storage unit) 14, and a VM-TEP connection state storage unit
- a configuration including a (first storage unit) 15 and a TEP participation state storage unit (third storage unit) 16 is shown.
- FIG. 4 is an example of information held in the VM-TEP connection state storage unit 15 of the control device of this embodiment.
- an entry indicating that VM1 and VM2 are connected to the tunnel end point TEP-1 is stored.
- an entry indicating that VM3 and VM4 are connected to tunnel end point TEP-2 and VM5 and VM6 are connected to tunnel end point TEP-3 is stored.
- connection detecting unit 12 When the connection detecting unit 12 detects the connection of the new VM to the TEP, the connection detecting unit 12 adds an entry corresponding to the VM-TEP connection state storage unit 15 and notifies the virtual network specifying unit 11 of the entry. In addition, when detecting the removal or movement of the VM from the TEP, the connection detection unit 12 deletes the entry corresponding to the VM-TEP connection state storage unit 15 and notifies the virtual network specifying unit 11 to that effect.
- the control device 10 As a method for the control device 10 to detect the connection of the VM to the TEP, from the method of receiving the notification from the TEP described above, the management system of the virtual network that provides the management environment of the virtual machine or the virtual switch, etc.
- a method of receiving a notification a method of receiving a notification from a VM administrator or a servicer, a method of analyzing a packet transmitted from a VM, and determining based on the feature or identifier may be employed.
- the control device 10 is controlled from another device that manages the virtual machine (for example, a virtual machine management device or a higher-level device that manages the control device and the virtual machine management device). It is also possible to employ a method in which the connection detection unit 12 of the device 10 receives a notification of connection to the VM TEP. In addition, a function for notifying the control device 10 of the connection to the TEP may be added to the virtual machine itself when the TEP is connected.
- control information (flow entry) may be set such that when a packet from the VM is received, the packet is output from a port connected to the control device 10,
- a mechanism in which the OpenFlow switch transmits a Packet-In message for requesting transmission of control information (flow entry) to the OpenFlow controller may be used.
- FIG. 5 is an example of information held in the VM-virtual NW correspondence storage unit 14 of the control device of this embodiment.
- VM1, VM4, and VM5 belong to virtual network # 1
- VM2, VM6, and VM7 belong to virtual network # 3
- VM3 belongs to virtual network # 2.
- An entry indicating the correspondence relationship is stored.
- the mapping information indicating the correspondence between the VM MAC address and the VNI (TNI) held by the TEP for determining the transfer destination of the received packet is shown. It can also be obtained from TEP and used (see “4.1. Unicast VM to VM communication” in Non-Patent Document 1).
- the virtual network specifying unit 11 When the virtual network specifying unit 11 receives the notification of the connection of the new VM from the connection detecting unit 12, the virtual network specifying unit 11 specifies the virtual network to which the new VM belongs by referring to the VM-virtual NW correspondence storage unit 14, and the result is TEP. Notify the control unit 13.
- the virtual network specifying unit 11 receives the VM disconnection notification from the connection detecting unit 12, the virtual network specifying unit 11 refers to the VM-virtual NW correspondence storage unit 14, specifies the virtual network to which the new VM should belong, and performs TEP control to that effect. Notification to the unit 13.
- the TEP control unit 13 When the TEP control unit 13 receives the notification of the specified virtual network from the virtual network specifying unit 11 and the connection or disconnection of the VM, the TEP control unit 13 refers to the TEP participation state storage unit 16 and determines whether the TEP needs to participate in the virtual network. Judgment is made and TEP is controlled according to the result. For example, when the TEP control unit 13 receives a connection notification of a new VM, the TEP to which the newly detected VM is connected with reference to the connection state between the virtual network and the TEP as shown in FIG. If the virtual network does not participate, the TEP connected to the newly detected VM is joined (JOINed) to the multicast group configured in the corresponding virtual network.
- the TEP control unit 13 determines that the virtual network corresponding to the TEP from which the VM has left Processing to leave (LEAVE) the multicast group is performed. Further, the TEP control unit 13 updates the contents of the TEP participation state storage unit 16 according to the participation and withdrawal of the TEP from the virtual network.
- IGMP Internet Group Management Protocol
- LEAVE Internet Group Management Protocol
- the VM-virtual NW correspondence storage unit 14, the VM-TEP connection status storage unit 15, and the TEP participation status storage unit 16 are independent for the sake of explanation.
- a database or the like may be provided.
- the virtual network identification unit 11, the connection detection unit 12, and the TEP control unit 13 can be appropriately integrated.
- FIG. 7 is a diagram showing a state in which the VM 7 is started up and connected to the TEP-2 from the state of FIG.
- the connection detection unit 12 of the control device 10 detects the connection of the VM 7 to the TEP-2, as shown in FIG. 8, the VM-TEP connection state storage unit 15 associates the VM 7 with the TEP-2. And is notified to the virtual network specifying unit 11 (step S001).
- the virtual network specifying unit 11 refers to the VM-virtual NW correspondence storage unit 14 and specifies the virtual network to which the VM 7 connected to TEP-2 belongs.
- the virtual network specifying unit 11 specifies the virtual network # 3 as the virtual network to which the VM 7 belongs as shown in FIG. Step S002).
- the virtual network specifying unit 11 notifies the TEP control unit 13 that the VM 7 belonging to the virtual network # 3 is connected to TEP-2.
- the TEP control unit 13 Upon receipt of the notification, the TEP control unit 13 refers to the TEP participation state storage unit 16 and determines whether or not TEP-2 has already participated in the virtual network # 3. As a result of the determination, if TEP-2 has not participated in the virtual network # 3, the TEP control unit 13 performs a process of allowing TEP-2 to participate in the virtual network # 3 as shown in FIG. 10 (step S003). . Further, as shown in FIG. 11, the TEP control unit 13 adds an entry in which the TEP-2 and the virtual network # 3 are associated with each other in the TEP participation state storage unit 16.
- the connection detection unit 12 of the control device 10 detects the VM 7 leaving the TEP-2, and as shown in FIG. 4, the VM-TEP connection state storage unit 15 Then, the entry that associates VM7 and TEP-2 is deleted and notified to the virtual network specifying unit 11.
- the virtual network specifying unit 11 refers to the VM-virtual NW correspondence storage unit 14 and specifies the virtual network to which the VM 7 that has left the TEP-2 belongs.
- the virtual network specifying unit 11 tells the TEP control unit 13 that the VM 7 belonging to the virtual network # 3 has left TEP-2. To be notified.
- the TEP control unit 13 Upon receipt of the notification, the TEP control unit 13 refers to the VM-TEP connection state storage unit 15 and the TEP participation state storage unit 16, and connects to the virtual network # 3 via TEP-2 when VM7 is disconnected. It is determined whether or not exists. As a result of the determination, if there is no VM connected to the virtual network # 3 via the TEP-2, the TEP control unit 13 performs a process of withdrawing the TEP-2 from the virtual network # 3. Further, as shown in FIG. 6, the TEP control unit 13 deletes the entry in which the TEP-2 and the virtual network # 3 are associated with each other from the TEP participation state storage unit 16.
- the participation or withdrawal of the virtual network of the TEP linked with the connection or withdrawal of the VM from the TEP is executed.
- connection setting between the TEP and the virtual network and complicated management are not necessary, and the burden on the network administrator is reduced.
- connection detection unit detects the departure of the virtual machine from the tunnel endpoint
- connection detection unit notifies the virtual network identification unit of the removal of the virtual machine from the tunnel endpoint
- the virtual network identifying unit identifies a virtual network to which the detached virtual machine belongs based on information associating a virtual machine and a virtual network, and the detached virtual machine is informed to the tunnel endpoint control unit.
- the tunnel endpoint control unit moves the tunnel endpoint from the specified virtual network.
- Control device to withdraw In the control device of the first or second form, further, A first storage unit for storing a virtual machine connected to the tunnel endpoint; A second storage unit that stores a correspondence relationship between the virtual machine and the virtual network; A third storage unit storing a virtual network in which each of the tunnel endpoints participates, A control device that refers to the third storage unit and determines whether or not the tunnel endpoint to which the virtual machine is newly connected participates in the specified virtual network.
- the connection detection unit is a control device that detects that the virtual machine is connected to a tunnel endpoint based on a report from a virtualization server on which the newly connected virtual machine operates.
- the virtual machine is connected to the tunnel endpoint by setting control information to notify the switch constituting the tunnel endpoint that the virtual machine is connected based on a packet from the virtual machine. Control device to detect.
- Control device 11 Virtual network specifying unit 12 Connection detection unit 13 TEP control unit 14 VM-virtual NW correspondence storage unit (second storage unit) 15 VM-TEP connection state storage unit (first storage unit) 16 TEP participation state storage unit (third storage unit) TEP-1 to TEP-3 Tunnel endpoint VM1 to VM6 Virtual machine
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、日本国特許出願:特願2013-000160号(2013年 1月 4日出願)に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、制御装置、通信システム、トンネルエンドポイントの制御方法及びプログラムに関し、特に、仮想トンネルを用いて構成された仮想ネットワークに属する仮想マシン間の通信を制御する制御装置、通信システム、トンネルエンドポイントの制御方法及びプログラムに関する。
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図2は、本発明の第1の実施形態の通信システムの構成を示す図である。図2を参照すると、物理ネットワーク(物理NW)と、この物理NWを用いて論理分割された仮想ネットワーク(仮想NW#1~#3)と、仮想NW#1~#3上に仮想トンネルを構成するトンネルエンドポイントTEP-1~TEP-3と、これらトンネルエンドポイントTEP-1~TEP-3に接続可能なVM1~VM6と、トンネルエンドポイントTEP-1~TEP-3を制御する制御装置10が示されている。
[第1の形態]
(上記第1の視点による制御装置参照)
[第2の形態]
第1の形態の制御装置において、
前記接続検出部は、前記仮想マシンのトンネルエンドポイントからの離脱を検出すると、前記仮想ネットワーク特定部に対し、前記仮想マシンのトンネルエンドポイントからの離脱を通知し、
仮想ネットワーク特定部は、仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記離脱した仮想マシンが属する仮想ネットワークを特定して、前記トンネルエンドポイント制御部に対し、前記離脱した仮想マシンが属する仮想ネットワークと、前記仮想マシンが接続していたトンネルエンドポイントとを通知し、
前記トンネルエンドポイント制御部は、前記仮想マシンの離脱により、当該トンネルエンドポイントを介して前記特定した仮想ネットワークに接続する仮想マシンがなくなった場合に、前記トンネルエンドポイントを、前記特定した仮想ネットワークから脱退させる制御装置。
[第3の形態]
第1又は第2の形態の制御装置において、
さらに、
前記トンネルエンドポイントに接続している仮想マシンを記憶する第1の記憶部と、
前記仮想マシンと仮想ネットワークとの対応関係を記憶する第2の記憶部と、
前記各トンネルエンドポイントが参加している仮想ネットワークを記憶する第3の記憶部とを備え、
前記第3の記憶部を参照して、前記新規に仮想マシンが接続したトンネルエンドポイントが前記特定した仮想ネットワークに参加しているか否かを判定する制御装置。
[第4の形態]
第1~第3いずれか一の形態の制御装置において、
前記接続検出部は、前記新規に接続した仮想マシンが動作する仮想化サーバからの報告により、前記仮想マシンがトンネルエンドポイントに接続されたことを検出する制御装置。
[第5の形態]
第1~第3いずれか一の形態の制御装置において、
前記トンネルエンドポイントを構成するスイッチに、仮想マシンからのパケットに基づいて、前記仮想マシンが接続されたことを通知させる制御情報を設定することにより、前記仮想マシンがトンネルエンドポイントに接続されたことを検出する制御装置。
[第6の形態]
(上記第2の視点による通信システム参照)
[第7の形態]
(上記第3の視点によるトンネルエンドポイントの制御方法参照)
[第8の形態]
(上記第4の視点によるプログラム参照)
なお、上記第6~第8の形態は、第1の形態と同様に、第2~第5の形態に展開することが可能である。
11 仮想ネットワーク特定部
12 接続検出部
13 TEP制御部
14 VM-仮想NW対応関係記憶部(第2の記憶部)
15 VM-TEP接続状態記憶部(第1の記憶部)
16 TEP参加状態記憶部(第3の記憶部)
TEP-1~TEP-3 トンネルエンドポイント
VM1~VM6 仮想マシン
Claims (20)
- 仮想ネットワークに属する仮想マシン間の通信に用いる仮想トンネルの終端ポイントとして機能するトンネルエンドポイントに、新規に仮想マシンが接続されたことを検出する接続検出部と、
仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記検出した仮想マシンが属する仮想ネットワークを特定する仮想ネットワーク特定部と、
前記トンネルエンドポイントが前記特定した仮想ネットワークに参加していない場合、前記特定した仮想ネットワークに前記トンネルエンドポイントを参加させるトンネルエンドポイント制御部と、
を備える制御装置。 - 前記接続検出部は、前記仮想マシンのトンネルエンドポイントからの離脱を検出すると、前記仮想ネットワーク特定部に対し、前記仮想マシンのトンネルエンドポイントからの離脱を通知し、
前記仮想ネットワーク特定部は、前記仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記離脱した仮想マシンが属する仮想ネットワークを特定して、前記トンネルエンドポイント制御部に対し、前記離脱した仮想マシンが属する仮想ネットワークと、前記仮想マシンが接続していたトンネルエンドポイントとを通知し、
前記トンネルエンドポイント制御部は、前記仮想マシンの離脱により、当該トンネルエンドポイントを介して前記特定した仮想ネットワークに接続する仮想マシンがなくなったこと場合に、前記トンネルエンドポイントを、前記特定した仮想ネットワークから脱退させる、
請求項1の制御装置。 - さらに、
前記トンネルエンドポイントに接続している仮想マシンを記憶する第1の記憶部と、
前記仮想マシンと仮想ネットワークとの対応関係を記憶する第2の記憶部と、
前記各トンネルエンドポイントが参加している仮想ネットワークを記憶する第3の記憶部と、を備え、
前記第3の記憶部を参照して、前記新規に仮想マシンが接続したトンネルエンドポイントが前記特定した仮想ネットワークに参加しているか否かを判定する請求項1又は2の制御装置。 - 前記接続検出部は、前記新規に接続した仮想マシンが動作する仮想化サーバからの報告により、前記仮想マシンがトンネルエンドポイントに接続されたことを検出する請求項1から3いずれか一の制御装置。
- 前記トンネルエンドポイントを構成するスイッチに、仮想マシンからのパケットに基づいて、前記仮想マシンが接続されたことを通知させる制御情報を設定することにより、前記仮想マシンがトンネルエンドポイントに接続されたことを検出する請求項1から3いずれか一の制御装置。
- 仮想ネットワークに属する仮想マシン間の通信に用いる仮想トンネルの終端ポイントとして機能するトンネルエンドポイントに、新規に仮想マシンが接続されたことを検出する接続検出部と、
仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記検出した仮想マシンが属する仮想ネットワークを特定する仮想ネットワーク特定部と、
前記トンネルエンドポイントが前記特定した仮想ネットワークに参加していない場合、前記特定した仮想ネットワークに前記トンネルエンドポイントを参加させるトンネルエンドポイント制御部と、
を備える制御装置と、
前記制御装置によって制御されるトンネルエンドポイントと、を含む通信システム。 - 前記接続検出部は、前記仮想マシンのトンネルエンドポイントからの離脱を検出すると、前記仮想ネットワーク特定部に対し、前記仮想マシンのトンネルエンドポイントからの離脱を通知し、
前記仮想ネットワーク特定部は、前記仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記離脱した仮想マシンが属する仮想ネットワークを特定して、前記トンネルエンドポイント制御部に対し、前記離脱した仮想マシンが属する仮想ネットワークと、前記仮想マシンが接続していたトンネルエンドポイントとを通知し、
前記トンネルエンドポイント制御部は、前記仮想マシンの離脱により、当該トンネルエンドポイントを介して前記特定した仮想ネットワークに接続する仮想マシンがなくなった場合に、前記トンネルエンドポイントを、前記特定した仮想ネットワークから脱退させる、
請求項6の通信システム。 - さらに、前記制御装置が、
前記トンネルエンドポイントに接続している仮想マシンを記憶する第1の記憶部と、
前記仮想マシンと仮想ネットワークとの対応関係を記憶する第2の記憶部と、
前記各トンネルエンドポイントが参加している仮想ネットワークを記憶する第3の記憶部と、を備え、
前記第3の記憶部を参照して、前記新規に仮想マシンが接続したトンネルエンドポイントが前記特定した仮想ネットワークに参加しているか否かを判定する請求項6又は7の通信システム。 - 前記接続検出部は、前記新規に接続した仮想マシンが動作する仮想化サーバからの報告により、前記仮想マシンがトンネルエンドポイントに接続されたことを検出する請求項6から8いずれか一の通信システム。
- 前記トンネルエンドポイントを構成するスイッチに、仮想マシンからのパケットに基づいて、前記仮想マシンが接続されたことを通知させる制御情報を設定することにより、前記仮想マシンがトンネルエンドポイントに接続されたことを検出する請求項6から9いずれか一の通信システム。
- 仮想ネットワークに属する仮想マシン間の通信に用いる仮想トンネルの終端ポイントとして機能するトンネルエンドポイントを制御する制御装置が、
前記トンネルエンドポイントに、新規に仮想マシンが接続されたことを検出するステップと、
仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記検出した仮想マシンが属する仮想ネットワークを特定するステップと、
前記トンネルエンドポイントが前記特定した仮想ネットワークに参加していない場合、前記特定した仮想ネットワークに前記トンネルエンドポイントを参加させるステップと、
を含むトンネルエンドポイントの制御方法。 - さらに、前記制御装置が、
前記仮想マシンのトンネルエンドポイントからの離脱を検出するステップと、
前記仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記離脱した仮想マシンが属する仮想ネットワークを特定するステップと、
前記仮想マシンの離脱により、当該トンネルエンドポイントを介して前記特定した仮想ネットワークに接続する仮想マシンがなくなった場合に、前記トンネルエンドポイントを、前記特定した仮想ネットワークから脱退させるステップと、
を含む請求項11のトンネルエンドポイントの制御方法。 - 前記制御装置は、
前記各トンネルエンドポイントが参加している仮想ネットワークを記憶する記憶部を参照して、前記新規に仮想マシンが接続したトンネルエンドポイントが前記特定した仮想ネットワークに参加しているか否かを判定する請求項11又は12のトンネルエンドポイントの制御方法。 - 前記制御装置は、
前記新規に接続した仮想マシンが動作する仮想化サーバからの報告により、前記仮想マシンがトンネルエンドポイントに接続されたことを検出する請求項11から13いずれか一のトンネルエンドポイントの制御方法。 - 前記制御装置は、
前記トンネルエンドポイントを構成するスイッチに、仮想マシンからのパケットに基づいて、前記仮想マシンが接続されたことを通知させる制御情報を設定することにより、前記仮想マシンがトンネルエンドポイントに接続されたことを検出する請求項11から14いずれか一のトンネルエンドポイントの制御方法。 - 仮想ネットワークに属する仮想マシン間の通信に用いる仮想トンネルの終端ポイントとして機能するトンネルエンドポイントを制御するコンピュータに、
前記トンネルエンドポイントに、新規に仮想マシンが接続されたことを検出する処理と、
仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記検出した仮想マシンが属する仮想ネットワークを特定する処理と、
前記トンネルエンドポイントが前記特定した仮想ネットワークに参加していない場合、前記特定した仮想ネットワークに前記トンネルエンドポイントを参加させる処理と、
を実行させるプログラム。 - さらに、前記コンピュータに、
前記仮想マシンのトンネルエンドポイントからの離脱を検出する処理と、
前記仮想マシンと仮想ネットワークとを対応付けた情報に基づいて、前記離脱した仮想マシンが属する仮想ネットワークを特定する処理と、
前記仮想マシンの離脱により、当該トンネルエンドポイントを介して前記特定した仮想ネットワークに接続する仮想マシンがなくなった場合に、前記トンネルエンドポイントを、前記特定した仮想ネットワークから脱退させる処理と、
を実行させる請求項16のプログラム。 - 前記コンピュータに、
前記各トンネルエンドポイントが参加している仮想ネットワークを記憶する前記コンピュータの記憶部を参照して、前記新規に仮想マシンが接続したトンネルエンドポイントが前記特定した仮想ネットワークに参加しているか否かを判定させる請求項16又は17のプログラム。 - 前記コンピュータに、
前記新規に接続した仮想マシンが動作する仮想化サーバからの報告により、前記仮想マシンがトンネルエンドポイントに接続されたことを検出させる請求項16から18いずれか一のプログラム。 - 前記コンピュータに、さらに、
前記トンネルエンドポイントを構成するスイッチに、仮想マシンからのパケットに基づいて前記仮想マシンが接続されたことを通知する制御情報を設定する処理を実行させ、
前記コンピュータに、
前記前記トンネルエンドポイントを構成するスイッチからの通知により、前記仮想マシンがトンネルエンドポイントに接続されたことを検出させる請求項16から19いずれか一のプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201380069364.9A CN104904165B (zh) | 2013-01-04 | 2013-12-27 | 控制装置、通信系统以及隧道端点的控制方法 |
US14/758,748 US9667527B2 (en) | 2013-01-04 | 2013-12-27 | Control apparatus, communication system, tunnel endpoint control method, and program |
EP13869934.3A EP2942912B1 (en) | 2013-01-04 | 2013-12-27 | Control device, communication system, tunnel endpoint control method and program |
JP2014555458A JP6417942B2 (ja) | 2013-01-04 | 2013-12-27 | 制御装置、通信システム、トンネルエンドポイントの制御方法及びプログラム |
US15/494,430 US10462038B2 (en) | 2013-01-04 | 2017-04-21 | Control apparatus, communication system, tunnel endpoint control method, and program |
US16/591,286 US11190435B2 (en) | 2013-01-04 | 2019-10-02 | Control apparatus, communication system, tunnel endpoint control method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-000160 | 2013-01-04 | ||
JP2013000160 | 2013-01-04 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/758,748 A-371-Of-International US9667527B2 (en) | 2013-01-04 | 2013-12-27 | Control apparatus, communication system, tunnel endpoint control method, and program |
US15/494,430 Continuation US10462038B2 (en) | 2013-01-04 | 2017-04-21 | Control apparatus, communication system, tunnel endpoint control method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014106945A1 true WO2014106945A1 (ja) | 2014-07-10 |
Family
ID=51062265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/085147 WO2014106945A1 (ja) | 2013-01-04 | 2013-12-27 | 制御装置、通信システム、トンネルエンドポイントの制御方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (3) | US9667527B2 (ja) |
EP (1) | EP2942912B1 (ja) |
JP (1) | JP6417942B2 (ja) |
CN (1) | CN104904165B (ja) |
WO (1) | WO2014106945A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160024671A (ko) * | 2014-08-26 | 2016-03-07 | 한국전자통신연구원 | 프록시 터널종단 장치, 이를 포함하는 확장형 네트워크 가상화 통신 시스템 및 확장형 네트워크 가상화 통신 방법 |
JP2016134659A (ja) * | 2015-01-15 | 2016-07-25 | 日本電信電話株式会社 | オーバレイトンネル制御システム及びオーバレイトンネル制御方法 |
JP2017034431A (ja) * | 2015-07-31 | 2017-02-09 | 日本電信電話株式会社 | 通信システムおよび通信方法 |
JP2019515608A (ja) * | 2016-05-20 | 2019-06-06 | 新華三技術有限公司New H3C Technologies Co., Ltd. | アクセス制御 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9876711B2 (en) * | 2013-11-05 | 2018-01-23 | Cisco Technology, Inc. | Source address translation in overlay networks |
US11455181B1 (en) * | 2014-09-19 | 2022-09-27 | Amazon Technologies, Inc. | Cross-network connector appliances |
US20170293500A1 (en) * | 2016-04-06 | 2017-10-12 | Affirmed Networks Communications Technologies, Inc. | Method for optimal vm selection for multi data center virtual network function deployment |
CN106302076B (zh) * | 2016-07-22 | 2020-03-06 | 浪潮(北京)电子信息产业有限公司 | 建立vxlan隧道的方法、系统及sdn控制器 |
US10778464B2 (en) * | 2018-04-20 | 2020-09-15 | Futurewei Technologies, Inc. | NSH encapsulation for traffic steering establishing a tunnel between virtual extensible local area network (VxLAN) tunnel end points (VTEPS) using a NSH encapsulation header comprising a VxLAN header whose VNI field has been replaced by an NSH shim |
US10931568B2 (en) * | 2018-07-02 | 2021-02-23 | Hewlett Packard Enterprise Development Lp | Hitless maintenance of a L3 network |
CN110858838B (zh) * | 2018-08-24 | 2021-03-09 | Oppo广东移动通信有限公司 | 桥接通信的方法和设备 |
US11240160B2 (en) * | 2018-12-28 | 2022-02-01 | Alibaba Group Holding Limited | Method, apparatus, and computer-readable storage medium for network control |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011070549A (ja) * | 2009-09-28 | 2011-04-07 | Nec Corp | コンピュータシステム、及び仮想マシンのマイグレーション方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3811007B2 (ja) * | 1998-02-20 | 2006-08-16 | エーディーシー テレコミュニケーションズ,インコーポレイティド | 仮想接続の保護切替 |
US7366894B1 (en) * | 2002-06-25 | 2008-04-29 | Cisco Technology, Inc. | Method and apparatus for dynamically securing voice and other delay-sensitive network traffic |
CA2585808A1 (en) * | 2007-03-26 | 2008-09-26 | David Ker | Method and system for implementing a secured and centrally managed virtual ip network on a common ip network infrastructure |
US8767631B2 (en) * | 2007-09-25 | 2014-07-01 | Samsung Electronics Co., Ltd. | Method and system for alternate wireless channel selection for uplink and downlink data communication |
US20090249471A1 (en) * | 2008-03-27 | 2009-10-01 | Moshe Litvin | Reversible firewall policies |
US8990911B2 (en) | 2008-03-30 | 2015-03-24 | Emc Corporation | System and method for single sign-on to resources across a network |
FR2930100B1 (fr) * | 2008-04-09 | 2010-05-07 | Canon Kk | Procede d'etablissement d'un chemin de communication dans un reseau etendu de communication, tetes de tunnel,produit programme d'ordinateur et moyen de stockage correspondants |
WO2010041996A1 (en) * | 2008-10-09 | 2010-04-15 | Telefonaktiebolaget L M Ericsson (Publ) | A virtualization platform |
US9210065B2 (en) * | 2009-06-22 | 2015-12-08 | Alcatel Lucent | Providing cloud-based services using dynamic network virtualization |
JP5347982B2 (ja) | 2010-01-18 | 2013-11-20 | 富士通株式会社 | 仮想ネットワーク制御プログラム、仮想ネットワーク制御方法および管理装置 |
US9274821B2 (en) * | 2010-01-27 | 2016-03-01 | Vmware, Inc. | Independent access to virtual machine desktop content |
JP2012129648A (ja) * | 2010-12-13 | 2012-07-05 | Fujitsu Ltd | サーバ装置、管理装置、転送先アドレス設定プログラムおよび仮想ネットワークシステム |
US9104460B2 (en) * | 2011-05-31 | 2015-08-11 | Red Hat, Inc. | Inter-cloud live migration of virtualization systems |
US10228959B1 (en) * | 2011-06-02 | 2019-03-12 | Google Llc | Virtual network for virtual machine communication and migration |
US8990342B2 (en) * | 2011-08-04 | 2015-03-24 | Wyse Technology L.L.C. | System and method for client-server communication facilitating utilization of network-based procedure call |
EP2748714B1 (en) * | 2011-11-15 | 2021-01-13 | Nicira, Inc. | Connection identifier assignment and source network address translation |
CN102394831A (zh) * | 2011-11-28 | 2012-03-28 | 杭州华三通信技术有限公司 | 基于虚拟机vm迁移的流量不中断方法和装置 |
US9356803B2 (en) * | 2011-11-30 | 2016-05-31 | Cisco Technology, Inc. | Field aware virtual connection discovery |
US8958293B1 (en) * | 2011-12-06 | 2015-02-17 | Google Inc. | Transparent load-balancing for cloud computing services |
US9154381B2 (en) * | 2012-01-31 | 2015-10-06 | Cisco Technology, Inc. | Enhanced GSLB keepalive |
US9106508B2 (en) * | 2012-04-30 | 2015-08-11 | International Business Machines Corporation | Providing services to virtual overlay network traffic |
US20130332561A1 (en) * | 2012-06-11 | 2013-12-12 | International Business Machines Corporation | Control of Collaboration Workspaces and Information Objects using Business Rules |
US8832820B2 (en) * | 2012-06-25 | 2014-09-09 | International Business Machines Corporation | Isolation and security hardening among workloads in a multi-tenant networked environment |
US9612966B2 (en) * | 2012-07-03 | 2017-04-04 | Sandisk Technologies Llc | Systems, methods and apparatus for a virtual machine cache |
US8966573B2 (en) * | 2012-07-20 | 2015-02-24 | Ca, Inc. | Self-generation of virtual machine security clusters |
US9571507B2 (en) * | 2012-10-21 | 2017-02-14 | Mcafee, Inc. | Providing a virtual security appliance architecture to a virtual cloud infrastructure |
US9223635B2 (en) * | 2012-10-28 | 2015-12-29 | Citrix Systems, Inc. | Network offering in cloud computing environment |
-
2013
- 2013-12-27 CN CN201380069364.9A patent/CN104904165B/zh active Active
- 2013-12-27 US US14/758,748 patent/US9667527B2/en active Active
- 2013-12-27 WO PCT/JP2013/085147 patent/WO2014106945A1/ja active Application Filing
- 2013-12-27 EP EP13869934.3A patent/EP2942912B1/en active Active
- 2013-12-27 JP JP2014555458A patent/JP6417942B2/ja active Active
-
2017
- 2017-04-21 US US15/494,430 patent/US10462038B2/en active Active
-
2019
- 2019-10-02 US US16/591,286 patent/US11190435B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011070549A (ja) * | 2009-09-28 | 2011-04-07 | Nec Corp | コンピュータシステム、及び仮想マシンのマイグレーション方法 |
Non-Patent Citations (6)
Title |
---|
"OpenFlow Switch Specification", WIRE PROTOCOL OX02, 22 November 2012 (2012-11-22), Retrieved from the Internet <URL:http://www.openflow.org/documents/openflow-spec-v 1. 1.0.pdf> |
M.MAHALINGAM, VXLAN: A FRAMEWORK FOR OVERLAYING VIRTUALIZED LAYER 2 NETWORKS OVER LAYER 3 NETWORK, 29 November 2012 (2012-11-29), Retrieved from the Internet <URL:http://tools.ietf.org/pdf/draft-mahalingam-dutt-dcops-vxlan-02.pdf> |
M.SRIDHARAN, NVGRE: NETWORK VIRTUALIZATION USING GENERIC ROUTING ENCAPSULATION, 29 November 2012 (2012-11-29), Retrieved from the Internet <URL:http://tools.ietf.orglpdf/draft-sridharan-virtualization-nvgre-Ol.pdf> |
NAO TAMURA: "Datacenter no Network o Kaeru Shin Gijutsu 'Ethernet Fabric", NIKKEI NETWORK, no. 146, June 2012 (2012-06-01), pages 59 - 63, XP008179870 * |
NICK MCKEOWN, OPENFLOW: ENABLING INNOVATION IN CAMPUS NETWORKS, 22 November 2012 (2012-11-22), Retrieved from the Internet <URL:http://www.openflow.org/documents/openflow-wp-latest.pdf> |
See also references of EP2942912A4 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160024671A (ko) * | 2014-08-26 | 2016-03-07 | 한국전자통신연구원 | 프록시 터널종단 장치, 이를 포함하는 확장형 네트워크 가상화 통신 시스템 및 확장형 네트워크 가상화 통신 방법 |
KR102195359B1 (ko) * | 2014-08-26 | 2020-12-24 | 한국전자통신연구원 | 프록시 터널종단 장치, 이를 포함하는 확장형 네트워크 가상화 통신 시스템 및 확장형 네트워크 가상화 통신 방법 |
JP2016134659A (ja) * | 2015-01-15 | 2016-07-25 | 日本電信電話株式会社 | オーバレイトンネル制御システム及びオーバレイトンネル制御方法 |
JP2017034431A (ja) * | 2015-07-31 | 2017-02-09 | 日本電信電話株式会社 | 通信システムおよび通信方法 |
JP2019515608A (ja) * | 2016-05-20 | 2019-06-06 | 新華三技術有限公司New H3C Technologies Co., Ltd. | アクセス制御 |
US11146551B2 (en) | 2016-05-20 | 2021-10-12 | New H3C Technologies Co., Ltd. | Access control |
Also Published As
Publication number | Publication date |
---|---|
CN104904165A (zh) | 2015-09-09 |
US20150365313A1 (en) | 2015-12-17 |
US9667527B2 (en) | 2017-05-30 |
US20170230275A1 (en) | 2017-08-10 |
JP6417942B2 (ja) | 2018-11-07 |
US11190435B2 (en) | 2021-11-30 |
US20200145317A1 (en) | 2020-05-07 |
CN104904165B (zh) | 2018-02-16 |
EP2942912B1 (en) | 2018-09-12 |
EP2942912A1 (en) | 2015-11-11 |
JPWO2014106945A1 (ja) | 2017-01-19 |
US10462038B2 (en) | 2019-10-29 |
EP2942912A4 (en) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6417942B2 (ja) | 制御装置、通信システム、トンネルエンドポイントの制御方法及びプログラム | |
US10237377B2 (en) | Packet rewriting apparatus, control apparatus, communication system, packet transmission method and program | |
US9515868B2 (en) | System and method for communication | |
JP5874726B2 (ja) | 通信制御システム、制御サーバ、転送ノード、通信制御方法および通信制御プログラム | |
KR101755138B1 (ko) | 통신 시스템, 제어 장치, 및 네트워크 토폴로지 관리 방법 | |
US10645006B2 (en) | Information system, control apparatus, communication method, and program | |
EP2843906B1 (en) | Method, apparatus, and system for data transmission | |
WO2018001242A1 (zh) | 一种数据报文处理方法及装置 | |
WO2014183518A1 (zh) | 一种实现数据包转发的方法及系统 | |
JP5904285B2 (ja) | 通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラム | |
WO2014104277A1 (ja) | 制御装置、通信システム、通信ノードの制御方法及びプログラム | |
WO2016017737A1 (ja) | スイッチ、オーバーレイネットワークシステム、通信方法及びプログラム | |
JP2017050708A (ja) | 通信システム、制御装置、スイッチ、通信方法及びプログラム | |
KR102024545B1 (ko) | 오버레이 네트워크 기반에서의 오리지널 패킷 플로우 매핑 장치 및 그 방법 | |
US9894017B2 (en) | Communication system, physical machine, virtual network management apparatus, and network control method | |
KR101707073B1 (ko) | Sdn 기반의 에러 탐색 네트워크 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13869934 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14758748 Country of ref document: US |
|
ENP | Entry into the national phase |
Ref document number: 2014555458 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013869934 Country of ref document: EP |