JP5486526B2 - Control device, control system, control method, and control program - Google Patents

Control device, control system, control method, and control program Download PDF

Info

Publication number
JP5486526B2
JP5486526B2 JP2011032552A JP2011032552A JP5486526B2 JP 5486526 B2 JP5486526 B2 JP 5486526B2 JP 2011032552 A JP2011032552 A JP 2011032552A JP 2011032552 A JP2011032552 A JP 2011032552A JP 5486526 B2 JP5486526 B2 JP 5486526B2
Authority
JP
Japan
Prior art keywords
vpn
address
migration
virtual machine
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011032552A
Other languages
Japanese (ja)
Other versions
JP2012175190A (en
Inventor
公彦 深見
高明 小山
秀雄 北爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011032552A priority Critical patent/JP5486526B2/en
Publication of JP2012175190A publication Critical patent/JP2012175190A/en
Application granted granted Critical
Publication of JP5486526B2 publication Critical patent/JP5486526B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、制御装置、制御システム、制御方法、及び制御プログラムに関する。   Embodiments described herein relate generally to a control device, a control system, a control method, and a control program.

近年、複数のVPN(Virtual Private Network)間を相互に接続するサービス(以下「VPN間接続サービス」)が提案されている。例えば、データセンタ(Data Center)のVPNと自社のVPNとを相互に接続し、データセンタに設置された社内サーバに自社の利用者端末からアクセスする、といった利用形態である。   In recent years, a service for connecting a plurality of VPNs (Virtual Private Networks) to each other (hereinafter referred to as “VPN connection service”) has been proposed. For example, it is a usage mode in which a VPN of a data center and a VPN of the company are connected to each other, and an in-house server installed in the data center is accessed from the user terminal of the company.

このようなデータセンタにおいて、仮想マシン技術が用いられることがある。仮想マシン技術とは、物理的なハードウェアを論理的に分割し、分割したハードウェア毎にOS(Operating System)を動作させることで、1台のマシンをあたかも複数台のマシンであるかの如く動作させる技術である。例えば、データセンタに設置された1台のサーバにこの技術を適用することで、あたかも複数のサーバであるかの如く動作させ、複数の会社に個別にサービスを提供することができる。   In such a data center, virtual machine technology may be used. Virtual machine technology divides physical hardware logically and operates an OS (Operating System) for each divided hardware, so that one machine is as if it were multiple machines. It is a technology to make it work. For example, by applying this technology to one server installed in a data center, it can be operated as if it were a plurality of servers, and services can be individually provided to a plurality of companies.

ここで、仮想マシン技術に伴う技術のひとつに、ライブマイグレーション(live migration)がある。ライブマイグレーションとは、動作中の仮想マシンで動作するOSやソフトウェアを、停止することなく他の仮想マシンに移行する技術である。ライブマイグレーションによれば、例えば、動作中の仮想マシンの負荷が高い場合に、サービスを停止することなく他のサーバで仮想マシンを動作させることができる。   Here, one of the technologies associated with the virtual machine technology is live migration. Live migration is a technique for migrating an OS or software running on a running virtual machine to another virtual machine without stopping. According to live migration, for example, when the load on the operating virtual machine is high, the virtual machine can be operated on another server without stopping the service.

小山高明、唐澤秀一、岸和宏、水野伸太郎、岩村相哲、「VPN間接続管理システムの提案」、信学技報IN2009−48(2009−09)、P.53−58Takaaki Koyama, Shuichi Karasawa, Kazuhiro Kishi, Shintaro Mizuno, Satoru Iwamura, “Proposal of VPN Connection Management System”, IEICE Technical Report IN 2009-48 (2009-09), p. 53-58 平初、森若和雄、鶴野龍一郎、まえだこうへい、「KVM徹底入門」、株式会社翔泳社Hei first, Kazuo Moriwaka, Ryuichiro Tsuruno, Kohei Maeda, “Introductory KVM”, Shosuisha Co., Ltd.

しかしながら、ライブマイグレーションがVPNをまたがって行われる場合、マイグレーション先の仮想マシンにアクセスするための経路を新たに構築しなければならない場合がある。ライブマイグレーションの実行完了時にマイグレーション先の仮想マシンが管理サーバに通知を行う技術があるが、仮にこれを応用したとしても、ライブマイグレーションに伴ってサービス提供側に発生する処理時間は、ライブマイグレーションの実行時間と経路の構築時間とを足し合わせた時間となり、長くなってしまう。このようなことから、ライブマイグレーションに伴って発生する処理時間を短縮する技術が望まれている。   However, when live migration is performed across VPNs, it may be necessary to construct a new path for accessing the migration destination virtual machine. Although there is a technology in which the migration destination virtual machine notifies the management server when live migration execution is complete, even if this is applied, the processing time that occurs on the service provider side when live migration is performed The time is the sum of the time and the route construction time, and becomes longer. For this reason, there is a demand for a technique for reducing the processing time that occurs with live migration.

実施の形態に係る制御装置は、VPNに設置された利用者端末が他のVPNに設置された仮想マシンにアクセスするための経路をネットワーク装置に対する設定により構築し、VPN間の接続を制御する制御装置である。制御装置は、検知部、設定部、及び切替部を備える。検知部は、前記利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、該第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするイグレーションの実行開始を検知する。設定部は、前記検知部によって前記イグレーションの実行開始が検知されると、該イグレーションの実行と併行して、前記利用者端末が前記第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う。切替部は、前記イグレーションの実行完了を検知し、かつ、前記ネットワーク装置への設定が完了すると、現用の経路を、前記設定部によって構築された経路に切り替える。前記ネットワーク装置は、VPN間接続の対象となる複数のVPNを収容し、VPN間のパケット転送を制御するパケット転送制御装置と、該パケット転送制御装置と各VPNとの間に設置され、パケットに含まれるアドレスを変換するアドレス変換装置とを含み、前記アドレス変換装置は、パケットに含まれる送信元のアドレス及び宛先のアドレスの双方を、アドレス変換情報に従って変換し、前記設定部は、前記検知部によって前記マイグレーションの実行開始が検知されると、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対する前記アドレス変換情報の設定を行う。 The control device according to the embodiment constructs a path for a user terminal installed in a VPN to access a virtual machine installed in another VPN by setting the network device, and controls the connection between the VPNs Device. The control device includes a detection unit, a setting unit, and a switching unit. The detection unit migrates a virtual machine installed in the first VPN when a path for the user terminal to access the virtual machine installed in the first VPN is constructed as a working path. as the original, to detect the execution start of the migration of the virtual machine as the migration destination installed in the second VPN. Setting unit, when the execution start of migration by the detection portion is detected, in parallel with the execution of the migration, the access to the virtual machine the user terminal is installed on the second VPN The setting for constructing a route for this is performed for a predetermined network device. Switching unit detects the execution completion of the migration, and the setting to the network device is completed, the path of the current is switched to the path constructed by the setting unit. The network device accommodates a plurality of VPNs to be connected between VPNs, is installed between a packet transfer control device that controls packet transfer between VPNs, and between the packet transfer control device and each VPN. An address translation device that translates an included address, wherein the address translation device translates both a source address and a destination address contained in a packet according to address translation information, and the setting unit includes the detection unit When the execution start of the migration is detected, the address translation information is set for the address translation apparatus installed between the packet transfer control apparatus and the second VPN.

ライブマイグレーションに伴って発生する処理時間を短縮することが可能になるという効果を奏する。   There is an effect that it is possible to reduce the processing time that occurs with live migration.

図1は、第1の実施形態に係るVPN間接続サービスの概要を説明するための図である。FIG. 1 is a diagram for explaining an overview of an inter-VPN connection service according to the first embodiment. 図2は、第1の実施形態に係るライブマイグレーションの処理手順を示すシーケンス図である。FIG. 2 is a sequence diagram illustrating a live migration processing procedure according to the first embodiment. 図3は、第1の実施形態に係るVPN間接続管理システムの構成を示すブロック図である。FIG. 3 is a block diagram showing the configuration of the inter-VPN connection management system according to the first embodiment. 図4は、第1の実施形態に係る顧客ネットワーク設定記憶部を説明するための図である。FIG. 4 is a diagram for explaining the customer network setting storage unit according to the first embodiment. 図5は、第1の実施形態におけるIPアドレスの割り当てを説明するための図である。FIG. 5 is a diagram for explaining assignment of IP addresses in the first embodiment. 図6は、第1の実施形態に係るネットワーク装置設定記憶部を説明するための図である。FIG. 6 is a diagram for explaining the network device setting storage unit according to the first embodiment. 図7は、第1の実施形態の変形例を説明するための図である。FIG. 7 is a diagram for explaining a modification of the first embodiment. 図8は、第2の実施形態におけるTwice−NATを説明するための図である。FIG. 8 is a diagram for explaining Twice-NAT in the second embodiment. 図9は、Single−NATによるアドレス変換を説明するための図である。FIG. 9 is a diagram for explaining address translation by Single-NAT. 図10は、Twice−NATによるアドレス変換を説明するための図である。FIG. 10 is a diagram for explaining address conversion by Twice-NAT. 図11は、第2の実施形態におけるIPアドレスの管理を説明するための図である。FIG. 11 is a diagram for explaining management of IP addresses in the second embodiment. 図12は、VPNサービスによって接続された複数のローカルエリアネットワーク群としてのVPNを説明するための図である。FIG. 12 is a diagram for explaining VPN as a plurality of local area network groups connected by the VPN service. 図13は、VPNサービスによって接続された複数のローカルエリアネットワーク群としてのVPNを説明するための図である。FIG. 13 is a diagram for explaining VPN as a plurality of local area network groups connected by the VPN service. 図14は、VPNサービスによって接続された複数のローカルエリアネットワーク群としてのVPNを説明するための図である。FIG. 14 is a diagram for explaining VPN as a plurality of local area network groups connected by the VPN service. 図15は、実施形態に係る制御プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。FIG. 15 is a diagram illustrating that the information processing by the control program according to the embodiment is specifically realized using a computer.

以下、実施形態に係る制御装置、制御システム、制御方法、及び制御プログラムを説明する。   Hereinafter, a control device, a control system, a control method, and a control program according to embodiments will be described.

(第1の実施形態)
[VPN間接続サービスの概要]
VPN間接続サービスは、複数のVPN間を相互に接続するサービスである。例えば、データセンタのVPNと顧客の会社のVPNとを相互に接続し、データセンタに設置されたサーバに顧客の利用者端末からアクセスさせる、といったサービスを提供する。以下では、このようなVPN間接続サービスが提供されるシステムを「VPN間通信システム」と呼び、VPN間接続サービスを管理し、経路を構築するシステムを「VPN間接続管理システム」と呼ぶ。
(First embodiment)
[Outline of VPN connection service]
The inter-VPN connection service is a service for mutually connecting a plurality of VPNs. For example, a service is provided in which a VPN of a data center and a VPN of a customer company are connected to each other, and a server installed in the data center is accessed from a customer user terminal. Hereinafter, a system that provides such an inter-VPN connection service is referred to as an “inter-VPN communication system”, and a system that manages the inter-VPN connection service and constructs a route is referred to as an “inter-VPN connection management system”.

図1は、第1の実施形態に係るVPN間接続サービスの概要を説明するための図である。まず、VPN間通信システムを説明する。VPN間通信システムにおいては、図1に示すように、集合仮想ルータが複数のVPNをスター型に収容し、集合仮想ルータと各VPNとの間にアドレス変換装置が設置される。集合仮想ルータは、VPN間のパケット転送を制御する。また、仮想ルータは、物理的なハードウェアとしての集合仮想ルータを論理的に分割し、分割したハードウェア毎にルータとして動作させることにより実現される。VPN間接続サービスは、通常、この仮想ルータ単位で提供される。また、アドレス変換装置は、パケットに含まれるアドレスを変換(NAT(Network Address Translation))する。すなわち、アドレス変換装置は、各VPN内で利用されるプライベートアドレスと、集合仮想ルータ側で利用されるアドレスとを変換する。なお、VPN終端装置は、各VPNを集合仮想ルータに収容するためにVPNを終端する。   FIG. 1 is a diagram for explaining an overview of an inter-VPN connection service according to the first embodiment. First, an inter-VPN communication system will be described. In the inter-VPN communication system, as shown in FIG. 1, the collective virtual router accommodates a plurality of VPNs in a star shape, and an address translation device is installed between the collective virtual router and each VPN. The aggregation virtual router controls packet transfer between VPNs. The virtual router is realized by logically dividing a collective virtual router as physical hardware and operating each divided hardware as a router. The inter-VPN connection service is usually provided for each virtual router. The address translation device translates an address included in the packet (NAT (Network Address Translation)). That is, the address translation device translates a private address used in each VPN and an address used on the collective virtual router side. The VPN termination device terminates the VPN in order to accommodate each VPN in the collective virtual router.

ここで、第1の実施形態においては、VPN3に設置された利用者端末がVPN1(データセンタ1)に設置された仮想マシン1にアクセスするための経路が、現用の経路として既に構築されていることを想定する。すなわち、利用者端末と仮想マシン1との間でパケットを転送するための情報として、アドレス変換装置1及びアドレス変換装置3にはアドレス変換情報が設定され、集合仮想ルータにはルーティング情報が設定されている。言い換えると、ライブマイグレーション実行前、アドレス変換装置1及びアドレス変換装置3は、現用のアドレス変換装置として「アクティブ」の状態にあり、アドレス変換装置2は、予備のアドレス変換装置として「スタンバイ」の状態にある。なお、第1の実施形態において、予備の経路に対応する、集合仮想ルータとアドレス変換装置2とVPN2との間は、予め物理的に接続されている。   Here, in the first embodiment, a path for the user terminal installed in the VPN 3 to access the virtual machine 1 installed in the VPN 1 (data center 1) has already been established as a working path. Assume that. That is, as information for transferring a packet between the user terminal and the virtual machine 1, address translation information is set in the address translation device 1 and the address translation device 3, and routing information is set in the collective virtual router. ing. In other words, before the live migration, the address translation device 1 and the address translation device 3 are in the “active” state as the current address translation device, and the address translation device 2 is in the “standby” state as the spare address translation device. It is in. In the first embodiment, the collective virtual router, the address translation device 2 and the VPN 2 corresponding to the backup route are physically connected in advance.

そして、第1の実施形態においては、VPN1(データセンタ1)に設置された仮想マシン1をマイグレーション元として、VPN2(データセンタ2)に設置される仮想マシン2をマイグレーション先とするライブマイグレーションを実行することを想定する。すなわち、利用者端末と仮想マシン2との間でパケットを転送するための情報を、アドレス変換装置2及び集合仮想ルータに新たに設定することを想定する。言い換えると、ライブマイグレーション実行後、現用の経路が切り替えられ、アドレス変換装置1が「スタンバイ」の状態になり、アドレス変換装置2及びアドレス変換装置3が「アクティブ」の状態になる。なお、第1の実施形態において、データセンタ1とデータセンタ2とは、予め専用線で接続されている。   In the first embodiment, the virtual machine 1 installed in the VPN 1 (data center 1) is used as the migration source, and live migration is executed using the virtual machine 2 installed in the VPN 2 (data center 2) as the migration destination. Assuming that That is, it is assumed that information for transferring a packet between the user terminal and the virtual machine 2 is newly set in the address translation device 2 and the collective virtual router. In other words, after the live migration is performed, the working path is switched, the address translation device 1 is in a “standby” state, and the address translation device 2 and the address translation device 3 are in an “active” state. In the first embodiment, the data center 1 and the data center 2 are connected in advance by a dedicated line.

続いて、VPN間接続管理システムを説明する。第1の実施形態に係るVPN間接続管理システム100は、例えばVPN間接続サービスを提供する電気通信事業者などによって運用される。VPN間接続管理システム100は、制御用のネットワーク(図1において図示を省略)によって各種ネットワーク装置と接続され、制御用のネットワークを介して各種ネットワーク装置に対する設定を行う。例えば、VPN間接続管理システム100は、集合仮想ルータ、アドレス変換装置1〜3、並びに、データセンタ1及びデータセンタ2と制御用のネットワークによって接続され、ライブマイグレーション処理や設定処理などを行う。   Next, an inter-VPN connection management system will be described. The inter-VPN connection management system 100 according to the first embodiment is operated by, for example, a telecommunications carrier that provides an inter-VPN connection service. The inter-VPN connection management system 100 is connected to various network devices via a control network (not shown in FIG. 1), and performs settings for the various network devices via the control network. For example, the inter-VPN connection management system 100 is connected to the collective virtual router, the address translation devices 1 to 3 and the data center 1 and the data center 2 through a control network, and performs live migration processing, setting processing, and the like.

なお、第1の実施形態において、VPN間接続管理システム100は、ライブマイグレーション処理部10と、VPN間接続処理部20とを備える。ライブマイグレーション処理部10が、ライブマイグレーション処理を行い、VPN間接続処理部20が、ネットワーク装置に対する設定処理を行う。   In the first embodiment, the inter-VPN connection management system 100 includes a live migration processing unit 10 and an inter-VPN connection processing unit 20. The live migration processing unit 10 performs live migration processing, and the inter-VPN connection processing unit 20 performs setting processing for the network device.

[ライブマイグレーションの処理手順]
図2は、第1の実施形態に係るライブマイグレーションの処理手順を示すシーケンス図である。VPN1(データセンタ1)に設置された仮想マシン1が動作中であり、利用者端末は、VPN1(データセンタ1)に設置された仮想マシン1にアクセスしている(ステップS1)。
[Live migration procedure]
FIG. 2 is a sequence diagram illustrating a live migration processing procedure according to the first embodiment. The virtual machine 1 installed in the VPN 1 (data center 1) is operating, and the user terminal is accessing the virtual machine 1 installed in the VPN 1 (data center 1) (step S1).

このとき、例えば仮想マシン1の負荷が高い場合に、ライブマイグレーション処理部10が、VPN2(データセンタ2)に設置される仮想マシン2をマイグレーション先とするライブマイグレーションの実行指示を仮想マシン1に対して送信する(ステップS2)。   At this time, for example, when the load of the virtual machine 1 is high, the live migration processing unit 10 instructs the virtual machine 1 to perform live migration with the virtual machine 2 installed in the VPN 2 (data center 2) as the migration destination. (Step S2).

すると、仮想マシン1は、ライブマイグレーションの実行確認通知をライブマイグレーション処理部10に対して送信し(ステップS3)、仮想マシン2をマイグレーション先とするライブマイグレーションを実行する(ステップS4)。   Then, the virtual machine 1 transmits a live migration execution confirmation notification to the live migration processing unit 10 (step S3), and executes live migration with the virtual machine 2 as the migration destination (step S4).

一方、ステップS3において実行確認通知の受信によりライブマイグレーションの実行開始を検知したライブマイグレーション処理部10は、利用者端末が仮想マシン2にアクセスするための経路を構築するように、まず、アドレス変換装置2に対する設定指示をVPN間接続処理部20に対して送信する(ステップS5)。   On the other hand, the live migration processing unit 10 that has detected the start of live migration upon reception of the execution confirmation notification in step S3 starts with an address translation device so as to construct a path for the user terminal to access the virtual machine 2. 2 is transmitted to the inter-VPN connection processing unit 20 (step S5).

すると、VPN間接続処理部20は、アドレス変換装置2に対してアドレス変換情報を設定し(ステップS6)、その後、アドレス変換装置2に対する設定が完了すると、設定完了通知をライブマイグレーション処理部10に対して送信する(ステップS7)。   Then, the inter-VPN connection processing unit 20 sets address translation information for the address translation device 2 (step S6). After that, when the setting for the address translation device 2 is completed, a setting completion notification is sent to the live migration processing unit 10. It transmits to (step S7).

一方、ステップS4においてライブマイグレーションの実行を開始していた仮想マシン1は、ライブマイグレーションの実行が完了すると、実行完了通知をライブマイグレーション処理部10に対して送信する(ステップS8)。   On the other hand, when the execution of live migration is completed, the virtual machine 1 that has started execution of live migration in step S4 transmits an execution completion notification to the live migration processing unit 10 (step S8).

こうして、ライブマイグレーション処理部10は、仮想マシン1からライブマイグレーションの実行完了通知を受信し、また、VPN間接続処理部20からアドレス変換装置2に対する設定完了通知を受信する。   In this way, the live migration processing unit 10 receives a live migration execution completion notification from the virtual machine 1 and receives a setting completion notification for the address translation device 2 from the inter-VPN connection processing unit 20.

すると、ライブマイグレーション処理部10は、ルーティング切替指示をVPN間接続処理部20に対して送信する(ステップS9)。VPN間接続処理部20は、集合仮想ルータに対してルーティング情報を設定し、利用者端末から仮想マシン1にアクセスするための経路から、利用者端末から仮想マシン2にアクセスするための経路に、現用の経路(ルーティング)を切り替える(ステップS10)。   Then, the live migration processing unit 10 transmits a routing switching instruction to the inter-VPN connection processing unit 20 (step S9). The inter-VPN connection processing unit 20 sets routing information for the collective virtual router, and changes from a path for accessing the virtual machine 1 from the user terminal to a path for accessing the virtual machine 2 from the user terminal. The current route (routing) is switched (step S10).

この結果、図2に示すように、ステップS1において、利用者端末は仮想マシン1にアクセスしていたが、そのアクセスは、自動的に、仮想マシン2に移行することになる(ステップS11)。すなわち、例えば、利用者端末と仮想マシン1や仮想マシン2との間で行われる通信がTCP(Transmission Control Protocol)である場合、利用者端末は、アクセス中の仮想マシン1から応答が無いと、再送を行う。この再送を繰り返しているうちに、利用者端末は、自動的に、仮想マシン2にアクセスすることが可能になる。   As a result, as shown in FIG. 2, the user terminal has accessed the virtual machine 1 in step S1, but the access is automatically transferred to the virtual machine 2 (step S11). That is, for example, when the communication performed between the user terminal and the virtual machine 1 or the virtual machine 2 is TCP (Transmission Control Protocol), if the user terminal does not receive a response from the accessing virtual machine 1, Resend. While repeating this retransmission, the user terminal can automatically access the virtual machine 2.

ここで、ライブマイグレーションに伴ってVPN間接続管理システム100側に発生する処理時間は、ステップS4においてライブマイグレーションの実行が開始されてから、ステップS10においてルーティングが切り替えられるまでの時間であるといえる。この点、第1の実施形態に係るVPN間接続管理システム100は、ライブマイグレーションの実行開始を検知し、これを契機として、アドレス変換装置2に対する設定を開始する。すなわち、ライブマイグレーションの実行と経路の構築とが、併行して進められることになる。この結果、ライブマイグレーションに伴って発生する処理時間は、ライブマイグレーションの実行時間と経路の構築時間とを足し合わせた時間ではなく、原理的には、ライブマイグレーションの実行時間又は経路の構築時間のいずれか長い方の時間でほぼ済むことになる。   Here, it can be said that the processing time generated on the side of the inter-VPN connection management system 100 with live migration is the time from the start of live migration in step S4 to the switching of routing in step S10. In this regard, the inter-VPN connection management system 100 according to the first embodiment detects the start of execution of live migration, and starts setting for the address translation device 2 as a trigger. That is, the execution of live migration and the construction of a route are performed in parallel. As a result, the processing time that accompanies live migration is not the sum of the live migration execution time and the route construction time, but in principle, either the live migration execution time or the route construction time. The longer time will be almost done.

なお、ライブマイグレーションの処理手順は図2に示す処理手順に限られるものではない。例えば、ライブマイグレーション処理部10は、ライブマイグレーションの実行指示(ステップS2)においてライブマイグレーションの実行開始を検知し、実行確認通知の受信(ステップS3)より前にステップS5の処理を開始してもよい。また、アドレス変換装置2の設定完了通知(ステップS7)、及びライブマイグレーションの実行完了通知(ステップS8)の順序が逆になる場合もある。また、ライブマイグレーションの実行完了通知(ステップS8)は、マイグレーション元の仮想マシン1からではなく、マイグレーション先の仮想マシン2から受信してもよい。   The live migration processing procedure is not limited to the processing procedure shown in FIG. For example, the live migration processing unit 10 may detect the start of live migration in the live migration execution instruction (step S2) and start the process of step S5 before receiving the execution confirmation notification (step S3). . Further, the order of the setting completion notification (step S7) of the address translation device 2 and the live migration execution completion notification (step S8) may be reversed. The live migration execution completion notification (step S8) may be received not from the migration source virtual machine 1 but from the migration destination virtual machine 2.

[第1の実施形態に係るVPN間接続管理システムの構成]
図3は、第1の実施形態に係るVPN間接続管理システム100の構成を示すブロック図である。図3に示すように、VPN間接続管理システム100は、ライブマイグレーション処理部10と、VPN間接続処理部20とを備える。
[Configuration of inter-VPN connection management system according to the first embodiment]
FIG. 3 is a block diagram showing a configuration of the inter-VPN connection management system 100 according to the first embodiment. As shown in FIG. 3, the inter-VPN connection management system 100 includes a live migration processing unit 10 and an inter-VPN connection processing unit 20.

ライブマイグレーション処理部10は、顧客ネットワーク設定記憶部11と、通信部12と、入力部13と、設定指示送信部14と、ライブマイグレーション実行部15と、アドレス変換設定指示部16と、ルーティング設定指示部17とを備える。   The live migration processing unit 10 includes a customer network setting storage unit 11, a communication unit 12, an input unit 13, a setting instruction transmission unit 14, a live migration execution unit 15, an address conversion setting instruction unit 16, and a routing setting instruction. Unit 17.

顧客ネットワーク設定記憶部11は、VPN間接続サービスの提供先である顧客のネットワーク設定情報を記憶する。図4は、第1の実施形態に係る顧客ネットワーク設定記憶部を説明するための図である。図4に示すように、顧客ネットワーク設定記憶部11は、顧客毎に、仮想マシン、アドレス変換装置1〜3、及び集合仮想ルータに関するネットワーク設定情報を記憶する。以下、図4とともに図5を参照しながら、ネットワーク設定情報を説明する。図5は、第1の実施形態におけるIPアドレスの割り当てを説明するための図である。   The customer network setting storage unit 11 stores network setting information of a customer who is a provider of the inter-VPN connection service. FIG. 4 is a diagram for explaining the customer network setting storage unit according to the first embodiment. As shown in FIG. 4, the customer network setting storage unit 11 stores network setting information related to the virtual machines, the address translation devices 1 to 3 and the collective virtual router for each customer. Hereinafter, the network setting information will be described with reference to FIG. 5 together with FIG. FIG. 5 is a diagram for explaining assignment of IP addresses in the first embodiment.

図4に示すように、顧客ネットワーク設定記憶部11は、仮想マシンに関するネットワーク設定情報として、マイグレーション元の仮想マシン1のIP(Internet Protocol)アドレス「192.168.1.10」及びその制御用のIPアドレス「172.16.100.1」、並びに、マイグレーション先の仮想マシン2の制御用のIPアドレス「172.16.100.2」を記憶する。なお、第1の実施形態において、これらのIPアドレスは、サブネットマスクが24ビットである。   As shown in FIG. 4, the customer network setting storage unit 11 uses the IP (Internet Protocol) address “192.168.1.10” of the migration source virtual machine 1 and its control IP address “172.16” as network setting information regarding the virtual machine. .100.1 ”and the IP address“ 172.16.100.2 ”for control of the migration destination virtual machine 2 are stored. In the first embodiment, these IP addresses have a subnet mask of 24 bits.

図5を参照すると、VPN1(データセンタ1)に設置された仮想マシン1のIPアドレスは、「192.168.1.10」である。このIPアドレスは、VPN1内で仮想マシン1を一意に識別するためのアドレスである。また、図5に示すように、データセンタ1は、制御用のインタフェースを有し、そのインタフェースのIPアドレスが、「172.16.100.1」である。また、データセンタ2も、制御用のインタフェースを有し、そのインタフェースのIPアドレスが、「172.16.100.2」である。VPN間接続管理システム100は、図示しない制御用のネットワークによってこのインタフェースと接続され、制御用のIPアドレス「172.16.100.1」及び「172.16.100.2」を用いて、ライブマイグレーションの実行指示などを行う。   Referring to FIG. 5, the IP address of the virtual machine 1 installed in the VPN 1 (data center 1) is “192.168.1.10”. This IP address is an address for uniquely identifying the virtual machine 1 within the VPN 1. As shown in FIG. 5, the data center 1 has a control interface, and the IP address of the interface is “172.16.100.1”. The data center 2 also has a control interface, and the IP address of the interface is “172.16.100.2”. The inter-VPN connection management system 100 is connected to this interface via a control network (not shown), and uses the control IP addresses “172.16.100.1” and “172.16.100.2” to instruct live migration execution and the like.

図4に戻り、顧客ネットワーク設定記憶部11は、アドレス変換装置1〜3に関するネットワーク設定情報として、制御用のIPアドレスやアドレス変換情報を記憶する。図5を参照すると、第1の実施形態においては、VPN3に設置された利用者端末がVPN1に設置された仮想マシン1にアクセスするための経路が、現用の経路として既に構築されていることを想定する。すなわち、アドレス変換装置3及びアドレス変換装置1には、既にアドレス変換情報が設定されているという想定である。そこで、顧客ネットワーク設定記憶部11は、アドレス変換装置3及びアドレス変換装置1に関しては、制御用のIPアドレスの他に、アドレス変換情報も記憶する。   Returning to FIG. 4, the customer network setting storage unit 11 stores a control IP address and address conversion information as network setting information regarding the address conversion apparatuses 1 to 3. Referring to FIG. 5, in the first embodiment, a route for a user terminal installed in VPN 3 to access virtual machine 1 installed in VPN 1 is already established as a working route. Suppose. That is, it is assumed that the address translation information is already set in the address translation device 3 and the address translation device 1. Therefore, the customer network setting storage unit 11 stores address translation information in addition to the control IP address for the address translation device 3 and the address translation device 1.

アドレス変換装置3に設定されているアドレス変換情報は、「192.168.1.10」と「10.0.1.10」とを相互に変換すること、及び、「172.16.2.10」と「10.0.2.10」とを相互に変換することを示す。一方、アドレス変換装置1に設定されているアドレス変換情報は、「192.168.1.10」と「10.0.2.10」とを相互に変換すること、及び、「172.16.1.10」と「10.0.1.10」とを相互に変換することを示す。   The address translation information set in the address translation device 3 translates “192.168.1.10” and “10.0.1.10” to each other, and “172.16.2.10” and “10.0.2.10” to each other. Indicates to convert. On the other hand, the address translation information set in the address translation device 1 converts “192.168.1.10” and “10.0.2.10” to each other, and “172.16.1.10” and “10.0.1.10”. Indicates conversion to each other.

また、顧客ネットワーク設定記憶部11は、集合仮想ルータに関するネットワーク設定情報として、制御用のIPアドレスやルーティング情報を記憶する。例えば、ルーティング情報(現用)「宛先10.0.2.10:ゲートウェイ10.0.20.97」は、図5に示す仮想ルータにおいて、宛先が「10.0.2.10」のパケットを受信した場合には、「10.0.20.97」のインタフェースにルーティングすることを示す。   Further, the customer network setting storage unit 11 stores a control IP address and routing information as network setting information regarding the collective virtual router. For example, the routing information (working) “destination 10.0.2.10: gateway 10.0.20.97” is “10.0.20.97” when the virtual router shown in FIG. 5 receives a packet whose destination is “10.0.2.10”. Indicates routing to the interface.

アドレス変換及びルーティングについて一例を挙げて説明する。例えば利用者端末から仮想マシン1宛に送信されたパケットは、アドレス変換されながら、仮想マシン1によって受信される。   An example of address translation and routing will be described. For example, a packet transmitted from the user terminal to the virtual machine 1 is received by the virtual machine 1 while being address-converted.

まず、利用者端末は、仮想マシン1のIPアドレスを「172.16.2.10」であると把握している。一方、仮想マシン1は、利用者端末のIPアドレスを「172.16.1.10」であると把握している。また、集合仮想ルータの仮想ルータは、利用者端末のIPアドレスを「10.0.1.10」であると把握し、仮想マシン1のIPアドレスを「10.0.2.10」であると把握している。   First, the user terminal knows that the IP address of the virtual machine 1 is “172.16.2.10”. On the other hand, the virtual machine 1 knows that the IP address of the user terminal is “172.16.1.10”. Further, the virtual router of the collective virtual router grasps that the IP address of the user terminal is “10.0.1.10” and grasps the IP address of the virtual machine 1 is “10.0.2.10”.

利用者端末が仮想マシン1にアクセスする場合、利用者端末は、宛先を「172.16.2.10」、送信元を「192.168.1.10」とするパケットを送信する。すると、アドレス変換装置3は、アドレス変換情報に従って、「172.16.2.10」を「10.0.2.10」に変換し、「192.168.1.10」を「10.0.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「10.0.2.10」であり、送信元が「10.0.1.10」であるパケットとなる。   When the user terminal accesses the virtual machine 1, the user terminal transmits a packet whose destination is “172.16.2.10” and whose transmission source is “192.168.1.10”. Then, the address translation device 3 converts “172.16.2.10” to “10.0.2.10” and “192.168.1.10” to “10.0.1.10” according to the address translation information. As a result, the packet transmitted by the user terminal is a packet whose destination is “10.0.2.10” and whose transmission source is “10.0.1.10”.

仮想ルータは、ルーティング情報に従ってルーティングを行う。この場合、宛先が「10.0.2.10」のパケットであるので、仮想ルータは、「10.0.20.97」のインタフェースにこのパケットをルーティングする。続いて、アドレス変換装置1は、アドレス変換情報に従って、「10.0.2.10」を「192.168.1.10」に変換し、「10.0.1.10」を「172.16.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「192.168.1.10」であり、送信元が「172.16.1.10」であるパケットとなる。図5を参照すると、仮想マシン1のIPアドレスは、「192.168.1.10」である。このため、このパケットは、仮想マシン1によって受信される。このように、利用者端末から仮想マシン1宛に送信されたパケットは、アドレス変換されながら、仮想マシン1によって受信される。なお、図4や図5において図示を省略したが、仮想マシン1から利用者端末宛に送信されたパケットも同様に、アドレス変換されながら、利用者端末によって受信される。   The virtual router performs routing according to the routing information. In this case, since the destination is a packet of “10.0.2.10”, the virtual router routes this packet to the interface of “10.0.20.97”. Subsequently, the address translation device 1 translates “10.0.2.10” into “192.168.1.10” and “10.0.1.10” into “172.16.1.10” according to the address translation information. As a result, the packet transmitted by the user terminal is a packet whose destination is “192.168.1.10” and whose transmission source is “172.16.1.10”. Referring to FIG. 5, the IP address of the virtual machine 1 is “192.168.1.10”. For this reason, this packet is received by the virtual machine 1. Thus, the packet transmitted from the user terminal to the virtual machine 1 is received by the virtual machine 1 while being address-converted. Although not shown in FIGS. 4 and 5, the packet transmitted from the virtual machine 1 to the user terminal is also received by the user terminal while being address-converted.

図3に戻り、通信部12は、IP通信用の一般的なインタフェースであり、例えば、データセンタ1やデータセンタ2との間で制御用のネットワークを介して通信を行う。入力部13は、キーボードやマウスなどである。設定指示送信部14は、VPN間接続管理システム100内部のインタフェースであり、VPN間接続処理部20との間で情報の送受信を行う。   Returning to FIG. 3, the communication unit 12 is a general interface for IP communication. For example, the communication unit 12 communicates with the data center 1 and the data center 2 via a control network. The input unit 13 is a keyboard or a mouse. The setting instruction transmission unit 14 is an interface inside the inter-VPN connection management system 100 and transmits / receives information to / from the inter-VPN connection processing unit 20.

第1の実施形態においては、VPN間接続管理システム100のオペレータが、VPN間接続サービスを遠隔監視し、例えば仮想マシン1の負荷が高いといった状況を判断した場合に、入力部13を用いて、顧客ID「000001」とともにライブマイグレーションの実行指示を入力する。   In the first embodiment, when the operator of the inter-VPN connection management system 100 remotely monitors the inter-VPN connection service and determines that the load on the virtual machine 1 is high, for example, the input unit 13 is used. A live migration execution instruction is input together with the customer ID “000001”.

ライブマイグレーション実行部15は、入力部13から顧客IDとともにライブマイグレーションの実行指示を受け付けると、ライブマイグレーションの実行指示を、仮想マシン1に対して送信する。具体的には、ライブマイグレーション実行部15は、顧客IDを用いて顧客ネットワーク設定記憶部11を参照し、マイグレーション元の仮想マシン1のIPアドレス「192.168.1.10」及びその制御用のIPアドレス「172.16.100.1」、並びに、マイグレーション先の仮想マシン2の制御用のIPアドレス「172.16.100.2」を取得する。そして、ライブマイグレーション実行部15は、データセンタ1との間で通信を行い、マイグレーション元を仮想マシン1とし、マイグレーション先を仮想マシン2とするライブマイグレーションの実行指示を、ライブマイグレーションに必要なIPアドレスなどとともに送信する。   When the live migration execution unit 15 receives a live migration execution instruction together with the customer ID from the input unit 13, the live migration execution unit 15 transmits a live migration execution instruction to the virtual machine 1. Specifically, the live migration execution unit 15 refers to the customer network setting storage unit 11 using the customer ID, and the IP address “192.168.1.10” of the migration source virtual machine 1 and the control IP address “172.16”. .100.1 ”and the control IP address“ 172.16.100.2 ”of the migration destination virtual machine 2 are acquired. Then, the live migration execution unit 15 communicates with the data center 1 to provide a live migration execution instruction with the migration source as the virtual machine 1 and the migration destination as the virtual machine 2 as an IP address necessary for live migration. Etc. to send with.

また、ライブマイグレーション実行部15は、ライブマイグレーションの実行確認通知を仮想マシン1から受信すると、ライブマイグレーションの実行開始を検知したことを、顧客IDとともにアドレス変換設定指示部16に対して通知する。   When the live migration execution unit 15 receives a live migration execution confirmation notification from the virtual machine 1, the live migration execution unit 15 notifies the address conversion setting instruction unit 16 together with the customer ID that the start of execution of live migration has been detected.

アドレス変換設定指示部16は、ライブマイグレーションの実行開始を検知したことの通知を顧客IDとともにライブマイグレーション実行部15から受け付けると、顧客IDを用いて顧客ネットワーク設定記憶部11を参照し、アドレス変換装置1の制御用のIPアドレス「172.16.10.1」及びアドレス変換情報、並びに、アドレス変換装置2の制御用のIPアドレス「172.16.10.2」を取得する。そして、アドレス変換設定指示部16は、VPN間接続処理部20に対して、アドレス変換装置2に対する設定指示を、設定に必要なアドレス変換情報などとともに送信する。なお、アドレス変換設定指示部16は、設定指示情報のヘッダに、例えば「T−NAT」などの引数を付与する。   When the address conversion setting instruction unit 16 receives a notification that the start of live migration execution has been detected from the live migration execution unit 15 together with the customer ID, the address conversion setting instruction unit 16 refers to the customer network setting storage unit 11 using the customer ID, and 1 control IP address “172.16.10.1” and address translation information, and control IP address “172.16.10.2” of the address translation device 2 are acquired. Then, the address translation setting instruction unit 16 transmits a setting instruction for the address translation device 2 to the inter-VPN connection processing unit 20 together with address translation information necessary for setting. The address conversion setting instruction unit 16 adds an argument such as “T-NAT” to the header of the setting instruction information.

また、アドレス変換設定指示部16は、アドレス変換装置2に対する設定完了通知をVPN間接続処理部20から受信すると、アドレス変換装置2に対する設定が完了したことを、顧客IDとともにルーティング設定指示部17に対して通知する。   When the address translation setting instruction unit 16 receives a setting completion notification for the address translation device 2 from the inter-VPN connection processing unit 20, the address translation setting instruction unit 16 notifies the routing setting instruction unit 17 that the setting for the address translation device 2 is completed together with the customer ID. Notify them.

ルーティング設定指示部17は、ライブマイグレーションの実行完了通知を仮想マシン1から受信し、かつ、アドレス変換装置2に対する設定が完了したことの通知をアドレス変換設定指示部16から受け付けると、顧客IDを用いて顧客ネットワーク設定記憶部11を参照し、集合仮想ルータの制御用のIPアドレス及びルーティング情報(予備)を取得する。そして、ルーティング設定指示部17は、VPN間接続処理部20に対して、集合仮想ルータに対する設定指示を、設定に必要なルーティング情報などとともに送信する。なお、ルーティング設定指示部17は、設定指示情報のヘッダに、例えば「VR」などの引数を付与する。   When the routing setting instructing unit 17 receives the live migration execution completion notification from the virtual machine 1 and receives from the address translation setting instructing unit 16 the notification that the setting for the address translation device 2 has been completed, the routing setting instructing unit 17 uses the customer ID. The customer network setting storage unit 11 is referred to, and an IP address and routing information (standby) for controlling the collective virtual router are acquired. Then, the routing setting instruction unit 17 transmits a setting instruction for the collective virtual router to the inter-VPN connection processing unit 20 together with routing information necessary for setting. Note that the routing setting instruction unit 17 adds an argument such as “VR” to the header of the setting instruction information.

一方、VPN間接続処理部20は、ネットワーク装置設定記憶部21と、通信部22と、設定指示受信部23と、アドレス変換設定部24と、ルーティング設定部25とを備える。   On the other hand, the inter-VPN connection processing unit 20 includes a network device setting storage unit 21, a communication unit 22, a setting instruction receiving unit 23, an address conversion setting unit 24, and a routing setting unit 25.

ネットワーク装置設定記憶部21は、ネットワーク装置に対して設定を行うための情報を記憶する。図6は、第1の実施形態に係るネットワーク装置設定記憶部を説明するための図である。図6に示すように、ネットワーク装置設定記憶部21は、アドレス変換装置1〜3、及び集合仮想ルータについて、制御用のIPアドレス及びパスワードを記憶する。なお、図6は、ネットワーク装置設定記憶部21が記憶する情報の一部を例示するものである。   The network device setting storage unit 21 stores information for setting the network device. FIG. 6 is a diagram for explaining the network device setting storage unit according to the first embodiment. As illustrated in FIG. 6, the network device setting storage unit 21 stores control IP addresses and passwords for the address translation devices 1 to 3 and the collective virtual router. FIG. 6 illustrates a part of information stored in the network device setting storage unit 21.

図3に戻り、通信部22は、IP通信用の一般的なインタフェースであり、例えば、アドレス変換装置1〜3や集合仮想ルータとの間で制御用のネットワークを介して通信を行う。設定指示受信部23は、VPN間接続管理システム100内部のインタフェースであり、ライブマイグレーション処理部10との間で情報の送受信を行う。なお、設定指示受信部23は、引数「T−NAT」がヘッダに含まれる設定指示情報については、アドレス変換設定部24に提供し、引数「VR」がヘッダに含まれる設定指示情報については、ルーティング設定部25に提供する。   Returning to FIG. 3, the communication unit 22 is a general interface for IP communication. For example, the communication unit 22 communicates with the address translation devices 1 to 3 and the collective virtual router via a control network. The setting instruction receiving unit 23 is an interface inside the inter-VPN connection management system 100 and transmits / receives information to / from the live migration processing unit 10. The setting instruction receiving unit 23 provides the setting instruction information in which the argument “T-NAT” is included in the header to the address translation setting unit 24, and the setting instruction information in which the argument “VR” is included in the header is This is provided to the routing setting unit 25.

アドレス変換設定部24は、アドレス変換装置2に対する設定指示を、設定に必要なアドレス変換情報などとともにアドレス変換設定指示部16から受信すると、ネットワーク装置設定記憶部21を参照し、アドレス変換装置2の制御用のIPアドレス「172.16.10.2」及びパスワード「hogehoge02」を取得する。そして、アドレス変換設定部24は、制御用のIPアドレス「172.16.10.2」及びパスワード「hogehoge02」を用いてアドレス変換装置2にアクセスし、アドレス変換設定指示部16から受信したアドレス変換情報を設定する。すなわち、アドレス変換装置2には、アドレス変換装置1に設定されていたアドレス変換情報と同一内容のアドレス変換情報が設定される。   When the address translation setting unit 24 receives a setting instruction for the address translation device 2 from the address translation setting instruction unit 16 together with address translation information necessary for the setting, the address translation setting unit 24 refers to the network device setting storage unit 21 and The control IP address “172.16.10.2” and the password “hogehoge02” are acquired. Then, the address translation setting unit 24 accesses the address translation device 2 using the control IP address “172.16.10.2” and the password “hogehoge02”, and sets the address translation information received from the address translation setting instruction unit 16. . That is, address translation information having the same content as the address translation information set in the address translation device 1 is set in the address translation device 2.

なお、アドレス変換設定部24は、アドレス変換装置2にアクセスする際に、例えば、アタッチメントを利用すればよい。アタッチメントは、アドレス変換情報をアドレス変換装置2に対して反映するためのプログラム、及び、ルーティング情報を集合仮想ルータに対して反映するためのプログラムを含む。   The address conversion setting unit 24 may use, for example, an attachment when accessing the address conversion device 2. The attachment includes a program for reflecting the address translation information to the address translation device 2 and a program for reflecting the routing information to the collective virtual router.

具体的には、アタッチメントには、VPN間接続管理システム100とアドレス変換装置2との間で用いられる通信プロトコルや、VPN間接続管理システム100と集合仮想ルータとの間で用いられる通信プロトコルが規定される。また、アタッチメントには、アドレス変換装置2や集合仮想ルータにログインするためのID/パスワードや、アドレス変換情報やルーティング情報を格納すべきパスを指定し、指定したパスにアドレス変換情報やルーティング情報を格納するためのコマンド、アドレス変換装置2や集合仮想ルータを再起動させるコマンドなどが記載される。なお、アドレス変換情報やルーティング情報の反映には、格納して再起動することで反映する場合と、格納によって反映する場合とがある。なお、一般に、通信プロトコルには、アドレス変換装置2のベンダや集合仮想ルータのベンダによって規定される独自仕様の通信プロトコルが用いられる。VPN間接続処理部20は、例えばVPN間接続管理システム100のオペレータに入力されることで、アタッチメントを事前に記憶する。   Specifically, the attachment defines a communication protocol used between the VPN connection management system 100 and the address translation device 2 and a communication protocol used between the VPN connection management system 100 and the collective virtual router. Is done. In addition, an ID / password for logging in to the address translation device 2 or the collective virtual router, a path where address translation information and routing information should be stored are designated in the attachment, and address translation information and routing information are designated in the designated path. A command for storing, a command for restarting the address translation device 2 and the collective virtual router, and the like are described. Note that address translation information and routing information may be reflected by storing and restarting, or reflected by storing. In general, as the communication protocol, a proprietary communication protocol defined by the vendor of the address translation device 2 or the vendor of the collective virtual router is used. The inter-VPN connection processing unit 20 stores the attachment in advance by being input to the operator of the inter-VPN connection management system 100, for example.

また、アドレス変換設定部24は、アドレス変換装置2に対する設定が完了すると、アドレス変換装置2に対する設定が完了したことを、アドレス変換設定指示部16に対して通知する。   Further, when the setting for the address translation device 2 is completed, the address translation setting unit 24 notifies the address translation setting instruction unit 16 that the setting for the address translation device 2 has been completed.

ルーティング設定部25は、集合仮想ルータに対する設定指示を、設定に必要なルーティング情報などとともにルーティング設定指示部17から受信すると、ネットワーク装置設定記憶部21を参照し、集合仮想ルータの制御用のIPアドレス「172.16.10.4」及びパスワード「hogehoge」を取得する。そして、ルーティング設定部25は、制御用のIPアドレス「172.16.10.4」及びパスワード「hogehoge」を用いて集合仮想ルータにアクセスし、ルーティング設定指示部17から受信したルーティング情報を設定する。   When the routing setting unit 25 receives a setting instruction for the collective virtual router from the routing setting instruction unit 17 together with routing information necessary for the setting, the routing setting unit 25 refers to the network device setting storage unit 21 and controls the IP address for controlling the collective virtual router. Get “172.16.10.4” and password “hogehoge”. Then, the routing setting unit 25 accesses the aggregate virtual router using the control IP address “172.16.10.4” and the password “hogehoge”, and sets the routing information received from the routing setting instruction unit 17.

すなわち、利用者端末から仮想マシン1にアクセスするための経路から、利用者端末から仮想マシン2にアクセスするための経路に、現用の経路(ルーティング)を切り替える。図5を用いて説明すると、仮想ルータのインタフェース「10.0.10.97」からインタフェース「10.0.20.97」にルーティングされていたパケットは、ルーティング切替後、インタフェース「10.0.10.97」からインタフェース「10.0.30.97」にルーティングされる。なお、ルーティング設定部25は、集合仮想ルータにアクセスする際に、例えば、上述したアタッチメントを利用すればよい。   That is, the working path (routing) is switched from the path for accessing the virtual machine 1 from the user terminal to the path for accessing the virtual machine 2 from the user terminal. Referring to FIG. 5, a packet routed from the interface “10.0.10.97” of the virtual router to the interface “10.0.20.97” is changed from the interface “10.0.10.97” to the interface “10.0.30.97” after switching the routing. Routed. Note that the routing setting unit 25 may use, for example, the attachment described above when accessing the collective virtual router.

[第1の実施形態の効果]
上述したように、第1の実施形態に係るVPN間接続管理システム100は、ライブマイグレーションの実行開始を検知し、これを契機として、ネットワーク装置に対する設定を開始する。すなわち、ライブマイグレーションの実行と経路の構築とが、併行して進められることになる。この結果、ライブマイグレーションに伴ってVPN間接続管理システム100側に発生する処理時間は、ライブマイグレーションの実行時間と経路の構築時間とを足し合わせた時間ではなく、原理的には、ライブマイグレーションの実行時間又は経路の構築時間のいずれか長い方の時間でほぼ済むことになる。よって、ライブマイグレーションに伴って発生する処理時間が短縮される。
[Effect of the first embodiment]
As described above, the inter-VPN connection management system 100 according to the first embodiment detects the start of live migration, and starts setting for the network device using this as a trigger. That is, the execution of live migration and the construction of a route are performed in parallel. As a result, the processing time that occurs on the side of the inter-VPN connection management system 100 with live migration is not the sum of the live migration execution time and the path construction time, but in principle, the live migration execution The longer of the time or the path construction time, whichever is longer, will be almost completed. Therefore, the processing time generated with live migration is shortened.

また、第1の実施形態に係るVPN間接続管理システム100は、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報と同一内容のアドレス変換情報を、マイグレーション先のアドレス変換装置に対して設定する。例えば、マイグレーション先のデータセンタ2が、マイグレーション元のデータセンタ1の予備系として運用されている場合などに可能である。すなわち、マイグレーション先のデータセンタ2において、マイグレーション元のデータセンタ1で用いられるIPアドレスが、空きのIPアドレスとして予め確保されていれば、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報をマイグレーション先のアドレス変換装置に対して複製するだけで済むことになる。なお、例えば、偶然空きのIPアドレスである場合にも、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報と同一内容のアドレス変換情報を、マイグレーション先のアドレス変換装置に対して設定すればよい。   Further, the inter-VPN connection management system 100 according to the first embodiment sets the address translation information having the same contents as the address translation information set in the migration source address translation apparatus for the migration destination address translation apparatus. To do. For example, this is possible when the migration-destination data center 2 is operated as a standby system for the migration-source data center 1. That is, in the migration destination data center 2, if the IP address used in the migration source data center 1 is secured in advance as a free IP address, the address translation information set in the migration source address translation device is used. It is only necessary to duplicate the migration destination address translation device. For example, even if the IP address is accidentally free, if address translation information having the same content as the address translation information set in the migration source address translation device is set in the migration destination address translation device, Good.

[第1の実施形態の変形例]
続いて、第1の実施形態の変形例を説明する。
[Modification of First Embodiment]
Subsequently, a modification of the first embodiment will be described.

(変形例1)
第1の実施形態においては、データセンタ1とデータセンタ2とが専用線で接続され、ライブマイグレーションの通信路として専用線を用いる例を説明したが、これに限られるものではない。図7は、第1の実施形態の変形例を説明するための図である。図7に示すように、ライブマイグレーションの通信路としてVPN間接続サービスを用いることも可能である。なお、一般的に、ライブマイグレーションの通信路として構築された経路には、ライブマイグレーションの実行に伴う設定変更は発生しない。
(Modification 1)
In the first embodiment, the example in which the data center 1 and the data center 2 are connected by a dedicated line and the dedicated line is used as a communication path for live migration has been described. However, the present invention is not limited to this. FIG. 7 is a diagram for explaining a modification of the first embodiment. As shown in FIG. 7, an inter-VPN connection service can be used as a live migration communication path. Note that, generally, a setting change associated with execution of live migration does not occur in a route constructed as a live migration communication channel.

(変形例2)
第1の実施形態においては、オペレータが、VPN間接続サービスを遠隔監視し、例えば仮想マシン1の負荷が高いといった状況を判断した場合に、ライブマイグレーションの実行指示を入力する例を説明したが、これに限られるものではない。例えば、VPN間接続管理システム100が、遠隔監視を行うプログラムを実行することで、仮想マシン1のCPU(Central Processing Unit)の負荷状況やネットワークの使用帯域を監視し、例えば所定の閾値を超過したことを条件として、ライブマイグレーションの実行を決定してもよい。すなわち、オペレータによる手動ではなく、自動化してもよい。
(Modification 2)
In the first embodiment, an example has been described in which the operator remotely monitors the connection service between VPNs and inputs a live migration execution instruction when determining a situation where the load on the virtual machine 1 is high, for example. It is not limited to this. For example, the inter-VPN connection management system 100 monitors the load status of the CPU (Central Processing Unit) of the virtual machine 1 and the bandwidth used in the network by executing a program for remote monitoring, and exceeds a predetermined threshold, for example. On this condition, execution of live migration may be determined. That is, it may be automated, not manually by an operator.

反対に、第1の実施形態においては、その後の処理を全て自動化する例を説明したが、これに限られるものではない。例えば、ライブマイグレーションの実行開始を検知したことを通知する情報を、VPN間接続管理システム100が備える出力部に出力し、オペレータが、これを契機として、ネットワーク装置に対する設定開始指示を入力してもよい。また、例えば、ライブマイグレーションの実行が完了し、かつ、アドレス変換装置に対する設定が完了したことを通知する情報を、VPN間接続管理システム100が備える出力部に出力し、オペレータが、これを確認してから、ルーティングを切り替える指示を入力してもよい。なお、その他の処理も、運用の形態などに応じて、オペレータによる手動に置き換えることが可能である。   On the contrary, in the first embodiment, an example in which all subsequent processes are automated has been described, but the present invention is not limited to this. For example, even when the information notifying that the start of live migration has been detected is output to the output unit included in the inter-VPN connection management system 100, the operator inputs a setting start instruction for the network device as a trigger. Good. In addition, for example, information notifying that the execution of live migration is completed and the setting for the address translation device is completed is output to the output unit of the inter-VPN connection management system 100, and the operator confirms this. Then, an instruction to switch routing may be input. Other processing can be replaced manually by the operator according to the operation mode.

(変形例3)
第1の実施形態においては、VPN間接続管理システム100の構成として図3を例示したが、これに限られるものではない。まず、上述したように、VPN間接続管理システム100は、VPN間接続サービスを管理し、経路を構築するシステムであり、例えばオンデマンド(On Demand)な要求にも対応するものである。このため、VPN間接続管理システム100は、このようなVPN間接続サービスを提供するために必要な情報をさらに記憶し、説明を省略した他の制御部を備えていてもよい。
(Modification 3)
In the first embodiment, FIG. 3 is exemplified as the configuration of the inter-VPN connection management system 100, but the configuration is not limited to this. First, as described above, the inter-VPN connection management system 100 is a system that manages an inter-VPN connection service and constructs a route, and responds to, for example, an on-demand request. For this reason, the inter-VPN connection management system 100 may further include information necessary for providing such an inter-VPN connection service, and may include another control unit whose description is omitted.

また、顧客ネットワーク設定記憶部11やネットワーク装置設定記憶部21も、第1の実施形態において説明したものに限られない。ライブマイグレーション処理部11側で記憶する情報として説明した情報を、VPN間接続処理部20側で記憶していてもよいし、またその逆でもよい。また、情報の記憶方法(テーブル構造)も、任意に変更することができる。また、説明を省略したが、例えば仮想ルータを識別する必要がある場合、仮想ルータの識別情報とともに記憶し、この識別情報を用いて制御を行ってもよい。   Further, the customer network setting storage unit 11 and the network device setting storage unit 21 are not limited to those described in the first embodiment. Information described as information stored on the live migration processing unit 11 side may be stored on the inter-VPN connection processing unit 20 side, or vice versa. Also, the information storage method (table structure) can be arbitrarily changed. Although explanation is omitted, for example, when it is necessary to identify a virtual router, it may be stored together with identification information of the virtual router, and control may be performed using this identification information.

また、必ずしもライブマイグレーション処理部11とVPN間接続処理部20とに分かれている必要もない。   Further, it is not always necessary to be divided into the live migration processing unit 11 and the VPN connection processing unit 20.

(第2の実施形態)
続いて、第2の実施形態を説明する。第1の実施形態においては、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報と同一内容のアドレス変換情報を、マイグレーション先のアドレス変換装置に対して設定することを想定した。例えば、設定しようとするIPアドレスが、マイグレーション先において、予め確保されたIPアドレスであるか、あるいは偶然空きのIPアドレスである場合などに有効である。
(Second Embodiment)
Next, the second embodiment will be described. In the first embodiment, it is assumed that address translation information having the same content as the address translation information set in the migration source address translation device is set in the migration destination address translation device. For example, this is effective when the IP address to be set is an IP address reserved in advance at the migration destination or an accidentally free IP address.

第2の実施形態においては、新たなIPアドレスを払い出し、新たなアドレス変換情報を生成して設定することを想定する。例えば、マイグレーション元で使用されていたIPアドレスが、マイグレーション先において、使用中のIPアドレスであるか、あるいは予約済みのIPアドレスである場合に有効である。また、単に、ライブマイグレーション実行時には新たなIPアドレスを払い出す、といった運用の場合にも有効である。なお、第2の実施形態に係るVPN間接続管理システム100の構成は、第1の実施形態と同様である。   In the second embodiment, it is assumed that a new IP address is issued and new address translation information is generated and set. For example, this is effective when the IP address used at the migration source is an IP address in use at the migration destination or a reserved IP address. It is also effective in the case of an operation in which a new IP address is paid out when live migration is executed. The configuration of the inter-VPN connection management system 100 according to the second embodiment is the same as that of the first embodiment.

なお、マイグレーション元の仮想マシンのIPアドレスと、マイグレーション先の仮想マシンのIPアドレスとが異なるIPアドレスである場合に、ライブマイグレーションを実現する技術は、公知の技術であるグローバルライブマイグレーションを用いればよい(例えば、渡邉英伸ら、「IPモビリティと複数インタフェースを用いたグローバルライブマイグレーション」、電子情報通信学会論文誌VOL.J93-B NO.7 JULY2010、P.893-901)。例えば同文献には、IPモビリティの技術を応用して実現することが記載されている。IPモビリティは、端末に割り振られたIPアドレスが端末の移動に伴い変更された場合でも、移動前に行っていた通信を継続する技術である。   In addition, when the IP address of the migration source virtual machine and the IP address of the migration destination virtual machine are different IP addresses, a technique for realizing live migration may be a known technique, global live migration. (For example, Hidenobu Watanabe et al., “Global Live Migration Using IP Mobility and Multiple Interfaces”, IEICE Transactions VOL.J93-B NO.7 JULY2010, P.893-901). For example, this document describes that an IP mobility technique is applied. IP mobility is a technique for continuing communication performed before movement even when the IP address allocated to the terminal is changed as the terminal moves.

なお、「マイグレーション先の仮想マシンのIPアドレス」がライブマイグレーションの実行前に決定されていることを前提とする手法を用いる場合には、VPN間接続管理システム100は、例えば図2のステップS2よりも前に、「マイグレーション先の仮想マシンのIPアドレス」を決定すればよい。このような手法を用いない場合には、「マイグレーション先の仮想マシンのIPアドレス」は、ライブマイグレーションにおいて必要となる任意の段階で決定されればよい。   In the case of using a method on the premise that the “IP address of the migration destination virtual machine” is determined before the execution of the live migration, the inter-VPN connection management system 100, for example, from step S2 of FIG. In advance, the “migration destination virtual machine IP address” may be determined. When such a method is not used, the “IP address of the migration destination virtual machine” may be determined at an arbitrary stage required for live migration.

[Twice−NATの適用]
IPアドレスの払い出しについて説明する前に、まず、VPN間通信システムに適用されるアドレス変換の技術「Twice−NAT」を説明する。Twice−NATは、IETF(Internet Engineering Task Force)によって公開されたRFC(Request for Comments)2663の技術である。
[Application of Twice-NAT]
Before describing IP address delivery, the address translation technique “Tice-NAT” applied to the inter-VPN communication system will be described first. Twice-NAT is a technology of RFC (Request for Comments) 2663 published by the Internet Engineering Task Force (IETF).

Twice−NATとは、送信元のIPアドレス及び宛先のIPアドレスの双方を変換する技術である。以下、あるVPN間接続サービスを利用する利用者端末や仮想マシンを、この利用者端末や仮想マシンが設置された自VPN内で一意に識別するためのIPアドレスを、「自VPN内アドレス」と呼ぶ。また、通信相手となる他のVPNに設置された利用者端末や仮想マシンを、自VPN内で一意に識別するためのIPアドレスを、「第一アドレス」と呼ぶ。また、あるVPN間接続サービスを利用する利用者端末や仮想ルータを仮想ルータにて一意に識別するためのIPアドレスを、「第二アドレス」と呼ぶ。   Twice-NAT is a technique for converting both a source IP address and a destination IP address. Hereinafter, an IP address for uniquely identifying a user terminal or a virtual machine that uses a connection service between VPNs within the own VPN in which the user terminal or virtual machine is installed is referred to as an “address within the own VPN”. Call. In addition, an IP address for uniquely identifying a user terminal or a virtual machine installed in another VPN serving as a communication partner is referred to as a “first address”. An IP address for uniquely identifying a user terminal or a virtual router that uses a certain inter-VPN connection service is referred to as a “second address”.

図8は、第2の実施形態におけるTwice−NATを説明するための図である。図8において、「ai」は、VPNi内で利用者端末を一意に識別するための自VPN内アドレスであり、「aj」は、VPNj内で仮想マシン1を一意に識別するための自VPN内アドレスである。また、図8において図示を省略しているが、VPNi、VPNj以外の他のVPNであるVPNkも、VPN間接続サービスの提供を受ける。「ak」は、VPNk内で端末を一意に識別するための自VPN内アドレスである。なお、i、j及びkは、互いに独立な正の整数値であり、ここでは特にi≠j、j≠k、k≠iである。また、(1)は、VPNiから仮想ルータ(VRFm(Virtual Routing and Forwarding))向けのアドレス変換を表す変換作用素である。また、(2)は、仮想ルータ(VRFm)からVPNj向けのアドレス変換を表す変換作用素である。ここで、m及びnは、仮想ルータを識別する互いに独立な正の整数値であり、ここでは特にm≠nである。

Figure 0005486526
Figure 0005486526
FIG. 8 is a diagram for explaining Twice-NAT in the second embodiment. In FIG. 8, “a i ” is an address in the own VPN for uniquely identifying the user terminal in the VPN i , and “a j ” is for uniquely identifying the virtual machine 1 in the VPN j . Address in its own VPN. Although not shown in FIG. 8, VPN k , which is a VPN other than VPN i and VPN j , is also provided with an inter-VPN connection service. “A k ” is an address in the own VPN for uniquely identifying the terminal in VPN k . Note that i, j, and k are positive integer values independent of each other, and in this case, i ≠ j, j ≠ k, and k ≠ i. Further, (1) is a translation operator that represents address translation from VPN i to a virtual router (VRF m (Virtual Routing and Forwarding)). Further, (2) is a conversion operator that represents address conversion from the virtual router (VRF m ) to VPN j . Here, m and n are mutually independent positive integer values that identify the virtual router, and in this case, m ≠ n.
Figure 0005486526
Figure 0005486526

したがって、図8において、仮想ルータ(VRFm)によって提供されるVPN間接続サービスを利用するVPNi配下の利用者端末及びVPNj配下の仮想マシン1を、仮想ルータ(VRFm)にて一意に識別するための第二アドレスは、自VPN内アドレス「ai」及び自VPN内アドレス「aj」がそれぞれアドレス変換装置によって1回変換されたIPアドレスとなり、(3)と表現される。

Figure 0005486526
Thus, in FIG. 8, the virtual machine 1 under user terminal and VPN j under VPN i utilizing inter-VPN connection service provided by the virtual router (VRF m), uniquely in virtual router (VRF m) The second address for identification is an IP address obtained by translating the in-VPN address “a i ” and the in-VPN address “a j ” once by the address translation device, and is expressed as (3).
Figure 0005486526

また、図8において、VPNj配下の仮想マシン1をVPNi内で一意に識別するための第一アドレスは、(4)となる。同様に、VPNi配下の利用者端末をVPNj内で一意に識別するための第一アドレスは、(5)となる。

Figure 0005486526
Figure 0005486526
In FIG. 8, the first address for uniquely identifying the virtual machine 1 under VPN j in VPN i is (4). Similarly, the first address for uniquely identifying the user terminal under VPN i in VPN j is (5).
Figure 0005486526
Figure 0005486526

VPN間接続管理システム100は、オンデマンドにVPN間接続サービスを提供する場合、この提供にあたり、第一アドレス及び第二アドレスを払い出し、アドレス変換情報を生成し、アドレス変換装置に対する設定を行う。具体的には、VPN間接続管理システム100は、(6)式を満たすように、第一アドレスを決定する。(6)式の右辺は、VPNi内の端末にとって通信相手となり得るVPNk配下の端末(VPNi内の端末とVPNk内の端末とは仮想ルータ(VRFn)によってVPN間接続)をVPNi内で一意に識別するための第一アドレスである。すなわち、VPNj配下の仮想マシン1をVPNi内で一意に識別するための第一アドレスと、VPNk配下の端末をVPNi内で一意に識別するための第一アドレスとは、異なるものでなければならない。したがって、(6)式は、「第一アドレスは、VPNiに設置された利用者端末と仮想マシン1との間にVPN間接続サービスが提供される時間帯において、VPNi内で利用される第一アドレスの中で一意に識別されるように払い出されなければならない」ことを示し、結局、第一アドレスには、VPNi内でその時間帯に利用されていない(あるいはその時間帯に利用される予定のない)IPアドレスが用いられる。なお、(7)式及び(8)式も満たさなければならない。

Figure 0005486526
Figure 0005486526
Figure 0005486526
When providing an inter-VPN connection service on demand, the inter-VPN connection management system 100 issues a first address and a second address, generates address translation information, and makes settings for the address translation apparatus. Specifically, the inter-VPN connection management system 100 determines the first address so as to satisfy Equation (6). (6) the right side of the equation, VPN a subordinate terminal VPN k which can be a communication counterpart for the terminal in the VPN i (VPN connections by virtual router (VRF n) from the terminal in the terminal and VPN k in VPN i) This is the first address for uniquely identifying i . That is, the first address for uniquely identifying the virtual machine 1 under VPN j in VPN i is different from the first address for uniquely identifying the terminal under VPN k in VPN i . There must be. Therefore, the expression (6) indicates that “the first address is used in the VPN i in the time zone in which the inter-VPN connection service is provided between the user terminal installed in the VPN i and the virtual machine 1. Must be paid out so as to be uniquely identified in the first address ", and eventually the first address is not used in VPN i for that time zone (or in that time zone) An IP address that is not scheduled to be used is used. Note that the expressions (7) and (8) must also be satisfied.
Figure 0005486526
Figure 0005486526
Figure 0005486526

また、VPN間接続管理システム100は、(9)式を満たすように、第一アドレスを決定する。(9)式の右辺は、VPNj内の端末にとって通信相手となり得るVPNk配下の端末(VPNj内の端末とVPNk内の端末とは仮想ルータ(VRFn)によってVPN間接続)をVPNj内で一意に識別するための第一アドレスである。すなわち、VPNi配下の利用者端末をVPNj内で一意に識別するための第一アドレスと、VPNk配下の端末をVPNj内で一意に識別するための第一アドレスとは、異なるものでなければならない。したがって、(9)式は、「第一アドレスは、VPNiに設置された利用者端末と仮想マシン1との間にVPN間接続サービスが提供される時間帯において、VPNj内で利用される第一アドレスの中で一意に識別されるように払い出されなければならない」ことを示し、結局、第一アドレスには、VPNj内でその時間帯に利用されていない(あるいはその時間帯に利用される予定のない)IPアドレスが用いられる。なお、(10)式及び(11)式も満たさなければならない。

Figure 0005486526
Figure 0005486526
Figure 0005486526
Further, the inter-VPN connection management system 100 determines the first address so as to satisfy the expression (9). (9) the right side of the equation, VPN a subordinate terminal VPN k which can be a communication counterpart for the terminal in the VPN j (VPN connections by virtual router (VRF n) from the terminal in the terminal and VPN k in VPN j) This is the first address for uniquely identifying in j . That is, the first address for uniquely identifying the user terminal under VPN i in VPN j is different from the first address for uniquely identifying the terminal under VPN k in VPN j . There must be. Therefore, the expression (9) indicates that “the first address is used in the VPN j in a time zone in which the inter-VPN connection service is provided between the user terminal installed in the VPN i and the virtual machine 1. Must be paid out so as to be uniquely identified in the first address. "As a result, the first address is not used in that time zone in VPN j (or in that time zone) An IP address that is not scheduled to be used is used. Note that the expressions (10) and (11) must also be satisfied.
Figure 0005486526
Figure 0005486526
Figure 0005486526

また、VPN間接続管理システム100は、例えば(12)式を満たすように、第二アドレスを決定する。(12)式は、「第二アドレスは、VPNiに設置された利用者端末と仮想マシン1との間にVPN間接続サービスが提供される時間帯において、同じ仮想ルータ内で一意に識別されるように払い出されなければならない」ことを示す。

Figure 0005486526
Further, the inter-VPN connection management system 100 determines the second address so as to satisfy the expression (12), for example. The expression (12) indicates that “the second address is uniquely identified within the same virtual router in the time period during which the inter-VPN connection service is provided between the user terminal installed in VPN i and the virtual machine 1. Must be paid out ".
Figure 0005486526

このように、VPN間接続管理システム100は、「Twice−NAT」及び「仮想ルータ」の技術を用いてIPアドレス空間を独立化することで、IPアドレスの競合を解決しつつ、IPアドレスの割り当てを簡易化している。具体的には、まず、「Twice−NAT」により、VPNと仮想ルータとの間で、IPアドレス空間を垂直方向に分離する(図8の白抜き矢印を参照)。また、「仮想ルータ」により、集合仮想ルータに設定された仮想ルータ間で、IPアドレス空間を水平方向に分離する(図8の白抜き矢印を参照)。そして、VPN間接続管理システム100は、この両者を組み合わせることにより、IPアドレス空間を、各VPN内、各仮想ルータ内にそれぞれ独立化させ、IPアドレスの競合を解決しつつ、IPアドレスの割り当てを簡易化している。   As described above, the inter-VPN connection management system 100 uses the “twice-NAT” and “virtual router” technologies to make the IP address space independent, thereby solving the IP address conflict and assigning the IP address. Is simplified. Specifically, first, the IP address space is separated in the vertical direction between the VPN and the virtual router by “Twice-NAT” (see the white arrow in FIG. 8). Further, the “virtual router” separates the IP address space in the horizontal direction between the virtual routers set as the aggregate virtual router (see the white arrow in FIG. 8). The inter-VPN connection management system 100 combines the two to make the IP address space independent in each VPN and each virtual router, and resolves IP address conflicts while assigning IP addresses. It is simplified.

このように、Twice−NATによるアドレス変換は、Single−NATによるアドレス変換と比較して、利便性が高い。この点について、具体的なIPアドレスを例に挙げて説明する。   As described above, the address translation based on Twice-NAT is more convenient than the address translation based on Single-NAT. This point will be described using a specific IP address as an example.

図9は、Single−NATによるアドレス変換を説明するための図である。まず、VPN3に設置された利用者端末をVPN3内で一意に識別するIPアドレスは、「192.168.1.10」である。このIPアドレス「192.168.1.10」は、外部には通知されない。すなわち、アドレス変換装置3が、IPアドレス「192.168.1.10」をIPアドレス「172.16.1.10」に変換することで、利用者端末の外部向けのIPアドレスは、「172.16.1.10」となる。このため、仮想ルータや、仮想マシン1が設置されたVPN1において、利用者端末を一意に識別するIPアドレスは、「172.16.1.10」である。   FIG. 9 is a diagram for explaining address translation by Single-NAT. First, the IP address that uniquely identifies the user terminal installed in the VPN 3 within the VPN 3 is “192.168.1.10”. This IP address “192.168.1.10” is not notified to the outside. That is, when the address translation device 3 translates the IP address “192.168.1.10” into the IP address “172.16.1.10”, the external IP address of the user terminal becomes “172.16.1.10”. For this reason, in the VPN 1 in which the virtual router or the virtual machine 1 is installed, the IP address for uniquely identifying the user terminal is “172.16.1.10”.

一方、VPN1に設置された仮想マシン1をVPN1内で一意に識別するIPアドレスは、「192.168.1.10」である。このIPアドレス「192.168.1.10」は、外部には通知されない。すなわち、アドレス変換装置1が、IPアドレス「192.168.1.10」をIPアドレス「172.16.2.10」に変換することで、仮想マシン1の外部向けのIPアドレスは、「172.16.2.10」となる。このため、仮想ルータや、利用者端末が設置されたVPN3において、仮想マシン1を一意に識別するIPアドレスは、「172.16.2.10」である。   On the other hand, the IP address that uniquely identifies the virtual machine 1 installed in the VPN 1 within the VPN 1 is “192.168.1.10”. This IP address “192.168.1.10” is not notified to the outside. That is, when the address translation device 1 translates the IP address “192.168.1.10” into the IP address “172.16.2.10”, the external IP address of the virtual machine 1 becomes “172.16.2.10”. Therefore, the IP address that uniquely identifies the virtual machine 1 in the VPN 3 in which the virtual router and the user terminal are installed is “172.16.2.10”.

ここで、ライブマイグレーションの実行前、利用者端末は、宛先を「172.16.2.10」、送信元を「192.168.1.10」とするパケットを送信するので、アドレス変換装置3は、アドレス変換情報に従って、「192.168.1.10」を「172.16.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「172.16.2.10」であり、送信元が「172.16.1.10」であるパケットとなる。   Here, before the live migration is performed, the user terminal transmits a packet with the destination “172.16.2.10” and the transmission source “192.168.1.10”. Convert “192.168.1.10” to “172.16.1.10”. As a result, the packet transmitted by the user terminal is a packet whose destination is “172.16.2.10” and whose transmission source is “172.16.1.10”.

仮想ルータは、ルーティング情報に従ってルーティングを行う。この場合、宛先が「172.16.2.10」のパケットであるので、仮想ルータは、アドレス変換装置1に向けて、このパケットをルーティングする。続いて、アドレス変換装置1は、アドレス変換情報に従って、「172.16.2.10」を「192.168.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「192.168.1.10」であり、送信元が「172.16.1.10」であるパケットとなる。ここで、仮想マシン1のIPアドレスは、「192.168.1.10」であるので、このパケットは、仮想マシン1に到達する。   The virtual router performs routing according to the routing information. In this case, since the destination is a packet of “172.16.2.10”, the virtual router routes this packet toward the address translation device 1. Subsequently, the address translation device 1 translates “172.16.2.10” into “192.168.1.10” according to the address translation information. As a result, the packet transmitted by the user terminal is a packet whose destination is “192.168.1.10” and whose transmission source is “172.16.1.10”. Here, since the IP address of the virtual machine 1 is “192.168.1.10”, this packet reaches the virtual machine 1.

一方、ライブマイグレーションの実行完了後、仮想ルータは、宛先が「172.16.2.10」であり、送信元が「172.16.1.10」であるパケットを、今度はアドレス変換装置2に向けてルーティングする。ここで、アドレス変換装置2は、宛先のIPアドレスのアドレス変換を行うが、送信元のIPアドレスのアドレス変換は行わない。すなわち、送信元のIPアドレス「172.16.1.10」は、そのままVPN2内に到達する。このため、マイグレーション先のVPN2においては、利用者端末を一意に識別するためのIPアドレスとして「172.16.1.10」を利用することが『必須』となる。仮に、VPN2内で、既に「172.16.1.10」を使用中や予約済みである場合、仮想ルータやアドレス変換装置3においても、IPアドレスを見直さなければならない。   On the other hand, after the completion of the live migration, the virtual router routes the packet whose destination is “172.16.2.10” and whose transmission source is “172.16.1.10” to the address translation device 2 this time. Here, the address translation device 2 performs address translation of the destination IP address, but does not perform address translation of the source IP address. That is, the source IP address “172.16.1.10” reaches VPN 2 as it is. Therefore, in the migration destination VPN 2, it is “required” to use “172.16.1.10” as an IP address for uniquely identifying the user terminal. If “172.16.1.10” is already used or reserved in the VPN 2, the virtual router and the address translation device 3 must also review the IP address.

図10は、Twice−NATによるアドレス変換を説明するための図である。まず、VPN3に設置された利用者端末をVPN3内で一意に識別するIPアドレスは、「192.168.1.10」である。このIPアドレス「192.168.1.10」は、外部には通知されない。すなわち、アドレス変換装置3が、IPアドレス「192.168.1.10」をIPアドレス「10.0.1.10」に変換する。このため、仮想ルータにおいて、利用者端末を一意に識別するIPアドレスは、「10.0.1.10」となる。また、アドレス変換装置1が、IPアドレス「10.0.1.10」をIPアドレス「172.16.1.10」に変換する。このため、仮想マシン1が設置されたVPN1において、利用者端末を一意に識別するIPアドレスは、「172.16.1.10」となる。   FIG. 10 is a diagram for explaining address conversion by Twice-NAT. First, the IP address that uniquely identifies the user terminal installed in the VPN 3 within the VPN 3 is “192.168.1.10”. This IP address “192.168.1.10” is not notified to the outside. That is, the address conversion device 3 converts the IP address “192.168.1.10” into the IP address “10.0.1.10”. For this reason, in the virtual router, the IP address that uniquely identifies the user terminal is “10.0.1.10”. Further, the address translation device 1 translates the IP address “10.0.1.10” into the IP address “172.16.1.10”. For this reason, the IP address that uniquely identifies the user terminal in the VPN 1 in which the virtual machine 1 is installed is “172.16.1.10”.

一方、VPN1に設置された仮想マシン1をVPN1内で一意に識別するIPアドレスは、「192.168.1.10」である。このIPアドレス「192.168.1.10」は、外部には通知されない。すなわち、アドレス変換装置1が、IPアドレス「192.168.1.10」をIPアドレス「10.0.2.10」に変換する。このため、仮想ルータにおいて、仮想マシン1を一意に識別するIPアドレスは、「10.0.2.10」となる。また、アドレス変換装置3が、IPアドレス「10.0.2.10」をIPアドレス「172.16.2.10」に変換する。このため、利用者端末が設置されたVPN3において、仮想マシン1を一意に識別するIPアドレスは、「172.16.2.10」となる。   On the other hand, the IP address that uniquely identifies the virtual machine 1 installed in the VPN 1 within the VPN 1 is “192.168.1.10”. This IP address “192.168.1.10” is not notified to the outside. That is, the address translation device 1 translates the IP address “192.168.1.10” into the IP address “10.0.2.10”. Therefore, the IP address for uniquely identifying the virtual machine 1 in the virtual router is “10.0.2.10”. Further, the address translation device 3 translates the IP address “10.0.2.10” into the IP address “172.16.2.10”. For this reason, the IP address that uniquely identifies the virtual machine 1 in the VPN 3 in which the user terminal is installed is “172.16.2.10”.

ここで、ライブマイグレーションの実行前、利用者端末は、宛先を「172.16.2.10」、送信元を「192.168.1.10」とするパケットを送信するので、アドレス変換装置3は、アドレス変換情報に従って、宛先のIPアドレス「172.16.2.10」を「10.0.2.10」に変換し、送信元のIPアドレス「192.168.1.10」を「10.0.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「10.0.2.10」であり、送信元が「10.0.1.10」であるパケットとなる。   Here, before the live migration is performed, the user terminal transmits a packet with the destination “172.16.2.10” and the transmission source “192.168.1.10”, so the address translation device 3 follows the address translation information. IP address “172.16.2.10” is converted to “10.0.2.10”, and the source IP address “192.168.1.10” is converted to “10.0.1.10”. As a result, the packet transmitted by the user terminal is a packet whose destination is “10.0.2.10” and whose transmission source is “10.0.1.10”.

仮想ルータは、ルーティング情報に従ってルーティングを行う。この場合、宛先が「10.0.2.10」のパケットであるので、仮想ルータは、アドレス変換装置1に向けて、このパケットをルーティングする。続いて、アドレス変換装置1は、アドレス変換情報に従って、宛先のIPアドレス「10.0.2.10」を「192.168.1.10」に変換し、送信元のIPアドレス「10.0.1.10」を「172.16.1.10」に変換する。この結果、利用者端末が送信したパケットは、宛先が「192.168.1.10」であり、送信元が「172.16.1.10」であるパケットとなる。仮想マシン1のIPアドレスは、「192.168.1.10」であるので、このパケットは、仮想マシン1に到達する。   The virtual router performs routing according to the routing information. In this case, since the destination is a packet of “10.0.2.10”, the virtual router routes this packet toward the address translation device 1. Subsequently, the address translation device 1 translates the destination IP address “10.0.2.10” to “192.168.1.10” according to the address translation information, and changes the source IP address “10.0.1.10” to “172.16.1.10”. Convert. As a result, the packet transmitted by the user terminal is a packet whose destination is “192.168.1.10” and whose transmission source is “172.16.1.10”. Since the IP address of the virtual machine 1 is “192.168.1.10”, this packet reaches the virtual machine 1.

一方、ライブマイグレーションの実行完了後、仮想ルータは、宛先が「10.0.2.10」であり、送信元が「10.0.1.10」であるパケットを、今度はアドレス変換装置2に向けてルーティングする。ここで、アドレス変換装置2は、宛先のIPアドレス及び送信元のIPアドレスの双方を変換する。すなわち、Single−NATの場合のように、送信元のIPアドレスがそのままVPN2内に到達することはない。このため、マイグレーション先のVPN2においては、利用者端末を一意に識別するためのIPアドレスとして「172.16.1.10」を利用することが必須ではなく、少なくとも利用者端末と仮想マシン2との間にVPN間接続サービスが提供される時間帯において、VPN2内で利用されるIPアドレスの中で一意に選択されればよい。図10において、「VPN2内で利用者端末を一意に識別」するIPアドレスが『選択可』であると記載する理由は、「VPN2内で利用者端末を一意に識別」するIPアドレスとして「172.16.1.10」を利用することが必須ではないという意味である。また、図10において、「VPN2内で仮想マシン2を一意に識別する」IPアドレスが『既存』であると記載する理由は、「VPN2内で仮想マシン2を一意に識別する」IPアドレスが必ずしも仮想マシン1を一意に識別するIPアドレスと同一であることが必須ではなく、既存のIPアドレスを利用してもよいという意味である。   On the other hand, after the completion of the live migration, the virtual router routes the packet whose destination is “10.0.2.10” and whose transmission source is “10.0.1.10” toward the address translation device 2 this time. Here, the address translation device 2 translates both the destination IP address and the source IP address. That is, as in the case of Single-NAT, the source IP address does not reach VPN 2 as it is. For this reason, in the migration destination VPN 2, it is not essential to use “172.16.1.10” as an IP address for uniquely identifying the user terminal, and at least the VPN between the user terminal and the virtual machine 2 is used. In the time zone in which the inter-connection service is provided, it is only necessary to uniquely select the IP address used in the VPN 2. In FIG. 10, the reason why the IP address for “uniquely identifying the user terminal within VPN2” is “selectable” is that the IP address for “uniquely identifying the user terminal within VPN2” is “172.16. This means that it is not essential to use ".1.10". Further, in FIG. 10, the reason that the IP address “uniquely identifying the virtual machine 2 within VPN2” is described as “existing” is that the IP address “uniquely identifying the virtual machine 2 within VPN2” is not necessarily It is not essential to be the same as the IP address that uniquely identifies the virtual machine 1, which means that an existing IP address may be used.

このように、VPN間接続管理システム100は、IPアドレス空間を独立化することで、IPアドレスの競合を解決しつつ、IPアドレスの割り当てを簡易化している。   Thus, the inter-VPN connection management system 100 simplifies IP address assignment while resolving IP address conflicts by making the IP address space independent.

[IPアドレスの払い出し]
さて、第2の実施形態においては、アドレス変換設定指示部16又はアドレス変換設定部24が、新たなIPアドレスの払い出しと、新たなアドレス変換情報の生成とを行う。以下、一例として、アドレス変換設定指示部16が新たなIPアドレスの払い出しと、新たなアドレス変換情報の生成とを行う場合を説明する。
[IP address assignment]
In the second embodiment, the address translation setting instruction unit 16 or the address translation setting unit 24 issues a new IP address and generates new address translation information. Hereinafter, as an example, the case where the address translation setting instruction unit 16 issues a new IP address and generates new address translation information will be described.

ここで、アドレス変換設定指示部16が払い出しの対象とするIPアドレスは、図10を用いて説明したように、「VPN2内で利用者端末を一意に識別するためのIPアドレス」(第一アドレス)である。仮想ルータにて利用者端末や仮想マシン2を一意に識別するためのIPアドレス(第二アドレス)は、利用者端末と仮想マシン1又は仮想マシン2との間にVPN間接続サービスが提供される時間帯において、同じ仮想ルータ内で一意に識別されるように払い出されればよい。このため、ライブマイグレーションにより仮想マシン1から仮想マシン2に移行される場合、第二アドレスが仮想ルータ内で重複することは原則として無く、第二アドレスを変更する必要はない。利用者端末と仮想マシン1との間の経路と、利用者端末と仮想マシン2との間の経路とが、同時に現用の経路(アクティブ)となることはないからである。   Here, as described with reference to FIG. 10, the IP address to be issued by the address conversion setting instruction unit 16 is “IP address for uniquely identifying the user terminal in the VPN 2” (first address ). An IP address (second address) for uniquely identifying the user terminal and the virtual machine 2 in the virtual router is provided between the user terminal and the virtual machine 1 or the virtual machine 2. The payout may be performed so as to be uniquely identified in the same virtual router in the time zone. For this reason, when migrating from the virtual machine 1 to the virtual machine 2 by live migration, in principle, the second address does not overlap within the virtual router, and there is no need to change the second address. This is because the route between the user terminal and the virtual machine 1 and the route between the user terminal and the virtual machine 2 do not become an active route (active) at the same time.

図11は、第2の実施形態におけるIPアドレスの管理を説明するための図である。第2の実施形態において、アドレス変換設定指示部16は、図11に示すように、IPアドレス空間を、時間軸を用いて管理している。ここで、図11は、例えば、VPN2に関して管理されたIPアドレス空間を示す。   FIG. 11 is a diagram for explaining management of IP addresses in the second embodiment. In the second embodiment, the address translation setting instruction unit 16 manages the IP address space using the time axis as shown in FIG. Here, FIG. 11 shows an IP address space managed for VPN2, for example.

図11において、「VPN2内で自VPN内の装置を一意に識別するために利用しているIPアドレス」は、全ての時間帯において、第一アドレスの払い出しに利用することができない。既にVPN2内の装置に割り当てられているか、あるいは、VPN2内の装置に割り当てるIPアドレスとして確保されているためである。   In FIG. 11, “IP address used to uniquely identify a device within the VPN 2 within VPN 2” cannot be used for paying out the first address in all time zones. This is because it has already been assigned to a device in VPN2 or has been secured as an IP address to be assigned to a device in VPN2.

また、太線の実線は、VPN間接続サービスの第一アドレスとして既に使用中のIPアドレスであり、太線の点線は、VPN間接続サービスの第一アドレスとして予約済みのIPアドレスである。アドレス変換設定指示部16は、これらの情報を時間情報とともにテーブルなどに記憶する。そして、アドレス変換設定指示部16は、アドレス変換装置2に対する設定指示を送信するにあたり、第一アドレスを払い出す。具体的には、アドレス変換設定指示部16は、テーブルを参照し、少なくとも利用者端末と仮想マシン2との間にVPN間接続サービスが提供される時間帯において、利用されていない、かつ、利用される予定の無いIPアドレスを第一アドレスとして選択する。   The thick solid line is an IP address that is already in use as the first address of the inter-VPN connection service, and the thick dotted line is an IP address reserved as the first address of the inter-VPN connection service. The address conversion setting instruction unit 16 stores these pieces of information together with time information in a table or the like. The address conversion setting instruction unit 16 pays out the first address when transmitting a setting instruction to the address conversion device 2. Specifically, the address translation setting instruction unit 16 refers to the table and is not used and used at least in a time zone in which the inter-VPN connection service is provided between the user terminal and the virtual machine 2. An IP address that is not scheduled to be selected is selected as the first address.

そして、アドレス変換設定指示部16は、図10に示したように、仮想マシン2に割り当てられている既存のIPアドレスと「10.0.2.10」とを変換するアドレス変換情報、及び、新たに払い出した第一アドレスと「10.0.1.10」とを変換するアドレス変換情報を、新たに生成する。   Then, as shown in FIG. 10, the address conversion setting instruction unit 16 newly issued the address conversion information for converting the existing IP address assigned to the virtual machine 2 and “10.0.2.10”. Address conversion information for converting the first address and “10.0.1.10” is newly generated.

その後、アドレス変換設定指示部16は、第1の実施形態と同様、VPN間接続処理部20に対して、アドレス変換装置2に対する設定指示を、新たに生成したアドレス変換情報などとともに送信する。   Thereafter, as in the first embodiment, the address conversion setting instruction unit 16 transmits a setting instruction for the address conversion device 2 to the inter-VPN connection processing unit 20 together with the newly generated address conversion information and the like.

[第2の実施形態の効果]
上述したように、第2の実施形態に係るVPN間接続管理システム100は、VPN2内で利用者端末を一意に識別するための新たなIPアドレス(第一アドレス)を払い出し、払い出した新たなIPアドレスを用いたアドレス変換情報をアドレス変換装置2に対して設定する。この場合、VPN間接続管理システム100は、少なくとも、利用者端末と仮想マシン2との間に経路が構築される時間帯において、VPN2内で通信相手となり得る端末の中で一意に識別されるように、新たなIPアドレスを払い出す。この結果、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報が、例えば、使用中のIPアドレスであるか、あるいは予約済みのIPアドレスを含む場合にも、柔軟に対応することが可能になる。
[Effects of Second Embodiment]
As described above, the inter-VPN connection management system 100 according to the second embodiment pays out a new IP address (first address) for uniquely identifying the user terminal in the VPN 2 and issues a new IP that has been issued. Address translation information using addresses is set for the address translation device 2. In this case, the inter-VPN connection management system 100 is uniquely identified among terminals that can be communication partners in the VPN 2 at least in a time zone in which a path is established between the user terminal and the virtual machine 2. To pay out a new IP address. As a result, it is possible to flexibly cope with the case where the address translation information set in the migration source address translation device is, for example, an IP address in use or includes a reserved IP address. Become.

なお、アドレス変換設定指示部16は、マイグレーション元のアドレス変換装置に設定されていたアドレス変換情報が、アドレス変換装置2に対して設定可能であるか否かを判定し、設定可能でないと判定した場合に、新たなIPアドレスを払い出し、払い出した新たなIPアドレスを用いたアドレス変換情報をアドレス変換装置2に対して設定してもよい。   The address translation setting instruction unit 16 determines whether the address translation information set in the migration source address translation device can be set for the address translation device 2, and determines that the address translation information cannot be set. In this case, a new IP address may be issued, and address conversion information using the new IP address that has been issued may be set for the address conversion device 2.

なお、第2の実施形態においては、第二アドレスが仮想ルータ内で重複することは原則として無く、第二アドレスを変更する必要はないと考えて、第一アドレスの払い出しにのみ言及したが、これに限られるものではない。すなわち、VPN間接続管理システム100は、利用者端末と仮想マシン2との間に新たに経路を構築する場合に、第二アドレスを払い出し、新たに払い出した第二アドレスを利用してもよい。この場合、VPN間接続管理システム100は、第二アドレスを、VPNiに設置された利用者端末と仮想マシン2との間にVPN間接続サービスが提供される時間帯において、同じ仮想ルータ内で一意に識別されるように払い出す。また、第二アドレスが変更された場合には、VPN間接続管理システム100は、新たな第二アドレスを用いたルーティング情報を集合仮想ルータに設定するのみならず、アドレス変換装置3に対しても、新たな第二アドレスを用いたアドレス変換情報の設定を行う。 In the second embodiment, the second address is not duplicated in the virtual router in principle, and it is not necessary to change the second address. It is not limited to this. In other words, when establishing a new route between the user terminal and the virtual machine 2, the inter-VPN connection management system 100 may issue a second address and use the newly issued second address. In this case, the inter-VPN connection management system 100 sets the second address in the same virtual router in the time zone in which the inter-VPN connection service is provided between the user terminal installed in the VPN i and the virtual machine 2. Pay out to be uniquely identified. When the second address is changed, the inter-VPN connection management system 100 not only sets the routing information using the new second address in the collective virtual router but also the address translation device 3. The address conversion information using the new second address is set.

(第3の実施形態)
実施形態に係る制御装置、制御システム、制御方法、及び制御プログラムは、第1の実施形態及び第2の実施形態に限られるものではない。以下、順に説明する。
(Third embodiment)
The control device, the control system, the control method, and the control program according to the embodiment are not limited to the first embodiment and the second embodiment. Hereinafter, it demonstrates in order.

第1の実施形態及び第2の実施形態においては、ライブマイグレーションを想定したが、これに限られるものではなく、開示の技術は、「マイグレーション」にも同様に適用することができる。この場合、VPN間接続管理システム100は、利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、この第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするマイグレーションの実行開始を検知する。次に、VPN間接続管理システム100は、マイグレーションの実行開始が検知されると、このマイグレーションの実行と併行して、利用者端末が第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う。そして、VPN間接続管理システム100は、マイグレーションの実行完了を検知し、かつ、ネットワーク装置への設定が完了すると、現用の経路を、新たに構築された経路に切り替える。   In the first embodiment and the second embodiment, live migration is assumed. However, the present disclosure is not limited to this, and the disclosed technique can be similarly applied to “migration”. In this case, the inter-VPN connection management system 100 is installed in the first VPN when the path for the user terminal to access the virtual machine installed in the first VPN is constructed as the working path. The execution start of migration is detected with the virtual machine set as the migration source and the virtual machine installed in the second VPN as the migration destination. Next, when the execution start of the migration is detected, the inter-VPN connection management system 100 provides a path for the user terminal to access the virtual machine installed in the second VPN in parallel with the execution of the migration. Is set for a predetermined network device. Then, the inter-VPN connection management system 100 detects the completion of the migration and switches the currently used route to the newly constructed route when the setting to the network device is completed.

[拠点の態様]
上述の実施形態では、VPNが、電気通信事業者などによって提供されたVPNサービスに接続するローカルエリアネットワーク(LAN(Local Area Network))である場合を想定したが、これに限られるものではない。VPNは、いわゆるネットワークではなく一端末であってもよい。例えば、VPNに設置されるルータが、物理的なルータではなく端末内のソフトウェアで実現される場合などである。また、VPNは、電気通信事業者などによって提供されたVPNサービスによって接続された複数のローカルエリアネットワーク群による社内網のようなものであってもよい。
[Mode of the base]
In the above-described embodiment, it is assumed that the VPN is a local area network (LAN) connected to a VPN service provided by a telecommunications carrier or the like. However, the present invention is not limited to this. The VPN may be a single terminal instead of a so-called network. For example, there is a case where the router installed in the VPN is realized by software in the terminal instead of a physical router. The VPN may be an in-house network with a plurality of local area network groups connected by a VPN service provided by a telecommunications carrier or the like.

図12〜14は、VPNサービスによって接続された複数のローカルエリアネットワーク群としてのVPNを説明するための図である。なお、図12〜14においては、2種類の点線を用いて示す。一方は、通常の点線であり、他方は、破線(短い線と長い線との組合せ)である。破線は、同じVPNサービスに属する複数の拠点であって、かつ、例えば同じ社内(例えばC社内)の拠点間でVPNを形成していることを示す。一方、点線は、VPN間を接続することを示す。例えば、異なるVPNサービスに属する複数のVPN間を接続することや、同じVPNサービスに属する複数のVPN間であっても、異なる会社のVPN間を接続することを示す。   12 to 14 are diagrams for explaining a VPN as a plurality of local area network groups connected by the VPN service. In addition, in FIGS. 12-14, it shows using two types of dotted lines. One is a normal dotted line, and the other is a broken line (a combination of a short line and a long line). The broken lines indicate that a plurality of bases belonging to the same VPN service and a VPN is formed between bases in the same company (for example, C company). On the other hand, the dotted line indicates that the VPNs are connected. For example, connection between a plurality of VPNs belonging to different VPN services, or connection between VPNs of different companies, even between a plurality of VPNs belonging to the same VPN service.

図12に例示するように、例えば、C社は、VPNサービス1に属する拠点群を有し、また、VPNサービス3に属する拠点を有する。一方、D社は、VPNサービス2に属する拠点を有し、また、VPNサービス4に属する拠点を有する。VPN間接続管理システム100は、このような、異なるVPNサービスに属するC社の拠点群(VPN)とD社の拠点群(VPN)との間でVPN間接続サービスを実現する。   As illustrated in FIG. 12, for example, Company C has a base group belonging to the VPN service 1 and a base point belonging to the VPN service 3. On the other hand, Company D has a base belonging to the VPN service 2 and a base belonging to the VPN service 4. The inter-VPN connection management system 100 implements such an inter-VPN connection service between the base group (VPN) of company C and the base group (VPN) of company D belonging to different VPN services.

また、図13に例示するように、例えば、C社は、VPNサービス3でグループ化された拠点群(VPN)を有する。一方、D社は、VPNサービス4でグループ化された拠点群(VPN)を有する。VPN間接続管理システム100は、このような、異なるVPNサービスに属するC社の拠点群(VPN)とD社の拠点群(VPN)との間でVPN間接続サービスを実現する。   Further, as illustrated in FIG. 13, for example, Company C has a base group (VPN) grouped by the VPN service 3. On the other hand, the company D has a base group (VPN) grouped by the VPN service 4. The inter-VPN connection management system 100 implements such an inter-VPN connection service between the base group (VPN) of company C and the base group (VPN) of company D belonging to different VPN services.

また、図14に例示するように、例えば、C社及びD社は、いずれも、VPNサービス2でグループ化された拠点群(VPN)を有する。VPN間接続管理システム100は、このような、同じVPNサービスに属するC社の拠点群(VPN)とD社の拠点群(VPN)との間でVPN間接続サービスを実現する。   Further, as illustrated in FIG. 14, for example, both company C and company D have a base group (VPN) grouped by the VPN service 2. The inter-VPN connection management system 100 realizes such an inter-VPN connection service between the group of companies C (VPN) and the group of companies D (VPN) belonging to the same VPN service.

[コンピュータ]
図15は、実施形態に係る制御プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。図15に示すように、コンピュータは、例えば、メモリと、CPUと、ハードディスクドライブインタフェースと、ディスクドライブインタフェースと、シリアルポートインタフェースと、ビデオアダプタと、ネットワークインタフェースとを有し、これらの各部はバスによって接続される。
[Computer]
FIG. 15 is a diagram illustrating that the information processing by the control program according to the embodiment is specifically realized using a computer. As shown in FIG. 15, the computer has, for example, a memory, a CPU, a hard disk drive interface, a disk drive interface, a serial port interface, a video adapter, and a network interface. Connected.

メモリは、図15に示すように、ROM(Read Only Memory)及びRAM(Random Access Memory)を含む。ROMは、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェースは、図15に示すように、ハードディスクドライブに接続される。ディスクドライブインタフェースは、図15に示すように、ディスクドライブに接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブに挿入される。シリアルポートインタフェースは、図15に示すように、例えばマウス、キーボードに接続される。ビデオアダプタは、図15に示すように、例えばディスプレイに接続される。   As shown in FIG. 15, the memory includes a ROM (Read Only Memory) and a RAM (Random Access Memory). The ROM stores a boot program such as BIOS (Basic Input Output System). The hard disk drive interface is connected to the hard disk drive as shown in FIG. The disk drive interface is connected to the disk drive as shown in FIG. For example, a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive. As shown in FIG. 15, the serial port interface is connected to a mouse and a keyboard, for example. As shown in FIG. 15, the video adapter is connected to a display, for example.

ここで、図15に示すように、ハードディスクドライブは、例えば、OS、アプリケーションプログラム、プログラムモジュール、プログラムデータを記憶する。すなわち、実施形態に係る制御プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブに記憶される。具体的には、第1の実施形態で説明したライブマイグレーション実行部15と同様の情報処理を実行する手順と、アドレス変換設定指示部16と同様の情報処理を実行する手順と、アドレス変換設定部24と同様の情報処理を実行する手順と、ルーティング設定指示部17と同様の情報処理を実行する手順と、ルーティング設定部25と同様の情報処理を実行する手順とが記述されたプログラムモジュールが、ハードディスクドライブに記憶される。   Here, as shown in FIG. 15, the hard disk drive stores, for example, an OS, an application program, a program module, and program data. That is, the control program according to the embodiment is stored in, for example, a hard disk drive as a program module in which a command to be executed by a computer is described. Specifically, a procedure for executing information processing similar to that of the live migration execution unit 15 described in the first embodiment, a procedure for executing information processing similar to that of the address conversion setting instruction unit 16, and an address conversion setting unit 24, a program module in which a procedure for executing the same information processing as 24, a procedure for executing the same information processing as the routing setting instruction unit 17, and a procedure for executing the same information processing as the routing setting unit 25 are described. Stored on the hard disk drive.

また、第1の実施形態で説明した顧客ネットワーク設定記憶部11やネットワーク装置設定記憶部21に記憶されるデータのように、制御プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えばハードディスクドライブに記憶される。そして、CPUが、ハードディスクドライブに記憶されたプログラムモジュールやプログラムデータを必要に応じてRAMに読み出し、上述の手順を実行する。   Further, data used for information processing by the control program, such as data stored in the customer network setting storage unit 11 and the network device setting storage unit 21 described in the first embodiment, is, for example, a hard disk drive as program data. Is remembered. Then, the CPU reads the program module and program data stored in the hard disk drive into the RAM as necessary, and executes the above-described procedure.

なお、制御プログラムに係るプログラムモジュールやプログラムデータは、ハードディスクドライブに記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してCPUによって読み出されてもよい。あるいは、制御プログラムに係るプログラムモジュールやプログラムデータは、LAN、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶され、ネットワークインタフェースを介してCPUによって読み出されてもよい。   Note that the program module and program data related to the control program are not limited to being stored in the hard disk drive, but may be stored in, for example, a removable storage medium and read out by the CPU via the disk drive or the like. Alternatively, a program module and program data related to the control program may be stored in another computer connected via a LAN, a WAN (Wide Area Network), and read by the CPU via a network interface.

100 VPN間接続管理システム
10 ライブマイグレーション処理部
11 顧客ネットワーク設定記憶部
12 通信部
13 入力部
14 設定指示送信部
15 ライブマイグレーション実行部
16 アドレス変換設定指示部
17 ルーティング設定指示部
20 VPN間接続処理部
21 ネットワーク装置設定記憶部
22 通信部
23 設定指示受信部
24 アドレス変換設定部
25 ルーティング設定部
DESCRIPTION OF SYMBOLS 100 Connection management system between VPNs 10 Live migration process part 11 Customer network setting memory | storage part 12 Communication part 13 Input part 14 Setting instruction | indication transmission part 15 Live migration execution part 16 Address conversion setting instruction | indication part 17 Routing setting instruction | indication part 20 Inter VPN connection process part 21 network device setting storage unit 22 communication unit 23 setting instruction receiving unit 24 address conversion setting unit 25 routing setting unit

Claims (8)

VPN(Virtual Private Network)に設置された利用者端末が他のVPNに設置された仮想マシンにアクセスするための経路をネットワーク装置に対する設定により構築し、VPN間の接続を制御する制御装置であって、
前記利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、該第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするイグレーションの実行開始を検知する検知部と、
前記検知部によって前記イグレーションの実行開始が検知されると、該イグレーションの実行と併行して、前記利用者端末が前記第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う設定部と、
前記イグレーションの実行完了を検知し、かつ、前記ネットワーク装置への設定が完了すると、現用の経路を、前記設定部によって構築された経路に切り替える切替部と
を備え
前記ネットワーク装置は、
VPN間接続の対象となる複数のVPNを収容し、VPN間のパケット転送を制御するパケット転送制御装置と、該パケット転送制御装置と各VPNとの間に設置され、パケットに含まれるアドレスを変換するアドレス変換装置とを含み、
前記アドレス変換装置は、
パケットに含まれる送信元のアドレス及び宛先のアドレスの双方を、アドレス変換情報に従って変換し、
前記設定部は、前記検知部によって前記マイグレーションの実行開始が検知されると、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対する前記アドレス変換情報の設定を行うことを特徴とする制御装置。
A control device that controls a connection between VPNs by establishing a route for a user terminal installed in a VPN (Virtual Private Network) to access a virtual machine installed in another VPN by setting the network device. ,
When the path for the user terminal to access the virtual machine installed in the first VPN is constructed as a working path, the virtual machine installed in the first VPN is used as the migration source, a detection unit for detecting the start of the execution of the migration of the virtual machines to be installed in the second VPN and migration destination,
Execution start of the migration by said detecting portion is detected, in parallel with the execution of the migration, a path for accessing the virtual machine in which the user terminal is installed on the second VPN A setting unit for setting a predetermined network device,
Detecting the execution completion of the migration, and the setting to the network device is completed, the path of the working, and a switching unit for switching a path constructed by the setting unit,
The network device is:
A packet transfer control device that accommodates a plurality of VPNs to be connected between VPNs and controls packet transfer between VPNs, and is installed between the packet transfer control device and each VPN, and converts addresses contained in packets And an address translation device
The address translator is
Both the source address and the destination address included in the packet are converted according to the address conversion information,
When the detection unit detects the start of the migration, the setting unit sets the address conversion information for an address conversion device installed between the packet transfer control device and the second VPN. A control device characterized by that.
前記設定部は、前記パケット転送制御装置と前記第1のVPNとの間に設置されたアドレス変換装置に設定されたアドレス変換情報と同一内容のアドレス変換情報を、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対して設定することを特徴とする請求項に記載の制御装置。 The setting unit sends address translation information having the same content as the address translation information set in the address translation device installed between the packet transfer control device and the first VPN to the packet transfer control device and the first VPN. The control device according to claim 1 , wherein the control device is set for an address translation device installed between two VPNs. 前記設定部は、前記第2のVPN内で前記利用者端末を一意に識別するための新たなアドレスを払い出し、払い出した新たなアドレスを用いたアドレス変換情報を、前記アドレス変換装置に対して設定することを特徴とする請求項に記載の制御装置。 The setting unit may set the second in the VPN dispensing a new address for uniquely identifying the user terminal, the address translation information using a new address paid out, to the address translator The control device according to claim 1 , wherein: 前記設定部は、前記パケット転送制御装置と前記第1のVPNとの間に設置されたアドレス変換装置に設定されたアドレス変換情報に含まれる、前記第2のVPN内で前記利用者端末を一意に識別するためのアドレスが、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対して設定可能であるか否かを判定し、設定可能でないと判定した場合に、前記第2のVPN内で前記利用者端末を一意に識別するための新たなアドレスを払い出し、払い出した新たなアドレスを用いたアドレス変換情報を、該アドレス変換装置に対して設定することを特徴とする請求項に記載の制御装置。 The setting unit uniquely identifies the user terminal in the second VPN included in address conversion information set in an address conversion device installed between the packet transfer control device and the first VPN. When it is determined that the address for identifying the address is settable for the address translation device installed between the packet transfer control device and the second VPN, and is not settable In addition, a new address for uniquely identifying the user terminal in the second VPN is issued, and address translation information using the new address issued is set for the address translation device. The control device according to claim 3 . 前記設定部は、前記第2のVPN内で前記利用者端末を一意に識別するための前記新たなアドレスを、前記利用者端末と前記第2のVPNに設置される仮想マシンとの間に経路が構築される時間帯において、該第2のVPN内で通信相手となり得る端末の中で一意に識別されるように払い出すことを特徴とする請求項3又は4に記載の制御装置。 The setting unit routes the new address for uniquely identifying the user terminal in the second VPN between the user terminal and a virtual machine installed in the second VPN. 5. The control device according to claim 3 , wherein payout is performed so as to be uniquely identified among terminals that can be a communication partner in the second VPN in a time zone in which the network is configured. VPNに設置された利用者端末が他のVPNに設置された仮想マシンにアクセスするための経路を制御する制御システムであって、
複数のVPNを収容し、VPN間のパケット転送を制御するパケット転送制御装置と、
前記パケット転送制御装置と各VPNとの間に設置され、パケットに含まれるアドレスを変換するアドレス変換装置と、
VPN間を接続するための経路を構築する制御装置とを備え、
前記制御装置は、
前記利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、該第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするイグレーションの実行開始を検知する検知部と、
前記検知部によって前記イグレーションの実行開始が検知されると、該イグレーションの実行と併行して、前記利用者端末が前記第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対して行う設定部と、
前記イグレーションの実行完了を検知し、かつ、前記アドレス変換装置への設定が完了すると、現用の経路を、前記設定部によって構築された経路に切り替える切替部とを備え、
前記アドレス変換装置は、
パケットに含まれる送信元のアドレス及び宛先のアドレスの双方を、アドレス変換情報に従って変換し、
前記設定部は、前記検知部によって前記マイグレーションの実行開始が検知されると、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対する前記アドレス変換情報の設定を行うことを特徴とする制御システム。
A control system for controlling a route for a user terminal installed in a VPN to access a virtual machine installed in another VPN,
A packet transfer control apparatus that accommodates a plurality of VPNs and controls packet transfer between VPNs;
An address conversion device installed between the packet transfer control device and each VPN, for converting an address included in the packet;
A control device for constructing a path for connecting between VPNs,
The control device includes:
When the path for the user terminal to access the virtual machine installed in the first VPN is constructed as a working path, the virtual machine installed in the first VPN is used as the migration source, a detection unit for detecting the start of the execution of the migration of the virtual machines to be installed in the second VPN and migration destination,
Execution start of the migration by said detecting portion is detected, in parallel with the execution of the migration, a path for accessing the virtual machine in which the user terminal is installed on the second VPN A setting unit configured to set an address translation device installed between the packet transfer control device and the second VPN;
Detecting the execution completion of the migration, and the setting to the address translation device is completed, the path of the working, and a switching unit for switching a path constructed by the setting unit,
The address translator is
Both the source address and the destination address included in the packet are converted according to the address conversion information,
When the detection unit detects the start of the migration, the setting unit sets the address conversion information for an address conversion device installed between the packet transfer control device and the second VPN. A control system characterized by that.
VPNに設置された利用者端末が他のVPNに設置された仮想マシンにアクセスするための経路をネットワーク装置に対する設定により構築してVPN間の接続を制御する制御装置で実行される制御方法であって、
前記利用者端末が第1のVPNに設置された仮想マシンにアクセスするための経路が現用の経路として構築されている場合に、該第1のVPNに設置された仮想マシンをマイグレーション元として、第2のVPNに設置される仮想マシンをマイグレーション先とするイグレーションの実行開始を検知する検知工程と、
前記検知工程によって前記イグレーションの実行開始が検知されると、該イグレーションの実行と併行して、前記利用者端末が前記第2のVPNに設置される仮想マシンにアクセスするための経路を構築する設定を、所定のネットワーク装置に対して行う設定工程と、
前記イグレーションの実行完了を検知し、かつ、前記ネットワーク装置への設定が完了すると、現用の経路を、前記設定工程によって構築された経路に切り替える切替工程とを含み、
前記ネットワーク装置は、
VPN間接続の対象となる複数のVPNを収容し、VPN間のパケット転送を制御するパケット転送制御装置と、該パケット転送制御装置と各VPNとの間に設置され、パケットに含まれるアドレスを変換するアドレス変換装置とを含み、
前記アドレス変換装置は、
パケットに含まれる送信元のアドレス及び宛先のアドレスの双方を、アドレス変換情報に従って変換し、
前記設定工程は、前記検知工程によって前記マイグレーションの実行開始が検知されると、前記パケット転送制御装置と前記第2のVPNとの間に設置されたアドレス変換装置に対する前記アドレス変換情報の設定を行うことを特徴とする制御方法。
This is a control method that is executed by a control device that controls a connection between VPNs by constructing a path for a user terminal installed in a VPN to access a virtual machine installed in another VPN by setting the network device. And
When the path for the user terminal to access the virtual machine installed in the first VPN is constructed as a working path, the virtual machine installed in the first VPN is used as the migration source, a detection step of detecting the start of the execution of the migration of the virtual machines to be installed in the second VPN and migration destination,
When the detection process by the start of the execution of the migration is detected, in parallel with the execution of the migration, a path for accessing the virtual machine in which the user terminal is installed on the second VPN A setting process for setting a predetermined network device,
Detecting the execution completion of the migration, and includes the setting to the network device is completed, the path of the current, and a switching step of switching a path constructed by the setting step,
The network device is:
A packet transfer control device that accommodates a plurality of VPNs to be connected between VPNs and controls packet transfer between VPNs, and is installed between the packet transfer control device and each VPN, and converts addresses contained in packets And an address translation device
The address translator is
Both the source address and the destination address included in the packet are converted according to the address conversion information,
In the setting step, when the start of execution of the migration is detected by the detection step, the address conversion information is set for the address conversion device installed between the packet transfer control device and the second VPN. A control method characterized by that.
コンピュータを請求項1〜に記載の制御装置として機能させるための制御プログラム。 Control program for functioning as a control apparatus according to a computer to claim 1-5.
JP2011032552A 2011-02-17 2011-02-17 Control device, control system, control method, and control program Expired - Fee Related JP5486526B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011032552A JP5486526B2 (en) 2011-02-17 2011-02-17 Control device, control system, control method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011032552A JP5486526B2 (en) 2011-02-17 2011-02-17 Control device, control system, control method, and control program

Publications (2)

Publication Number Publication Date
JP2012175190A JP2012175190A (en) 2012-09-10
JP5486526B2 true JP5486526B2 (en) 2014-05-07

Family

ID=46977710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011032552A Expired - Fee Related JP5486526B2 (en) 2011-02-17 2011-02-17 Control device, control system, control method, and control program

Country Status (1)

Country Link
JP (1) JP5486526B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6056578B2 (en) * 2013-03-19 2017-01-11 富士通株式会社 Apparatus, method, and program for detecting end of movement of virtual machine
JP6077945B2 (en) * 2013-06-17 2017-02-08 日本電信電話株式会社 Network system and control method
JP5972838B2 (en) * 2013-06-24 2016-08-17 日本電信電話株式会社 Management device, communication system, management method, and management program
JP5947752B2 (en) * 2013-06-28 2016-07-06 日本電信電話株式会社 Network control system
JP5952229B2 (en) * 2013-07-04 2016-07-13 日本電信電話株式会社 Management device, route information generation method, and route information generation program
JP5941442B2 (en) * 2013-08-08 2016-06-29 日本電信電話株式会社 Virtual host live migration method and network device
JP6487620B2 (en) * 2014-01-14 2019-03-20 楽天株式会社 Communication control system, communication control method, and program
US10013276B2 (en) * 2014-06-20 2018-07-03 Google Llc System and method for live migration of a virtualized networking stack
JP2016052080A (en) * 2014-09-02 2016-04-11 日本電信電話株式会社 Communication system and method therefor

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005083569A1 (en) * 2004-02-26 2005-09-09 Nec Corporation Method for process migration between networks and network system thereof
JP5260487B2 (en) * 2009-12-28 2013-08-14 日本電信電話株式会社 Address determination device, address determination method, and address determination program
JP5323674B2 (en) * 2009-12-28 2013-10-23 日本電信電話株式会社 DNS (Domain Name System) registration apparatus, VPN (Virtual Private Network) connection management system, wide area DNS apparatus, DNS registration program, wide area DNS program, DNS registration method, and inter VPN connection management method
JP2012044601A (en) * 2010-08-23 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> Setting system, setting method, and setting program
JP2012114850A (en) * 2010-11-26 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> Correspondence information generation device, correspondence information generation method, correspondence information generation program, and name resolution system

Also Published As

Publication number Publication date
JP2012175190A (en) 2012-09-10

Similar Documents

Publication Publication Date Title
JP5486526B2 (en) Control device, control system, control method, and control program
US11863625B2 (en) Routing messages between cloud service providers
CN107623712B (en) Virtual client device service providing system in network function virtualization environment and network function virtual cloud used for same
US11398956B2 (en) Multi-Edge EtherChannel (MEEC) creation and management
EP3119047B1 (en) Load balancing method, apparatus and system
JP5488591B2 (en) Communications system
WO2016210196A1 (en) Media relay server
JP5853378B2 (en) Communication switching system, communication switching method, and program
JP6040711B2 (en) Management server, virtual machine system, program, and connection method
JP5679343B2 (en) Cloud system, gateway device, communication control method, and communication control program
WO2016210202A1 (en) Media relay server
US20230345273A1 (en) Fault processing method, control plane network element, steering decision-making network element, and related device
US10778467B2 (en) Method for providing virtual CPE service by using single internet line and network function virtualization cloud
KR101729944B1 (en) Method for supplying ip address by multi tunant network system based on sdn
JP6445408B2 (en) Communication system and setting method
US10924397B2 (en) Multi-VRF and multi-service insertion on edge gateway virtual machines
CN107769973B (en) Message forwarding method and device
KR101729939B1 (en) Multi tunant network system based on sdn
US20210352004A1 (en) Multi-vrf and multi-service insertion on edge gateway virtual machines
KR101729945B1 (en) Method for supporting multi tunant by network system based on sdn
US20200389427A1 (en) Loopback address configuration
KR101806376B1 (en) Multi tunant network system based on sdn capable of supplying ip address
WO2023088411A1 (en) Method and apparatus for sending instruction, and method and apparatus for sending information
JP5542098B2 (en) Route control apparatus, route control program, route control method, and route control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140221

R150 Certificate of patent or registration of utility model

Ref document number: 5486526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees