JP5904285B2 - 通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラム - Google Patents
通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラム Download PDFInfo
- Publication number
- JP5904285B2 JP5904285B2 JP2014548619A JP2014548619A JP5904285B2 JP 5904285 B2 JP5904285 B2 JP 5904285B2 JP 2014548619 A JP2014548619 A JP 2014548619A JP 2014548619 A JP2014548619 A JP 2014548619A JP 5904285 B2 JP5904285 B2 JP 5904285B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual network
- communication
- end point
- communication node
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 107
- 238000000034 method Methods 0.000 title claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 102100030346 Antigen peptide transporter 1 Human genes 0.000 description 4
- 102100030343 Antigen peptide transporter 2 Human genes 0.000 description 4
- 108010023335 Member 2 Subfamily B ATP Binding Cassette Transporter Proteins 0.000 description 4
- 101800000849 Tachykinin-associated peptide 2 Proteins 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/324—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
[関連出願についての記載]
本発明は、日本国特許出願:特願2012−255886号(2012年11月22日出願)に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラムに関し、特に、通信ノードを制御する制御装置を含む通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラムに関する。
本発明は、日本国特許出願:特願2012−255886号(2012年11月22日出願)に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラムに関し、特に、通信ノードを制御する制御装置を含む通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラムに関する。
特許文献1に、サーバ側閉域網の物理的に1台のサーバ装置を、各ユーザ側閉域網間で共有せず、各ユーザ側閉域網に独立して提供することで、専用サーバとしての動作をさせる、というサーバ装置が開示されている。同公報によると、IPトンネルを介してユーザ側閉域網と接続されたアクセスサーバは、接続要求を受けると、どの閉域網の要求かを識別し、ユーザ側閉域網に固有の識別符号をパケットタグ付けし、サーバ装置に転送する。そして、サーバ装置は、受信したパケットの識別タグから送信元ホストの閉域網を特定する、と記載されている。
特許文献2には、物理サーバの物理識別情報と、仮想サーバの仮想識別情報とを結び付ける技術が開示されている。同公報によると、レイヤ2ネットワークと接続されるサーバ装置は、サーバ仮想化手段と、前記サーバ装置の物理識別情報を格納する物理識別情報格納手段と、仮想インタフェース、仮想スイッチ、又は物理インタフェースに、前記仮想サーバの仮想識別情報を含むOAM(OAMは、「Operation Administration and Maintenance」の意)フレームをイーサOAMプロトコルに基づき送受信させるためのOAM機能手段と、を備える。そして、前記OAM機能手段は、前記物理識別情報格納手段から前記物理識別情報を読み出し、前記仮想インタフェースから前記レイヤ2ネットワークに向けて送信されるOAMフレームに前記物理識別情報を格納するように構成する。
非特許文献1、2には、物理スイッチを集中制御するタイプのオープンフローというネットワークアーキテクチャが開示されている。オープンフローは、フロー単位で、きめ細かな制御をなしうるため、オープンフロースイッチで構成された物理ネットワークを、VLAN IDなどでスライスし、複数の仮想ネットワークを提供することが可能となっている。また、オープンフローによれば、物理スイッチを、このような仮想ネットワーク上の仮想ノードとしてユーザに利用させることも可能となっている。
上記した特許文献1、2、非特許文献1、2の技術の一形態として、近年では、クラウドコンピューティングを用いたサービス(以下、「クラウドサービス」)が各種展開されている。その利用増に伴い、企業やデータセンター事業者は、サーバ資源を増強することで対応してきている。
Nick McKeownほか7名、"OpenFlow: Enabling Innovation in Campus Networks"、[online]、[平成24(2012)年11月8日検索]、インターネット〈URL:http://www.openflow.org/documents/openflow-wp-latest.pdf〉
"OpenFlow Switch Specification" Version 1.1.0 Implemented (Wire Protocol 0x02)、[online]、[平成24(2012)年11月8日検索]、インターネット〈URL:http://www.openflow.org/documents/openflow-spec-v1.1.0.pdf〉
以下の分析は、本発明によって与えられたものである。しかしながら、自然災害等の予測不可能な負荷増は、上記した対応策では対応できないという問題点がある。例えば、自然災害が発生した場合、被災地における設備ダウンによって利用可能なサーバ資源が減少する一方で、被災地における緊急通信や、サーバに対する一斉アクセス等によるサービスの利用需要が、急激に増加し、輻輳状態が発生しやすくなる。
そこで、こうした急激な需給バランスの変化に対応できるように、複数の拠点を接続して、各拠点が互いにサーバ資源を提供しあうことが検討されている。さらには、複数拠点にまたがるサーバ資源の弾力的な資源運用を可能とするため、複数拠点を動的に相互接続していくことが求められる。特に、クラウドサービスでは、個々の利用形態毎にテナントと呼ばれる専用環境が構築されるため、複数拠点を相互接続する際には、テナント毎のネットワークの接続性を高めていくことが求められる。
本発明は、複数の拠点にそれぞれ構築された仮想ネットワークの接続性の向上に貢献できる通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラムを提供することを目的とする。
第1の視点によれば、制御対象の通信ノードに設けられた仮想ネットワークの端点を管理する端点管理部と、それぞれ仮想ネットワークが構成されている2つの拠点間で通信が発生した際に、前記端点管理部により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択するポリシー制御部と、前記選択された端点同士を接続する第3の仮想ネットワークを生成して管理するネットワーク配備部と、を備えた仮想ネットワーク管理装置と、前記仮想ネットワーク管理装置に対し、前記2つの拠点間の通信の発生を通知し、前記仮想ネットワーク管理装置からの指示に基づいて、前記第3の仮想ネットワークを構成するよう前記仮想ネットワークの端点を有する通信ノードを含む通信ノード群を制御する制御装置と、前記制御装置によって集中制御される通信ノードと、を含む通信システムが提供される。
第2の視点によれば、上記した通信システムに用いられる仮想ネットワーク管理装置と、通信ノードとがそれぞれ提供される。
第3の視点によれば、制御対象の通信ノードに設けられた仮想ネットワークの端点を管理する端点管理部を備えた仮想ネットワーク管理装置が、それぞれ仮想ネットワークが構成されている2つの拠点間で通信が発生した際に、前記端点管理部により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択するステップと、前記選択された端点同士を接続する第3の仮想ネットワークを生成するステップと、前記第3の仮想ネットワークを構成するよう前記仮想ネットワークの端点を有する通信ノードを含む通信ノード群を制御するステップとを含む通信方法が提供される。本方法は、上記端点管理部を備える仮想ネットワーク管理装置という、特定の機械に結びつけられている。
第4の視点によれば、仮想ネットワークの端点を有する通信ノードを含む通信ノード群を制御する制御装置に接続された仮想ネットワーク管理装置を構成するコンピュータに、それぞれ仮想ネットワークが構成されている2つの拠点間で通信が発生した際に、前記端点管理部により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択する処理と、前記選択された端点同士を接続する第3の仮想ネットワークを生成する処理と、前記制御装置に対して、前記第3の仮想ネットワークを構成するよう通信ノード群の制御を指示する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な(非トランジエントな)記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
本発明によれば、複数の拠点にそれぞれ構築された仮想ネットワークの接続性の向上に貢献することが可能となる。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
本発明は、その一実施形態において、図1に示すように、仮想ネットワーク管理装置10Aと、制御装置20Aと、それぞれ仮想ネットワーク41、42が構成されている拠点51、52とを含む構成にて実現できる。
仮想ネットワーク管理装置10Aは、制御対象の通信ノード30Aに設けられた仮想ネットワークの端点TAP1、TAP2を管理する端点管理部11と、2つの拠点51、52間で通信が発生した際に、前記端点管理部11により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択するポリシー制御部12と、前記選択された端点同士を接続する第3の仮想ネットワークを生成して管理するネットワーク配備部13と、を備える。例えば、図2に示すように、拠点51におけるサービス需要急増に対応するため、拠点52において、新たに仮想マシン(VM2)が立ち上げられたものとする。
制御装置20Aは、例えば、VM2からのサービス開始通知等の2つの拠点51、52間の通信の発生を検出すると、仮想ネットワーク管理装置10Aに対し、拠点51、52間の通信の発生を通知する。また、制御装置20Aは、前記仮想ネットワーク管理装置からの指示に基づいて、図2に示すように、第3の仮想ネットワーク43を構成するよう前記仮想ネットワークの端点を有する通信ノードを含む通信ノード群を制御する。例えば、通信を実現するための仮想ネットワークの端点として、図1の端点TAP1、TAP2が選択された場合、制御装置20Aは、図2に示すように、仮想ネットワークの端点TAP1、TAP2を有する通信ノード30Aを含む通信ノード群を制御する。以上により、VM1宛てのパケットを、VM2にて処理し、負荷を分散するといったことが可能となる。
[第1の実施形態]
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図3は、本発明の第1の実施形態の通信システムの構成を示す図である。図3を参照すると、それぞれスイッチ30が配置された拠点A、拠点Bが示されている。拠点Aには、前記スイッチ30のほか、仮想ネットワーク管理装置10(以下「仮想NW管理装置」)と、制御装置20とが配置され、仮想ネットワーク41が構成されている。また、拠点Bには、同様に仮想ネットワーク42が構成されている。なお、図3の例では、仮想NW管理装置10及び制御装置20は拠点Aに配置されているが、仮想NW管理装置10及び制御装置20は、スイッチ30を制御可能な位置に配置されていればよく、例えば拠点Bやその他の拠点に配置されていてもよい。
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図3は、本発明の第1の実施形態の通信システムの構成を示す図である。図3を参照すると、それぞれスイッチ30が配置された拠点A、拠点Bが示されている。拠点Aには、前記スイッチ30のほか、仮想ネットワーク管理装置10(以下「仮想NW管理装置」)と、制御装置20とが配置され、仮想ネットワーク41が構成されている。また、拠点Bには、同様に仮想ネットワーク42が構成されている。なお、図3の例では、仮想NW管理装置10及び制御装置20は拠点Aに配置されているが、仮想NW管理装置10及び制御装置20は、スイッチ30を制御可能な位置に配置されていればよく、例えば拠点Bやその他の拠点に配置されていてもよい。
また、拠点A、拠点Bには、あるユーザが専用的に利用可能なテナント環境を構築可能となっている。例えば、このユーザは、拠点Aと同様に、拠点Bにおいても、仮想マシンや仮想スイッチを用いた仮想ネットワークを構成することが可能となっている。
図4は、図3の拠点Aに配置された各装置の詳細構成を示すブロック図である。図4を参照すると、スイッチ30は、スイッチ機能部31と、端点情報送信部32と、GRETAP(仮想ネットワーク端点)33とを備えている。
スイッチ機能部31は、非特許文献1、2のオープンフロースイッチと同等のパケット処理を行う。具体的には、スイッチ機能部31は、制御装置20から設定された制御情報(フローエントリ)を保持し、パケットを受信すると、受信したパケットに適合するマッチ条件を持つ制御情報(フローエントリ)に定められた処理内容を実行する。
端点情報送信部32は、スイッチ機能部31を介して、制御装置20に対して、スイッチ30が有する仮想ネットワークの端点の情報(以下、「端点情報」)を送信する。例えば、端点情報送信部32は、IEEE 801ABで規定されているLLDP(Link Layer Discovery Protocol)の拡張項目として、図5に示す端点情報を送信するLLDPパケット(LLDP拡張パケット)を送信する構成とすることができる。なお、スイッチ機能部31が上記LLDP拡張パケットを制御装置20に転送する仕組みとしては、非特許文献2のオープンフロースイッチがオープンフローコントローラに、既存のフローエントリに適合しないパケットを転送するPacket−Inメッセージを用いることができる。
GRETAP(仮想ネットワーク端点)33は、GREプロトコルによって構築されるGREトンネルの端点である。なお、本実施形態ではGREを用いているが、GREに限定するものではなく、その他のトンネルプロトコルを用いることも可能である。
制御装置20は、スイッチ30から上記LLDPパケットや拠点内の仮想マシン(VM)から送信されたパケットを受信すると、仮想NW管理装置10に転送する。制御装置20は、仮想NW管理装置10からの指示に基づいて、スイッチ30のスイッチ機能部31に制御情報(フローエントリ)を設定する。なお、このような制御装置20としては、非特許文献1、2に記載されているオープンフローコントローラを用いることも可能である。
仮想NW管理装置10は、端点管理部11と、ポリシー制御部12と、ネットワーク配備部13と、を備える。
端点管理部11は、制御装置20を介して、スイッチ30から、端点情報を受け取り、管理する。図5は、端点管理部11が端点情報の管理に用いるテーブルの例である。例えば、図5の例では、スイッチ(の識別子)、ポート、トンネルプロトコル情報、対向端点のIPアドレス、端点のIPアドレス、受信用トンネル鍵及び送信用トンネル鍵を対応付けたエントリが示されている。スイッチ(の識別子)及びポートは、当該スイッチの識別子(DataPath IDentifier)及びポート番号を表している。トンネルプロトコル情報は、GRE、IPsec等のトンネルプロトコルの種別を格納するフィールドである。対向端点のIPアドレスは、当該ポートの接続先の対向装置のIPアドレス、端点のIPアドレスは当該端点に割り当てられたIPアドレスである。また、受信用トンネル鍵及び送信用トンネル鍵は、接続先と端点との送受信に用いるトンネル鍵を格納するフィールドである。
ポリシー制御部12は、制御装置20から、拠点間の通信の発生通知を受けると、所定の仮想ネットワーク配置ポリシーに基づいて、当該拠点間に仮想ネットワークを配備してよいか否かを判定する。仮想ネットワーク配置ポリシーの簡単な例としては、例えば、送信元と宛先が同一のテナントに属しているか否かで判断する例が挙げられる。その他、送信元と宛先間のアクセス権の有無などを判定条件に加えてもよい。前記判定の結果、当該通信を許可すると判定した場合、ポリシー制御部12は、端点管理部11により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択し、ネットワーク配備部13に通知する。例えば、図3の拠点Aと拠点B間で通信が発生し、これを許可すると判定した場合、ポリシー制御部12は、端点管理部11から、図3のスイッチ30のGRETAP1とGRETAP2とを選択することになる。
ネットワーク配備部13は、ポリシー制御部12から、仮想ネットワークを配備する端点の組の通知を受けると、制御装置20に、2つの端点を接続するためにスイッチ30を含むスイッチ群に設定すべき制御メッセージの送信を要求する。なお、この制御メッセージは、ネットワーク配備部13自身が保持する仮想ネットワークの構成情報に基づいて、ネットワーク配備部13が作成してもよいし、ネットワーク配備部13が制御装置20に作成を指示してもよい。
なお、図3に示した仮想NW管理装置10やスイッチ30の各部(処理手段)は、これらの装置を構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。
続いて、本実施形態について図面を参照して詳細に説明する。はじめに、後述するネットワークの動的配備の準備として行われる仮想NW管理装置10の端点情報の収集動作について説明する。図6は、スイッチ30から仮想NW管理装置10への端点情報の送信動作を説明するための図である。
まず、スイッチ30の端点情報送信部32が、LLDPを用いてスイッチ機能部31に対し自身のポートに関する情報を送信する(図6のステップS001)。端点情報送信部32がスイッチ機能部31に送信する情報には、仮想ネットワークの端点となるGRETAP33の情報が含まれている。
前記LLDPにて送信されたLDP拡張パケットを受信したスイッチ機能部31は、制御装置20に対して、LLDP拡張パケットを転送する(図6のステップS002)。このLLDP拡張パケットの転送は、非特許文献2のPacket−Inメッセージや、LLDP拡張パケット受信時の動作を定めた制御情報(フローエントリ)によって実現される。
前記LLDP拡張パケットを制御装置20は、仮想NW管理装置10に対して、LLDP拡張パケットを送信し、端点管理部11に登録する(図6のステップS003)。以上により、通信システムに含まれるスイッチが有する仮想ネットワークの端点の情報が仮想NW管理装置10の端点管理部11に収集される。
続いて、仮想NW管理装置10によって実行される拠点間ネットワークの動的配備の流れについて説明する。以下の説明では、図3の拠点Aのクラウドシステムのサーバ資源(VM1、VM2)に輻輳状態が発生し、その輻輳状態を回避するために、他の拠点(例えば拠点B)に新たなサーバ資源(VM3)を立ち上げた例を挙げて説明する。
図3の状態では、拠点AにVM1、VM2が動作し、それぞれ仮想ネットワーク41に接続されている。ここで、拠点Aのクラウドシステムのサーバ資源(VM1、VM2)に輻輳状態が発生したため、図7に示すように拠点Bにサーバ資源(VM3)が立ち上げられ、拠点Bの仮想ネットワーク42に接続されたものとする。
そして、この状態で、サーバ資源VM3からVM1、VM2へのパケットが送信されると(図7のステップS101)、拠点B側のスイッチ30は、非特許文献2のPacket−Inメッセージや、他の拠点宛てパケット受信時の動作を定めた制御情報(フローエントリ)によって、新規パケットを受信したことを通知する(図7のステップS102)。
新規パケットの受信通知を受けた制御装置20は、仮想NW管理装置10に対し、前記拠点BのVM3からのパケットを拠点Aの宛先(例えば、VM1)に転送してよいかどうかを問い合わせる(ステップS103;ポリシー問い合わせ)。
前記問い合わせを受けた仮想NW管理装置10は、ポリシー制御部12にて、所定の仮想ネットワーク配置ポリシーに基づいて、当該拠点間に仮想ネットワークを配備してよいか否かを判定する。ここでは、VM3と、VM1、VM2は同一のテナント環境に属しているので、当該通信を許可する。そして、仮想NW管理装置10のネットワーク配備部13は、制御装置20に対して、図3のスイッチ30のGRETAP1とGRETAP2を介した通信路の生成を指示する(図8のS104;仮想ネットワーク配備指示)。
前記指示を受けた制御装置20は、拠点AのGRETAP1、GRETAP2を接続し、拠点Aの仮想ネットワーク41と、拠点Bの仮想ネットワーク42とを仮想ネットワーク43を介して接続する。図8の例では、制御装置20は、拠点Bのスイッチ30に、VM3からVM1宛てのパケットをGRETAP2から転送するよう指示する制御情報(フローエントリ)を設定している(図8のS105)。同様に、制御装置20は、拠点Aのスイッチ30に、VM1からVM3宛てのパケットをGRETAP1から転送するよう指示する制御情報(フローエントリ)を設定している(図8のS106)。なお、制御情報(フローエントリ)の設定には、非特許文献1のオープンフロープロトコルのフローエントリ設定用の制御メッセージ(FlowMod)を用いることができる。
以上の結果、図9に示すように、異なる拠点で動作するVM1とVM3同士が通信することが可能となる。この結果、例えば、VM2やVM2が動作している物理マシン(仮想化サーバ)の負荷が軽減されることになる。
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成や要素の構成は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。
また例えば、上記した実施形態では、拠点BにVM3が新たに立ち上げられる例を挙げて説明したが、拠点Aにて、動作していたサーバ資源(例えば、VM2)を、拠点Bに移行(マイグレーション)させる場合にも同様動作で、VM1とVM2との通信を実現することができる。
また例えば、上記した実施形態では、拠点Aに仮想NW管理装置10と、制御装置20とが配置されているものとして説明したが、仮想NW管理装置10と、制御装置20は、スイッチ30と通信できればよく、その位置は限定されない。また、例えば、図10に示すように、拠点Aと拠点Bに、それぞれ仮想NW管理装置10と、制御装置20とが配置され、それぞれが連携して動作する構成も採用可能である。
また例えば、上記した実施形態では、ポリシー制御部12が、VM3とVM1間のパケットの授受を許可する例を挙げて説明したが、例えば、VM3とVM1が異なるテナント環境に属している場合や、VM1(VM3)がVM3(VM1)へのアクセス権を持たない場合などは、ポリシー制御部12は、前記仮想ネットワークの端点の選択を行わず、制御装置20に対し、否定応答をするようにしてもよい。
最後に、本発明の好ましい形態を要約する。
[第1の形態]
(上記第1の視点による通信システム参照)
[第2の形態]
第1の形態の通信システムにおいて、
前記通信ノードが、前記仮想ネットワークの端点の情報を生成して前記制御装置に対して送信する端点情報送信部を備え、
前記制御装置が、前記通信ノードから受信した端点の情報を前記端点管理部に送信する通信システム。
[第3の形態]
第2の形態の通信システムにおいて、
前記端点情報送信部は、LLDP(Link Layer Discovery Protocol)の拡張項目フィールドを用いて、前記端点の情報を送信する通信システム。
[第4の形態]
第1〜第3いずれか一の形態の通信システムにおいて、
前記ポリシー制御部は、前記2つの拠点間の通信が同一のテナント間の通信である場合、前記仮想ネットワークの端点の選択を行う通信システム。
[第5の形態]
第1〜第4いずれか一の形態の通信システムにおいて、
前記ポリシー制御部は、前記2つの拠点間の通信が所定の条件を満たさない場合、前記仮想ネットワークの端点の選択を行わない通信システム。
[第6の形態]
(上記第2の視点による仮想ネットワーク管理装置及び通信ノード参照)
[第7の形態]
(上記第3の視点による通信方法参照)
[第8の形態]
(上記第4の視点によるプログラム参照)
なお、上記第6〜第8の形態は、第1の形態と同様に、第2〜第5の形態に展開することが可能である。
[第1の形態]
(上記第1の視点による通信システム参照)
[第2の形態]
第1の形態の通信システムにおいて、
前記通信ノードが、前記仮想ネットワークの端点の情報を生成して前記制御装置に対して送信する端点情報送信部を備え、
前記制御装置が、前記通信ノードから受信した端点の情報を前記端点管理部に送信する通信システム。
[第3の形態]
第2の形態の通信システムにおいて、
前記端点情報送信部は、LLDP(Link Layer Discovery Protocol)の拡張項目フィールドを用いて、前記端点の情報を送信する通信システム。
[第4の形態]
第1〜第3いずれか一の形態の通信システムにおいて、
前記ポリシー制御部は、前記2つの拠点間の通信が同一のテナント間の通信である場合、前記仮想ネットワークの端点の選択を行う通信システム。
[第5の形態]
第1〜第4いずれか一の形態の通信システムにおいて、
前記ポリシー制御部は、前記2つの拠点間の通信が所定の条件を満たさない場合、前記仮想ネットワークの端点の選択を行わない通信システム。
[第6の形態]
(上記第2の視点による仮想ネットワーク管理装置及び通信ノード参照)
[第7の形態]
(上記第3の視点による通信方法参照)
[第8の形態]
(上記第4の視点によるプログラム参照)
なお、上記第6〜第8の形態は、第1の形態と同様に、第2〜第5の形態に展開することが可能である。
なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
10、10A 仮想ネットワーク管理装置
11 端点管理部
12 ポリシー制御部
13 ネットワーク配備部
20、20A 制御装置
30 スイッチ
30A 通信ノード
31 スイッチ機能部
32 端点情報送信部
33、TAP1、TAP2 GRETAP(仮想ネットワークの端点)
41、42、43 仮想ネットワーク
51、52 拠点
11 端点管理部
12 ポリシー制御部
13 ネットワーク配備部
20、20A 制御装置
30 スイッチ
30A 通信ノード
31 スイッチ機能部
32 端点情報送信部
33、TAP1、TAP2 GRETAP(仮想ネットワークの端点)
41、42、43 仮想ネットワーク
51、52 拠点
Claims (9)
- 制御対象の通信ノードに設けられた仮想ネットワークの端点を管理する端点管理部と、
それぞれ仮想ネットワークが構成されている2つの拠点間で通信が発生した際に、前記端点管理部により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択するポリシー制御部と、
前記選択された端点同士を接続する第3の仮想ネットワークを生成して管理するネットワーク配備部と、を備えた仮想ネットワーク管理装置と、
前記仮想ネットワーク管理装置に対し、前記2つの拠点間の通信の発生を通知し、前記仮想ネットワーク管理装置からの指示に基づいて、前記第3の仮想ネットワークを構成するよう前記仮想ネットワークの端点を有する通信ノードを含む通信ノード群を制御する制御装置と、
前記制御装置によって集中制御される通信ノードと、を含む通信システム。 - 前記通信ノードが、前記仮想ネットワークの端点の情報を生成して前記制御装置に対して送信する端点情報送信部を備え、
前記制御装置が、前記通信ノードから受信した端点の情報を前記端点管理部に送信する請求項1の通信システム。 - 前記端点情報送信部は、LLDP(Link Layer Discovery Protocol)の拡張項目フィールドを用いて、前記端点の情報を送信する請求項2の通信システム。
- 前記ポリシー制御部は、前記2つの拠点間の通信が同一のテナント間の通信である場合、前記仮想ネットワークの端点の選択を行う請求項1から3いずれか一の通信システム。
- 前記ポリシー制御部は、前記2つの拠点間の通信が所定の条件を満たさない場合、前記仮想ネットワークの端点の選択を行わない請求項1から4いずれか一の通信システム。
- 仮想ネットワークの端点を有する通信ノードを含む通信ノード群を制御する制御装置に接続され、
制御対象の通信ノードに設けられた仮想ネットワークの端点を管理する端点管理部と、
それぞれ仮想ネットワークが構成されている2つの拠点間で通信が発生した際に、前記端点管理部により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択するポリシー制御部と、
前記選択された端点同士を接続する第3の仮想ネットワークを生成して管理するネットワーク配備部と、を備えた仮想ネットワーク管理装置。 - 制御装置により制御される通信ノードであって、
仮想ネットワークの端点を有し、
仮想ネットワークの端点の情報を生成して、前記制御装置に対し、仮想ネットワークの端点の情報を送信する通信ノード。 - 制御対象の通信ノードに設けられた仮想ネットワークの端点を管理する端点管理部を備えた仮想ネットワーク管理装置が、
それぞれ仮想ネットワークが構成されている2つの拠点間で通信が発生した際に、前記端点管理部により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択するステップと、
前記選択された端点同士を接続する第3の仮想ネットワークを生成するステップと、
前記第3の仮想ネットワークを構成するよう前記仮想ネットワークの端点を有する通信ノードを含む通信ノード群を制御するステップとを含む通信方法。 - 仮想ネットワークの端点を有する通信ノードを含む通信ノード群を制御する制御装置に接続された仮想ネットワーク管理装置を構成するコンピュータに、
それぞれ仮想ネットワークが構成されている2つの拠点間で通信が発生した際に、前記端点管理部により管理されている仮想ネットワークの端点の中から前記通信を実現するための仮想ネットワークの端点を選択する処理と、
前記選択された端点同士を接続する第3の仮想ネットワークを生成する処理と、
前記制御装置に対して、前記第3の仮想ネットワークを構成するよう通信ノード群の制御を指示する処理と、
を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012255886 | 2012-11-22 | ||
JP2012255886 | 2012-11-22 | ||
PCT/JP2013/081432 WO2014080993A1 (ja) | 2012-11-22 | 2013-11-21 | 通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5904285B2 true JP5904285B2 (ja) | 2016-04-13 |
JPWO2014080993A1 JPWO2014080993A1 (ja) | 2017-01-05 |
Family
ID=50776170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014548619A Active JP5904285B2 (ja) | 2012-11-22 | 2013-11-21 | 通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160277251A1 (ja) |
EP (1) | EP2924925A4 (ja) |
JP (1) | JP5904285B2 (ja) |
WO (1) | WO2014080993A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105391568B (zh) * | 2014-09-05 | 2019-07-23 | 华为技术有限公司 | 一种软件定义网络sdn的实现方法、装置和系统 |
KR20170134559A (ko) * | 2015-03-31 | 2017-12-06 | 닛본 덴끼 가부시끼가이샤 | 제어기, 제어 방법 및 프로그램 |
JP6386485B2 (ja) * | 2016-01-20 | 2018-09-05 | 日本電信電話株式会社 | 管理システム、管理方法及び管理プログラム |
US10348755B1 (en) * | 2016-06-30 | 2019-07-09 | Symantec Corporation | Systems and methods for detecting network security deficiencies on endpoint devices |
US10560432B1 (en) * | 2017-06-09 | 2020-02-11 | Amazon Technologies, Inc. | Centralized management of remote endpoint devices |
JP7528544B2 (ja) | 2020-06-04 | 2024-08-06 | 富士フイルムビジネスイノベーション株式会社 | 通信制御装置、通信制御プログラム、及び通信制御システム |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004341566A (ja) * | 2003-03-14 | 2004-12-02 | Japan Telecom Co Ltd | サービスマネジメントシステム及びサービスマネジメント方法 |
US20080144625A1 (en) * | 2006-12-14 | 2008-06-19 | Array Networks, Inc. | Dynamic system and method for virtual private network (VPN) application level content routing using dual-proxy method |
US20080215880A1 (en) * | 2007-03-02 | 2008-09-04 | Cisco Technology, Inc. | Multi-domain dynamic group virtual private networks |
JP2008219239A (ja) * | 2007-03-01 | 2008-09-18 | Yamaha Corp | Vpn動的設定システム |
JP2009135805A (ja) * | 2007-11-30 | 2009-06-18 | Fujitsu Ltd | 仮想網構築プログラム、仮想網構築装置、および仮想網構築方法 |
JP2010039994A (ja) * | 2008-08-08 | 2010-02-18 | Nippon Telegr & Teleph Corp <Ntt> | アクセス制御システム、接続制御装置および接続制御方法 |
JP2010157858A (ja) * | 2008-12-26 | 2010-07-15 | Ntt Communications Kk | Vpn接続装置、dnsパケット制御方法、及びプログラム |
JP2011055305A (ja) * | 2009-09-02 | 2011-03-17 | Nippon Telegr & Teleph Corp <Ntt> | Vpn設定システム、vpn設定方法及びvpn設定プログラム |
WO2011043416A1 (ja) * | 2009-10-07 | 2011-04-14 | 日本電気株式会社 | 情報システム、制御サーバ、仮想ネットワーク管理方法およびプログラム |
JP2011160103A (ja) * | 2010-01-29 | 2011-08-18 | Oki Networks Co Ltd | ゲートウェイ装置及びプログラム、並びに、通信システム |
JP2011176395A (ja) * | 2010-02-23 | 2011-09-08 | Nippon Telegr & Teleph Corp <Ntt> | IPsec通信方法およびIPsec通信システム |
JP2011199796A (ja) * | 2010-03-24 | 2011-10-06 | Hitachi Ltd | 通信システムおよび通信システムの制御方法 |
JP2012175394A (ja) * | 2011-02-21 | 2012-09-10 | Nippon Telegr & Teleph Corp <Ntt> | フロースイッチ、フロー制御システムおよびフロー制御方法 |
JP2012191518A (ja) * | 2011-03-11 | 2012-10-04 | Ntt Comware Corp | アドレス管理装置、アドレス管理方法、アドレス管理プログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4225681B2 (ja) * | 2000-12-06 | 2009-02-18 | 富士通株式会社 | 仮想閉域網構築方法及び装置並びに中継装置 |
JP2003167805A (ja) | 2001-12-04 | 2003-06-13 | Nippon Telegr & Teleph Corp <Ntt> | 複数ユーザ側閉域網とサーバ側閉域網間のネットワーク通信方法およびサーバ装置 |
JP4542514B2 (ja) * | 2006-02-13 | 2010-09-15 | 株式会社日立製作所 | 計算機の制御方法、プログラム及び仮想計算機システム |
US8086739B2 (en) * | 2007-12-10 | 2011-12-27 | Oracle America, Inc. | Method and system for monitoring virtual wires |
US8839387B2 (en) * | 2009-01-28 | 2014-09-16 | Headwater Partners I Llc | Roaming services network and overlay networks |
WO2011159842A2 (en) * | 2010-06-15 | 2011-12-22 | Nimbula, Inc. | Virtual computing infrastructure |
US9021116B2 (en) * | 2010-08-10 | 2015-04-28 | Dell Products, Lp | System and method to create virtual links for end-to-end virtualization |
JP2012080263A (ja) | 2010-09-30 | 2012-04-19 | Ntt Communications Kk | サーバ装置、ネットワークシステム、及びプログラム |
JP5604354B2 (ja) * | 2011-04-05 | 2014-10-08 | 株式会社日立製作所 | 加入者終端装置による接続性監視方法とその制御方法 |
US8793685B2 (en) * | 2011-05-13 | 2014-07-29 | International Business Machines Corporation | Techniques for operating virtual switches in a virtualized computing environment |
US20130017381A1 (en) * | 2011-07-12 | 2013-01-17 | Cardinal Cg Company | Sodium accumulation layer for electronic devices |
US20130034015A1 (en) * | 2011-08-05 | 2013-02-07 | International Business Machines Corporation | Automated network configuration in a dynamic virtual environment |
BR112014014890B1 (pt) * | 2011-12-23 | 2019-08-27 | Mastercard International Inc | método para extensão de rede existente |
US9306768B2 (en) * | 2012-11-07 | 2016-04-05 | Cisco Technology, Inc. | System and method for propagating virtualization awareness in a network environment |
US9485234B1 (en) * | 2012-11-14 | 2016-11-01 | Amazon Technologies, Inc. | Virtualized endpoints in a multi-tenant environment |
-
2013
- 2013-11-21 JP JP2014548619A patent/JP5904285B2/ja active Active
- 2013-11-21 EP EP13857535.2A patent/EP2924925A4/en not_active Withdrawn
- 2013-11-21 US US14/442,700 patent/US20160277251A1/en not_active Abandoned
- 2013-11-21 WO PCT/JP2013/081432 patent/WO2014080993A1/ja active Application Filing
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004341566A (ja) * | 2003-03-14 | 2004-12-02 | Japan Telecom Co Ltd | サービスマネジメントシステム及びサービスマネジメント方法 |
US20080144625A1 (en) * | 2006-12-14 | 2008-06-19 | Array Networks, Inc. | Dynamic system and method for virtual private network (VPN) application level content routing using dual-proxy method |
JP2008219239A (ja) * | 2007-03-01 | 2008-09-18 | Yamaha Corp | Vpn動的設定システム |
US20080215880A1 (en) * | 2007-03-02 | 2008-09-04 | Cisco Technology, Inc. | Multi-domain dynamic group virtual private networks |
JP2009135805A (ja) * | 2007-11-30 | 2009-06-18 | Fujitsu Ltd | 仮想網構築プログラム、仮想網構築装置、および仮想網構築方法 |
JP2010039994A (ja) * | 2008-08-08 | 2010-02-18 | Nippon Telegr & Teleph Corp <Ntt> | アクセス制御システム、接続制御装置および接続制御方法 |
JP2010157858A (ja) * | 2008-12-26 | 2010-07-15 | Ntt Communications Kk | Vpn接続装置、dnsパケット制御方法、及びプログラム |
JP2011055305A (ja) * | 2009-09-02 | 2011-03-17 | Nippon Telegr & Teleph Corp <Ntt> | Vpn設定システム、vpn設定方法及びvpn設定プログラム |
WO2011043416A1 (ja) * | 2009-10-07 | 2011-04-14 | 日本電気株式会社 | 情報システム、制御サーバ、仮想ネットワーク管理方法およびプログラム |
JP2011160103A (ja) * | 2010-01-29 | 2011-08-18 | Oki Networks Co Ltd | ゲートウェイ装置及びプログラム、並びに、通信システム |
JP2011176395A (ja) * | 2010-02-23 | 2011-09-08 | Nippon Telegr & Teleph Corp <Ntt> | IPsec通信方法およびIPsec通信システム |
JP2011199796A (ja) * | 2010-03-24 | 2011-10-06 | Hitachi Ltd | 通信システムおよび通信システムの制御方法 |
JP2012175394A (ja) * | 2011-02-21 | 2012-09-10 | Nippon Telegr & Teleph Corp <Ntt> | フロースイッチ、フロー制御システムおよびフロー制御方法 |
JP2012191518A (ja) * | 2011-03-11 | 2012-10-04 | Ntt Comware Corp | アドレス管理装置、アドレス管理方法、アドレス管理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2924925A4 (en) | 2016-10-05 |
EP2924925A1 (en) | 2015-09-30 |
JPWO2014080993A1 (ja) | 2017-01-05 |
WO2014080993A1 (ja) | 2014-05-30 |
US20160277251A1 (en) | 2016-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101989333B1 (ko) | 소프트웨어 정의 네트워킹에서의 데이터 전달 방법, 기기 및 시스템 | |
JP5991424B2 (ja) | パケット書換装置、制御装置、通信システム、パケット送信方法及びプログラム | |
KR101478475B1 (ko) | 컴퓨터 시스템 및 컴퓨터 시스템에 있어서의 통신 방법 | |
JP5904285B2 (ja) | 通信システム、仮想ネットワーク管理装置、通信ノード、通信方法及びプログラム | |
CN108781178B (zh) | 网络系统、控制装置、虚拟网络功能的构建方法以及程序 | |
JP6477864B2 (ja) | 制御装置、制御方法及びプログラム | |
JP5585660B2 (ja) | 通信システム、制御装置、処理規則の設定方法およびプログラム | |
JP5943431B2 (ja) | ネットワーク、データ転送ノード、通信方法およびプログラム | |
JP2011070549A (ja) | コンピュータシステム、及び仮想マシンのマイグレーション方法 | |
CN108702322B (zh) | 网络系统、终端、传感器数据收集方法以及程序 | |
WO2016159192A1 (ja) | 制御装置、制御方法及びプログラム | |
JPWO2014080949A1 (ja) | クラウド環境提供システム、サービス管理装置、経路制御方法及びプログラム | |
CN108702323B (zh) | 网络系统、控制装置、虚拟网络的构建方法以及计算机可读存储介质 | |
JP2015525982A (ja) | 通信方法、通信システム、情報処理装置、通信端末およびプログラム | |
WO2014133025A1 (ja) | 通信システム、上位コントローラ、ネットワークの制御方法及びプログラム | |
JP2015525983A (ja) | 通信方法、情報処理装置、通信システム、通信端末およびプログラム | |
WO2015133561A1 (ja) | 通信システム、制御装置、通信装置及び通信方法 | |
JP2015525981A (ja) | 通信方法、情報処理装置、通信システム、プログラム、ノードおよび通信端末 | |
JP2017085442A (ja) | 制御装置、通信システム、制御方法、および、プログラム | |
WO2017169947A1 (ja) | 運用装置、通信システムおよび更新方法 | |
WO2020098946A1 (en) | Network node and method for supporting a service based architecture | |
JP6264469B2 (ja) | 制御装置、通信システム及び中継装置の制御方法 | |
WO2016159057A1 (ja) | 制御装置、制御方法及びプログラム | |
JP2017022558A (ja) | 仮想ネットワーク管理システム、仮想ネットワーク管理装置、仮想ネットワーク管理方法及びプログラム | |
JP2017158103A (ja) | 通信管理装置、通信システム、通信管理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5904285 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |