JP5668759B2 - 通信システム、制御装置、パケット転送経路の制御方法およびプログラム - Google Patents

通信システム、制御装置、パケット転送経路の制御方法およびプログラム Download PDF

Info

Publication number
JP5668759B2
JP5668759B2 JP2012541845A JP2012541845A JP5668759B2 JP 5668759 B2 JP5668759 B2 JP 5668759B2 JP 2012541845 A JP2012541845 A JP 2012541845A JP 2012541845 A JP2012541845 A JP 2012541845A JP 5668759 B2 JP5668759 B2 JP 5668759B2
Authority
JP
Japan
Prior art keywords
packet
network topology
node
logical network
data transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012541845A
Other languages
English (en)
Other versions
JPWO2012060316A1 (ja
Inventor
匡史 沼田
匡史 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012541845A priority Critical patent/JP5668759B2/ja
Publication of JPWO2012060316A1 publication Critical patent/JPWO2012060316A1/ja
Application granted granted Critical
Publication of JP5668759B2 publication Critical patent/JP5668759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/64Routing or path finding of packets in data switching networks using an overlay routing layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • H04L41/122Discovery or management of network topologies of virtualised topologies, e.g. software-defined networks [SDN] or network function virtualisation [NFV]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/02Topology update or discovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/38Flow based routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/42Centralised routing

Description

(関連出願についての記載)
本発明は、日本国特許出願:特願2010−245229号(2010年11月01日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、通信システム、制御装置、パケット転送経路の制御方法およびプログラムに関し、特に、受信パケットに適合する処理規則に従って、受信パケットを処理するノードを用いて通信を実現する通信システム、制御装置、パケット転送経路の制御方法およびプログラムに関する。
近年、オープンフロー(OpenFlow)という技術が提案されている(特許文献1、非特許文献1、2参照)。オープンフローは、通信をエンドツーエンドのフローとして捉え、フロー単位で経路制御、障害回復、負荷分散、最適化を行うものである。非特許文献2に仕様化されているオープンフロースイッチは、制御装置と位置付けられるオープンフローコントローラとの通信用のセキュアチャネルを備え、オープンフローコントローラから適宜追加または書き換え指示されるフローテーブルに従って動作する。フローテーブルには、フロー毎に、パケットヘッダと照合するマッチングルール(ヘッダフィールド)と、フロー統計情報(Counters)と、処理内容を定義したアクション(Actions)と、の組が定義される(図7参照)。
例えば、オープンフロースイッチは、パケットを受信すると、フローテーブルから、受信パケットのヘッダ情報に適合するマッチングルール(図7のヘッダフィールド参照)を持つエントリを検索する。検索の結果、受信パケットに適合するエントリが見つかった場合、オープンフロースイッチは、フロー統計情報(カウンタ)を更新するとともに、受信パケットに対して、当該エントリのアクションフィールドに記述された処理内容(指定ポートからのパケット送信、フラッディング、廃棄等)を実施する。一方、前記検索の結果、受信パケットに適合するエントリが見つからなかった場合、オープンフロースイッチは、セキュアチャネルを介して、オープンフローコントローラに対して受信パケットを転送し、受信パケットの送信元・送信先に基づいたパケットの経路の決定を依頼し、これを実現するフローエントリを受け取ってフローテーブルを更新する。このように、オープンフロースイッチは、フローテーブルに格納されたエントリを処理規則として用いてパケット転送を行っている。
また、特許文献2には、ネットワーク情報収集装置から取得したネットワークのトポロジ情報と迂回対象リンクに関する情報とに基づいて迂回路の端点候補を抽出する端点候補抽出手段と、トラフィック交流情報作成装置から迂回対象リンクのトラフィック交流情報を取得するトラフィック交流情報取得手段と、迂回対象リンクのトラフィック交流情報と目標帯域とに基づいて迂回対象リンクから迂回させる迂回対象トラフィック量を決定する迂回対象トラフィック量決定手段と、迂回対象トラフィック量と迂回対象リンクのトラフィック交流情報とに基づいて迂回路の始点と終点とを決定する迂回端点決定手段と、迂回路の始点と終点とを連結する迂回経路を計算する経路計算手段とを備える迂回経路決定装置が開示されている。同公報によると、この迂回経路決定装置は、上記構成により、リンク利用率が上昇したリンクや輻輳が生じたリンクから過剰なトラフィックを迅速に退避させると、記載されている。
国際公開第2008/095010号 特開2009−200995号公報
Nick McKeownほか7名、"OpenFlow: Enabling Innovation in Campus Networks"、[online]、[平成22年10月6日検索]、インターネット〈URL:http://www.openflowswitch.org/documents/openflow-wp-latest.pdf〉 "OpenFlow Switch Specification" Version 1.0.0. (Wire Protocol 0x01) [平成22年10月6日検索]、インターネット〈URL:http://www.openflowswitch.org/documents/openflow-spec-v1.0.0.pdf〉
以下の分析は、本発明によって与えられたものである。
特許文献1、非特許文献1、2のオープンフローではオープンフローコントローラが、オープンフロースイッチによって構成される物理的なネットワークトポロジに基づいて、エンドツーエンドの経路計算を行っている。
他方、近年のクラウドサービスの発展に伴い、データセンタ・サービスに対する品質要求はますます高くなっている。ミッションクリティカルなサービスにおいては、データトラヒック毎に転送経路を制御することで、品質を向上させたいという要望がある。
ここで、特定の運用ポリシーに従った転送経路の決定方式として、以下のようなものが挙げられる。
方式1)リンクステート方式:
データ転送ノード間を接続するリンクに重みを付け、データ転送ノード間のリンクの重みの総和が最小となる経路を選択する。リンクの重みを変更することで、データトラヒックの転送経路を制御する。
方式2)ポリシールーティング方式:
ネットワークの入り口やデータ転送ノード毎、データトラヒックの種別毎に転送経路を決定し、その経路に転送する。データトラヒックの種別と転送経路を変更することで、データトラヒックの転送経路を制御する。
方式3)イコールコストマルチパス方式:
コストが等価な複数の経路についてデータトラヒックのヘッダのハッシュ値等を利用して経路を振り分ける。一般的にはデータトラヒックの転送経路は制御できない。
上記方式1では、同一の送信元と宛先の組み合わせでは必ず同一の経路が計算され、データトラヒック毎の細かな経路制御ができないという問題点がある。さらに、リンクの重みの変更がネットワーク全体に影響を与えるため、変更後の挙動の予測が困難であるという問題点もある。
また、方式2では、きめ細かな制御が可能であるが、データトラヒック毎にネットワークへの入り口のデータ転送ノードと出口のデータ転送ノードを把握した上で設定を行う必要があり、運用の手間が非常に掛かるという問題点がある。さらに、ライブマイグレーション技術等の近年のサーバ仮想化技術の進展により、サーバの物理的な位置の変更が頻繁に発生する。そのため、データトラヒックの入り口のデータ転送ノードと出口のデータ転送ノードを特定することが困難であるため、設定ができないという問題点もある。さらに、仮に設定したとしても、必ずしも運用者が意図する最適な経路に転送されないという問題点もある。
また、方式3では、一般的にはデータ転送ノードのハードウェアロジックに依存するため、設定は不要であるが、方式1と同様に、データトラヒック毎の制御ができないという問題点がある。
本発明は、上記した事情に鑑みてなされたものであって、データトラヒックに応じたきめ細かな経路制御と、設定・運用の容易性とを両立することのできる通信システム、制御装置、パケット転送経路の制御方法およびプログラムを提供することにある。
本発明の第1の視点によれば、パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと、前記複数のデータ転送ノードによって構成される物理ネットワークトポロジに異なる重み付けを適用した2以上の論理ネットワークトポロジを設定し、前記2以上の論理ネットワークトポロジからデータトラヒックに応じた論理ネットワークトポロジを選択し、当該選択された論理ネットワークトポロジに基づいて前記物理ネットワークトポロジ上にパケット転送経路を決定し、前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定する制御装置と、を含む通信システムが提供される。
本発明の第2の視点によれば、パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと接続され、前記複数のデータ転送ノードによって構成される物理ネットワークトポロジに異なる重み付けを適用した2以上の論理ネットワークトポロジを設定し、前記2以上の論理ネットワークトポロジからデータトラヒックに応じた論理ネットワークトポロジを選択し、当該選択された論理ネットワークトポロジに基づいて前記物理ネットワークトポロジ上にパケット転送経路を決定し、前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定する制御装置が提供される。
本発明の第3の視点によれば、パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと、接続された制御装置が、前記複数のデータ転送ノードによって構成される物理ネットワークトポロジに異なる重み付けを適用して設定した2以上の論理ネットワークトポロジの中から、データトラヒックに応じた論理ネットワークトポロジを選択し、当該選択された論理ネットワークトポロジに基づいて前記物理ネットワークトポロジ上にパケット転送経路を決定するステップと、前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定するステップとを含むパケット転送経路の制御方法が提供される。本方法は、本方法は、パケット転送ノードに処理規則を設定する制御装置という、特定の機械に結びつけられている。
本発明の第4の視点によれば、パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと、接続された制御装置に実行させるプログラムであって、前記複数のデータ転送ノードによって構成される物理ネットワークトポロジに異なる重み付けを適用して設定した2以上の論理ネットワークトポロジの中から、データトラヒックに応じた論理ネットワークトポロジを選択し、当該選択された論理ネットワークトポロジに基づいて前記物理ネットワークトポロジ上にパケット転送経路を決定する処理と、前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定する処理とを、前記コンピュータに実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
本発明によれば、パケットの特徴に応じたきめ細かな経路制御と、設定・運用の容易性とを両立することが可能となる。
本発明の概要を説明するための図である。 物理ネットワークトポロジと論理ネットワークトポロジの関係を説明するための図である。 物理ネットワークトポロジと論理ネットワークトポロジの関係を説明するための別の図である。 本発明の第1の実施形態の制御装置の構成を表わした図である。 本発明の第1の実施形態の動作を説明するためのフローチャートである。 本発明の第1の実施形態の動作を説明するための図である。 非特許文献2に記載のフローエントリの構成を表した図である。
はじめに、本発明の概要を説明する。本発明は、パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと、これらデータ転送ノードに処理規則を設定することにより経路制御を行う制御装置とにより実現できる。
前記制御装置は、図1に示すように、パケット転送経路を計算する経路計算部106と、このパケット転送経路を実現する処理規則を設定する処理規則設定部107と、前記複数のデータ転送ノードによって構成される物理ネットワーク200に、異なる経路計算ポリシーを適用した2以上の論理ネットワークトポロジを作成・保持する論理ネットワークトポロジ作成部105と、を備えており、データトラヒックに応じて、前記2以上の論理ネットワークトポロジのいずれか(図1の論理ネットワークトポロジAまたは論理ネットワークトポロジB)を選択してパケット転送経路を決定し、前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定する。
ここで、論理ネットワークトポロジについて説明する。図2の上段(1)物理ネットワークトポロジは、データ転送ノード(図中「ノード」)の接続関係を示している。このような物理ネットワークトポロジは、各データ転送ノードが持つLLDP(Link Layer Discovery Protocol)などの機能を用いて構築・更新することができるものである。
図2の下段(2−a)、(2−b)は、経路計算ポリシーとして、物理ネットワークトポロジのリンクに重み付け情報(例えば、距離、帯域、料金などに相当する。)を与えた論理ネットワークトポロジの例である。例えば、ノード#3からノード#8への最短距離を計算する場合、(2−a)論理ネットワークトポロジAでは、ノード#3−ノード#1−ノード#8を経由する距離3の最短経路が求められる。他方、(2−b)論理ネットワークトポロジBでは、ノード#3−ノード#2−ノード#8を経由する距離3の最短経路が求められる。
同様に、図3の下段(2−c)、(2−d)は、経路計算ポリシーとして、物理ネットワークトポロジのノードに重み付け情報(装置の処理速度などに相当する)を与えた論理ネットワークトポロジの例である。この例においても、ノード#3からノード#8への最短距離を計算する場合、(2−c)論理ネットワークトポロジCでは、ノード#3−ノード#1−ノード#8を経由する距離4の最短経路が求められる。他方、(2−d)論理ネットワークトポロジDでは、ノード#3−ノード#2−ノード#8を経由する距離4の最短経路が求められる。
上記のように、ある物理ネットワークトポロジから、異なる計算ポリシーを適用した論理的なネットワークトポロジを複数作成しておき、制御装置100が、データトラヒック毎に、上記のような論理ネットワークトポロジを使い分けることで、パケットの特徴に応じたきめ細かな経路制御と、設定・運用の容易性とを両立することが可能となる。
もちろん、図2のリンクの重み付けとノードの重み付けの双方を持つ論理ネットワークトポロジを用いることも可能である。また、物理ネットワークトポロジに顧客が利用するサービスなども付帯情報が含まれている場合には、これらを利用することも可能である。
なお、図2の例では、論理ネットワークトポロジAと、論理ネットワークトポロジBのすべてのリンクの重み付け情報が異なっているが、これは、本発明の理解を助けるためであり、少なくも1つのリンクの重み付け情報が異なっていればよい。図3にて説明したように、少なくも1つのリンクやノードの重み付け情報が異なれば、当該リンクを経由する最短経路も自ずと異なってくるため、当該リンクを利用する可能性のあるデータトラヒックの経路を変えることが可能となる。
[第1の実施形態]
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図4は、本発明の第1の実施形態の制御装置の構成を表わしたブロック図である。
図4を参照すると、物理ネットワークトポロジ収集部101と、経路計算ポリシー決定部102と、パケット特徴抽出部103と、通信情報データベース104と、論理ネットワークトポロジ作成部105と、経路計算部106と、処理規則設定部107とを備えた制御装置100と、物理ネットワーク200と、が示されている。
物理ネットワーク200は、図4の左下の四角形で示す複数台のデータ転送ノードで構成されたネットワークである。なお、データ転送ノードは、非特許文献2のオープンフロースイッチにより構成されているものとする。
続いて、制御装置100の各部について説明する。物理ネットワークトポロジ収集部101は、物理ネットワーク200のデータ転送ノード間の接続関係を示す物理ネットワークトポロジを収集・記憶する。このような物理ネットワークトポロジは、上述したLLDPのほか、公知のネットワークトポロジ構築方法を用いて構築することが可能である。
経路計算ポリシー決定部102は、通信情報データベース104に格納された物理ネットワークを流れるトラヒックの統計情報や各種の顧客情報などを参照して、物理ネットワークトポロジに適用する経路計算ポリシーを決定する。例えば、ある時間帯において特定ユーザからのトラヒックが集中するような場合、ミッションクリティカルなサービスと、そうでないサービスに切り分け、それぞれ異なる経路計算ポリシーを作成・適用することで、ミッションクリティカルなサービスについての品質低下を抑止することができる。
なお、本実施形態では、経路計算ポリシー決定部102は、経路計算ポリシーとして、データトラヒック毎に、物理ネットワークトポロジのリンク間の重み付け情報を決定するものとする。このように重み付け情報を変えることで、ある顧客の特定のサービスのデータトラヒックと、その他のデータトラヒックに、別々の経路を設定させることが可能になる。
パケット特徴抽出部103は、データ転送ノードからの処理規則設定要求メッセージ(Packet−In)の受信などを契機として、経路計算部106に対し、パケット転送経路の計算対象のパケットの特徴を通知する。例えば、データ転送ノードから受信したパケットそのものや、処理規則設定要求メッセージ(Packet−In)に含まれるパケット情報を通知するものとしてもよい。
通信情報データベース104は、各種の顧客情報やデータトラヒックの統計情報を格納したデータベースである。各データ転送装置がオープンフロースイッチである場合、データトラヒックの統計情報として、個々のスイッチで記録されるフロー統計情報(Stats)を収集することができる(非特許文献1、2参照)。
論理ネットワークトポロジ作成部105は、経路計算ポリシー決定部102にて計算された経路計算ポリシーを参照して、物理ネットワークトポロジのリンクに異なる重み付け情報を付与した論理ネットワークトポロジを作成・保持する。例えば、論理ネットワークトポロジ作成部105は、1つの物理リンクL1に対して、重みを10に設定した論理ネットワークトポロジAと、重み100を設定した論理ネットワークトポロジBとを作成する。
経路計算部106は、パケット特徴抽出部103から通知されたパケットの特徴に応じて論理ネットワークトポロジを選択し、選択した論理ネットワークトポロジを用いてパケット転送経路を算出し、処理規則設定部107に出力する。これにより、同じ送信元と宛先の組み合わせであっても、異なる重み付けを持つ論理ネットワークトポロジを用いて経路を計算することで、パケットの特徴、即ち、データトラヒックに応じた異なるパケット転送経路が得られる。なお、論理ネットワークトポロジの選択は、経路計算ポリシー決定部などで予め決定しておいた、パケットの特徴(データトラヒック)と、論理ネットワークトポロジとの対応関係に基づいて行えばよい。
処理規則設定部107は、パケット特徴抽出部103にて抽出された経路制御対象のパケットを特定するための照合規則(図5参照)と、経路計算部106にて計算された最短経路に沿った当該パケットの転送先を定めた処理内容とから、処理規則を作成し、当該最短経路上のデータ転送装置に設定する。
なお、図4に示した制御装置100の各部(処理手段)は、制御装置100を構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。
続いて、本実施形態の動作について図面を参照して詳細に説明する。図5は、制御装置100の動作を表したフローチャートである。
図5を参照すると、まず、システムが起動すると、制御装置100の物理ネットワークトポロジ収集部101が物理ネットワークトポロジを収集する(ステップS001)。
次に、経路計算ポリシー決定部102が、各種の顧客情報やトラヒック情報を参照し、データトラヒック毎の経路計算ポリシーを決定する(ステップS002)。
次に、論理ネットワークトポロジ作成部105が、物理ネットワークトポロジに、経路計算ポリシーを適用し、論理ネットワークトポロジを作成または更新する(ステップS003)。
経路計算部106は、パケット特徴抽出部103からパケットの特徴の通知を受け取ると、当該パケットの特徴に対応するデータトラヒックに対応する論理ネットワークトポロジを選択し、最短経路を計算する。さらに、処理規則設定部107が、パケット特徴抽出部103にて抽出された経路制御対象のパケットを特定するための照合規則(図5参照)と、経路計算部106にて計算された最短経路に沿った当該パケットの転送先を定めた処理内容とから、処理規則を作成し、当該最短経路上のデータ転送装置に設定する(ステップS004)。
処理規則が設定されたデータ転送ノードは、パケットを受信すると、該当する処理規則に定められた処理内容に従い、パケットを転送する。また、受信したパケットに適合する処理規則が無い場合には、制御装置100に処理規則の設定を要求する。このデータ転送ノードの動作は、冒頭に述べたオープンフロースイッチの動作と同等である。
以上のように、データトラヒック毎に、論理ネットワークトポロジを選択して、経路を計算することで、図6に示すように、あるデータトラヒック(データトラヒックA)と、あるデータトラヒック(データトラヒックB)に、異なる経路を取らせることが可能になる。図6の例では、データトラヒックの入口側のノード#3、データトラヒックの出口側のノード#8は、同一であるが、パケットヘッダなどからデータトラヒックが異なることが検出されたため、図2、図3に例示するような異なる論理ネットワークトポロジが適用され、異なる最短経路が計算されている。
以上のように、本発明の第1の実施形態によれば、冒頭に述べた方式2、方式3によらずとも、1つの物理ネットワーク中を転送されるデータトラヒックの転送経路を容易かつそのポリシーに従って分離することが可能になる。その理由は、複数の経路計算ポリシーを保持し、データトラヒック毎に別々の経路計算ポリシーを適用できるようにしたことにある。
また、本発明の第1の実施形態によれば、冒頭に述べた方式2と比較して、データトラヒック毎の転送経路の設定が容易化される。その理由は、データトラヒックの特定と、経路計算ポリシーの設定とをそれぞれ独立して行いうるようにしたためである。
また、本発明の第1の実施形態によれば、経路計算ポリシーの決定も容易化される。その理由は、経路計算ポリシーを複数個保持し、独立して計算するようにしたためである。この結果、経路計算ポリシーの変更の影響範囲も限定されるので、変更後の挙動が分かりやすくなる。
[第2の実施形態]
続いて、本発明の第2の実施形態について説明する。本発明の第2の実施形態は、上記した第1の実施形態と同等の構成にて実現できるので、以下、その相違点を中心に説明する。
上記した第1の実施形態では、経路計算ポリシーとして、リンクの重み情報を用いるものとして説明したが、本発明の第2の実施形態は、経路計算ポリシーとして、リンクの重み情報だけでなく、リンク毎に利用可能な帯域情報(上限帯域情報)も追加している。
制御装置100は、特定のリンクが上限帯域を超えそうになった場合、当該リンクが帯域オーバーとならないよう処理規則を設定する。例えば、ネットワークの入り口のデータ転送ノードにてデータトラヒックのポリシング(パケットの廃棄)を行わせる処理規則を設定することでQoSを保証することが可能になる。
このように本実施形態によれば、第1の実施形態の効果に加えて、特定のデータトラヒックについてネットワークの輻輳を防止することが可能になる。
以上、本発明の好適な実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。
例えば、上記した第2の実施形態では、ネットワークの入り口のデータ転送ノードにてデータトラヒックのポリシング(パケットの廃棄)を行わせるものとして説明したが、当該特定のリンクを回避するように迂回するパケット転送経路を計算するようにしてもよいことはもちろんである。
また上記した第1、第2の実施形態では、制御装置100に、物理ネットワークトポロジ収集部101と、経路計算ポリシー決定部102と、パケット特徴抽出部103と、通信情報データベース104と、論理ネットワークトポロジ作成部105と、経路計算部106と、処理規則設定部107とが備えられているものとして説明したが、例えば、経路計算ポリシー決定部102、通信情報データベース104、論理ネットワークトポロジ作成部105などは、制御装置100とは別の装置に配置し、制御装置100が必要に応じてアクセスできるように構成することも可能である。
なお、上記の特許文献、非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素(各請求項の各要素、各実施例の各要素、各図面の各要素等を含む)の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
最後に、本発明の好ましい形態を要約する。
[第1の形態]
(上記第1の視点による通信システム参照)
[第2の形態]
第1の形態の通信システムにおいて、
前記経路計算ポリシーは、物理ネットワークトポロジ上のリンクまたはノードに設定する重み付け情報によって構成される通信システム。
[第3の形態]
第1または第2の形態の通信システムにおいて、
前記制御装置は、さらに、
前記物理ネットワークを流れるトラヒックの統計情報に基づいて、前記経路計算ポリシーを変更する経路計算ポリシー決定部を備える通信システム。
[第4の形態]
第1から第3いずれか一の形態の通信システムにおいて、
前記制御装置は、さらに、
前記データ転送ノードから処理規則の設定要求を受けたパケットの特徴を抽出するパケット特徴抽出部と、
前記パケットの特徴に基づいて論理ネットワークトポロジを選択して、処理規則の設定要求を受けたパケットの転送経路を計算する経路計算部と、
前記パケットの転送経路上のパケット転送ノードに、前記パケットの特徴に適合する照合規則と、前記パケットの転送経路を実現する処理内容とを対応付けた処理規則を設定する処理規則設定部と、を備える通信システム。
[第5の形態]
第1から第4いずれか一の形態の通信システムにおいて、
前記経路計算ポリシーには、物理ネットワークトポロジ上のリンクまたはノード毎に設定された上限帯域情報が含まれており、
前記制御装置は、前記物理ネットワークトポロジ上のリンクまたはノードに設定された上限帯域を超えるトラヒックが流れないように、データ転送ノードに、パケットの廃棄またはパケット転送経路の変更を指示する処理規則を設定する通信システム。
[第6の形態]
(上記第2の視点による制御装置参照)
[第7の形態]
第6の形態の制御装置において、
前記経路計算ポリシーは、物理ネットワークトポロジ上のリンクまたはノードに設定する重み付け情報によって構成される制御装置。
[第8の形態]
第6または第7の形態の制御装置において、
さらに、
前記物理ネットワークを流れるトラヒックの統計情報に基づいて、前記経路計算ポリシーを変更する経路計算ポリシー決定部を備える制御装置。
[第9の形態]
第6から第8いずれか一の形態の制御装置において、
さらに、
前記データ転送ノードから処理規則の設定要求を受けたパケットの特徴を抽出するパケット特徴抽出部と、
前記パケットの特徴に基づいて論理ネットワークトポロジを選択して、処理規則の設定要求を受けたパケットの転送経路を計算する経路計算部と、
前記パケットの転送経路上のパケット転送ノードに、前記パケットの特徴に適合する照合規則と、前記パケットの転送経路を実現する処理内容とを対応付けた処理規則を設定する処理規則設定部と、を備える制御装置。
[第10の形態]
第6から第9いずれか一の形態の制御装置において、
前記物理ネットワークトポロジ上のリンクまたはノードに設定された上限帯域を超えるトラヒックが流れないように、データ転送ノードに、パケットの廃棄またはパケット転送経路の変更を指示する処理規則を設定する制御装置。
[第11の形態]
(上記第3の視点によるパケット転送経路の制御方法参照)
[第12の形態]
(上記第4の視点によるプログラムの制御方法参照)
100 制御装置
101 物理ネットワークトポロジ収集部
102 経路計算ポリシー決定部
103 パケット特徴抽出部
104 通信情報データベース
105 論理ネットワークトポロジ作成部
106 経路計算部
107 処理規則設定部
200 物理ネットワーク

Claims (10)

  1. パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと、
    前記複数のデータ転送ノードによって構成される物理ネットワークトポロジに異なる重み付けを適用した2以上の論理ネットワークトポロジを設定し、前記2以上の論理ネットワークトポロジからデータトラヒックに応じた論理ネットワークトポロジを選択し、当該選択された論理ネットワークトポロジに基づいて前記物理ネットワークトポロジ上にパケット転送経路を決定し、前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定する制御装置と、を含む通信システム。
  2. 前記重み付けは、物理ネットワークトポロジ上のリンクまたはノードに設定する重み付け情報によって構成される請求項1の通信システム。
  3. 前記制御装置は、さらに、
    前記物理ネットワークを流れるトラヒックの統計情報に基づいて、前記重み付けを変更する経路計算ポリシー決定部を備える請求項1または2の通信システム。
  4. 前記制御装置は、さらに、
    前記データ転送ノードから処理規則の設定要求を受けたパケットの特徴を抽出するパケット特徴抽出部と、
    前記パケットの特徴に基づいて論理ネットワークトポロジを選択して、処理規則の設定要求を受けたパケットの転送経路を計算する経路計算部と、
    前記パケットの転送経路上のパケット転送ノードに、前記パケットの特徴に適合する照合規則と、前記パケットの転送経路を実現する処理内容とを対応付けた処理規則を設定する処理規則設定部と、を備える請求項1から3いずれか一の通信システム。
  5. 前記制御装置は、前記物理ネットワークトポロジ上のリンクまたはノードに設定された上限帯域を超えるトラヒックが流れないように、データ転送ノードに、パケットの廃棄またはパケット転送経路の変更を指示する処理規則を設定する請求項1から4いずれか一の通信システム。
  6. パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと接続され、
    前記複数のデータ転送ノードによって構成される物理ネットワークトポロジに異なる重み付けを適用した2以上の論理ネットワークトポロジを設定し、前記2以上の論理ネットワークトポロジからデータトラヒックに応じた論理ネットワークトポロジを選択し、当該選択された論理ネットワークトポロジに基づいて前記物理ネットワークトポロジ上にパケット転送経路を決定し、前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定する制御装置。
  7. 前記重み付けは、物理ネットワークトポロジ上のリンクまたはノードに設定する重み付け情報によって構成される請求項6の制御装置。
  8. さらに、
    前記データ転送ノードから処理規則の設定要求を受けたパケットの特徴を抽出するパケット特徴抽出部と、
    前記パケットの特徴に基づいて論理ネットワークトポロジを選択して、処理規則の設定要求を受けたパケットの転送経路を計算する経路計算部と、
    前記パケットの転送経路上のパケット転送ノードに、前記パケットの特徴に適合する照合規則と、前記パケットの転送経路を実現する処理内容とを対応付けた処理規則を設定する処理規則設定部と、を備える請求項6または7の制御装置。
  9. パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと、接続された制御装置が、
    前記複数のデータ転送ノードによって構成される物理ネットワークトポロジに異なる重み付けを適用して設定した2以上の論理ネットワークトポロジの中から、データトラヒックに応じた論理ネットワークトポロジを選択し、当該選択された論理ネットワークトポロジに基づいて前記物理ネットワークトポロジ上にパケット転送経路を決定するステップと、
    前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定するステップとを含むパケット転送経路の制御方法。
  10. パケットに適用する処理と前記処理を適用するパケットを特定するための照合規則とを対応付けた処理規則に従って受信パケットを処理するパケット処理部を備える複数のデータ転送ノードと、接続された制御装置に実行させるプログラムであって、
    前記複数のデータ転送ノードによって構成される物理ネットワークトポロジに異なる重み付けを適用して設定した2以上の論理ネットワークトポロジの中から、データトラヒックに応じた論理ネットワークトポロジを選択し、当該選択された論理ネットワークトポロジに基づいて前記物理ネットワークトポロジ上にパケット転送経路を決定する処理と、
    前記パケット転送経路上のデータ転送ノードに対し、前記パケット転送経路を実現する処理規則を設定する処理とを、前記コンピュータに実行させるプログラム。
JP2012541845A 2010-11-01 2011-10-31 通信システム、制御装置、パケット転送経路の制御方法およびプログラム Active JP5668759B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012541845A JP5668759B2 (ja) 2010-11-01 2011-10-31 通信システム、制御装置、パケット転送経路の制御方法およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010245229 2010-11-01
JP2010245229 2010-11-01
JP2012541845A JP5668759B2 (ja) 2010-11-01 2011-10-31 通信システム、制御装置、パケット転送経路の制御方法およびプログラム
PCT/JP2011/075042 WO2012060316A1 (ja) 2010-11-01 2011-10-31 通信システム、制御装置、パケット転送経路の制御方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014207051A Division JP5975083B2 (ja) 2010-11-01 2014-10-08 通信システム、制御装置、パケット転送経路の制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2012060316A1 JPWO2012060316A1 (ja) 2014-05-12
JP5668759B2 true JP5668759B2 (ja) 2015-02-12

Family

ID=46024429

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012541845A Active JP5668759B2 (ja) 2010-11-01 2011-10-31 通信システム、制御装置、パケット転送経路の制御方法およびプログラム
JP2014207051A Active JP5975083B2 (ja) 2010-11-01 2014-10-08 通信システム、制御装置、パケット転送経路の制御方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014207051A Active JP5975083B2 (ja) 2010-11-01 2014-10-08 通信システム、制御装置、パケット転送経路の制御方法およびプログラム

Country Status (5)

Country Link
US (2) US20130188493A1 (ja)
EP (2) EP3297212A1 (ja)
JP (2) JP5668759B2 (ja)
CN (2) CN103190126B (ja)
WO (1) WO2012060316A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253042B2 (en) * 2012-10-05 2016-02-02 Nec Laboratories America, Inc. Network management
US9276838B2 (en) * 2012-10-05 2016-03-01 Futurewei Technologies, Inc. Software defined network virtualization utilizing service specific topology abstraction and interface
US20140146664A1 (en) * 2012-11-26 2014-05-29 Level 3 Communications, Llc Apparatus, system and method for packet switching
WO2014157512A1 (ja) * 2013-03-29 2014-10-02 日本電気株式会社 仮想マシン提供システム、経路決定装置、経路制御方法及びプログラム
CN103491129B (zh) * 2013-07-05 2017-07-14 华为技术有限公司 一种业务节点配置方法、业务节点池注册器及系统
US10097503B2 (en) 2013-09-27 2018-10-09 Fastly, Inc. Content node network address selection for content delivery
US9538423B2 (en) * 2013-11-01 2017-01-03 Cisco Technology, Inc. Routing packet traffic using hierarchical forwarding groups
JP6524911B2 (ja) * 2013-11-20 2019-06-05 日本電気株式会社 ネットワーク制御装置、ネットワーク制御方法およびプログラム
EP3059909B1 (en) * 2013-11-22 2018-03-21 Huawei Technologies Co., Ltd. Method, apparatus and system for controlling forwarding of service data in virtual network
CN104702502B (zh) 2013-12-09 2019-11-26 中兴通讯股份有限公司 网络路径计算方法及装置
US10044609B2 (en) * 2014-02-04 2018-08-07 Fastly, Inc. Communication path selection for content delivery
US9491102B1 (en) 2014-02-10 2016-11-08 Google Inc. Traffic load balancing in a multi-connect topology
US8989199B1 (en) 2014-02-24 2015-03-24 Level 3 Communications, Llc Control device discovery in networks having separate control and forwarding devices
EP3001643A1 (en) * 2014-09-29 2016-03-30 Alcatel Lucent Methods and devices used when transmitting data packets of a data packet flow in a data center network
US10187292B2 (en) * 2016-04-15 2019-01-22 Microsoft Technology Licensing, Llc Data center topology having multiple classes of reliability
US20180324082A1 (en) * 2017-05-05 2018-11-08 Fang Hao Weight setting using inverse optimization
US11240140B2 (en) 2018-02-20 2022-02-01 Anapaya Systems Ag Method and system for interfacing communication networks
JP7224264B2 (ja) * 2019-09-12 2023-02-17 三菱電機株式会社 通信網選択装置及び通信システム
EP3941006B1 (en) 2020-07-16 2022-10-26 Anapaya Systems AG System and method for carrying and optimizing internet traffic over a source-selected path routing network
EP3941003B1 (en) 2020-07-16 2022-09-28 Anapaya Systems AG Achieving highly available autonomous systems (as) in a source-selected path routing network

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292167A (ja) * 2000-04-10 2001-10-19 Fujitsu Ltd ネットワーク中継システムおよび中継装置
JP2002290450A (ja) * 2001-03-22 2002-10-04 Fujitsu Ltd 帯域管理装置、アドレス解決支援装置、帯域管理方法およびアドレス解決支援方法
JP2003078556A (ja) * 2001-08-31 2003-03-14 Fujitsu Ltd ネットワークシステム、ネットワーク中継装置、ネットワーク中継監視装置およびネットワーク運用方法
JP2008054089A (ja) * 2006-08-25 2008-03-06 Alaxala Networks Corp パケットを中継する装置および方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381404A (en) * 1992-07-14 1995-01-10 Mita Industrial Co., Ltd. Packet-switching communication network and method of design
JPH1098477A (ja) * 1996-09-25 1998-04-14 Toshiba Corp 経路選択方法および通信システム
JPH10164074A (ja) * 1996-11-27 1998-06-19 Toshiba Corp Atmスイッチおよびatmネットワークシステム
JP3875107B2 (ja) * 2002-01-10 2007-01-31 株式会社エヌ・ティ・ティ・ドコモ パケット交換システム、パケット交換方法、ルーティング装置、パケットデータ及びその生成方法
US7689722B1 (en) * 2002-10-07 2010-03-30 Cisco Technology, Inc. Methods and apparatus for virtual private network fault tolerance
KR100526185B1 (ko) * 2003-08-14 2005-11-03 삼성전자주식회사 Pcf 및 dcf를 사용하는 무선 통신에서 dlp와멀티-채널을 사용하여 전송 효율을 높이는 장치 및 방법
US8477627B2 (en) * 2004-07-19 2013-07-02 Solace Systems, Inc. Content routing in digital communications networks
CN100542126C (zh) * 2004-10-21 2009-09-16 华为技术有限公司 一种最优路由的选择方法
US8131873B2 (en) * 2004-11-05 2012-03-06 Cisco Technology, Inc. Technique for selecting a path computation element
CN100395989C (zh) * 2004-11-09 2008-06-18 华为技术有限公司 承载网资源管理器自动获取承载网信息的方法
US7787385B2 (en) * 2005-01-25 2010-08-31 Samsung Electronics Co., Ltd. Apparatus and method for architecturally redundant ethernet
US7760738B1 (en) * 2005-07-28 2010-07-20 Verizon Services Corp. Admission control for services
US20070030846A1 (en) * 2005-08-08 2007-02-08 Mark Szczesniak Method and apparatus for enabling routing of label switched data packets
US7584276B2 (en) * 2005-09-27 2009-09-01 International Business Machines Corporation Adaptive orchestration of composite services
CN100550830C (zh) * 2005-11-08 2009-10-14 华为技术有限公司 一种应用于承载网控制服务器上的优化路由选择方法
US20070127474A1 (en) * 2005-12-02 2007-06-07 Cisco Technology, Inc. Automatic mapping of an IPv6 packet in multi-topology routing
US20080189769A1 (en) 2007-02-01 2008-08-07 Martin Casado Secure network switching infrastructure
CN101299671B (zh) * 2007-04-30 2013-03-13 上海贝尔阿尔卡特股份有限公司 用于组播数据包发送与接收的方法和装置
KR101138520B1 (ko) * 2007-10-31 2012-04-25 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 노드들 간의 다중 경로들을 갖는 네트워크들 및 그러한 네트워크를 위한 노드들
US7911944B2 (en) * 2007-12-26 2011-03-22 Nortel Networks Limited Tie-breaking in shortest path determination
US7944854B2 (en) * 2008-01-04 2011-05-17 Cisco Technology, Inc. IP security within multi-topology routing
US8036118B2 (en) * 2008-02-01 2011-10-11 Cisco Technology, Inc. Inducing symmetry via multi topology routing
JP4825229B2 (ja) 2008-02-25 2011-11-30 日本電信電話株式会社 迂回経路決定装置および迂回経路決定方法
CN101753425B (zh) * 2008-12-01 2011-11-09 北京航空航天大学 在多约束下求取网络中多条最短简单路径的启发式方法
WO2010064531A1 (ja) * 2008-12-02 2010-06-10 日本電気株式会社 通信ネットワーク管理システム、方法、プログラム、及び管理計算機
WO2010090182A1 (ja) * 2009-02-03 2010-08-12 日本電気株式会社 アプリケーションスイッチシステム、及びアプリケーションスイッチ方法
JP2010193357A (ja) * 2009-02-20 2010-09-02 Kddi Corp 経路制御装置およびプログラム
CN101635645B (zh) * 2009-08-28 2012-01-11 中兴通讯股份有限公司 一种网络拓扑的管理方法及装置
JP5621778B2 (ja) * 2009-09-25 2014-11-12 日本電気株式会社 コンテンツベーススイッチシステム、及びコンテンツベーススイッチ方法
US8964566B2 (en) * 2010-08-19 2015-02-24 Cisco Technology, Inc. Creating balanced link-disjoint topologies in a computer network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292167A (ja) * 2000-04-10 2001-10-19 Fujitsu Ltd ネットワーク中継システムおよび中継装置
JP2002290450A (ja) * 2001-03-22 2002-10-04 Fujitsu Ltd 帯域管理装置、アドレス解決支援装置、帯域管理方法およびアドレス解決支援方法
JP2003078556A (ja) * 2001-08-31 2003-03-14 Fujitsu Ltd ネットワークシステム、ネットワーク中継装置、ネットワーク中継監視装置およびネットワーク運用方法
JP2008054089A (ja) * 2006-08-25 2008-03-06 Alaxala Networks Corp パケットを中継する装置および方法

Also Published As

Publication number Publication date
JPWO2012060316A1 (ja) 2014-05-12
EP3297212A1 (en) 2018-03-21
US20150249600A1 (en) 2015-09-03
EP2637363B1 (en) 2017-10-25
WO2012060316A1 (ja) 2012-05-10
JP2015029346A (ja) 2015-02-12
EP2637363A1 (en) 2013-09-11
JP5975083B2 (ja) 2016-08-23
US20130188493A1 (en) 2013-07-25
CN103190126B (zh) 2016-06-22
EP2637363A4 (en) 2014-06-25
CN106059811B (zh) 2019-07-05
CN106059811A (zh) 2016-10-26
CN103190126A (zh) 2013-07-03

Similar Documents

Publication Publication Date Title
JP5975083B2 (ja) 通信システム、制御装置、パケット転送経路の制御方法およびプログラム
EP2911348B1 (en) Control device discovery in networks having separate control and forwarding devices
CN104335537B (zh) 用于层2多播多路径传送的系统和方法
JP5850068B2 (ja) 制御装置、通信システム、通信方法およびプログラム
JP5440691B2 (ja) パケット転送システム、制御装置、転送装置、処理規則の作成方法およびプログラム
JP5825351B2 (ja) 通信システム、制御装置、通信方法及びプログラム
JP5585660B2 (ja) 通信システム、制御装置、処理規則の設定方法およびプログラム
US20150256407A1 (en) Control apparatus, control method thereof, and program
JP6492660B2 (ja) 通信システム、制御装置、制御方法及びプログラム
JPWO2011030462A1 (ja) 通信システム、ノード、制御サーバ、通信方法およびプログラム
JP5999251B2 (ja) 通信システム、スイッチ、制御装置、パケット処理方法及びプログラム
WO2011118574A1 (ja) 通信システム、制御装置、遅延測定方法およびプログラム
EP3406055A1 (en) Bidirectional constrained path search
JPWO2018047943A1 (ja) 通信システム、エッジノード、通信方法及びプログラム
JP5870995B2 (ja) 通信システム、制御装置、計算機、ノードの制御方法およびプログラム
JP2015530767A (ja) 通信システム、制御装置、制御方法及びプログラム
JP2004254132A (ja) パケット伝送方法及びパケット伝送装置
CN107431656A (zh) 控制设备、通信系统、控制方法及程序
JP5637289B2 (ja) 通信システム、ノード、制御サーバ、通信方法およびプログラム
Hong et al. A Congestion Contribution-based Traffic Engineering Scheme using Software-Defined Networking
Derakhshan et al. On converged multidomain management of connectivity in heterogeneous networks
JP6264469B2 (ja) 制御装置、通信システム及び中継装置の制御方法
JPWO2014123194A1 (ja) 通信システム、制御装置、通信制御方法およびプログラム
JP2012257335A (ja) 通信システム、ノード、制御装置、通信方法およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141008

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141201

R150 Certificate of patent or registration of utility model

Ref document number: 5668759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150