JP6221501B2 - ネットワークシステム、その制御方法、ネットワーク制御装置及びその制御プログラム - Google Patents

ネットワークシステム、その制御方法、ネットワーク制御装置及びその制御プログラム Download PDF

Info

Publication number
JP6221501B2
JP6221501B2 JP2013169867A JP2013169867A JP6221501B2 JP 6221501 B2 JP6221501 B2 JP 6221501B2 JP 2013169867 A JP2013169867 A JP 2013169867A JP 2013169867 A JP2013169867 A JP 2013169867A JP 6221501 B2 JP6221501 B2 JP 6221501B2
Authority
JP
Japan
Prior art keywords
transmission control
packet
packet transmission
control unit
plurality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013169867A
Other languages
English (en)
Other versions
JP2015039144A (ja
Inventor
和樹 兵頭
和樹 兵頭
幸洋 中川
幸洋 中川
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2013169867A priority Critical patent/JP6221501B2/ja
Publication of JP2015039144A publication Critical patent/JP2015039144A/ja
Application granted granted Critical
Publication of JP6221501B2 publication Critical patent/JP6221501B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic regulation in packet switching networks
    • H04L47/10Flow control or congestion control
    • H04L47/24Flow control or congestion control depending on the type of traffic, e.g. priority or quality of service [QoS]
    • H04L47/2483Flow identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. local area networks [LAN], wide area networks [WAN]
    • H04L12/46Interconnection of networks
    • H04L12/4641Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance or administration or management of packet switching networks
    • H04L41/08Configuration management of network or network elements
    • H04L41/0803Configuration setting of network or network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/38Flow based routing

Description

本発明は、ネットワークシステム,その制御方法,ネットワーク制御装置及びその制御プログラムに関する。

集中管理コントローラにより、マルチレイヤフロー制御を行なう統一的な管理機構としてOpenFlowがある。OpenFlowでは、パケット・フィールドとフローを定義したルールとをワイルドカードで参照し、フローを識別することにより、フローレベルの制御が可能となる。

国際公開2010/103909号パンフレット 特開2012−090058号公報 特開2011−188433号公報

しかしながら、上述したフロー制御においては、フローの識別に用いるAccess Control List(ACL)のエントリ数が不足するという課題がある。
図29は、従来例としてのネットワークシステムの構成を模式的に示す図である。
図29に例示するネットワークシステム5は、12個のスイッチ50及び8つのサーバ装置60を備える。

各サーバ装置60は1又は複数のスイッチ50を介して他のサーバ装置60と互いに通信可能に接続されており、ネットワークシステム5はFat Tree構成を形成している。また、各サーバ装置60は、仮想環境60aを構成する。そして、各サーバ装置60が備える図示しないメモリ上には8つのVirtual Machine(VM;仮想マシン)61が展開され、展開されたVM61は各サーバ装置60が備える図示しないCentral Processing Unit(CPU)上で実行される。

ここで、ネットワーク内のホスト(サーバ装置60)の数をhとし、各ホスト内のVM61の数をvとすると、ネットワーク内のVM61の数はh*v=64で求められる。更に、ネットワーク上で発生するフローの数は、
t=(v*((h-1)*v))*h=h*(h-1)*v*v
で求められる。

そして、図29に示すようなh=8,v=8のネットワークシステム5においてはVM61の数はh*v=64であり、フローの数は上記式によりt=3584と求められる。
すなわち、高々64個のVM61同士の通信で3584のフローが必要となる。一般的に運用されるネットワークシステムは、図29に示すサーバ装置60(VM61)より多くのサーバ装置(VM)を備えるものがあり、フローの数は更に多くなる。

図30は、従来例としてのスイッチの仕様を示す図である。
OpenFlowにおけるフロー定義のルールは、スイッチが備えるTernary Content Addressable Memory(TCAM)に実装される。
しかしながら、TCAMは、実装面積や消費電力が大きいため、ACLのエントリ数(フロー登録数)が少ない。

図30に例示するように、従来のスイッチ(機器1〜機器4)は、1k〜3k程度しかACLのエントリを備えていない。
図29を用いて上述したように、高々64個のVM61を備えるネットワークシステム5においては、3584のフローが必要となり、従来のコモディティスイッチではACLのエントリ数が不足する。そのため、OpenFlowで管理できるネットワークの規模が制限されるという課題がある。

1つの側面では、本発明は、スイッチが使用するエントリ数を低減させることを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。

このため、このネットワークシステムは、送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムであって、前記スイッチは、第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、当該ネットワークシステムは、前記第1のパケット伝送制御部に従い、受信装置までの経路が一意に決まらない領域である第1のパケット伝送制御領域と、前記第2のパケット伝送制御部に従、受信装置までの経路が一意に決まる領域である第2のパケット伝送制御領域とを含み、前記複数のスイッチのうち、前記第1のパケット伝送制御領域に含まれるスイッチは、前記ネットワーク制御装置から通知される複数の第1のルール情報を記憶する第1の記憶部を前記第1のパケット伝送制御部に備え、入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用し、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行ない、前記複数のスイッチのうち、前記第2のパケット伝送制御領域に含まれるスイッチは、前記ネットワーク制御装置から通知される複数の第2のルール情報を記憶する第2の記憶部を前記第2のパケット伝送制御部に備え、入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、完全一致するかの検索を行ない、完全一致する第2のルール情報に従って前記入力パケットの前記宛先情報に応じたパケットの中継先を一意に決定する制御を行なう。

開示のネットワークシステムによれば、スイッチが使用するエントリ数を低減させることができる。

実施形態の一例としてのネットワークシステムの機能構成を模式的に示す図である。 実施形態の一例としてのネットワークシステムが備えるスイッチの機能構成を模式的に示す図である。 実施形態の一例としてのネットワークシステムが用いるOpenFlowを説明する図である。 実施形態の一例としてのネットワークシステムが用いるOpenFlowのフロー定義を示す図である。 実施形態の一例としてのネットワークシステムにおけるフロー制御を説明する図である。 実施形態の一例としてのネットワークシステムにおけるフロー制御を説明する図である。 (a)は実施形態の一例としてのネットワークシステムが用いるACLベースのフロー定義のRuleフィールドを示す図であり、(b)はそのActionフィールドを示す図である。 (a)は実施形態の一例としてのネットワークシステムが用いるFDBベースのフロー定義のRuleフィールドを示す図であり、(b)はそのActionフィールドを示す図である。 (a)〜(d)は、実施形態の一例としてのネットワークシステムにおけるACLベースのフロー制御のマッチングを例示する図である。 実施形態の一例としてのネットワークシステムが用いるVXLANを説明する図である。 (a)は実施形態の一例としてのネットワークシステムが用いるVXLANパケットの概略を示す図であり、(b)はその詳細を示す図である。 従来例としてのネットワークシステムが用いるVXLANのトラフィック特性を説明する図である。 実施形態の一例としてのネットワークシステムにおけるマルチパスの分散を説明する図である。 実施形態の一例としてのネットワークシステムのBack to Back構成におけるフロー制御を説明する図である。 実施形態の一例としてのネットワークシステムのFat Tree構成におけるフロー制御を説明する図である。 (a)〜(c)は、実施形態の一例としてのネットワークシステムにおけるハッシュ計算を説明する図である。 実施形態の一例としてのネットワークシステムが備えるコントローラにおけるフローリストの設定処理を示すフローチャートである。 実施形態の一例としてのネットワークシステムにおけるフローリストの作成処理に用いるアルゴリズムを例示する図である。 実施形態の一例としてのネットワークシステムが備えるスイッチにおけるフローリストの設定処理を示すフローチャートである。 実施形態の一例としてのネットワークシステムが備えるスイッチにおけるACLテーブルの設定処理を示すフローチャートである。 実施形態の一例としてのネットワークシステムが備えるスイッチにおけるFDBテーブルの設定処理を示すフローチャートである。 (a)は実施形態の一例としてのネットワークシステムが用いるOpenFlowテーブルを模式的に示す図であり、(b)はそのコモディティスイッチを模式的に示す図である。 実施形態の一例としてのネットワークシステムのBack to Back構成を例示する図である。 実施形態の一例としてのネットワークシステムのFat Tree構成を例示する図である。 従来のネットワークシステムと本実施形態の一例におけるネットワークシステムとにおける使用エントリ数を示す図である。 実施形態の第1変形例としてのネットワークシステムのFat Tree構成におけるフロー制御を説明する図である。 実施形態の第2変形例としてのネットワークシステムのFat Tree構成におけるフロー制御を説明する図である。 従来のネットワークシステムと本実施形態の第1変形例及び第2変形例におけるネットワークシステムとにおける使用エントリ数を示す図である。 従来例としてのネットワークシステムの構成を模式的に示す図である 従来例としてのスイッチの仕様を示す図である。

以下、図面を参照してネットワークシステム,その制御方法,ネットワーク制御装置及びその制御プログラムに係る一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。

また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
〔A〕実施形態の一例
〔A−1〕システム構成
図1は、実施形態の一例としてのネットワークシステムの機能構成を模式的に示す図である。

本実施形態の一例としてのネットワークシステム1は、図1に示すようにスイッチ10−1,10−2、コントローラ(ネットワーク制御装置)20及びサーバ装置(送受信装置)30−1〜30−4を備える。各サーバ装置30−1〜30−4は、1つ又は2つのスイッチ10−1,10−2を介して、他のサーバ装置30−1〜30−4と互いに通信可能に接続されている。例えば、サーバ装置30−1は、スイッチ10−1を介してサーバ装置30−2と互いに通信可能に接続されている。また、サーバ装置30−1は、スイッチ10−1,10−2を介してサーバ装置30−3と互いに通信可能に接続されている。

以下、スイッチを示す符号としては、複数のスイッチのうち1つを特定する必要があるときには符号10−1,10−2を用いるが、任意のスイッチを指すときには符号10を用いる。また、以下、サーバ装置を示す符号としては、複数のサーバ装置のうち1つを特定する必要があるときには符号30−1〜30−4を用いるが、任意のサーバ装置を指すときには符号30を用いる。

サーバ装置30は、例えば、サーバ機能を備えたコンピュータである。図1に示す例では、ネットワークシステム1が4つのサーバ装置30−1〜30−4を備えているが、3つ以下又は5つ以上のサーバ装置30を備えることとしても良い。
コントローラ20は、複数のスイッチ10を制御し、各スイッチ10に対してフロー制御を行なうための設定を行なう。コントローラ20は、図1に示すようにCPU21,メモリ22及び記憶装置23を備える。

記憶装置23は、データを読み書き可能に格納する既知の装置であり、例えば、Hard Disk Drive(HDD)やSolid State Drive(SSD)である。本実施形態の一例においては、記憶装置23は、例えば、フローリスト100(設定データ;図3等を用いて後述)を格納する。
メモリ22は、Read Only Memory(ROM)及びRandom Access Memory(RAM)を含む記憶装置である。メモリ22のROMには、Basic Input/Output System(BIOS)等のプログラムが書き込まれている。メモリ22上のソフトウェアプログラムは、CPU21に適宜読み込まれて実行される。また、メモリ22のRAMは、一次記録メモリあるいはワーキングメモリとして利用される。

CPU21は、種々の制御や演算を行なう処理装置であり、メモリ22に格納されたOSやプログラムを実行することにより、種々の機能を実現する。すなわち、CPU21は、図1に示すように、送信部211として機能する。
なお、この送信部211としての機能を実現するためのプログラム(制御プログラム)は、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等),ブルーレイディスク,磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体から図示しない読取装置を介してプログラムを読み取って内部記録装置または外部記録装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供してもよい。

送信部211としての機能を実現する際には、内部記憶装置(本実施形態ではメモリ22)に格納されたプログラムがコンピュータのマイクロプロセッサ(本実施形態ではCPU21)によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。
送信部211は、複数のスイッチ10に対して、複数のパケット伝送制御手法に従った、パケット伝送のためのルール情報を送信する。具体的には、送信部211は、記憶装置23に格納されているフローリスト100を読み出し、読み出したフローリスト100に含まれるルール情報を対象のスイッチ10へ送信する。

図2は、実施形態の一例としてのネットワークシステムが備えるスイッチの機能構成を模式的に示す図である。
スイッチ10は、各サーバ装置30間で送受信されるパケットを伝送する。スイッチ10は、図2に示すようにCPU11,スイッチングモジュール12,受信ポート14−1〜14−N(以下、Nは1以上の整数),送信ポート15−1〜15−N及び管理用ポート16を備える。

以下、受信ポートを示す符号としては、複数の受信ポートのうち1つを特定する必要があるときには符号14−1〜14−Nを用いるが、任意の受信ポートを指すときには符号14を用いる。また、以下、送信ポートを示す符号としては、複数の送信ポートのうち1つを特定する必要があるときには符号15−1〜15−Nを用いるが、任意の送信ポートを指すときには符号15を用いる。

受信ポート14は、他の装置から送信されたパケットを受信するためのインタフェースである。具体的には、受信ポート14は、他のスイッチ10又はサーバ装置30と通信可能に接続され、他のスイッチ10又はサーバ装置30から送信されたパケットを受信する。例えば、図1に示したスイッチ10−1が備える受信ポート14は、スイッチ10−2及びサーバ装置30−1,30−2と通信可能に接続されている。

送信ポート15は、他の装置へパケットを送信するためのインタフェースである。具体的には、送信ポート15は、他のスイッチ10又はサーバ装置30と通信可能に接続され、他のスイッチ10又はサーバ装置30へパケットを送信する。例えば、図1に示したスイッチ10−1が備える送信ポート1は、スイッチ10−2及びサーバ装置30−1,30−2と通信可能に接続されている。

管理用ポート16は、コントローラ20と通信可能に接続され、コントローラ20から送信されたデータを受信し、又、コントローラ20へのデータを送信するインタフェースである。本実施形態の一例においては、管理用ポート16は、コントローラ20の送信部211から送信されたフローリスト100を受信する。また、管理用ポート16は、受信したフローリスト100に基づいて行なったスイッチ10の設定結果をコントローラ20へ送信する。

CPU11は、種々の制御や演算を行なう処理装置であり、図示しないメモリ又はスイッチングモジュール12が備える後述するメモリ130に格納されたOSやプログラムを実行することにより、種々の機能を実現する。すなわち、CPU11は、図2に示すように、設定部110(ACL設定部111及びFDB設定部112)として機能する。
なお、この設定部110(ACL設定部111及びFDB設定部112)としての機能を実現するためのプログラムは、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等),ブルーレイディスク,磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体から図示しない読取装置を介してプログラムを読み取って内部記録装置または外部記録装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供してもよい。

設定部110(ACL設定部111及びFDB設定部112)としての機能を実現する際には、内部記憶装置(本実施形態では図示しないメモリ又はスイッチングモジュール1が備える後述するメモリ130)に格納されたプログラムがコンピュータのマイクロプロセッサ(本実施形態ではCPU11)によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。

設定部110は、図2に示すようにACL設定部111及びFDB設定部112として機能する。
ACL設定部111は、ACLに従ったフロー制御に関するフローテーブルの設定を行なう。具体的には、ACL設定部111は、コントローラ20の送信部211から受信したフローリスト100に基づき、複数のパケット伝送制御手法のうち、ACLに従ったパケットの伝送を制御するACLテーブル(第1のルール情報;図14等を用いて後述)200を登録する。

FDB設定部112は、Forwarding Database(FDB)に従ったフロー制御に関するフローテーブルの設定を行なう。具体的には、FDB設定部112は、コントローラ20の送信部211から受信したフローリスト100に基づき、複数のパケット伝送制御手法のうち、ACLとは異なるFDBに従ったパケットの伝送を制御するためのFDBテーブル(第2のルール情報;図14等を用いて後述)300を登録する。

スイッチングモジュール12は、図示しないスイッチング回路(例えば、クロスバースイッチ)を有し、入力されたパケット毎にその経路を自在に変更するものである。スイッチングモジュール12は、図2に示すようにTCAM120及びメモリ130を備え、又、ACL制御部122及びFDB制御部132として機能する。
TCAM120は、キーで検索しデータにアクセスする通常のCAM(連想メモリ)に、マスク値を記憶する領域を付加した記憶装置である。TCAM120は、図2に示すようにACL記憶部(第1の記憶部)121として機能する。

ACL記憶部121は、ACLテーブル200を格納する。すなわち、CPU11のACL設定部111は、ACLテーブル200をACL記憶部121に格納する。
ACL制御部122は、ACLに従ったフロー制御を行なう。具体的には、ACL制御部122は、ACL記憶部121に格納されているACLテーブル200に従ってパケット伝送の制御を行なう。

メモリ130は、Read Only Memory(ROM)及びRandom Access Memory(RAM)を含む記憶装置である。メモリ130は、図2に示すようにFDB記憶部(第2の記憶部)131として機能する。
FDB記憶部131は、FDBテーブル300を格納する。すなわち、CPU11のFDB設定部112は、FDBテーブル300をFDB記憶部131に格納する。

FDB制御部132は、FDBに従ったフロー制御を行なう。具体的には、FDB制御部132は、FDB記憶部131に格納されているFDBテーブル300に従ってパケット伝送の制御を行なう。
本実施形態の一例におけるスイッチ10においては、ACL設定部111,TCAM120及びACL制御部122が第1のパケット伝送制御部として機能し、FDB設定部112,メモリ130及びFDB制御部132が第2のパケット伝送制御部として機能する。

図3は、実施形態の一例としてのネットワークシステムが用いるOpenFlowを説明する図である。
本実施形態の一例におけるネットワークシステム1は、OpenFlowを用いてネットワーク制御を行なう。図3に例示するネットワークシステム1は、3つのスイッチ10,コントローラ20及び2つのサーバ装置30を備える。

各サーバ装置30は、3つのスイッチ10を介して他のサーバ装置30にパケットを伝送する(図3中の実線両矢印参照)。
コントローラ20は、各スイッチ10の管理を行なう。例えば、コントローラ20は、各スイッチ10間のパケット伝送に先立って、各スイッチ10に対してRule,Action及びStatisticsの各フィールドが互いに関連付けられたフローリスト100を設定する。

本ネットワークシステム1は、コントローラ20によるフローリスト100の設定により、マルチレイヤフロー(例えば、レイヤ2(L2),レイヤ3(L3)及びレイヤ4(L4))の制御を行なうことができ、統一的なフロー管理を実現できる。
図4は、実施形態の一例としてのネットワークシステムが用いるOpenFlowのフロー定義を示す図である。

本ネットワークシステム1が用いるOpenFlowのフロー定義は、Ruleフィールドに図示するような12Tuple(タプル)のフィールドを含む。スイッチ10は、Ruleフィールドに含まれる各フィールドの情報によって受信したパケットを識別する。
Actionフィールドには図示するようにForward packet to port(s)の情報が含まれる。スイッチ10は、Actionフィールドに基づいて、Ruleフィールドにマッチしたパケットの処理(送信ポート15の番号指定)を行なう。

Statisticsフィールドには図示するようにPacket及びbyte countersの情報が含まれる。
図5は、実施形態の一例としてのネットワークシステムにおけるフロー制御を説明する図である。
本実施形態の一例におけるネットワークシステム1は、図5に示すように、パケットの伝送経路を領域〔1〕(第1のパケット伝送制御領域)及び領域〔2〕(第2のパケット伝送制御領域)の2つの領域に分けてパケットの伝送を行なう。具体的には、本ネットワークシステム1は、領域〔1〕においてACLに従ったフロー制御を行ない、又、領域〔2〕においてFDBに従ったフロー制御を行なう。言い換えれば、本ネットワークシステム1は、第1のパケット伝送制御部に従う第1のパケット伝送制御領域と、第2のパケット伝送制御部に従う第2のパケット伝送制御領域とを含む。また、領域〔1〕と領域〔2〕とは、図5に示すように折り返し点Aで区切られている。

領域〔1〕は、スイッチ10のサーバ装置30側ポートに宛先が存在せず、サーバ装置30から折り返し点Aに向けたパケット伝送において、上流に向けて複数の経路が存在す
る領域である。言い換えれば、領域〔1〕は、送信元のサーバ装置30から送信先のサーバ装置30までのパケット伝送経路のうち、送信先のサーバ装置30への経路が一意に決まらない折り返し点Aまでの領域である。

領域〔2〕は、スイッチ10のサーバ装置30側ポートに宛先が存在し、折り返し点Aからサーバ装置30へ向けたパケット伝送において、一意に経路が決定される領域である。言い換えれば、領域〔2〕は、送信元のサーバ装置30から送信先のサーバ装置30までのパケット伝送経路のうち、折り返し点A以降の領域である。
図6は、実施形態の一例としてのネットワークシステムにおけるフロー制御を説明する図である。

図6に例示するネットワークシステム1は、4つのスイッチ10(SW#1〜#4),4つのサーバ装置30(Svr#1〜#4)及び図示しないコントローラ20を備える。
以下、図6を参照しながら説明する際には、特定のスイッチ10を指す場合には「SW#1」,「SW#2」,「SW#3」又は「SW#4」と表記する。また、以下、図6を参照しながら説明する際には、特定のサーバ装置30を指す場合には「Svr#1」,「Svr#2」,「Svr#3」又は「Svr#4」と表記する。

図6に示す例おいては、Svr#1がパケットを送信する送信元装置であり、Svr#4がパケットを受信する送信先装置である。また、図6に示す例おいては、Svr#1が送信したパケットは、SW#1,SW#3及びSW#2を介してSvr#4へ送信されている(図6中の破線矢印参照)。
図6に示す例においては、Svr#1からSvr#4へパケットを送信する経路は2つ存在する。すなわち、Svr#1からSvr#4へ伝送されるパケットの経路は、図中の破線矢印で示すSW#3を経由する経路の他に、SW#4を経由する経路が存在する。また、SW#3からSvr#4への経路は一意に決まり、SW#4からSvr#4への経路も一意に決まる。

このように、送信元装置からの伝送経路において、送信先装置への経路が一意に決定可能となる最初のスイッチ10が、本実施形態の一例における折り返し点Aとして定義される(図6に示す例においてはSW#3)。
そして、各スイッチ10は、送信元装置から折り返し点Aまでの領域〔1〕においてはACLに従ったフロー制御を行ない、折り返し点Aから送信先装置までの領域〔2〕においてはFDBに従ったフロー制御を行なう。図6に示す例においては、SW#1のACL制御部122はACLに従ったフロー制御を行ない、SW#3及びSW#2のFDB制御部132はFDBに従ったフロー制御を行なう。

言い換えれば、ACL制御部122は、送信元装置から送信先装置までのパケット伝送経路のうち、送信先装置への経路が一意に決まらない折り返し点Aまでの領域〔1〕においては、ACLに従ってパケットを伝送する。また、FDB制御部132は、送信元装置から送信先装置までのパケット伝送経路のうち、折り返し点A以降の領域〔2〕においては、FDBに従ってパケットを伝送する。

図6に図示されないコントローラ20は、送信元装置から送信先装置までのパケット伝送経路のうち、折り返し点AまでをACLに従って経路選択的に、折り返し点Aから送信先装置までをFDBに従って経路決定的に、パケットを伝送できるよう各スイッチ10のフローテーブルを構成する。
図7(a)は実施形態の一例としてのネットワークシステムが用いるACLベースのフロー定義のRuleフィールドを示す図であり、図7(b)はそのActionフィールドを示す図である。

本実施形態の一例におけるネットワークシステム1は、領域〔1〕におけるACLベースのフロー制御を、ワイルドカードのマッチングによるWildcard Matching Table(WMT)主導で行なう(詳細は図9を用いて後述)。
WMTの構築は、コントローラ20がスイッチ10に対して原則Proactiveに行なう(事前設定)。例えば、コントローラ20の送信部211は、ネットワークシステム1の起動時やトポロジ情報が変更された際に事前設定を行なう。また、トポロジ情報の変更は、動的に検出しても良く、又、オペレータの操作によって検出しても良い。

フローの識別方法はネットワークの使用形態に依存する。例えば、Virtual eXtensible Local Area Network(VXLAN)やStateless Transport Tunneling(STT)等のオーバーレイネットワークでは、図7(a)に示すRuleフィールドのL4 sportに注目してフローを識別する。また、テナント分離(マルチテナント)ではInternet Protocol(IP)アドレス、End-Host Mode(EHM)ではVirtual Local Area Network(VLAN)、 Multi-Protocol Label Switching(MPLS)ではMPLSラベル等にそれぞれ注目してフローを識別する。

本実施形態の一例におけるネットワークシステム1は、注目するフィールドをネットワーク使用形態毎に選択し、注目するフィールドの値に基づいて折り返し点Aに向けた経路を決定する。例えば、オーバーレイネットワークにおいては、図7(b)のActionフィールドに示すように、L4 TCP/UDP src portに基づいてパケットを伝送するポート(パス)を選択する。

また、本実施形態の一例におけるネットワークシステム1は、図9を用いて後述するように、パスの数に応じたマスク値を注目するフィールドに適用することによって、ACLの消費エントリ数を削減することができる。
図8(a)は実施形態の一例としてのネットワークシステムが用いるFDBベースのフロー定義のRuleフィールドを示す図であり、図8(b)はそのActionフィールドを示す図である。

本実施形態の一例におけるネットワークシステム1は、領域〔2〕におけるFDBベースのフロー制御を、Exactマッチング(宛先特定)によるExact Matching Table(EMT)主導で行なう。
EMTの構築は、コントローラ20がスイッチ10に対して原則Proactiveに行なう(事前設定)。コントローラ20による事前設定のタイミングは、WMTの構築と同じタイミングに加え、サーバ装置30やサーバ装置30が展開するVMの起動/停止/移動時等でも良い。このように、コントローラ20の設定によってEMTを構築する方式は、ネットワークシステム1におけるUnicast,Multicast及びBroadcastの全ての動作が対象になる。

なお、EMTの構築は、上述したコントローラ20の設定によってEMTを構築する方式に限定されるものではない。例えば、スイッチ10がハード学習する方式でも良く、又、コントローラ20の設定によってEMTを構築する方式とスイッチ10がハード学習する方式とを組み合わせたハイブリッド方式でも良い。なお、ハード学習する方式では、ループ回避、および、WMT主導のフォワーディングとの競合を避けるため、サーバ側から折り返し点Aに向かうパケット(折り返し点Aからサーバへ向かう経路)のみを学習するようスイッチを構成するとともに、学習パケットがサーバから送出されるよう制御する必要がある。また、ハイブリッド方式はサーバに直接接続されるスイッチのみコントローラ20から設定し、上流のスイッチを自動学習させることで、コントローラ20のEMT構築のためのアルゴリズムを簡略化できるとともに、ハード学習で必要なサーバ制御を排除することができる。

本実施形態の一例におけるネットワークシステム1は、図8(a),(b)に示すように、MAC dstやIP dstを用いて、FDB(Memory Access Control(MAC)テーブル,静的IPルーティングテーブル)により、出力先を一意に決定する。すなわち、複数のスイッチのうち、第2のパケット伝送制御領域に含まれるスイッチは、入力パケットの宛先情報と、複数の第2のルール情報300のうちいずれかとが、対応するかの検索を行ない、対応する第2のルール情報300に従って入力パケットの伝送を行なう。図8(b)に示す例においては、MAC dstに基づいてExactマッチングを行なっているが、これに限定されるものではない。例えば、MAC dstとVLAN IDとの組み合わせや、IP dstとVLAN IDとの組合せに基づいてマッチングを行なっても良い。なお、Exactマッチングにおいては、MAC dst,IP dst及びVLAN IDに対してビットマスクは適用しない。

本実施形態の一例におけるネットワークシステム1は、入力されたパケットの宛先を決定するためのフローテーブルの検索は、WMTよりEMTの検索結果が優先されるよう構成される。つまり、EMTの検索で宛先が存在しない(DLF:Destination Lookup Failure)場合のみ、WMTの検索結果が実行される。言い換えれば、入力パケットの宛先に対応する第2のルール情報300が第2の記憶部131に格納されている場合には、第2のパケット伝送制御部は、第2のルール情報300に従って入力パケットの伝送を制御する。また、入力パケットの宛先に対応する第2のルール情報300が第2の記憶部131に格納されていない場合には、第1のパケット伝送制御部は、入力パケットに対応する第1のルール情報200に従って入力パケットの伝送を制御する。

前述の通り、EMT、および、WMTの設定は原則Proactiveに行なう(事前設定)が、EMTとWMTの両方の検索に失敗した場合に、スイッチ10がコントローラ20に問い合わせることによりReactiveに設定してもよい(事後設定)。
図9(a)〜(d)は、実施形態の一例としてのネットワークシステムにおけるACLベースのフロー制御のマッチングを例示する図である。

図9において、入力データDataのうち、Ingress Portのフィールドはスイッチ10での受信時に付加される受信ポート情報である。また、ACL制御部122における入力データとルールとのマッチングでは、Ingress Portのフィールドは、例えばポートベクタの形で指定され複数の入力ポートに対してマッチさせることができる。ポートベクタ形式のデータは、ビット番号がポート番号に対応しており、あるビットの値が0か1かで対応するポートが指定されているかを識別するものである。ポートベクタのビット幅は、スイッチ10の持つポート数に依存、スイッチ装置毎に異なるためここでは明示しない。

ACL制御部122は、入力パケットのヘッダ情報の所定のフィールドにマスクを適用し、マスク適用後のパケットデータに基づきテーブル検索を行い、検索結果に応じてパケットに対して出力ポートの決定・伝送など、所定の動作を実行する。
ACL制御部122は、図9(a)に示す各フィールドのデータ(Data)と、図9(b)に示すビットマスク値(Bit Mask Value)とのビット論理積をとり(矢印B1参照)、図9(c)に示すマスク後データ(Data after masking)を得る(矢印B2参照)。更に、ACL制御部122は、L4 sportのマスク後データを図9(d)に示すルールとマッチングする(矢印B3参照)。

なお、図9(d)中の“*”は、Wildcardを意味する。また、Wildcardは検索時のDon’t Careを表わすものであり、TCAM120のWildcardが指定されたフィールドには適当な比較値が設定される。本実施形態の一例においては、Wildcard指定のフィールドも使用することにより、より細かいフローの識別や制御が可能となる。
ACL制御部122は、L4sportを0x0001でマスクすることにより、L4sportを0又は1にマップし、2つのルールのどちらにマッチするかを判定する。図9(a)〜(d)に示す例においては、L4sportのマスク後データが1であるため、ACL制御部122は、ルール2(Rule2)にマッチすると判定する(矢印B4参照)。

この時、ACLに登録されるルールの数はマスク値に応じて決定されるが、マスク値は折り返し点Aへ向けた上流スイッチへの経路数に応じて決定する。言い換えると、スイッチ10から折り返し点Aへ向けた経路数に応じて必要なルール数が決定する。図9では、経路が2つ存在する場合の例を示しており、マスク値が0x0001であり、ルール数が2となっている。経路数が4の場合は、マスク値が0x0003となり、ルール数が4となる。

ACL制御部122は、Ingress Portについてはマスク後データとルールとのビット論理積の結果が0以外の場合にマッチと判定する。又、Ingress Port以外のフィールドは完全一致した場合(たとえば排他的論理和の結果が0の場合)にマッチと判定する。更に、ACL制御部122は、Don’t Care以外の全てのフィールドがマッチした場合には、データとルールとがマッチしたと判定する。

そして、ACL制御部122は、ACL記憶部121のマッチしたルールに対応するエントリに格納されたアクションに従い、図示しないハードワイヤ回路により、入力パケットに対する所定の制御(指定された送信ポート15への出力や廃棄等)を行なう。
すなわち、複数のスイッチのうち、第1のパケット伝送制御領域に含まれるスイッチは、入力パケットのヘッダ情報の所定の位置に複数の第1のルール情報200の数に応じたマスクを適用し、マスク適用後のヘッダ情報に基づいて第1の記憶部121から選択した第1のルール情報200に従って入力パケットの制御を行なう。

図9は、ACL制御部122におけるマスク適用、および、マッチング動作の一例であり、マスク適用とマッチング検査の操作(演算)順序は、結果が同じになる限りにおいて、図示した方法に限定するものではない。
図10は、実施形態の一例としてのネットワークシステムが用いるVXLANを説明する図である。

図10に例示するネットワークシステム1は、2つのスイッチ10,2つのサーバ装置30及び図示しないコントローラ20を備える。また、ネットワークシステム1は、物理的にL2/L3 network (Routed IP network)2を形成し、又、論理的にVXLAN network3を形成する。
サーバ装置30は、図10に示すように、例えば図示しないCPU上にApplication/Operating System(APP/OS)31及びVXLAN Terminal End-Point(VTEP)32を展開する。

VXLANは、フレームをUser Data Protocol(UDP)でカプセル化することにより、レイヤ3ネットワーク上に論理的なレイヤ2ネットワークを構築するプロトコルである。
VXLANにおいては、VXLAN Network Identifier(VNI)という24ビットの識別子をVXLANヘッダに持つことにより、最大で1600万のオーバーレイネットワークを定義できる。

また、VXLANにおいては、エッジのエンドポイントであるVTEP32でパケット変換を行なう。具体的には、VTEP32は、物理サーバ上(で動作するHypervisor上)で動作し、VXLANと図示しないVMとの間のパケット変換を実施する。
図10に示す例においては、APP/OS31は、VTEP32に対してオリジナルフレームを送信する(矢印C1参照)。VTEP32は、VMが送信したフレームからVNIを特定し、VXLANヘッダでカプセル化し、L2/L3 network2へ送信する(矢印C2参照)。送信先装置のVTEP32は、VNI及びオリジナルデータの宛先から宛先VMを特定し、VXLANヘッダを削除して図示しないVMへ渡す(矢印C3参照)。

このように、VXLANにおいては、VM間の通信をカプセル化によって、VTEP32間の通信に集約する。
図11(a)は実施形態の一例としてのネットワークシステムが用いるVXLANパケットの概略を示す図であり、図11(b)はその詳細を示す図である。
図11(a)に示すように、VXLANパケットのフォーマットは、VTEP32間のUDP通信として転送するOuter Header及びOriginal Frameを含む。

また、図11(b)に示すように、Outer HeaderはOuter Ethernet(登録商標) Header,Outer IP Header,Outer UDP Header及びVXLAN Headerを含み、Original FlameはInner Ethernet(登録商標) Frameを含む。
図12は、従来例としてのネットワークシステムが用いるVXLANのトラフィック特性を説明する図である。

図12に示す従来例においては、サーバ装置60とスイッチ50とがLink-Aggregation Group(LAG)40を介して互いに通信可能に接続されている。また、サーバ装置60は、VTEP62及び5つのVM61を展開し、又、Network Interface Card(NIC)63を備える。
NIC63は、サーバ装置60を、例えば、LAN等の外部ネットワークに接続する通信アダプタであり、例えばLANカードである。

IP/MACハッシュに基づく分散アルゴリズムを用いる従来例としてのネットワークシステムにおいては、図12に示すように、複数(図示する例では5つ)のVM61がVTEP間通信に集約される。そのため、ネットワーク上で識別できるフロー数が減少し、トラフィックの偏りが発生する可能性が高い。また、MultiPath Transmission Control Protocol(MPTCP)においては、L4 src portを変えてマルチパスを構成するが、VXLANのカプセル化によりオリジナルデータのL4 src portが隠蔽されるため、マルチパスを期待通り構成することができない。

そこで、本実施形態の一例におけるネットワークシステム1が用いるVXLAN仕様では、L4 src portにペイロードのハッシュ値を入れる。
図13は、実施形態の一例としてのネットワークシステムにおけるマルチパスの分散を説明する図である。
図13では、図11(b)に示した実施形態の一例としてのネットワークシステムが用いるVXLANパケットのうち、Outer Headerの詳細を示している。

VMware ESXiのVTEP32では、カプセル化をする際に、ペイロードを参照してハッシュ値を計算し、計算したハッシュ値をL4 src portに格納する。すなわち、フレームの内容からハッシュ値を生成し、Outer HeaderのUDP Source Portに使用する。なお、ペイロードの参照する箇所は、IP src,IP dst,IP proto,L4 src及びdst portsの5タプルである。

図14は、実施形態の一例としてのネットワークシステムのBack to Back構成におけるフロー制御を説明する図である。
図14に例示するネットワークシステム1は、Back to Back構成になっており、2つのスイッチ10(SW1,SW2),コントローラ20及び4つのサーバ装置30(S1〜S4)を備える。

以下、図14を参照しながら説明する際に、特定のスイッチ10を指す場合には、単に「SW1」又は「SW2」と表記する。また、以下、図14を参照しながら説明する際に、特定のサーバ装置30を指す場合には、単に「S1」,「S2」,「S3」又は「S4」と表記する。また、図14では簡単のため省略しているが、ACLを検索する際のL4sportの値はマスク値0x0001でマスクされているものとする。

まず、コントローラ20の送信部211は、Proactive(事前)にFDB及びACLのエントリ(FDBテーブル300及びACLテーブル200)を各スイッチ10に対して設定(送信)する。具体的には、送信部211は、メモリ130のFDB記憶部131にFDBテーブル300を格納させ、又、TCAM120のACL記憶部121にACLテーブル200を格納させる。なお、送信部211は、SW2に対してもACLテーブル200を設定するが、図14では簡単のため省略している。

図14においては、S1がS4に対してパケットを伝送する例について説明する。
符号Eに示すように、パケット(Packet)のDestination Address(DA;送信先アドレス),Source Address(SA;送信元アドレス)及びL4sportには、S4,S1及び1がそれぞれ設定されている。
SW1のFDB制御部132は、FDBテーブル300を参照し、DA=S4の場合のアクションが格納されているかを確認する。ここでは、SW1のFDBフローテーブル300にS4が格納されていないため、SW1のACL制御部122は、ACLテーブル200を参照し、L4sport=1の場合のアクションを確認する。ここでは、SW1のACLテーブル200にL4sport=1に対してPort=P4が格納されているため、SW1のACL制御部122は、符号Eに示すようにアクション(Action)としてP4ポートを選択する。すなわち、ACL制御部122は、SW1のP4ポートを介してSW2に対してパケットを伝送させる。

SW2のFDB制御部132は、FDBテーブル300を参照し、DA=S4の場合のアクションが格納されているかを確認する。ここでは、SW2のFDBテーブル300にServer=S4に対してPort=P2が格納されているため、FDB制御部132は、アクションとしてP2ポートからパケットを出力する。すなわち、FDB制御部132は、SW2のP2ポートを介してS4に対してパケットを伝送させる。

図14に示す例においては、最初にFDBベースのフロー制御を行なうSW2が折り返し点Aとなる。
図15は、実施形態の一例としてのネットワークシステムのFat Tree構成におけるフロー制御を説明する図である。
図15に例示するネットワークシステム1は、Fat Tree構成になっており、4つのスイッチ10(SW1〜SW4),コントローラ20及び4つのサーバ装置30(S1〜S4)を備える。また、図15では簡単のため省略しているが、ACLを検索する際のL4sportの値はマスク値0x0001でマスクされているものとする。

以下、図15を参照しながら説明する際に、特定のスイッチ10を指す場合には、単に「SW1」,「SW2」,「SW3」又は「SW4」と表記する。また、以下、図15を参照しながら説明する際に、特定のサーバ装置30を指す場合には、単に「S1」,「S2」,「S3」又は「S4」と表記する。
まず、コントローラ20の送信部211は、Proactive(事前)にFDB及びACLのエントリ(FDBテーブル300及びACLテーブル200)を各スイッチ10に対して設定(送信)する。具体的には、送信部211は、メモリ130のFDB記憶部131にFDBテーブル300を格納させ、又、TCAM120のACL記憶部121にACLテーブル200を格納させる。なお、図15においては、SW3及びSW4のACLテーブル200の図示を省略したが、設定部112は、SW3及びSW4に対してもACLテーブル200を設定しても良い。

図15においては、始めにS1がS2に対してパケット#1を伝送する例について説明し、次にS1がS3に対してパケット#2を伝送する例について説明する。
符号F1に示すように、パケット#1のDA,SA及びL4sportには、S2,S1及び0がそれぞれ設定されている。
SW1のFDB制御部132は、FDBテーブル300を参照し、DA=S2の場合のアクションが格納されているかを確認する。ここでは、SW1のFDBテーブル300にServer=S2に対してPort=P2が格納されているため、FDB制御部132は、アクションとしてP2ポートからパケットを出力する。すなわち、FDB制御部132は、SW1のP2ポートを介してS2に対してパケットを伝送させる。

図15に示すパケット#1を伝送する例においては、最初にFDBベースのフロー制御を行なうSW1が折り返し点Aとなる。
次に、S1がS3に対してパケット#2を伝送する例について説明する。
符号F2に示すように、パケット#2のDA,SA及びL4sportには、S3,S1及び0がそれぞれ設定されている。

SW1のFDB制御部132は、FDBテーブル300を参照し、DA=S3の場合のアクションが格納されているかを確認する。ここでは、SW1のFDBフローテーブル300にS3が格納されていないため、SW1のACL制御部122は、ACLテーブル200を参照し、L4sport=0の場合のアクションを確認する。ここでは、SW1のACLテーブル200にL4sport=0に対してPort=P3が格納されているため、SW1のACL制御部122は、符号F2に示すようにアクションとしてP3ポートを選択する。すなわち、ACL制御部122は、SW1のP3ポートを介してSW3に対してパケットを伝送させる。

SW3のFDB制御部132は、FDBテーブル300を参照し、DA=S3の場合のアクションが格納されているかを確認する。ここでは、SW3のFDBテーブル300にServer=S3に対してPort=P2が格納されているため、FDB制御部132は、符号F3に示すようにアクションとしてP2ポートからパケットを出力する。すなわち、FDB制御部132は、SW3のP2ポートを介してSW2に対してパケットを伝送させる。

図15に示すパケット#2を伝送する例においては、最初にFDBベースのフロー制御を行なうSW3が折り返し点Aとなる。
SW2のFDB制御部132は、FDBテーブル300を参照し、DA=S3の場合のアクションが格納されているかを確認する。ここでは、SW3のFDBテーブル300にServer=S3に対してPort=P1が格納されているため、FDB制御部132は、アクションとしてP1ポートからパケットを出力する。すなわち、FDB制御部132は、SW2のP1ポートを介してS3に対してパケットを伝送させる。

図16(a)に示すハッシュ計算の方式においては、ペイロードのInner 5-tupleから第1のハッシュ値を計算し、カプセル化後に第1のハッシュ値を設定されたOuter L4 src portを含めたOuter 5-tuple(IP src, IP dst, IP proto, L4 src及びdst ports)から経路選択用の第2のハッシュ値を計算する。第2のハッシュ値に基づくパス選択は、第2のハッシュ値の計算およびパス選択がスイッチ10で行なわれるため、OpenFlowによるコントローラ20からの詳細な制御が困難である。

図16(b)に示すハッシュ計算方式においては、ペイロードのInner 5-tupleから第1のハッシュ値を計算し、カプセル化時にOuter L4 src portに第一のハッシュ値を設定する。スイッチ10でのパス選択は、マスク適用後の第1のハッシュ値に基づいて行なう。
図16(c)に示すハッシュ計算方式は、図16(b)とほぼ同様であるが、第1のハッシュ値の計算にInner 5-tupleのみでなく、VXLAN Network Identifier(VNI)を含めてハッシュ計算を行なうことで、より詳細なフロー識別を可能とする。

図16(b)及び(c)のハッシュ計算方式では、マスク適用後の第1のハッシュ値に基づいてパス選択が行われるようOpenFlowによりコントローラ20からスイッチ10に設定が行われるが、この際、符号Gに示すようにOpenFlowのベンダー拡張が必要となる。
〔A−2〕動作
上述の如く構成された実施形態の一例としてのネットワークシステム1が備えるコントローラ20におけるフローリスト100の設定処理を図17に示すフローチャート(ステップS10〜S60)に従って説明する。

始めに、図18を用いて後述するようにして作成したフローリスト100を、例えばコントローラ20の記憶装置23に入力(格納)する(符号H1参照)。入力されるフローリスト100には、例えば、設定対象のスイッチ10を示す対象SW,フローの追加/削除/変更を指定する操作,フローを識別するマッチングルールであるルール及びマッチした場合の動作を示すアクションが互いに関連付けられている。

コントローラ20の送信部211は、フローリスト100が空であるか否かを判定する(ステップS10)。言い換えれば、送信部211は、図17に示すフローリスト100の1〜Nの内容が全て対象スイッチ10に設定済みであるか否かを判定する。
フローリスト100が空である場合には(ステップS10のYESルート参照)、コントローラ20におけるフローリスト100の設定処理が完了する。

フローリスト100が空でない場合には(ステップS10のNOルート参照)、送信部211は、フローリスト100から1行取り出す(ステップS20)。フローリスト100から取り出した情報には、例えば、対象スイッチのID,操作(追加/変更/削除),ルール及びアクションが含まれる(符号H2参照)。
送信部211は、対象スイッチ10と通信し、フローリスト100を設定する(ステップS30)。

送信部211は、スイッチ10からの返信を受信する(ステップS40)。
送信部211は、スイッチ10からの返信に基づき、設定が成功したか否かを判定する(ステップS50)。
設定が成功した場合には(ステップS50のYESルート参照)、フローリスト100の次の行に移り、ステップS10に戻る。

設定が成功しなかった場合には(ステップS50のNOルート参照)、送信部211は、例えばコントローラ20の図示しない表示装置にエラーを出力し(ステップS60)、コントローラ20におけるフローリスト100の設定処理が完了する。
図18は、実施形態の一例としてのネットワークシステムにおけるフローリストの作成処理に用いるアルゴリズムを例示する図である。

図18に示すアルゴリズムは、トポロジ情報Tを入力とし、事前設定用フローリストLを出力する。入力するトポロジ情報Tは、コントローラ20が静的に保持しても良いし、動的検出によって与えられても良い。
function Search Tree (n)は、入力としてノード情報nを受け、ノード情報n配下のサーバリストSを返す。また、フローリストLに対して、ノード情報nに設定されるべきエントリ群を追加する。

Search Tree (n)は、ノード情報nがServer(サーバ装置30)の場合には、ノード情報nのnode-idを返すため、ルートノードrから再帰的にサブツリーに対してSearch Tree (v)を実行することで、各スイッチ10のフロー設定情報を事前設定用フローリストLに追加できる。
次に、実施形態の一例としてのネットワークシステム1が備えるスイッチ10におけるフローリスト100の設定処理を図19に示すフローチャート(ステップS110〜S150)に従って説明する。

スイッチ10の設定部110は、コントローラ20からフロー設定情報を受信する(ステップS110)。
設定部110は、フロー設定情報のルールを検査し、マスク無∧MAC dst/IP dst(+ VLAN ID)であるか否かを判定する(ステップS120)。なお、ステップS120における判定条件の“∧”及び“/”は“且つ”及び“又は”をそれぞれ示しており、MAC dst又はIP dst以外にVLAN IDを含んでいても判定結果がYESであることを示している。

マスク無∧MAC dst/IP dst(+ VLAN ID)である場合には(ステップS120のYESルート参照)、FDB設定部112は、図21を用いて後述するFDB操作を実行し(ステップS130)、ステップS150に移行する。
マスク無∧MAC dst/IP dst(+ VLAN ID)でない場合には(ステップS120のNOルート参照)、ACL設定部111は、図20を用いて後述するACL操作を実行し(ステップS140)、ステップS150に移行する。

そして、設定部110は、設定結果をコントローラ20に返信し(ステップS150)、スイッチ10におけるフローリスト100の設定処理が完了する。
次に、図19のステップS140に示したACL操作の詳細を図20に示すフローチャート(ステップS141〜S147)に従って説明する。
ACL設定部111は、操作が追加であるか否かを判定する(ステップS141)。

操作が追加である場合には(ステップS141のYESルート参照)、ACL設定部111は、対象フローがデータベース(DB)に未登録、且つ、エントリに空きが有るか否かを判定する(ステップS142)。
対象フローがデータベースに未登録、且つ、エントリに空きが有る場合には(ステップS142のYESルート参照)、ACL設定部111は、データベースにフローを追加し、又、ACLにエントリを追加し(ステップS143)、ACL操作が成功する。

一方、対象フローがデータベースに登録済み、又は、エントリに空きが無い場合には(ステップS142のNOルート参照)、ACL操作はエラーとなる。
また、操作が追加でない場合には(ステップS141のNOルート参照)、ACL設定部111は、対象フローがデータベースに登録済みであるか否かを判定する(ステップS144)。

対象フローがデータベースに登録済みである場合には(ステップS144のYESルート参照)、ACL設定部111は、操作が削除又は変更のどちらであるかを判定する(ステップS145)。
操作が削除である場合には(ステップS145の削除ルート参照)、ACL設定部111は、データベース及びACLから該当フローのエントリを削除し(ステップS146)、ACL操作が成功する。

一方、操作が変更である場合には(ステップS145の変更ルート参照)、ACL設定部111は、データベース及びACLから該当フローの差し替えを行ない(ステップS147)、ACL操作が成功する。
また、対象フローがデータベースに未登録の場合には(ステップS144のNOルート参照)、ACL操作はエラーとなる。

次に、図19のステップS130に示したFDB操作の詳細を図21に示すフローチャート(ステップS131〜S138)に従って説明する。
FDB設定部112は、操作が追加であるか否かを判定する(ステップS131)。
操作が追加である場合には(ステップS131のYESルート参照)、FDB設定部112は、対象フローがデータベースに未登録であるか否かを判定する(ステップS132)。

対象フローがデータベースに未登録である場合には(ステップS132のYESルート参照)、FDB設定部112は、対象フローがFDBに登録可能であるか否かを判定する(ステップS133)。
対象フローがデータベースに登録可能である場合には(ステップS133のYESルート参照)、FDB設定部112は、データベースにフローを追加し、又、FDBに静的エントリを登録し(ステップS134)、FDB操作が成功する。

一方、対象フローがFDBに登録可能でない場合には(ステップS133のNOルート参照)、ACL操作に移行し、図20のステップS140に示した処理を行なう。
また、対象フローがデータベースに登録済みである場合には(ステップS132のNOルート参照)、FDB操作はエラーとなる。
更に、操作が追加でない場合には(ステップS131のNOルート参照)、FDB設定部112は、対象フローがデータベースに登録済みであるか否かを判定する(ステップS135)。

対象フローがデータベースに登録済みである場合には(ステップS135のYESルート参照)、FDB設定部112は、操作が削除又は変更のどちらであるかを判定する(ステップS136)。
操作が削除である場合には(ステップS136の削除ルート参照)、FDB設定部112は、データベース及びFDBから該当フローのエントリを削除し(ステップS137)、FDB操作が成功する。

一方、操作が変更である場合には(ステップS136の変更ルート参照)、FDB設定部112は、データベース及びFDBから該当フローのエントリを差し替え(ステップS138)、FDB操作が成功する。
また、対象フローがデータベースに未登録の場合には(ステップS135のNOルート参照)、FDB操作がエラーとなる。

〔A−3〕効果
以下、図22〜図25を参照しながら、本実施形態の一例としてのネットワークシステム1により奏することができる効果を説明する。
図22(a)は実施形態の一例としてのネットワークシステムが用いるOpenFlowテーブルを模式的に示す図であり、図22(b)はそのコモディティスイッチを模式的に示す図である。

図22(a),(b)に示すように、FDB制御部132が優先度の高い領域〔2〕においてFDBに従ったフロー制御を行ない、ACL制御部122が優先度の低い領域〔1〕においてIngress Portで修飾されたACLに従ったフロー制御を行なう。
これにより、OpenFlow 1.0 capable switchのセマンティクスにおいて、コモディティスイッチに大容量に存在するFDBを活用したハードウェアへのマッピングが可能となり、ACLの使用量を削減できる。

図23は実施形態の一例としてのネットワークシステムのBack to Back構成を例示する図であり、図24はそのFat Tree構成を例示する図である。また、図25は、従来のネットワークシステムと本実施形態の一例におけるネットワークシステムとにおける使用エントリ数を示す図である。
図23に示すネットワークシステム1は、Back to Back構成になっており、2つのスイッチ(SW)10,2つのサーバ装置30及び図示しないコントローラ20を備える。

サーバ装置30は、仮想環境30aを構成しており、VTEP32及び8つのVM33を展開する。
図25に示すように、図23に例示するBack to Back構成においては、従来のネットワークシステムは、Total #Flow table entries per switchとして1つのスイッチにつき128エントリ消費する。一方、本実施形態の一例におけるネットワークシステム1は、Total #Flow table entries per switchとして1つのスイッチ10につき3エントリ消費する。

図24に示すネットワークシステム1は、Fat Tree構成になっており、12個のスイッチ(SW)10,8つのサーバ装置30及び図示しないコントローラ20を備える。
サーバ装置30は、図23に示したサーバ装置30と同様の仮想環境30aを構成しており、VTEP32及び8つのVM33を展開する。
図25に示すように、図24に例示するFat Tree構成においては、従来のネットワークシステムは、Total #Flow table entries per switchとして1つのスイッチにつき3584エントリ消費する。一方、本実施形態の一例におけるネットワークシステム1は、Total #Flow table entries per switchとして1つのスイッチ10につき12エントリ消費する。

このように、本実施形態の一例におけるネットワークシステム1によれば、各スイッチ10における消費エントリ数を削減することができる。
また、スイッチ10は、入力パケットのヘッダ情報の所定の位置に複数の第1のルール情報200の数に応じたマスクを適用し、マスク適用後のヘッダ情報に基づいて第1の記憶部121から選択した第1のルール情報200に従って入力パケットの制御を行なう。すなわち、各スイッチ10と上流の別のスイッチ10との間の接続数に応じてマスク値を決定することで、VM数やサーバ数に依らず接続数に応じて消費エントリ数が決まる。これにより、各スイッチ10で使用するエントリ数を削減することができる。

更に、入力パケットの宛先に対応する第2のルール情報300が第2の記憶部131に格納されている場合には、第2のパケット伝送制御部は、第2のルール情報300に従って入力パケットの伝送を制御する。また、入力パケットの宛先に対応する第2のルール情報300が第2の記憶部131に格納されていない場合には、第1のパケット伝送制御部は、入力パケットに対応する第1のルール情報200に従って入力パケットの伝送を制御する。これにより、折り返し点Aから送信先装置まではFDBを使用するため、ACLの使用エントリ数を削減することができる。

〔B〕変形例
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
〔B−1〕第1変形例
図26は、実施形態の第1変形例としてのネットワークシステムのFat Tree構成におけるフロー制御を説明する図である。

上述した実施形態の一例においてはVXLANのオーバーレイ環境におけるネットワークシステム1について説明したが、本実施形態の第1変形例においてはパケットのカプセル化を行なわずFDBにMACテーブルを使用する場合について説明する。
図26に例示するネットワークシステム1−1は、Fat Tree構成になっており、4つのスイッチ10(SW1〜SW4),コントローラ20及び4つのサーバ装置30(S1〜S4)を備える。

以下、図26を参照しながら説明する際に、特定のスイッチ10を指す場合には、単に「SW1」,「SW2」,「SW3」又は「SW4」と表記する。また、以下、図26を参照しながら説明する際に、特定のサーバ装置30を指す場合には、単に「S1」,「S2」,「S3」又は「S4」と表記する。また、図26では簡単のため省略しているが、DIP(LSB)の値はDIPに対してマスク値0x000000000001でマスクした結果であり、ACL検索の際には前記マスク値によりDIPをマスクしているものとする。

図26に示すようにS1〜S4は、VM33(VM1〜VM4)をそれぞれ展開する。なお、図示する例においては各サーバ装置30が1つのVM33を展開するようになっているが、これに限定されるものではなく、2つ以上のVM33を展開しても良い。
以下、図26を参照しながら説明する際に、特定のVM33を指す場合には、単に「VM1」,「VM2」,「VM3」又は「VM4」と表記する。

まず、コントローラ20の送信部211は、Proactive(事前)にFDB及びACLのエントリ(FDBテーブル310及びACLテーブル210)を各スイッチ10に対して設定(送信)する。具体的には、送信部211は、メモリ130のFDB記憶部131にFDBテーブル310を格納させ、又、TCAM120のACL記憶部121にACLテーブル210を格納させる。なお、図26においては、SW3及びSW4のACLテーブル210の図示を省略したが、設定部112は、SW3及びSW4に対してもACLテーブル210を設定しても良い。

図26においては、始めにVM1(S1)がVM2(S2)に対してパケット#1を伝送する例について説明し、次にVM1(S1)がVM3(S3)に対してパケット#2を伝送する例について説明する。
符号I1に示すように、パケット#1のDA,SA,DIP(LSB)には、VM2,VM1及び0がそれぞれ設定されている。なお、DIP及びLSBはDestination IP address及びLeast Small Bitをそれぞれ示しており、DIP(LSB)はDIPの最下位ビットを示している。

SW1のFDB制御部132は、FDBテーブル310を参照し、DA=VM2の場合のアクションが格納されているかを確認する。ここでは、SW1のFDBテーブル310にVM MAC=VM2に対してPort=P2が格納されているため、FDB制御部132は、アクションとしてP2ポートからパケットを出力する。すなわち、FDB制御部132は、SW1のP2ポートを介してVM2(S2)に対してパケットを伝送させる。

図26に示すパケット#1を伝送する例においては、最初にFDBベースのフロー制御を行なうSW1が折り返し点Aとなる。
次に、VM1(S1)がVM3(S3)に対してパケット#2を伝送する例について説明する。
符号I2に示すように、パケット#2のDA,SA,DIP(LSB)には、VM3,VM1及び0がそれぞれ設定されている。

SW1のFDB制御部132は、FDBテーブル310を参照し、DA=VM3の場合のアクションが格納されているかを確認する。ここでは、SW1のFDBテーブル310にVM3が格納されていないため、SW1のACL制御部122は、ACLテーブル210を参照し、DIP(LSB)=0の場合のアクションを確認する。ここでは、SW1のACLテーブル210にDIP(LSB)=0に対してPort=P3が格納されているため、SW1のACL制御部122は、符号I2に示すようにアクションとしてP3ポートを選択する。すなわち、ACL制御部122は、SW1のP3ポートを介してSW3に対してパケットを伝送させる。

SW3のFDB制御部132は、FDBテーブル310を参照し、DA=VM3の場合のアクションが格納されているかを確認する。ここでは、SW3のFDBテーブル310にVM MAC=VM3に対してPort=P2が格納されているため、FDB制御部132は、符号I3に示すようにアクションとしてP2ポートからパケットを出力する。すなわち、FDB制御部132は、SW3のP2ポートを介してSW2に対してパケットを伝送させる。

図26に示すパケット#2を伝送する例においては、最初にFDBベースのフロー制御を行なうSW3が折り返し点Aとなる。
SW2のFDB制御部132は、FDBテーブル310を参照し、DA=VM3の場合のアクションが格納されているかを確認する。ここでは、SW3のFDBテーブル310にVM MAC=VM3に対してPort=P1が格納されているため、FDB制御部132は、アクションとしてP1ポートからパケットを出力する。すなわち、FDB制御部132は、SW2のP1ポートを介してS3に対してパケットを伝送させる。

〔B−2〕第2変形例
図27は、実施形態の第2変形例としてのネットワークシステムのFat Tree構成におけるフロー制御を説明する図である。
上述した実施形態の一例においてはVXLANのオーバーレイ環境におけるネットワークシステム1について説明したが、本実施形態の第2変形例においてはパケットのカプセル化を行なわずFDBに静的IPルーティングテーブルを使用する場合について説明する。

図27に例示するネットワークシステム1−2は、Fat Tree構成になっており、4つのスイッチ10(SW1〜SW4),コントローラ20及び4つのサーバ装置30(S1〜S4)を備える。
以下、図27を参照しながら説明する際に、特定のスイッチ10を指す場合には、単に「SW1」,「SW2」,「SW3」又は「SW4」と表記する。また、以下、図27を参照しながら説明する際に、特定のサーバ装置30を指す場合には、単に「S1」,「S2」,「S3」又は「S4」と表記する。また、図27では簡単のため省略しているが、DIP(LSB)の値はDIPに対してマスク値0x000000000001でマスクした結果であり、ACL検索の際には前記マスク値によりDIPをマスクしているものとする。

図27に示すようにS1〜S4は、VM33(VM1〜VM4)をそれぞれ展開する。なお、図示する例においては各サーバ装置30が1つのVM33を展開するようになっているが、これに限定されるものではなく、2つ以上のVM33を展開しても良い。
以下、図27を参照しながら説明する際に、特定のVM33を指す場合には、単に「VM1」,「VM2」,「VM3」又は「VM4」と表記する。

まず、コントローラ20の送信部211は、Proactive(事前)にFDB及びACLのエントリ(FDBテーブル320及びACLテーブル210)を各スイッチ10に対して設定(送信)する。具体的には、送信部211は、メモリ130のFDB記憶部131にFDBテーブル320を格納させ、又、TCAM120のACL記憶部121にACLテーブル210を格納させる。なお、図27においては、SW3及びSW4のACLテーブル210の図示を省略したが、設定部112は、SW3及びSW4に対してもACLテーブル210を設定しても良い。

図27においては、始めにVM1(S1)がVM2(S2)に対してパケット#1を伝送する例について説明し、次にVM1(S1)がVM3(S3)に対してパケット#2を伝送する例について説明する。
符号J1に示すように、パケット#1のDIP,SIP,DIP(LSB)には、VM2IP,VM1IP及び0がそれぞれ設定されている。なお、SIPは、Source IP addressを示している。

SW1のFDB制御部132は、FDBテーブル320を参照し、DIP=VM2IPの場合のアクションが格納されているかを確認する。ここでは、SW1のFDBテーブル320にVM IP=VM2IPに対してPort=P2が格納されているため、FDB制御部132は、アクションとしてP2ポートからパケットを出力する。すなわち、FDB制御部132は、SW1のP2ポートを介してVM2(S2)に対してパケットを伝送させる。

図27に示すパケット#1を伝送する例においては、最初にFDBベースのフロー制御を行なうSW1が折り返し点Aとなる。
次に、VM1(S1)がVM3(S3)に対してパケット#2を伝送する例について説明する。
符号J2に示すように、パケット#2のDIP,SIP,DIP(LSB)には、VM3IP,VM1IP及び0がそれぞれ設定されている。

SW1のFDB制御部132は、FDBテーブル320を参照し、DIP=VM3IPの場合のアクションが格納されているかを確認する。ここでは、SW1のFDBテーブル320にVM3IPが格納されていないため、SW1のACL制御部122は、ACLテーブル210を参照し、DIP(LSB)=0の場合のアクションを確認する。ここでは、SW1のACLテーブル210にDIP(LSB)=0に対してPort=P3が格納されているため、SW1のACL制御部122は、符号J2に示すようにアクションとしてP3ポートを選択する。すなわち、ACL制御部122は、SW1のP3ポートを介してSW3対してパケットを伝送させる。

SW3のFDB制御部132は、FDBテーブル320を参照し、DIP=VM3IPの場合のアクションが格納されているかを確認する。ここでは、SW3のFDBテーブル320にVM IP=VM3IPに対してPort=P2が格納されているため、FDB制御部132は、符号J3に示すようにアクションとしてP2ポートからパケットを出力する。すなわち、FDB制御部132は、SW3のP2ポートを介してSW2に対してパケットを伝送させる。

図27に示すパケット#2を伝送する例においては、最初にFDBベースのフロー制御を行なうSW3が折り返し点Aとなる。
SW2のFDB制御部132は、FDBテーブル320を参照し、DIP=VM3IPの場合のアクションが格納されているかを確認する。ここでは、SW3のFDBテーブル320にVM IP=VM3IPに対してPort=P1が格納されているため、FDB制御部132は、アクションとしてP1ポートからパケットを出力する。すなわち、FDB制御部132は、SW2のP1ポートを介してS3に対してパケットを伝送させる。

〔B−3〕効果
以下、図28を参照しながら、本実施形態の第1変形例及び第2変形例としてのネットワークシステム1−1,1−2により奏することができる効果を説明する。
図28は、従来のネットワークシステムと本実施形態の第1変形例及び第2変形例におけるネットワークシステムとにおける使用エントリ数を示す図である。

図28に示すように、図23に例示したBack to Back構成において、従来のネットワークシステムは、Total #Flow table entries per switchとして1つのスイッチにつき128エントリ消費する。一方、本実施形態の第1変形例及び第2変形例におけるネットワークシステム1−1,1−2は、Total #Flow table entries per switchとして1つのスイッチ10につき18エントリ消費する。

図28に示すように、図24に例示したFat Tree構成において、従来のネットワークシステムは、Total #Flow table entries per switchとして1つのスイッチにつき3584エントリ消費する。一方、本実施形態の第1変形例及び第2変形例におけるネットワークシステム1−1,1−2は、Total #Flow table entries per switchとして1つのスイッチ10につき68エントリ消費する。

このように、本実施形態の第1変形例及び第2変形例におけるネットワークシステム1−1,1−2によっても、上述した実施形態の一例におけるネットワークシステム1と同様に、各スイッチ10における消費エントリ数を削減することができる。
〔C〕付記
(付記1)
送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムであって、
前記スイッチは、
第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、
当該ネットワークシステムは、
前記第1のパケット伝送制御部に従う第1のパケット伝送制御領域と、
前記第2のパケット伝送制御部に従う第2のパケット伝送制御領域とを含み、
前記複数のスイッチのうち、前記第1のパケット伝送制御領域に含まれるスイッチは、
前記ネットワーク制御装置から通知される複数の第1のルール情報を記憶する第1の記憶部を前記第1のパケット伝送制御部に備え、
入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用し、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行なう、
ことを特徴とする、ネットワークシステム。

(付記2)
前記複数のスイッチのうち、前記第2のパケット伝送制御領域に含まれるスイッチは、
前記ネットワーク制御装置から通知される複数の第2のルール情報を記憶する第2の記憶部を前記第2のパケット伝送制御部に備え、
入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、対応するかの検索を行ない、対応する第2のルール情報に従って前記入力パケットの伝送を行なう、
ことを特徴とする、付記1に記載のネットワークシステム。

(付記3)
入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されている場合には、前記第2のパケット伝送制御部は、前記第2のルール情報に従って前記入力パケットの伝送を制御し、
入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されていない場合には、前記第1のパケット伝送制御部は、前記入力パケットに対応する第1のルール情報に従って前記入力パケットの伝送を制御することを特徴とする、付記2に記載のネットワークシステム。

(付記4)
送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムの制御方法であって、
当該ネットワークシステムは、
第1のパケット伝送制御手法に従う第1のパケット伝送制御領域と、
第2のパケット伝送制御手法に従う第2のパケット伝送制御領域とを含み、
前記スイッチは、
第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、
前記第1のパケット伝送制御領域においては、
前記第1のパケット伝送制御部に備えられる第1の記憶部に、前記ネットワーク制御装置から通知される複数の第1のルール情報を記憶させ、
入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用し、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行なう、
ことを特徴とする、ネットワークシステムの制御方法。

(付記5)
前記スイッチは、前記第2のパケット伝送制御領域においては、
前記第2のパケット伝送制御部に備えられる第2の記憶部に、前記ネットワーク制御装置から通知される複数の第2のルール情報を記憶させ、
入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、対応するかの検索を行ない、対応する第2のルール情報に従って前記入力パケットの伝送を行なう、
ことを特徴とする、付記4に記載のネットワークシステムの制御方法。

(付記6)
入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されている場合には、前記第2のパケット伝送制御部は、前記第2のルール情報に従って前記入力パケットの伝送を制御し、
入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されていない場合には、前記第1のパケット伝送制御部は、前記入力パケットに対応する第1のルール情報に従って前記入力パケットの伝送を制御することを特徴とする、付記5に記載のネットワークシステムの制御方法。

(付記7)
送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムにおいて、前記複数のスイッチを制御するネットワーク制御装置であって、
前記スイッチは、
第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、
前記ネットワークシステムは、
前記第1のパケット伝送制御部に従う第1のパケット伝送制御領域と、
前記第2のパケット伝送制御部に従う第2のパケット伝送制御領域とを含み、
当該ネットワーク制御装置は、前記第1のパケット伝送制御領域においては、
前記第1のパケット伝送制御部に対して、複数の第1のルール情報を通知し、
前記第1のパケット伝送制御部に備えられる第1の記憶部に、前記複数の第1のルール情報を記憶させ、
前記第1のパケット伝送制御部に対して、入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用させ、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行なわせる、
ことを特徴とする、ネットワーク制御装置。

(付記8)
前記第2のパケット伝送制御領域においては、
前記第2のパケット伝送制御部に対して、複数の第2のルール情報を通知し、
前記第2のパケット伝送制御部に備えられる第2の記憶部に、前記複数の第2のルール情報を記憶させ、
前記第2のパケット伝送制御部に対して、入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、対応するかの検索を行ない、対応する第2のルール情報に従って前記入力パケットの伝送を行なわせる、
ことを特徴とする、付記7に記載のネットワーク制御装置。

(付記9)
入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されている場合には、前記第2のパケット伝送制御部に、前記第2のルール情報に従って前記入力パケットの伝送を制御させ、
入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されていない場合には、前記第1のパケット伝送制御部に、前記入力パケットに対応する第1のルール情報に従って前記入力パケットの伝送を制御させることを特徴とする、付記8に記載のネットワーク制御装置。

(付記10)
送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムにおいて、前記複数のスイッチを制御するネットワーク制御装置の制御プログラムであって、
前記スイッチは、
第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、
前記ネットワークシステムは、
前記第1のパケット伝送制御部に従う第1のパケット伝送制御領域と、
前記第2のパケット伝送制御部に従う第2のパケット伝送制御領域とを含み、
当該ネットワーク制御装置に備えられるコンピュータに、
前記第1のパケット伝送制御領域においては、
前記第1のパケット伝送制御部に対して、複数の第1のルール情報を通知し、
前記第1のパケット伝送制御部に備えられる第1の記憶部に、前記複数の第1のルール情報を記憶させ、
前記第1のパケット伝送制御部に対して、入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用させ、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行なわせる、
処理を実行させることを特徴とする、ネットワーク制御装置の制御プログラム。

(付記11)
前記第2のパケット伝送制御領域においては、
前記第2のパケット伝送制御部に対して、複数の第2のルール情報を通知し、
前記第2のパケット伝送制御部に備えられる第2の記憶部に、前記複数の第2のルール情報を記憶させ、
前記第2のパケット伝送制御部に対して、入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、対応するかの検索を行ない、対応する第2のルール情報に従って前記入力パケットの伝送を行なわせる、
処理を前記コンピュータに実行させることを特徴とする、付記10に記載のネットワーク制御装置の制御プログラム。

(付記12)
入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されている場合には、前記第2のパケット伝送制御部に、前記第2のルール情報に従って前記入力パケットの伝送を制御させ、
入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されていない場合には、前記第1のパケット伝送制御部に、前記入力パケットに対応する第1のルール情報に従って前記入力パケットの伝送を制御させる、
処理を前記コンピュータに実行させることを特徴とする、付記11に記載のネットワーク制御装置の制御プログラム。

1 ネットワークシステム
100 フローリスト
10 スイッチ
11 CPU(コンピュータ)
110 設定部
111 ACL設定部(第1のパケット伝送制御部)
112 FDB設定部(第2のパケット伝送制御部)
12 スイッチングモジュール
120 TCAM(第1のパケット伝送制御部)
121 ACL記憶部(第1の記憶部)
122 ACL制御部(第1のパケット伝送制御部)
130 メモリ(第2のパケット伝送制御部)
131 FDB記憶部(第2の記憶部)
132 FDB制御部(第2のパケット伝送制御部)
14 受信ポート
15 送信ポート
16 管理用ポート
2 L2/L3 network
200 ACLテーブル(第1のルール情報)
210 ACLテーブル(第1のルール情報)
20 コントローラ(ネットワーク制御装置)
21 CPU(コンピュータ)
211 送信部
22 メモリ
23 記憶装置
3 VXLAN network
300 FDBテーブル(第2のルール情報)
310 FDBテーブル(第2のルール情報)
320 FDBテーブル(第2のルール情報)
30 サーバ装置(送受信装置)
30a 仮想環境
31 APP/OS
32 VTEP
33 VM
34 NIC
40 LAG
5 ネットワークシステム
50 スイッチ
60 サーバ装置
60a 仮想環境
61 VM
A 折り返し点

Claims (5)

  1. 送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムであって、
    前記スイッチは、
    第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、
    当該ネットワークシステムは、
    前記第1のパケット伝送制御部に従い、受信装置までの経路が一意に決まらない領域である第1のパケット伝送制御領域と、
    前記第2のパケット伝送制御部に従い、受信装置までの経路が一意に決まる領域である第2のパケット伝送制御領域とを含み、
    前記複数のスイッチのうち、前記第1のパケット伝送制御領域に含まれるスイッチは、
    前記ネットワーク制御装置から通知される複数の第1のルール情報を記憶する第1の記憶部を前記第1のパケット伝送制御部に備え、
    入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用し、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行ない、
    前記複数のスイッチのうち、前記第2のパケット伝送制御領域に含まれるスイッチは、
    前記ネットワーク制御装置から通知される複数の第2のルール情報を記憶する第2の記憶部を前記第2のパケット伝送制御部に備え、
    入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、完全一致するかの検索を行ない、完全一致する第2のルール情報に従って前記入力パケットの前記宛先情報に応じたパケットの中継先を一意に決定する制御を行なう、
    ことを特徴とする、ネットワークシステム
  2. 入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されている場合には、前記第2のパケット伝送制御部は、前記第2のルール情報に従って前記入力パケットの伝送を制御し、
    入力パケットの宛先に対応する第2のルール情報が前記第2の記憶部に格納されていない場合には、前記第1のパケット伝送制御部は、前記入力パケットに対応する第1のルール情報に従って前記入力パケットの伝送を制御することを特徴とする、請求項に記載のネットワークシステム。
  3. 送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムの制御方法であって、
    当該ネットワークシステムは、
    第1のパケット伝送制御手法に従い、受信装置までの経路が一意に決まらない領域である第1のパケット伝送制御領域と、
    第2のパケット伝送制御手法に従い、受信装置までの経路が一意に決まる領域である第2のパケット伝送制御領域とを含み、
    前記スイッチは、
    第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、
    前記第1のパケット伝送制御領域においては、
    記ネットワーク制御装置から通知される複数の第1のルール情報を第1の記憶部に記憶させ、
    入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用し、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行ない、
    前記第2のパケット伝送制御領域においては、
    前記ネットワーク制御装置から通知される複数の第2のルール情報を第2の記憶部に記憶させ、
    入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、完全一致するかの検索を行ない、完全一致する第2のルール情報に従って前記入力パケットの前記宛先情報に応じたパケットの中継先を一意に決定する制御を行なう、
    ことを特徴とする、ネットワークシステムの制御方法。
  4. 送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムにおいて、前記複数のスイッチを制御するネットワーク制御装置であって、
    前記スイッチは、
    第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、
    前記ネットワークシステムは、
    前記第1のパケット伝送制御部に従い、受信装置までの経路が一意に決まらない領域である第1のパケット伝送制御領域と、
    前記第2のパケット伝送制御部に従い、受信装置までの経路が一意に決まる領域である第2のパケット伝送制御領域とを含み、
    当該ネットワーク制御装置は、
    前記第1のパケット伝送制御領域においては、
    前記第1のパケット伝送制御部に対して、複数の第1のルール情報を通知し、
    前記第1のパケット伝送制御部に備えられる第1の記憶部に、前記複数の第1のルール情報を記憶させ、
    前記第1のパケット伝送制御部に対して、入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用させ、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行なわせ
    前記第2のパケット伝送制御領域においては、
    前記第2のパケット伝送制御部に備えられる第2の記憶部に、当該ネットワーク制御装置から通知される複数の第2のルール情報を記憶させ、
    入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、完全一致するかの検索を行ない、完全一致する第2のルール情報に従って前記入力パケットの前記宛先情報に応じたパケットの中継先を一意に決定する制御を行なわせる、
    ことを特徴とする、ネットワーク制御装置。
  5. 送受信装置と複数のスイッチとネットワーク制御装置とを有するネットワークシステムにおいて、前記複数のスイッチを制御するネットワーク制御装置の制御プログラムであって、
    前記スイッチは、
    第1のパケット伝送制御部と第2のパケット伝送制御部とを備え、
    前記ネットワークシステムは、
    前記第1のパケット伝送制御部に従い、受信装置までの経路が一意に決まらない領域である第1のパケット伝送制御領域と、
    前記第2のパケット伝送制御部に従い、受信装置までの経路が一意に決まる領域である第2のパケット伝送制御領域とを含み、
    当該ネットワーク制御装置に備えられるコンピュータに、
    前記第1のパケット伝送制御領域においては、
    前記第1のパケット伝送制御部に対して、複数の第1のルール情報を通知し、
    前記第1のパケット伝送制御部に備えられる第1の記憶部に、前記複数の第1のルール情報を記憶させ、
    前記第1のパケット伝送制御部に対して、入力パケットのヘッダ情報の所定の位置に前記複数の第1のルール情報の数に応じたマスクを適用させ、マスク適用後のヘッダ情報に基づいて前記第1の記憶部から選択した第1のルール情報に従って前記入力パケットの制御を行なわせ
    前記第2のパケット伝送制御領域においては、
    前記第2のパケット伝送制御部に備えられる第2の記憶部に、前記ネットワーク制御装置から通知される複数の第2のルール情報を記憶させ、
    入力パケットの宛先情報と、前記複数の第2のルール情報のうちいずれかとが、完全一致するかの検索を行ない、完全一致する第2のルール情報に従って前記入力パケットの前記宛先情報に応じたパケットの中継先を一意に決定する制御を行なわせる、
    処理を実行させることを特徴とする、ネットワーク制御装置の制御プログラム。
JP2013169867A 2013-08-19 2013-08-19 ネットワークシステム、その制御方法、ネットワーク制御装置及びその制御プログラム Active JP6221501B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013169867A JP6221501B2 (ja) 2013-08-19 2013-08-19 ネットワークシステム、その制御方法、ネットワーク制御装置及びその制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013169867A JP6221501B2 (ja) 2013-08-19 2013-08-19 ネットワークシステム、その制御方法、ネットワーク制御装置及びその制御プログラム
US14/454,831 US9699097B2 (en) 2013-08-19 2014-08-08 Network system, method of controlling thereof, network control apparatus, and non-transitory computer-readable recording medium having stored therein control program thereof

Publications (2)

Publication Number Publication Date
JP2015039144A JP2015039144A (ja) 2015-02-26
JP6221501B2 true JP6221501B2 (ja) 2017-11-01

Family

ID=52466772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013169867A Active JP6221501B2 (ja) 2013-08-19 2013-08-19 ネットワークシステム、その制御方法、ネットワーク制御装置及びその制御プログラム

Country Status (2)

Country Link
US (1) US9699097B2 (ja)
JP (1) JP6221501B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612211B (zh) * 2015-10-23 2020-02-21 华为技术有限公司 VxLAN中的路径探测方法,控制器和网络设备
CN107147532B (zh) * 2017-05-27 2020-03-06 杭州迪普科技股份有限公司 一种分布式设备的虚拟化方法和装置
KR102050828B1 (ko) * 2018-10-26 2020-01-08 한국과학기술원 병렬 연산을 이용한 오픈 가상 스위치의 가속화 방법 및 이를 이용한 오픈 가상 스위치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054315B2 (en) * 2001-09-17 2006-05-30 Pmc-Sierra Ltd. Efficiency masked matching
JP5408243B2 (ja) 2009-03-09 2014-02-05 日本電気株式会社 OpenFlow通信システムおよびOpenFlow通信方法
WO2011083786A1 (ja) * 2010-01-06 2011-07-14 日本電気株式会社 通信制御システム、及び通信制御方法
JP5651970B2 (ja) 2010-03-11 2015-01-14 日本電気株式会社 通信装置、通信制御方法、及び通信制御用プログラム
KR101478475B1 (ko) * 2010-09-09 2014-12-31 닛본 덴끼 가부시끼가이샤 컴퓨터 시스템 및 컴퓨터 시스템에 있어서의 통신 방법
JP5674107B2 (ja) 2010-10-19 2015-02-25 日本電気株式会社 通信システム、制御装置、処理規則の設定方法およびプログラム
US9461967B2 (en) * 2013-07-18 2016-10-04 Palo Alto Networks, Inc. Packet classification for network routing

Also Published As

Publication number Publication date
US20150049638A1 (en) 2015-02-19
US9699097B2 (en) 2017-07-04
JP2015039144A (ja) 2015-02-26

Similar Documents

Publication Publication Date Title
US10374878B2 (en) Forwarding tables for virtual networking devices
US9698995B2 (en) Systems and methods for providing multicast routing in an overlay network
US9413554B2 (en) Virtual network overlays
US10110514B2 (en) Datapath cache
US9602415B2 (en) Flow based network service insertion
EP3031179B1 (en) Switch clusters having layer-3 distributed router functionality
EP2859444B1 (en) Elastic enforcement layer for cloud security using sdn
EP3072264B1 (en) Method for performing network service insertion
US20160308825A1 (en) Detection of a misconfigured duplicate ip address in a distributed data center network fabric
EP3304815B1 (en) Operations, administration and management (oam) in overlay data center environments
US9397942B2 (en) Packet forwarding
EP2982097B1 (en) Method and apparatus for exchanging ip packets among network layer 2 peers
US8811409B2 (en) Routing VLAN tagged packets to far end addresses of virtual forwarding instances using separate administrations
EP3172875B1 (en) Method for performing logical network forwarding using a controller
US20160036723A1 (en) Low-cost flow matching in software defined networks without tcams
US9300582B2 (en) Method and apparatus for forwarding information base scaling
US20160232019A1 (en) Network Interface Controller with Integrated Network Flow Processing
US9036639B2 (en) System and method for VXLAN inter-domain communications
US8964735B2 (en) Translating media access control (MAC) addresses in a network hierarchy
US10491424B2 (en) Servicing packets in a virtual network and a software-defined network (SDN)
CN103477593B (zh) 网络系统、交换机和连接终端检测方法
US9112811B2 (en) Managed switching elements used as extenders
US20190124004A1 (en) Installation of routing tables for logical router in route server mode
US9559948B2 (en) System and method for managing unknown flows in a flow-based switching device
US9178812B2 (en) Stacking metadata contexts for service chains

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170918

R150 Certificate of patent or registration of utility model

Ref document number: 6221501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150