JP4331174B2 - トラフィックデータ中継システム、トラフィックデータの分散配置システムおよびトラフィックデータの分散配置方法 - Google Patents

Description

本発明は、トラフィックデータ中継システム、トラフィックデータの分散配置システムおよびトラフィックデータの分散配置方法に係り、特に、インターネットに代表されるネットワーク上を流れるトラフィックをモニタする際に、大容量化したネットワーク上のトラフィックを効率的にモニタする手法に関する。

近年、ＤＤｏＳ攻撃トラフィックなどの異常トラフィックを検知する目的から、ネットワーク上に流れているトラフィックをモニタする機能（sFlow,netFlow,IPFIX）に注目が集まっている。
そして、トラフィックデータ蓄積機器の負荷を軽減するため、トラフィックデータの集約機能をネットワーク機器（以下、ＮＷ機器という。）に実装しているが、この場合には、集約前のトラフィックデータを参照することができなくなるという問題がある。
また、あるＮＷ機器では、トラフィックデータ配信プロトコルを使用して、複数のトラフィックデータ蓄積機器に同一のトラフィックデータを配信することが可能となっている。但し、これは、トラフィックデータを冗長配置するためのものであり、蓄積処理そのものの負荷軽減を目的としているものではない。
現状では、トラフィックデータの特性に応じて、配信するデータを振り分ける機能については、検討されていない。
また、ＮＷ機器から配信されるトラフィックデータを受信し、集約処理を実施後、トラフィックデータ配信プロトコルにより再度、集約トラフィックデータを配信するシステムについては、ＩＰＦＩＸ（IPFIX-aggregation）にて提案されている。（下記、非特許文献１参照）

なお、本願発明に関連する先行技術文献としては以下のものがある。
http://www.ietf.org/internet-drafts/draft-dressler-ipfix-aggregation-02.txt RFC3954 Cisco NetFlow version9

しかしながら、IPFIX-aggregationによる手法は、集約処理機能のみに特化している。そのため、集約前のトラフィックデータを蓄積することができず、集約レベルの高いデータから小さいデータまでを参照・分析することができない。また、性能面においても、集約処理のみに特化しているため、蓄積機能に関する負荷分散機能が実現されていない。
近年、ＮＷ規模が爆発的に増大していくことを想定すると、集約処理、蓄積処理双方ともに１つの機器で実現することは困難である。そのため、あらゆるＮＷ規模に対応した集約処理、蓄積処理の負荷分散方式が求められている。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、トラフィックデータ蓄積機器とネットワーク機器との間にトラフィックデータ中継システムを介在させ、トラフィックデータ中継システムにトラフィックデータの集約・選択機能を実装することで、トラフィックデータの集約・蓄積処理を、ネットワークの規模に応じて柔軟に拡張することが可能となる技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）トラフィックデータ蓄積機器と、ネットワーク機器との間に配置されるトラフィックデータ中継システムであって、収集プロセス手段と、選択プロセス手段と、集約プロセス手段と、配信プロセス手段と、蓄積プロセス手段とを有し、前記収集プロセス手段は、前記ネットワーク機器、あるいは、他のトラフィックデータ中継システムから配信されるトラフィックデータを受信し、前記蓄積プロセス手段は、前記収集プロセス手段で受信されたトラフィックデータを蓄積し、前記選択プロセス手段は、前記収集プロセス手段で受信されたトラフィックデータを前記集約プロセス手段に引き継ぐか否かを判定し、前記集約プロセス手段は、前記トラフィックデータの所定のフィールド情報をキー情報として、ある時間内のトラフィックデータを集約し、前記配信プロセス手段は、前記トラフィックデータ蓄積機器、あるいは、他のトラフィックデータ中継システムヘ、前記集約プロセス手段で集約されたトラフィックデータを配信することを特徴とする。

（２）（１）において、前記収集プロセス手段は、トラフィックデータ配信プロトコル単位毎に生成される。
（３）（１）または（２）において、複数の前記選択プロセス手段と、前記複数の選択プロセス手段の中の各選択プロセス手段毎に設けられた前記集約プロセス手段と前記配信プロセス手段とを有し、前記各選択プロセス手段において、前記トラフィックデータの所定のフィールド情報に基づいて前記トラフィックデータを選択し、前記各選択プロセス手段毎に設けられた前記集約プロセス手段は、前記各選択プロセス手段で選択された前記トラフィックデータを集約し、前記各選択プロセス手段毎に設けられた前記配信プロセス手段は、前記集約プロセス手段で集約されたトラフィックデータを出力する。

（４）ネットワーク機器とトラフィックデータ蓄積機器との間に、前記（１）または（２）の手段のトラフィックデータ中継システムを、ネットワーク機器側を１段目、トラフィックデータ蓄積機器側をｎ（２≦ｎ）段目として、ｎ段多段に配置して構成されるトラフィックデータの分散配置システム（あるいは、トラフィックデータの分散配置方法）であって、１段目の前記トラフィックデータ中継システムの前記蓄積プロセス手段は、前記ネットワーク機器から配信されたトラフィックデータを蓄積するとともに、前記集約プロセス手段は、前記ネットワーク機器から配信されたトラフィックデータを集約し、ｋ（２≦ｋ≦ｎ）段目の前記トラフィックデータ中継システムの前記蓄積プロセス手段は、（ｋ−１）段目の前記トラフィックデータ中継システムから配信されるトラフィックデータを蓄積するとともに、前記集約プロセス手段により、（ｋ−１）段目の前記トラフィックデータ中継システムから配信されたトラフィックデータを集約し、前記トラフィックデータ蓄積機器は、ｎ段目の前記トラフィックデータから配信されるトラフィックデータを蓄積する。
（５）（４）において、前記１段目ないしｎ段目の前記トラフィックデータ中継システムの前記蓄積プロセス手段と、前記トラフィックデータ蓄積機器に蓄積されるトラフィックデータは、集約レベルの異なるトラフィックデータである。
（６）（４）または（５）において、前記トラフィックデータを検索する際に、前記１段目ないしｎ段目の前記トラフィックデータ中継システムの前記収集プロセス手段と、前記集約プロセス手段に保持されている管理情報を参照し、所定のトラフィックデータが蓄積されている前記トラフィックデータ中継システム、あるいは、前記トラフィックデータ蓄積機器を特定する。

（７）ネットワーク機器と、複数のトラフィックデータ蓄積機器との間に、前記（３）の手段のトラフィックデータ中継システムを配置して構成されるシステムにおけるトラフィックデータの分散配置方法であって、前記トラフィックデータ中継システムは、前記各選択プロセス手段により選択し、前記各選択プロセス手段毎に設けられた前記集約プロセス手段により集約したトラフィックデータを、前記各選択プロセス手段毎に設けられた前記配信プロセス手段を介して、前記複数のトラフィックデータ蓄積機器の中の対応するトラフィックデータ蓄積機器に配信し、前記各トラフィックデータ蓄積機器は、前記トラフィックデータ中継システムの前記各配信プロセス手段から配信されたトラフィックデータを蓄積する。
（８）（７）において、前記トラフィックデータを検索する際に、前記トラフィックデータ中継システムの前記選択プロセス手段で設定された情報を参照し、所定のトラフィックデータが蓄積されているトラフィックデータ蓄積機器を特定する。

本発明では、トラフィックデータ蓄積機器（トラフィック・コレクタ）とネットワーク機器（以下、ＮＷ機器という）（ルータ等）の間にトラフィックデータ中継システム介在させ、トラフィックデータ中継システムにトラフィックデータの集約・選択機能を実装することで、トラフィックデータの集約・蓄積に関する処理を負荷分散させる。これにより、トラフィックデータ情報の効率的な集約及びトラフィックデータの分散配置を実現する。
本発明のトラフィックデータ中継システムは、ＮＷ機器から出力されるトラフィックデータを受信し、トラフィックデータの蓄積、選択、集約を行い、トラフィックデータ配信プロトコルを用いて、トラフィックデータを配信する。
本発明のトラフィックデータ中継システムを使用することで、ＮＷ規模に応じたトラフィックデータの蓄積・制御を行うことが可能となる。例えば、トラフィックデータ中継システムを多段に接続することで、集約レベルの異なるトラフィックデータを分散して配置することが可能となり、後段のシステムにて集約レベルを順次上げて処理を行うことで、集約処理そのものの負荷分散が可能となる。
また、ＮＷ規模が大きくなった場合には、トラフィックデータ中継システムの台数を増加させることで、ネットワーク規模に応じたトラフィックデータの集約、蓄積能力を持たせることも可能となる。
更に、トラフィックデータ中継システムが、ＳＮＭＰ（Simple Network Management Protocol）のような他ノードから閲覧可能な設定情報を定義することで、他ノードがトラフィックデータを検索する際に、データの配置を認識することが可能となる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、トラフィックデータ蓄積機器とネットワーク機器との間にトラフィックデータ中継システム介在させ、トラフィックデータ中継システムにトラフィックデータの集約・選択機能を実装させるようにしたので、トラフィックデータの集約・蓄積処理を、ネットワークの規模に応じて柔軟に拡張することが可能となる。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明のトラフィックデータ中継システムが適用されるシステム構成を示すブロック図である。
図１において、１０−１〜１０−８はルータなどのＮＷ機器、１１−１〜１１−６はトラフィックデータ中継システム、１２はトラフィックデータ蓄積機器（トラフィック・コレクタ）である。
本発明のトラフィックデータ中継システム（１１−１〜１１−６）は、トラフィックデータ蓄積機器１２と、ＮＷ機器（１０−１〜１０−８）の間に配置される。
ＮＷ機器（１０−１〜１０−８）から出力されるトラフィックデータは、ミラーリングされたパケット、トラフィックデータ配信プロトコル（sFlow,netFlow,IPFIX）の情報など様々である。
本実施例のトラフィックデータ中継システム（１１−１〜１１−６）は、ＮＷ機器（１０−１〜１０−８）から出力されるトラフィックデータを受信し、トラフィックデータの蓄積、選択、集約を行い、トラフィックデータ配信プロトコルを用いて、トラフィックデータを配信する。
ＮＷ機器（１０−１〜１０−８）から受信するトラフィックデータは、送信元ＩＰアドレス、送信元ポート番号、宛先ＩＰアドレス、宛先ポート番号、プロトコルなどをキー情報にバイト数、パケット数などのカウンタ情報が格納されており、フロー単位に配信される。これらひとつのフロー情報をフローレコードといい各情報要素をフィールドと定義する。

図２は、本実施例のトラフィックデータ中継システムの概略構成を示すブロック図である。
図２に示すように、本実施例のトラフィックデータ中継システム１１は、収集プロセス手段１と、選択プロセス手段２と、集約プロセス手段３と、配信プロセス手段４と、蓄積プロセス手段５と、データベース６とを有する。
収集プロセス手段１は、ＮＷ機器（１０−１〜１０−８）、あるいは、他のトラフィックデータ中継システム１１から配信されるトラフィックデータを受信する機能を持つ。収集プロセス手段１は、トラフィックデータ配信プロトコル単位毎に生成され、相手先ＩＰアドレス、ポート番号などのセッション情報を管理する。また、配信されるトラフィックデータを構成するフローレコード内に含まれる情報要素を管理するために、フローレコード内に含まれるフィールド値と対応するデータ形式を管理する。
収集プロセス手段１で受信したトラフィックデータは、複数の選択プロセス手段２、あるいは、蓄積プロセス手段５に引き継ぐことが可能である。
蓄積プロセス手段５は、受信したトラフィックデータをデータベース６に蓄積する機能をもつ。この際、蓄積プロセス手段５は、フィールド単位にデータベース６ヘ蓄積するかどうかを判定する。これらの情報は、予めユーザにより設定される。蓄積プロセス手段５では、指定されたフィールド情報のみを含むトラフィックデータをデータベース６に格納する。

選択プロセス手段２は、配信されたトラフィックデータを集約プロセス手段３に引き継ぐか否かを判定する。これらの条件は、予めユーザにより設定される。判定においては、各フィールド単位に条件文を指定し、全ての条件に合致したトラフィックデータのみを集約プロセス手段３に引き継ぐ。
集約プロセス手段３は、送信元ＩＰアドレスなどの値をキー情報として、ある時間内のトラフィックデータを集約する。その際に、バイト数などのカウンタ情報については合算し、集約したトラフィックデータ（即ち、フローレコード）を生成する。トラフィックデータ内のどのフィールドをキー情報とするか、カウンタ情報にするかは、予めユーザにより指定される。集約したトラフィックデータは、次の配信プロセス手段４に引き継がれる。
配信プロセス手段４は、トラフィックデータ蓄積機器１２、あるいは、他のトラフィックデータ中継システム（１１−１〜１１−６）ヘトラフィックデータを配信する機能をもつ。配信プロセス手段４は、宛先のＩＰアドレスやポード番号などのセッション情報とは別に、配信するトラフィックデータ内のフィールド情報についても管理する。

図３は、本実施例のトラフィックデータ中継システムを使用したトラフィックデータの分散配置方式を説明するための図である。以下、本実施例のトラフィックデータ中継システムを使用したトラフィックデータの分散配置方式について説明する。
図３に示すように、３個のトラフィックデータ蓄積機器（１２−１〜１２−３）の間にトラフィックデータ中継システム１１を介在させることで、トラフィックデータを分散的に配置できる。なお、図３において、１０はＮＷ機器、７−１〜７−３は、トラフィックデータ蓄積機器（１２−１〜１２−３）のデータベースである。
図３では、トラフィックデータ中継システム１１の３個の選択プロセス手段（２−１〜２−３）と、集約プロセス手段（３−１〜３−３）と、配信プロセス手段（４−１〜４−３）を用いて、後段の３個のトラフィックデータ蓄積機器（１２−１〜１２−３）に配信するトラフィックデータの振り分けを実現する。
選択に使用する情報要素としては、トラフィックデータを構成するフローレコード内に含まれる情報を任意に指定可能とする。例えば、パケットが流入したインターフェースのＩＮＤＥＸ（INPUT IF-INDEX）とした場合に、予め指定したINPUT IF-INDEXを各選択プロセス手段（２−１〜２−３）に割り当てる。収集プロセス手段１で受信したトラフィックデータは、複数の選択プロセス手段（２−１〜２−３）に引き継がれ、各選択プロセス手段（２−１〜２−３）で、予め指定されたＩＦ−ＩＮＤＥＸのみが選択される。

例えば、図３では、選択プロセス手段（２−１）は、INPUT IF-INDEX１〜１０までを含むトラフィックデータを選択し、選択プロセス手段（２−２）は、INPUT IF-INDEX１１〜２０までを含むトラフィックデータを選択し、選択プロセス手段（２−２）は、INPUT IF-INDEX２１〜３０までを含むトラフィックデータを選択する。
この選択プロセス手段（２−１〜２−３）の動作により、トラフィックデータ蓄積機器（１２−１〜１２−３）にトラフィックデータが分散配置される。
また、分散配置されたトラフィックデータを検索する際には、各選択プロセス手段（２−１〜２−３）で設定された情報を参照することで、どのトラフィックデータ蓄積機器（１２−１〜１２−３）に、どのようなトラフィックデータを蓄積しているのかを認識可能とする。
各選択プロセス手段（２−１〜２−３）で設定された情報を、ＳＮＭＰ ＭＩＢオブジェクトと定義することで、他ノードからの参照を可能とし、トラフィックデータの蓄積先も特定することが可能となる。

図４は、本実施例のトラフィックデータ中継システムを使用したトラフィックデータの集約、蓄積処理の負荷分散配置方式を説明するための図である。以下、本実施例のトラフィックデータ中継システムを使用したトラフィックデータの集約、蓄積処理の負荷分散配置方式について説明する。
図４に示すように、トラフィックデータ中継システム（１１−１〜１１−３）を多段に接続することで、集約処理の負荷分散を実施する。
ＮＷ機器（１０−１〜１０−２）から配信されるトラフィックデータをもとに前段のトラフィックデータ中継システム（１１−１）で一次的なトラフィック集約を行い、また、ＮＷ機器（１０−３〜１０−４）から配信されるトラフィックデータをもとに前段のトラフィックデータ中継システム（１１−２）で一次的なトラフィック集約を行う。そして、後段のトラフィックデータ中継システム（１１−３）で二次集約を行う。
例えば、図４では、前段のトラフィックデータ中継システム（１１−１〜１１−２）では、送信元ＩＰアドレス、宛先ＩＰアドレスにプレフィックス値をマスクで指定して、その値をキー情報として集約を行う。
その後、後段のトラフィックデータ中継システム（１１−３）では、送信元ＡＳ（Autonomous System）、宛先ＡＳをキー情報として、集約処理を行う。これにより集約処理の負荷分散を実現する。
最終的に、トラフィックデータ蓄積機器１２では、送信元ＡＳ、宛先ＡＳをキー情報としたトラフィックデータが受信可能となる。
これにより、図４の８−１に示すフローレコードは、トラフィックデータ中継システム（１１−１）により、図４の８−２に示すフローレコードに集約され、さらに、トラフィックデータ中継システム（１１−３）により、図４の８−３に示すフローレコードに集約される。

図５は、本実施例のトラフィックデータ中継システムを使用し、トラフィックデータ中継システムで受信したトラフィックデータをデータベースに蓄積していくことで、集約レベルの異なるトラフィックデータを分散して蓄積する方法を説明するための図である。以下、本実施例のトラフィックデータ中継システムを使用し、トラフィックデータ中継システムで受信したトラフィックデータをデータベースに蓄積していくことで、集約レベルの異なるトラフィックデータを分散して蓄積する方法を説明する。
ＮＷ機器（１０−１〜１０−４）から受信したトラフィックデータは、前段のトラフィック中継システム（１１−１〜１１−２）にて蓄積され、１次集約後、後段のトラフィック中継システム（１１−３）に配信される。
後段のトラフィック中継システム（１１−３）では、１次集約結果を蓄積し、２次集約後、トラフィック蓄積機器４に配信する。これにより、集約レベルの異なるトラフィックデータを分散して配置する。
なお、図５において、９−１は、ＮＷ機器（１０−１）から配信されるトラフィックデータのキー情報とカウンタ情報を示し、９−２は、トラフィック中継システム（１１−１）において、トラフィックデータを集約する際の、キー情報とカウンタ情報を示し、９−３は、トラフィック中継システム（１１−３）において、トラフィックデータを集約する際の、キー情報とカウンタ情報を示す。
これらのデータを検索する際には、収集プロセス手段１、集約プロセス手段３に保持されている管理情報を参照し、どのシステムにどのようなトラフィックデータが格納されているのかを特定することで可能となる。

各プロセス手段で管理する情報を、ＳＮＭＰ ＭＩＢ（Management Information Base）オブジェクトに定義することで、外部ノードからの参照可能となる。
これにより、トラフィック蓄積機器１２にて参照したトラフィックデータをもとに、より詳細なトラフィックデータヘと遡って、データ検索することを可能とする。
以上説明したように、本実施例では、トラフィックデータ蓄積機器１２とＮＷ機器１０との間にトラフィックデータ中継システム１１を介在させ、トラフィックデータ中継システム１１にトラフィックデータの集約・選択機能を実装することで、ネットワークの規模に応じて、柔軟にシステムを拡張することが可能となる。
また、ネットワーク規模が大きくなった場合には、トラフィックデータ中継システムの台数を増加させることで、ネットワーク規模に応じたトラフィックデータの集約、蓄積能力を持たせることも可能となる。そのため、ネットワーク規模が増加する傾向にあるＩＰトラフィックを監視する分野で有効である。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明のトラフィックデータ中継システムが適用されるシステム構成を示すブロック図である。 本発明の実施例のトラフィックデータ中継システムの概略構成を示すブロック図である。 本発明の実施例のトラフィックデータ中継システムを使用したトラフィックデータの分散配置方式を説明するための図である。 本発明の実施例のトラフィックデータ中継システムを使用したトラフィックデータの集約、蓄積処理の負荷分散配置方式を説明するための図である。 本発明の実施例のトラフィックデータ中継システムを使用し、トラフィックデータ中継システムで受信したトラフィックデータをデータベースに蓄積していくことで、集約レベルの異なるトラフィックデータを分散して蓄積する方法を説明するための図である。

符号の説明

１ 収集プロセス手段
２，２−１〜２−３ 選択プロセス手段
３，３−１〜３−３ 集約プロセス手段
４，４−１〜４−３ 配信プロセス手段
５ 蓄積プロセス手段
６，７，７−１〜７−３ データベース
８−１〜８−３ フローレコード
９−１〜９−３ キー情報とカウンタ情報
１０，１０−１〜１０−８ ネットワーク機器
１１，１１−１〜１１−６ トラフィックデータ中継システム
１２，１２−１〜１２−６ トラフィックデータ蓄積機器

Claims (2)

1. 複数のトラフィックデータ蓄積機器と、ネットワーク機器との間に配置されるトラフィックデータ中継システムであって、
   収集プロセス手段と、複数の選択プロセス手段と、複数の選択プロセス手段の中の各選択プロセス手段毎に設けられた集約プロセス手段と配信プロセス手段と、蓄積プロセス手段とを有し、
   前記収集プロセス手段は、前記ネットワーク機器、あるいは、他のトラフィックデータ中継システムから配信されるトラフィックデータを受信し、
   前記蓄積プロセス手段は、前記収集プロセス手段で受信されたトラフィックデータを蓄積し、
   前記各選択プロセス手段は、前記収集プロセス手段で受信されたトラフィックデータを前記集約プロセス手段に引き継ぐか否かを判定し、
   前記各選択プロセス手段毎に設けられた前記集約プロセス手段は、前記トラフィックデータの所定のフィールド情報をキー情報として、ある時間内のトラフィックデータのうち予め設定されたカウンタ情報を集約し、
   前記各選択プロセス手段毎に設けられた前記配信プロセス手段は、前記トラフィックデータ蓄積機器、あるいは、他のトラフィックデータ中継システムヘ、前記集約プロセス手段で集約されたトラフィックデータを配信することを特徴とするトラフィックデータ中継システム。
2. ネットワーク機器と、複数のトラフィックデータ蓄積機器との間に、請求項１に記載のトラフィックデータ中継システムを配置して構成されるシステムにおけるトラフィックデータの分散配置方法であって、
   前記トラフィックデータ中継システムは、前記各選択プロセス手段により選択し、前記各選択プロセス手段毎に設けられた前記集約プロセス手段により集約したトラフィックデータを、前記各選択プロセス手段毎に設けられた前記配信プロセス手段を介して、前記複数のトラフィックデータ蓄積機器の中の対応するトラフィックデータ蓄積機器に配信し、
   前記各トラフィックデータ蓄積機器は、前記トラフィックデータ中継システムの前記各配信プロセス手段から配信されたトラフィックデータを蓄積することを特徴とするトラフィックデータの分散配置方法。
   

Images