JP5961354B2 - 効率的なネットフローデータ解析のための方法及び装置 - Google Patents

効率的なネットフローデータ解析のための方法及び装置 Download PDF

Info

Publication number
JP5961354B2
JP5961354B2 JP2011186276A JP2011186276A JP5961354B2 JP 5961354 B2 JP5961354 B2 JP 5961354B2 JP 2011186276 A JP2011186276 A JP 2011186276A JP 2011186276 A JP2011186276 A JP 2011186276A JP 5961354 B2 JP5961354 B2 JP 5961354B2
Authority
JP
Japan
Prior art keywords
address
data structure
block
individual elements
block data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011186276A
Other languages
English (en)
Other versions
JP2012253735A (ja
Inventor
レイリー ピーター
レイリー ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fluke Corp
Original Assignee
Fluke Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fluke Corp filed Critical Fluke Corp
Publication of JP2012253735A publication Critical patent/JP2012253735A/ja
Application granted granted Critical
Publication of JP5961354B2 publication Critical patent/JP5961354B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/026Capturing of monitoring data using flow identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Description

本発明は、ネットワーク通信及び使用解析に関し、詳細には、ネットフローデータを収集し処理するための方法及び装置に関する。より具体的には、本発明の例示的な実施形態は、フローレコードを使用してネットワーク攻撃を識別することに関する。
世界中でデータを移送するパケット式データネットワークが普及している。パケット式データネットワークは、典型的に、あるコンピュータと別のコンピュータの間で伝送するためにデータをパケットにフォーマットする。これらのパケットは、パケットデータ及びルーティングに関する情報を含むヘッダを含む。データネットワークは、ルータを使用して発信元コンピュータから宛先コンピュータにこれらのパケットを送り、このルータは、パケットヘッダ内のルーティング情報を使用して宛先コンピュータにパケットを送る。パケットのフローは、特定の送信元ネットワークアドレス及びポートから宛先ネットワークアドレス及びポートに送られた一群のパケットである。これらの特定の宛先及び送信元のネットワークアドレス及びポートは、たとえばそれぞれ異なるコンピュータに対応してもよい。これらのネットワークが拡張されるにつれて、それらを使用する利点が増している。しかし、これは、ネットワークを使用して企業を攻撃する機会を開いた。
あるタイプの攻撃は、分散型サービス妨害である。分散型サービス妨害は、障害が生じた(compromised)多数のコンピュータが特定のコンピュータを攻撃し、膨大な数のネットワーク接続を開くことによってその特定のコンピュータを圧倒することを伴う。別のタイプの攻撃は、ポートスキャン攻撃である。ポートスキャン攻撃は、不正(rogue)コンピュータが様々なネットワークアドレスにわたって接続を開き、弱点を求めて接続を探索することを伴う。
ネットフローは、IPトラフィックの収集及び監視のために使用されてもよい、よく知られているネットワークプロトコルである。いくつかのネットフロー解析エンジンは、IPアドレスに関連するデータ量だけに基づいて、送信元IPアドレス、宛先IPアドレスの上位数(通常最大1000)だけを保持する。このように情報をフィルタリングすることの欠点は、実際のフロー情報、特に、結果として生じる情報のコンテキスト、たとえば送信元IPアドレス及び宛先IPアドレスに関連する送信元ポート及び宛先ポートが失われるということである。したがって、こうしたエンジンは、すべての配布情報が失われるので、攻撃を識別することができない。
他のネットフロー解析エンジンは、フローのサブセット(通常1時間の期間の約10,000フロー)だけを保存する。サブセットは、フローオクテットサイズに通常基づく。この技法は、上記に概説された技法とは対照的に、何らかの配布情報を依然として保存しながら、フローに必要な記憶容量を減少させる。しかし、サブセットはフローオクテットサイズ、特にフローオクテットサイズの最大値に通常基づき、サービス妨害攻撃及びポートスキャン攻撃は少量のオクテットを含み得るので、攻撃に関連するフローは、サブセット内に現れず、したがって攻撃はやはり、エンジンには見えない。
本明細書で述べられた攻撃のパターンを識別できるようにするには、すべてのフロー、特に少量のオクテット及びパケットしか有さないフローを解析する必要がある。こうした解析は一般に、解析が非能率的であるために行われず、すなわち、こうした大量のデータを効果的に解析することは、これが記憶容量に関する問題をもたらすだけでなく、攻撃の識別のために非現実的な処理時間をも必要とするので、実行不可能と見なされる。
本発明の目的は、ネットフローデータを効率的に処理し解析するための技法を提供することによってこれらの問題を克服することであり、この技法は特に、フロー情報一式を解析することに基づいて分散型サービス妨害攻撃及びポートスキャン攻撃を識別することを可能にする。
本発明の態様については、添付の特許請求の範囲で述べられる。
本発明の一態様によれば、フロー収集技術を使用して、現実的な時間尺度内でウィルス攻撃を識別するためにも使用できるデータネットワーク内の接続に関する情報を取得する。これは、オペレータがたとえば、攻撃に関与していると識別された関連するアドレスからの特定の送信を拒否するようにファイアウォール設定を再構成することによって、こうした攻撃に対する目標とされた措置を取れることを可能にし、それによって、ネットワークが安全に、またできるだけ大きい帯域幅で実行されることが保証される。
一実施形態によれば、これは、
フローについての情報を格納し、
特定の送信元IPアドレス及びポートと、宛先IPアドレス及びポートとの間の関連性を、それらの間の伝送量と共に識別するために、フローのそれぞれに特有の情報をソートすること、
次いで、ソートされた情報に基づいて、これらの別個の送信元又は宛先のアドレス及び会話をカウントすること、及び
上位の別個のアドレス又は会話の数によって結果を並べ替えることによって達成される。
いわゆる「会話」は、特定の送信元IPアドレス及びポートと、特定の宛先IPアドレス及びポートとの間の送信内容であり、これらのIPアドレス及びポートは、それらの間の各々の関連性を確立するために本発明によって格納されソートされる。会話数が大きい場合は、ポートスキャン攻撃を示し得る大量のトラフィックが実証される。
好ましい一実施形態では、本発明は、フローレコードから関連情報を抽出し、あるタイプの攻撃が実施されていることを示し得る特定のアドレス間の反復した関連性及び通信パターンを求めて関連情報を解析する。次いで、本発明は、これらの別個の関連性及びパターンの量に基づいて情報をランク付けし、それによって、特定の攻撃が行われる可能性のリアルタイム表示をユーザに提供する。
オブジェクトに関するデータを表すことができる多くの方法のうちの1つは、「タプル」としてのものである。これは、それぞれがオブジェクトの何らかの側面を表す、順序付けられた1組の値である。そしてタプルは、スプレッドシートの行やデータベーステーブルの行など、インデックス付きのブロックデータ構造として格納される。一実施形態では、本発明は、フローレコードの関連フィールドを備えるタプル内に、各フローレコードに特有の情報を格納する。これは、多数のこうした情報をソートしやすくすることを可能にする便利な技法である。さらなる実施形態では、タプルは、ランダムアクセスメモリ(RAM:Random Access Memory)などのメモリ内の整数配列に書き込まれる。このようにタプルブロックをメモリに書き込むことによって、この実施形態は、タプルブロックを併合し、特定のアドレス及び会話の合計を容易なやり方で決定することを可能にする。
本発明を具現化する構成について、例を挙げるため、添付の図面を参照して次に述べられる。
ネットワーク内のフロー情報を処理し提供するためのネットワークルーティングデバイスを示すブロック図である。 本発明の一実施形態によるネットフロー処理エンジンによって検出されるポートスキャン攻撃の一例を示すブロック図である。 本発明の一実施形態によるネットフロー処理エンジンによって検出される分散型サービス妨害攻撃の一例を示すブロック図である。 本発明の例示的な一実施形態による、機能コンポーネント、データ構造、及びネットワークフローレコードのストリームを処理するためにネットフロー処理エンジンによって実施される操作を概略的に示す図である。 本発明の例示的な実施形態の各フローレコードのフィールドを示すブロック図である。 本発明の一実施形態による、ネットワーク接続の情報を格納するために使用されるコンピュータメモリ内の例示的なタプル及びタプルブロックデータ構造を示すブロック図である。 本発明の一実施形態による、ネットワーク接続の情報を格納するために使用されるコンピュータメモリ内の例示的なタプル及びタプルブロックデータ構造を示すブロック図である。 本発明の一実施形態による、ネットワーク接続の情報を格納するために使用されるコンピュータメモリ内の例示的なタプル及びタプルブロックデータ構造を示すブロック図である。
図1は、受け取られたパケットを処理し、ネットワークからフローレコードを収集するためのネットワークルーティングデバイス1の一般的なブロック図を示している。パケット11は、ルーティングデバイス1のパケット処理エンジン12によって受け取られ処理され、受け取られたパケットのフローについての情報は、フローキャッシュ13に格納される。フローキャッシュ13は、固定の時間間隔で、たとえば毎分フラッシュされ、ネットフロー情報は、フローエクスポータ14として具現化されたネットフローエクスポートプロトコルによってエクスポートされ、フローデータエンジン15に送信される。
図2は、攻撃者から複数のターゲットホストへのポートスキャン攻撃の一例を示している。攻撃側コンピュータは、典型的に、様々なコンピュータへの多数の接続を開く。これらの接続は、ルーティングデバイス1によって、フローレコードを使用してネットフロー処理エンジン3に報告される。この攻撃についてのフロー情報は一般に、1つの送信元アドレスと、多数の関連する宛先アドレス及びポートをもつ。換言すると、攻撃は、複数の他のホストをターゲットとする単一のアドレスを有する不正コンピュータから開始され、この複数の他のホストは、すべてが単一の送信元アドレスに関連している多くの異なる宛先アドレス及びポートを有する。
図3は、複数のコンピュータから、ターゲットとされた単一のホストへと開始されるサービス妨害攻撃の一例を示している。この例では、多数のコンピュータが、典型的に、単一のコンピュータとの接続を開く。これらの接続は、フローレコードを使用して、ルーティングデバイス1によってネットフロー処理エンジン3に報告される。この攻撃についてのフロー情報は、ターゲットとされたホストに対応する1つの宛先アドレスと、複数のコンピュータに対応しており、単一の宛先アドレスに関連する多数の送信元アドレス及びポートをもつ。
上記の形のネットワーク攻撃を識別するための効率的な後続の解析を容易にする、本発明によるフローレコードのストリームを処理し収集する操作について、図4を参照して次に述べられる。図4は、フローレコード処理エンジン3の機能コンポーネント及びデータ構造による操作を概略的に示すブロックフローチャートである。このプロセスは、ルーティングデバイス1から複数のフローレコード41を受け取ることから開始し、このフローレコード41は、ネットフロー処理エンジン3のフローレコード受信スレッド42によって処理される。この実施形態では、ネットフロー処理エンジン3は、1時間や数日など、いずれかの時間量であり得る事前定義された時間ウィンドウ内に複数のフローレコードを収集する。
図5は、フローに関する関連情報を含む、例示的なフローレコードのコンテンツを示している。図5に示されたように、フィールドは、以下を含む。
送信元IPアドレス
宛先IPアドレス
送信元IPポート
宛先IPポート
IPプロトコル
フロー内のオクテット数
フロー内のパケット数
サービスタイプ
他のフィールド
フローレコードは、各フローについて、ルータによって、規則的な時間間隔、たとえば毎分に発行されてもよく、したがって、長く持続した単一のフローは、多くのフローレコードを生成する。
特定の問合せのためのフィルタが、各フローに適用されてもよい。こうしたフィルタの例は、ある時間範囲内のフローや、特定のインターフェースに一致するフローなどであってもよい。フィルタは、フローレコード内で使用可能なフィールドの任意の組合せのためのフィルタパラメータから構成されてもよい。フィルタパラメータは、関連するフィールドの値又は値範囲によって定義することができる。たとえば、IPアドレス値の範囲は、たとえばネットマスクとして定義することができ、ポート範囲は、開始値から終了値まで定義してもよい。
この実施形態では、ネットフロー処理エンジン3は、上記に言及されたように、分散型サービス妨害攻撃及び/又はポートスキャンネットワーク攻撃を検出するように構成され、したがって、特定の送信元又は宛先IPアドレスへのアクティブなネットフローを効率的に識別するために、所定の時間ウィンドウ内でフローレコードを収集し解析する。この実施形態では、ネットフロー処理エンジン3は、ネットフローを解析するためにフローレコードから上記のフィールドのうちの5つ、すなわち送信元アドレス及びポート、宛先アドレス及びポート、IPプロトコルを抽出するように構成される。これらの5つのフィールドはひとまとめにして、5タプル会話データと呼ばれる。N個のフィールドを有するN個のタプルを、たとえば異なるタスク又は問合せについてフローレコードを解析するように形成するために、フィールドの他の任意の組合せを使用できることが当業者には理解されよう。
5タプル会話データのそれぞれのフィールドからの値は、タプルブロックライタ43によって、受け取られた各フローレコードから抽出される。この例示的な実施形態では、抽出された値は、図6Aに示されたように、タプルデータ構造内にまず置かれる。タプルデータ構造内のフィールドの順序は、ネットフロー処理エンジン3の構成に依存する。たとえば、ネットフロー処理エンジン3が同じ宛先IPアドレスへのアクティブなネットフローを識別するように構成される分散型サービス妨害検出では、値は、まず宛先IPアドレス、次に送信元IPアドレス、その後に送信元ポート、宛先ポート及びIPプロトコルの順序61でタプルデータ構造に書き込まれる。もう一方では、ネットフロー処理エンジン3が同じ送信元IPアドレスへのアクティブなネットフローを識別するように構成されるポートスキャン検出では、値は、まず送信元IPアドレス、次に宛先IPアドレス、その後に送信元ポート、宛先ポート及びIPプロトコルの順序62でタプルデータ構造に書き込まれる。
5タプルデータ構造は、たとえば処理効率のために4つの32ビット整数要素からなる固定サイズのものであってよい。したがって、図6Aに示されたように、関連する値がデータ構造の固定長より小さい場合、5つのフィールドの後にパディングを設けてもよい。
この実施形態では、ネットフロー処理エンジン3は、所定の時間ウィンドウから5タプルのソートされたデータストリームを抽出し、収集し、処理し、出力するように構成される。次いで、このソートされたデータストリームは、効率的な処理のために後続の解析コンポーネントに渡される。この実施形態によるソートは、メモリとプロセッサの両方の効率のために2段階で実施される。第1段階として、タプルブロックライタ43は、固定数の5タプルのデータ構造を格納する所定のサイズを有するインデックス付きタプルブロックデータ構造63に、そのブロックデータ構造が一杯になるまで、生成された5タプルデータ構造を出力する。インデックス付きのタプルブロックは、たとえば、RAMメモリ内に整数配列として格納されてもよいことが当業者には理解されよう。タプルブロック63は、タプルブロック63内の個別の各タプル要素65の相対位置のインデックス64をも含む。図6Bに示された例では、インデックス64は、タプルブロック63内にオフセットとして各タプル要素65の整数インデックスを格納する整数配列である。
ネットフロー処理エンジン3が、タプルブロック63が個別のタプル要素65の最大数で埋められていると決定すると、タプルブロック63は、タプルブロックソータ44に送られる。タプルブロックソータ44は、個別のタプル要素65を事前定義された順序でソートし、したがってソートされたデータ構造によって、(たとえば、関連するフローレコードから抽出された値からのフロー内のオクテットの数、及び/又はフロー内のパケットの数に基づいて)特定の送信元IPアドレス及びポートと宛先IPアドレス及びポートとの間の別個の関連性を、それらの間の伝送量と共に識別するより効率的な解析が促される。ソート順は、ネットフロー処理エンジンの構成に基づいて定義されてもよいことが当業者には理解されよう。たとえば、ネットフロー処理エンジン3が同じ宛先IPアドレスへのアクティブなネットフローを識別するように構成される分散型サービス妨害検出では、タプルは、宛先IPアドレスに基づいてソートされ、この宛先IPアドレスは、タプルデータ構造61内の第1の要素として格納され、したがって、タプルブロックソータ44による処理のために効率的に抽出することができる。もう一方で、ネットフロー処理エンジン3が同じ送信元IPアドレスへのアクティブなネットフローを識別するように構成されるポートスキャン検出では、タプルは、送信元IPアドレスに基づいてソートされ、この送信元IPアドレスは、この構成に従って、やはりタプルデータ構造62内の第1の要素として格納される。
この実施形態によれば、タプルブロックソータ44は、タプルデータ自体を抽出し、並べ替え、再書き込みしなければならないのではなく、インデックス64の個別のインデックスを並べ替えることによって個別のタプル要素65の効率的なソートを実施することができる。換言すると、タプル要素65自体は、タプルブロックソートの間、タプルブロック64内で移動されず、インデックス位置だけが移動される。識別されたどんな重複タプル(たとえば、タプルが同じ送信元及び宛先のアドレス、ポート及びプロトコルを有する)をも、インデックス64から重複タプルのうちの1つの個別のインデックスを取り除くことによって、タプルブロック63から効率的に取り除くことができる。
タプルブロック63がタプルブロックソータ44によってソートされた場合、ソートされたタプルブロックは、タプルブロックライタ45に送られ、このタプルブロックライタ45は、ソートされたタプルブロック44を出力タプルブロックファイル66に移動する。図6Cに示されたように、生成されたタプルブロックファイル66は、ヘッダ要素として、ソートされた個別のタプル要素の総数を含んでもよい。したがって、タプルブロックは空であり、所定の時間ウィンドウの間に、第1段階の第1の反復が完了する。タプルブロックライタ45は、攻撃を示す可能性が最も高い別個の送信元又は宛先アドレス及び会話を決定し優先付けするために追加の処理を実施してもよい。
5タプルを抽出し、タプルブロックを満たし、満たされたタプルブロックをソートし、ソートされたタプルブロックを出力タプルブロックファイルに追加する上述のプロセスは、所定の時間ウィンドウの継続時間の間、繰り返される。
ネットフロー処理エンジン3が、所定の時間ウィンドウが経過したと決定する場合、タプルブロックファイル66は、マージソートコンポーネント46に出力され、このマージソートコンポーネント46は、タプルブロックファイル66からタプルブロックを読み出し、ソートされたタプルのマージソートを実施する。マージコンポーネント46は、タプルブロックファイル内の各タプルブロックへのポインタを保持し、ブロックから最小のタプルを出し、そのポインタを進めることによってマージソートを効率的に実行できることが当業者には理解されよう。
次いで、マージソートされたタプル全体が、マージソートコンポーネント46によって、所定時間ウィンドウからの抽出されたタプルのすべてのソートされたデータストリームとして出力され、ソートされたタプルのデータストリームは、アドレス/会話カウンタ47に渡され、このアドレス/会話カウンタ47は、受け取られたデータストリームを処理して、各一意の送信元IPアドレスと宛先IPアドレスの対について、別個の関連するアドレス及び会話の数を計算する。この実施形態では、カウンタの計算は、たとえば以下のアルゴリズムを使用して、ソートされたタプルの受け取られたデータストリームに対して効率的に実施することができる。
PerTuple:
if tuple(0)!=atuple(0):
emit(),incr addr_count,incr_conv_count
Else if tuple(1)!=atuple(1):
incr_addr_count,incr_conv_count
Else if tuple!=atuple
incr_conv_count
atuple=tuple
分散型サービス妨害攻撃に対応する宛先IPアドレスは、別個の関連するアドレス及び会話の最大数を有する宛先IPアドレスである。同様に、最大数を有する送信元IPアドレスは、ポートスキャン攻撃側のIPアドレスを示す。アドレス及び会話カウンタ47もまた、たとえば単一の送信元アドレスに関連している宛先アドレス及びポートの最大数、及び単一の宛先アドレスに関連している送信元アドレスの最大数に従って、計算された数をランク付けすることによって、ネットワークアドレス及びネットワークポートの間の関連性を識別するように構成することもできる。
上記の特徴によって、本発明は、大量のフロー情報処理の技法を容易にし、それによって、特定のネットワークサービス攻撃のタイプ及び送信元を効率的に正確に識別することが可能になる。
次いで、この情報は、チャート又はグラフ形式でユーザに表示されてもよく、ある時間間隔にわたる結果を示すことができる。この情報に基づいて、ユーザ又は自動化されたシステムは、進行中の攻撃を阻止するための措置を講じることができる。たとえば、攻撃源であると識別されたアドレスからの送信をブロックするために、ファイアウォール設定を変更してもよい。
上記の記述では、ネットフロー処理エンジン3は、上述された方法を実施するように操作を制御するソフトウェアを格納し実行するように構成される。当業者には理解されるように、上記方法を実施するよう動作可能になるようにプログラマブルデバイスを構成するためのコンピュータプログラムは、キャリアに格納され、システムのフラッシュメモリなどのメモリにロードされてもよい。プログラムは、信号としてダウンロードしてもよいし、及び/又はシステム上に既に常駐するソフトウェアへのパッチ又は更新として適用してもよい。本発明の範囲は、プログラム、プログラムを運ぶキャリア、及びブロードキャスト信号を含む。
(代替実施形態)
諸実施形態について単に例示するために上記に述べられており、この説明を読んだ後、様々な変形形態が当業者には考えられようが、その変形形態は、特許請求の範囲に定義された本発明の範囲内に含まれるものである。
たとえば、上述された実施形態では、タプルブロックライタによって出力されたタプルブロックファイルは、分散型サービス妨害攻撃に対応する宛先IPアドレス、及び/又はポートスキャン攻撃側の送信元IPアドレスを効率的に識別するために、各一意の送信元IPアドレスと宛先IPアドレスの対について別個の関連するアドレス及び会話の数を計算する処理のためにマージされて、アドレス/会話カウンタに送られる。当業者には理解されるように、ソートされたタプルブロックデータ構造は、効率的な処理のためにソートされたストリームを受け取るように構成された他の形のネットフローデータ解析コンポーネントによって使用することができる。たとえば、ソートされたストリームは、データストリーム内のソートされたデータの特定の構成のために特定の基準を満たす上位N個のネットフローを効率的に識別するために、本出願人の同時係属出願、「Method and Apparatus for Streaming Netflow Data Analysis」に記載された上位N計算器によって処理することができる。
上述された実施形態では、ネットフロー処理エンジンは、所定の時間ウィンドウ内にフローレコードを収集するように構成される。その代わりに、当業者が理解するように、フローレコードは、事前定義された固定サイズの出力タプルブロックファイルが一杯になるまで、上述された方法に従って収集されてもよい。
上述された実施形態では、ネットワークアドレスは、IPアドレスである。本発明の諸実施形態は、他の任意の形のネットワークアドレシングに適用可能であることが当業者には理解されよう。
本発明の実施形態は、ハードウェア、ソフトウェア又はその組合せを使用して実施されてもよく、1つ又は複数のコンピューティングシステム又は他の処理システムで実施されてもよい。
1…ルーティングデバイス、3…ネットフロー処理エンジン、11…パケット、12…パケット処理エンジン、13…フローキャッシュ、14…フローエクスポータ、15…フローデータエンジン、41…フローレコード、42…フローレコード受信スレッド、43…タプルブロックライタ、44…タプルブロックソータ、45…タプルブロックライタ、46…マージソートコンポーネント/マージコンポーネント、47…アドレス/会話カウンタ、61…順序、62…順序、63…タプルブロックデータ構造/タプルブロック、64…インデックス、65…タプル要素、66…タプルブロックファイル。

Claims (13)

  1. ネットフローデータを収集するための装置であって、
    一又はそれ以上のプロセスを実行するように適応したプロセッサーと、
    該プロセッサーによって実行可能なプロセスを格納するように構成されたメモリとからな
    り、
    該プロセスが、実行時に、
    前記装置を介して、少なくとも一つのネットワーク機器から、複数のフローレコードであって各フローレコードが少なくとも送信元インターネットプロトコル(IP)アドレスと宛先IPアドレスを有するフローレコードを受け取り、
    前記装置を介して、該受け取られたフローレコードからデータを抽出して、ブロックデータ構造にするが、該ブロックデータ構造が複数の個別の要素を含み、各要素が、それぞれのフローレコードから抽出された送信元インターネットプロトコル(IP)アドレスと宛先IPアドレスを含むデータと、前記複数の個別の要素のそれぞれのインデックスとを格納しており、
    前記装置を介して、前記ブロックデータ構造内の前記個別の要素を、前記複数の個別の要素のそれぞれのインデックスを並べ替えることによってソートするが、ソート順が行われるべき処理の種別によって決められており
    前記装置を介して、前記ソートした個別の要素に従って前記ブロックデータ構造をデータストリームとして処理し、少なくとも同じ送信元IPアドレス又は宛先IPアドレスを示すフローレコードの数に基づいてネットワーク使用のパターンを識別する
    ように行われる装置。
  2. 前記ブロックデータ構造が固定サイズを有し、前記プロセスが、実行時に、前記ブロックデータ構造内の前記個別の要素をソートする前に、いつ前記ブロックデータ構造が一杯になるか決定するように行われる請求項1に記載の装置。
  3. 前記プロセスが、前記ブロックデータ構造内の前記個別の要素をソートする実行時に、更に前記抽出されたデータのビットパターンに基づいて前記個別の要素をソートするように行われる請求項2に記載の装置。
  4. 前記プロセスが、前記ブロックデータ構造内の前記個別の要素をソートする実行時に、更に前記ソートされたブロックデータ構造を出力ブロックファイルに追加するように行われる請求項3に記載の装置。
  5. 前記プロセスが、前記複数のフローレコードの受け取りを実行するときに、所定の時間ウィンドウ内に複数のフローレコードを受け取るように行われる請求項4に記載の装置。
  6. 前記プロセスが、実行時に更に、繰り返し前記受け取ったフローレコードからデータを抽出してブロックデータ構造にし、前記ブロックデータ構造内の個別の要素をソートしてブロックデータ構造を満たし、該満たされたブロックデータ構造をソートし、前記所定の時間ウィンドウ内に前記複数のフローレコードについて、前記ソートされたブロック構造を前記ブロックファイルに追加するように行われる請求項5に記載の装置。
  7. 前記プロセスが、実行時に更に、前記ブロックファイル内の前記複数の要素のマージソートを実施し、前記ソートされた要素のデータストリームを出力するように行われる請求項6に記載の装置。
  8. 前記個別の要素がNタプルであり、ただし、Nがフローレコードから抽出されたデータエンティティの数であり、前記ブロックデータ構造がタプルブロックである請求項1に記
    載の装置。
  9. 前記インデックスが、それぞれが前記タブルブロック内の各々の個別のNタプルの位置を識別するインデックスの配列を備える請求項8に記載の装置。
  10. 前記プロセスが、実行時に更に、前記フローレコードのネットワークアドレス及びネットワークポート間の関連性を識別し、前記識別された関連性に基づいて、分散型サービス妨害攻撃及び/又はポートスキャン攻撃を示す1つ又は複数のフローレコードを識別するように行われる請求項9に記載の装置。
  11. 前記プロセスが、実行時に更に、単一の送信元ネットワークアドレスに関連している宛先ネットワークアドレス及びネットワークポートの最大数、及び単一の宛先ネットワークアドレスに関連している送信元ネットワークアドレス及びネットワークポートの最大数に従って、前記決定された結果をランク付けすることによって関連性を識別するように行われる請求項10に記載の装置。
  12. 前記プロセスが、実行時に更に、ランク付けされた情報を出力するように行われる請求項11に記載の装置。
  13. コード化されたソフトウェアを記録した有形の非一時的なコンピュータ読み取り可能な記録媒体であって、前記ソフトウェアが、プロセッサーによる実行時に、
    少なくとも一つのネットワーク機器から、複数のフローレコードであって各フローレコードが少なくとも送信元インターネットプロトコル(IP)アドレスと宛先IPアドレスを有するフローレコードを受け取ることと、
    該受け取られたフローレコードからデータを抽出して、ブロックデータ構造にするが、該ブロックデータ構造が複数の個別の要素を含み、各要素が、それぞれのフローレコードから抽出された送信元インターネットプロトコル(IP)アドレスと宛先IPアドレスとを含むデータと、前記複数の個別の要素のそれぞれのインデックスとを格納することと、
    前記ブロックデータ構造内の前記個別の要素を、前記複数の個別の要素のそれぞれのインデックスを並べ替えることによってソートするが、ソート順が行われるべき処理の種別によって決められていることと、
    該ソートした個別の要素に従って前記ブロックデータ構造をデータストリームとして処理し、少なくとも同じ送信元IPアドレス又は宛先IPアドレスを示すフローレコードの数に基づいてネットワーク使用のパターンを識別することを、
    実行可能であるコンピュータ読み取り可能な記録媒体。
JP2011186276A 2011-06-03 2011-08-29 効率的なネットフローデータ解析のための方法及び装置 Expired - Fee Related JP5961354B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11168731.5 2011-06-03
EP11168731.5A EP2530874B1 (en) 2011-06-03 2011-06-03 Method and apparatus for detecting network attacks using a flow based technique

Publications (2)

Publication Number Publication Date
JP2012253735A JP2012253735A (ja) 2012-12-20
JP5961354B2 true JP5961354B2 (ja) 2016-08-02

Family

ID=44720527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011186276A Expired - Fee Related JP5961354B2 (ja) 2011-06-03 2011-08-29 効率的なネットフローデータ解析のための方法及び装置

Country Status (4)

Country Link
US (1) US8510830B2 (ja)
EP (1) EP2530874B1 (ja)
JP (1) JP5961354B2 (ja)
CN (1) CN102811162B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930748B1 (en) * 2005-12-29 2011-04-19 At&T Intellectual Property Ii, L.P. Method and apparatus for detecting scans in real-time
US9065767B2 (en) * 2012-04-03 2015-06-23 Cisco Technology, Inc. System and method for reducing netflow traffic in a network environment
US9680916B2 (en) * 2013-08-01 2017-06-13 Flowtraq, Inc. Methods and systems for distribution and retrieval of network traffic records
CN103532975B (zh) * 2013-10-28 2016-08-17 国家电网公司 一种可动态平滑扩展的数据采集系统及方法
US9178824B2 (en) 2013-10-29 2015-11-03 Solana Networks Inc. Method and system for monitoring and analysis of network traffic flows
US9191325B2 (en) 2013-10-29 2015-11-17 Solana Networks Inc. Method and system for processing network traffic flow data
CN106470118B (zh) * 2015-08-21 2019-11-08 睿石网云(北京)科技有限公司 一种应用系统性能异常检测方法和系统
JP6906928B2 (ja) * 2015-11-09 2021-07-21 韓國電子通信研究院Electronics and Telecommunications Research Institute ネットフロー基盤の接続フィンガープリントの生成及び経由地逆追跡方法
US10609053B2 (en) 2015-11-24 2020-03-31 Intel Corporation Suspicious network traffic identification method and apparatus
CN106022129B (zh) * 2016-05-17 2019-02-15 北京江民新科技术有限公司 文件的数据特征提取方法、装置及病毒特征检测系统
US10148549B2 (en) 2016-10-31 2018-12-04 Servicenow, Inc. System and method for identifying components of a computer network based on component connections
KR102476126B1 (ko) * 2016-12-30 2022-12-12 비트디펜더 네덜란드 비.브이. 고속 분석을 위한 네트워크 트래픽 준비 시스템
US10516584B2 (en) 2017-03-07 2019-12-24 eSentire, Inc. Systems and methods for efficient network conversation bandwidth statistics gathering
BR202017019310U2 (pt) * 2017-09-11 2019-03-26 Zerum Research And Technology Do Brasil Ltda Aperfeiçoamento introduzido em conjunto de appliances
CN109768949B (zh) * 2017-11-09 2021-09-03 阿里巴巴集团控股有限公司 一种端口扫描处理系统、方法及相关装置
CN108418835A (zh) * 2018-04-08 2018-08-17 北京明朝万达科技股份有限公司 一种基于Netflow日志数据的端口扫描攻击检测方法及装置
US10999167B2 (en) * 2018-04-13 2021-05-04 At&T Intellectual Property I, L.P. Varying data flow aggregation period relative to data value
US10757117B1 (en) 2019-05-03 2020-08-25 Greynoise Intelligence Inc. Contextual analyses of network traffic
CN110737731B (zh) * 2019-10-25 2023-12-29 徐州工程学院 一种基于决策树的公积金用户数据细化分析系统及方法
JP7396454B2 (ja) * 2020-02-27 2023-12-12 日本電信電話株式会社 付与装置、付与方法及び付与プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0648498B2 (ja) * 1985-11-18 1994-06-22 株式会社島津製作所 デ−タ収録装置
JP2002187317A (ja) * 2000-12-22 2002-07-02 Canon Inc 印刷ジョブ生成装置、印刷データ生成装置、印刷システム、印刷ジョブ生成方法、印刷データ生成方法、及び記憶媒体
US7260849B1 (en) * 2001-07-02 2007-08-21 Ncr Corporation Providing security in a database system
US6751627B2 (en) * 2001-07-23 2004-06-15 Networks Associates Technology, Inc. Method and apparatus to facilitate accessing data in network management protocol tables
JP2007104472A (ja) * 2005-10-06 2007-04-19 Mitsubishi Electric Corp 統計データ取得装置及び統計データ取得方法
US8001601B2 (en) * 2006-06-02 2011-08-16 At&T Intellectual Property Ii, L.P. Method and apparatus for large-scale automated distributed denial of service attack detection
JP4244355B2 (ja) * 2006-08-29 2009-03-25 日本電信電話株式会社 通過パケット監視装置および方法
JP2008099105A (ja) * 2006-10-13 2008-04-24 Nippon Telegr & Teleph Corp <Ntt> トラフィックデータ中継システム、およびトラフィックデータの分散配置方法
JP4658098B2 (ja) * 2006-11-21 2011-03-23 日本電信電話株式会社 フロー情報制限装置および方法
CN101202652B (zh) * 2006-12-15 2011-05-04 北京大学 网络应用流量分类识别装置及其方法
JP4791347B2 (ja) * 2006-12-29 2011-10-12 富士通株式会社 エントリの圧縮伸長方法およびエントリの圧縮伸長を行う装置
JP2009077136A (ja) * 2007-09-20 2009-04-09 Oki Electric Ind Co Ltd トラヒック情報提供装置、トラヒック情報取得装置、トラヒック情報収集システム、トラヒック情報提供プログラム、トラヒック情報取得プログラム及びトラヒック情報収集方法
JP5135163B2 (ja) * 2008-10-22 2013-01-30 Kddi株式会社 情報処理装置およびプログラム
JP2011015253A (ja) * 2009-07-03 2011-01-20 Nippon Telegr & Teleph Corp <Ntt> 通信トラヒック分類方法、装置、およびプログラム

Also Published As

Publication number Publication date
EP2530874A1 (en) 2012-12-05
JP2012253735A (ja) 2012-12-20
CN102811162B (zh) 2017-05-03
CN102811162A (zh) 2012-12-05
EP2530874B1 (en) 2020-04-29
US8510830B2 (en) 2013-08-13
US20120311704A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
JP5961354B2 (ja) 効率的なネットフローデータ解析のための方法及び装置
US11757739B2 (en) Aggregation of select network traffic statistics
US7843827B2 (en) Method and device for configuring a network device
US20120182891A1 (en) Packet analysis system and method using hadoop based parallel computation
US7995496B2 (en) Methods and systems for internet protocol (IP) traffic conversation detection and storage
CN108701187A (zh) 混合硬件软件分布式威胁分析
US10873534B1 (en) Data plane with flow learning circuit
JP5956049B2 (ja) ストリーミングネットフローデータ解析方法及び装置
US8762515B2 (en) Methods and systems for collection, tracking, and display of near real time multicast data
CN106790170B (zh) 一种数据包过滤方法及装置
JP7069173B2 (ja) 高速分析のためにネットワーク・トラフィックを準備するシステム
Wang et al. Honeynet construction based on intrusion detection
US8838774B2 (en) Method, system, and computer program product for identifying common factors associated with network activity with reduced resource utilization
CN111835599A (zh) 一种基于SketchLearn的混合网络测量方法、装置及介质
CN107733721A (zh) 一种网络异常检测方法及装置
CN115361154A (zh) 一种会话流量的统计方法及装置
CN104767659B (zh) 一种预测式的动态高速网络流量检测方法和装置
CN111064637B (zh) NetFlow数据去重方法及装置
JP4209897B2 (ja) 大量フロー生成ホスト特定方法およびシステム
CN112866243B (zh) 一种基于单包溯源的DDoS攻击检测方法
Papadogiannakis et al. RRDtrace: long-term raw network traffic recording using fixed-size storage
Chen Designing Compact Data Structures for Network Measurement and Control
Valgenti Dynamic content generation for the evaluation of network applications
CN116938511A (zh) 流量的处理方法及装置、设备、存储介质
CN115473836A (zh) 一种基于流图模型的网络流量测量方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150416

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150916

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160304

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160627

R150 Certificate of patent or registration of utility model

Ref document number: 5961354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees