JP6053568B2 - ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム - Google Patents

ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム Download PDF

Info

Publication number
JP6053568B2
JP6053568B2 JP2013035868A JP2013035868A JP6053568B2 JP 6053568 B2 JP6053568 B2 JP 6053568B2 JP 2013035868 A JP2013035868 A JP 2013035868A JP 2013035868 A JP2013035868 A JP 2013035868A JP 6053568 B2 JP6053568 B2 JP 6053568B2
Authority
JP
Japan
Prior art keywords
cluster
hosts
host
new
flow data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013035868A
Other languages
English (en)
Other versions
JP2014023144A (ja
Inventor
雪子 澤谷
雪子 澤谷
歩 窪田
歩 窪田
ヴァシスト アクシャイ
ヴァシスト アクシャイ
エム ゴットリーブ イサク
エム ゴットリーブ イサク
ゴッシュ アブフラジット
ゴッシュ アブフラジット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of JP2014023144A publication Critical patent/JP2014023144A/ja
Application granted granted Critical
Publication of JP6053568B2 publication Critical patent/JP6053568B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101Access control lists [ACL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/212Monitoring or handling of messages using filtering or selective blocking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、一般に、データ解析、ネットワーク及び情報セキュリティ、機械学習に関する。
スパムメール送信ホストとは、未承諾広告及び/又は電子メールメッセージを提供するメールサーバである。このようなスパムメール送信ホストは、広告をユーザの目に触れさせるためのみに存在する。
スパムメール送信ホストの検出方法として、様々なものが提案されている。既存の検出方法は、スパムメール検出判定規則をどのように構築するかによって、エキスパートシステムによるものと、教師付き学習によるものと、の2種類に大きく分類できる。エキスパートシステムによる方法においては、新規ホストがスパムメール送信元かどうかを判定するために用いる規則を専門家が作成し、その規則が利用される。このような規則は、ペイロードの特性及びトラフィックの特性のいずれか若しくは両者の組み合わせ、又は、ボットネットの構成等スパムメール送信元をホスティングするネットワーク基盤に由来する特性、から導き出すことができる。このアプローチを採用するシステムの主な弱点として、時間の経過と共にトラフィックの特性が変化した場合に将来的なトラフィックへの順応性を欠く点、特定の特性はネットワークによって、大きく異なることから新規のネットワークへの移植性がない点、専門家は自身が把握している事象に対応した規則しか提供できないため判定規則がカバーできる範囲が限られる点、規則の修正が手作業のため困難な点が挙げられる。
教師付き学習による方法はより柔軟で、エキスパートシステムによる方法の弱点の多くが解決されている。IPアドレスのみによって、ホストをクラスタ化したIPレベルクラスタに基づいてスパムメール送信元を特定するアプローチも存在し、このアプローチはスパムメール送信元と同じIPアドレスの一部を使用するホストにのみ適用される。
教師付き学習によるアプローチでは、まず、スパムメール送信元又は非スパムメール送信元としてそれぞれラベル付けしたホストと、該ホストのトラフィックのパターン(トレーニングデータ)と、を収集し、新規ホストをスパムメール送信元又は非スパムメール送信元として分類するための判定規則を自動的に学習する。このアプローチは、新規ホストのトラフィックのパターンがトレーニングデータのものと同様である間は良好に機能するが、新しいトラフィックのパターンが生じると共にパフォーマンスが低下する。この新しいパターンは、スパムメール送信元及び非スパムメール送信元のいずれにも該当しうる。
また、教師付き学習によるアプローチでは概念カテゴリが学習されず、当初のトレーニングデータにインスタンスが含まれるカテゴリの分類を学習するため、トラフィックのパターンが当初収集したデータから乖離し始めた場合にもパフォーマンスが低下する。
更に、現実には取得が困難な、スパムメール送信ホストとその挙動についての高度に選別された収集データが必要という弱点もある。実際には、スパムメール送信元自体が特定されていても、そのトラフィックのパターンは判明していない場合もある。
一方、多くのホストのトラフィックのパターンは観測可能でも、それらがスパムメール送信元かどうか不明な場合もある。
米国特許出願公開第2009/254989号明細書
既存の検出方法では、スパムメール送信ホストの不変の特性についての非経験的な知識、又は、どのホストがスパムメール送信元かについての明示的な知識が前提とされている。スパムメール送信元の特性は時間と共に変化するため、また、どのホストが実際にスパムメール送信元かを判断できるとは限らないため、上記のいずれに基づいた方法も現実的でない。現在も、スパムメール送信元の検出は、困難かつ未解決の問題である。
様々なポートや宛先アドレスに向けてホストが送信するトラフィックのパターンをクラスタ化して、インターネット上のスパムメール送信ホストを検出する新規な技術を提案する。本技術により、上記の両方法の弱点が解決される。この新規技術では、既知のラベルや、同じホストの組におけるトラフィックのパターンを必要としない。
本アプローチでは、スパムメール送信元が含まれるか否かの知識を必要とすることなく、ネットワークトラフィック上に観測されるすべてのホスト及びトラフィックのパターンを利用でき、トラフィックのパターンの類似性に基づいてすべてのホストが自動的にクラスタ化される。
本アプローチでは、固定された(又は非経験的に決定された)カテゴリの概念を用いないため、スパムメール送信元及び非スパムメール送信元という新規なサブカテゴリを提供できる。
ネットワークフローデータプロファイルからスパムメール送信ホストを検知する方法は、1又は複数のクラスタプロファイルを構築し、スパムメール送信ホストを検知する。クラスタプロファイルの構築は、複数のホストからネットワークフローデータを観測する手順と、該複数のホストのそれぞれについて、該ホストに関連付けられた該ネットワークフローデータを多次元ベクトルとして表す手順と、該複数のホストのベクトル表現をクラスタリングし複数のクラスタプロファイルとする手順と、各クラスタプロファイルを、1又は複数のブラックリスト及び1又は複数のホワイトリストの少なくともいずれかを用いてラベル付けする手順と、各クラスタプロファイルのラベル付けの信頼性を算出する手順と、を含む。スパムメール送信ホストの検出は、新規ホストから該ネットワークフローデータを観測する手順と、該新規ホストに関連付けられた該ネットワークフローデータを多次元ベクトルとして表す手順と、該新規ホストの該新規の多次元ベクトルを、該1又は複数のクラスタプロファイルのうち1つに配置する手順と、を含む。
ネットワークフローデータプロファイルからスパムメール送信ホストを検知するシステムは、CPUとモジュールとを備え、1又は複数のクラスタプロファイルを構築し、スパムメール送信ホストを検知する。クラスタプロファイルの構築は、複数のホストからネットワークフローデータを観測する手順と、該複数のホストのそれぞれについて、該ホストに関連付けられた該ネットワークフローデータを多次元ベクトルとして表す手順と、該複数のホストのベクトル表現をクラスタリングし複数のクラスタプロファイルとする手順と、各クラスタプロファイルを、1又は複数のブラックリスト及び1又は複数のホワイトリストの少なくともいずれかを用いてラベル付けする手順と、各クラスタプロファイルのラベル付けの信頼性を算出する手順と、を含む。スパムメール送信ホストの検出は、新規ホストから該ネットワークフローデータを観測する手順と、該新規ホストに関連付けられた該ネットワークフローデータを多次元ベクトルとして表す手順と、該新規ホストの該新規の多次元ベクトルを、該1又は複数のクラスタプロファイルのうち1つに配置する手順と、を含む。
本発明の一側面によれば、該各クラスタプロファイルをラベル付けする手順が、該複数のクラスタプロファイル内の各ホストを該ブラックリスト及び該ホワイトリストと照合する手順と、該クラスタプロファイル内のホストに基づいて、ブラックリスト内の一致ホスト数及びホワイトリスト内の一致ホスト数を算出する手順と、該ブラックリスト内の一致ホスト数が閾値よりも多い場合に、該クラスタプロファイルをスパムメール送信元としてラベル付けする手順と、該ホワイトリスト内の一致ホスト数が閾値よりも多い場合に、該クラスタプロファイルを非スパムメール送信元としてラベル付けする手順と、を含む。
本発明の一側面によれば、該新規の多次元ベクトルを配置する手順が、該新規の多次元ベクトルを該複数のクラスタのそれぞれと照合する手順と、該新規多次元ベクトルを、最も近い中心を有するクラスタに配置する手順と、を含む。
本願による1又は複数の方法をコンピュータに実行させるための実行可能な命令群からなるプログラムを格納する、コンピュータ読み取り可能な記憶媒体も提供される。
本発明のプロファイル構築フェーズのフローチャートである。 本発明のスパムメール送信元検出フェーズのフローチャートである。 本発明のシステムの概略図である。
以下の詳細な説明では、図面を参照し、発明を限定するものではない実施形態を用いて、本発明を更に説明する。図面における類似の参照番号は、同様の構成要素を指すものである。ただし、本発明は、特定の構成や手段に限定されるものではない。
スパムメール送信ホストの検出の必要性に対応する、新規な方法を提案する。本方法は、(i)図1に示すプロファイル構築フェーズと、(ii)図2に示すスパムメール送信ホスト検出フェーズの2つの部分からなる。
図1に示すプロファイル構築フェーズは、通常、オフライン(非リアルタイム)で実装可能であるが、該フェーズをオンラインで、リアルタイムモードで実行することで、プロファイルを更新できる。スパムメール送信ホスト検出フェーズは、オンラインでリアルタイムに実行可能である。プロファイル構築フェーズでは、様々なホストが様々なポートや宛先アドレスに向けて送出するトラフィックのパターンをクラスタ化する。スパムメール送信ホスト検出フェーズでは、プロファイル構築フェーズで構築されたクラスタに、新規ホストのプロファイルを割り当てる。この2つのフェーズの動作を以下に説明する。
図1に示すプロファイル構築フェーズでは、ステップS11で、潜在的なスパムメール送信ホストのそれぞれから、異なる宛先ポートへのフローを観測しサンプリングする。実施形態では、ポート25に宛ててトラフィックを送出するホストを潜在的なスパムメール送信元と見なす。ただし、潜在的なスパムメール送信元の決定には、他の基準を用いてもよい。
ステップS12では、ステップS11で決定した潜在的なスパムメール送信元又はスパムメール送信ホストに関連付けられたフローデータを一定期間にわたって集約し、多次元ベクトルとして表す、及び/又は多次元ベクトルに変換する。このようなベクトルはそれぞれ1つのホストを表す。
ステップS13では、k−meansクラスタリングアルゴリズム等のクラスタリングアルゴリズムを用いて、ベクトルを複数のクラスタに分類する。クラスタの数は、データのクラスタリングを複数回学習することにより自動的に決定され、同一クラスタ内のホストは同様のフローデータのプロファイルを示し、かつ、異なるクラスタのホストは異なるフローデータのプロファイルを示すように選択される。
ステップS14では、クラスタは1又は複数のDNS(Domain Name Service)ブラックリスト及びホワイトリストを用いてラベル付けされる。このラベル付けは、クラスタ内のホストアドレスとDNSブラックリスト及び/又はホワイトリスト内のホストアドレスとの一致を解析し、同一クラスタ内の均質性を評価する。
また、DNSブラックリスト若しくはホワイトリスト又はそれらの混合内のホストアドレスとの一致の数に基づいて、クラスタのラベル付けの信頼性を示す数値を算出する。信頼性の値が高ければ、クラスタのラベル付けの確実性が高い。この信頼性の値は、スパムメール送信ホスト検出ステージで、新規ホストのプロファイルをラベル付けされたクラスタに割り当てする際に用いられる。
ステップS15では、DNSブラックリストに一致するクラスタ内のホストの数が閾値を超えているかどうかを判定する。ある実施形態では、この閾値は0.5以上と設定してよい。また、ある実施形態では、残りのホストがホワイトリストに載っていない場合にこの閾値を変更してよい。ブラックリストに一致するクラスタ内のホストの数が閾値を超えている場合(S15=YES)、そのクラスタはステップS16において、スパムメール送信クラスタとしてラベル付けされる。
ステップS17では、ベクトルの平均がそのクラスタ内のホストのプロファイルを示すように、各クラスタの原型が計算される。幾何学的に、平均ベクトルはクラスタの中心に対応する。
ブラックリストに一致するクラスタ内のホストの数が閾値を超えない場合(S15=NO)、DNSホワイトリストに一致するホストの数が閾値を超えているかどうかを判定する。閾値を超えている場合(S18=YES)、そのクラスタはステップS19において、非スパムメール送信クラスタとしてラベル付けされる。
ステップS17で、次のクラスタの処理を続ける。
各ホストに対し、ステップS11及びステップS12を行う。
各クラスタに対し、ステップS14〜ステップS19を適宜行う。
図2は、本発明のスパムメール送信元検出フェーズのフローチャートである。
ステップS21では、新規ホスト(例えば、未処理のホスト)を観測し、異なる宛先ポートに宛てた生のフローデータをサンプリングする。更に、この新規ホストに関連付けられた生のフローデータを多次元ベクトルに変換する。
ステップS22では、該新しいベクトルをクラスタと比較する。
ステップS23では、該新しいベクトルをクラスタに割り当てる。該割り当てはクラスタ中心の位置に基づいて行われる。通常、該新しいベクトルは、該新しいベクトルに最も近い中心を持つクラスタに割り当てられる。該割り当てでは、該新しいベクトルのラベル付けをクラスタからコピーし、該クラスタがスパムメール送信クラスタとしてラベル付けされている場合には(該ベクトルにより表される)新しいホストをスパムメール送信元としてラベル付けし、該クラスタが非スパムメール送信クラスタとしてラベル付けされている場合には(該ベクトルにより表される)新しいホストを非スパムメール送信元としてラベル付けする。
図1のステップS14で収集される情報と実行される処理とは、図2のステップS23と基本的に同じものである。ただし、図2のステップS23では、単にクラスタをラベル付けするためだけでなく、新規スパムメール送信元の検出のためにクラスタを用いている。つまり、ステップS14では、クラスタのラベル付けが得られ、ステップS23では、クラスタのラベル付けを用いて新規ホストについての判別を行う。
同様に、図1のステップS11及びステップS12で収集される情報と実行される処理とは、図2のステップS21と基本的に同じものである。ただし、これらのステップの目的は、プロファイル構築フェーズとスパムメール送信元検出フェーズとで異なる。スパムメール送信元検出フェーズでは、クラスタのラベル付けに加えて、原型(例えば、クラスタ中心又は平均)を用いて新規ホストがスパムメール送信元かどうかを判断する。
この新規なスパムメール送信元検出の技術では、ラベルや、同じホストの組におけるトラフィックのパターンに関する知識を必要としない。実際に、本アプローチでは、スパムメール送信元が含まれるか否かが不明でも、ネットワークトラフィック上に観察されるすべてのホスト及びトラフィックのパターンを利用できる。トラフィックのパターンの類似性に基づいて、ホストは自動的にクラスタ化される。
本アプローチでは、固定された(又は非経験的に決定された)カテゴリの概念を用いないため、スパムメール送信元及び非スパムメール送信元という新規なサブカテゴリを採用できる。更に、新しいサブカテゴリの出現を検出するために、この新規な方法を定期的に、自動的に繰り返してもよい。
本アプローチでは、ネットワークフローを分析し、トラフィックの特性に関する仮定を最低限に抑えているため、高速かつ汎用的である。本アプローチの速度で、大規模ネットワーク内でもスパムメール送信ホストを検出できる。
この新規な方法では、自動的に抽出したクラスタ及びカテゴリのラベル付けのためだけにDNSブラックリスト及びDNSホワイトリストを用いる。新規ホストは、クラスタ中心からの距離を基にクラスタに割り当てられ、その後、クラスタのラベルがホストに適用される。
図3は、本発明のシステムの概略図である。
本システムには、CPU10と、メモリ12と、インターネット上の複数のホスト14と、が含まれる。ホスト14として3台のホストが図示されているが、ホストは何台でもよい。
この新規なシステムでは、ホストがインターネット(図示せず)上でCPU10に宛てて情報を送信する。該CPUは、図1及び図2に示したステップを行うモジュールを実行できる。該CPUは、生成された多次元ベクトルをメモリ12に記憶できる。
本開示の様々な局面は、コンピュータ、プロセッサ、及び/又は機械において、実行された場合に、コンピュータ又は機械に上記方法のステップを行わせる、コンピュータ又はコンピュータ利用/読取可能な媒体に実装又は格納されたプログラム、ソフトウェア、命令として実施可能である。
本開示で説明した様々な機能や方法を行うための、機械で実行可能な命令群からなるプログラムを具体化したものである機械読取可能なプログラム記憶デバイス(例えば、コンピュータ読取可能な媒体)もまた、本発明により提供される。
本開示のシステム及び方法は、汎用コンピュータシステム又は専用コンピュータシステムにおいて、実装及び実行可能である。
コンピュータシステムは、現時点若しくは将来的に提供されるシステムであればどのようなものでもよく、典型例として、プロセッサ、メモリ装置、記憶装置、入出力装置、内部バス、及び/又は通信ハードウェア及びソフトウェアを介して他のコンピュータシステムと通信する通信インターフェイス、等が挙げられる。
本システムは、広く「クラウド」として知られる仮想コンピュータシステムにも実装可能である。
コンピュータ読取可能媒体は、コンピュータ読取可能記憶媒体、又はコンピュータ読取可能信号媒体であってよい。コンピュータ読取可能記憶媒体の例としては、磁気、光学、電気、電磁、赤外線、半導体によるシステム、機器、若しくは装置、又はこれらの適切な組み合わせが挙げられるが、これらの例に限定されるものではない。コンピュータ読取可能記憶媒体の具体例としては、可搬型コンピュータディスケット、ハードディスク、磁気記憶装置、可搬型コンパクトディスク読み取り専用メモリ(CD−ROM)、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM、フラッシュメモリ)、1若しくは複数の電線を含む電気的接続、光ファイバ、光学記憶装置、又はこれらの適切な組み合わせが挙げられるが、これらの例に限定されるものではない。命令実行システム、機器、装置によって、若しくはこれらと連携して、用いられるプログラムを含むことができる又は記憶できる有形の媒体であれば、コンピュータ読取可能記憶媒体として用いることができる。
本願で用いられる「コンピュータシステム」及び「コンピュータネットワーク」という用語には、固定型及び/又は可搬型のコンピュータハードウェア、ソフトウェア、外部機器、記憶装置の様々な組み合わせが含まれてよい。該コンピュータシステムには、ネットワークに接続された、若しくは互いにリンクされ協調して機能する複数の部品、又は1若しくは複数のスタンドアロン部品が含まれてよい。本願における該コンピュータシステムのハードウェア及びソフトウェア部品は、デスクトップ、ラップトップ、及び/又はサーバ、サーバネットワーク(クラウド)等の固定型及び可搬型の装置を含んでよく、また、これらに含まれてよい。モジュールは、装置、ソフトウェア、プログラム、又は、所定の機能を実装するシステムの部品であってよく、ソフトウェア、ハードウェア、ファームウェア、電気回路等として実施される。
上記実施形態は説明のための例示にすぎず、本発明はそれらの特定の実施形態に限定されるものではない。請求の範囲に記載された本発明の要旨を逸脱しない範囲において、当業者により種々の改良及び変更が可能である。
10 CPU
12 メモリ
14 ホスト

Claims (9)

  1. ネットワークフローデータプロファイルからスパムメール送信ホストを検知する方法であって、
    前記方法は、1又は複数のクラスタプロファイルを構築する手順と、スパムメール送信ホストを検出する手順とを含み、
    前記1又は複数のクラスタプロファイルを構築する手順は、
    1又は複数のホストからネットワークフローデータを観測する手順と、
    前記1又は複数のホストのそれぞれについて、該ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手順と、
    前記1又は複数のホストの前記1又は複数のベクトルをクラスタリングし複数のクラスタプロファイルとする手順と、
    各クラスタプロファイルを、1又は複数のブラックリスト及び1又は複数のホワイトリストの少なくともいずれかを用いてラベル付けする手順と、
    各クラスタプロファイルのラベル付けの信頼性を算出する手順と、を含み、
    スパムメール送信ホストを検出する手順は、
    新規ホストから前記ネットワークフローデータを観測する手順と、
    前記新規ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手順と、
    前記新規ホストの新規の多次元ベクトルを、前記1又は複数のクラスタプロファイルのうち1つに配置する手順と、を含む、ことを特徴とする方法。
  2. 請求項1に記載の方法であって、
    前記各クラスタプロファイルをラベル付けする手順は、
    前記複数のクラスタプロファイル内の各ホストを前記ブラックリスト及び前記ホワイトリストと照合する手順と、
    前記クラスタプロファイル内のホストに基づいて、ブラックリスト内の一致ホスト数及びホワイトリスト内の一致ホスト数を算出する手順と、
    前記ブラックリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルをスパムメール送信元としてラベル付けする手順と、
    前記ホワイトリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルを非スパムメール送信元としてラベル付けする手順と、
    を含むことを特徴とする方法。
  3. 請求項1に記載の方法であって、
    前記新規の多次元ベクトルを配置する手順は、
    前記新規の多次元ベクトルを前記複数のクラスタのそれぞれと照合する手順と、
    前記新規の多次元ベクトルを、最も近い中心を有するクラスタに配置する手順と、
    を含むことを特徴とする方法。
  4. ネットワークフローデータプロファイルからスパムメール送信ホストを検知する方法をコンピュータに実行させるための実行可能な命令群からなるプログラムを格納する、コンピュータ読み取り可能な記憶媒体であって、
    前記方法は、1又は複数のクラスタプロファイルを構築する手順と、スパムメール送信ホストを検出する手順とを含み、
    前記1又は複数のクラスタプロファイルを構築する手順は、
    1又は複数のホストからネットワークフローデータを観測する手順と、
    前記1又は複数のホストのそれぞれについて、該ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手順と、
    前記1又は複数のホストの前記1又は複数のベクトルをクラスタリングし複数のクラスタプロファイルとする手順と、
    各クラスタプロファイルを、1又は複数のブラックリスト及び1又は複数のホワイトリストの少なくともいずれかを用いてラベル付けする手順と、
    各クラスタプロファイルのラベル付けの信頼性を算出する手順と、を含み、
    前記スパムメール送信ホストを検出する手順は、
    新規ホストから前記ネットワークフローデータを観測する手順と、
    前記新規ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手順と、
    前記新規ホストの新規の多次元ベクトルを、前記1又は複数のクラスタプロファイルのうち1つに配置する手順と、を含むコンピュータ読み取り可能な記憶媒体。
  5. 請求項4に記載のコンピュータ読み取り可能な記憶媒体であって、
    前記各クラスタプロファイルをラベル付けする手順は、
    前記複数のクラスタプロファイル内の各ホストを前記ブラックリスト及び前記ホワイトリストと照合する手順と、
    前記クラスタプロファイル内のホストに基づいて、ブラックリスト内の一致ホスト数及びホワイトリスト内の一致ホスト数を算出する手順と、
    前記ブラックリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルをスパムメール送信元としてラベル付けする手順と、
    前記ホワイトリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルを非スパムメール送信元としてラベル付けする手順と、を含むコンピュータ読み取り可能な記憶媒体。
  6. 請求項4に記載のコンピュータ読み取り可能な記憶媒体であって、
    前記新規の多次元ベクトルを配置する手順は、
    前記新規の多次元ベクトルを前記複数のクラスタと照合する手順と、
    前記新規の多次元ベクトルを、最も近い中心を有するクラスタに配置する手順と、を含むコンピュータ読み取り可能な記憶媒体。
  7. ネットワークフローデータプロファイルからスパムメール送信ホストを検知するシステムであって、
    前記システムは、CPUと、
    1又は複数のクラスタプロファイルを構築し、スパムメール送信ホストを検出するために操作可能なモジュールとを備え、
    前記モジュールは、前記クラスタプロファイルを構築するために、
    1又は複数のホストからネットワークフローデータを観測する手段と、
    前記1又は複数のホストのそれぞれについて、該ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手段と、
    前記1又は複数のホストの前記1又は複数のベクトルをクラスタリングし複数のクラスタプロファイルとする手段と、
    各クラスタプロファイルを、1又は複数のブラックリスト及び1又は複数のホワイトリストの少なくともいずれかを用いてラベル付けする手段と、
    各クラスタプロファイルのラベル付けの信頼性を算出する手段と、を含み、
    前記モジュールは、スパムメール送信ホストを検出するために、
    新規ホストから前記ネットワークフローデータを観測する手段と、
    前記新規ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手段と、
    前記新規ホストの新規の多次元ベクトルを、前記1又は複数のクラスタプロファイルのうち1つに配置する手順と、を含む、システム。
  8. 請求項7に記載のシステムであって、
    前記各クラスタプロファイルをラベル付けする手段は、
    前記複数のクラスタプロファイル内の各ホストを前記ブラックリスト及び前記ホワイトリストと照合する手段と、
    前記クラスタプロファイル内のホストに基づいて、ブラックリスト内の一致ホスト数及びホワイトリスト内の一致ホスト数を算出する手段と、
    前記ブラックリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルをスパムメール送信元としてラベル付けする手段と、
    前記ホワイトリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルを非スパムメール送信元としてラベル付けする手段と、を含む、システム。
  9. 請求項7に記載のシステムであって、
    前記新規の多次元ベクトルを配置する手段は、
    前記新規の多次元ベクトルを前記複数のクラスタのそれぞれと照合する手段と、
    前記前記新規の多次元ベクトルを、最も近い中心を有するクラスタに配置する手段と、を含む、システム。
JP2013035868A 2012-07-12 2013-02-26 ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム Expired - Fee Related JP6053568B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/547,174 2012-07-12
US13/547,174 US8769677B2 (en) 2012-07-12 2012-07-12 System and method for spammer host detection from network flow data profiles

Publications (2)

Publication Number Publication Date
JP2014023144A JP2014023144A (ja) 2014-02-03
JP6053568B2 true JP6053568B2 (ja) 2016-12-27

Family

ID=49915194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013035868A Expired - Fee Related JP6053568B2 (ja) 2012-07-12 2013-02-26 ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム

Country Status (5)

Country Link
US (1) US8769677B2 (ja)
EP (1) EP2873217A4 (ja)
JP (1) JP6053568B2 (ja)
IN (1) IN2015DN01085A (ja)
WO (1) WO2014011799A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799418B2 (en) * 2010-01-13 2014-08-05 Vmware, Inc. Cluster configuration
US9959147B2 (en) 2010-01-13 2018-05-01 Vmware, Inc. Cluster configuration through host ranking
WO2013126336A1 (en) * 2012-02-22 2013-08-29 Applied Communication Sciences Active acquisition of priviledged information
US9794278B1 (en) * 2013-12-19 2017-10-17 Symantec Corporation Network-based whitelisting approach for critical systems
US9917751B2 (en) 2015-06-01 2018-03-13 Lightbend, Inc. Hierarchical service oriented application topology generation for a network
US9954804B2 (en) 2015-07-30 2018-04-24 International Business Machines Coporation Method and system for preemptive harvesting of spam messages
US10397256B2 (en) 2016-06-13 2019-08-27 Microsoft Technology Licensing, Llc Spam classification system based on network flow data
EP3358541B1 (en) * 2017-02-01 2019-07-17 Kapsch TrafficCom AG A method of predicting a traffic behaviour in a road system
US10460101B2 (en) * 2017-06-06 2019-10-29 Microsoft Technology Licensing, Llc Enriching netflow data with passive DNS data for botnet detection
CN113556308B (zh) * 2020-04-23 2022-09-30 深信服科技股份有限公司 一种流量安全性检测方法、系统、设备及计算机存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060015942A1 (en) * 2002-03-08 2006-01-19 Ciphertrust, Inc. Systems and methods for classification of messaging entities
US7949716B2 (en) * 2007-01-24 2011-05-24 Mcafee, Inc. Correlation and analysis of entity attributes
US20090089244A1 (en) 2007-09-27 2009-04-02 Yahoo! Inc. Method of detecting spam hosts based on clustering the host graph
US20090089285A1 (en) 2007-09-28 2009-04-02 Yahoo! Inc. Method of detecting spam hosts based on propagating prediction labels
US20090089373A1 (en) 2007-09-28 2009-04-02 Yahoo! Inc. System and method for identifying spam hosts using stacked graphical learning
US8745731B2 (en) 2008-04-03 2014-06-03 Microsoft Corporation Clustering botnet behavior using parameterized models
JP2009302823A (ja) * 2008-06-12 2009-12-24 Nec Biglobe Ltd 電子メールシステム、電子メール転送方法、プログラム
US8170966B1 (en) * 2008-11-04 2012-05-01 Bitdefender IPR Management Ltd. Dynamic streaming message clustering for rapid spam-wave detection
US8438638B2 (en) * 2010-04-08 2013-05-07 At&T Intellectual Property I, L.P. Bot-network detection based on simple mail transfer protocol (SMTP) characteristics of e-mail senders within IP address aggregates

Also Published As

Publication number Publication date
WO2014011799A1 (en) 2014-01-16
IN2015DN01085A (ja) 2015-06-26
US8769677B2 (en) 2014-07-01
EP2873217A4 (en) 2016-03-23
EP2873217A1 (en) 2015-05-20
US20140020066A1 (en) 2014-01-16
JP2014023144A (ja) 2014-02-03

Similar Documents

Publication Publication Date Title
JP6053568B2 (ja) ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム
US11924072B2 (en) Technologies for annotating process and user information for network flows
CN110115015B (zh) 通过监测其行为检测未知IoT设备的系统和方法
US9578050B1 (en) Service delivery controller for learning network security services
US20170262523A1 (en) Device discovery system
US10686807B2 (en) Intrusion detection system
US11184363B2 (en) Securing network-based compute resources using tags
US11252046B2 (en) System for identifying and assisting in the creation and implementation of a network service configuration using Hidden Markov Models (HMMs)
WO2019168072A1 (ja) トラフィック異常検知装置、トラフィック異常検知方法、及びトラフィック異常検知プログラム
JP2019102960A (ja) サイバー攻撃検知システム、特徴量選定システム、サイバー攻撃検知方法、及びプログラム
US20170230279A1 (en) Classification with a switch
JP2019153894A (ja) 通信制御装置、通信制御方法および通信制御プログラム
US11805140B2 (en) Systems and methods for utilizing a machine learning model to detect anomalies and security attacks in software-defined networking
US20210377129A1 (en) Network building apparatus, network building method, non-transitory computer readable medium storing program
US11496394B2 (en) Internet of things (IoT) device identification on corporate networks via adaptive feature set to balance computational complexity and model bias
US11870693B2 (en) Kernel space based capture using intelligent packet selection paradigm and event output storage determination methodology
CN113794731B (zh) 识别基于cdn流量伪装攻击的方法、装置、设备和介质
US20210288976A1 (en) Methods and apparatus to analyze network traffic for malicious activity
CN112436969A (zh) 一种物联网设备管理方法、系统、设备及介质
US20240098108A1 (en) Evaluating network flow risks
JP7176630B2 (ja) 検知装置、検知方法および検知プログラム
JP7366690B2 (ja) 機器種別推定システム
US11930039B1 (en) Metric space modeling of network communication
JP2018169897A (ja) 検知装置、検知方法及び検知プログラム
JP2018169907A (ja) 検知装置、検知方法及び検知プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161129

R150 Certificate of patent or registration of utility model

Ref document number: 6053568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees