JP6053568B2 - ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム - Google Patents
ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム Download PDFInfo
- Publication number
- JP6053568B2 JP6053568B2 JP2013035868A JP2013035868A JP6053568B2 JP 6053568 B2 JP6053568 B2 JP 6053568B2 JP 2013035868 A JP2013035868 A JP 2013035868A JP 2013035868 A JP2013035868 A JP 2013035868A JP 6053568 B2 JP6053568 B2 JP 6053568B2
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- hosts
- host
- new
- flow data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/101—Access control lists [ACL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/212—Monitoring or handling of messages using filtering or selective blocking
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
また、教師付き学習によるアプローチでは概念カテゴリが学習されず、当初のトレーニングデータにインスタンスが含まれるカテゴリの分類を学習するため、トラフィックのパターンが当初収集したデータから乖離し始めた場合にもパフォーマンスが低下する。
更に、現実には取得が困難な、スパムメール送信ホストとその挙動についての高度に選別された収集データが必要という弱点もある。実際には、スパムメール送信元自体が特定されていても、そのトラフィックのパターンは判明していない場合もある。
一方、多くのホストのトラフィックのパターンは観測可能でも、それらがスパムメール送信元かどうか不明な場合もある。
本アプローチでは、スパムメール送信元が含まれるか否かの知識を必要とすることなく、ネットワークトラフィック上に観測されるすべてのホスト及びトラフィックのパターンを利用でき、トラフィックのパターンの類似性に基づいてすべてのホストが自動的にクラスタ化される。
本アプローチでは、固定された(又は非経験的に決定された)カテゴリの概念を用いないため、スパムメール送信元及び非スパムメール送信元という新規なサブカテゴリを提供できる。
本発明の一側面によれば、該新規の多次元ベクトルを配置する手順が、該新規の多次元ベクトルを該複数のクラスタのそれぞれと照合する手順と、該新規多次元ベクトルを、最も近い中心を有するクラスタに配置する手順と、を含む。
図1に示すプロファイル構築フェーズは、通常、オフライン(非リアルタイム)で実装可能であるが、該フェーズをオンラインで、リアルタイムモードで実行することで、プロファイルを更新できる。スパムメール送信ホスト検出フェーズは、オンラインでリアルタイムに実行可能である。プロファイル構築フェーズでは、様々なホストが様々なポートや宛先アドレスに向けて送出するトラフィックのパターンをクラスタ化する。スパムメール送信ホスト検出フェーズでは、プロファイル構築フェーズで構築されたクラスタに、新規ホストのプロファイルを割り当てる。この2つのフェーズの動作を以下に説明する。
ステップS12では、ステップS11で決定した潜在的なスパムメール送信元又はスパムメール送信ホストに関連付けられたフローデータを一定期間にわたって集約し、多次元ベクトルとして表す、及び/又は多次元ベクトルに変換する。このようなベクトルはそれぞれ1つのホストを表す。
また、DNSブラックリスト若しくはホワイトリスト又はそれらの混合内のホストアドレスとの一致の数に基づいて、クラスタのラベル付けの信頼性を示す数値を算出する。信頼性の値が高ければ、クラスタのラベル付けの確実性が高い。この信頼性の値は、スパムメール送信ホスト検出ステージで、新規ホストのプロファイルをラベル付けされたクラスタに割り当てする際に用いられる。
ステップS15では、DNSブラックリストに一致するクラスタ内のホストの数が閾値を超えているかどうかを判定する。ある実施形態では、この閾値は0.5以上と設定してよい。また、ある実施形態では、残りのホストがホワイトリストに載っていない場合にこの閾値を変更してよい。ブラックリストに一致するクラスタ内のホストの数が閾値を超えている場合(S15=YES)、そのクラスタはステップS16において、スパムメール送信クラスタとしてラベル付けされる。
ステップS17では、ベクトルの平均がそのクラスタ内のホストのプロファイルを示すように、各クラスタの原型が計算される。幾何学的に、平均ベクトルはクラスタの中心に対応する。
ステップS17で、次のクラスタの処理を続ける。
各クラスタに対し、ステップS14〜ステップS19を適宜行う。
ステップS21では、新規ホスト(例えば、未処理のホスト)を観測し、異なる宛先ポートに宛てた生のフローデータをサンプリングする。更に、この新規ホストに関連付けられた生のフローデータを多次元ベクトルに変換する。
ステップS23では、該新しいベクトルをクラスタに割り当てる。該割り当てはクラスタ中心の位置に基づいて行われる。通常、該新しいベクトルは、該新しいベクトルに最も近い中心を持つクラスタに割り当てられる。該割り当てでは、該新しいベクトルのラベル付けをクラスタからコピーし、該クラスタがスパムメール送信クラスタとしてラベル付けされている場合には(該ベクトルにより表される)新しいホストをスパムメール送信元としてラベル付けし、該クラスタが非スパムメール送信クラスタとしてラベル付けされている場合には(該ベクトルにより表される)新しいホストを非スパムメール送信元としてラベル付けする。
本アプローチでは、固定された(又は非経験的に決定された)カテゴリの概念を用いないため、スパムメール送信元及び非スパムメール送信元という新規なサブカテゴリを採用できる。更に、新しいサブカテゴリの出現を検出するために、この新規な方法を定期的に、自動的に繰り返してもよい。
本アプローチでは、ネットワークフローを分析し、トラフィックの特性に関する仮定を最低限に抑えているため、高速かつ汎用的である。本アプローチの速度で、大規模ネットワーク内でもスパムメール送信ホストを検出できる。
本システムには、CPU10と、メモリ12と、インターネット上の複数のホスト14と、が含まれる。ホスト14として3台のホストが図示されているが、ホストは何台でもよい。
この新規なシステムでは、ホストがインターネット(図示せず)上でCPU10に宛てて情報を送信する。該CPUは、図1及び図2に示したステップを行うモジュールを実行できる。該CPUは、生成された多次元ベクトルをメモリ12に記憶できる。
本開示で説明した様々な機能や方法を行うための、機械で実行可能な命令群からなるプログラムを具体化したものである機械読取可能なプログラム記憶デバイス(例えば、コンピュータ読取可能な媒体)もまた、本発明により提供される。
コンピュータシステムは、現時点若しくは将来的に提供されるシステムであればどのようなものでもよく、典型例として、プロセッサ、メモリ装置、記憶装置、入出力装置、内部バス、及び/又は通信ハードウェア及びソフトウェアを介して他のコンピュータシステムと通信する通信インターフェイス、等が挙げられる。
本システムは、広く「クラウド」として知られる仮想コンピュータシステムにも実装可能である。
12 メモリ
14 ホスト
Claims (9)
- ネットワークフローデータプロファイルからスパムメール送信ホストを検知する方法であって、
前記方法は、1又は複数のクラスタプロファイルを構築する手順と、スパムメール送信ホストを検出する手順とを含み、
前記1又は複数のクラスタプロファイルを構築する手順は、
1又は複数のホストからネットワークフローデータを観測する手順と、
前記1又は複数のホストのそれぞれについて、該ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手順と、
前記1又は複数のホストの前記1又は複数のベクトルをクラスタリングし複数のクラスタプロファイルとする手順と、
各クラスタプロファイルを、1又は複数のブラックリスト及び1又は複数のホワイトリストの少なくともいずれかを用いてラベル付けする手順と、
各クラスタプロファイルのラベル付けの信頼性を算出する手順と、を含み、
スパムメール送信ホストを検出する手順は、
新規ホストから前記ネットワークフローデータを観測する手順と、
前記新規ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手順と、
前記新規ホストの新規の多次元ベクトルを、前記1又は複数のクラスタプロファイルのうち1つに配置する手順と、を含む、ことを特徴とする方法。 - 請求項1に記載の方法であって、
前記各クラスタプロファイルをラベル付けする手順は、
前記複数のクラスタプロファイル内の各ホストを前記ブラックリスト及び前記ホワイトリストと照合する手順と、
前記クラスタプロファイル内のホストに基づいて、ブラックリスト内の一致ホスト数及びホワイトリスト内の一致ホスト数を算出する手順と、
前記ブラックリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルをスパムメール送信元としてラベル付けする手順と、
前記ホワイトリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルを非スパムメール送信元としてラベル付けする手順と、
を含むことを特徴とする方法。 - 請求項1に記載の方法であって、
前記新規の多次元ベクトルを配置する手順は、
前記新規の多次元ベクトルを前記複数のクラスタのそれぞれと照合する手順と、
前記新規の多次元ベクトルを、最も近い中心を有するクラスタに配置する手順と、
を含むことを特徴とする方法。 - ネットワークフローデータプロファイルからスパムメール送信ホストを検知する方法をコンピュータに実行させるための実行可能な命令群からなるプログラムを格納する、コンピュータ読み取り可能な記憶媒体であって、
前記方法は、1又は複数のクラスタプロファイルを構築する手順と、スパムメール送信ホストを検出する手順とを含み、
前記1又は複数のクラスタプロファイルを構築する手順は、
1又は複数のホストからネットワークフローデータを観測する手順と、
前記1又は複数のホストのそれぞれについて、該ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手順と、
前記1又は複数のホストの前記1又は複数のベクトルをクラスタリングし複数のクラスタプロファイルとする手順と、
各クラスタプロファイルを、1又は複数のブラックリスト及び1又は複数のホワイトリストの少なくともいずれかを用いてラベル付けする手順と、
各クラスタプロファイルのラベル付けの信頼性を算出する手順と、を含み、
前記スパムメール送信ホストを検出する手順は、
新規ホストから前記ネットワークフローデータを観測する手順と、
前記新規ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手順と、
前記新規ホストの新規の多次元ベクトルを、前記1又は複数のクラスタプロファイルのうち1つに配置する手順と、を含むコンピュータ読み取り可能な記憶媒体。 - 請求項4に記載のコンピュータ読み取り可能な記憶媒体であって、
前記各クラスタプロファイルをラベル付けする手順は、
前記複数のクラスタプロファイル内の各ホストを前記ブラックリスト及び前記ホワイトリストと照合する手順と、
前記クラスタプロファイル内のホストに基づいて、ブラックリスト内の一致ホスト数及びホワイトリスト内の一致ホスト数を算出する手順と、
前記ブラックリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルをスパムメール送信元としてラベル付けする手順と、
前記ホワイトリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルを非スパムメール送信元としてラベル付けする手順と、を含むコンピュータ読み取り可能な記憶媒体。 - 請求項4に記載のコンピュータ読み取り可能な記憶媒体であって、
前記新規の多次元ベクトルを配置する手順は、
前記新規の多次元ベクトルを前記複数のクラスタと照合する手順と、
前記新規の多次元ベクトルを、最も近い中心を有するクラスタに配置する手順と、を含むコンピュータ読み取り可能な記憶媒体。 - ネットワークフローデータプロファイルからスパムメール送信ホストを検知するシステムであって、
前記システムは、CPUと、
1又は複数のクラスタプロファイルを構築し、スパムメール送信ホストを検出するために操作可能なモジュールとを備え、
前記モジュールは、前記クラスタプロファイルを構築するために、
1又は複数のホストからネットワークフローデータを観測する手段と、
前記1又は複数のホストのそれぞれについて、該ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手段と、
前記1又は複数のホストの前記1又は複数のベクトルをクラスタリングし複数のクラスタプロファイルとする手段と、
各クラスタプロファイルを、1又は複数のブラックリスト及び1又は複数のホワイトリストの少なくともいずれかを用いてラベル付けする手段と、
各クラスタプロファイルのラベル付けの信頼性を算出する手段と、を含み、
前記モジュールは、スパムメール送信ホストを検出するために、
新規ホストから前記ネットワークフローデータを観測する手段と、
前記新規ホストに関連付けられた前記ネットワークフローデータを多次元ベクトルとして表す手段と、
前記新規ホストの新規の多次元ベクトルを、前記1又は複数のクラスタプロファイルのうち1つに配置する手順と、を含む、システム。 - 請求項7に記載のシステムであって、
前記各クラスタプロファイルをラベル付けする手段は、
前記複数のクラスタプロファイル内の各ホストを前記ブラックリスト及び前記ホワイトリストと照合する手段と、
前記クラスタプロファイル内のホストに基づいて、ブラックリスト内の一致ホスト数及びホワイトリスト内の一致ホスト数を算出する手段と、
前記ブラックリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルをスパムメール送信元としてラベル付けする手段と、
前記ホワイトリスト内の一致ホスト数が閾値よりも多い場合に、前記クラスタプロファイルを非スパムメール送信元としてラベル付けする手段と、を含む、システム。 - 請求項7に記載のシステムであって、
前記新規の多次元ベクトルを配置する手段は、
前記新規の多次元ベクトルを前記複数のクラスタのそれぞれと照合する手段と、
前記前記新規の多次元ベクトルを、最も近い中心を有するクラスタに配置する手段と、を含む、システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/547,174 | 2012-07-12 | ||
US13/547,174 US8769677B2 (en) | 2012-07-12 | 2012-07-12 | System and method for spammer host detection from network flow data profiles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014023144A JP2014023144A (ja) | 2014-02-03 |
JP6053568B2 true JP6053568B2 (ja) | 2016-12-27 |
Family
ID=49915194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013035868A Expired - Fee Related JP6053568B2 (ja) | 2012-07-12 | 2013-02-26 | ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8769677B2 (ja) |
EP (1) | EP2873217A4 (ja) |
JP (1) | JP6053568B2 (ja) |
IN (1) | IN2015DN01085A (ja) |
WO (1) | WO2014011799A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9959147B2 (en) | 2010-01-13 | 2018-05-01 | Vmware, Inc. | Cluster configuration through host ranking |
US8799418B2 (en) * | 2010-01-13 | 2014-08-05 | Vmware, Inc. | Cluster configuration |
US9135570B2 (en) * | 2012-02-22 | 2015-09-15 | Vencore Labs, Inc. | Active acquisition of privileged information |
US9794278B1 (en) * | 2013-12-19 | 2017-10-17 | Symantec Corporation | Network-based whitelisting approach for critical systems |
US9917751B2 (en) | 2015-06-01 | 2018-03-13 | Lightbend, Inc. | Hierarchical service oriented application topology generation for a network |
US9954804B2 (en) | 2015-07-30 | 2018-04-24 | International Business Machines Coporation | Method and system for preemptive harvesting of spam messages |
US10397256B2 (en) | 2016-06-13 | 2019-08-27 | Microsoft Technology Licensing, Llc | Spam classification system based on network flow data |
ES2753220T3 (es) * | 2017-02-01 | 2020-04-07 | Kapsch Trafficcom Ag | Un procedimiento para predecir un comportamiento del tráfico en un sistema de carreteras |
US10460101B2 (en) * | 2017-06-06 | 2019-10-29 | Microsoft Technology Licensing, Llc | Enriching netflow data with passive DNS data for botnet detection |
CN113556308B (zh) * | 2020-04-23 | 2022-09-30 | 深信服科技股份有限公司 | 一种流量安全性检测方法、系统、设备及计算机存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060015942A1 (en) * | 2002-03-08 | 2006-01-19 | Ciphertrust, Inc. | Systems and methods for classification of messaging entities |
US7949716B2 (en) * | 2007-01-24 | 2011-05-24 | Mcafee, Inc. | Correlation and analysis of entity attributes |
US20090089244A1 (en) | 2007-09-27 | 2009-04-02 | Yahoo! Inc. | Method of detecting spam hosts based on clustering the host graph |
US20090089285A1 (en) | 2007-09-28 | 2009-04-02 | Yahoo! Inc. | Method of detecting spam hosts based on propagating prediction labels |
US20090089373A1 (en) | 2007-09-28 | 2009-04-02 | Yahoo! Inc. | System and method for identifying spam hosts using stacked graphical learning |
US8745731B2 (en) | 2008-04-03 | 2014-06-03 | Microsoft Corporation | Clustering botnet behavior using parameterized models |
JP2009302823A (ja) * | 2008-06-12 | 2009-12-24 | Nec Biglobe Ltd | 電子メールシステム、電子メール転送方法、プログラム |
US8170966B1 (en) * | 2008-11-04 | 2012-05-01 | Bitdefender IPR Management Ltd. | Dynamic streaming message clustering for rapid spam-wave detection |
US8438638B2 (en) * | 2010-04-08 | 2013-05-07 | At&T Intellectual Property I, L.P. | Bot-network detection based on simple mail transfer protocol (SMTP) characteristics of e-mail senders within IP address aggregates |
-
2012
- 2012-07-12 US US13/547,174 patent/US8769677B2/en active Active
-
2013
- 2013-02-26 JP JP2013035868A patent/JP6053568B2/ja not_active Expired - Fee Related
- 2013-07-10 IN IN1085DEN2015 patent/IN2015DN01085A/en unknown
- 2013-07-10 WO PCT/US2013/049964 patent/WO2014011799A1/en active Application Filing
- 2013-07-10 EP EP13816019.7A patent/EP2873217A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20140020066A1 (en) | 2014-01-16 |
WO2014011799A1 (en) | 2014-01-16 |
EP2873217A1 (en) | 2015-05-20 |
EP2873217A4 (en) | 2016-03-23 |
IN2015DN01085A (ja) | 2015-06-26 |
US8769677B2 (en) | 2014-07-01 |
JP2014023144A (ja) | 2014-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6053568B2 (ja) | ネットワークフローデータプロファイルからのスパムメール送信ホストの検知方式とシステム | |
US11924072B2 (en) | Technologies for annotating process and user information for network flows | |
US20210294820A1 (en) | Device discovery system | |
CN110115015B (zh) | 通过监测其行为检测未知IoT设备的系统和方法 | |
US9578050B1 (en) | Service delivery controller for learning network security services | |
US11252046B2 (en) | System for identifying and assisting in the creation and implementation of a network service configuration using Hidden Markov Models (HMMs) | |
US10686807B2 (en) | Intrusion detection system | |
US11184363B2 (en) | Securing network-based compute resources using tags | |
US10425436B2 (en) | Identifying bulletproof autonomous systems | |
JP2019149681A (ja) | トラフィック異常検知装置、トラフィック異常検知方法、及びトラフィック異常検知プログラム | |
US10187297B2 (en) | Classification with a switch | |
JP2019102960A (ja) | サイバー攻撃検知システム、特徴量選定システム、サイバー攻撃検知方法、及びプログラム | |
US11805140B2 (en) | Systems and methods for utilizing a machine learning model to detect anomalies and security attacks in software-defined networking | |
US11496394B2 (en) | Internet of things (IoT) device identification on corporate networks via adaptive feature set to balance computational complexity and model bias | |
JP2019153894A (ja) | 通信制御装置、通信制御方法および通信制御プログラム | |
TWI703846B (zh) | Url異常定位方法、裝置、伺服器及儲存媒體 | |
US11870693B2 (en) | Kernel space based capture using intelligent packet selection paradigm and event output storage determination methodology | |
US20210377129A1 (en) | Network building apparatus, network building method, non-transitory computer readable medium storing program | |
JP2018169897A (ja) | 検知装置、検知方法及び検知プログラム | |
US20240098108A1 (en) | Evaluating network flow risks | |
JP7176630B2 (ja) | 検知装置、検知方法および検知プログラム | |
JP7366690B2 (ja) | 機器種別推定システム | |
US11930039B1 (en) | Metric space modeling of network communication | |
US20240356957A1 (en) | Iterative cross-product threat detection based on network telemetry relationships | |
JP2018169907A (ja) | 検知装置、検知方法及び検知プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6053568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |