JP7435744B2 - 識別方法、識別装置及び識別プログラム - Google Patents
識別方法、識別装置及び識別プログラム Download PDFInfo
- Publication number
- JP7435744B2 JP7435744B2 JP2022510295A JP2022510295A JP7435744B2 JP 7435744 B2 JP7435744 B2 JP 7435744B2 JP 2022510295 A JP2022510295 A JP 2022510295A JP 2022510295 A JP2022510295 A JP 2022510295A JP 7435744 B2 JP7435744 B2 JP 7435744B2
- Authority
- JP
- Japan
- Prior art keywords
- flow data
- feature
- feature information
- data
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000005516 engineering process Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006978 adaptation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2475—Traffic characterised by specific attributes, e.g. priority or QoS for supporting traffic characterised by the type of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/026—Capturing of monitoring data using flow identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
図1は、実施の形態における通信システムの構成の一例を示すブロック図である。図1に示すように、実施の形態における通信システムでは、小規模ネットワーク(NW)機器2A,2Bと、識別対象NWルータ3A,3Bと、識別装置10と、を有する。複数の小規模NW機器2A,2Bと、複数の識別対象NWルータ3A,3Bと、識別装置10とは、ネットワークを介して通信を行う。なお、図1においては、小規模NW機器2A,2B及び識別対象NWルータ3A,3Bは、複数である場合を示すが、それぞれ単数であってもよい。
次に、図1を参照して、識別装置10について説明する。図1に示すように、識別装置10は、収集部11、シグネチャ生成部12、フローデータ生成部13、シグネチャデータベース(DB)14、特徴量計算部15、ラベル付加部16、識別器学習部17(学習部)、学習済み識別器18、アプリケーション識別部19(識別部)、及び、出力部20を有する。
次に、図1に示す識別装置10が実行する識別器に対する学習処理について説明する。図2は、実施の形態に係る学習処理の処理手順を示すフローチャートである。
次に、図1に示す識別装置10が実行する、識別対象NWのフローデータのIPアドレスに対応するアプリケーションを識別する識別処理について説明する。図3は、実施の形態に係る識別処理の処理手順を示すフローチャートである。
識別装置10の適用例について説明する。図4は、実施の形態に係る識別装置10の適用例を説明する図である。
図5は、実施の形態に係る識別装置10の他の適用例を説明する図である。図5に示すように、大規模なトラフィックデータDtからごく少量含まれる悪性通信を検知する際に識別装置10を適用する。
このように、本実施の形態に係る識別装置10は、識別器に、小規模NWのデータから生成したラベルつきの学習データを用いて学習させた後、ドメイン適用技術を用いて、ラベルなしの大規模NWである識別対象NWのフローデータと、ラベルなしの小規模NWのデータとを学習させる。
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図6は、プログラムが実行されることにより、識別装置10が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
3A,3B 識別対象NWルータ
10 識別装置
11 収集部
12 シグネチャ生成部
13 フローデータ生成部
14 シグネチャデータベース(DB)
15 特徴量計算部
16 ラベル付加部
17 識別器学習部
18 学習済み識別器
19 アプリケーション識別部
20 出力部
Claims (5)
- アプリケーションを識別する識別装置が実行する識別方法であって、
所定のルールを満たす小規模ネットワークからのパケットデータ及び識別対象の大規模ネットワークの第1のフローデータを収集する収集工程と、
前記小規模ネットワークからのパケットデータを分析してアプリケーションとIPアドレスとを対応付けるシグネチャを生成するシグネチャ生成工程と、
前記小規模ネットワークからのパケットデータから第2のフローデータを生成するフローデータ生成工程と、
前記大規模ネットワークの第1のフローデータについてIPアドレスごとの統計的な特徴量である第1の特徴量情報を計算し、前記第2のフローデータについてIPアドレスごとの統計的な特徴量である第2の特徴量情報を計算する計算工程と、
前記シグネチャを用いて前記第2の特徴量情報にラベルを付加する付加工程と、
識別器に、前記第1の特徴量情報及び前記第2の特徴量情報を学習データとして前記アプリケーションの識別を学習させる学習工程と、
を含み、
前記学習工程は、前記ラベルが付加された前記第2の特徴量情報を学習データとして事前に前記識別器に学習させ、ラベルなしの前記第1の特徴量情報とラベルなしの前記第2の特徴量情報とを用いて、ドメイン適用技術により前記識別器の学習を行うことを特徴とする識別方法。 - 前記識別器を用いて、識別対象であるフローデータのIPアドレスに対応するアプリケーションを識別する識別工程をさらに含み、
前記収集工程は、前記識別対象であるフローデータを収集し、
前記計算工程は、前記識別対象であるフローデータについてIPアドレスごとの統計的な特徴量である識別用特徴量情報を計算し、
前記識別工程は、前記識別用特徴量情報を前記識別器に入力し、前記識別器から出力された識別結果を基に、前記識別対象であるフローデータのIPアドレスに対応するアプリケーションを識別することを特徴とする請求項1に記載の識別方法。 - 前記計算工程は、24時間あたりの、あるIPアドレスを送信元及び/または送信先とするフローデータの集合から、パケット数のヒストグラム、バイト数のヒストグラム、または、バイト及びパケット数のヒストグラムの少なくともいずれか一つを計算することを特徴とする請求項1または2に記載の識別方法。
- アプリケーションを識別する識別装置であって、
所定のルールを満たす小規模ネットワークからのパケットデータ及び識別対象の大規模ネットワークの第1のフローデータを収集する収集部と、
前記小規模ネットワークからのパケットデータを分析してアプリケーションとIPアドレスとを対応付けるシグネチャを生成するシグネチャ生成部と、
前記小規模ネットワークからのパケットデータから第2のフローデータを生成するフローデータ生成部と、
前記大規模ネットワークの第1のフローデータについてIPアドレスごとの統計的な特徴量である第1の特徴量情報を計算し、前記第2のフローデータについてIPアドレスごとの統計的な特徴量である第2の特徴量情報を計算する特徴量計算部と、
前記シグネチャを用いて前記第2の特徴量情報にラベルを付加するラベル付加部と、
識別器に、前記第1の特徴量情報及び前記第2の特徴量情報を学習データとして前記アプリケーションの識別を学習させる学習部と、
を有し、
前記学習部は、前記ラベルが付加された前記第2の特徴量情報を学習データとして事前に前記識別器に学習させ、ラベルなしの前記第1の特徴量情報とラベルなしの前記第2の特徴量情報とを用いて、ドメイン適用技術により前記識別器の学習を行うことを特徴とすることを特徴とする識別装置。 - 所定のルールを満たす小規模ネットワークからのパケットデータ及び識別対象の大規模ネットワークの第1のフローデータを収集する収集ステップと、
前記小規模ネットワークからのパケットデータを分析してアプリケーションとIPアドレスとを対応付けるシグネチャを生成するシグネチャ生成ステップと、
前記小規模ネットワークからのパケットデータから第2のフローデータを生成するフローデータ生成ステップと、
前記大規模ネットワークの第1のフローデータについてIPアドレスごとの統計的な特徴量である第1の特徴量情報を計算し、前記第2のフローデータについてIPアドレスごとの統計的な特徴量である第2の特徴量情報を計算する計算ステップと、
前記シグネチャを用いて前記第2の特徴量情報にラベルを付加する付加ステップと、
識別器に、前記第1の特徴量情報及び前記第2の特徴量情報を学習データとしてアプリケーションの識別を学習させる学習ステップと、
をコンピュータに実行させ、
前記学習ステップは、前記ラベルが付加された前記第2の特徴量情報を学習データとして事前に前記識別器に学習させ、ラベルなしの前記第1の特徴量情報とラベルなしの前記第2の特徴量情報とを用いて、ドメイン適用技術により前記識別器の学習を行う識別プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/013849 WO2021192186A1 (ja) | 2020-03-26 | 2020-03-26 | 識別方法、識別装置及び識別プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021192186A1 JPWO2021192186A1 (ja) | 2021-09-30 |
JP7435744B2 true JP7435744B2 (ja) | 2024-02-21 |
Family
ID=77891011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022510295A Active JP7435744B2 (ja) | 2020-03-26 | 2020-03-26 | 識別方法、識別装置及び識別プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230136929A1 (ja) |
JP (1) | JP7435744B2 (ja) |
WO (1) | WO2021192186A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7843843B1 (en) * | 2004-03-29 | 2010-11-30 | Packeteer, Inc. | Adaptive, application-aware selection of differntiated network services |
US8332334B2 (en) * | 2009-09-24 | 2012-12-11 | Yahoo! Inc. | System and method for cross domain learning for data augmentation |
US9038172B2 (en) * | 2011-05-06 | 2015-05-19 | The Penn State Research Foundation | Robust anomaly detection and regularized domain adaptation of classifiers with application to internet packet-flows |
US10375090B2 (en) * | 2017-03-27 | 2019-08-06 | Cisco Technology, Inc. | Machine learning-based traffic classification using compressed network telemetry data |
-
2020
- 2020-03-26 WO PCT/JP2020/013849 patent/WO2021192186A1/ja active Application Filing
- 2020-03-26 US US17/912,041 patent/US20230136929A1/en active Pending
- 2020-03-26 JP JP2022510295A patent/JP7435744B2/ja active Active
Non-Patent Citations (1)
Title |
---|
飛山 駿,少量のパケットデータを用いた大規模フローデータに適用可能なWebアプリケーション識別手法,電子情報通信学会技術研究報告 Vol.118 No.486 [online],日本,一般社団法人電子情報通信学会,2019年02月28日,pp.53-58 |
Also Published As
Publication number | Publication date |
---|---|
US20230136929A1 (en) | 2023-05-04 |
JPWO2021192186A1 (ja) | 2021-09-30 |
WO2021192186A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110597734B (zh) | 一种适用于工控私有协议的模糊测试用例生成方法 | |
JP4076974B2 (ja) | ネットワーク・トラフィックの自動特性記述 | |
US20040236866A1 (en) | Automated characterization of network traffic | |
US20180285397A1 (en) | Entity-centric log indexing with context embedding | |
US20100042565A1 (en) | Mezzazine in-depth data analysis facility | |
CN111953552B (zh) | 数据流的分类方法和报文转发设备 | |
CN109861957A (zh) | 一种移动应用私有加密协议的用户行为精细化分类方法及系统 | |
JP2009527839A (ja) | 通信ネットワークのトランザクション監視のための方法及びシステム | |
CN115600128A (zh) | 一种半监督加密流量分类方法、装置及存储介质 | |
Perona et al. | Service-independent payload analysis to improve intrusion detection in network traffic | |
Fan et al. | AutoIoT: Automatically updated IoT device identification with semi-supervised learning | |
Guo et al. | FullSight: A feasible intelligent and collaborative framework for service function chains failure detection | |
CN114666273A (zh) | 一种面向应用层未知网络协议的流量分类方法 | |
CN118138306A (zh) | 一种基于机器学习的加密流量分类方法 | |
JP7435744B2 (ja) | 識別方法、識別装置及び識別プログラム | |
Erdenebaatar et al. | Analyzing traffic characteristics of instant messaging applications on android smartphones | |
CN112235254A (zh) | 一种高速主干网中Tor网桥的快速识别方法 | |
CN115242724B (zh) | 一种基于两阶段聚类的高速网络流量服务分类方法 | |
WO2021001879A1 (ja) | トラフィック監視装置、およびトラフィック監視方法 | |
Sija et al. | Survey on network protocol reverse engineering approaches, methods and tools | |
CN113037551B (zh) | 一种基于流量切片的涉敏业务快速识别定位方法 | |
WO2022118373A1 (ja) | 識別器生成装置、識別器生成方法および識別器生成プログラム | |
Alshammari et al. | Performance comparison of four rule sets: An example for encrypted traffic classification | |
US12056000B1 (en) | Anomaly detection by analyzing logs using machine learning | |
CN115589362B (zh) | 设备类型指纹的生成方法及识别方法、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220819 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A801 Effective date: 20220819 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20220819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7435744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |