JP7391313B2 - Web attack detection and blocking system and method using artificial intelligence machine learning behavior-based web protocol analysis - Google Patents

Web attack detection and blocking system and method using artificial intelligence machine learning behavior-based web protocol analysis Download PDF

Info

Publication number
JP7391313B2
JP7391313B2 JP2022551682A JP2022551682A JP7391313B2 JP 7391313 B2 JP7391313 B2 JP 7391313B2 JP 2022551682 A JP2022551682 A JP 2022551682A JP 2022551682 A JP2022551682 A JP 2022551682A JP 7391313 B2 JP7391313 B2 JP 7391313B2
Authority
JP
Japan
Prior art keywords
web
user
request packet
http request
attack detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022551682A
Other languages
Japanese (ja)
Other versions
JP2023516621A (en
Inventor
デホ リ
ドングン リ
インヨン リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F1 Security Inc
Original Assignee
F1 Security Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F1 Security Inc filed Critical F1 Security Inc
Publication of JP2023516621A publication Critical patent/JP2023516621A/en
Application granted granted Critical
Publication of JP7391313B2 publication Critical patent/JP7391313B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Description

本発明は、ウェブ攻撃検知システムおよび方法に関し、特に、人工知能マシンラーニング行為ベースウェブプロトコル分析によるウェブ攻撃検知システムおよび方法に関する。 TECHNICAL FIELD The present invention relates to a web attack detection system and method, and more particularly to a web attack detection system and method using artificial intelligence machine learning behavior-based web protocol analysis.

現在、ＨＴＴＰ通信上での攻撃検知方法として、インジェクション攻撃、パラメータ検査、アップロードバイナリ検査などペイロード中心の研究が活発に行われている。 Currently, payload-centered research is being actively conducted as methods for detecting attacks on HTTP communications, such as injection attacks, parameter inspection, and upload binary inspection.

人工知能ベース攻撃検知方法に関する研究も活発に行われている。従来の人工知能ベース攻撃検知方法は、ネットワークとペイロード（Ｌｅｎｇｔｈ ｏｆ ｐａｙｌｏａｄ、Ｂｙｔｅ ｅｎｔｒｏｐｙ ｏｆ ｐａｙｌｏａｄ、Ｎｕｍｂｅｒ ｏｆ ｄｉｓｔｉｎｃｔ ｂｙｔｅｓなど）に基づいてデータセット（Ｄａｔａ ｓｅｔ）およびフィーチャ（Ｆｅａｔｕｒｅ）を抽出したため、ウェブ攻撃検知の正確度が低い問題があった。 Research on artificial intelligence-based attack detection methods is also actively being conducted. Conventional artificial intelligence-based attack detection methods extract data sets and features based on the network and payload (Length of payload, Byte entropy of payload, Number of distinct bytes, etc.), making it difficult to detect web attacks. There was a problem with low accuracy.

そのため、ユーザのウェブ行為に基づいてフィーチャの選択、抽出、およびクラスタリングを行うことで、ウェブ攻撃検知の正確度を向上させることができる技術が求められている。 Therefore, there is a need for a technology that can improve the accuracy of web attack detection by selecting, extracting, and clustering features based on users' web activities.

本発明が解決しようとする技術的課題は、ユーザのウェブ行為に基づいてフィーチャの選択、抽出、およびクラスタリングを行うことで、ウェブ攻撃検知の正確度を向上させることができる人工知能ベースのウェブ攻撃検知システムおよび方法を提供することである。 The technical problem to be solved by the present invention is to improve the accuracy of web attack detection by selecting, extracting, and clustering features based on users' web behavior. An object of the present invention is to provide a detection system and method.

一実施形態によると、人工知能ベースのウェブ攻撃検知システムが提供される。前記ウェブ攻撃検知システムは、ウェブユーザから複数のＨＴＴＰ要請パケットを受信するフィルタ部と、前記複数のＨＴＴＰ要請パケットから複数のフィーチャを抽出し、前記複数のフィーチャに基づいて前記複数のＨＴＴＰ要請パケットを複数のグループにクラスタリングし、クラスタリングされた情報をウェブ管理者サーバに伝送し、前記ウェブ管理者サーバから前記複数のグループが異常クラスタであるか否かに関するラベリング情報を受信し、前記ラベリング情報に基づいて機械学習を行う学習部と、ウェブユーザから受信するＨＴＴＰ要請パケットを入力変数とする前記機械学習を用いて、前記ウェブユーザから受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであるか否かを判断する分析部とを含む。 According to one embodiment, an artificial intelligence-based web attack detection system is provided. The web attack detection system includes a filter unit that receives a plurality of HTTP request packets from a web user, extracts a plurality of features from the plurality of HTTP request packets, and extracts a plurality of features from the plurality of HTTP request packets based on the plurality of features. clustering into a plurality of groups, transmitting the clustered information to a web administrator server, receiving labeling information regarding whether the plurality of groups are abnormal clusters from the web administrator server, and based on the labeling information. a learning unit that performs machine learning based on the information received from the web user, and the machine learning that uses the HTTP request packet received from the web user as an input variable to determine whether or not the HTTP request packet received from the web user is a web attack packet. analysis department.

前記ウェブ攻撃検知システムは、前記クラスタリングされた情報に基づいて、画面上に各クラスタを互いに異なる色で出力し、前記ウェブ管理者サーバから各クラスタに対応するラベリング情報の提供を受ける視覚化部をさらに含むことができる。 The web attack detection system outputs each cluster on the screen in a different color based on the clustered information, and includes a visualization unit that receives labeling information corresponding to each cluster from the web administrator server. It can further include:

前記複数のフィーチャは、ウェブユーザの遠隔公認ＩＰ、ウェブユーザのメイン要請パケット、メイン要請パケットによって連結される下位要請パケットの数、下位要請パケットのリソース種類、下位要請のリソース種類別の個数、要請パケットのヘッダ、要請ユーザのセッションＩＤ、セッションＩＤの生成間隔、セッションＩＤの更新繰り返し数、要請パケットのグループ内でのヘッダクッキーの変化、および要請パケットのグループ内でのヘッダユーザエージェントの変化のうち少なくとも一つを含むことができる。 The plurality of features include a remote authorized IP of the web user, a main request packet of the web user, the number of sub-request packets connected by the main request packet, resource types of the sub-request packets, the number of resource types of sub-requests, and requests. Packet header, requesting user's session ID, session ID generation interval, session ID update repetition number, change in header cookie within a group of request packets, and change in header user agent within a group of request packets. It can include at least one.

前記分析部は、前記ウェブユーザから受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであると判断した場合、要請リソースを遮断するかまたはリダイレクション動作を行うことができる。 If the analysis unit determines that the HTTP request packet received from the web user is a web attack packet, it may block the requested resource or perform a redirection operation.

一実施形態によると、人工知能ベースのウェブ攻撃検知方法が提供される。前記ウェブ攻撃検知方法は、ウェブユーザから受信する複数のＨＴＴＰ要請パケットを用いて機械学習を行うステップと、ウェブユーザから受信するＨＴＴＰ要請パケットを入力変数とする前記機械学習を用いて、前記ウェブユーザから受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであるか否かを判断するステップとを含み、前記機械学習を行うステップは、ウェブユーザから複数のＨＴＴＰ要請パケットを受信するステップと、前記複数のＨＴＴＰ要請パケットから複数のフィーチャを抽出するステップと、前記複数のフィーチャに基づいて前記複数のＨＴＴＰ要請パケットを複数のグループにクラスタリングするステップと、クラスタリングされた情報をウェブ管理者サーバに伝送するステップと、前記ウェブ管理者サーバから前記複数のグループが異常クラスタであるか否かに関するラベリング情報を受信するステップと、前記ラベリング情報に基づいて機械学習を行うステップとを含む。 According to one embodiment, an artificial intelligence-based web attack detection method is provided. The web attack detection method includes a step of performing machine learning using a plurality of HTTP request packets received from a web user, and a step of performing machine learning using a plurality of HTTP request packets received from a web user as an input variable. The step of performing machine learning includes the step of receiving a plurality of HTTP request packets from a web user, and the step of determining whether an HTTP request packet received from a web user is a web attack packet. extracting a plurality of features from the packets; clustering the plurality of HTTP request packets into a plurality of groups based on the plurality of features; and transmitting the clustered information to a web administrator server; The method includes the steps of receiving labeling information regarding whether the plurality of groups are abnormal clusters from a web administrator server, and performing machine learning based on the labeling information.

前記複数のフィーチャは、ウェブユーザの遠隔公認ＩＰ、ウェブユーザのメイン要請パケット、メイン要請パケットによって連結される下位要請パケットの数、下位要請パケットのリソース種類、下位要請のリソース種類別の個数、要請パケットのヘッダ、要請ユーザのセッションＩＤ、セッションＩＤの生成間隔、セッションＩＤの更新繰り返し数、要請パケットのグループ内でのヘッダクッキーの変化、および要請パケットのグループ内でのヘッダユーザエージェントの変化のうち少なくとも一つを含むことができる。 The plurality of features include a remote authorized IP of the web user, a main request packet of the web user, the number of sub-request packets connected by the main request packet, resource types of the sub-request packets, the number of resource types of sub-requests, and requests. Packet header, requesting user's session ID, session ID generation interval, session ID update repetition number, change in header cookie within a group of request packets, and change in header user agent within a group of request packets. It can include at least one.

ユーザのウェブ行為に基づいて、フィーチャの選択、抽出、およびクラスタリングを行うことで、ウェブ攻撃検知の正確度を向上させることができる。 Selection, extraction, and clustering of features based on users' web behavior can improve the accuracy of web attack detection.

複数のＨＴＴＰ要請パケット群に対して、フィーチャの選択、抽出、クラスタリングを行うことで、ハッカーのハッキング試み前の異常行為（例：単独リソースの要請および命令要請、明示的なエラー発生誘導、存在しないリソースの周期的な要請、所定間隔の均一な要請パターン、同じエラーの繰り返しの発生、ＧｅｏＩＰによる不可能な移動要請行為判別）に関する検知が可能である。 By selecting, extracting, and clustering features for multiple HTTP request packet groups, we can detect abnormal behavior (e.g., requests for single resources and requests for commands, explicit error induction, nonexistence) before a hacker attempts hacking. It is possible to detect periodic requests for resources, uniform request patterns at predetermined intervals, repeated occurrence of the same error, and determination of movement request behavior that is impossible by GeoIP.

各フィールド別の値に対してフィーチャの選択、抽出、およびクラスタリングを行うことで、コンテンツ（Ｃｏｎｔｅｎｔ）全体に対してクラスタリングを行うことに比べて攻撃検知の正確度を向上させることができる。 By performing feature selection, extraction, and clustering on values for each field, the accuracy of attack detection can be improved compared to performing clustering on the entire content.

一実施形態による人工知能ベースのウェブ攻撃検知システムのブロック図である。1 is a block diagram of an artificial intelligence-based web attack detection system according to one embodiment. FIG. 一実施形態によるＨＴＴＰ要請パケットを説明するための図である。FIG. 2 is a diagram illustrating an HTTP request packet according to an embodiment. 一実施形態による視覚化部の動作内容を説明するための図である。FIG. 6 is a diagram for explaining the operation contents of a visualization unit according to an embodiment. 一実施形態による人工知能ベースのウェブ攻撃検知方法のフローチャートである。1 is a flowchart of an artificial intelligence-based web attack detection method according to one embodiment. 一実施形態による人工知能ベースのウェブ攻撃検知方法のフローチャートである。1 is a flowchart of an artificial intelligence-based web attack detection method according to one embodiment.

以下、添付の図面を参照して、本発明の実施形態について、本発明が属する技術分野において通常の知識を有する者が容易に実施するように詳細に説明する。しかし、本発明は、様々な相違する形態に具現されることができ、ここで説明する実施形態に限定されない。また、図面において、本発明を明確に説明するために、説明と関係のない部分は省略し、明細書の全体にわたり、類似する部分に対しては類似する図面符号を付けた。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so as to be easily carried out by a person having ordinary skill in the technical field to which the present invention pertains. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein. Further, in the drawings, in order to clearly explain the present invention, parts unrelated to the description are omitted, and similar parts are given similar drawing symbols throughout the specification.

明細書の全体において、ある部分がある構成要素を「含む」とした時に、これは、特別に反対の意味の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含み得ることを意味する。 Throughout the specification, when a part is said to "include" a certain component, this does not mean excluding other components, unless there is a specific statement to the contrary. It means that it can be included.

図１は一実施形態による人工知能ベースのウェブ攻撃検知システムのブロック図である。図２は一実施形態によるＨＴＴＰ要請パケットを説明するための図である。図３は一実施形態による視覚化部の動作内容を説明するための図である。 FIG. 1 is a block diagram of an artificial intelligence-based web attack detection system according to one embodiment. FIG. 2 is a diagram illustrating an HTTP request packet according to an embodiment. FIG. 3 is a diagram for explaining the operation contents of the visualization unit according to one embodiment.

図１を参照すると、一実施形態による人工知能ベースのウェブ攻撃検知システム１００は、フィルタ部１１０と、学習部１２０と、分析部１３０と、データベース部１４０と、視覚化部１５０とを含む。 Referring to FIG. 1, an artificial intelligence-based web attack detection system 100 according to an embodiment includes a filter unit 110, a learning unit 120, an analysis unit 130, a database unit 140, and a visualization unit 150.

フィルタ部１１０は、ウェブユーザ１０から複数のＨＴＴＰ要請パケットを受信する。フィルタ部１１０は、ウェブユーザ１０のＨＴＴＰ要請パケットを受信すると、分析部１３０に攻撃検知要請メッセージを伝送する。 The filter unit 110 receives a plurality of HTTP request packets from the web user 10. Upon receiving the HTTP request packet from the web user 10, the filter unit 110 transmits an attack detection request message to the analysis unit 130.

フィルタ部１１０は、一実施形態として、分析部１３０から攻撃検知結果を受信して遮断動作（例：Ｄｅｎｙ、Ａｌｌｏｗ）を行うか、またはフィルタリングされたデータをウェブアプリケーションに伝達することができる。 In one embodiment, the filter unit 110 may receive the attack detection result from the analysis unit 130 and perform a blocking operation (eg, Deny, Allow), or may transmit the filtered data to the web application.

フィルタ部１１０は、一実施形態として、分析部１３０によってフィルタリング処理された（例：住民登録番号などの個人情報および注釈の除去が行われた）ＨＴＴＰ応答を実際のウェブユーザ１０に伝達することができる。フィルタ部１１０は、一実施形態として、アパッチ（Ａｐａｃｈｅ）フィルタモジュールであることができる。 In one embodiment, the filter unit 110 may transmit the HTTP response that has been filtered by the analysis unit 130 (for example, personal information such as a resident registration number and annotations have been removed) to the actual web user 10. can. In one embodiment, the filter unit 110 may be an Apache filter module.

学習部１２０は、ウェブユーザ１０から受信した複数のＨＴＴＰ要請パケット（ウェブトラフィック）に対して前処理を行い、前処理されたデータからフィーチャの選択（Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ）、抽出（Ｅｘｔｒａｃｔｉｏｎ）、クラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）、およびウェブ管理者サーバ３０から受信したラベリング情報に基づいて機械学習を行う。 The learning unit 120 performs preprocessing on a plurality of HTTP request packets (web traffic) received from the web user 10, and performs feature selection, extraction, and clustering from the preprocessed data. ) and the labeling information received from the web administrator server 30.

具体的には、学習部１２０は、一実施形態として、予め格納されたアルゴリズムを用いて、前処理過程として、Ｊｓｏｎ形式になっているＨＴＴＰトラフィック情報からフィーチャ抽出のためのデータに加工する。 Specifically, in one embodiment, the learning unit 120 uses a pre-stored algorithm to process HTTP traffic information in Json format into data for feature extraction as a preprocessing process.

学習部１２０は、予め格納されたアルゴリズムを用いて、前処理された複数のＨＴＴＰ要請パケットから複数のフィーチャを選択および抽出する。学習部１２０は、表１のように、複数のＨＴＴＰ要請パケットのコンテンツタイプ（Ｃｏｎｔｅｎｔ―Ｔｙｐｅ）別にデータ値（ｖａｌｕｅ）を抽出する。 The learning unit 120 selects and extracts a plurality of features from the plurality of preprocessed HTTP request packets using a pre-stored algorithm. As shown in Table 1, the learning unit 120 extracts data values for each content type of a plurality of HTTP request packets.

学習部１２０は、予め格納されたアルゴリズムを用いて、複数のフィーチャに基づいて複数のＨＴＴＰ要請パケットを複数のグループにクラスタリングする。学習部１２０は、ＨＴＴＰ Ｍａｉｎ Ｒｅｑｕｅｓｔを始まりとするすべてのサブ要請（Ｓｕｂ Ｒｅｑｕｅｓｔ）を所定時間（例：最大１０秒）の間要請グループ（Ｒｅｑｕｅｓｔ Ｇｒｏｕｐ）にクラスタリング（グループ分け）することができる。 The learning unit 120 clusters the plurality of HTTP request packets into a plurality of groups based on a plurality of features using a pre-stored algorithm. The learning unit 120 may cluster (group) all sub-requests starting from the HTTP main request into request groups for a predetermined period of time (eg, up to 10 seconds).

複数のフィーチャは、表２のようにウェブユーザの遠隔公認ＩＰ、ウェブユーザのメイン要請パケット、メイン要請パケットによって連結される下位要請パケットの数、下位要請パケットのリソース種類、下位要請のリソース種類別の個数、要請パケットのヘッダ、要請ユーザのセッションＩＤ、セッションＩＤの生成間隔、セッションＩＤの更新繰り返し数、要請パケットのグループ内でのヘッダクッキーの変化、および要請パケットのグループ内でのヘッダユーザエージェントの変化を含むことができる。 As shown in Table 2, the multiple features include the web user's remote authorized IP, the web user's main request packet, the number of sub-request packets connected by the main request packet, the resource type of the sub-request packet, and the resource type of the sub-request. request packet header, session ID of the requesting user, session ID generation interval, session ID update repetition number, change in header cookie within a group of request packets, and header user agent within a group of request packets. can include changes in

学習部１２０は、クラスタリングされた情報（グループ分けした情報）をウェブ管理者サーバ３０に伝送する。学習部１２０は、ウェブ管理者サーバ３０から複数のグループが異常クラスタであるか否かに関するラベリング情報を受信する。ウェブ管理者サーバ３０は、ウェブ管理者または保安管理者からクラスタリングされた情報に関する正常または異常ラベリング（Ｌａｂｅｌｉｎｇ）設定情報の入力を受けることができる。 The learning unit 120 transmits the clustered information (grouped information) to the web administrator server 30. The learning unit 120 receives labeling information regarding whether a plurality of groups are abnormal clusters from the web administrator server 30. The web administrator server 30 may receive input of normal or abnormal labeling setting information regarding clustered information from a web administrator or a security administrator.

学習部１２０は、予め格納されたアルゴリズムを用いて、ウェブ管理者サーバ３０から受信したラベリング情報に基づいて機械学習を行う。予め格納されたアルゴリズムは、一実施形態として、教師なし学習（Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）アルゴリズムまたは教師あり学習（Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）アルゴリズムであることができる。 The learning unit 120 performs machine learning based on the labeling information received from the web administrator server 30 using a pre-stored algorithm. The pre-stored algorithm may be an unsupervised learning algorithm or a supervised learning algorithm, in one embodiment.

図２を参照すると、ウェブユーザは、ほとんどがウェブブラウザまたはモバイルアプリを使用するため、ウェブサーバに要請されるＨＴＴＰ要請（Ｒｅｑｕｅｓｔ）パケットは、一つではなく、複数であることができる。本発明は、複数のＨＴＴＰ要請パケット群に対して、フィーチャの選択、抽出、クラスタリングを行うことで、ハッカーのハッキング試み前の異常行為（例：単独リソースの要請および命令要請、明示的なエラー発生誘導、存在しないリソースの周期的な要請、所定間隔の均一な要請パターン、同じエラーの繰り返しの発生、ＧｅｏＩＰによる不可能な移動要請行為判別）に関する検知が可能である。 Referring to FIG. 2, since most web users use web browsers or mobile applications, multiple HTTP request packets may be requested from the web server instead of one. By selecting, extracting, and clustering features for multiple HTTP request packet groups, the present invention detects abnormal behavior (e.g., single resource request, command request, explicit error occurrence) before a hacker attempts hacking. guidance, periodic requests for non-existent resources, uniform request patterns at predetermined intervals, repeated occurrence of the same error, and determination of impossible movement request behavior by GeoIP).

コンテンツタイプ（Ｃｏｎｔｅｎｔ―Ｔｙｐｅ）の場合、コンテンツ（Ｃｏｎｔｅｎｔ）がフィールドと値で構成されており、本発明は、各フィールド別の値に対してフィーチャの選択、抽出、およびクラスタリングを行うことで、コンテンツ（Ｃｏｎｔｅｎｔ）全体に対してクラスタリングを行うことに比べて、攻撃検知の正確度を向上させることができる。 In the case of a content type (Content-Type), the content (Content) is composed of fields and values, and the present invention selects, extracts, and clusters features for the values of each field. The accuracy of attack detection can be improved compared to performing clustering on the entire (Content).

分析部１３０は、ウェブユーザ１０から受信するＨＴＴＰ要請パケットを入力変数とする機械学習を用いて、ウェブユーザ１０から受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであるか否かを判断する。 The analysis unit 130 uses machine learning using the HTTP request packet received from the web user 10 as an input variable to determine whether the HTTP request packet received from the web user 10 is a web attack packet.

分析部１３０は、ウェブユーザ１０から受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであると判断した場合、要請リソースを遮断するかまたはリダイレクション（Ｒｅｄｉｒｅｃｔｉｏｎ）動作を行うことができる。 If the analysis unit 130 determines that the HTTP request packet received from the web user 10 is a web attack packet, it may block the requested resource or perform a redirection operation.

分析部１３０は、ＨＴＴＰ要請パケットに対する分析結果をフィルタ部１１０に伝達する。 The analysis unit 130 transmits the analysis result of the HTTP request packet to the filter unit 110.

分析部１３０は、一実施形態として、ウェブファイアウォールデーモンモジュールであることができる。分析部１３０は、複数のユーザのウェブサーバに設置されているフィルタモジュールに対する支援、すなわち、多重ウェブサーバまたは仮想ウェブサーバ支援を行うことができる。 The analysis unit 130 may be a web firewall daemon module in one embodiment. The analysis unit 130 may support filter modules installed in web servers of multiple users, that is, support multiple web servers or virtual web servers.

データベース部１４０は、フィルタ部１１０が受信したデータおよび分析部１３０により分析または処理されたデータを格納する。 The database unit 140 stores data received by the filter unit 110 and data analyzed or processed by the analysis unit 130.

データベース部１４０は、Ｊｓｏｎ形式のＤｏｃｕｍｅｎｔをすぐ格納および制御することができ、オート－シャーディング（Ａｕｔｏ―Ｓｈａｒｄｉｎｇ）により、分散格納および処理を行うことができる。データベース部１４０は、一実施形態として、ＭｏｎｇｏＤＢであることができる。 The database unit 140 can immediately store and control documents in Json format, and can perform distributed storage and processing using auto-sharding. In one embodiment, the database unit 140 may be MongoDB.

図３を参照すると、視覚化部１５０は、学習部１２０によりクラスタリングされた情報に基づいて、ウェブブラウザの画面上に各クラスタを互いに異なる色で出力することができる。視覚化部１５０は、予め格納された多次元視覚化ツール（例：Ｔｅｎｓｏｒｂｏａｒｄ）を用いて、ウェブブラウザの画面上に各クラスタを互いに異なる色で出力することができる。 Referring to FIG. 3, the visualization unit 150 can output each cluster in a different color on the screen of the web browser based on the information clustered by the learning unit 120. The visualization unit 150 may output each cluster in a different color on the web browser screen using a pre-stored multidimensional visualization tool (eg, Tensorboard).

視覚化部１５０は、ウェブ管理者サーバ３０から各クラスタに対応するラベリング情報の提供を受けて学習部１２０に伝達することができる。 The visualization unit 150 may receive labeling information corresponding to each cluster from the web administrator server 30 and transmit it to the learning unit 120.

図４および図５は一実施形態による人工知能ベースのウェブ攻撃検知方法のフローチャートである。 4 and 5 are flowcharts of an artificial intelligence-based web attack detection method according to one embodiment.

図４および図５を参照すると、人工知能ベースのウェブ攻撃検知方法は、ウェブユーザから受信する複数のＨＴＴＰ要請パケットを用いて機械学習を行うステップ（Ｓ１００）と、ウェブユーザから受信するＨＴＴＰ要請パケットを入力変数とする機械学習を用いて、ウェブユーザから受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであるか否かを判断するステップ（Ｓ２００）とを含み、機械学習を行うステップ（Ｓ１００）は、ウェブユーザから複数のＨＴＴＰ要請パケットを受信するステップ（Ｓ１１０）と、複数のＨＴＴＰ要請パケットから複数のフィーチャを抽出するステップ（Ｓ１２０）と、複数のフィーチャに基づいて複数のＨＴＴＰ要請パケットを複数のグループにクラスタリングするステップ（Ｓ１３０）と、クラスタリングされた情報をウェブ管理者サーバに伝送するステップ（Ｓ１４０）と、ウェブ管理者サーバから複数のグループが異常クラスタであるか否かに関するラベリング情報を受信するステップ（Ｓ１５０）と、ラベリング情報に基づいて機械学習を行うステップ（Ｓ１６０）とを含む。 Referring to FIGS. 4 and 5, the artificial intelligence-based web attack detection method includes a step (S100) of performing machine learning using a plurality of HTTP request packets received from a web user; The step of performing machine learning (S100) includes a step (S200) of determining whether an HTTP request packet received from a web user is a web attack packet using machine learning using as an input variable. A step of receiving a plurality of HTTP request packets from a user (S110), a step of extracting a plurality of features from the plurality of HTTP request packets (S120), and a step of grouping the plurality of HTTP request packets into a plurality of groups based on the plurality of features. A step of clustering (S130), a step of transmitting the clustered information to the web administrator server (S140), and a step of receiving labeling information regarding whether a plurality of groups are abnormal clusters from the web administrator server ( S150) and a step of performing machine learning based on the labeling information (S160).

ウェブユーザから受信する複数のＨＴＴＰ要請パケットを用いて機械学習を行うステップ（Ｓ１００）と、ウェブユーザから受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであるか否かを判断するステップ（Ｓ２００）と、ウェブユーザから複数のＨＴＴＰ要請パケットを受信するステップ（Ｓ１１０）と、複数のＨＴＴＰ要請パケットから複数のフィーチャを抽出するステップ（Ｓ１２０）と、複数のフィーチャに基づいて複数のＨＴＴＰ要請パケットを複数のグループにクラスタリングするステップ（Ｓ１３０）と、クラスタリングされた情報をウェブ管理者サーバに伝送するステップ（Ｓ１４０）と、ウェブ管理者サーバから複数のグループが異常クラスタであるか否かに関するラベリング情報を受信するステップ（Ｓ１５０）と、ラベリング情報に基づいて機械学習を行うステップ（Ｓ１６０）は、上述のウェブ攻撃検知システム１００の動作内容と同一であるため、詳細な説明は省略する。 A step of performing machine learning using a plurality of HTTP request packets received from a web user (S100), a step of determining whether the HTTP request packet received from a web user is a web attack packet (S200), A step of receiving a plurality of HTTP request packets from a user (S110), a step of extracting a plurality of features from the plurality of HTTP request packets (S120), and a step of grouping the plurality of HTTP request packets into a plurality of groups based on the plurality of features. A step of clustering (S130), a step of transmitting the clustered information to the web administrator server (S140), and a step of receiving labeling information regarding whether a plurality of groups are abnormal clusters from the web administrator server ( S150) and the step of performing machine learning based on labeling information (S160) are the same as the operations of the web attack detection system 100 described above, so detailed explanations will be omitted.

以上、本発明の実施形態について詳細に説明しているが、本発明の権利範囲は、これに限定されず、以下の請求の範囲で定義している本発明の基本概念を用いた当業者の様々な変形および改良形態も本発明の権利範囲に属する。 Although the embodiments of the present invention have been described in detail above, the scope of rights of the present invention is not limited thereto. Various modifications and improvements also fall within the scope of the invention.

Claims (6)

人工知能ベースのウェブ攻撃検知システムであって、
ウェブユーザから複数のＨＴＴＰ要請パケットを受信するフィルタ部と、
前記複数のＨＴＴＰ要請パケットから複数のフィーチャを抽出し、前記複数のフィーチャに基づいて前記複数のＨＴＴＰ要請パケットを複数のグループにクラスタリングし、クラスタリングされた情報をウェブ管理者サーバに伝送し、前記ウェブ管理者サーバから前記複数のグループが異常クラスタであるか否かに関するラベリング情報を受信し、前記ラベリング情報に基づいて機械学習を行う学習部と、
ウェブユーザから受信するＨＴＴＰ要請パケットを入力変数とする前記機械学習を用いて、前記ウェブユーザから受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであるか否かを判断する分析部とを含む、ウェブ攻撃検知システム。 An artificial intelligence-based web attack detection system,
a filter unit that receives a plurality of HTTP request packets from a web user;
extracting a plurality of features from the plurality of HTTP request packets; clustering the plurality of HTTP request packets into a plurality of groups based on the plurality of features; transmitting the clustered information to a web administrator server; a learning unit that receives labeling information regarding whether or not the plurality of groups are abnormal clusters from an administrator server, and performs machine learning based on the labeling information;
a web attack detection unit that uses the machine learning using the HTTP request packet received from the web user as an input variable to determine whether the HTTP request packet received from the web user is a web attack packet; system. 前記クラスタリングされた情報に基づいて、画面上に各クラスタを互いに異なる色で出力し、前記ウェブ管理者サーバから各クラスタに対応するラベリング情報の提供を受ける視覚化部をさらに含む、請求項１に記載のウェブ攻撃検知システム。 2. The computer according to claim 1, further comprising a visualization unit that outputs each cluster in a different color on a screen based on the clustered information and receives labeling information corresponding to each cluster from the web administrator server. Described web attack detection system. 前記複数のフィーチャは、
ウェブユーザの遠隔公認ＩＰ、ウェブユーザのメイン要請パケット、メイン要請パケットによって連結される下位要請パケットの数、下位要請パケットのリソース種類、下位要請のリソース種類別の個数、要請パケットのヘッダ、要請ユーザのセッションＩＤ、セッションＩＤの生成間隔、セッションＩＤの更新繰り返し数、要請パケットのグループ内でのヘッダクッキーの変化、および要請パケットのグループ内でのヘッダユーザエージェントの変化のうち少なくとも一つを含む、請求項１に記載のウェブ攻撃検知システム。 The plurality of features are
Remote authorized IP of the web user, main request packet of the web user, number of lower request packets connected by the main request packet, resource type of the lower request packet, number of each resource type of lower request packet, header of the request packet, requesting user including at least one of a session ID, a session ID generation interval, a session ID update repetition number, a change in a header cookie within a group of request packets, and a change in a header user agent within a group of request packets, The web attack detection system according to claim 1. 前記分析部は、
前記ウェブユーザから受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであると判断した場合、要請リソースを遮断するかまたはリダイレクション動作を行う、請求項１に記載のウェブ攻撃検知システム。 The analysis department is
The web attack detection system according to claim 1, wherein if the HTTP request packet received from the web user is determined to be a web attack packet, the system blocks the requested resource or performs a redirection operation. 人工知能ベースのウェブ攻撃検知方法であって、
ウェブユーザから受信する複数のＨＴＴＰ要請パケットを用いて機械学習を行うステップと、
ウェブユーザから受信するＨＴＴＰ要請パケットを入力変数とする前記機械学習を用いて、前記ウェブユーザから受信するＨＴＴＰ要請パケットがウェブ攻撃パケットであるか否かを判断するステップとを含み、
前記機械学習を行うステップは、
ウェブユーザから複数のＨＴＴＰ要請パケットを受信するステップと、
前記複数のＨＴＴＰ要請パケットから複数のフィーチャを抽出するステップと、
前記複数のフィーチャに基づいて前記複数のＨＴＴＰ要請パケットを複数のグループにクラスタリングするステップと、
クラスタリングされた情報をウェブ管理者サーバに伝送するステップと、
前記ウェブ管理者サーバから前記複数のグループが異常クラスタであるか否かに関するラベリング情報を受信するステップと、
前記ラベリング情報に基づいて機械学習を行うステップとを含む、ウェブ攻撃検知方法。 An artificial intelligence-based web attack detection method, comprising:
performing machine learning using a plurality of HTTP request packets received from web users;
using the machine learning using the HTTP request packet received from the web user as an input variable, and determining whether the HTTP request packet received from the web user is a web attack packet;
The step of performing machine learning includes:
receiving a plurality of HTTP request packets from a web user;
extracting a plurality of features from the plurality of HTTP request packets;
clustering the plurality of HTTP request packets into a plurality of groups based on the plurality of features;
transmitting the clustered information to a web administrator server;
receiving labeling information regarding whether the plurality of groups are abnormal clusters from the web administrator server;
and performing machine learning based on the labeling information. 前記複数のフィーチャは、
ウェブユーザの遠隔公認ＩＰ、ウェブユーザのメイン要請パケット、メイン要請パケットによって連結される下位要請パケットの数、下位要請パケットのリソース種類、下位要請のリソース種類別の個数、要請パケットのヘッダ、要請ユーザのセッションＩＤ、セッションＩＤの生成間隔、セッションＩＤの更新繰り返し数、要請パケットのグループ内でのヘッダクッキーの変化、および要請パケットのグループ内でのヘッダユーザエージェントの変化のうち少なくとも一つを含む、請求項５に記載のウェブ攻撃検知方法。 The plurality of features are
Remote authorized IP of the web user, main request packet of the web user, number of lower request packets connected by the main request packet, resource type of the lower request packet, number of each resource type of lower request packet, header of the request packet, requesting user including at least one of a session ID, a session ID generation interval, a session ID update repetition number, a change in a header cookie within a group of request packets, and a change in a header user agent within a group of request packets, The web attack detection method according to claim 5.
JP2022551682A 2020-02-25 2020-12-08 Web attack detection and blocking system and method using artificial intelligence machine learning behavior-based web protocol analysis Active JP7391313B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200023050A KR102156891B1 (en) 2020-02-25 2020-02-25 System and method for detecting and blocking web attack through web protocol behavior analysis based on ai machine learning
KR10-2020-0023050 2020-02-25
PCT/KR2020/017799 WO2021172711A1 (en) 2020-02-25 2020-12-08 System and method for detecting and blocking web attack through web protocol analysis on basis of artificial intelligence machine learning behavior

Publications (2)

Publication Number Publication Date
JP2023516621A JP2023516621A (en) 2023-04-20
JP7391313B2 true JP7391313B2 (en) 2023-12-05

Family

ID=72669431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022551682A Active JP7391313B2 (en) 2020-02-25 2020-12-08 Web attack detection and blocking system and method using artificial intelligence machine learning behavior-based web protocol analysis

Country Status (3)

Country Link
JP (1) JP7391313B2 (en)
KR (1) KR102156891B1 (en)
WO (1) WO2021172711A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102156891B1 (en) * 2020-02-25 2020-09-16 주식회사 에프원시큐리티 System and method for detecting and blocking web attack through web protocol behavior analysis based on ai machine learning
KR102443811B1 (en) * 2021-11-12 2022-09-19 주식회사 에프원시큐리티 System and method for providing web firewall service based on artificial intelligence self-learning
CN114095238A (en) * 2021-11-17 2022-02-25 中国银行股份有限公司 Attack early warning system and method for mobile terminal application program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013232716A (en) 2012-04-27 2013-11-14 Nippon Telegr & Teleph Corp <Ntt> Attack determination apparatus, attack determination method and attack determination program
JP2019185183A (en) 2018-04-03 2019-10-24 積水ハウス株式会社 Communication device protection management server and communication device protection system
JP2019535068A (en) 2016-09-16 2019-12-05 オラクル・インターナショナル・コーポレイション Implement dynamic policies to detect threats and visualize access

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961870B1 (en) * 2008-05-13 2010-06-09 (주)이지서티 Web security system and method by examination in each network layer
KR101383069B1 (en) * 2013-05-27 2014-04-08 한국전자통신연구원 Apparatus and method for detecting anomalous state of network
KR102030837B1 (en) * 2013-09-30 2019-10-10 한국전력공사 Apparatus and method for intrusion detection
KR101666177B1 (en) * 2015-03-30 2016-10-14 한국전자통신연구원 Malicious domain cluster detection apparatus and method
KR102001814B1 (en) * 2016-12-27 2019-07-19 한국인터넷진흥원 A method and apparatus for detecting malicious scripts based on mobile device
KR102156891B1 (en) * 2020-02-25 2020-09-16 주식회사 에프원시큐리티 System and method for detecting and blocking web attack through web protocol behavior analysis based on ai machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013232716A (en) 2012-04-27 2013-11-14 Nippon Telegr & Teleph Corp <Ntt> Attack determination apparatus, attack determination method and attack determination program
JP2019535068A (en) 2016-09-16 2019-12-05 オラクル・インターナショナル・コーポレイション Implement dynamic policies to detect threats and visualize access
JP2019185183A (en) 2018-04-03 2019-10-24 積水ハウス株式会社 Communication device protection management server and communication device protection system

Also Published As

Publication number Publication date
WO2021172711A1 (en) 2021-09-02
KR102156891B1 (en) 2020-09-16
JP2023516621A (en) 2023-04-20

Similar Documents

Publication Publication Date Title
JP7391313B2 (en) Web attack detection and blocking system and method using artificial intelligence machine learning behavior-based web protocol analysis
US11552954B2 (en) Private cloud control
EP3535657B1 (en) Extracting encryption metadata and terminating malicious connections using machine learning
Lu et al. Clustering botnet communication traffic based on n-gram feature selection
EP2661049B1 (en) System and method for malware detection
US11184387B2 (en) Network attack defense system and method
WO2016006520A1 (en) Detection device, detection method and detection program
KR20180127649A (en) System and method for automatic device detection
KR101250899B1 (en) Apparatus for detecting and preventing application layer distribute denial of service attack and method
US20110016523A1 (en) Apparatus and method for detecting distributed denial of service attack
Bachupally et al. Network security analysis using Big Data technology
WO2018057691A1 (en) Unsupervised classification of web traffic users
KR101210622B1 (en) Method for detecting ip shared router and system thereof
US10931713B1 (en) Passive detection of genuine web browsers based on security parameters
Yu et al. Cross-layer protocol fingerprint for large-scale fine-grain devices identification
Wang et al. Botcapturer: Detecting botnets based on two-layered analysis with graph anomaly detection and network traffic clustering
KR101196325B1 (en) Distributed denial of service attack search apparatus and method thereof
JP2015103090A (en) Authentication system, authentication device, authentication method and authentication program
Zurutuza Clustered federated learning architecture for network anomaly detection in large scale heterogeneous IoT networks
KR101045332B1 (en) System for sharing information and method of irc and http botnet
US12074771B2 (en) Enhanced device classification including crowdsourced classifications for increased accuracy
US20240064158A1 (en) Automatic threat actor attribution based on multiple evidence
CN115335111A (en) Techniques for detecting exploits of manufacturing equipment vulnerabilities
CN117527775A (en) HTTP request response method, device and equipment
JP2005085158A (en) Improper access detector, and abnormal data detecting method over computer network

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220905

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7391313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150