JP7331421B2 - Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system - Google Patents
Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system Download PDFInfo
- Publication number
- JP7331421B2 JP7331421B2 JP2019071497A JP2019071497A JP7331421B2 JP 7331421 B2 JP7331421 B2 JP 7331421B2 JP 2019071497 A JP2019071497 A JP 2019071497A JP 2019071497 A JP2019071497 A JP 2019071497A JP 7331421 B2 JP7331421 B2 JP 7331421B2
- Authority
- JP
- Japan
- Prior art keywords
- abnormality
- learning data
- learning
- degree
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
本発明は、異常判定学習器、異常判定学習プログラム、異常判定学習方法、及び異常判定システムに関し、例えば、サイバー攻撃監視のための異常検知システムに適用し得る。 The present invention relates to an anomaly determination learning device, an anomaly determination learning program, an anomaly determination learning method, and an anomaly determination system, and can be applied, for example, to an anomaly detection system for monitoring cyberattacks.
従来、サイバー攻撃監視の目的で、プロキシサーバなどの社内装置に記録されるログ情報を調査し、マルウェアのダウンロードや攻撃者サーバとの通信といった悪性通信を検出する取り組みが実施されている。 Conventionally, for the purpose of monitoring cyberattacks, efforts have been made to investigate log information recorded on in-house devices such as proxy servers to detect malicious communications such as malware downloads and communications with attacker servers.
一般にアクセス履歴などのログ情報は膨大であり、そのほとんどが悪性でない通信によるログ情報であることが多い。そのような前提で、すべてのログ情報の中から悪性通信を総当り的に見つけ出すというアプローチは、監視工数が大きく効率的ではない。 Log information such as access histories is generally huge, and most of it is often log information from non-malicious communications. On this premise, the approach of brute-force finding malicious communications from all log information requires a large amount of monitoring man-hours and is not efficient.
近年、悪性通信の検知に教師なし学習を利用してログ情報を分析し、定常状態からの逸脱を検知する取り組みが盛んに行われている。本アプローチでは、攻撃の情報を用いた複雑なルールを構築する必要がない代わりに、誤検知及び検出漏れ又は検知ミスが多くなるという問題も考えられる。 In recent years, many efforts have been made to detect deviations from the steady state by analyzing log information using unsupervised learning to detect malicious communications. In this approach, there is a problem that false positives and missed detections or missed detections increase in exchange for not needing to build complicated rules using attack information.
一方、既知の攻撃の情報を用いることで、複雑ではあるが感度の高いルールを構築し、誤検知及び検知漏れ数の軽減を目指す取り組みもある。例えば、特許文献1には、将来のネットワーク攻撃を検知及び予測するために、教師あり学習により判定ルールを自動的に学習するシステムが開示されている。特許文献1に記載のシステムのルールは、新たな攻撃についてのフィードバック信号を分析することにより定期的に更新され、新たな攻撃に自動的に追従することが想定されている。このように、システムに対して教師データをフィードバックすることで自動学習させ、検知精度を高めるという概念は、サイバー攻撃による悪性通信の検知にも適用し得るものである。
On the other hand, there is also an effort to reduce the number of false positives and false negatives by constructing complex but highly sensitive rules by using information on known attacks. For example,
しかしながら、サイバー攻撃による悪性通信の検知に、「正常」、「異常」といった教師データをフィードバックする場合には、対象とする指標の教師データとしての有効性を考慮しなければならない。例えば、正常時の教師データとして接続先FQDN(Fully Qualified Domain Name)に関連する指標をフィードバックする場合、その後、その接続先サイトが改ざんされ、マルウェアを仕込まれるようなケースを考慮しなければならない。 However, when feeding back teacher data such as "normal" and "abnormal" to detect malicious communications caused by cyberattacks, the effectiveness of target indicators as teacher data must be considered. For example, when feeding back an index related to a connection destination FQDN (Fully Qualified Domain Name) as normal training data, it is necessary to consider a case where the connection destination site is subsequently tampered with and malware is installed.
また逆に、正規サイトに埋め込まれたマルウェアを検知し、異常時の教師データとして接続先FQDNに関連する指標をフィードバックする場合、その後、その接続先サイトからマルウェアが除去され、正常状態に復帰するようなケースを考慮しなければならない。 Conversely, if malware embedded in a legitimate site is detected and an index related to the connection destination FQDN is fed back as training data in the event of an abnormality, then the malware is removed from the connection destination site and the state returns to normal. Such cases must be considered.
このように「正常」、「異常」といった教師データをフィードバックすることで検知精度を向上させるシステムにおいては、時間経過により変化する教師データ自体の有効性を考慮する必要があった。 In a system that improves detection accuracy by feeding back teacher data such as "normal" and "abnormal", it was necessary to consider the effectiveness of the teacher data itself, which changes over time.
そのため、ログ情報に残る異常な振る舞いの異常度判定において、異常判定器が利用する学習データの生成に、前記教師データ(以下、「正解データ」と呼ぶ)を含めるか否かを適切に決定できる異常判定学習器、異常判定学習プログラム、異常判定学習方法、及び異常判定システムが望まれている。 Therefore, in determining the degree of abnormality of abnormal behavior remaining in the log information, it is possible to appropriately determine whether or not to include the teacher data (hereinafter referred to as "correct data") in the generation of learning data used by the abnormality determiner. An abnormality determination learning device, an abnormality determination learning program, an abnormality determination learning method, and an abnormality determination system are desired.
第1の本発明の異常判定学習器は、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しないことを特徴とする。
第2の本発明の異常判定学習器は、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更することを特徴とする。
第3の本発明の異常判定学習器は、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更することを特徴とする。
The abnormality determination learning device of the first aspect of the present invention includes (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) Feedback result holding means for managing correct data fed back to the judged anomaly degree; (4) Using the correct data managed by the feedback result holding means and (5) the learning data generating means stores the content of the correct data held by the feedback result holding means and the index for which the degree of abnormality has been determined. Based on the content, it is determined whether or not the correct data is to be used for generating the learning data; It is characterized in that the oldest correct data is not used for generating the learning data .
The abnormality determination learning device of the second aspect of the present invention includes (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) Feedback result holding means for managing correct data fed back to the judged anomaly degree; (4) Using the correct data managed by the feedback result holding means and (5) the learning data generating means stores the content of the correct data held by the feedback result holding means and the index for which the degree of abnormality has been determined. Based on the contents, it is determined whether or not the correct data is used for generating the learning data. It is characterized in that the weight as the correct data is changed according to the degree of divergence .
An abnormality determination learning device according to a third aspect of the present invention includes: (1) an abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) Feedback result holding means for managing correct data fed back to the judged anomaly degree; (4) Using the correct data managed by the feedback result holding means and (5) the learning data generating means stores the content of the correct data held by the feedback result holding means and the index for which the degree of abnormality has been determined. Based on the contents, it is determined whether or not the correct data is used for generating the learning data; The content of the index is referred to, and the weight of the correct data is changed according to the total number of the same index .
第4の本発明の異常判定学習プログラムは、コンピュータを、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しないことを特徴とする。
第5の本発明の異常判定学習プログラムは、コンピュータを、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更することを特徴とする。
第6の本発明の異常判定学習プログラムは、コンピュータを、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更することを特徴とする。
The abnormality determination learning program of the fourth aspect of the present invention comprises a computer comprising: (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) feedback result holding means for managing correct data fed back with respect to the judged anomaly degree; (4) the correct answer managed by the feedback result holding means (5) the learning data generating means includes the content of the correct data held by the feedback result holding means and the degree of abnormality determined Based on the content of the index, it is determined whether or not the correct data is to be used for generating the learning data; The correct data older than the time of is not used for generating the learning data .
The abnormality determination learning program of the fifth aspect of the present invention provides a computer with (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) feedback result holding means for managing correct data fed back with respect to the judged anomaly degree; (4) the correct answer managed by the feedback result holding means (5) the learning data generating means includes the content of the correct data held by the feedback result holding means and the degree of abnormality determined Based on the contents of the index, it is determined whether or not the correct data is to be used for generating the learning data; It is characterized in that the weight as the correct data is changed according to the degree of divergence from the time.
The abnormality determination learning program of the sixth aspect of the present invention comprises a computer, (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) feedback result holding means for managing correct data fed back with respect to the judged anomaly degree; (4) the correct answer managed by the feedback result holding means (5) the learning data generating means includes the content of the correct data held by the feedback result holding means and the degree of abnormality determined (6) the learning data generating means determines whether or not the correct data is to be used for generating the learning data based on the content of the index; The weight of the correct data is changed according to the total number of the same indices by referring to the contents of the indices that are used.
第7の本発明の異常判定学習方法は、異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、(1)前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、(2)前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、(3)前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、(4)前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(5)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しないことを特徴とする。
第8の本発明の異常判定学習方法は、異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、(1)前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、(2)前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、(3)前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、(4)前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更することを特徴とする。
第9の本発明の異常判定学習方法は、異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、(1)前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、(2)前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、(3)前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、(4)前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更することを特徴とする。
An abnormality determination learning method of a seventh aspect of the present invention is an abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means, (1) The abnormality index input means acquires an index related to a mode of measurement from log information; (2) The abnormality degree determination means determines the degree of abnormality of the acquired index based on learning data (3) the feedback result holding means manages the correct data fed back with respect to the determined degree of abnormality; and (4) the learning data generating means stores the correct data managed by the feedback result holding means. (5) The learning data generating means updates the learning data based on the contents of the correct data held by the feedback result holding means and the contents of the index whose degree of abnormality is determined. (5) further, the learning data generating means refers to the time information of the correct data and generates the correct data older than a predetermined time; It is characterized in that it is not used for generating the learning data .
An abnormality determination learning method of the eighth aspect of the present invention is an abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means, (1) The abnormality index input means acquires an index related to a mode of measurement from log information; (2) The abnormality degree determination means determines the degree of abnormality of the acquired index based on learning data (3) the feedback result holding means manages the correct data fed back with respect to the determined degree of abnormality; and (4) the learning data generating means stores the correct data managed by the feedback result holding means. (5) The learning data generating means updates the learning data based on the contents of the correct data held by the feedback result holding means and the contents of the index whose degree of abnormality is determined. (6) Further, the learning data generating means refers to the time information of the correct data, and determines the It is characterized by changing the weight as correct data.
An abnormality determination learning method of the ninth aspect of the present invention is an abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means, (1) The abnormality index input means acquires an index related to a mode of measurement from log information; (2) The abnormality degree determination means determines the degree of abnormality of the acquired index based on learning data (3) the feedback result holding means manages the correct data fed back with respect to the determined degree of abnormality; and (4) the learning data generating means stores the correct data managed by the feedback result holding means. (5) The learning data generating means updates the learning data based on the contents of the correct data held by the feedback result holding means and the contents of the index whose degree of abnormality is determined. (6) Further, the learning data generating means refers to the contents of the indicators for which the correct data is judged to be abnormal for each type of indicator. and the weight of the correct data is changed according to the total number of identical indexes.
第10の本発明の異常判定システムは、1又は2以上の異常指標出力器と、異常判定学習器とを備える異常判定システムであって、前記異常判定学習器として、第1~第3の本発明のいずれかの異常判定学習器を適用したことを特徴とする。 An abnormality determination system according to a tenth aspect of the present invention is an abnormality determination system comprising one or more abnormality index output devices and an abnormality determination learner, wherein the abnormality determination learner includes any of the first to third present inventions. It is characterized by applying any one of the abnormality determination learners of the invention.
本発明によれば、ログ情報に残る異常な振る舞いの異常度判定において、異常判定器が利用する学習データの生成に、正解データを含めるか否かを適切に決定できる。 Advantageous Effects of Invention According to the present invention, it is possible to appropriately determine whether correct data should be included in the generation of learning data used by an abnormality determiner in determining the degree of abnormality of abnormal behavior remaining in log information.
(A)主たる実施形態
以下、本発明に係る異常判定学習器、異常判定学習プログラム、異常判定学習方法、及び異常判定システムの主たる実施形態を、図面を参照しながら詳述する。
(A) Main Embodiments Main embodiments of an abnormality determination learning device, an abnormality determination learning program, an abnormality determination learning method, and an abnormality determination system according to the present invention will be described below in detail with reference to the drawings.
(A-1)実施形態の構成
(A-1-1)全体構成
図1は、実施形態に係る異常判定システムの構成を示すブロック図である。
(A-1) Configuration of Embodiment (A-1-1) Overall Configuration FIG. 1 is a block diagram showing the configuration of an abnormality determination system according to an embodiment.
図1で示す異常判定システム1は、1又は2以上の異常指標出力器10と、異常判定学習器20とを備える。異常判定システム1は、種々様々な装置に搭載することができるが、例えば、社内ネットワークと社外ネットワークの境界に設置される装置(ファイアウォール)、プロキシサーバ等に搭載しても良いし、また社内ネットワーク上のログを一元管理する装置等に搭載しても良い。
An
(A-1-2)異常指標出力器10の詳細な構成
図2は、実施形態に係る異常指標出力器の内部構成を示すブロック図である。
(A-1-2) Detailed Configuration of Abnormal
図2において、異常指標出力器10は、ログ情報入力部11及び異常指標出力部12を有する。実施施形態に係る異常指標出力器は、図2に示す各構成部を搭載した専用のICチップ等のハードウェアとして構成しても良いし、又は、CPUと、CPUが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図2で表すことができる。
In FIG. 2 , the abnormality
ログ情報入力部11は、様々な種別のログ情報を取得し、異常指標出力部12へ与えるものである。ログ情報としては特に限定しないが、例えば、組織内外の通信を中継するプロキシサーバのログ(以下、「プロキシログ」と呼ぶ)であったり、ファイアウォールのログであったり、不正侵入検知システム(IDS)のログであったり、トラフィックログ等である。例えば、プロキシログを例に説明すると、プロキシログには、時刻、送信元IPアドレス、ユーザID、接続先FQDN、パス、クエリ、HTTPステータス、ダウンロードサイズ、アップロードサイズ、ユーザーエージェント、リファラー情報等の情報が含まれていても良い。
The log information input unit 11 acquires various types of log information and provides them to the abnormality
異常指標出力部12は、ログ情報入力部11から与えられたログ情報を分析し、異常と思われる指標を検知するものである。指標とは例えば、接続先FQDNであったり、送信元IPアドレスであったり、ファイル名(パス)であったり、利用するユーザーエージェントであったりと、様々な形が考えられるが、本実施形態では特に限定しない。
The abnormality
また、異常の検知方法についても特に限定しない。例えば、教師なし学習で通常とは異なる傾向の指標を検知しても良いし、ルールベースでダウンロードサイズやアップロードサイズが閾値を超えたことを検知しても良いし、統計ベースで特定の送信元IPアドレスから発生する通信ログが異常に多いことを検知しても良い。 Also, the method of detecting an abnormality is not particularly limited. For example, unsupervised learning may detect unusual trend indicators, rule-based detection of download or upload size exceeding thresholds, or statistically-based detection of specific sources. It may be detected that there are an abnormally large number of communication logs generated from an IP address.
さらに、異常指標出力部12は、複数の指標の組み合わせで異常と思われる指標を検知しても良い。例えば、パスがexeファイルであり、ダウンロードサイズが異常に大きいことで、そのダウンロード元となるIPアドレスやユーザIDを異常な指標として検知しても良い。
Furthermore, the abnormality
また、異常指標出力部12は、1行のログに対して異常な指標を検知しても良いし、任意期間のログ情報を対象として分析した結果として異常な指標を検知しても良い。
Further, the abnormality
異常指標出力部12は、異常と検知した指標、及び当該指標を含むログ情報を異常判定学習器20へ与える。ここで、異常指標出力部12は、異常度の大きさに応じて前記指標にスコア付けして与えても良い。
The abnormality
(A-1-3)異常判定学習器20の詳細な構成
図3は、実施形態に係る異常判定学習器の内部構成を示すブロック図である。
(A-1-3) Detailed Configuration of
図3において、異常判定学習器20は、異常指標入力部21、異常度判定部22、フィードバック結果保持部23、及び学習データ生成部24を有する。実施施形態に係る異常判定学習器は、図3に示す各構成部を搭載した専用のICチップ等のハードウェアとして構成しても良いし、又は、CPUと、CPUが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図3で表すことができる。
In FIG. 3 , the abnormality
異常指標入力部21は、n個の異常指標出力器10から異常と検知した指標、及び当該指標を含むログ情報を取得するものである。異常指標入力部21は取得した指標を異常度判定部22へ与える。
The abnormality index input unit 21 acquires an index detected as an abnormality and log information including the index from the n abnormality
異常度判定部22は、異常指標入力部21より与えられた様々な指標と、後述する学習データ生成部24より与えられた学習データを基に、任意の指標に対する総合的な異常度を判定するものである。ここで、異常度判定部22は、異常度の大きさに応じて前記指標にスコア付けして出力したり、異常度判定したログ情報を出力したりしても良い。
The degree-of-
異常度判定部22は、学習データに基づき異常度を出力する教師あり異常度判定エンジンを有する。例えば、決定木、ランダムフォレスト、ロジスティック回帰、サポートベクターマシーン等、様々な手法を適用し得るが、これらの例に限定されるものではない。
The abnormality
また、異常度判定部22は、後述する学習データ生成部24より、学習データを与えられることにより、異常度判定の基準となる学習を再実施する。
Further, the abnormality
フィードバック結果保持部23は、任意の指標に対して、それが異常か正常かを正解データとして保持するものである。また、異常、正常以外に、正常ではないが異常とも言いきれないといった指標をグレー判定として含んでも良い。
The feedback
正解データは事前に設定されても良い。例えば、指標が接続先FQDNの場合には、世の中で利用されているホワイトリストやブラックリストを参照することにより取得し、それぞれ正常、異常と異常度判定した結果として保持しても良い。また、正解データは、異常度判定部22が判定した結果に対して詳細調査された結果(異常、正常、グレー等)をフィードバックされることで与えられても良い。例えば、異常度判定部22としては、総合的に異常と判定した指標に対して、人が詳細調査し、その結果、正常(誤検知)と判断する場合には、当該指標が正常であることを正解データとじてフィードバックしても良い。
Correct answer data may be set in advance. For example, if the index is the FQDN of the connection destination, it may be obtained by referring to a whitelist or blacklist used in the world, and held as a result of determining whether the degree of abnormality is normal or abnormal. In addition, the correct data may be given by feeding back the result (abnormal, normal, gray, etc.) of a detailed investigation of the result determined by the abnormality
フィードバック結果保持部23は、保持する正解データを学習データ生成部24へ与える。
The feedback
学習データ生成部24は、フィードバック結果保持部23より与えられた正解データから、学習データを生成し、生成した学習データを異常度判定部22へ与えるものである。学習データ生成部24は、正解データの内容及び異常度判定された指標の内容を基に、当該正解データを学習データの生成に利用するか否か、またどのように利用するかを決定する。
The learning
例えば、学習データ生成部24は、正解データの時刻情報を参照し、任意の時刻よりも古い正解データを学習データの生成に利用しないとしても良い。また、学習データ生成部24は、現時刻との乖離度合に応じて、正解データとしての重みを変更するようにしても良い。そして、学習データ生成部24は、同一の指標、同一の正解を持つ正解データの総数に応じて重みを変更するようにしても良い。
For example, the learning
また、学習データ生成部24は、異常度判定された指標の種類に応じて、学習データの生成に利用するか否かの基準を変更しても良い。例えば、正解データの中で接続先FQDNが正常と判定されている場合にのみ、上述のように時刻情報を参照し、生成に利用するか否か、またその重みを決定しても良い。また、学習データ生成部24は、同一の指標について、複数の異なる判定がされている場合には、最新の判定のみを学習データの生成に利用するようにしても良い。ここで利用する指標には、接続先URL、パス、クエリ等も含んだURL、ダウンロード/アップロードサイズ、ユーザーエージェント、リファラー情報等、様々なものがあるが、特に限定しない。また、正解データとしての重みを変更する方法も特に限定しない。例えば、任意の正解データの重みを増やす場合には、当該正解データの複製を大量に用意する等の方法が考えられる。
In addition, the learning
(A-2)実施形態の動作
次に、以上のような構成を有する実施形態に係る異常判定システム1の動作を、図面を参照しながら説明する。
(A-2) Operation of Embodiment Next, the operation of the
図4は、実施形態に係る異常判定システムの動作の一例を示す説明図である。図4の各部の構成は、先述の図1と同様であるが、各部において実行される各動作(異常指標の出力、総合異常度判定、学習データの更新)を対応付けて示している。 FIG. 4 is an explanatory diagram showing an example of the operation of the abnormality determination system according to the embodiment. The configuration of each part in FIG. 4 is the same as that in FIG. 1 described above, but each operation (output of anomaly index, comprehensive anomaly degree determination, update of learning data) executed in each part is shown in correspondence.
図4において、異常判定システム1の処理は、大別すると、ログ情報を取得し、異常指標を出力するステップS101の処理(異常指標の出力)と、異常指標から異常度を判定するステップS102の処理(総合異常度判定)と、学習データを更新するステップS103の処理(学習データの更新)に大別できる。以下では各処理の詳細について述べる。
In FIG. 4, the processing of the
[S101]異常指標の出力
各異常指標出力器10のログ情報入力部11にログ情報が与えられる。例えば、1日ごとや1時間ごとにバッチ的に与えられても良いし、1行のログごとに実時間で与えられても良い。
[S101] Output of anomaly index Log information is given to the log information input section 11 of each anomaly
各異常指標出力器10の異常指標出力部12において、異常と思われる指標が検知され、検知された指標および当該指標を含むログ情報が異常判定学習器20に出力される。異常と思われる指標の検知には、例えば、システムで設定された時間区間毎にログ情報に含まれる指標を集計し、統計的に有意に大きい指標(正規分布を仮定した際の平均値から3σを越えて大きいもの)や、逆に稀な指標(正規分布を仮定した際の平均値から3σを越えて小さいもの)を計算により求め、得られた指標を出力するものが挙げられる。
An abnormality
[S102]総合異常度判定
異常判定学習器20の異常指標入力部21に、各異常指標出力器10から異常と検知した指標および当該指標を含むログ情報が与えられる。
[S102] Comprehensive Abnormality Degree Determination The abnormality index input unit 21 of the abnormality
異常判定学習器20の異常度判定部22において、事前に学習データを用いて学習された異常判定エンジンを用いて、任意の指標に対する総合的な異常度を判定し、異常判定結果として出力する。例えば、正解の内容(異常、正常、等)とログ情報と指標のセットを正解データとしてフィードバック結果保持部23で保持しており、特定の指標と当該指標が含まれる時間情報を基に学習データを生成する。これにより、当該指標が特定の周期性を持っていた場合、次に異常が現れる時間と指標を基に、異常度を判定できる学習データとなる。この学習データを用いて、異常度判定部22で異常性を判定し、異常判定結果として出力することができる。
The
[S103]学習データの更新
異常判定学習器20のフィードバック結果保持部23に、任意の指標に対して、異常か正常かを含む正解データが保持される。また、正解データは、異常判定学習器20からの異常判定結果を詳細調査し、その結果に対する異常か正常かがフィードバックされることにより保持されても良い。
[S103] Updating Learning Data Correct data including whether an arbitrary index is abnormal or normal is stored in the feedback
異常判定学習器20の学習データ生成部24において、正解データが与えられ学習データが更新される。学習データ生成部24は、正解データの内容及び異常度判定された指標の内容を基に、当該正解データを学習データの生成に利用するか否か、またその方法を決定し、生成した学習データを異常度判定部22へ与える。
In the learning
異常判定学習器20の異常度判定部22において、更新された学習データが与えられ、当該異常度判定部22が異常度判定するための事前学習を実施する。事前学習では、例えば、クラスター分析により学習データを評価し、クラスター境界面を複雑にする要素(外れ値など)を取り除く。例えば、時間が経過して信頼性が低くなった要素は学習に利用しないという前処理をすることによって、1正解データを除去することにより、精度の高い学習モデルとしても良い。
The abnormality
(A-3)実施形態の効果
本実施形態によれば、異常判定学習器20が、ログ情報に残る異常な振る舞いの異常度判定において、異常度判定部22が学習データの生成に利用する正解データを、当該正解データの内容(「正常」、「異常」等)や、異常度判定された指標の内容(ユーザID、IPアドレス、URL、ダウンロードサイズ、等)に基づき、取捨選択することを特徴とする。これにより、サイバー攻撃のような時間の経過と共に、正常、異常かが推移するような指標の検知において、学習データとして有効な正解データのみを異常度判定に利用することができ、システムの検知精度を向上させることができる。
(A-3) Effect of the Embodiment According to the present embodiment, when the
(B)他の実施形態
上記実施形態の説明においても、種々変形実施形態に言及したが、さらに以下に例示するような変形実施形態も挙げることができる。
(B) Other Embodiments Although various modified embodiments have been mentioned in the description of the above embodiments, further modified embodiments such as those exemplified below can also be mentioned.
上記実施形態では、異常と判定された指標と共にログ情報をやりとりする動作で説明したが、この動作に限定するものではない。例えば、別途各ログの識別情報をDBテーブルに管理しておき、各ログの識別情報のみをやりとりする動作にしても良い。 In the above embodiment, an operation of exchanging log information together with an index determined to be abnormal has been described, but the present invention is not limited to this operation. For example, the identification information of each log may be separately managed in a DB table, and only the identification information of each log may be exchanged.
1…異常判定システム、10…異常指標出力器、11…ログ情報入力部、12…異常指標出力部、20…異常判定学習器、21…異常指標入力部、22…異常度判定部、23…フィードバック結果保持部、24…学習データ生成部。
DESCRIPTION OF
Claims (10)
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しない
ことを特徴とする異常判定学習器。 Abnormal index input means for acquiring an index related to a mode measured from log information;
Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
feedback result holding means for managing correct data fed back for the determined degree of abnormality;
learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
Further, the learning data generating means refers to the time information of the correct data and does not use the correct data older than a predetermined time for generating the learning data.
An anomaly determination learner characterized by:
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更する
ことを特徴とする異常判定学習器。 Abnormal index input means for acquiring an index related to a mode measured from log information;
Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
feedback result holding means for managing correct data fed back for the determined degree of abnormality;
learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
Further, the learning data generating means refers to the time information of the correct data and changes the weight as the correct data according to the degree of divergence from the current time.
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更する
ことを特徴とする異常判定学習器。 Abnormal index input means for acquiring an index related to a mode measured from log information;
Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
feedback result holding means for managing correct data fed back for the determined degree of abnormality;
learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
Further, the learning data generating means refers to the contents of the indicators that are judged to be abnormal for each type of indicator in the correct data, and changes the weight of the correct data according to the total number of the same indicators. anomaly judgment learner.
ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しない
ことを特徴とする異常判定学習プログラム。 the computer,
Abnormal index input means for acquiring an index related to a mode measured from log information;
Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
feedback result holding means for managing correct data fed back for the determined degree of abnormality;
functioning as learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
Further, the learning data generating means refers to the time information of the correct data and does not use the correct data older than a predetermined time for generating the learning data.
An abnormality determination learning program characterized by:
ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、Abnormal index input means for acquiring an index related to a mode measured from log information;
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、feedback result holding means for managing correct data fed back for the determined degree of abnormality;
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、functioning as learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更するFurthermore, the learning data generating means refers to the time information of the correct data and changes the weight as the correct data according to the degree of divergence from the current time.
ことを特徴とする異常判定学習プログラム。An abnormality determination learning program characterized by:
ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、Abnormal index input means for acquiring an index related to a mode measured from log information;
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、feedback result holding means for managing correct data fed back for the determined degree of abnormality;
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、functioning as learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更するFurther, the learning data generating means refers to the contents of the indicators that are judged to be abnormal for each type of indicator in the correct data, and changes the weight of the correct data according to the total number of the same indicators.
ことを特徴とする異常判定学習プログラム。An abnormality determination learning program characterized by:
前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、
前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、
前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、
前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しない
ことを特徴とする異常判定学習方法。 An abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means,
The abnormality index input means acquires an index related to a measured aspect from log information,
The abnormality degree determination means determines the degree of abnormality for the obtained index based on learning data,
The feedback result holding means manages correct data fed back with respect to the determined degree of abnormality,
The learning data generating means updates the learning data using the correct data managed by the feedback result holding means,
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. determine whether
Further, the learning data generating means refers to the time information of the correct data and does not use the correct data older than a predetermined time for generating the learning data.
An abnormality determination learning method characterized by:
前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、The abnormality index input means acquires an index related to a measured aspect from log information,
前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、The abnormality degree determination means determines the degree of abnormality for the obtained index based on learning data,
前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、The feedback result holding means manages correct data fed back with respect to the determined degree of abnormality,
前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、The learning data generating means updates the learning data using the correct data managed by the feedback result holding means,
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更するFurthermore, the learning data generating means refers to the time information of the correct data and changes the weight as the correct data according to the degree of divergence from the current time.
ことを特徴とする異常判定学習方法。An abnormality determination learning method characterized by:
前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、The abnormality index input means acquires an index related to a measured aspect from log information,
前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、The abnormality degree determination means determines the degree of abnormality for the obtained index based on learning data,
前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、The feedback result holding means manages correct data fed back with respect to the determined degree of abnormality,
前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、The learning data generating means updates the learning data using the correct data managed by the feedback result holding means,
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更するFurther, the learning data generating means refers to the contents of the indicators that are judged to be abnormal for each type of indicator in the correct data, and changes the weight of the correct data according to the total number of the same indicators.
ことを特徴とする異常判定学習方法。An abnormality determination learning method characterized by:
前記異常判定学習器として、請求項1~3のいずれかに記載の異常判定学習器を適用したことを特徴とする異常判定システム。 An abnormality determination system comprising one or more abnormality index output devices and an abnormality determination learning device,
An abnormality determination system, wherein the abnormality determination learning device according to any one of claims 1 to 3 is applied as the abnormality determination learning device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019071497A JP7331421B2 (en) | 2019-04-03 | 2019-04-03 | Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019071497A JP7331421B2 (en) | 2019-04-03 | 2019-04-03 | Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020170350A JP2020170350A (en) | 2020-10-15 |
JP7331421B2 true JP7331421B2 (en) | 2023-08-23 |
Family
ID=72746179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019071497A Active JP7331421B2 (en) | 2019-04-03 | 2019-04-03 | Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7331421B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120284212A1 (en) | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive Analytical Modeling Accuracy Assessment |
JP2019036865A (en) | 2017-08-17 | 2019-03-07 | 沖電気工業株式会社 | Communication analysis device, communication analysis program, and communication analysis method |
-
2019
- 2019-04-03 JP JP2019071497A patent/JP7331421B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120284212A1 (en) | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive Analytical Modeling Accuracy Assessment |
JP2019036865A (en) | 2017-08-17 | 2019-03-07 | 沖電気工業株式会社 | Communication analysis device, communication analysis program, and communication analysis method |
Also Published As
Publication number | Publication date |
---|---|
JP2020170350A (en) | 2020-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11012472B2 (en) | Security rule generation based on cognitive and industry analysis | |
US11218510B2 (en) | Advanced cybersecurity threat mitigation using software supply chain analysis | |
US11483318B2 (en) | Providing network security through autonomous simulated environments | |
EP3343867B1 (en) | Methods and apparatus for processing threat metrics to determine a risk of loss due to the compromise of an organization asset | |
US11258818B2 (en) | Method and system for generating stateful attacks | |
JP7073343B2 (en) | Security vulnerabilities and intrusion detection and repair in obfuscated website content | |
US12041091B2 (en) | System and methods for automated internet- scale web application vulnerability scanning and enhanced security profiling | |
US9635039B1 (en) | Classifying sets of malicious indicators for detecting command and control communications associated with malware | |
US8627469B1 (en) | Systems and methods for using acquisitional contexts to prevent false-positive malware classifications | |
US11483319B2 (en) | Security model | |
EP3566166B1 (en) | Management of security vulnerabilities | |
US20220210202A1 (en) | Advanced cybersecurity threat mitigation using software supply chain analysis | |
US10601847B2 (en) | Detecting user behavior activities of interest in a network | |
US20190238572A1 (en) | Indicating malware generated domain names using n-grams | |
US11706192B2 (en) | Integrated behavior-based infrastructure command validation | |
US20190238573A1 (en) | Indicating malware generated domain names using digits | |
EP3799367B1 (en) | Generation device, generation method, and generation program | |
Desmet et al. | Premadoma: An operational solution to prevent malicious domain name registrations in the. eu tld | |
JP7331421B2 (en) | Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system | |
US11693651B1 (en) | Static and dynamic correlation of software development pipeline events | |
Wu et al. | Quantitative analysis of the security of software‐defined network controller using threat/effort model | |
KR102447279B1 (en) | Apparatus for processing cyber threat information, method for processing cyber threat information, and medium for storing a program processing cyber threat information | |
US20220245249A1 (en) | Specific file detection baked into machine learning pipelines | |
EP4386597A1 (en) | Cyber threat information processing device, cyber threat information processing method, and storage medium storing cyber threat information processing program | |
US20230069731A1 (en) | Automatic network signature generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7331421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |