JP7331421B2 - Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system - Google Patents

Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system Download PDF

Info

Publication number
JP7331421B2
JP7331421B2 JP2019071497A JP2019071497A JP7331421B2 JP 7331421 B2 JP7331421 B2 JP 7331421B2 JP 2019071497 A JP2019071497 A JP 2019071497A JP 2019071497 A JP2019071497 A JP 2019071497A JP 7331421 B2 JP7331421 B2 JP 7331421B2
Authority
JP
Japan
Prior art keywords
abnormality
learning data
learning
degree
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019071497A
Other languages
Japanese (ja)
Other versions
JP2020170350A (en
Inventor
健嗣 八百
信之 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2019071497A priority Critical patent/JP7331421B2/en
Publication of JP2020170350A publication Critical patent/JP2020170350A/en
Application granted granted Critical
Publication of JP7331421B2 publication Critical patent/JP7331421B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Description

本発明は、異常判定学習器、異常判定学習プログラム、異常判定学習方法、及び異常判定システムに関し、例えば、サイバー攻撃監視のための異常検知システムに適用し得る。 The present invention relates to an anomaly determination learning device, an anomaly determination learning program, an anomaly determination learning method, and an anomaly determination system, and can be applied, for example, to an anomaly detection system for monitoring cyberattacks.

従来、サイバー攻撃監視の目的で、プロキシサーバなどの社内装置に記録されるログ情報を調査し、マルウェアのダウンロードや攻撃者サーバとの通信といった悪性通信を検出する取り組みが実施されている。 Conventionally, for the purpose of monitoring cyberattacks, efforts have been made to investigate log information recorded on in-house devices such as proxy servers to detect malicious communications such as malware downloads and communications with attacker servers.

一般にアクセス履歴などのログ情報は膨大であり、そのほとんどが悪性でない通信によるログ情報であることが多い。そのような前提で、すべてのログ情報の中から悪性通信を総当り的に見つけ出すというアプローチは、監視工数が大きく効率的ではない。 Log information such as access histories is generally huge, and most of it is often log information from non-malicious communications. On this premise, the approach of brute-force finding malicious communications from all log information requires a large amount of monitoring man-hours and is not efficient.

近年、悪性通信の検知に教師なし学習を利用してログ情報を分析し、定常状態からの逸脱を検知する取り組みが盛んに行われている。本アプローチでは、攻撃の情報を用いた複雑なルールを構築する必要がない代わりに、誤検知及び検出漏れ又は検知ミスが多くなるという問題も考えられる。 In recent years, many efforts have been made to detect deviations from the steady state by analyzing log information using unsupervised learning to detect malicious communications. In this approach, there is a problem that false positives and missed detections or missed detections increase in exchange for not needing to build complicated rules using attack information.

一方、既知の攻撃の情報を用いることで、複雑ではあるが感度の高いルールを構築し、誤検知及び検知漏れ数の軽減を目指す取り組みもある。例えば、特許文献1には、将来のネットワーク攻撃を検知及び予測するために、教師あり学習により判定ルールを自動的に学習するシステムが開示されている。特許文献1に記載のシステムのルールは、新たな攻撃についてのフィードバック信号を分析することにより定期的に更新され、新たな攻撃に自動的に追従することが想定されている。このように、システムに対して教師データをフィードバックすることで自動学習させ、検知精度を高めるという概念は、サイバー攻撃による悪性通信の検知にも適用し得るものである。 On the other hand, there is also an effort to reduce the number of false positives and false negatives by constructing complex but highly sensitive rules by using information on known attacks. For example, Patent Literature 1 discloses a system that automatically learns decision rules by supervised learning in order to detect and predict future network attacks. It is assumed that the rules of the system described in US Pat. No. 5,800,002 are updated periodically by analyzing feedback signals about new attacks and automatically follow new attacks. In this way, the concept of automatically learning by feeding back training data to the system to improve detection accuracy can also be applied to the detection of malicious communications caused by cyberattacks.

特開2014-060722号公報JP 2014-060722 A

しかしながら、サイバー攻撃による悪性通信の検知に、「正常」、「異常」といった教師データをフィードバックする場合には、対象とする指標の教師データとしての有効性を考慮しなければならない。例えば、正常時の教師データとして接続先FQDN(Fully Qualified Domain Name)に関連する指標をフィードバックする場合、その後、その接続先サイトが改ざんされ、マルウェアを仕込まれるようなケースを考慮しなければならない。 However, when feeding back teacher data such as "normal" and "abnormal" to detect malicious communications caused by cyberattacks, the effectiveness of target indicators as teacher data must be considered. For example, when feeding back an index related to a connection destination FQDN (Fully Qualified Domain Name) as normal training data, it is necessary to consider a case where the connection destination site is subsequently tampered with and malware is installed.

また逆に、正規サイトに埋め込まれたマルウェアを検知し、異常時の教師データとして接続先FQDNに関連する指標をフィードバックする場合、その後、その接続先サイトからマルウェアが除去され、正常状態に復帰するようなケースを考慮しなければならない。 Conversely, if malware embedded in a legitimate site is detected and an index related to the connection destination FQDN is fed back as training data in the event of an abnormality, then the malware is removed from the connection destination site and the state returns to normal. Such cases must be considered.

このように「正常」、「異常」といった教師データをフィードバックすることで検知精度を向上させるシステムにおいては、時間経過により変化する教師データ自体の有効性を考慮する必要があった。 In a system that improves detection accuracy by feeding back teacher data such as "normal" and "abnormal", it was necessary to consider the effectiveness of the teacher data itself, which changes over time.

そのため、ログ情報に残る異常な振る舞いの異常度判定において、異常判定器が利用する学習データの生成に、前記教師データ(以下、「正解データ」と呼ぶ)を含めるか否かを適切に決定できる異常判定学習器、異常判定学習プログラム、異常判定学習方法、及び異常判定システムが望まれている。 Therefore, in determining the degree of abnormality of abnormal behavior remaining in the log information, it is possible to appropriately determine whether or not to include the teacher data (hereinafter referred to as "correct data") in the generation of learning data used by the abnormality determiner. An abnormality determination learning device, an abnormality determination learning program, an abnormality determination learning method, and an abnormality determination system are desired.

第1の本発明の異常判定学習器は、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しないことを特徴とする。
第2の本発明の異常判定学習器は、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更することを特徴とする
第3の本発明の異常判定学習器は、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更することを特徴とする
The abnormality determination learning device of the first aspect of the present invention includes (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) Feedback result holding means for managing correct data fed back to the judged anomaly degree; (4) Using the correct data managed by the feedback result holding means and (5) the learning data generating means stores the content of the correct data held by the feedback result holding means and the index for which the degree of abnormality has been determined. Based on the content, it is determined whether or not the correct data is to be used for generating the learning data; It is characterized in that the oldest correct data is not used for generating the learning data .
The abnormality determination learning device of the second aspect of the present invention includes (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) Feedback result holding means for managing correct data fed back to the judged anomaly degree; (4) Using the correct data managed by the feedback result holding means and (5) the learning data generating means stores the content of the correct data held by the feedback result holding means and the index for which the degree of abnormality has been determined. Based on the contents, it is determined whether or not the correct data is used for generating the learning data. It is characterized in that the weight as the correct data is changed according to the degree of divergence .
An abnormality determination learning device according to a third aspect of the present invention includes: (1) an abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) Feedback result holding means for managing correct data fed back to the judged anomaly degree; (4) Using the correct data managed by the feedback result holding means and (5) the learning data generating means stores the content of the correct data held by the feedback result holding means and the index for which the degree of abnormality has been determined. Based on the contents, it is determined whether or not the correct data is used for generating the learning data; The content of the index is referred to, and the weight of the correct data is changed according to the total number of the same index .

の本発明の異常判定学習プログラムは、コンピュータを、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しないことを特徴とする。
第5の本発明の異常判定学習プログラムは、コンピュータを、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更することを特徴とする。
第6の本発明の異常判定学習プログラムは、コンピュータを、(1)ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、(2)取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、(3)判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、(4)前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更することを特徴とする。
The abnormality determination learning program of the fourth aspect of the present invention comprises a computer comprising: (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) feedback result holding means for managing correct data fed back with respect to the judged anomaly degree; (4) the correct answer managed by the feedback result holding means (5) the learning data generating means includes the content of the correct data held by the feedback result holding means and the degree of abnormality determined Based on the content of the index, it is determined whether or not the correct data is to be used for generating the learning data; The correct data older than the time of is not used for generating the learning data .
The abnormality determination learning program of the fifth aspect of the present invention provides a computer with (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) feedback result holding means for managing correct data fed back with respect to the judged anomaly degree; (4) the correct answer managed by the feedback result holding means (5) the learning data generating means includes the content of the correct data held by the feedback result holding means and the degree of abnormality determined Based on the contents of the index, it is determined whether or not the correct data is to be used for generating the learning data; It is characterized in that the weight as the correct data is changed according to the degree of divergence from the time.
The abnormality determination learning program of the sixth aspect of the present invention comprises a computer, (1) abnormality index input means for acquiring an index related to a mode of measurement from log information; (3) feedback result holding means for managing correct data fed back with respect to the judged anomaly degree; (4) the correct answer managed by the feedback result holding means (5) the learning data generating means includes the content of the correct data held by the feedback result holding means and the degree of abnormality determined (6) the learning data generating means determines whether or not the correct data is to be used for generating the learning data based on the content of the index; The weight of the correct data is changed according to the total number of the same indices by referring to the contents of the indices that are used.

の本発明の異常判定学習方法は、異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、(1)前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、(2)前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、(3)前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、(4)前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(5)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しないことを特徴とする。
第8の本発明の異常判定学習方法は、異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、(1)前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、(2)前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、(3)前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、(4)前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更することを特徴とする。
第9の本発明の異常判定学習方法は、異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、(1)前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、(2)前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、(3)前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、(4)前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、(5)前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、(6)さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更することを特徴とする。
An abnormality determination learning method of a seventh aspect of the present invention is an abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means, (1) The abnormality index input means acquires an index related to a mode of measurement from log information; (2) The abnormality degree determination means determines the degree of abnormality of the acquired index based on learning data (3) the feedback result holding means manages the correct data fed back with respect to the determined degree of abnormality; and (4) the learning data generating means stores the correct data managed by the feedback result holding means. (5) The learning data generating means updates the learning data based on the contents of the correct data held by the feedback result holding means and the contents of the index whose degree of abnormality is determined. (5) further, the learning data generating means refers to the time information of the correct data and generates the correct data older than a predetermined time; It is characterized in that it is not used for generating the learning data .
An abnormality determination learning method of the eighth aspect of the present invention is an abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means, (1) The abnormality index input means acquires an index related to a mode of measurement from log information; (2) The abnormality degree determination means determines the degree of abnormality of the acquired index based on learning data (3) the feedback result holding means manages the correct data fed back with respect to the determined degree of abnormality; and (4) the learning data generating means stores the correct data managed by the feedback result holding means. (5) The learning data generating means updates the learning data based on the contents of the correct data held by the feedback result holding means and the contents of the index whose degree of abnormality is determined. (6) Further, the learning data generating means refers to the time information of the correct data, and determines the It is characterized by changing the weight as correct data.
An abnormality determination learning method of the ninth aspect of the present invention is an abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means, (1) The abnormality index input means acquires an index related to a mode of measurement from log information; (2) The abnormality degree determination means determines the degree of abnormality of the acquired index based on learning data (3) the feedback result holding means manages the correct data fed back with respect to the determined degree of abnormality; and (4) the learning data generating means stores the correct data managed by the feedback result holding means. (5) The learning data generating means updates the learning data based on the contents of the correct data held by the feedback result holding means and the contents of the index whose degree of abnormality is determined. (6) Further, the learning data generating means refers to the contents of the indicators for which the correct data is judged to be abnormal for each type of indicator. and the weight of the correct data is changed according to the total number of identical indexes.

10の本発明の異常判定システムは、1又は2以上の異常指標出力器と、異常判定学習器とを備える異常判定システムであって、前記異常判定学習器として、第1~第3の本発明のいずれかの異常判定学習器を適用したことを特徴とする。 An abnormality determination system according to a tenth aspect of the present invention is an abnormality determination system comprising one or more abnormality index output devices and an abnormality determination learner, wherein the abnormality determination learner includes any of the first to third present inventions. It is characterized by applying any one of the abnormality determination learners of the invention.

本発明によれば、ログ情報に残る異常な振る舞いの異常度判定において、異常判定器が利用する学習データの生成に、正解データを含めるか否かを適切に決定できる。 Advantageous Effects of Invention According to the present invention, it is possible to appropriately determine whether correct data should be included in the generation of learning data used by an abnormality determiner in determining the degree of abnormality of abnormal behavior remaining in log information.

実施形態に係る異常判定システムの構成を示すブロック図である。1 is a block diagram showing the configuration of an abnormality determination system according to an embodiment; FIG. 実施形態に係る異常指標出力器の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the abnormality index output device which concerns on embodiment. 実施形態に係る異常判定学習器の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the abnormality determination learning device which concerns on embodiment. 実施形態に係る異常判定システムの動作の一例を示す説明図である。FIG. 4 is an explanatory diagram showing an example of the operation of the abnormality determination system according to the embodiment;

(A)主たる実施形態
以下、本発明に係る異常判定学習器、異常判定学習プログラム、異常判定学習方法、及び異常判定システムの主たる実施形態を、図面を参照しながら詳述する。
(A) Main Embodiments Main embodiments of an abnormality determination learning device, an abnormality determination learning program, an abnormality determination learning method, and an abnormality determination system according to the present invention will be described below in detail with reference to the drawings.

(A-1)実施形態の構成
(A-1-1)全体構成
図1は、実施形態に係る異常判定システムの構成を示すブロック図である。
(A-1) Configuration of Embodiment (A-1-1) Overall Configuration FIG. 1 is a block diagram showing the configuration of an abnormality determination system according to an embodiment.

図1で示す異常判定システム1は、1又は2以上の異常指標出力器10と、異常判定学習器20とを備える。異常判定システム1は、種々様々な装置に搭載することができるが、例えば、社内ネットワークと社外ネットワークの境界に設置される装置(ファイアウォール)、プロキシサーバ等に搭載しても良いし、また社内ネットワーク上のログを一元管理する装置等に搭載しても良い。 An abnormality determination system 1 shown in FIG. 1 includes one or more abnormality index output devices 10 and an abnormality determination learner 20 . The anomaly determination system 1 can be installed in various devices. It may be installed in a device or the like that centrally manages the above log.

(A-1-2)異常指標出力器10の詳細な構成
図2は、実施形態に係る異常指標出力器の内部構成を示すブロック図である。
(A-1-2) Detailed Configuration of Abnormal Index Output Device 10 FIG. 2 is a block diagram showing the internal configuration of the abnormality index output device according to the embodiment.

図2において、異常指標出力器10は、ログ情報入力部11及び異常指標出力部12を有する。実施施形態に係る異常指標出力器は、図2に示す各構成部を搭載した専用のICチップ等のハードウェアとして構成しても良いし、又は、CPUと、CPUが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図2で表すことができる。 In FIG. 2 , the abnormality index output device 10 has a log information input section 11 and an abnormality index output section 12 . The abnormality index output device according to the embodiment may be configured as hardware such as a dedicated IC chip on which each component shown in FIG. Although it may be configured in terms of software, it can be represented functionally in FIG.

ログ情報入力部11は、様々な種別のログ情報を取得し、異常指標出力部12へ与えるものである。ログ情報としては特に限定しないが、例えば、組織内外の通信を中継するプロキシサーバのログ(以下、「プロキシログ」と呼ぶ)であったり、ファイアウォールのログであったり、不正侵入検知システム(IDS)のログであったり、トラフィックログ等である。例えば、プロキシログを例に説明すると、プロキシログには、時刻、送信元IPアドレス、ユーザID、接続先FQDN、パス、クエリ、HTTPステータス、ダウンロードサイズ、アップロードサイズ、ユーザーエージェント、リファラー情報等の情報が含まれていても良い。 The log information input unit 11 acquires various types of log information and provides them to the abnormality index output unit 12 . The log information is not particularly limited, but for example, the log of a proxy server that relays communication inside and outside the organization (hereinafter referred to as "proxy log"), the log of a firewall, the log of an intrusion detection system (IDS) logs, traffic logs, etc. For example, the proxy log contains information such as time, source IP address, user ID, connection destination FQDN, path, query, HTTP status, download size, upload size, user agent, referrer information, etc. may be included.

異常指標出力部12は、ログ情報入力部11から与えられたログ情報を分析し、異常と思われる指標を検知するものである。指標とは例えば、接続先FQDNであったり、送信元IPアドレスであったり、ファイル名(パス)であったり、利用するユーザーエージェントであったりと、様々な形が考えられるが、本実施形態では特に限定しない。 The abnormality index output unit 12 analyzes the log information given from the log information input unit 11 and detects an index considered to be abnormal. The index can be, for example, a connection destination FQDN, a source IP address, a file name (path), or a user agent to be used. Not particularly limited.

また、異常の検知方法についても特に限定しない。例えば、教師なし学習で通常とは異なる傾向の指標を検知しても良いし、ルールベースでダウンロードサイズやアップロードサイズが閾値を超えたことを検知しても良いし、統計ベースで特定の送信元IPアドレスから発生する通信ログが異常に多いことを検知しても良い。 Also, the method of detecting an abnormality is not particularly limited. For example, unsupervised learning may detect unusual trend indicators, rule-based detection of download or upload size exceeding thresholds, or statistically-based detection of specific sources. It may be detected that there are an abnormally large number of communication logs generated from an IP address.

さらに、異常指標出力部12は、複数の指標の組み合わせで異常と思われる指標を検知しても良い。例えば、パスがexeファイルであり、ダウンロードサイズが異常に大きいことで、そのダウンロード元となるIPアドレスやユーザIDを異常な指標として検知しても良い。 Furthermore, the abnormality index output unit 12 may detect an index considered to be abnormal by combining a plurality of indices. For example, if the path is an exe file and the download size is abnormally large, the IP address or user ID of the download source may be detected as an abnormal index.

また、異常指標出力部12は、1行のログに対して異常な指標を検知しても良いし、任意期間のログ情報を対象として分析した結果として異常な指標を検知しても良い。 Further, the abnormality index output unit 12 may detect an abnormality index for one line of log, or may detect an abnormality index as a result of analyzing log information for an arbitrary period.

異常指標出力部12は、異常と検知した指標、及び当該指標を含むログ情報を異常判定学習器20へ与える。ここで、異常指標出力部12は、異常度の大きさに応じて前記指標にスコア付けして与えても良い。 The abnormality index output unit 12 provides the abnormality determination learning device 20 with the index detected as abnormal and log information including the index. Here, the abnormality index output unit 12 may give a score to the index according to the degree of abnormality.

(A-1-3)異常判定学習器20の詳細な構成
図3は、実施形態に係る異常判定学習器の内部構成を示すブロック図である。
(A-1-3) Detailed Configuration of Abnormality Judgment Learner 20 FIG. 3 is a block diagram showing the internal configuration of the abnormality judgment learner according to the embodiment.

図3において、異常判定学習器20は、異常指標入力部21、異常度判定部22、フィードバック結果保持部23、及び学習データ生成部24を有する。実施施形態に係る異常判定学習器は、図3に示す各構成部を搭載した専用のICチップ等のハードウェアとして構成しても良いし、又は、CPUと、CPUが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図3で表すことができる。 In FIG. 3 , the abnormality determination learning device 20 has an abnormality index input unit 21 , an abnormality degree determination unit 22 , a feedback result holding unit 23 and a learning data generation unit 24 . The abnormality determination learning device according to the embodiment may be configured as hardware such as a dedicated IC chip equipped with each component shown in FIG. Although it may be configured in terms of software, it can be represented functionally in FIG.

異常指標入力部21は、n個の異常指標出力器10から異常と検知した指標、及び当該指標を含むログ情報を取得するものである。異常指標入力部21は取得した指標を異常度判定部22へ与える。 The abnormality index input unit 21 acquires an index detected as an abnormality and log information including the index from the n abnormality index output devices 10 . The abnormality index input unit 21 gives the acquired index to the abnormality degree determination unit 22 .

異常度判定部22は、異常指標入力部21より与えられた様々な指標と、後述する学習データ生成部24より与えられた学習データを基に、任意の指標に対する総合的な異常度を判定するものである。ここで、異常度判定部22は、異常度の大きさに応じて前記指標にスコア付けして出力したり、異常度判定したログ情報を出力したりしても良い。 The degree-of-abnormality determination unit 22 determines a comprehensive degree of abnormality with respect to an arbitrary index based on various indexes provided by the anomaly index input unit 21 and learning data provided by a learning data generation unit 24, which will be described later. It is. Here, the degree-of-abnormality determination unit 22 may assign a score to the index according to the magnitude of the degree of abnormality and output it, or may output log information obtained by determining the degree of abnormality.

異常度判定部22は、学習データに基づき異常度を出力する教師あり異常度判定エンジンを有する。例えば、決定木、ランダムフォレスト、ロジスティック回帰、サポートベクターマシーン等、様々な手法を適用し得るが、これらの例に限定されるものではない。 The abnormality degree determination unit 22 has a supervised abnormality degree determination engine that outputs an abnormality degree based on learning data. For example, various techniques such as decision tree, random forest, logistic regression, support vector machine, etc. can be applied, but are not limited to these examples.

また、異常度判定部22は、後述する学習データ生成部24より、学習データを与えられることにより、異常度判定の基準となる学習を再実施する。 Further, the abnormality degree determination unit 22 re-performs learning that serves as a reference for abnormality degree determination by being given learning data from a learning data generation unit 24, which will be described later.

フィードバック結果保持部23は、任意の指標に対して、それが異常か正常かを正解データとして保持するものである。また、異常、正常以外に、正常ではないが異常とも言いきれないといった指標をグレー判定として含んでも良い。 The feedback result holding unit 23 holds whether an arbitrary index is abnormal or normal as correct data. In addition to abnormal and normal, an index such as not being normal but not necessarily abnormal may be included as a gray determination.

正解データは事前に設定されても良い。例えば、指標が接続先FQDNの場合には、世の中で利用されているホワイトリストやブラックリストを参照することにより取得し、それぞれ正常、異常と異常度判定した結果として保持しても良い。また、正解データは、異常度判定部22が判定した結果に対して詳細調査された結果(異常、正常、グレー等)をフィードバックされることで与えられても良い。例えば、異常度判定部22としては、総合的に異常と判定した指標に対して、人が詳細調査し、その結果、正常(誤検知)と判断する場合には、当該指標が正常であることを正解データとじてフィードバックしても良い。 Correct answer data may be set in advance. For example, if the index is the FQDN of the connection destination, it may be obtained by referring to a whitelist or blacklist used in the world, and held as a result of determining whether the degree of abnormality is normal or abnormal. In addition, the correct data may be given by feeding back the result (abnormal, normal, gray, etc.) of a detailed investigation of the result determined by the abnormality degree determining unit 22 . For example, as the anomaly degree determination unit 22, when a person conducts a detailed investigation of an index that is comprehensively determined to be abnormal and as a result determines that the index is normal (erroneous detection), it is determined that the index is normal. may be fed back as correct data.

フィードバック結果保持部23は、保持する正解データを学習データ生成部24へ与える。 The feedback result holding unit 23 provides the held correct data to the learning data generation unit 24 .

学習データ生成部24は、フィードバック結果保持部23より与えられた正解データから、学習データを生成し、生成した学習データを異常度判定部22へ与えるものである。学習データ生成部24は、正解データの内容及び異常度判定された指標の内容を基に、当該正解データを学習データの生成に利用するか否か、またどのように利用するかを決定する。 The learning data generation unit 24 generates learning data from the correct data provided by the feedback result holding unit 23 and provides the generated learning data to the abnormality degree determination unit 22 . Based on the content of the correct data and the content of the index whose degree of abnormality was determined, the learning data generation unit 24 determines whether or not to use the correct data for generating learning data and how to use it.

例えば、学習データ生成部24は、正解データの時刻情報を参照し、任意の時刻よりも古い正解データを学習データの生成に利用しないとしても良い。また、学習データ生成部24は、現時刻との乖離度合に応じて、正解データとしての重みを変更するようにしても良い。そして、学習データ生成部24は、同一の指標、同一の正解を持つ正解データの総数に応じて重みを変更するようにしても良い。 For example, the learning data generation unit 24 may refer to time information of correct data, and may not use correct data older than an arbitrary time for generating learning data. Also, the learning data generator 24 may change the weight as the correct data according to the degree of divergence from the current time. Then, the learning data generator 24 may change the weight according to the total number of correct data having the same index and the same correct answer.

また、学習データ生成部24は、異常度判定された指標の種類に応じて、学習データの生成に利用するか否かの基準を変更しても良い。例えば、正解データの中で接続先FQDNが正常と判定されている場合にのみ、上述のように時刻情報を参照し、生成に利用するか否か、またその重みを決定しても良い。また、学習データ生成部24は、同一の指標について、複数の異なる判定がされている場合には、最新の判定のみを学習データの生成に利用するようにしても良い。ここで利用する指標には、接続先URL、パス、クエリ等も含んだURL、ダウンロード/アップロードサイズ、ユーザーエージェント、リファラー情報等、様々なものがあるが、特に限定しない。また、正解データとしての重みを変更する方法も特に限定しない。例えば、任意の正解データの重みを増やす場合には、当該正解データの複製を大量に用意する等の方法が考えられる。 In addition, the learning data generating unit 24 may change the criteria for whether or not to use for generating learning data according to the type of index for which the degree of abnormality has been determined. For example, only when the connection destination FQDN is determined to be normal in the correct data, the time information may be referenced as described above to determine whether or not to use it for generation, and its weight. Further, when a plurality of different determinations are made for the same index, the learning data generation unit 24 may use only the latest determination for generating learning data. There are various indexes used here, such as connection destination URL, path, URL including query, download/upload size, user agent, referrer information, etc., but there is no particular limitation. Also, the method of changing the weight as correct data is not particularly limited. For example, when increasing the weight of arbitrary correct data, a method such as preparing a large number of copies of the correct data is conceivable.

(A-2)実施形態の動作
次に、以上のような構成を有する実施形態に係る異常判定システム1の動作を、図面を参照しながら説明する。
(A-2) Operation of Embodiment Next, the operation of the abnormality determination system 1 according to the embodiment having the configuration described above will be described with reference to the drawings.

図4は、実施形態に係る異常判定システムの動作の一例を示す説明図である。図4の各部の構成は、先述の図1と同様であるが、各部において実行される各動作(異常指標の出力、総合異常度判定、学習データの更新)を対応付けて示している。 FIG. 4 is an explanatory diagram showing an example of the operation of the abnormality determination system according to the embodiment. The configuration of each part in FIG. 4 is the same as that in FIG. 1 described above, but each operation (output of anomaly index, comprehensive anomaly degree determination, update of learning data) executed in each part is shown in correspondence.

図4において、異常判定システム1の処理は、大別すると、ログ情報を取得し、異常指標を出力するステップS101の処理(異常指標の出力)と、異常指標から異常度を判定するステップS102の処理(総合異常度判定)と、学習データを更新するステップS103の処理(学習データの更新)に大別できる。以下では各処理の詳細について述べる。 In FIG. 4, the processing of the abnormality determination system 1 can be broadly divided into step S101 of acquiring log information and outputting an abnormality index (output of abnormality index), and step S102 of determining the degree of abnormality from the abnormality index. The process can be roughly divided into the process (total anomaly degree determination) and the process of step S103 for updating the learning data (updating the learning data). The details of each process are described below.

[S101]異常指標の出力
各異常指標出力器10のログ情報入力部11にログ情報が与えられる。例えば、1日ごとや1時間ごとにバッチ的に与えられても良いし、1行のログごとに実時間で与えられても良い。
[S101] Output of anomaly index Log information is given to the log information input section 11 of each anomaly index output device 10. FIG. For example, it may be given in batches every day or every hour, or it may be given in real time for each line of log.

各異常指標出力器10の異常指標出力部12において、異常と思われる指標が検知され、検知された指標および当該指標を含むログ情報が異常判定学習器20に出力される。異常と思われる指標の検知には、例えば、システムで設定された時間区間毎にログ情報に含まれる指標を集計し、統計的に有意に大きい指標(正規分布を仮定した際の平均値から3σを越えて大きいもの)や、逆に稀な指標(正規分布を仮定した際の平均値から3σを越えて小さいもの)を計算により求め、得られた指標を出力するものが挙げられる。 An abnormality index output unit 12 of each abnormality index output unit 10 detects an index considered to be abnormal, and outputs the detected index and log information including the index to the abnormality determination learning device 20 . To detect an index that seems to be abnormal, for example, the indices included in the log information are aggregated for each time interval set by the system, and a statistically significant index (3σ from the average value when assuming a normal distribution ), and conversely, a method that calculates a rare index (a value that is smaller than the average value when a normal distribution is assumed by more than 3σ) and outputs the obtained index.

[S102]総合異常度判定
異常判定学習器20の異常指標入力部21に、各異常指標出力器10から異常と検知した指標および当該指標を含むログ情報が与えられる。
[S102] Comprehensive Abnormality Degree Determination The abnormality index input unit 21 of the abnormality determination learning device 20 is supplied with the index detected as abnormal from each abnormality index output unit 10 and log information including the index.

異常判定学習器20の異常度判定部22において、事前に学習データを用いて学習された異常判定エンジンを用いて、任意の指標に対する総合的な異常度を判定し、異常判定結果として出力する。例えば、正解の内容(異常、正常、等)とログ情報と指標のセットを正解データとしてフィードバック結果保持部23で保持しており、特定の指標と当該指標が含まれる時間情報を基に学習データを生成する。これにより、当該指標が特定の周期性を持っていた場合、次に異常が現れる時間と指標を基に、異常度を判定できる学習データとなる。この学習データを用いて、異常度判定部22で異常性を判定し、異常判定結果として出力することができる。 The abnormality determination unit 22 of the abnormality determination learning device 20 uses an abnormality determination engine previously learned using learning data to determine the overall abnormality degree for an arbitrary index, and outputs the result as an abnormality determination result. For example, a set of correct answers (abnormal, normal, etc.), log information, and indicators is held as correct answer data in the feedback result holding unit 23, and learning data is obtained based on a specific indicator and time information including the indicator. to generate As a result, when the index has a specific periodicity, the learned data can be used to determine the degree of abnormality based on the time when the next abnormality appears and the index. Using this learning data, the abnormality degree determination unit 22 can determine abnormality and output it as an abnormality determination result.

[S103]学習データの更新
異常判定学習器20のフィードバック結果保持部23に、任意の指標に対して、異常か正常かを含む正解データが保持される。また、正解データは、異常判定学習器20からの異常判定結果を詳細調査し、その結果に対する異常か正常かがフィードバックされることにより保持されても良い。
[S103] Updating Learning Data Correct data including whether an arbitrary index is abnormal or normal is stored in the feedback result storage unit 23 of the abnormality determination learning device 20 . Further, the correct data may be retained by conducting a detailed investigation of the abnormality determination result from the abnormality determination learning device 20 and feeding back whether the result is abnormal or normal.

異常判定学習器20の学習データ生成部24において、正解データが与えられ学習データが更新される。学習データ生成部24は、正解データの内容及び異常度判定された指標の内容を基に、当該正解データを学習データの生成に利用するか否か、またその方法を決定し、生成した学習データを異常度判定部22へ与える。 In the learning data generator 24 of the abnormality determination learning device 20, the correct data is given and the learning data is updated. Based on the content of the correct data and the content of the index for which the degree of abnormality was determined, the learning data generation unit 24 determines whether or not to use the correct data for generating learning data, and determines the method, and generates the generated learning data. is provided to the abnormality degree determination unit 22 .

異常判定学習器20の異常度判定部22において、更新された学習データが与えられ、当該異常度判定部22が異常度判定するための事前学習を実施する。事前学習では、例えば、クラスター分析により学習データを評価し、クラスター境界面を複雑にする要素(外れ値など)を取り除く。例えば、時間が経過して信頼性が低くなった要素は学習に利用しないという前処理をすることによって、1正解データを除去することにより、精度の高い学習モデルとしても良い。 The abnormality degree determination unit 22 of the abnormality determination learning device 20 is supplied with the updated learning data, and the abnormality degree determination unit 22 performs pre-learning for determining the degree of abnormality. In pre-learning, for example, the learning data is evaluated by cluster analysis, and elements (outliers, etc.) that complicate the cluster boundary surface are removed. For example, a highly accurate learning model may be obtained by removing one-correct data by preprocessing such that elements whose reliability has decreased over time are not used for learning.

(A-3)実施形態の効果
本実施形態によれば、異常判定学習器20が、ログ情報に残る異常な振る舞いの異常度判定において、異常度判定部22が学習データの生成に利用する正解データを、当該正解データの内容(「正常」、「異常」等)や、異常度判定された指標の内容(ユーザID、IPアドレス、URL、ダウンロードサイズ、等)に基づき、取捨選択することを特徴とする。これにより、サイバー攻撃のような時間の経過と共に、正常、異常かが推移するような指標の検知において、学習データとして有効な正解データのみを異常度判定に利用することができ、システムの検知精度を向上させることができる。
(A-3) Effect of the Embodiment According to the present embodiment, when the abnormality determination learner 20 determines the degree of abnormality of abnormal behavior remaining in the log information, the correct answer used by the abnormality determination unit 22 to generate learning data is Selecting the data based on the content of the correct data ("normal", "abnormal", etc.) and the content of the index judged to be abnormal (user ID, IP address, URL, download size, etc.) Characterized by This makes it possible to use only the correct data, which is effective as learning data, to determine the degree of anomaly in the detection of indicators that change over time, such as cyberattacks. can be improved.

(B)他の実施形態
上記実施形態の説明においても、種々変形実施形態に言及したが、さらに以下に例示するような変形実施形態も挙げることができる。
(B) Other Embodiments Although various modified embodiments have been mentioned in the description of the above embodiments, further modified embodiments such as those exemplified below can also be mentioned.

上記実施形態では、異常と判定された指標と共にログ情報をやりとりする動作で説明したが、この動作に限定するものではない。例えば、別途各ログの識別情報をDBテーブルに管理しておき、各ログの識別情報のみをやりとりする動作にしても良い。 In the above embodiment, an operation of exchanging log information together with an index determined to be abnormal has been described, but the present invention is not limited to this operation. For example, the identification information of each log may be separately managed in a DB table, and only the identification information of each log may be exchanged.

1…異常判定システム、10…異常指標出力器、11…ログ情報入力部、12…異常指標出力部、20…異常判定学習器、21…異常指標入力部、22…異常度判定部、23…フィードバック結果保持部、24…学習データ生成部。 DESCRIPTION OF SYMBOLS 1...Abnormality determination system 10...Abnormality index output device 11...Log information input unit 12...Abnormality index output unit 20...Abnormality determination learning device 21...Abnormality index input unit 22...Abnormality degree determination unit 23... feedback result holding unit, 24...learning data generation unit;

Claims (10)

ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しない
ことを特徴とする異常判定学習器。
Abnormal index input means for acquiring an index related to a mode measured from log information;
Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
feedback result holding means for managing correct data fed back for the determined degree of abnormality;
learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
Further, the learning data generating means refers to the time information of the correct data and does not use the correct data older than a predetermined time for generating the learning data.
An anomaly determination learner characterized by:
ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更する
ことを特徴とする異常判定学習器。
Abnormal index input means for acquiring an index related to a mode measured from log information;
Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
feedback result holding means for managing correct data fed back for the determined degree of abnormality;
learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
Further, the learning data generating means refers to the time information of the correct data and changes the weight as the correct data according to the degree of divergence from the current time.
ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段とを備え、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更する
ことを特徴とする異常判定学習器。
Abnormal index input means for acquiring an index related to a mode measured from log information;
Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
feedback result holding means for managing correct data fed back for the determined degree of abnormality;
learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
Further, the learning data generating means refers to the contents of the indicators that are judged to be abnormal for each type of indicator in the correct data, and changes the weight of the correct data according to the total number of the same indicators. anomaly judgment learner.
コンピュータを、
ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しない
ことを特徴とする異常判定学習プログラム。
the computer,
Abnormal index input means for acquiring an index related to a mode measured from log information;
Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
feedback result holding means for managing correct data fed back for the determined degree of abnormality;
functioning as learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
Further, the learning data generating means refers to the time information of the correct data and does not use the correct data older than a predetermined time for generating the learning data.
An abnormality determination learning program characterized by:
コンピュータを、the computer,
ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、Abnormal index input means for acquiring an index related to a mode measured from log information;
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、feedback result holding means for managing correct data fed back for the determined degree of abnormality;
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、functioning as learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更するFurthermore, the learning data generating means refers to the time information of the correct data and changes the weight as the correct data according to the degree of divergence from the current time.
ことを特徴とする異常判定学習プログラム。An abnormality determination learning program characterized by:
コンピュータを、the computer,
ログ情報から測定される態様に関する指標を取得する異常指標入力手段と、Abnormal index input means for acquiring an index related to a mode measured from log information;
取得した前記指標に対して、学習データに基づき異常度を判定する異常度判定手段と、Abnormality degree determination means for determining the degree of abnormality based on learning data with respect to the obtained index;
判定した前記異常度に対してフィードバックされた正解データを管理するフィードバック結果保持手段と、feedback result holding means for managing correct data fed back for the determined degree of abnormality;
前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新する学習データ生成手段として機能させ、functioning as learning data generation means for updating the learning data using the correct data managed by the feedback result holding means;
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更するFurther, the learning data generating means refers to the contents of the indicators that are judged to be abnormal for each type of indicator in the correct data, and changes the weight of the correct data according to the total number of the same indicators.
ことを特徴とする異常判定学習プログラム。An abnormality determination learning program characterized by:
異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、
前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、
前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、
前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、
前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、所定の時刻よりも古い前記正解データを前記学習データの生成に利用しない
ことを特徴とする異常判定学習方法。
An abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means,
The abnormality index input means acquires an index related to a measured aspect from log information,
The abnormality degree determination means determines the degree of abnormality for the obtained index based on learning data,
The feedback result holding means manages correct data fed back with respect to the determined degree of abnormality,
The learning data generating means updates the learning data using the correct data managed by the feedback result holding means,
The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. determine whether
Further, the learning data generating means refers to the time information of the correct data and does not use the correct data older than a predetermined time for generating the learning data.
An abnormality determination learning method characterized by:
異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、An abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means,
前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、The abnormality index input means acquires an index related to a measured aspect from log information,
前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、The abnormality degree determination means determines the degree of abnormality for the obtained index based on learning data,
前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、The feedback result holding means manages correct data fed back with respect to the determined degree of abnormality,
前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、The learning data generating means updates the learning data using the correct data managed by the feedback result holding means,
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
さらに、前記学習データ生成手段は、前記正解データの時刻情報を参照し、現時刻との乖離度合に応じて前記正解データとしての重みを変更するFurthermore, the learning data generating means refers to the time information of the correct data and changes the weight as the correct data according to the degree of divergence from the current time.
ことを特徴とする異常判定学習方法。An abnormality determination learning method characterized by:
異常判定学習器に使用する異常判定学習方法であって、異常指標入力手段、異常度判定手段、フィードバック結果保持手段、及び学習データ生成手段を備え、An abnormality determination learning method used in an abnormality determination learner, comprising an abnormality index input means, an abnormality degree determination means, a feedback result holding means, and a learning data generation means,
前記異常指標入力手段は、ログ情報から測定される態様に関する指標を取得し、The abnormality index input means acquires an index related to a measured aspect from log information,
前記異常度判定手段は、取得した前記指標に対して、学習データに基づき異常度を判定し、The abnormality degree determination means determines the degree of abnormality for the obtained index based on learning data,
前記フィードバック結果保持手段は、判定した前記異常度に対してフィードバックされた正解データを管理し、The feedback result holding means manages correct data fed back with respect to the determined degree of abnormality,
前記学習データ生成手段は、前記フィードバック結果保持手段で管理する前記正解データを用いて、前記学習データを更新し、The learning data generating means updates the learning data using the correct data managed by the feedback result holding means,
前記学習データ生成手段は、前記フィードバック結果保持手段で保持する前記正解データの内容、及び、異常度判定された前記指標の内容を基に、前記正解データを前記学習データの生成に利用するか否かを決定し、The learning data generating means decides whether or not to use the correct data for generating the learning data based on the content of the correct data held by the feedback result holding means and the content of the index whose degree of abnormality was determined. decide whether
さらに、前記学習データ生成手段は、前記正解データについて指標の種類ごとに異常判定している前記指標の内容を参照し、同一指標の総数に応じて前記正解データの重みを変更するFurther, the learning data generating means refers to the contents of the indicators that are judged to be abnormal for each type of indicator in the correct data, and changes the weight of the correct data according to the total number of the same indicators.
ことを特徴とする異常判定学習方法。An abnormality determination learning method characterized by:
1又は2以上の異常指標出力器と、異常判定学習器とを備える異常判定システムであって、
前記異常判定学習器として、請求項1~のいずれかに記載の異常判定学習器を適用したことを特徴とする異常判定システム。
An abnormality determination system comprising one or more abnormality index output devices and an abnormality determination learning device,
An abnormality determination system, wherein the abnormality determination learning device according to any one of claims 1 to 3 is applied as the abnormality determination learning device.
JP2019071497A 2019-04-03 2019-04-03 Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system Active JP7331421B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019071497A JP7331421B2 (en) 2019-04-03 2019-04-03 Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019071497A JP7331421B2 (en) 2019-04-03 2019-04-03 Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system

Publications (2)

Publication Number Publication Date
JP2020170350A JP2020170350A (en) 2020-10-15
JP7331421B2 true JP7331421B2 (en) 2023-08-23

Family

ID=72746179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019071497A Active JP7331421B2 (en) 2019-04-03 2019-04-03 Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system

Country Status (1)

Country Link
JP (1) JP7331421B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120284212A1 (en) 2011-05-04 2012-11-08 Google Inc. Predictive Analytical Modeling Accuracy Assessment
JP2019036865A (en) 2017-08-17 2019-03-07 沖電気工業株式会社 Communication analysis device, communication analysis program, and communication analysis method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120284212A1 (en) 2011-05-04 2012-11-08 Google Inc. Predictive Analytical Modeling Accuracy Assessment
JP2019036865A (en) 2017-08-17 2019-03-07 沖電気工業株式会社 Communication analysis device, communication analysis program, and communication analysis method

Also Published As

Publication number Publication date
JP2020170350A (en) 2020-10-15

Similar Documents

Publication Publication Date Title
US11012472B2 (en) Security rule generation based on cognitive and industry analysis
US11218510B2 (en) Advanced cybersecurity threat mitigation using software supply chain analysis
US11483318B2 (en) Providing network security through autonomous simulated environments
EP3343867B1 (en) Methods and apparatus for processing threat metrics to determine a risk of loss due to the compromise of an organization asset
US11258818B2 (en) Method and system for generating stateful attacks
JP7073343B2 (en) Security vulnerabilities and intrusion detection and repair in obfuscated website content
US12041091B2 (en) System and methods for automated internet- scale web application vulnerability scanning and enhanced security profiling
US9635039B1 (en) Classifying sets of malicious indicators for detecting command and control communications associated with malware
US8627469B1 (en) Systems and methods for using acquisitional contexts to prevent false-positive malware classifications
US11483319B2 (en) Security model
EP3566166B1 (en) Management of security vulnerabilities
US20220210202A1 (en) Advanced cybersecurity threat mitigation using software supply chain analysis
US10601847B2 (en) Detecting user behavior activities of interest in a network
US20190238572A1 (en) Indicating malware generated domain names using n-grams
US11706192B2 (en) Integrated behavior-based infrastructure command validation
US20190238573A1 (en) Indicating malware generated domain names using digits
EP3799367B1 (en) Generation device, generation method, and generation program
Desmet et al. Premadoma: An operational solution to prevent malicious domain name registrations in the. eu tld
JP7331421B2 (en) Abnormality judgment learning device, abnormality judgment learning program, abnormality judgment learning method, and abnormality judgment system
US11693651B1 (en) Static and dynamic correlation of software development pipeline events
Wu et al. Quantitative analysis of the security of software‐defined network controller using threat/effort model
KR102447279B1 (en) Apparatus for processing cyber threat information, method for processing cyber threat information, and medium for storing a program processing cyber threat information
US20220245249A1 (en) Specific file detection baked into machine learning pipelines
EP4386597A1 (en) Cyber threat information processing device, cyber threat information processing method, and storage medium storing cyber threat information processing program
US20230069731A1 (en) Automatic network signature generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7331421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150