JP7283315B2 - Anomaly detection device, anomaly detection program, and anomaly detection method - Google Patents
Anomaly detection device, anomaly detection program, and anomaly detection method Download PDFInfo
- Publication number
- JP7283315B2 JP7283315B2 JP2019164814A JP2019164814A JP7283315B2 JP 7283315 B2 JP7283315 B2 JP 7283315B2 JP 2019164814 A JP2019164814 A JP 2019164814A JP 2019164814 A JP2019164814 A JP 2019164814A JP 7283315 B2 JP7283315 B2 JP 7283315B2
- Authority
- JP
- Japan
- Prior art keywords
- category
- log
- feature
- categories
- anomaly detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、異常検知装置、異常検知プログラム、及び異常検知方法に関し、例えば、ネットワーク機器のログを分析して疑わしいログや通信を検知し検知結果を視覚的に表示する異常検知装置に適用し得る。 The present invention relates to an anomaly detection device, an anomaly detection program, and an anomaly detection method, and can be applied, for example, to an anomaly detection device that analyzes logs of network devices, detects suspicious logs and communications, and visually displays the detection results. .
年々増加・進化するサイバー攻撃が社会問題となっている。サイバー攻撃に対しては、プロキシやファイアウォールなどのネットワーク機器での防御が従来有効であったが、近年ではネットワーク機器の機能だけでは防ぎきれない攻撃も増加している。このような攻撃に対しては、ネットワーク機器のログを分析し攻撃の検知漏れを防ぐことが重要である。しかし、従業員数の多い企業ではネットワーク機器のログの量は膨大であり、人手で分析するのは非常に困難である。こういった膨大なログに対しては機械学習を用いたアプローチが有効である。 Cyberattacks, which are increasing and evolving year by year, have become a social problem. Network devices such as proxies and firewalls have traditionally been effective against cyber-attacks, but in recent years there has been an increase in attacks that cannot be prevented by the functions of network devices alone. Against such attacks, it is important to analyze the logs of network devices and prevent detection omissions of attacks. However, in companies with a large number of employees, the amount of network device logs is enormous, and it is extremely difficult to analyze them manually. An approach using machine learning is effective for such huge logs.
機械学習では、ネットワーク機器の過去のログから疑わしい通信の特徴を抽出し、その特徴を機械学習器に学習させる。学習させた機械学習器(以下、「分類器」と呼ぶ)は、過去の疑わしい通信の特徴に似ている異常な通信か、そうでない正常な通信かを分類して出力する。現在の膨大なログを分類器に適用することで、異常な通信と分類されたログだけに絞り込むことができるため、調査者のログ調査作業を効率化できる。 In machine learning, the characteristics of suspicious communications are extracted from past logs of network equipment, and the characteristics are learned by a machine learning machine. A learned machine learning device (hereinafter referred to as a “classifier”) classifies and outputs whether it is an abnormal communication that resembles characteristics of past suspicious communication or a normal communication that is not. By applying the current enormous amount of logs to the classifier, it is possible to narrow down only the logs classified as abnormal communications, so the investigator's log investigation work can be made more efficient.
しかし、機械学習には、異常と分類されてもその要因が説明できない(ブラックボックスである)、正常な通信を異常と分類してしまう誤検知が多い、といった側面がある。前者は決定木をベースとした機械学習器を使用することで、分類に寄与した特徴が得られるため、この情報から原因の推定が可能である。後者は機械学習器に与えるパラメータを工夫することで異常と分類するログ数を調整できるが、検知漏れを防ぐためにある程度の誤検知は許容する必要があり、調査対象のログは一定数以上存在することになる。 However, machine learning has the aspect that even if it is classified as an anomaly, the cause cannot be explained (it is a black box), and there are many false positives that classify normal communication as an anomaly. The former uses a decision tree-based machine learner to obtain the features that contributed to the classification, so it is possible to infer the cause from this information. The latter can adjust the number of logs to be classified as abnormal by devising the parameters given to the machine learning device, but it is necessary to allow a certain amount of false positives to prevent detection omissions, and there are more than a certain number of logs to be investigated. It will be.
以上より、異常と分類された調査対象のログを効率的に調査する方法が求められる。特にサイバー攻撃では、異常と分類するものの中でも、緊急性の高いものとそうでないものが存在する。例えば、サイバー攻撃の進行段階でカテゴリ分けしたサイバーキルチェーンでは、段階が進んでいるほど緊急性が高いとされる。そのため、異常と分類されたものの中でも緊急性が高いログを優先して調査者に表示することで、調査対象ログの優先度付けができるため、調査作業を効率化できる。ここで、サイバーキルチェーンの段階には、攻撃対象を選定する「偵察段階」、マルウェアなどをダウンロードさせる「配送段階」、感染後にC&C(Command & Response)サーバと通信を行う「遠隔操作段階」などが存在する。 From the above, there is a need for a method of efficiently investigating the logs classified as abnormal. In cyberattacks in particular, even among those classified as abnormal, there are those that are highly urgent and those that are not. For example, in the cyber kill chain, which categorizes cyberattacks according to their progress, the more advanced the stage, the higher the urgency. Therefore, by preferentially displaying logs with high urgency among those classified as abnormal to the investigator, it is possible to prioritize the logs to be investigated, thereby improving the efficiency of the investigation work. Here, the stages of the cyber kill chain include the “reconnaissance stage” to select the attack target, the “delivery stage” to download malware, etc., and the “remote operation stage” to communicate with the C&C (Command & Response) server after infection. exists.
例えば、特許文献1では、コンピューティングシステムにおける複数のセキュリティ製品やネットワーク機器の異常検知結果を表示するGUI(Graphical User Interface)に関する技術が開示されている。特許文献1では、セキュリティ製品やネットワーク機器で検出したネガティブな結果(重大なセキュリティイベント、異常、脆弱性、脅威)をもとに、ネガティブな結果があれば赤色で、ネガティブな結果が1つもなければ緑色で表示することで、コンピューティングシステムの調査が必要か否かを直観的に知ることができる。
For example,
また、特許文献2では、検知ルールを用いて検知した攻撃活動に対する対処内容をアナリストに提示するシステムに関する技術が開示されている。特許文献2では、過去の攻撃活動や攻撃活動に対する対処内容を蓄積しておく。そして現在検知した攻撃活動について、蓄積した過去の情報から類似した攻撃活動を取得するとともに、攻撃活動に対する対処内容を取得し、アナリストに提示する。ここで過去の攻撃活動や対処内容には重要度が付与されており、類似した攻撃活動や対処内容が複数ある場合には、それぞれ重要度の高い順に提示する。特許文献2に記載の技術により、攻撃活動とその対処内容が優先付けして提示されるため、アナリストは検知した攻撃活動に対してどの順番でどのように調査すれば良いかを容易に知ることができる。
In addition,
しかしながら、上記特許文献1では、コンピューティングシステムに異常があったことは知ることができるが、どのログから優先的に調査すれば良いかをGUIから知ることはできない。また、ネガティブな結果となった要因も同様にGUIから知ることはできない。
However, in
一方、特許文献2では、検知した攻撃活動のログ(通信)毎に、アナリストが攻撃活動の内容と対応する重要度、対処内容と対応する重要度をそれぞれ手動で与えてやる必要があり、調査者の作業工数の増加が問題となる。
On the other hand, in
以上より、異常と分類した要因とその優先度が調査者に直観的に提示され、かつ提示に必要な情報を作成するための分析者の作業工数を削減できる異常検知装置、異常検知プログラム、及び異常検知方法が望まれている。 From the above, an anomaly detection device, an anomaly detection program, and an anomaly detection device that intuitively presents factors classified as anomalies and their priorities to an investigator and reduces the work man-hours of an analyst for creating information necessary for presentation. An anomaly detection method is desired.
第1の本発明は、ログを分析し、異常検知結果を表示する異常検知装置であって、(1)前記ログから特徴を抽出し、前記特徴とカテゴリとを対応付けた特徴・カテゴリ対応リストを用いて前記ログを分析し、いずれかのカテゴリに分類して分類結果を出力するログ分析部と、(2)カテゴリ単位で前記ログの前記異常検知結果を表示する検知結果表示部と、(3)前記ログ分析部に前記ログの分析を要求し、前記検知結果表示部に前記異常検知結果の表示を要求する制御部と、(4)前記特徴・カテゴリ対応リスト、1又は2以上のカテゴリが記載されたカテゴリリスト、及び前記分類結果を保持する記憶部と、(5)前記特徴と、前記カテゴリリストのカテゴリとを対応付ける入力画面を描画・表示し、前記特徴に対応するカテゴリが入力された入力結果を前記特徴・カテゴリ対応リストとして保存する入力部とを有し、(6)前記ログ分析部は、前記ログから抽出した前記特徴を特徴量に変換して機械学習で分析するものであり、(7)前記機械学習で用いる機械学習器は、前記特徴を学習して異常である確率を出力する分類器を作成し、前記分類器の分類に寄与する前記特徴の重要度を出力することができるものであり、(8)前記ログ分析部は、前記特徴・カテゴリ対応リスト、前記ログの特徴量、及び前記特徴の重要度を用いて前記カテゴリを推定することを特徴とする。 A first aspect of the present invention is an anomaly detection device that analyzes a log and displays an anomaly detection result, comprising: (1) a feature/category correspondence list in which features are extracted from the log and the features and categories are associated with each other; (2) a detection result display unit that displays the anomaly detection results of the log in units of categories; 3) a control unit that requests the log analysis unit to analyze the log and the detection result display unit to display the abnormality detection result; (4) the feature/category correspondence list; (5) drawing and displaying an input screen for associating the features with the categories of the category list, and inputting the category corresponding to the features ; (6) the log analysis unit converts the features extracted from the log into feature quantities and analyzes them by machine learning; (7) The machine learning device used in the machine learning creates a classifier that learns the features and outputs the probability of being abnormal, and outputs the importance of the features that contribute to the classification of the classifier. (8) The log analysis unit estimates the category using the feature/category correspondence list, the feature amount of the log, and the importance of the feature.
第2の本発明の異常検知プログラムは、ログを分析し、異常検知結果を表示する異常検知装置に搭載されるコンピュータを、(1)前記ログから特徴を抽出し、前記特徴とカテゴリとを対応付けた特徴・カテゴリ対応リストを用いて前記ログを分析し、いずれかのカテゴリに分類して分類結果を出力するログ分析部と、(2)カテゴリ単位で前記ログの前記異常検知結果を表示する検知結果表示部と、(3)前記ログ分析部に前記ログの分析を要求し、前記検知結果表示部に前記異常検知結果の表示を要求する制御部と、(4)前記特徴・カテゴリ対応リスト、1又は2以上のカテゴリが記載されたカテゴリリスト、及び前記分類結果を保持する記憶部と、(5)前記特徴と、前記カテゴリリストのカテゴリとを対応付ける入力画面を描画・表示し、前記特徴に対応するカテゴリが入力された入力結果を前記特徴・カテゴリ対応リストとして保存する入力部して機能させ、(6)前記ログ分析部は、前記ログから抽出した前記特徴を特徴量に変換して機械学習で分析するものであり、(7)前記機械学習で用いる機械学習器は、前記特徴を学習して異常である確率を出力する分類器を作成し、前記分類器の分類に寄与する前記特徴の重要度を出力することができるものであり、(8)前記ログ分析部は、前記特徴・カテゴリ対応リスト、前記ログの特徴量、及び前記特徴の重要度を用いて前記カテゴリを推定することを特徴とする。 The anomaly detection program of the second aspect of the present invention analyzes a log and causes a computer installed in an anomaly detection device that displays an anomaly detection result to: (1) extract features from the log, and associate the features with categories; a log analysis unit that analyzes the log using the attached feature/category correspondence list, classifies it into one of the categories, and outputs the classification result; and (2) displaying the anomaly detection result of the log for each category. a detection result display unit; (3) a control unit that requests the log analysis unit to analyze the log and the detection result display unit to display the abnormality detection result; and (4) the feature/category correspondence list. , a category list in which one or more categories are described, and a storage unit that holds the classification results; (6) the log analysis unit converts the features extracted from the log into feature quantities, and (7) the machine learning device used in the machine learning creates a classifier that learns the features and outputs a probability of being abnormal, and contributes to the classification of the classifier; (8) the log analysis unit estimates the category using the feature/category correspondence list, the feature amount of the log, and the feature importance; It is characterized by
第3の本発明は、ログを分析し、異常検知結果を表示する異常検知装置に使用する異常検知方法であって、(1)ログ分析部が、前記ログから特徴を抽出し、前記特徴とカテゴリとを対応付けた特徴・カテゴリ対応リストを用いて前記ログを分析し、いずれかのカテゴリに分類して分類結果を出力し、(2)検知結果表示部が、カテゴリ単位で前記ログの前記異常検知結果を表示し、(3)制御部が、前記ログ分析部に前記ログの分析を要求し、前記検知結果表示部に前記異常検知結果の表示を要求し、(4)記憶部が、前記特徴・カテゴリ対応リスト、1又は2以上のカテゴリが記載されたカテゴリリスト、及び前記分類結果を保持し、(5)入力部が、前記特徴と、前記カテゴリリストのカテゴリとを対応付ける入力画面を描画・表示し、前記特徴に対応するカテゴリが入力された入力結果を前記特徴・カテゴリ対応リストとして保存し、(6)前記ログ分析部は、前記ログから抽出した前記特徴を特徴量に変換して機械学習で分析するものであり、(7)前記機械学習で用いる機械学習器は、前記特徴を学習して異常である確率を出力する分類器を作成し、前記分類器の分類に寄与する前記特徴の重要度を出力することができるものであり、(8)前記ログ分析部は、前記特徴・カテゴリ対応リスト、前記ログの特徴量、及び前記特徴の重要度を用いて前記カテゴリを推定することを特徴とする。 A third aspect of the present invention is an anomaly detection method used in an anomaly detection device that analyzes a log and displays an anomaly detection result, wherein: (1) a log analysis unit extracts features from the log; The log is analyzed using a feature/category correspondence list in which categories are associated with each other, the log is classified into one of the categories, and the classification result is output; (3) the control unit requests the log analysis unit to analyze the log, requests the detection result display unit to display the abnormality detection result, (4) the storage unit, holding the feature/category correspondence list, a category list in which one or more categories are described, and the classification result ; (6) the log analysis unit converts the features extracted from the log into feature amounts; (7) the machine learning device used in the machine learning creates a classifier that learns the features and outputs the probability of being abnormal, and contributes to the classification of the classifier (8) the log analysis unit estimates the category using the feature/category correspondence list, the feature amount of the log, and the importance of the feature; characterized by
本発明によれば、異常と分類した要因とその優先度が調査者に直観的に提示され、かつ提示に必要な情報を作成するための分析者の作業工数を削減できる。 According to the present invention, factors classified as abnormal and their priorities are intuitively presented to the investigator, and man-hours required for analysts to create information required for presentation can be reduced.
(A)主たる実施形態
以下、本発明に係る異常検知装置、異常検知プログラム、及び異常検知方法の一実施形態を、図面を参照しながら詳述する。
(A) Main Embodiments An embodiment of an abnormality detection device, an abnormality detection program, and an abnormality detection method according to the present invention will be described in detail below with reference to the drawings.
(A-1)実施形態の構成
まず、本実施形態の概要を述べる。本実施形態では、異常と分類されたログをサイバーキルチェーンの進行度別に表示する。本実施形態では、機械学習器で学習させるログの各特徴について、サイバーキルチェーンのどの段階に現れる特徴であるかを予め定義しておき、定義した情報と分類器の重要度情報から異常と分類されたログの分類要因(サイバーキルチェーンの進行度)を推定し表示する。以下、詳細を述べる。
(A-1) Configuration of Embodiment First, the outline of this embodiment will be described. In this embodiment, logs classified as abnormal are displayed according to the degree of progress of the cyber kill chain. In this embodiment, for each feature of the log to be learned by the machine learning machine, it is defined in advance which stage of the cyber kill chain the feature appears in, and is classified as an anomaly based on the defined information and the importance information of the classifier. Estimate and display the classification factor (progress of the cyber kill chain) of the logs that have been detected. Details are described below.
図1は、実施形態に係る異常検知結果表示装置の内部構成を示すブロック図である。 FIG. 1 is a block diagram showing the internal configuration of the abnormality detection result display device according to the embodiment.
図1において、異常検知結果表示装置10は、ログ分析部11、入力部12、制御部13、記憶部14、及び検知結果表示部15を有する。
In FIG. 1 , the abnormality detection
異常検知結果表示装置10は、例えば、プロセッサ及びメモリ等を有するコンピュータにプログラムをインストールすることにより構築するようにしても良い。また、異常検知結果表示装置10は、一部又は全部をハードウェア(例えば、専用の半導体チップや電気回路等)を用いて構成するようにしても良い。
For example, the abnormality detection
ログ分析部11は、ネットワーク機器のログ(図1では、ネットワーク機器ログ20)から特徴を抽出し、抽出した特徴を学習データとして機械学習器で学習し、正常・異常分類する分類器を作成する手段を有する。使用するネットワーク機器ログ20は限定しないが、例えばプロキシやファイアウォールのログを使用する。またログから特徴を抽出する方法についても限定しないが、例えば予め決められたルールで抽出する方法や、別の機械学習器を使って特徴を抽出する方法、それらの組み合わせ、などが考えられる。
The log analysis unit 11 extracts features from the network device log (the
抽出される特徴には、例えばプロキシログのダウンロードサイズやアップロードサイズ、宛先ホストの文字列などをそのまま使用するものや、ダウンロードサイズが他のログより相対的に大きい(異常)、宛先ホストが滅多に出てこない(レア)など、ルールや機械学習などによって質的変数に変換して使用するものなどが考えられる。ログ分析部11は、抽出した特徴を識別できる名称を、図2に示すような特徴リスト(図1では、特徴リストL)として記憶部14に保存する。
Extracted features include, for example, proxy log download and upload sizes, destination host character strings that are used as they are, download sizes that are relatively larger than other logs (abnormal), and destination hosts that are rarely used. It is possible to think of things such as those that do not appear (rare) that are used after being converted into qualitative variables by rules or machine learning. The log analysis unit 11 saves the names that can identify the extracted features in the
ログ分析部11が使用する機械学習器は、分類器の作成に寄与した特徴の重要度が得られる学習器であり、例えば決定木ベースの学習器を使用する。使用する機械学習器によっては、学習データに対して異常か正常かのラベルを付与して学習させる必要がある。学習データのラベル付与方法については限定しないが、例えば調査者が調査したログに対して、真に正常か異常かを判断した時にその情報をラベルとして付与する方法が考えられる。ログ分析部11は、機械学習器で学習し得られた分類器、及び特徴の重要度リスト(後述する図7の特徴重要度リストN)を記憶部14に保存する。
The machine learning device used by the log analysis unit 11 is a learning device that obtains the degree of importance of features that contributed to the creation of the classifier, and uses, for example, a decision tree-based learning device. Depending on the machine learning device to be used, it is necessary to assign a label indicating whether the learning data is abnormal or normal before learning. Although the method of labeling the learning data is not limited, for example, when an investigator judges whether a log investigated is truly normal or abnormal, a method of labeling the information is conceivable. The log analysis unit 11 saves the classifier learned by the machine learning device and the feature importance list (feature importance list N in FIG. 7 to be described later) in the
また、ログ分析部11は、ネットワーク機器ログ20の特徴を分類器に適用して正常・異常分類を行い、さらに後述する図5の特徴・カテゴリ対応リストMを用い、異常分類されたログがサイバーキルチェーンのどのカテゴリに属するか推定する手段を有する。ここで、分類器が出力する内容については限定しない。例えば、機械学習器(や機械学習器のパラメータの与え方)によっては、正常か異常かを分類するのではなく、異常である確率を出力するものもあり、その確率を出力としても良い。ログ分析部11は、分類結果とカテゴリ推定結果を記憶部14に保存する。
In addition, the log analysis unit 11 applies the features of the
入力部12は、機械学習器に与えるログの各特徴について、サイバーキルチェーンのどのカテゴリに当てはまるかを設定する入力インターフェースを調査者に提供する手段を有する。例えば、図3のような画面(入力画面30)を表示する。図3の入力画面30では、各特徴(図2の特徴リストLの各特徴)についてサイバーキルチェーンのカテゴリを入力できる入力ボックス31(31-1~31-3)を描画し、調査者が特徴に対応するカテゴリを入力する。入力部12は、入力された特徴とカテゴリの対応関係を特徴・カテゴリ対応リストMとして記憶部14に保存する。
The input unit 12 has means for providing an investigator with an input interface for setting which category of the cyber kill chain each characteristic of the log to be given to the machine learning device corresponds to. For example, a screen (input screen 30) as shown in FIG. 3 is displayed. On the
制御部13は、ログ分析部11に機械学習や分類器でのログの異常分類を指示する、検知結果表示部15に異常検知結果の表示を指示する、といった他の各種構成部の動作を指示する手段を有する。また、制御部13は、調査者からの異常検知結果表示要求を受付ける手段を有する。 The control unit 13 instructs the log analysis unit 11 to perform machine learning or to classify log anomalies using a classifier, and instructs the detection result display unit 15 to display anomaly detection results. have the means to In addition, the control unit 13 has a means for receiving an anomaly detection result display request from an investigator.
記憶部14は、各種情報(特徴リストL、特徴・カテゴリ対応リストM、特徴重要度リストN等)を記憶する手段を有する。
The
検知結果表示部15は、ログの異常分類結果とカテゴリ推定結果から、サイバーキルチェーンのカテゴリ別に結果を調査者に表示する手段を有する。 The detection result display unit 15 has a means for displaying to the investigator results for each cyber kill chain category based on the log anomaly classification results and category estimation results.
(A-2)実施形態の動作
次に、以上のような構成を有する実施形態に係る異常検知結果表示装置10の動作を説明する。
(A-2) Operation of Embodiment Next, the operation of the abnormality detection
異常検知結果表示装置10の動作(本実施形態の特徴動作)の内、ログの各特徴に対してサイバーキルチェーンのカテゴリを対応付け、特徴・カテゴリ対応リストMを作成する動作を図4で、機械学習器の学習及び分類動作を図6で、検知結果表示部15で異常検知結果を表示する動作を図8でそれぞれ説明する。 Among the operations of the anomaly detection result display device 10 (feature operations of the present embodiment), the operations of associating each feature of the log with the category of the cyber kill chain and creating a feature/category correspondence list M are shown in FIG. The learning and classification operations of the machine learning device will be described with reference to FIG. 6, and the operation of displaying the abnormality detection result on the detection result display unit 15 will be described with reference to FIG.
(A-2-1)特徴・カテゴリ対応リスト作成動作
図4は、実施形態に係る異常検知結果表示装置の特徴動作(特徴・カテゴリ対応リスト作成動作)を示すフローチャートである。
(A-2-1) Feature/Category Correspondence List Creation Operation FIG. 4 is a flowchart showing a feature operation (feature/category correspondence list creation operation) of the abnormality detection result display device according to the embodiment.
入力部12は、調査者から入力要求を受けると、ネットワーク機器ログ20の特徴リストLを記憶部14から取得する(S101)。
Upon receiving an input request from an investigator, the input unit 12 acquires the feature list L of the
また、入力部12は、サイバーキルチェーンのカテゴリリストを記憶部14から取得する(S102)。ここで、取得したサイバーキルチェーンカテゴリ(配送、遠隔操作等のカテゴリが記載された一覧)は、入力画面30の入力ボックス31で選択する際に利用して良い。また、当該処理を省略しても良いが、その場合、入力ボックス31では調査者がサイバーキルチェーンカテゴリを直接入力する必要がある。なお、ここでのカテゴリリストは、例えば、後述する図10のカテゴリリストO、又はカテゴリリストOから順序番号が省略された別のカテゴリリストでも良い。
Also, the input unit 12 acquires the category list of the cyber kill chain from the storage unit 14 (S102). Here, the acquired cyber kill chain category (a list in which categories such as delivery and remote control are described) may be used when making a selection in the input box 31 of the
次に、入力部12は、取得した特徴リストLを使って、特徴に対応するサイバーキルチェーンのカテゴリを入力する入力画面30(先述の図3)を描画して表示する(S103)。 Next, using the acquired feature list L, the input unit 12 draws and displays the input screen 30 (described above in FIG. 3) for inputting the cyber kill chain category corresponding to the feature (S103).
入力部12は、調査者が入力画面30でサイバーキルチェーンカテゴリの入力(選択)操作の完了を待つ状態に遷移する(S104)。入力部12は、入力完了を受け付けると(例えば、図示しない入力完了ボタンの押下)次の処理を行う。 The input unit 12 transitions to a state in which the investigator waits for completion of the input (selection) operation of the cyber kill chain category on the input screen 30 (S104). The input unit 12 performs the following processing upon receiving input completion (for example, pressing an input completion button (not shown)).
入力部12は、入力情報をもとに、特徴に対するカテゴリを対応付けた、特徴・カテゴリ対応リストM(図5)を作成し、記憶部14に保存する(S105)。 Based on the input information, the input unit 12 creates a feature/category correspondence list M (FIG. 5) in which categories are associated with features, and stores it in the storage unit 14 (S105).
(A-2-2)機械学習器の学習及び分類動作
図6は、実施形態に係る異常検知結果表示装置の特徴動作(機械学習器の学習及び分類動作)を示すフローチャートである。
(A-2-2) Learning and Classification Operations of Machine Learner FIG. 6 is a flow chart showing characteristic operations (learning and classification operations of the machine learner) of the anomaly detection result display device according to the embodiment.
ログ分析部11は、制御部13からの要求(学習又は分類)により、以下の処理を行う(S201)。 The log analysis unit 11 performs the following processing according to a request (learning or classification) from the control unit 13 (S201).
まず、学習処理(S201~S205)から説明を行う。制御部13は、ログ分析部11に対して学習を要求するが、このとき併せて学習させるネットワーク機器ログ20の対象期間をログ分析部11に通知する。
First, the learning process (S201 to S205) will be described. The control unit 13 requests the log analysis unit 11 to perform learning, but at the same time notifies the log analysis unit 11 of the target period of the
ログ分析部11は、ネットワーク機器ログ20から指定された期間のログを取得し(S202)、続いてログから特徴を抽出し学習データを作成する(S203)。ここで、ログ分析部11は、抽出した特徴リストLを記憶部14に保存する。
The log analysis unit 11 acquires a log for a specified period from the network device log 20 (S202), then extracts features from the log and creates learning data (S203). Here, the log analysis unit 11 saves the extracted feature list L in the
次に、ログ分析部11は、学習データを機械学習器で学習させ、分類器を作成する(S204)。 Next, the log analysis unit 11 causes a machine learning device to learn the learning data and creates a classifier (S204).
最後に、ログ分析部11は、作成した分類器と、分類器の特徴の重要度を示す特徴重要度リストN(図7)とを記憶部14に保存する。
Finally, the log analysis unit 11 saves the created classifier and the feature importance list N (FIG. 7) indicating the importance of the features of the classifier in the
次に、分類動作(S206~S210)の説明を行う。制御部13は、ログ分析部11に対して正常・異常分類を要求する。このとき、制御部13は分類させるネットワーク機器ログ20の対象期間をログ分析部11に通知する。
Next, the classification operation (S206-S210) will be described. The control unit 13 requests the log analysis unit 11 to classify normality/abnormality. At this time, the control unit 13 notifies the log analysis unit 11 of the target period of the
ログ分析部11は、ネットワーク機器ログ20から指定された期間のログを取得し(S206)、ログから特徴を抽出する(S207)。 The log analysis unit 11 acquires the log for the designated period from the network device log 20 (S206), and extracts features from the log (S207).
次に、ログ分析部11は、記憶部14から分類器を取得し各ログの正常・異常分類をする(S208)。
Next, the log analysis unit 11 acquires a classifier from the
次に、ログ分析部11は、異常分類されたログ毎に、サイバーキルチェーンのどのカテゴリに属するかを推定する(S209)。このために、はじめにログ分析部11は、記憶部14から特徴・カテゴリ対応リストMを取得する。次にログ分析部11は、特徴・カテゴリ対応リストMの情報をもとに、以下の(1)式を使用して、カテゴリ毎にそのカテゴリに属する特徴について、特徴量と特徴重要度を乗算しその和をカテゴリスコアとして算出する。ここで、(1)式は配送カテゴリのスコアを計算する式を表し、他のカテゴリのスコア(例えば、偵察カテゴリスコア、遠隔操作カテゴリスコア等)も同様の方法で計算する。
そして、ログ分析部11は、以下の(2)式を使い、カテゴリスコアが最大となるカテゴリを求め、推定結果とする。
最後に、ログ分析部11は、異常分類結果(分類器の出力が異常である確率の場合、その値)とカテゴリ推定結果を記憶部14に保存する。
Finally, the log analysis unit 11 saves the abnormal classification result (in the case of the probability that the output of the classifier is abnormal, its value) and the category estimation result in the
(A-2-3)異常検知結果表示動作
図8は、実施形態に係る異常検知結果表示装置の特徴動作(異常検知結果を表示する動作)を示すフローチャートである。
(A-2-3) Abnormality Detection Result Display Operation FIG. 8 is a flowchart showing a characteristic operation (operation for displaying an abnormality detection result) of the abnormality detection result display device according to the embodiment.
まず、制御部13は、調査者から検知結果表示要求を受付けると、検知結果表示部15に異常ログの検知結果の表示を要求する。このとき、制御部13は、結果を表示するログの期間を検知結果表示部15に通知する。 First, when receiving a detection result display request from an investigator, the control unit 13 requests the detection result display unit 15 to display the detection result of the abnormality log. At this time, the control unit 13 notifies the detection result display unit 15 of the log period for displaying the results.
検知結果表示部15は、指定された期間で異常分類されたログの分類結果を取得する(S301)。また、検知結果表示部15は、異常分類されたログのカテゴリ推定結果を記憶部14から取得する(S302)。 The detection result display unit 15 acquires the classification result of logs classified as abnormal during the designated period (S301). Further, the detection result display unit 15 acquires the category estimation result of the log classified as abnormal from the storage unit 14 (S302).
次に、検知結果表示部15は、カテゴリ別に検知結果を描画する(S303)。具体的な描画内容は限定しないが、例えば、図9のように、横軸にサイバーキルチェーンの進行度、縦軸にログの異常度をとって、各ログをプロットする描画内容が考えられる。 Next, the detection result display unit 15 draws the detection results for each category (S303). Although specific drawing contents are not limited, for example, as shown in FIG. 9, drawing contents may be considered in which each log is plotted with the horizontal axis representing the degree of progress of the cyber kill chain and the vertical axis representing the degree of abnormality of the log.
最後に、検知結果表示部15は、描画結果を調査者に表示する(S304)。 Finally, the detection result display unit 15 displays the drawing result to the researcher (S304).
(A-3)実施形態の効果
本実施形態によれば、以下の効果を奏する。
(A-3) Effects of Embodiment According to this embodiment, the following effects are obtained.
異常検知結果表示装置10は、ネットワーク機器のログを分析し異常検知結果を表示するが、機械学習器に与えるログの特徴とサイバーキルチェーンのカテゴリとを対応付け、機械学習器の特徴重要度リストを用い、異常と分類されたログのサイバーキルチェーン進行度を推定して、進行度別に表示することを特徴とする。
The anomaly detection
サイバーキルチェーンの進行度別に表示することで、調査者は調査するログの緊急性を把握し優先度付けをすることができる。このため調査作業を効率化できる。また、結果を表示するために調査者が行う作業は、機械学習の各特徴にサイバーキルチェーンのカテゴリを対応付けるだけで良いため、調査者の作業負担が少ない。 By displaying the progress of the cyber kill chain, investigators can understand and prioritize the urgency of the logs to be investigated. Therefore, the efficiency of the investigation work can be improved. In addition, the investigator's workload to display the results can be reduced by simply associating each feature of machine learning with the category of the cyber kill chain.
(B)他の実施形態
本発明は、上記実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(B) Other Embodiments The present invention is not limited to the above-described embodiments, and modified embodiments as exemplified below can also be mentioned.
(B-1)上記実施形態では、異常検知結果をサイバーキルチェーンの進行度で表示していたが、これに限定されるものではない。例えば、端末の設定ミスや故障の検知など、入力部でカテゴリを調査者が自由に定義できるようにし、ログの特徴を、定義したカテゴリに対応付けるようにすれば、任意のカテゴリ単位で異常検知結果が表示できる。 (B-1) In the above embodiment, the anomaly detection result is displayed by the degree of progress of the cyber kill chain, but the present invention is not limited to this. For example, by enabling the investigator to freely define categories in the input section, such as detection of terminal setting errors and failures, and by associating log features with the defined categories, anomaly detection results can be obtained for arbitrary category units. can be displayed.
(B-2)上記実施形態では、カテゴリの推定方法として、各カテゴリのスコアを算出し、最大スコアのカテゴリを推定結果としていたが、これに限定されるものではない。例えば、サイバーキルチェーンの段階のように、カテゴリに順序があるような場合、カテゴリとその順序番号を定義したカテゴリリストO(図10)を作成することができる。そして、先述の(1)式で求めた各カテゴリのスコアを用い、カテゴリの順序番号の期待値を以下の(3)式で求め、その計算結果を推定結果とする方法も考えられる。
期待値を用いると、結果を連続値で表現できるため、検知結果画面をより細かくプロットでき、より優先的に調査すべきログを明らかにすることができる。 When the expected value is used, the result can be expressed as a continuous value, so the detection result screen can be plotted more finely, and the log that should be investigated with higher priority can be clarified.
(B-3)上記実施形態では、カテゴリを同列に扱ったが、カテゴリを階層的に定義して検知結果を細分化して表示する方法も考えられる。例えば、サイバーキルチェーンにおける配送カテゴリについて、ダウンロードサイズが異常、やダウンロード拡張子がレアといったサブカテゴリを定義し、サブカテゴリとログの特徴とを対応付ける。そして、異常検知結果表示装置10は、(1)式や(2)式を使って異常ログのサブカテゴリのスコアを算出し、検知結果画面で図11のように検知結果を階層的に表示させる。これにより、調査者の調査ログの優先付けをより効率化できる。
(B-3) In the above embodiment, the categories are treated in the same way, but a method of hierarchically defining the categories and subdividing and displaying the detection results is also conceivable. For example, for the delivery category in the cyber kill chain, subcategories such as abnormal download size and rare download extension are defined, and the subcategories and log features are associated. Then, the abnormality detection
なお、カテゴリを階層的に定義するため、例えば、前記入力部12に表示する入力画面30にサブカテゴリを入力する入力ボックス欄を設けて、入力された結果をカテゴリの階層情報として、記憶部14に保存して良い。
In order to define categories hierarchically, for example, an input box field for entering a subcategory is provided on the
(B-4)上記実施形態の変形例として、異常検知結果表示において、各異常と分類されたネットワーク機器のログについて、もう1段階アクションを加えドリルダウンして別の情報を表示することも考えられる。例えば、図12のように異常検知結果表示画面でプロットされたログをマウスオーバーすると、当該ログの送信元IPアドレス(端末)の過去のログの異常分類結果を時系列で表示したり、又は図13のように当該ログを異常分類した要因となった特徴やカテゴリをパイチャート形式で表示するなどである。このように付加的な情報を提示することで、調査者の調査ログの優先付けをより効率化できる。 (B-4) As a modification of the above-described embodiment, it is also possible to add another step of action to the log of each network device classified as anomaly and drill down to display other information in the anomaly detection result display. be done. For example, as shown in FIG. 12, when you mouse over a plotted log on the anomaly detection result display screen, the past log anomaly classification results for the source IP address (terminal) of the log are displayed in chronological order. For example, as shown in 13, the characteristics and categories that have caused the log to be classified as abnormal are displayed in the form of pie charts. By presenting additional information in this way, the investigator's prioritization of the investigation log can be made more efficient.
(B-5)上記実施形態では、ネットワーク機器ログから抽出した特徴全てを使って1つの分類器を作り正常・異常分類していたが、機械学習時にカテゴリ毎に特徴をグループ化し、カテゴリ単位で分類器を作成して異常分類する方法でも良い。 (B-5) In the above embodiment, one classifier was created using all the features extracted from the network device log and normal/abnormal classification was performed. A method of creating a classifier and classifying anomalies may be used.
10…異常検知結果表示装置、11…ログ分析部、12…入力部、13…制御部、14…記憶部、15…検知結果表示部、20…ネットワーク機器ログ、30…入力画面、31…入力ボックス、L…特徴リスト、M…カテゴリ対応リスト、N…特徴重要度リスト、O…カテゴリリスト。
10... Abnormality detection result display device 11... Log analysis unit 12... Input unit 13...
Claims (10)
前記ログから特徴を抽出し、前記特徴とカテゴリとを対応付けた特徴・カテゴリ対応リストを用いて前記ログを分析し、いずれかのカテゴリに分類して分類結果を出力するログ分析部と、
カテゴリ単位で前記ログの前記異常検知結果を表示する検知結果表示部と、
前記ログ分析部に前記ログの分析を要求し、前記検知結果表示部に前記異常検知結果の表示を要求する制御部と、
前記特徴・カテゴリ対応リスト、1又は2以上のカテゴリが記載されたカテゴリリスト、及び前記分類結果を保持する記憶部と、
前記特徴と、前記カテゴリリストのカテゴリとを対応付ける入力画面を描画・表示し、前記特徴に対応するカテゴリが入力された入力結果を前記特徴・カテゴリ対応リストとして保存する入力部とを有し、
前記ログ分析部は、前記ログから抽出した前記特徴を特徴量に変換して機械学習で分析するものであり、
前記機械学習で用いる機械学習器は、前記特徴を学習して異常である確率を出力する分類器を作成し、前記分類器の分類に寄与する前記特徴の重要度を出力することができるものであり、
前記ログ分析部は、前記特徴・カテゴリ対応リスト、前記ログの特徴量、及び前記特徴の重要度を用いて前記カテゴリを推定する
ことを特徴とする異常検知装置。 An anomaly detection device that analyzes logs and displays anomaly detection results,
a log analysis unit that extracts features from the log, analyzes the log using a feature/category correspondence list that associates the feature with a category, classifies the log into one of the categories, and outputs a classification result;
a detection result display unit that displays the anomaly detection result of the log for each category;
a control unit that requests the log analysis unit to analyze the log and the detection result display unit to display the abnormality detection result;
a storage unit that holds the feature/category correspondence list, a category list in which one or more categories are described, and the classification result ;
an input unit that draws and displays an input screen for associating the features with the categories of the category list, and saves an input result in which a category corresponding to the features is input as the feature/category correspondence list;
The log analysis unit converts the feature extracted from the log into a feature amount and analyzes it by machine learning,
The machine learning device used in the machine learning can create a classifier that learns the features and outputs the probability of being abnormal, and can output the importance of the features that contribute to the classification of the classifier. can be,
The log analysis unit estimates the category using the feature/category correspondence list, the feature quantity of the log, and the importance of the feature.
An anomaly detection device characterized by:
前記ログ分析部は、前記階層情報を用いて前記ログの前記カテゴリを推定し、
前記検知結果表示部は、前記階層情報を用いて、前記カテゴリを階層的に描画し、前記ログの分析結果を対応する前記カテゴリにプロットすること
を特徴とする請求項1~3のいずれかに記載の異常検知装置。 The input unit further draws and displays the input screen on which the categories can be hierarchically defined, and stores hierarchical information of the categories input on the input screen in the storage unit,
The log analysis unit estimates the category of the log using the hierarchical information,
4. Any one of claims 1 to 3 , wherein the detection result display unit draws the categories hierarchically using the hierarchical information, and plots the log analysis results on the corresponding categories. An anomaly detection device as described.
前記ログから特徴を抽出し、前記特徴とカテゴリとを対応付けた特徴・カテゴリ対応リストを用いて前記ログを分析し、いずれかのカテゴリに分類して分類結果を出力するログ分析部と、
カテゴリ単位で前記ログの前記異常検知結果を表示する検知結果表示部と、
前記ログ分析部に前記ログの分析を要求し、前記検知結果表示部に前記異常検知結果の表示を要求する制御部と、
前記特徴・カテゴリ対応リスト、1又は2以上のカテゴリが記載されたカテゴリリスト、及び前記分類結果を保持する記憶部と、
前記特徴と、前記カテゴリリストのカテゴリとを対応付ける入力画面を描画・表示し、前記特徴に対応するカテゴリが入力された入力結果を前記特徴・カテゴリ対応リストとして保存する入力部して機能させ、
前記ログ分析部は、前記ログから抽出した前記特徴を特徴量に変換して機械学習で分析するものであり、
前記機械学習で用いる機械学習器は、前記特徴を学習して異常である確率を出力する分類器を作成し、前記分類器の分類に寄与する前記特徴の重要度を出力することができるものであり、
前記ログ分析部は、前記特徴・カテゴリ対応リスト、前記ログの特徴量、及び前記特徴の重要度を用いて前記カテゴリを推定する
ことを特徴とする異常検知プログラム。 A computer installed in an anomaly detection device that analyzes logs and displays anomaly detection results
a log analysis unit that extracts features from the log, analyzes the log using a feature/category correspondence list that associates the feature with a category, classifies the log into one of the categories, and outputs a classification result;
a detection result display unit that displays the anomaly detection result of the log by category;
a control unit that requests the log analysis unit to analyze the log and the detection result display unit to display the abnormality detection result;
a storage unit that holds the feature/category correspondence list, a category list in which one or more categories are described, and the classification result ;
Rendering and displaying an input screen for associating the features with the categories of the category list, and functioning as an input unit that saves an input result in which the category corresponding to the feature is entered as the feature/category correspondence list,
The log analysis unit converts the feature extracted from the log into a feature amount and analyzes it by machine learning,
The machine learning device used in the machine learning can create a classifier that learns the features and outputs the probability of being abnormal, and can output the importance of the features that contribute to the classification of the classifier. can be,
The log analysis unit estimates the category using the feature/category correspondence list, the feature quantity of the log, and the importance of the feature.
An anomaly detection program characterized by:
ログ分析部が、前記ログから特徴を抽出し、前記特徴とカテゴリとを対応付けた特徴・カテゴリ対応リストを用いて前記ログを分析し、いずれかのカテゴリに分類して分類結果を出力し、
検知結果表示部が、カテゴリ単位で前記ログの前記異常検知結果を表示し、
制御部が、前記ログ分析部に前記ログの分析を要求し、前記検知結果表示部に前記異常検知結果の表示を要求し、
記憶部が、前記特徴・カテゴリ対応リスト、1又は2以上のカテゴリが記載されたカテゴリリスト、及び前記分類結果を保持し、
入力部が、前記特徴と、前記カテゴリリストのカテゴリとを対応付ける入力画面を描画・表示し、前記特徴に対応するカテゴリが入力された入力結果を前記特徴・カテゴリ対応リストとして保存し、
前記ログ分析部は、前記ログから抽出した前記特徴を特徴量に変換して機械学習で分析するものであり、
前記機械学習で用いる機械学習器は、前記特徴を学習して異常である確率を出力する分類器を作成し、前記分類器の分類に寄与する前記特徴の重要度を出力することができるものであり、
前記ログ分析部は、前記特徴・カテゴリ対応リスト、前記ログの特徴量、及び前記特徴の重要度を用いて前記カテゴリを推定する
ことを特徴とする異常検知方法。 An anomaly detection method used in an anomaly detection device that analyzes logs and displays anomaly detection results,
A log analysis unit extracts features from the log, analyzes the log using a feature/category correspondence list in which the features and categories are associated, classifies into one of the categories, and outputs the classification result;
a detection result display unit displaying the anomaly detection result of the log by category;
A control unit requests the log analysis unit to analyze the log, requests the detection result display unit to display the abnormality detection result,
a storage unit holding the feature/category correspondence list, a category list in which one or more categories are described, and the classification results ;
An input unit draws and displays an input screen for associating the features with categories of the category list, and saves an input result in which categories corresponding to the features are entered as the feature/category correspondence list,
The log analysis unit converts the feature extracted from the log into a feature amount and analyzes it by machine learning,
The machine learning device used in the machine learning can create a classifier that learns the features and outputs the probability of being abnormal, and can output the importance of the features that contribute to the classification of the classifier. can be,
The log analysis unit estimates the category using the feature/category correspondence list, the feature quantity of the log, and the importance of the feature.
An anomaly detection method characterized by:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164814A JP7283315B2 (en) | 2019-09-10 | 2019-09-10 | Anomaly detection device, anomaly detection program, and anomaly detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164814A JP7283315B2 (en) | 2019-09-10 | 2019-09-10 | Anomaly detection device, anomaly detection program, and anomaly detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043676A JP2021043676A (en) | 2021-03-18 |
JP7283315B2 true JP7283315B2 (en) | 2023-05-30 |
Family
ID=74863388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019164814A Active JP7283315B2 (en) | 2019-09-10 | 2019-09-10 | Anomaly detection device, anomaly detection program, and anomaly detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7283315B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014045827A (en) | 2012-08-30 | 2014-03-17 | Sophia Co Ltd | Game machine |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5868514B2 (en) * | 2012-09-19 | 2016-02-24 | 三菱電機株式会社 | Information processing apparatus, information processing method, and program |
-
2019
- 2019-09-10 JP JP2019164814A patent/JP7283315B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014045827A (en) | 2012-08-30 | 2014-03-17 | Sophia Co Ltd | Game machine |
Also Published As
Publication number | Publication date |
---|---|
JP2021043676A (en) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11902321B2 (en) | Secure communication platform for a cybersecurity system | |
US20210273961A1 (en) | Apparatus and method for a cyber-threat defense system | |
US20220014556A1 (en) | Cybersecurity profiling and rating using active and passive external reconnaissance | |
US11516237B2 (en) | Visualization and control of remotely monitored hosts | |
US11562064B2 (en) | Machine learning-based security alert escalation guidance | |
US9628507B2 (en) | Advanced persistent threat (APT) detection center | |
US10735272B1 (en) | Graphical user interface for security intelligence automation platform using flows | |
US10666666B1 (en) | Security intelligence automation platform using flows | |
US10970391B2 (en) | Classification method, classification device, and classification program | |
EP3343421A1 (en) | System to detect machine-initiated events in time series data | |
JP7255636B2 (en) | Terminal management device, terminal management method, and program | |
JP7283315B2 (en) | Anomaly detection device, anomaly detection program, and anomaly detection method | |
JP2006350543A (en) | Log analyzing apparatus | |
CN110661818B (en) | Event anomaly detection method and device, readable storage medium and computer equipment | |
WO2021156966A1 (en) | Analysis system, method, and program | |
US20210385235A1 (en) | Security analysis assistance apparatus, security analysis assistance method, and computer-readable recording medium | |
CN114844691B (en) | Data processing method and device, electronic equipment and storage medium | |
EP4024253A1 (en) | Detection of malicious activity on endpoint computers by utilizing anomaly detection in web access patterns, in organizational environments | |
US20230418949A1 (en) | Multi-computer system for performing vulnerability analysis and alert generation | |
JP2022117827A (en) | Abnormality detection device, abnormality detection program, and abnormality detection method | |
US20210056202A1 (en) | Dynamically Monitoring System Controls to Identify and Mitigate Issues | |
CN115913688A (en) | Network data security monitoring method, device, equipment and storage medium | |
WO2021154460A1 (en) | Cybersecurity profiling and rating using active and passive external reconnaissance | |
WO2022172003A1 (en) | Automated and scalable worker orchestration for cloud-based computer forensic analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7283315 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |