JP6753398B2 - 情報処理装置、情報処理システム、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP6753398B2
JP6753398B2 JP2017524622A JP2017524622A JP6753398B2 JP 6753398 B2 JP6753398 B2 JP 6753398B2 JP 2017524622 A JP2017524622 A JP 2017524622A JP 2017524622 A JP2017524622 A JP 2017524622A JP 6753398 B2 JP6753398 B2 JP 6753398B2
Authority
JP
Japan
Prior art keywords
information
alert
alert information
dissimilarity
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017524622A
Other languages
English (en)
Other versions
JPWO2016208159A1 (ja
Inventor
池田 聡
聡 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016208159A1 publication Critical patent/JPWO2016208159A1/ja
Application granted granted Critical
Publication of JP6753398B2 publication Critical patent/JP6753398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227Filtering policies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、情報の通信に関し、特に、通信を監視する情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。
情報を通信しているネットワークを監視する装置は、監視対象のネットワークに対する攻撃又は不正侵入を防ぐことを目的として、ファイアウォール又はIDS(Intrusion Detection System)などを用いて、通信を監視し、必要に応じて通信を遮断する。近年、知的財産又は機密情報の窃取を目的とした標的型攻撃が、増加している。そのため、ネットワークに対するサイバーセキュリティ(cybersecurity)の需要が、高まっている。サイバーセキュリティを実現する技術としては、SOC(Security Operation Center)を用いて、ネットワークの監視及びインシデント(incident)に対応する技術が、一般的になっている。
ネットワークを監視する装置は、ファイアウォール又はIDSなどの機能を実現する監視機器が検知したアラート(alert)を、危険度に基づいて、分類する(例えば、非特許文献1を参照)。なお、アラートとは、注意を促すメッセージである。例えば、アラートは、ネットワークにおける異常を検知したことを通知するメッセージである。
ただし、監視機器が検知を基に作成するアラートには、インシデントとして報告する必要がないアラートが含まれている。例えば、監視機器が検知したアラートには、危険性が低いアラート、又は、誤検知であるアラートが、含まれる。
そのため、ネットワークの監視業務を行う操作者(オペレータ:operator)は、下記のような情報、つまり、検知されたアラートに含まれる情報、又は、外部情報を参照して、アラートを分類し、アラートに危険度を設定する。そして、ネットワークを監視する装置は、オペレータが設定した危険度を基に、必要に応じて、インシデントに対応したアラートとして、検知したアラートを報告する。
なお、上記の分類において参照する情報として、例えば、アラートを検知した検知ルール、送信元ホストのIP(Internet Protocol)アドレス及びポート番号、並びに、送信先ホストのIPアドレス及びポート番号がある。あるいは、上記の分類において参照する情報として、例えば、セキュリティベンダーがアラートを検知するために用いた検知ルールに割り当てた重要度、及び、検知の原因となった通信(例えば、パケット)に含まれる通信情報がある。
非特許文献1に記載のシステムは、アラートを分類する。より詳細には、非特許文献1に記載のシステムは、分類に、アラート情報及びアラート情報から得られる集約情報を利用した機械学習を利用する。非特許文献1に記載のシステムは、エージェントモードにおいて、機械学習に基づく分類結果の信頼度が高いアラートを、オペレータに提示せず、処理する。非特許文献1に記載のシステムは、このような動作を基に、オペレータの処理の効率化を図っている。
ただし、非特許文献1に記載のシステムには、正検知であるアラートを誤検知のアラートと判定する誤陰性のリスクがある。そこで、非特許文献1に記載のシステムは、機械学習を用いた分類結果に基づいてオペレータへの提示が不要と判定したアラートの中から、ランダムに、一部のアラートを抽出し、オペレータに提示をする。このような動作を基に、非特許文献1に記載のシステムは、分類における誤陰性を抑制している。
Tadeusz Pietraszek, "Using Adaptive Alert Classification to Reduce False Positives in Intrusion Detection", Recent Advances in Intrusion Detection (Subtitle: 7th international Symposium, RAID 2004, Sophia Antipolis, France, September 15-17, 2004), pp. 102-124, 2004
機械学習に用いられた学習サンプルに含まれるアラート(以下、このようなアラートを、単に「学習アラート」と呼ぶ)との類似性が高いアラートは、学習アラートが持つ特徴と、同様の特徴を持つ可能性が高い。つまり、学習アラートとの類似性が高いアラートにおいて、誤陰性が発生する可能性は、低い。
反対に、学習アラートとの類似性が低いアラートは、学習アラートとは異なる特徴を持つ可能性が高い。そのため、学習アラートとの類似性が高いアラートと比較すると、学習アラートとの類似性が低いアラートにおいて、誤陰性が発生する可能性が、高くなる。
そのため、オペレータに提示されるアラートは、学習アラートとの類似性が低いアラートであることが望ましい。
しかしながら、上記の非特許文献1に記載の技術におけるアラートの抽出は、ランダムな抽出である。ランダムな抽出は、機械学習と関連しない抽出である。非特許文献1に記載の技術は、オペレータに提示するアラートとして、学習アラートとの類似性を考慮しないで、アラートを抽出する。つまり、非特許文献1に記載のシステムは、オペレータに提示するアラートとして、適切ではないアラートを提示してしまう場合があった。
このように、非特許文献1に記載の技術は、オペレータに、適切なアラートを提示できないという問題点があった。
本発明の目的は、上記問題点を解決し、オペレータに適切に提示することができるアラート情報を作成する情報処理装置、情報処理システム、情報処理方法、及び、プログラムを提供することにある。
本発明の一形態における情報処理装置は、既に受信した第1のアラートと第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出する非類似度算出手段と、第1のアラート情報に機械学習を適用し、第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、第2のアラート情報に分類器を適用して分類結果を判定する機械学習手段と、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第2のアラート情報の分類結果に判定の結果を設定し、第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する判定手段とを含む。
本発明の一形態における情報処理システムは、上記の情報処理装置と、情報処理装置から第1のアラート情報を受信し、分類結果と表示するアラート表示手段と、表示されたアラート情報における分類結果に対する入力を受信し、情報処理装置に送信する入力手段とを含む提示装置とを含む
本発明の一形態におけるデータ処理方法は、既に受信した第1のアラートと第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出し、第1のアラート情報に機械学習を適用し、第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、第2のアラート情報に分類器を適用して分類結果を判定し、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第2のアラート情報の分類結果に判定の結果を設定し、第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する。
本発明の一形態におけるプログラムは、既に受信した第1のアラートと第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出する処理と、第1のアラート情報に機械学習を適用し、第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成する処理と、第2のアラート情報に分類器を適用して分類結果を判定する処理、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第2のアラート情報の分類結果に判定の結果を設定し、第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定する処理と、判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する処理とをコンピュータに実行させる

本発明に基づけば、オペレータに適切に提示することができるアラート情報を作成するとの効果を奏することができる。
図1は、本発明における第1の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。 図2は、第1の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図3は、第1の実施形態に係る提示装置の構成の一例を示すブロック図である。 図4は、第1の実施形態に係る機械学習部における機械学習の動作の一例を示すフローチャートである。 図5は、第1の実施形態に係る非類似度算出部における非類似度算出の動作の一例を示すフローチャートである。 図6は、第1の実施形態に係る判定部におけるアラート情報を更新する動作の一例を示すフローチャートである。 図7は、第1の実施形態に係る情報処理システムにおけるアラート情報に分類結果を設定する動作の一例を示すシーケンス図である。 図8は、第1の実施形態の説明に用いるアラート情報の一例を示す図である。 図9は、第2の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。 図10は、第2の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図11は、第2の実施形態に係る再判定部の動作の一例を示すフローチャートである。 図12は、第3の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。 図13は、第3の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図14は、第3の実施形態に係る非類似度算出部の動作に一例を示すフローチャートである。 図15は、変形例に係る情報処理装置の構成の一例を示すブロック図である。 図16は、変形例に係る情報処理装置の構成の一例を示すブロック図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
各図面は、本発明の実施形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。
また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
各実施形態の説明の前に、以下の説明に用いるアラート情報について説明する。
「アラート情報」とは、アラート(アラートには、アラートの原因となった通信に関する情報が含まれる)と、アラートに関連する情報(例えば、アラートの判定の結果)とを含む情報である。
図8は、以下の説明の用いるアラート情報500の一例を示す図である。図8において、各行が、各アラート情報500を示している。
図8に示すように、アラート情報500は、検知時刻501と、送信元IP(Internet Protocol)アドレス502と、送信先IPアドレス503と、検知ルール識別子504と、提示フラグ505と、分類結果506と、通信情報507とを含む。
アラート情報500において、検知時刻501と、送信元IPアドレス502と、送信先IPアドレス503と、検知ルール識別子504と、通信情報507が、アラートの原因となった通信に関する情報である。つまり、監視対象のネットワークを監視する監視装置は、アラートとして、これらの情報を、各実施形態に係る情報処理装置に送信する。
なお、情報処理装置に送信されるアラートが含む情報は、これらに限る必要はない。アラートは、他の情報を含んでもよい。例えば、アラートは、送信元及び送信先のポート番号を含んでもよい。また、アラートは、上記情報の一部を含まなくてもよい。
また、提示フラグ505と分類結果506とが、アラートに関連する情報である。
続いて、図8に示されているアラート情報500に含まれる各情報を説明する。
検知時刻501は、監視装置がアラートを検知した時刻である。
送信元IPアドレス502は、アラートの原因となった通信における送信元の装置(例えば、送信元ホスト)のアドレスである。
送信先IPアドレス503は、アラートの原因となった通信における送信先の装置(例えば、送信先ホスト)のアドレスである。
検知ルール識別子504は、監視装置がアラートを検知するときに用いたルールを識別する識別子である。
通信情報507は、アラートの原因となった通信において、通信された情報である。通信情報507は、例えば、通信に用いられるパケットのペイロードとして含まれるバイト列、又は、HTTP(Hyper Text Transfer Protocol)要求、若しくは、HTTP応答に含まれる文字列である。
提示フラグ505は、提示装置において、そのアラート情報500を、オペレータに提示する必要があるか否かを表す情報である。後ほど説明するように、各実施形態に係る情報処理装置の機械学習部が、提示フラグ505の値を設定する。なお、提示フラグ505の値は、特に制限はない。そのため、以下の説明では、提示フラグ505における「1」の値が、オペレータに提示する必要があることを示し、提示フラグ505における「0」の値が、オペレータに提示する必要がないことを示すとする。つまり、各情報処理装置の機械学習部は、オペレータを提示する必要がある場合、提示フラグ505に「1(必要)」を設定し、オペレータを提示する必要がない場合、提示フラグ505に「0(不要)」を設定する。提示フラグ505の初期値は、「1(必要)」とする。
分類結果506は、アラートの検知を分類した情報である。つまり、分類結果506は、アラート情報500が正しく検知されたか、誤って検知されたかを示す情報である。さらに、分類結果506は、分類を実行した主体を示す情報を含んでもよい。例えば、以下で説明する情報処理装置が分類した結果には、そのことを示す情報(以下、「/自動」とする)を含んでもよい。
そのため、以下の説明では、分類結果506には、「正検知」、「誤検知」、「誤検知/自動」、又は、「空欄(未入力又は未設定を示す)」を示す値のいずれかの値が設定されるとする。分類結果506は、上記の値を数値として保持してもよく、数値以外の値(例えば、文字列)として保持してもよい。分類結果506の初期値は、「空欄」である。
ただし、各実施形態に係る情報処理装置は、「正検知」について、他者の判定を不要とする処理を含んでもよい。その場合、分類結果506は、「正検知/自動」に対応する情報を含む。
なお、アラート情報500が含む情報は、上記の情報に限る必要はない。アラート情報500は、他の情報を含んでもよい。あるいは、アラート情報500は、以下で説明する動作を実現できる限り、一部の情報を含まなくてもよい。
<第1の実施形態>
まず、本発明における第1の実施形態に構成について説明する。
[構成の説明]
図1は、本発明における第1の実施形態に係る情報処理装置20を含む情報処理システム10の構成の一例を示すブロック図である。
図1に示すように、情報処理システム10は、情報処理装置20と、提示装置30と、ネットワーク40と、監視装置50とを含む。
ネットワーク40は、本実施形態における、つまり、情報処理システム10における監視対象である。本実施形態に係るネットワーク40は、特に制限はない。例えば、ネットワーク40は、所定の範囲内での使用に限られた社内ネットワークでもよい。あるいは、ネットワーク40は、物理的なネットワークに限らず、VLAN(Virtual Local Area Network)のような、論理的なネットワークでもよい。そのため、ネットワーク40の詳細な説明を省略する。
監視装置50は、ネットワーク40における通信情報507を監視する。また、監視装置50は、所定の検知ルールに基づいて、ネットワーク40で発生した通信の異常を検知する。ここで、ネットワーク40で発生した通信の異常とは、例えば、ネットワーク40に対する外部からの攻撃又はネットワーク40の動作を原因として発生した異常である。そして、監視装置50は、検知結果(検知した異常)を、アラートとして、情報処理装置20に通知する。本実施形態に係る監視装置50は、特に制限はなく、一般的に用いられるネットワーク40を監視する装置である。そのため、監視装置50の詳細な説明を省略する。
提示装置30は、情報処理システム10のオペレータに対して、情報処理装置20が解析した情報(例えば、アラート情報500)を提示する。また、提示装置30は、オペレータからの指示を情報処理装置20に送信する。ここで、指示とは、例えば、アラート情報500の判定結果(例えば、分類結果506に設定する値)である。
図3は、第1の実施形態に係る提示装置30の構成の一例を示すブロック図である。
図3に示すように、提示装置30は、アラート表示部31と、入力部32とを含む。
アラート表示部31は、情報処理装置20から、情報処理装置20が保存している情報(例えば、アラート情報500)を受信する。そして、アラート表示部31は、受信した情報(例えば、アラート情報500)を表示する。
なお、アラート表示部31が表示する情報は、オペレータが、入力部32に指示を入力するための情報となる。そのため、アラート表示部31は、情報処理装置20から受信した情報に加え、別の情報を表示してもよい。あるいは、アラート表示部31は、オペレータの判定に不要な情報を表示しなくてもよい。さらに、アラート表示部31は、情報処理装置20から受信した情報に含まれる情報(例えば、提示フラグ505、分類結果506、又は、検知時刻501)を基に、表示する情報を選択して、表示してもよい。
入力部32は、オペレータからの入力(指示)を受信し、情報処理装置20に送信する。ここで、オペレータの入力とは、アラート情報500に含まれる情報(例えば、分類結果506)の変更を指示する情報である。例えば、入力部32は、アラート表示部31が、表示したアラート情報500に対する、オペレータの判定結果である分類結果506の入力(正検知又は誤検知)を受信する。
そして、入力部32は、受信したオペレータの入力(指示)を、情報処理装置20に送信する。
なお、後ほど詳細に説明するように、情報処理装置20は、提示装置30から受信した情報(指示)を、アラート情報500に保存する。例えば、情報処理装置20が、提示装置30から分類結果506を受信した場合、情報処理装置20は、後ほど説明するアラート情報記憶部23の分類結果506に、受信した分類結果506の値を保存する。
次に、第1の実施形態に係る情報処理装置20について、図面を参照して説明する。
図2は、第1の実施形態に係る情報処理装置20の構成の一例を示すブロック図である。
図2に示すように、情報処理装置20は、機械学習部21と、非類似度算出部22と、アラート情報記憶部23と、判定部26とを含む。
判定部26は、監視装置50が検知したアラートを受信し、受信したアラート及びそのアラートに関連する情報(つまり、「アラート情報500」)をアラート情報記憶部23に保存する。以下、新たに監視装置50から受信したアラート(最新のアラート)に対応するアラート情報500を他のアラート情報500から区別する場合、「アラート情報(A)」とする。以下、アラート情報(A)を除いたアラート情報500を、第1のアラート情報と呼ぶ場合がある。また、アラート情報(A)を第2のアラート情報と呼ぶ場合がある。なお、判定部26は、新たなアラートを受信した場合、必要に応じて、各構成にアラートを受信したことを通知する。
さらに、判定部26は、後ほど説明する機械学習部21における判定結果と非類似度算出部22が算出する非類似度とを基に、アラート情報500の値を更新する。
また、判定部26は、上記の提示装置30から依頼を受信し、依頼に対応した情報を提示装置30に送信する。また、判定部26は、提示装置30から情報を受信し、受信した情報をアラート情報記憶部23に保存する。
機械学習部21は、アラート情報500の分類結果506についての機械学習を実行する。より詳細には、機械学習部21は、機械学習の学習サンプルとして、アラート情報記憶部23に保存されているアラート情報500の中において分類結果506が空欄(未入力又は未設定)でないアラート情報500を用いて、機械学習を実行する。つまり、機械学習部21は、設定済みの分類結果506を用いて、分類結果506の機械学習を実行する。さらに、分類結果506が、自装置で実施した分類示す情報(「/自動」)を保存している場合、機械学習部21は、自装置で分類した分類結果506を学習サンプルから除外してもよい。そして、機械学習部21は、機械学習を基に、アラート情報500が正検知であるか誤検知であるかを判定する。
既に説明しているが、判定部26は、機械学習部21の判定の結果を、アラート情報記憶部23に保存されているアラート情報500の分類結果506に保存する。分類結果506が、自装置で実施した分類であることを示す情報(「/自動」)を保存する場合、判定部26は、判定結果に自装置で分類したことを示す情報(「/自動」)を含めて、分類結果506を保存する。なお、既に説明したとおり、本実施形態の情報処理装置20は、誤検知に関して、自装置で設定したことを示す分類結果506(つまり、「誤検知/自動」)を保存する。
非類似度算出部22は、情報処理装置20が新たに受信したアラート情報(A)と、アラート情報記憶部23に保存されている一部又は全てのアラート情報500との非類似度を算出する。非類似度算出部22における非類似度の算出については、後ほど詳細に説明する。
アラート情報記憶部23は、アラート情報500を記憶する。
[動作の説明]
次に、本実施形態に係る情報処理装置20の動作について、図面を参照して詳細に説明する。
まず、情報処理装置20における機械学習の動作について、図面を参照して説明する。
図4は、第1の実施形態に係る機械学習部21における機械学習の動作の一例を示すフローチャートである。
機械学習部21は、まず、アラート情報記憶部23に保存されているアラート情報500の中から、学習サンプルとして用いるアラート情報500を抽出する(ステップS101)。既に説明した通り、学習サンプルとして用いるアラート情報500は、情報処理装置20以外に基づいて分類結果506が設定されているアラート情報500であることが望ましい。例えば、情報処理装置20は、オペレータから分類結果506を受信して設定したアラート情報500を学習サンプルとして用いる。そのため、本実施形態の説明における学習サンプルは、分類結果506が「正検知」又は「誤検知」となっているアラート情報500となる。
次に、機械学習部21は、学習サンプルを基に、特徴ベクトルを算出する(ステップS102)。ここで、「特徴ベクトル」とは、非類似度を比較するための情報を要素とするベクトルである。また、特徴ベクトルは、通常は、学習サンプルから算出される多次元ベクトルである。特徴ベクトルは、1つの学習サンプルに対して1つ算出される。
特徴ベクトルの算出方法として、多くの方法が提案されている。機械学習部21は、本実施形態で用いる特徴ベクトルの算出方法として、一般的な特徴ベクトルの算出方法を用いればよい。例えば、機械学習部21は、非特許文献1に記載されている、アラート情報500に含まれる、IPアドレスの区分、ホストの区分、検知ルール識別子、又は、一定時間幅における同一区分に属するアラート数を用いて算出される特徴ベクトルを用いてもよい。あるいは、機械学習部21は、アラート情報500に含まれる通信情報507をベクトル形式に変換して、特徴ベクトルとして用いてもよい。なお、機械学習部21は、通信情報507をベクトル形式に変換するために、例えば、Nグラムの出現頻度を計数すればよい。
ただし、上記の特徴ベクトルは、機械学習部21が用いることができる特徴ベクトルの一例である。上記の説明は、本実施形態に係る機械学習部21の利用可能な特徴ベクトルを、上記の特徴ベクトルに限定するものではない。機械学習部21は、特徴ベクトルとして、アラート情報500に含まれる情報を、機械的な算出処理に適用して得られる値を用いることができる。また、機械学習部21は、上記の特徴ベクトルを組み合わせてもよい。
機械学習部21は、学習サンプルの分類結果506を教師信号として、機械学習を実行する。そして、機械学習部21は、機械学習の結果として分類器を作成又は更新する(ステップS103)。機械学習部21は、ここでの機械学習として、一般的な機械学習アルゴリズムを用いることができる。例えば、機械学習部21は、決定木学習、サポートベクタマシーン、又は、アンサンブル学習を用いてもよい。
機械学習部21が作成した分類器は、特徴ベクトルを用いて、特徴ベクトルに対応するアラート情報500が正検知であるか誤検知であるかを判定する。
なお、機械学習部21は、用いている学習アルゴリズムが許容している場合、一括学習又は逐次学習のどちらを用いてもよい。
一括学習を採用する場合は、機械学習部21は、所定のタイミング又は所定の時間間隔で、上記の機械学習の処理を実行し、分類器を作成又は更新する。
逐次学習を採用する場合は、機械学習部21は、アラート情報記憶部23が記憶しているアラート情報500の分類結果506が変更されたタイミングで、分類器を作成又は更新する。
次に、情報処理装置20における非類似度を算出する動作について、図面を参照して説明する。
図5は、第1の実施形態に係る非類似度算出部22における非類似度算出の動作の一例を示すフローチャートである。
非類似度算出部22は、新たなアラートに対するアラート情報(A)を受信したタイミングで、動作を開始する(ステップS201)。具体的には、判定部26が、監視装置50からアラートを受信し、必要な情報を追加してアラート情報500(アラート情報(A))を生成し、アラート情報500としてアラート情報記憶部23に保存する。そして、判定部26は、非類似度算出部22に、新たなアラートを受信したことを通知する。非類似度算出部22は、この通知に基づいて、アラート情報記憶部23に保存されているアラート情報(A)を取得する。
続いて、非類似度算出部22は、アラート情報記憶部23から、アラート情報(A)以外の他のアラート情報500、つまり、比較対象となるアラート情報500を取得する(ステップS202)。なお、アラート情報(A)を除いたアラート情報500は、アラート情報(A)に対して、過去のアラート情報500である。つまり、比較対象となるアラート情報500は、過去(保存済み)のアラート情報500である。
なお、非類似度算出部22は、アラート情報記憶部23に保存されている全てのアラート情報500を取得してもよい。あるいは、非類似度算出部22は、アラート情報記憶部23に保存されているアラート情報500の一部を取得してもよい。例えば、非類似度算出部22は、アラート情報(A)の検知に用いられて検知ルールと同じ検知ルールを用いて検知されたアラート情報500を取得してもよい。具体的には、非類似度算出部22は、アラート情報(A)の検知ルール識別子504と同じ値の検知ルール識別子504を含むアラート情報500を取得してもよい。あるいは、非類似度算出部22は、アラート情報500に含まれる分類結果506が所定の値(例えば、「正検知」、又は、「誤検知」)であるアラート情報500を取得してもよい。
次に、非類似度算出部22は、アラート情報(A)と、抽出された過去の各アラート情報500との非類似度を算出する(ステップS203)。
ここで、「非類似度」とは、アラート情報(A)と抽出された各アラート情報500とにおける離れている程度である。より具体的には、「非類似度」とは、アラート情報(A)と抽出された各アラート情報500との距離に相当する値である。距離が大きい場合、非類似度は大きくなる。
非類似度算出部22は、非類似度として、いろいろな距離を用いることができる。非類似度算出部22は、例えば、上記の機械学習部21が用いたアラート情報500を基に算出された特徴ベクトル間の距離を用いてもよい。あるいは、非類似度算出部22は、非類似度として、各アラート情報500に含まれる通信情報507間の編集距離を用いてもよい。ただし、上記の非類似度は、本実施形態に係る非類似度の一例である。本実施形態に係る非類似度は、上記に限定されない。
各アラート情報500との非類似度の算出後、非類似度算出部22は、算出した非類似度の中において、小さい方から並べた場合に所定の順番(K)となっている非類似度を選択する。そして、非類似度算出部22は、選択した非類似度を、アラート情報(A)と過去のアラート情報500との非類似度とする(ステップS204)。つまり、非類似度算出部22は、新たに受信したアラートに対応するアラート情報(A)の非類似度として、算出した非類似度の中において、小さい方から所定の順番(K)となっている非類似度を採用する。つまり、アラート情報(A)の非類似度は、アラート情報(A)のK近傍に相当する過去のアラート情報500との非類似度である。なお、所定の順番(K)は、予め、非類似度算出部22に設定された値である。
次に、情報処理装置20におけるアラート情報500を解析する動作ついて、図面を参照して説明する。
図6は、本実施形態に係る判定部26おけるアラート情報500を更新する動作の一例を示すフローチャートである。
判定部26は、新たにアラートを受信すると、以下の動作を開始する(ステップS301)。なお、判定部26は、アラートを受信すると、そのアラートに対応するアラート情報500(今の場合、アラート情報(A))を作成し、作成したアラート情報500をアラート情報記憶部23に保存する。そして、判定部26は、以下の動作を、保存したアラート情報500に対して実行する。つまり、判定部26は、以下で説明する動作を、上記のアラート情報(A)に対して実行することになる。そのため、以下、アラート情報(A)を用いて説明する。
判定部26は、まず、図4に用いて説明した機械学習部21が作成した分類器を用いて、アラート情報(A)を判定する(ステップS302)。より詳細には、判定部26は、分類器を用いて、以下のように判定する。
まず、判定部26は、アラート情報(A)を基に、特徴ベクトルを算出する。この動作は、図4に示すステップS102と同様の動作である。そのため、判定部26は、機械学習部21に、特徴ベクトルの算出を依頼してもよい。次に、判定部26は、算出した特徴ベクトルを、分類器に入力する。そして、判定部26は、分類器の出力として、アラート情報(A)の判定結果(正検知、又は、誤検知)を取得する。なお、判定部26は、特徴ベクトルの算出に加え、分類器を用いた特徴ベクトルの判定の処理まで、機械学習部21に依頼してもよい。つまり、情報処理装置20において、機械学習部21が、ステップS302を実行してもよい。
そして、判定部26は、分類器の判定結果が正検知であるか否かを判定する(ステップS303)。
分類器の判定の結果が、正検知の場合(ステップS303でYES)、分類器の判定は、オペレータの判定が必要である。そのため、判定部26は、アラート情報(A)の提示フラグ505に、「1(必要)」を設定する(ステップS306)。
誤検知と判定された場合(ステップS303でNO)、判定部26は、図5を参照して説明した、非類似度算出部22が算出したアラート情報(A)に対する非類似度を取得する(ステップS304)。
そして、判定部26は、非類似度が所定の閾値以上か否かを判定する(ステップS305)。なお、ここで用いる閾値は、予め、判定部26に設定されている値である。
非類似度が、所定の閾値以上の場合(S305でYES)、分類器の判定は、オペレータの判定が必要である。そのため、判定部26は、提示フラグ505に、「1(必要)」を設定する(ステップS306)。
非類似度が、所定の閾値未満の場合(ステップS305でNO)、分類器の判定は、オペレータの判定が不要である。そのため、判定部26は、提示フラグ505に、「0(不要)」を設定する(ステップS307)。さらに、判定部26は、自装置で(機械的に)誤検知と判定したことを示すため、分類結果506を「誤検知/自動」に設定する(ステップS308)。
次に、情報処理装置20を含む情報処理システム10のおける、アラート情報500を分類する動作について図面を参照して説明する。
図7は、本実施形態に係る情報処理システム10おけるアラート情報500に分類結果506を保存する動作の一例を示すシーケンス図である。
提示装置30のアラート表示部31は、情報処理装置20に、アラート情報500の送信を依頼する(S401)。
情報処理装置20の判定部26は、アラート表示部31からの依頼を基に、アラート情報記憶部23に保存されているアラート情報500を提示装置30に送信する(S402)。
提示装置30のアラート表示部31は、受信したアラート情報500を提示する(S403)。アラート表示部31は、受信した全てのアラート情報500を表示してもよい。ただし、表示を明確にするため、アラート表示部31は、表示するアラート情報500として、提示フラグ505が「1(必要)」であるアラート情報500を選択して、表示することが望ましい。さらに、アラート表示部31は、オペレータの判断を設定していないアラート情報500、具体的には、分類結果506が「空欄」となっているアラート情報500を選択して、表示することが望ましい。例えば、図8に示されているアラート情報500の場合、アラート表示部31は、6行目のアラート情報500を表示することが望ましい。
このように、提示装置30は、情報処理装置20が作成したアラート情報500を基に、オペレータに適切なアラート情報500を表示することができる。
なお、情報処理装置20の機械学習部21が、上記条件を満足するアラート情報500を送信してもよい。
アラート情報500の表示後、提示装置30の入力部32は、オペレータのから、表示されているアラート情報500に対する指示(正検知又は誤検知)を受け取る(S404)。
そして、入力部32は、受信した指示(正検知又は誤検知)を情報処理装置20に送付する(S405)。
情報処理装置20の判定部26は、受信した指示をアラート情報記憶部23に保存されているアラート情報500に設定(保存)する(S406)。
[効果の説明]
次に、本実施形態の効果について説明する。
第1の実施形態に係る情報処理装置20は、オペレータに適切に提示することができるアラート情報500を作成するとの効果を奏することができる。
その理由は、次のとおりである。
本実施形態に係る情報処理装置20の機械学習部21は、機械学習に基づいて、アラート情報500の分類するために用いる分類器を生成する。また、非類似度算出部22は、受信したアラート情報(A)と過去のアラート情報500との非類似度を算出する。そして、判定部26は、分類器の基づく分類結果506及び非類似度に基づいて、アラート情報500をオペレータに提示することが必要か否かを判断し、判断結果をアラート情報500の提示フラグ505に設定するためである。
情報処理装置20が作成したアラート情報500を用いる場合、そのアラート情報500をオペレータに提示する提示装置30は、機械学習部21が生成した分類器に基づく分類結果506に加え、提示フラグ505を用いることができる。つまり提示装置30は、分類結果506に加え、提示フラグ505を基に、提示するアラート情報500を選別できる。より詳細には、提示装置30は、提示フラグ505を基に、過去のアラート情報500と類似性の低いアラート情報500を選択して、オペレータに提示することができる。
このように、情報処理装置20は、過去のアラート情報500とは異なる特徴を持つアラート情報500の選択を容易にしている。
そのため、情報処理装置20を含む情報処理システム10は、過去のアラート情報500と異なる特徴を持つアラート情報500に対する分類結果506を得ることができる。その結果、情報処理システム10は、アラート情報500の誤陰性の発生を低減できる。
<第2の実施形態>
本発明における第2の実施形態は、正確性を高めるため、再判定を実行する。
次に、図面を参照して本実施形態に係る情報処理装置60について説明する。
[構成の説明]
まず、情報処理装置60の構成について図面を参照して説明する。
図9は、第2の実施形態に係る情報処理装置60を含む情報処理システム11の構成の一例を示すブロック9である。図9に示すように情報処理システム11は、第1の実施形態の情報処理システム10と比較すると、情報処理装置20に換えて、情報処理装置60を含む点で異なる。そのため、第1の実施形態と同様の構成及び動作についての説明を省略し、本実施形態に関連する構成及び動作を説明する。
図10は、第2の実施形態に係る情報処理装置60の構成の一例を示すブロック図である。図10に示すように、情報処理装置60は、第1の実施形態の情報処理装置20の構成に加え、再判定部24を含む。そのため、第1の実施形態と同様の構成及び動作の詳細な説明を省略し、本実施形態に特有の構成及び動作を中心に説明する。
再判定部24は、機械学習部21が作成(更新)した分類器を用いて、アラート情報記憶部23に保存されているアラート情報500を再判定する。
[動作の説明]
次に、図面を参照して、再判定部24の動作について説明する。
図11は、第2の実施形態に係る再判定部24の動作の一例を示すフローチャートである。
再判定部24は、まず、アラート情報記憶部23に保存されているアラート情報500から、分類結果506が「誤検知/自動」であるアラート情報500を抽出する(ステップS601)。つまり、再判定部24は、自装置で誤検知と分類したアラート情報500を処理対象とする。言い換えると、再判定部24は、分類結果506を再判定するアラート情報500を抽出する。この分類結果506を再判定するアラート情報500を第3のアラート情報と呼ぶ場合もある。
次に、再判定部24は、抽出したアラート情報500に対する特徴ベクトルを算出する(ステップS602)。
そして、再判定部24は、算出した特徴ベクトルを、更新されている分類器に適用して、判定結果を取得する。つまり、再判定部24は、更新された分類器を用いて、特徴ベクトルを再判定する(ステップS603)。
そして、「正検知」と判定された場合(ステップS603で「正検知判定」)、再判定部24は、アラート情報500の提示フラグ505を「1(必要)」に更新する(ステップS604)。なお、アラート情報500に対する機能と統一するため、判定部26が、再判定部24を含むように構成されてもよい。
「誤検知」と判定された場合(ステップS603で「誤検知」)、再判定部24は、そのアラート情報500の提示フラグ505を更新しない。
このように、情報処理装置60は、再判定部24の動作を基に、提示フラグ505を更新する。
その結果、情報処理装置60は、提示フラグ505が更新されたアラート情報500を提示装置30に送信できる。提示装置30のアラート表示部31は、更新後に「正検知」と判定されたアラート情報500を、オペレータに対して表示する。そして、第1の実施形態と同様に、情報処理装置20は、提示装置30から、更新後のアラート情報500に対するオペレータの指示を受信できる。
既に説明したとおり、機械学習部21は、分類器を更新する。そのため、情報処理装置60は、更新された分類器を用いて、分類結果506を更新できる。そのため、情報処理装置60は、情報処理装置20と比較して、分類結果506を、より正確に設定することができる。
なお、ここまでの説明において、再判定部24は、分類結果506が「誤検知/自動」のアラート情報500を再判定の対象とした。しかし、再判定部24は、対象とするアラート情報500をさらに限定してもよい。再判定の対象とするアラート情報500の数が多い場合、再判定部24は、再判定の算出処理に多くの時間を必要とする。そのため、再判定部24は、例えば、アラート情報500に含まれる検知時刻501を用いて、所定の時刻以降に検知されたアラート情報500を再判定の対象としてもよい。
なお、再判定を実行する場合、機械学習部21は、機械学習において、自装置で分類した分類結果506を学習サンプルから除外してもよい。これは、機械学習部21が、再判定において、自装置の機械学習に基づいた判定結果(分類結果)の再参照を避けた方が望ましい場合があるためである。
[効果の説明]
本実施形態に係る情報処理装置60は、第1の実施形態の効果に加え、より正確性の高い判定を実現するとの効果を奏することができる。
その理由は、次のとおりである。
本実施形態に係る情報処理装置60に含まれる再判定部24は、自装置で誤検知と分類したアラート情報500に対して、更新された分類器を用いて再判定する。更新された分類器は、機械学習部21における学習サンプルが拡充された状態で作成されている。したがって、更新された分類器は、以前の分類器と比較して、分類の正確性が向上していると期待できる。そのため、再判定部24における更新された分類器を用いた再判定の分類結果506は、以前の分類器を用いた分類結果506と比較して、より正確性の高い判定となっているためである。
<第3の実施形態>
情報処理装置20における非類似度の算出手法は、既に説明した手法に限る必要はない。
例えば、情報処理装置20は、非類似度を算出手法として、アラート情報500の特徴を表す情報を用いてもよい。そこで、アラート情報500の特徴として、アラート情報500の統計情報(特に、分布情報)を用いる場合について、第3の実施形態として説明する。
[構成の説明]
まず、本実施形態の構成について図面を参照して説明する。
図12は、第3の実施形態に係る情報処理装置70を含む情報処理システム12の構成の一例を示すブロック図である。図12に示すように情報処理システム12は、第1の実施形態の情報処理システム10と比較すると、情報処理装置20に換えて、情報処理装置70を含む点で異なる。そのため、第1の実施形態と同様の構成及び動作についての説明を省略し、本実施形態に関連する構成及び動作を説明する。
図13は、第3の本実施形態に係る情報処理装置70の構成の一例を示すブロック図である。図13に示すように、情報処理装置70は、第1の実施形態に情報処理装置20と比較すると、非類似度算出部22に換えて、非類似度算出部25を含む点で異なる。そのため、第1の実施形態と同様の構成及び動作の詳細な説明を省略し、本実施形態に特有の構成及び動作について説明する。つまり、非類似度算出部25について説明する。
非類似度算出部25は、非類似度算出部22と同様に、新たに受信したアラートに対応するアラート情報(A)と、過去のアラート情報500との非類似度を算出する。ただし、非類似度算出部25は、非類似度の算出に、非類似度算出部22とは異なる方式を用いる。すなわち、非類似度算出部25は、アラート情報500を基に算出した特徴ベクトルにおける分布情報を算出し、算出した分布情報を用いてアラート情報(A)を基に算出した特徴ベクトルに対する非類似度を算出する。
ここで、分布情報は、特徴ベクトル空間上のアラート情報500の分布を要約した情報である。例えば、情報の分布が、(多次元)正規分布と仮定した場合、非類似度算出部25は、その分布における平均(μ)と分散(又は共分散行列(Σ))を基に、その正規分布に対する評価対象の情報の関係を、算出できる。ここで、非類似度算出部25が算出する関係は、例えば、外れ具合(非類似度)を示すマハラノビス距離である。
そこで、アラート情報500の分布が、(多次元)正規分布と仮定した場合、非類似度算出部25は、分布情報として、アラート情報500の平均(μ)と共分散行列(Σ)を求めればよい。なお、この説明における特徴ベクトルは、例えば、既に説明した第1の実施形態の機械学習における特徴ベクトルでもよいが、これに限る必要はない。例えば、この説明における特徴ベクトルは、ヒストグラム(H)でもよい。
なお、本実施形態に係る非類似度算出部25は、算出した分布情報を、次の非類似度を算出する動作に用いる場合、図示しない記憶部に算出した分布情報を記憶してもよい。
[動作の説明]
次に図面を参照して、非類似度算出部25の動作について詳細に説明する。
図14は、第3の実施形態に係る非類似度算出部25の動作の一例を示すフローチャートである。
なお、本実施形態に係る非類似度算出部25が用いる分布情報は、特に制限はない。分布情報とは、例えば、平均、又は、分散などの分布を決定するパラメータである。
ただし、以下の説明では、非類似度算出部25は、分布情報として、アラート情報(A)における通信情報507に含まれる文字列の出現回数を表すヒストグラム(H)の平均値(μ)と分散共分散行列(Σ)とを用いるとする。また、非類似度算出部25は、既に、過去のアラート情報500に対する分布情報(平均値(μ)と分散共分散行列(Σ))を算出済みで、記憶しているとする。
また、非類似度算出部25は、距離の一例として、マハラノビス距離(D)を用いるとする。
図14に示すように、非類似度算出部25は、非類似度算出部22と同様に、アラート情報(A)を受信したタイミングで、動作を開始する(ステップS201)。
非類似度算出部25は、アラート情報(A)における通信情報507に含まれる文字列に対するヒストグラム(H)を作成する(ステップS205)。
次に、非類似度算出部25は、作成したヒストグラム(H)と、記憶している過去のアラート情報500に対する分布情報(平均値(μ)及び分散共分散行列(Σ))とを用いて、マハラノビス距離(D)を算出する(ステップS206)。ここで算出されたマハラノビス距離(D)が、本実施形態における非類似度である。
そして、非類似度算出部25は、作成したヒストグラム(H)を用いて、過去のアラート情報500に対する分布情報(平均値(μ)及び分散共分散行列(Σ))を更新する(ステップS207)。
このように、本実施形態の非類似度算出部25は、アラート情報(A)を受信すると、非類似度の算出に用いる分布情報を更新する。この更新に基づいて、非類似度算出部25は、近似的に、過去のアラート情報500に対する分散共分散行列(Σ)を算出することができる。
なお、情報処理装置70は、第2の実施形態に係る再判定部24に相当する機能を含んでもよい。
また、ここまでの本実施形態の説明において、非類似度算出部25が、非類似度として、アラート情報500に含まれる通信情報507のヒストグラム(H)を用いた。
しかし、これは、本実施形態を制限するものではない。非類似度算出部25は、アラート情報500の特徴を表す情報として、他の情報を用いてもよい。例えば、非類似度算出部25は、過去のアラート情報500の通信情報507に基づいて、通信情報507に対する確率分布を推定する。そして、非類似度算出部25は、推定した確率分布におけるアラート情報(A)の出現確率の低さを、非類似度として用いてもよい。
アラート情報500の特徴を表す情報(例えば、分布情報)は、アラート情報500をまとめた情報である。そのため、一般的に、アラート情報500の特徴を表す情報の数は、アラート情報500の数より少ない。そのため、非類似度算出部25は、非類似度算出部22に比べ、処理する情報量が少ない。その結果、非類似度算出部25は、非類似度算出部22に比べ、処理コストを削減できる。
[効果の説明]
次に、本実施形態に係る情報処理装置70の効果について説明する。
第3の実施形態に係る情報処理装置70は、第1の実施形態の効果に加え、効率的に非類似度を算出するとの効果を奏することができる。
その理由は、次のとおりである。
第1の実施形態に係る情報処理装置20の非類似度算出部22は、アラート情報(A)と、複数のアラート情報500との非類似度を算出する必要があった。
これに対し、本実施形態に係る非類似度算出部25は、アラート情報(A)の非類似度として、過去のアラート情報500の分布情報を用いて算出する。ここで、過去のアラート情報500の分布情報は、複数のアラート情報500を少ない数の情報にまとめた情報である。つまり、非類似度算出部25は、アラート情報(A)の非類似度を、アラート情報500と比較して、少ない情報を用いて算出するためである。
<変形例>
以上の説明した情報処理装置20、情報処理装置60、及び、情報処理装置70(以下、まとめて、情報処理装置20として説明する)は、次のように構成される。
例えば、情報処理装置20の各構成部は、ハードウェア回路で構成されてもよい。
また、情報処理装置20は、各構成部が、図示しないネットワークを介して接続された複数の装置を用いて、構成されてもよい。例えば、情報処理装置20は、アラート情報記憶部23を、図示しない外部の記憶装置として構成されてもよい。
図16は、情報処理装置20の第1の変形例に係る情報処理装置90の構成の一例を示すブロック図である。
情報処理装置90は、アラート情報記憶部23を、図示しないネットワークなどを介して接続された外部の記憶装置として構成されている。
そのため、情報処理装置90は、機械学習部21と、非類似度算出部22と、判定部26とを含む。
このように構成された情報処理装置90は、情報処理装置20と同様の効果を得ることができる。
その理由は、情報処理装置90に含まれる各構成が、外部の記憶装置に設けられたアラート情報記憶部23を用いて、情報処理装置20の構成と同様に動作できるためである。
なお、情報処理装置90は、本発明の実施形態における最小構成である。
また、情報処理装置20は、複数の構成部を1つのハードウェアで構成されてもよい。
また、情報処理装置20は、CPU(Central Processing Unit)と、ROM(Read Only Memory)と、RAM(Random Access Memory)とを含むコンピュータ装置として実現されてもよい。情報処理装置20は、上記構成に加え、さらに、入出力接続回路(IOC:Input / Output Circuit)と、ネットワークインターフェース回路(NIC:Network Interface Circuit)とを含むコンピュータ装置として実現されてもよい。
図15は、情報処理装置20の第2の変形例に係る情報処理装置700の構成の一例を示すブロック図である。つまり、図15は、情報処理装置20を上記のコンピュータ装置として実現した場合の一例である情報処理装置700の構成の一例を示すブロック図である。
情報処理装置700は、CPU710と、ROM720と、RAM730と、内部記憶装置740と、IOC750と、NIC780とを含み、コンピュータを構成している。
CPU710は、ROM720からプログラムを読み込む。そして、CPU710は、読み込んだプログラムに基づいて、RAM730と、内部記憶装置740と、IOC750と、NIC780とを制御する。そして、CPU710を含むコンピュータは、これらの構成を制御し、図2に示す、機械学習部21と、非類似度算出部22と、判定部26としての各機能を実現する。
CPU710は、各機能を実現する際に、RAM730又は内部記憶装置740を、プログラムの一時記憶として使用してもよい。
また、CPU710は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体790が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでもよい。あるいは、CPU710は、NIC780を介して、図示しない外部の装置からプログラムを受け取り、RAM730に保存して、保存したプログラムを基に動作してもよい。
ROM720は、CPU710が実行するプログラム及び固定的なデータを記憶する。ROM720は、例えば、P−ROM(Programmable-ROM)又はフラッシュROMである。
RAM730は、CPU710が実行するプログラム及びデータを一時的に記憶する。RAM730は、例えば、D−RAM(Dynamic-RAM)である。
内部記憶装置740は、情報処理装置700が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置740は、CPU710の一時記憶装置として動作してもよい。内部記憶装置740は、アラート情報記憶部23として動作する。内部記憶装置740は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)又はディスクアレイ装置である。
ここで、ROM720と内部記憶装置740は、不揮発性(non-transitory)の記憶媒体である。一方、RAM730は、揮発性(transitory)の記憶媒体である。そして、CPU710は、ROM720、内部記憶装置740、又は、RAM730に記憶されているプログラムを基に動作可能である。つまり、CPU710は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。
IOC750は、CPU710と、入力機器760及び表示機器770とのデータを仲介する。IOC750は、例えば、IOインターフェースカード又はUSB(Universal Serial Bus)カードである。
入力機器760は、情報処理装置700の操作者からの入力指示を受け取る機器である。入力機器760は、例えば、キーボード、マウス又はタッチパネルである。
表示機器770は、情報処理装置700の操作者に情報を表示する機器である。表示機器770は、例えば、液晶ディスプレイである。
NIC780は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。NIC780は、例えば、LANカードである。
このように構成された情報処理装置700は、情報処理装置20と同様の効果を得ることができる。
その理由は、情報処理装置700のCPU710が、プログラムに基づいて情報処理装置20と同様の機能を実現できるためである。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2015年 6月26日に出願された日本出願特願2015−128768を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
既に受信した第1のアラートと第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出する非類似度算出手段と、
第1のアラート情報に機械学習を適用し、第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、第2のアラート情報に分類器を適用して分類結果を判定する気概学習手段と、
判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第2のアラート情報の分類結果に判定の結果を設定し、第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、
判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する判定手段と
を含む情報処理装置。
(付記2)
機械学習手段が、
機械学習として、
機械学習に適用する第1のアラート情報として、自装置以外の判断した分類結果が設定されている第1のアラート情報を抽出し、
抽出した第1のアラート情報に設定されている分類結果を基に分類器を作成する
付記1に記載の情報処理装置。
(付記3)
機械学習手段が、
抽出した第1のアラート情報を基に第1の特徴ベクトルを算出し、算出した第1の特徴ベクトルを機械学習に適用して分類器を生成し
第2のアラート情報を基に第2の特徴ベクトルを算出し、第2の特徴ベクトルを分類器に適用して、分類結果を判定する
付記2に記載の情報処理装置。
(付記4)
判定手段が、
第2のアラート情報を受信したときに、第2のアラート情報の分類結果を、分類器を用いて判定し他結果である判定結果を第2のアラート情報に設定する
付記2又は3に記載の情報処理装置。
(付記5)
非類似度算出手段が、
第2のアラート情報と、第1のアラート情報との一部又は全てとの距離を小さい方から並べた場合に所定の順番である距離を非類似度とする
付記1ないし4のいずれか1項に記載の情報処理装置。
(付記6)
非類似度算手段が、
第1アラート情報に含まれる通信情報に含まれる情報の分布に対する第2のアラート情報に含まれる通信情報の出現確率の低さの程度を非類似度として算出する
付記1ないし4のいずれか1項に記載の情報処理装置。
(付記7)
非類似度算出手段が、
非類似度として、第1のアラート情報についての分布情報を算出し、算出した分布情報に対する第2のアラート情報の関係を算出する
付記1ないし4のいずれか1項に記載の情報処理装置。
(付記8)
非類似度算手段が、
第1アラート情報に含まれる通信情報に含まれる情報の分布に対する第2のアラート情報に含まれる通信情報の出現確率の低さの程度を非類似度として算出する
付記1ないし4のいずれか1項に記載の情報処理装置。
(付記9)
第1のアラート情報の中から分類結果を再設定する第3のアラート情報を抽出し、
第3のアラート情報の特徴ベクトルを算出し、
第3のアラート情報の特徴ベクトルを分類器に適用して第3のアラート情報の分類結果を再判定する
再判定手段を
さらに含む付記1ないし8のいずれか1項に記載の情報処理装置。
(付記10)
付記1ないし9のいずれか1項に記載の情報処理装置と、
情報処理装置から第1のアラート情報を受信し、分類結果と表示するアラート表示手段と、
表示されたアラート情報における分類結果に対する入力を受信し、情報処理装置に送信する入力手段と
を含む提示装置と
を含む情報処理システム。
(付記11)
既に受信した第1のアラートと第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出し、
第1のアラート情報に機械学習を適用し、第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、
第2のアラート情報に分類器を適用して分類結果を判定し、
判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第2のアラート情報の分類結果に判定の結果を設定し、第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、
判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する
情報処理方法。
(付記12)
既に受信した第1のアラートと第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出する処理と、
第1のアラート情報に機械学習を適用し、第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成する処理と、
第2のアラート情報に分類器を適用して分類結果を判定する処理、
判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値未満の場合に、第2のアラート情報の分類結果に判定の結果を設定し、第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定する処理と、
判定結果が正しい検知を示す正検知の場合、又は、判定結果が誤った検知を示す誤検知であり、かつ、非類似度が所定の閾値以上の場合に、第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する処理と
をコンピュータに実行させるプログラムをコンピュータ読み取り可能に記憶する記憶媒体。
10 情報処理システム
11 情報処理システム
12 情報処理システム
20 情報処理装置
21 機械学習部
22 非類似度算出部
23 アラート情報記憶部
24 再判定部
25 非類似度算出部
26 判定部
30 提示装置
40 ネットワーク
50 監視装置
60 情報処理装置
70 情報処理装置
90 情報処理装置
500 アラート情報
501 検知時刻
502 送信元IPアドレス
503 送信先IPアドレス
504 検知ルール識別子
505 提示フラグ
506 分類結果
507 通信情報
700 情報処理装置
710 CPU
720 ROM
730 RAM
740 内部記憶装置
750 IOC
760 入力機器
770 表示機器
780 NIC
790 記憶媒体

Claims (10)

  1. 既に受信した第1のアラートと前記第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと前記第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出する非類似度算出手段と、
    前記第1のアラート情報に機械学習を適用し、前記第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、前記第2のアラート情報に前記分類器を適用して分類結果を判定する機械学習手段と、
    前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値未満の場合に、前記第2のアラート情報の前記分類結果に前記判定の結果を設定し、前記第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、前記判定結果が正しい検知を示す正検知の場合、又は、前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値以上の場合に、前記第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する判定手段と
    を含む情報処理装置。
  2. 前記機械学習手段が、
    前記機械学習として、
    前記機械学習に適用する前記第1のアラート情報として、自装置以外の判断した前記分類結果が設定されている前記第1のアラート情報を抽出し、
    前記抽出した第1のアラート情報に設定されている前記分類結果を基に前記分類器を作成する
    請求項1に記載の情報処理装置。
  3. 前記機械学習手段が、
    前記抽出した第1のアラート情報を基に第1の特徴ベクトルを算出し、算出した前記第1の特徴ベクトルを前記機械学習に適用して前記分類器を生成し、
    前記第2のアラート情報を基に第2の特徴ベクトルを算出し、前記第2の特徴ベクトルを前記分類器に適用して、前記分類結果を判定する
    請求項2に記載の情報処理装置。
  4. 前記判定手段が、
    前記第2のアラート情報を受信したときに、前記判定結果を前記第2のアラート情報に設定する
    請求項2又は3に記載の情報処理装置。
  5. 前記非類似度算出手段が、
    前記第2のアラート情報と、前記第1のアラート情報との一部又は全てとの距離を小さい方から並べた場合に所定の順番である距離を前記非類似度とする
    請求項1ないし4のいずれか1項に記載の情報処理装置。
  6. 前記非類似度算出手段が、
    前記第1のアラート情報に含まれる通信情報に含まれる情報の分布に対する前記第2のアラート情報に含まれる通信情報の出現確率の低さの程度を前記非類似度として算出する
    請求項1ないし4のいずれか1項に記載の情報処理装置。
  7. 前記第1のアラート情報の中から前記分類結果を再設定する第3のアラート情報を抽出し、
    前記第3のアラート情報の特徴ベクトルを算出し、
    前記第3のアラート情報の特徴ベクトルを前記分類器に適用して前記第3のアラート情報の前記分類結果を再判定する
    再判定手段を
    さらに含む請求項1ないし6のいずれか1項に記載の情報処理装置。
  8. 請求項1ないし7のいずれか1項に記載の情報処理装置と、
    前記情報処理装置から前記第1のアラート情報を受信し、前記分類結果と前記第1のアラート情報とを表示するアラート表示手段と、
    前記表示されたアラート情報における前記分類結果に対する入力を受信し、前記情報処理装置に送信する入力手段と
    を含む提示装置と
    を含む情報処理システム。
  9. 既に受信した第1のアラートと前記第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと前記第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出し、
    前記第1のアラート情報に機械学習を適用し、前記第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成し、
    前記第2のアラート情報に前記分類器を適用して分類結果を判定し、
    前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値未満の場合に、前記第2のアラート情報の前記分類結果に前記判定の結果を設定し、前記第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定し、
    前記判定結果が正しい検知を示す正検知の場合、又は、前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値以上の場合に、前記第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する
    情報処理方法。
  10. 既に受信した第1のアラートと前記第1のアラートに関連する情報とを含む第1のアラート情報と、新たに受信した第2のアラートと前記第2のアラートに関連する情報を含む第2のアラート情報との距離である非類似度を算出する処理と、
    前記第1のアラート情報に機械学習を適用し、前記第1のアラート情報の検知に関する分類の判定結果である分類結果を判定する分類器を生成する処理と、
    前記第2のアラート情報に前記分類器を適用して分類結果を判定する処理、
    前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値未満の場合に、前記第2のアラート情報の前記分類結果に前記判定の結果を設定し、前記第2のアラート情報の提示を示す情報に提示不要であることを示す情報を設定する処理と、
    前記判定結果が正しい検知を示す正検知の場合、又は、前記判定結果が誤った検知を示す誤検知であり、かつ、前記非類似度が所定の閾値以上の場合に、前記第2のアラート情報の提示を示す情報に提示が必要であること示す情報を設定する処理と
    をコンピュータに実行させるプログラム
JP2017524622A 2015-06-26 2016-06-15 情報処理装置、情報処理システム、情報処理方法、及び、プログラム Active JP6753398B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015128768 2015-06-26
JP2015128768 2015-06-26
PCT/JP2016/002898 WO2016208159A1 (ja) 2015-06-26 2016-06-15 情報処理装置、情報処理システム、情報処理方法、及び、記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2016208159A1 JPWO2016208159A1 (ja) 2018-04-19
JP6753398B2 true JP6753398B2 (ja) 2020-09-09

Family

ID=57585401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524622A Active JP6753398B2 (ja) 2015-06-26 2016-06-15 情報処理装置、情報処理システム、情報処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US11057399B2 (ja)
JP (1) JP6753398B2 (ja)
WO (1) WO2016208159A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11140167B1 (en) 2016-03-01 2021-10-05 Exabeam, Inc. System, method, and computer program for automatically classifying user accounts in a computer network using keys from an identity management system
JP6532900B2 (ja) * 2017-01-05 2019-06-19 株式会社東芝 ジョブ実行制御装置、ジョブ実行制御方法およびプログラム
US10481966B2 (en) * 2017-05-24 2019-11-19 Vmware, Inc. Methods and systems to prioritize alerts with quantification of alert impacts
JP6845819B2 (ja) 2018-02-22 2021-03-24 株式会社日立製作所 分析装置、分析方法、および分析プログラム
JP7033560B2 (ja) * 2019-01-16 2022-03-10 株式会社日立製作所 分析装置および分析方法
WO2020161808A1 (ja) * 2019-02-05 2020-08-13 日本電気株式会社 優先度判定装置、優先度判定方法、及びコンピュータ可読媒体
US11537938B2 (en) * 2019-02-15 2022-12-27 Wipro Limited Method and a system for context based clustering of object
US11756404B2 (en) * 2019-04-08 2023-09-12 Microsoft Technology Licensing, Llc Adaptive severity functions for alerts
WO2020255512A1 (ja) * 2019-06-21 2020-12-24 株式会社日立製作所 監視システム、および、監視方法
JP7034989B2 (ja) * 2019-07-22 2022-03-14 ソフトバンク株式会社 警報集約選別装置及び警報集約選別方法
US11956253B1 (en) * 2020-06-15 2024-04-09 Exabeam, Inc. Ranking cybersecurity alerts from multiple sources using machine learning
US12063226B1 (en) 2020-09-29 2024-08-13 Exabeam, Inc. Graph-based multi-staged attack detection in the context of an attack framework

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525696B2 (en) * 2000-09-25 2016-12-20 Blue Coat Systems, Inc. Systems and methods for processing data flows
US7941855B2 (en) * 2003-04-14 2011-05-10 New Mexico Technical Research Foundation Computationally intelligent agents for distributed intrusion detection system and method of practicing same
JP3822588B2 (ja) * 2003-09-10 2006-09-20 株式会社東芝 不正アクセス検出装置、不正アクセス検出方法、および管理端末
US8312023B2 (en) * 2007-12-21 2012-11-13 Georgetown University Automated forensic document signatures
JP2009217381A (ja) * 2008-03-07 2009-09-24 Nec Corp 障害分析システム、障害分析方法、障害分析サーバおよび障害分析プログラム
US9258217B2 (en) * 2008-12-16 2016-02-09 At&T Intellectual Property I, L.P. Systems and methods for rule-based anomaly detection on IP network flow
US20120254333A1 (en) * 2010-01-07 2012-10-04 Rajarathnam Chandramouli Automated detection of deception in short and multilingual electronic messages
US8756693B2 (en) * 2011-04-05 2014-06-17 The United States Of America As Represented By The Secretary Of The Air Force Malware target recognition
US9021589B2 (en) * 2012-06-05 2015-04-28 Los Alamos National Security, Llc Integrating multiple data sources for malware classification
US11126720B2 (en) * 2012-09-26 2021-09-21 Bluvector, Inc. System and method for automated machine-learning, zero-day malware detection
US9497204B2 (en) * 2013-08-30 2016-11-15 Ut-Battelle, Llc In-situ trainable intrusion detection system
US9288220B2 (en) * 2013-11-07 2016-03-15 Cyberpoint International Llc Methods and systems for malware detection
US9641542B2 (en) * 2014-07-21 2017-05-02 Cisco Technology, Inc. Dynamic tuning of attack detector performance
RU2017141988A (ru) * 2015-05-04 2019-06-04 Сайед Камран ХАСАН Метод и устройство для управления безопасностью в компьютерной сети

Also Published As

Publication number Publication date
US20180181883A1 (en) 2018-06-28
US11057399B2 (en) 2021-07-06
JPWO2016208159A1 (ja) 2018-04-19
WO2016208159A1 (ja) 2016-12-29

Similar Documents

Publication Publication Date Title
JP6753398B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP6690646B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
US11528283B2 (en) System for monitoring and managing datacenters
EP3841503B1 (en) Similarity based approach for clustering and accelerating multiple incidents investigation
US9282112B2 (en) System and method for determining category of trust of applications performing interface overlay
EP3258409B1 (en) Device for detecting terminal infected by malware, system for detecting terminal infected by malware, method for detecting terminal infected by malware, and program for detecting terminal infected by malware
EP3635602B1 (en) Validating correlation between chains of alerts using cloud view
US10104100B1 (en) Systems and methods for detecting anomalies that are potentially indicative of malicious attacks
EP3222023B1 (en) Systems and methods for protecting against unauthorized network intrusions
EP3854058B1 (en) Methods, systems, and media for detecting anomalous network activity
US20170185785A1 (en) System, method and apparatus for detecting vulnerabilities in electronic devices
EP4028915A1 (en) Inferring security incidents from observational data
US10489720B2 (en) System and method for vendor agnostic automatic supplementary intelligence propagation
US10489587B1 (en) Systems and methods for classifying files as specific types of malware
US10931706B2 (en) System and method for detecting and identifying a cyber-attack on a network
US10546123B1 (en) Systems and methods for identifying malicious computer files
US10812496B2 (en) Automatic generation of cluster descriptions
US9154519B1 (en) System and method for antivirus checking of objects from a plurality of virtual machines
EP4274160A1 (en) System and method for machine learning based malware detection
US9171152B1 (en) Systems and methods for preventing chronic false positives
US10783244B2 (en) Information processing system, information processing method, and program
US11989293B2 (en) Systems, methods, and media for identifying and responding to malicious files having similar features
US11973773B2 (en) Detecting and mitigating zero-day attacks
US11899793B2 (en) Information processing apparatus, control method, and program
US20220035906A1 (en) Information processing apparatus, control method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200803

R150 Certificate of patent or registration of utility model

Ref document number: 6753398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150