JP7904076B2 - 機械学習モデルの学習に用いるシステム、および、方法 - Google Patents

機械学習モデルの学習に用いるシステム、および、方法

Info

Publication number
JP7904076B2
JP7904076B2 JP2022145791A JP2022145791A JP7904076B2 JP 7904076 B2 JP7904076 B2 JP 7904076B2 JP 2022145791 A JP2022145791 A JP 2022145791A JP 2022145791 A JP2022145791 A JP 2022145791A JP 7904076 B2 JP7904076 B2 JP 7904076B2
Authority
JP
Japan
Prior art keywords
information
learning
unit
data
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022145791A
Other languages
English (en)
Other versions
JP2024041143A (ja
Inventor
桃伽 粕谷
裕紀 山▲崎▼
博史 仲小路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2022145791A priority Critical patent/JP7904076B2/ja
Publication of JP2024041143A publication Critical patent/JP2024041143A/ja
Application granted granted Critical
Publication of JP7904076B2 publication Critical patent/JP7904076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Storage Device Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、機械学習モデルの学習に用いるシステムおよび方法に関する。
サイバーセキュリティの分野では、多種多様なサイバー攻撃に対して効果的な対処を実現するために、様々な脅威や脆弱性に関するセキュリティ情報を収集し、その中で適用先の情報システムとの関連性が高いセキュリティ情報を抽出することが求められている。しかしながら、関連性が高いセキュリティ情報を抽出するためには、収集した膨大なセキュリティ情報を的確に分類する必要があり、これを人間が行うのは現実的ではない。そこで近年では、機械学習を利用してセキュリティ情報の分類を行うことが提案されている。
機械学習を利用したセキュリティ情報の分類に関して、例えば特許文献1の技術が知られている。特許文献1には、セキュリティに関する脅威を表す脅威情報を含む第1脅威情報を用いて、ある情報を前記脅威情報に分類可能な脅威情報モデルを生成する脅威情報モデル生成手段と、セキュリティに関連する情報を提供する情報源から、前記脅威情報の候補である脅威情報候補を収集する収集手段と、ある製品を構成する構成要素に関する情報と、前記脅威情報モデルとを用いて、収集した前記脅威情報候補から、その製品に影響し得る前記脅威情報を含む第2脅威情報を検出する検出手段と、を備えるセキュリティ情報処理装置が記載されている。
国際公開第2019/142345号
機械学習を利用してセキュリティ情報の分類を行う場合、モデルの精度を適切に維持するために、収集したセキュリティ情報から学習データとして利用するのに適した情報を抽出し、その情報に基づいて生成した学習データを用いて、モデルの更新を定期的に行う必要がある。しかしながら、特許文献1のセキュリティ情報処理装置では、学習データの更新に関して言及していない。
本発明は、こうした背景に基づきなされたものであり、機械学習用の学習データの効率的な更新が可能な技術を提供することを目的とする。
本発明による学習データ生成システムは、公開されたセキュリティ情報の分析を行うための機械学習演算の実行に利用される機械学習モデルの学習に用いる学習データを生成するシステムであって、予め指定された情報システムの脅威や脆弱性に関する前記セキュリティ情報を取得し、取得した前記セキュリティ情報を前記機械学習モデルに入力するセキュリティ情報入力部と、前記機械学習モデルを用いて、前記情報システムに対する前記セキュリティ情報の関連度を計算する関連度計算部と、前記関連度計算部により計算された前記関連度に基づいて、前記セキュリティ情報から前記機械学習モデルの更新に利用するための更新データを選択する更新データ選択部と、前記更新データ選択部により選択された前記更新データから、前記学習データの生成に用いる学習情報を抽出する学習情報抽出部と、前記学習情報抽出部により抽出された前記学習情報に対してアノテーションを付与するアノテーション付与部と、前記学習情報抽出部により抽出された前記学習情報と、前記アノテーション付与部により付与された前記アノテーションとに基づいて、前記学習データを生成する学習データ生成部と、前記学習データ生成部により生成された前記学習データを格納する学習データベースと、を備え、前記更新データ選択部は、前記関連度の値が所定範囲内である前記セキュリティ情報を前記更新データとして選択する。
本発明による学習データ生成方法は、公開されたセキュリティ情報の分析を行うための機械学習演算の実行に利用される機械学習モデルの学習に用いる学習データを生成する方法であって、予め指定された情報システムの脅威や脆弱性に関する前記セキュリティ情報を取得し、取得した前記セキュリティ情報を前記機械学習モデルに入力し、前記機械学習モデルを用いて、前記情報システムに対する前記セキュリティ情報の関連度を計算し、コンピュータにより、前記関連度に基づいて、前記セキュリティ情報から前記機械学習モデルの更新に利用するための更新データを選択し、前記コンピュータにより、選択された前記更新データから、前記学習データの生成に用いる学習情報を抽出し、前記コンピュータにより、抽出された前記学習情報に対してアノテーションを付与し、前記コンピュータにより、抽出された前記学習情報と、付与された前記アノテーションとに基づいて、前記学習データを生成し、生成された前記学習データをデータベースに格納し、前記更新データの選択では、前記関連度の値が所定範囲内である前記セキュリティ情報を前記更新データとして選択する。
本発明によれば、機械学習用の学習データを効率的に更新することができる。
本発明の第1の実施形態に係る情報提供システムの機能構成を示すブロック図である。 機械学習演算部およびデータベース管理部のハードウェア構成を示す図である。 学習データベースの一例を示す図である。 閾値情報の一例を示す図である。 検索キーワードの一例を示す図である。 構成情報の一例を示す図である。 過去情報比較ルールの一例を示す図である。 学習データ作成時の処理の流れを示すフローチャートである。 登録済み学習データ修正時の処理の流れを示すフローチャートである。 本発明の第1の実施形態に係る情報提供システムの全体処理の流れの一例を示すシーケンス図である。 アノテーション評価画面の例を示す図である。 関連情報提供画面の例を示す図である。 本発明の第2の実施形態に係る情報提供システムの機能構成を示すブロック図である。 本発明の第2の実施形態に係る情報提供システムの全体処理の流れの一例を示すシーケンス図である。
以下、本発明の実施形態について図面を参照しつつ説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る情報提供システムの機能構成を示すブロック図である。図1に示す情報提供システム100は、機械学習演算部10およびデータベース管理部20を備える。
機械学習演算部10は、様々な情報システムの脅威や脆弱性に関するセキュリティ情報を公開情報として公衆に提供する第三者40と、1つまたは複数の提供先企業50とに接続されている。第三者40は、例えば公的機関やソフトウェア開発会社等であり、世間一般に流通している様々な情報システムに関するセキュリティ情報を公開する。提供先企業50は、第三者40によって公開されたセキュリティ情報のうち、自身が所有する情報システム51との関連性が高いセキュリティ情報とその分析結果を表す情報(以下、「関連情報」と称する)を情報提供システム100から受け取り、当該情報システム51の管理等に利用する。情報提供システム100の運営企業は、例えば提供先企業50との契約により、こうした情報提供サービスを行うことができる。
機械学習演算部10とデータベース管理部20は、コンピュータを用いてそれぞれ構成されており、これらはネットワーク60を介して互いに接続されている。ネットワーク60は、例えばLAN(Local Area Network)、WAN(Wide Area Network)、インターネット等を用いて構成されており、機械学習演算部10とデータベース管理部20の間で送受信されるデータを伝送する。機械学習演算部10とデータベース管理部20は、同じ場所に設置されていてもよいし、物理的に離れた場所に設置されていてもよい。また、これらを一つのコンピュータ上で実現してもよいし、仮想的な計算機やクラウドサービス上で実現してもよい。
機械学習演算部10は、機械学習モデルを用いた機械学習演算を実行することで、第三者40により公開されたセキュリティ情報の分析を行い、その分析結果に基づいて、予め指定された情報システム51に対応する関連情報を各提供先企業50に対して提供する。機械学習演算部10は、セキュリティ情報入力部11、関連度計算部12、関連情報提供部13およびモデル構築部14を備える。
セキュリティ情報入力部11は、第三者40により公開されたセキュリティ情報を取得し、取得したセキュリティ情報を機械学習モデルに入力する。セキュリティ情報入力部11により取得されるセキュリティ情報とは、様々な情報システムの脅威や脆弱性に関する情報であり、各提供先企業50が有する情報システム51の脅威や脆弱性に関する情報を含む。
関連度計算部12は、機械学習モデルを用いて、入力されたセキュリティ情報の各情報システム51に対する関連度を計算する。
関連情報提供部13は、機械学習モデルに入力されたセキュリティ情報に対して機械学習演算を行うことで、各情報システム51に対応する関連情報を生成し、各提供先企業50へ提供する。
モデル構築部14は、データベース管理部20からモデル情報を取得し、これに基づいて機械学習モデルを構築する。またモデル構築部14は、データベース管理部20から機械学習モデルを更新するための学習データを取得し、これを用いて機械学習モデルを更新することもできる。
データベース管理部20は、機械学習演算部10において機械学習モデルを構築および更新するために用いられるデータの管理を行う。データベース管理部20は、更新データ選択部21、学習情報抽出部22、一致判定部23、アノテーション付与部24、学習データ生成部25、アノテーション評価部26、学習データベース更新部27、学習データ選択部28および情報格納部30を備える。情報格納部30には、モデル情報31、学習データベース32、閾値情報33、検索キーワード34、構成情報(SBOM:Software Bill of Materials)35および過去情報比較ルール36の各情報が格納されている。
更新データ選択部21は、機械学習演算部10において関連度計算部12により計算されたセキュリティ情報ごとの関連度に基づいて、セキュリティ情報入力部11により取得されたセキュリティ情報のいずれかを、機械学習モデルの更新に利用するための更新データとして選択する。
学習情報抽出部22は、更新データ選択部21により選択された更新データから、学習データの生成に用いる学習情報を抽出する。学習情報抽出部22により抽出される学習情報には、例えば、更新データとして選択されたセキュリティ情報が表す攻撃の内容や種別、攻撃対象などの情報が含まれる。
一致判定部23は、学習情報抽出部22により更新データから抽出された学習情報と、情報格納部30に格納された学習データベース32との比較を行い、その比較結果に基づいて、学習情報を採用するか否かを判定する。一致判定部23により採用しないと判定された学習情報は、学習データの生成対象から除外される。
アノテーション付与部24は、学習情報抽出部22により更新データから抽出された学習情報に対して、その学習情報の分類結果などを示すアノテーションを付与する。アノテーション付与部24は、例えば機械学習演算部10において実行される機械学習モデルを用いた機械学習演算と同様の処理手法により、学習情報に対してアノテーションを付与することができる。
学習データ生成部25は、学習情報抽出部22により更新データから抽出された学習情報と、アノテーション付与部24により学習情報に対して付与されたアノテーションとに基づいて、機械学習モデルの学習に用いる学習データを生成する。学習データ生成部25により生成された学習データは、情報格納部30において学習データベース32の一部として記録され、モデル構築部14が機械学習モデルを更新する際に利用される。
アノテーション評価部26は、アノテーション付与部24によるアノテーションの付与結果の評価を行う。アノテーション評価部26は、例えば、アノテーション付与部24により付与されたアノテーションが正しいか否かをユーザに確認し、正しくないアノテーションが付与されていた場合は、ユーザの指示に応じて正しいアノテーションへと書き換える。
学習データベース更新部27は、情報格納部30に格納された学習データベース32の内容を更新する。学習データベース更新部27は、例えば、学習データ生成部25により生成された新たな学習データを学習データベース32に登録したり、アノテーション評価部26によるアノテーションの評価結果を反映したりすることで、学習データベース32の内容を更新することができる。
学習データ選択部28は、機械学習演算部10からの指示に応じて、学習データベース32に記録された学習データのうち、いずれかの学習データを選択する。学習データ選択部28により選択された学習データは、機械学習演算部10へ送信され、例えばモデル構築部14が機械学習モデルを更新する際に利用される。
モデル情報31は、機械学習モデルを表す情報である。モデル情報31は、モデル構築部14により読み込まれて機械学習モデルの構築に利用される。
学習データベース32は、モデル情報31が表す機械学習モデルの学習に利用される学習データの集合である。学習データベース32には、過去に学習データ生成部25によって生成された学習データが、データベース化されて記録されている。
閾値情報33は、関連度計算部12により計算される関連度に対する閾値を表す情報である。閾値情報33により表される閾値は、更新データ選択部21がセキュリティ情報から更新データを選択する際に利用される。
検索キーワード34は、セキュリティ情報から検索される検索キーワードを表す情報である。検索キーワード34により表される検索キーワードは、更新データ選択部21がセキュリティ情報から更新データを選択する際に利用される。
構成情報35は、各提供先企業50が有する情報システム51のソフトウェア構成を表す情報である。構成情報35は、学習データベース更新部27が学習データベース32の内容を更新する際に利用される。
過去情報比較ルール36は、一致判定部23が学習情報と学習データベース32との比較を行う際のルールを表す情報である。一致判定部23は、過去情報比較ルール36を参照することで、更新データから抽出された学習情報のうちどの項目について、学習データベース32との比較対象とするかを判断することができる。
図2は、機械学習演算部10およびデータベース管理部20のハードウェア構成を示す図である。
機械学習演算部10およびデータベース管理部20は、PC(Personal Computer)やサーバなどの一般的な情報処理装置を用いてそれぞれ実現される。機械学習演算部10およびデータベース管理部20は、図2に示されるように、プロセッサ1と、メモリ2と、外部記憶装置3と、通信インタフェース(通信IF)4と、入出力装置5と、それらの各部を接続する通信バス6と、をそれぞれ備える。
プロセッサ1は、機械学習演算部10やデータベース管理部20の各部を制御する。プロセッサ1は、例えばCPU(Central Processing Unit)1やGPU(Graphics Processing Unit)などを用いて構成され、メモリ2に記憶されているプログラムを実行することで、機械学習演算部10やデータベース管理部20が有する図1の各機能ブロックを実現することができる。メモリ2は、例えば、RAM(Random Access Memory)などの半導体記憶装置であり、外部記憶装置3からロードされてプロセッサ1で実行されるプログラムや、必要なワークデータを一時的に記憶する。
外部記憶装置3は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの大容量の非一時的な磁気記憶装置や半導体記憶装置であり、プロセッサ1で実行されるプログラムや、プロセッサ1の処理に利用されるデータを記憶する。上述の通り、これらのプログラムやデータの一部またはすべては、予め外部記憶装置3に格納されていてもよいし、必要に応じて外部の非一時的な記憶媒体を備えた装置からネットワーク経由で、または可搬型の非一時的記憶媒体経由で導入されてもよい。なお、データベース管理部20において、図1の情報格納部30は、例えば外部記憶装置3を用いて実現される。
通信IF4は、プロセッサ1の制御に応じて動作し、機械学習演算部10とデータベース管理部20の間で、または、他の情報処理装置との間で、各種情報を送受信するためのインタフェース処理を行う。
入出力装置5は、機械学習演算部10やデータベース管理部20の管理を行うユーザからの入力を受け付けるとともに、これらのユーザへ提示する情報を出力するための装置であり、例えばマウス、キーボード、ディスプレイなどを用いて構成される。
次に、学習データベース32、閾値情報33、検索キーワード34、構成情報35および過去情報比較ルール36の詳細について、図3~図7を参照して説明する。
図3は、学習データベース32の一例を示す図である。図3に示すように、学習データベース32は、学習データごとに設定された複数のレコードに対して、例えば符号321~327の各列に示す情報がそれぞれ記録されることで構成される。
列321には、情報種別に関する情報が記録される。例えば、当該学習データの生成に用いられた更新データが、情報システム51に対する脅威と脆弱性のいずれに関するものであるかを表す情報が、列321に記録される。
列322には、脅威種別に関する情報が記録される。例えば、当該学習データの生成に用いられた更新データが、情報システム51に対する脅威を表すものである場合に、その脅威の内容がどのようなものであるかを表す情報が列322に記録される。
列323には、攻撃種別に関する情報が記録される。例えば、当該学習データの生成に用いられた更新データが、情報システム51に対する攻撃を表すものである場合に、その攻撃の内容がどのようなものであるかを表す情報が列323に記録される。
列324には、攻撃名に関する情報が記録される。例えば、当該学習データの生成に用いられた更新データが、情報システム51に対する攻撃を表すものであり、特定の名称が付されている場合に、その名称を表す情報が列324に記録される。
列325には、攻撃対象名に関する情報が記録される。例えば、当該学習データの生成に用いられた更新データが、情報システム51に含まれている様々なソフトウェアのうち、どのソフトウェアに対する攻撃を表すものであるかを表す情報が、列325に記録される。
列326には、ディスクリプションが記録される。例えば、当該学習データの生成に用いられた更新データの内容を記述したテキストが、列326に記録される。
列327には、アノテーションが記録される。例えば、当該学習データの生成に用いられた更新データが、どの技術分野に関連するものであるかを表すアノテーション情報が、列327に記録される。
学習データベース32のうち、列321~325の各情報は、学習情報抽出部22が更新データから抽出した学習情報に基づいて設定され、列327の情報は、アノテーション付与部24が付与したアノテーションに基づいて設定される。なお、学習データベース32を構成する情報は上記のものに限定されず、他の情報を含んでもよいし、いずれかの情報を省略してもよい。
図4は、閾値情報33の一例を示す図である。図4に示すように、閾値情報33は、例えば上限閾値331と下限閾値332により構成される。
上限閾値331は、関連度に対する閾値の上限を表し、下限閾値332は、関連度に対する閾値の下限を表す。更新データ選択部21は、関連度計算部12により計算された関連度の値が、これらの閾値の組み合わせで表される範囲内である場合に、当該セキュリティ情報を更新データとして選択する。
なお、閾値情報33は上記のものに限定されない。更新データ選択部21がセキュリティ情報から更新データを選択するための関連度の範囲を適切に表すことができれば、任意の形式で閾値情報33を表現することが可能である。
図5は、検索キーワード34の一例を示す図である。図5に示すように、検索キーワード34は、検索キーワードごとに設定された複数のレコードに対して、例えば符号341、342の各列に示す情報がそれぞれ記録されることで構成される。
列341には、当該検索キーワードが属する分野を表す情報が記録される。列342には、当該検索キーワードの単語や文字列を表す情報が記録される。これらの情報は、データベース管理部20において予め設定されていてもよいし、ユーザが入出力装置5を操作して入力した内容に基づいて設定されてもよい。
図6は、構成情報35の一例を示す図である。図6に示すように、構成情報35は、情報システム51を構成するソフトウェアごとに設定された複数のレコードに対して、例えば符号351~353の各列に示す情報がそれぞれ記録されることで構成される。
列351には、当該ソフトウェアの製品名を表す情報が記録される。列352には、当該ソフトウェアが有する機能の種別を表す情報が記録される。列353には、当該ソフトウェアが情報システム51のどの機能に関するものであるかを表す情報が記録される。これらの情報は、データベース管理部20において予め設定されていてもよいし、ユーザが入出力装置5を操作して入力した内容に基づいて設定されてもよい。
図7は、過去情報比較ルール36の一例を示す図である。図7に示すように、過去情報比較ルール36は、学習情報と学習データベース32との比較で用いられるルールごとに設定された複数のレコードに対して、例えば符号361~365の各列に示す情報がそれぞれ記録されることで構成される。
列361には、図3に示した学習データベース32の列321と同様に、情報種別に関する情報が記録される。列362には、学習情報と学習データベース32との比較において、学習データベース32の列322で表される脅威種別を比較対象に含めるか否かの情報が記録される。列363には、学習情報と学習データベース32との比較において、学習データベース32の列323で表される攻撃種別を比較対象に含めるか否かの情報が記録される。列364には、学習情報と学習データベース32との比較において、学習データベース32の列324で表される攻撃名を比較対象に含めるか否かの情報が記録される。列365には、学習情報と学習データベース32との比較において、学習データベース32の列325で表される攻撃対象名を比較対象に含めるか否かの情報が記録される。これらの情報は、データベース管理部20において予め設定されていてもよいし、ユーザが入出力装置5を操作して入力した内容に基づいて設定されてもよい。
次に、情報提供システム100において学習データベース32を更新する際に実行される処理について、図8および図9を参照して説明する。
図8は、学習データ作成時の処理の流れを示すフローチャートである。図8のフローチャートに示す処理は、情報提供システム100において、例えば第三者40が新規セキュリティ情報を公開したときに実行される。
ステップS10では、機械学習演算部10のセキュリティ情報入力部11により、第三者40から新規セキュリティ情報を取得する。
ステップS20では、機械学習演算部10のモデル構築部14により、データベース管理部20の情報格納部30からモデル情報31を読み込み、これに基づいて機械学習モデルを構築する。
ステップS30では、機械学習演算部10の関連度計算部12により、ステップS10で取得した新規セキュリティ情報の関連度を計算する。ここでは、セキュリティ情報入力部11により、ステップS10で取得した新規セキュリティ情報を、ステップS20で構築した機械学習モデルに入力する。そして、関連度計算部12により、機械学習モデルから出力される新規セキュリティ情報の分類推定結果とその確度に基づいて、情報システム51に対する関連度を計算することができる。
ステップS10で取得した新規セキュリティ情報と、ステップS30で計算した関連度の値とは、機械学習演算部10からデータベース管理部20へ送信され、データベース管理部20において受信される。
ステップS40では、データベース管理部20の更新データ選択部21により、ステップS30で計算した関連度の値が所定範囲内であるか否かを判定する。ここでは、情報格納部30に格納された閾値情報33を参照し、閾値情報33によって示された範囲内に関連度の値が入っているか否かを判定する。その結果、関連度の値が範囲内であればステップS60へ進み、範囲外であればステップS50へ進む。
ステップS50では、データベース管理部20の更新データ選択部21により、ステップS10で取得した新規セキュリティ情報において所定の検索キーワードの有無を判定する。ここでは、情報格納部30に格納された検索キーワード34を参照し、検索キーワード34に登録された検索キーワードのうち、いずれか少なくとも1つの検索キーワードが新規セキュリティ情報に含まれているか否かを判定する。その結果、新規セキュリティ情報にいずれか少なくとも1つの検索キーワードが含まれている場合は、ステップS60へ進む。一方、新規セキュリティ情報に検索キーワードが1つも含まれていない場合は、図8のフローチャートに示す処理を終了する。この場合、ステップS10で取得した新規セキュリティ情報は、更新データとしては選択されずに、学習データの生成対象から除外される。
ステップS60では、データベース管理部20の更新データ選択部21により、ステップS10で取得した新規セキュリティ情報を、学習データの生成対象とする更新データとして選択する。
ステップS70では、データベース管理部20の学習情報抽出部22により、ステップS60で選択した更新データから学習情報を抽出する。ここでは、例えば予め設定された抽出ルール等を用いて、図3の学習データベース32において列321~325にそれぞれ示されたような情報を、学習情報として更新データから抽出する。なお、このとき機械学習演算部10で使用される機械学習モデルと同じか、または異なる機械学習モデルを利用して、学習情報の抽出を行ってもよい。
ステップS80では、データベース管理部20の一致判定部23により、情報格納部30から学習データベース32を読み込む。
ステップS90では、データベース管理部20の一致判定部23により、ステップS70で抽出した学習情報と、ステップS80で読み込んだ学習データベース32の各レコードが表す過去の学習データとを比較し、これらが一致しているか否かを判定する。ここでは、情報格納部30に格納された過去情報比較ルール36を参照し、抽出した学習情報のうちどの項目を比較対象とするかを決定する。そして、学習データベース32において、比較対象とした学習情報の各項目と同一の情報が記録されているレコードの有無を検索する。その結果、当該条件を満たすレコードが学習データベース32において存在する場合は、抽出した学習情報と過去の学習データが一致しており、そのため当該学習情報を学習データの生成対象に採用すると判断して、ステップS110へ進む。一方、当該条件を満たすレコードが存在しない場合は、抽出した学習情報と過去の学習データが一致しておらず、そのため当該学習情報を学習データの生成対象には採用しないと判断して、ステップS100へ進む。
ステップS100では、データベース管理部20から、ステップS70で抽出した学習情報が過去の学習データとは一致しておらず、そのため学習データの生成対象としては適切でない旨を示すエラーを、ユーザに対して出力する。ステップS100の実行後は、図8のフローチャートに示す処理を終了する。
ステップS110では、データベース管理部20のアノテーション付与部24により、ステップS70で抽出した学習情報に対するアノテーション結果を推定し、その推定結果に基づいて学習情報にアノテーションを付与する。ここでは、例えば前述のように、機械学習演算部10において実行される機械学習モデルを用いた機械学習演算と同様の処理手法により、学習情報に基づいて更新データがどの分野のものであるかを分類することで、アノテーション結果を推定することができる。
ステップS120では、データベース管理部20の学習データ生成部25により、ステップS70で抽出した学習情報と、ステップS110で当該学習情報に対して付与したアノテーションとに基づいて、学習データを生成する。ここでは、例えば学習情報およびアノテーションと、ステップS60で選択した更新データ(新規セキュリティ情報)の内容とを組み合わせて、図3の列321~327の各情報を生成することにより、学習データの生成を行うことができる。
ステップS130では、データベース管理部20の学習データベース更新部27により、ステップS120で生成した学習データを学習データベース32に新規登録して、学習データベース32を更新する。ステップS130の実行後は、図8のフローチャートに示す処理を終了する。
情報提供システム100では、以上説明した図8のフローチャートに示す処理を実行することで、機械学習モデルの学習に用いる学習データを生成することができる。すなわち図8のフローチャートに示す処理により、学習データの生成を行う学習データ生成システムとして情報提供システム100を機能させることができる。
図9は、登録済み学習データ修正時の処理の流れを示すフローチャートである。図9のフローチャートに示す処理は、情報提供システム100において、例えば一定の処理周期ごとに、またはユーザの指示に応じてなど、任意のタイミングで実行される。
ステップS210では、データベース管理部20において、構成情報35のデータ更新が行われたか否かを判定する。構成情報35において新規レコードが登録されたり、いずれかのレコードの内容が書き換えられたりすることで、前回処理時の後に構成情報35のデータ更新が行われた場合は、ステップS220へ進む。一方、前回処理時から構成情報35の内容が変更されていない場合は、ステップS220の処理を実施せずにステップS230へ進む。
ステップS220では、データベース管理部20の学習データベース更新部27により、更新後の構成情報35を反映して学習データベース32を更新する。ここでは、例えば構成情報35における更新内容を読み出し、その更新内容に対応するレコードを学習データベース32において特定して、当該レコードの情報を構成情報35の更新内容に合わせて書き換える。これにより、構成情報35が更新された場合は、その更新内容に合わせて、学習データベース32に登録済みの学習データを修正することができる。
ステップS230では、データベース管理部20において、アノテーション評価部26によるアノテーション評価が行われたか否かを判定する。例えば、後述のアノテーション評価画面200(図11参照)において、ユーザが実行ボタン205を選択することによりアノテーション評価が実行され、この実行結果におけるアノテーションの推定結果を変更するための入力情報がユーザに入力された後に、ユーザが登録ボタン206を選択することによりアノテーションの変更内容が登録された場合は、アノテーション評価が行われたと判定してステップS240へ進む。一方、ユーザがこうした操作を実行せずに、アノテーションの変更内容が登録されていない場合は、アノテーション評価が行われていないと判定してステップS250へ進む。
ステップS240では、データベース管理部20の学習データベース更新部27により、アノテーション評価結果を反映して学習データベース32を更新する。ここでは、例えばアノテーション評価画面200において登録されたアノテーションの変更内容を読み出し、その変更内容に対応するレコードを学習データベース32において特定して、当該レコードの情報をアノテーションの変更内容に合わせて書き換える。これにより、アノテーション評価画面200に対するユーザの入力情報に基づいてアノテーション評価が行われた場合は、その評価内容に合わせて、学習データベース32に登録済みの学習データを修正することができる。
ステップS250では、機械学習演算部10の関連情報提供部13により、関連情報を提供先企業50へ送信する。ここでは、例えば図8のステップS10で取得された新規セキュリティ情報を機械学習モデルに入力して機械学習演算を行い、これにより生成された関連情報を各提供先企業50へ送信することで、各提供先企業50が有する情報システム51に対応する関連情報の提供を行う。
ステップS260では、機械学習演算部10において、ステップS250で送信した関連情報へのフィードバックが提供先企業50から行われたか否かを判定する。提供先企業50から関連情報へのフィードバックが送信された場合はステップS270へ進み、送信されていない場合は、図9のフローチャートに示す処理を終了する。
ステップS270では、機械学習演算部10において、関連情報に対する提供先企業50からのフィードバックを取得し、そのフィードバックの内容をデータベース管理部20へ送信する。
ステップS280では、データベース管理部20の学習データベース更新部27により、関連情報へのフィードバックを反映して学習データベース32を更新する。ここでは、例えばステップS270で取得したフィードバックにおいて、元の関連情報から変更された部分を抽出し、その変更内容に対応するレコードを学習データベース32において特定して、当該レコードの情報を変更内容に合わせて書き換える。これにより、関連情報の内容を変更するフィードバックが提供先企業50から送信された場合は、その変更内容に合わせて、学習データベース32に登録済みの学習データを修正することができる。
ステップS280の実行後は、図9のフローチャートに示す処理を終了する。
情報提供システム100では、以上説明した図9のフローチャートに示す処理を実行することで、機械学習モデルの学習に用いる学習データを修正することができる。
次に、情報提供システム100の全体処理について、図10を参照して説明する。
図10は、本発明の第1の実施形態に係る情報提供システム100の全体処理の流れの一例を示すシーケンス図である。
第三者40は、情報提供システム100の機械学習演算部10とデータベース管理部20に対して、セキュリティ情報を公開する(S1010)。データベース管理部20では、公開されたセキュリティ情報に対して、図8のフローチャートに示した処理を実行することで、学習情報の抽出およびアノテーション付与を行い(S1020)、学習データを作成して学習データベース32へ登録する(S1030)。一方、機械学習演算部10では、機械学習演算に使用する機械学習モデルを選択して当該機械学習モデルを構築し(S1040)、公開されたセキュリティ情報を構築した機械学習モデルに入力して機械学習演算を実行することにより、セキュリティ情報の分野分類判定を行う(S1050)。そして、得られた判定結果に基づいて関連情報を作成し、提供先企業50へ送信する(S1060)。
ステップS1060で送信した関連情報に対するフィードバックが提供先企業50から送信されると(S1070)、機械学習演算部10は、そのフィードバック内容を示すフィードバック結果をデータベース管理部20へ送信する(S1080)。データベース管理部20では、ステップS1080で機械学習演算部10から送信されたフィードバック結果に基づき、図9のフローチャートに示した処理を実行することで、学習データベース32を更新する(S1090)。
機械学習モデルの更新を行う場合、データベース管理部20は、学習データベース32に登録されている学習データの中で機械学習モデルの更新に使用する学習データを選択し(S1100)、選択した学習データを機械学習演算部10へ送信する(S1110)。機械学習演算部10では、ステップS1110でデータベース管理部20から送信された学習データを用いて、機械学習モデルを更新する(S1120)。
図11は、アノテーション評価画面の例を示す図である。図11に示すアノテーション評価画面200は、データベース管理部20において、アノテーション評価部26により、例えば入出力装置5に含まれるディスプレイ上に表示される。
アノテーション評価画面200は、表示枠201~204、実行ボタン205および登録ボタン206を含む。表示枠201には、第三者40から取得したセキュリティ情報の内容が表示される。表示枠202には、表示枠201に表示されたセキュリティ情報から学習情報として抽出した各項目(情報種別、攻撃手法、攻撃対象等)の内容が表示される。表示枠203には、表示枠202に表示された学習情報の各項目に対して付与されたアノテーションの推定結果が表示される。表示枠204には、過去に取得したセキュリティ情報のうち、表示枠201に表示されたセキュリティ情報との関連性が高いセキュリティ情報について、表示枠201~203にそれぞれ表示されたものと同様の内容が表示される。なお、表示枠204の表示内容は、学習データベース32に記録された学習データから取得することができる。
実行ボタン205は、アノテーション評価の実行を指示するための操作ボタンである。ユーザがアノテーション評価画面200上で実行ボタン205を選択すると、表示枠201に表示されたセキュリティ情報に対してアノテーション評価が実行され、表示枠202~204の各情報が表示される。
登録ボタン206は、アノテーション評価結果の登録を指示するための操作ボタンである。ユーザがアノテーション評価画面200において、例えば表示枠203に表示されたアノテーションの推定結果を変更するための情報を入力して登録ボタン206を選択すると、その入力情報に応じてアノテーションの推定結果が変更され、変更内容がデータベース管理部20に登録される。登録されたアノテーションの変更内容は、学習データベース更新部27により、学習データベース32に反映されて学習データベース32の内容が更新される。
図12は、関連情報提供画面の例を示す図である。図12に示す関連情報提供画面210は、関連情報提供部13から送信されて各提供先企業50に提供される関連情報に基づき、各提供先企業50が有する端末装置(不図示)のディスプレイ上に表示される。
関連情報提供画面210は、表示枠211~214および登録ボタン215を含む。表示枠211には、提供された関連情報が表すセキュリティ情報の内容が表示される。表示枠212には、表示枠211に表示されたセキュリティ情報に対して機械学習演算を行うことにより抽出した各項目(情報種別、攻撃手法、攻撃対象等)の内容が表示される。表示枠213には、表示枠212に表示された各項目に対するアノテーションの推定結果が表示される。なお、表示枠211~213の表示内容は、図11のアノテーション評価画面200における表示枠201~203の表示内容とそれぞれ対応している。表示枠214には、表示枠213に表示したアノテーション推定結果に対してユーザが入力したフィードバック内容が表示される。
登録ボタン215は、ユーザが入力したフィードバックの登録を指示するための操作ボタンである。ユーザが関連情報提供画面210において、例えば表示枠213に表示されたアノテーションの推定結果が正しいか否か(関連あり/なし)を入力して登録ボタン215を選択すると、その入力内容が、関連情報に対するユーザからのフィードバックとして情報提供システム100へ送信され、データベース管理部20に登録される。登録されたフィードバック内容は、学習データベース更新部27により、学習データベース32に反映されて学習データベース32の内容が更新される。
以上説明した本発明の第1の実施形態によれば、以下の作用効果が得られる。
(1)情報提供システム100は、機械学習モデルの学習に用いる学習データを生成するシステムである。情報提供システム100は、セキュリティ情報入力部11と、関連度計算部12と、更新データ選択部21と、学習情報抽出部22と、アノテーション付与部24と、学習データ生成部25と、学習データベース32とを備える。セキュリティ情報入力部11は、予め指定された情報システム51の脅威や脆弱性に関するセキュリティ情報を取得し、取得したセキュリティ情報を機械学習モデルに入力する(S10)。関連度計算部12は、機械学習モデルを用いて、情報システム51に対するセキュリティ情報の関連度を計算する(S30)。更新データ選択部21は、関連度計算部12により計算された関連度に基づいて、セキュリティ情報から更新データを選択する(S40、S60)。学習情報抽出部22は、更新データ選択部21により選択された更新データから、学習データの生成に用いる学習情報を抽出する(S70)。アノテーション付与部24は、学習情報抽出部22により抽出された学習情報に対してアノテーションを付与する(S110)。学習データ生成部25は、学習情報抽出部22により抽出された学習情報と、アノテーション付与部24により付与されたアノテーションとに基づいて、学習データを生成する(S120)。学習データベース32は、学習データ生成部25により生成された学習データを格納する。このようにしたので、セキュリティ情報の分類に利用される機械学習用の学習データを効率的に生成することができる。
(2)更新データ選択部21は、関連度の値が所定範囲内であるセキュリティ情報を更新データとして選択する(S40、S60)。このようにしたので、学習データの生成に適したセキュリティ情報を更新データとして選択することができる。
(3)更新データ選択部21は、関連度の値が所定範囲外であっても(S40:No)、セキュリティ情報が所定の検索キーワードを含む場合は(S50:Yes)、当該セキュリティ情報を更新データとして選択する(S60)。このようにしたので、所定の検索キーワードを含むセキュリティ情報を、関連度の値に関わらず更新データとして選択することができる。
(4)情報提供システム100は、一致判定部23を備える。一致判定部23は、学習情報抽出部22により抽出された学習情報と、学習データベース32に格納された過去の学習データとの比較を行い、その比較の結果に基づいて学習情報を採用するか否かを判定する(S90)。学習データ生成部25は、一致判定部23により採用しないと判定された学習情報を除外して学習データを生成する。このようにしたので、過去の学習データと矛盾する学習情報を学習データの生成対象から除外して、効果的な学習効果を得られる学習データを生成することが可能となる。
(5)情報提供システム100は、情報システム51の構成に関する構成情報35が格納された情報格納部30と、情報格納部30に格納された構成情報35に基づいて、学習データベース32を更新する学習データベース更新部27とを備える。このようにしたので、情報システム51の構成が変更された場合は、その変更内容に応じて学習データベース32を適切に更新することができる。
(6)情報提供システム100は、アノテーション付与部24によるアノテーションの付与結果を示すアノテーション評価画面200をユーザに提示し、アノテーション評価画面200に対するユーザの入力情報に基づいて、アノテーションの付与結果の評価を行うアノテーション評価部26と、アノテーション評価部26による評価の結果に基づいて、学習データベース32を更新する学習データベース更新部27とを備える。このようにしたので、ユーザからアノテーション評価が行われた場合は、その評価結果に応じて学習データベース32を適切に更新することができる。
(7)情報提供システム100は、機械学習モデルを用いて、情報システム51との関連性が高いセキュリティ情報に関する情報である関連情報をユーザに提供する関連情報提供部13と、関連情報に対するユーザからのフィードバックに基づいて、学習データベース32を更新する学習データベース更新部27とを備える。このようにしたので、関連情報を提供した提供先企業50のユーザから関連情報に対するフィードバックが行われた場合は、そのフィードバック内容に応じて学習データベース32を適切に更新することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。上述した第1の実施形態では、情報提供システム100においてデータベース管理部20がアノテーション付与部24を有しており、このアノテーション付与部24を用いて学習情報を分類しアノテーション付与を行うことで、機械学習演算部10と同様の分野分類を実施可能な場合について説明した。一方、本実施形態では、データベース管理部20がアノテーション付与部24を有しておらず、そのため機械学習演算部10と同様の分野分類を実施できない場合の例について説明する。
なお、本実施形態における学習用データ生成装置のハードウェア構成は、第1の実施形態において図2に示したものと同一である。
図13は、本発明の第2の実施形態に係る情報提供システムの機能構成を示すブロック図である。図13に示す情報提供システム100Aは、第1の実施形態で説明した図1の情報提供システム100と同様に、機械学習演算部10およびデータベース管理部20を備える。
本実施形態の情報提供システム100Aにおいて、機械学習演算部10は、第1の実施形態で説明した各機能ブロックに加えて、アノテーション付与部24をさらに備える。一方、データベース管理部20は、第1の実施形態で説明した各機能ブロックのうち、アノテーション付与部24を除いたものを備える。これ以外の点については、第1の実施形態で説明した情報提供システム100と同様である。
なお、本実施形態の情報提供システム100Aにおいて、学習データベース32を更新する際には、第1の実施形態で説明した図8および図9の各フローチャートに示す処理と同様の処理が実行される。
図14は、本発明の第2の実施形態に係る情報提供システム100Aの全体処理の流れの一例を示すシーケンス図である。
第三者40は、情報提供システム100Aの機械学習演算部10とデータベース管理部20に対して、セキュリティ情報を公開する(S1010)。データベース管理部20では、公開されたセキュリティ情報に対して学習情報を抽出する(S1021)。一方、機械学習演算部10では、機械学習演算に使用する機械学習モデルを選択して当該機械学習モデルを構築し(S1040)、公開されたセキュリティ情報を構築した機械学習モデルに入力して機械学習演算を実行することにより、セキュリティ情報の分野分類判定を行うとともに、アノテーション付与部24によるアノテーション付与を行う(S1051)。そして、得られた判定結果に基づいて関連情報を作成し、提供先企業50へ送信する(S1060)とともに、アノテーション付与結果をデータベース管理部20へ通知する(S1052)。
ステップS1052でアノテーション付与結果が機械学習演算部10から通知されると、データベース管理部20は、これとステップS1021で抽出した学習情報とを組み合わせて学習データを作成し、学習データベース32へ登録する(S1053)。これ以降では、第1の実施形態で説明した図10のシーケンス図と同様の処理が行われる。
以上説明した本発明の第2の実施形態によれば、第1の実施形態と同様の作用効果が得られる。
なお、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。たとえば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、説明した全ての構成を備えるものに必ずしも限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。
また上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、たとえば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD等の記録装置、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。たとえば、実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また以上に説明した各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
10:機械学習演算部、11:セキュリティ情報入力部、12:関連度計算部、13:関連情報提供部、14:モデル構築部、20:データベース管理部、21:更新データ選択部、22:学習情報抽出部、23:一致判定部、24:アノテーション付与部、25:学習データ生成部、26:アノテーション評価部、27:学習データベース更新部、28:学習データ選択部、30:情報格納部、31:モデル情報、32:学習データベース、33:閾値情報、34:検索キーワード、35:構成情報(SBOM)、36:過去情報比較ルール、40:第三者、50:提供先企業、51:情報システム、60:ネットワーク、100,100A:情報提供システム

Claims (7)

  1. 公開されたセキュリティ情報の分析を行うための機械学習演算の実行に利用される機械学習モデルの学習に用いる学習データを生成するシステムであって、
    予め指定された情報システムの脅威や脆弱性に関する前記セキュリティ情報を取得し、取得した前記セキュリティ情報を前記機械学習モデルに入力するセキュリティ情報入力部と、
    前記機械学習モデルを用いて、前記情報システムに対する前記セキュリティ情報の関連度を計算する関連度計算部と、
    前記関連度計算部により計算された前記関連度に基づいて、前記セキュリティ情報から前記機械学習モデルの更新に利用するための更新データを選択する更新データ選択部と、
    前記更新データ選択部により選択された前記更新データから、前記学習データの生成に用いる学習情報を抽出する学習情報抽出部と、
    前記学習情報抽出部により抽出された前記学習情報に対してアノテーションを付与するアノテーション付与部と、
    前記学習情報抽出部により抽出された前記学習情報と、前記アノテーション付与部により付与された前記アノテーションとに基づいて、前記学習データを生成する学習データ生成部と、
    前記学習データ生成部により生成された前記学習データを格納する学習データベースと、を備え、
    前記更新データ選択部は、前記関連度の値が所定範囲内である前記セキュリティ情報を前記更新データとして選択する、学習データ生成システム。
  2. 請求項1に記載の学習データ生成システムであって、
    前記更新データ選択部は、前記関連度の値が前記所定範囲外であっても、前記セキュリティ情報が所定の検索キーワードを含む場合は、当該セキュリティ情報を前記更新データとして選択する、学習データ生成システム。
  3. 請求項1に記載の学習データ生成システムであって、
    前記学習情報抽出部により抽出された前記学習情報と、前記学習データベースに格納された過去の前記学習データとの比較を行い、前記比較の結果に基づいて前記学習情報を採用するか否かを判定する一致判定部を備え、
    前記学習データ生成部は、前記一致判定部により採用しないと判定された前記学習情報を除外して前記学習データを生成する、学習データ生成システム。
  4. 請求項1に記載の学習データ生成システムであって、
    前記情報システムのソフトウェア構成に関する構成情報が格納された情報格納部と、
    前記情報格納部に格納された前記構成情報が更新された場合に、更新後の前記構成情報を前記学習データに反映して、前記学習データベースを更新する学習データベース更新部と、を備える、学習データ生成システム。
  5. 請求項1に記載の学習データ生成システムであって、
    前記アノテーション付与部による前記アノテーションの付与結果を示すアノテーション評価画面をユーザに提示し、前記アノテーション評価画面に対する前記ユーザの入力情報に基づいて、前記アノテーションの付与結果の評価を行うアノテーション評価部と、
    前記アノテーション評価部による前記評価の結果に基づいて、前記学習データベースを更新する学習データベース更新部と、を備える、学習データ生成システム。
  6. 請求項1に記載の学習データ生成システムであって、
    前記機械学習モデルを用いて、前記情報システムとの関連性が高い前記セキュリティ情報に関する情報である関連情報をユーザに提供する関連情報提供部と、
    前記関連情報に対する前記ユーザからのフィードバックに基づいて、前記学習データベースを更新する学習データベース更新部と、を備える、学習データ生成システム。
  7. 公開されたセキュリティ情報の分析を行うための機械学習演算の実行に利用される機械学習モデルの学習に用いる学習データを生成する方法であって、
    予め指定された情報システムの脅威や脆弱性に関する前記セキュリティ情報を取得し、
    取得した前記セキュリティ情報を前記機械学習モデルに入力し、
    前記機械学習モデルを用いて、前記情報システムに対する前記セキュリティ情報の関連度を計算し、
    コンピュータにより、前記関連度に基づいて、前記セキュリティ情報から前記機械学習モデルの更新に利用するための更新データを選択し、
    前記コンピュータにより、選択された前記更新データから、前記学習データの生成に用いる学習情報を抽出し、
    前記コンピュータにより、抽出された前記学習情報に対してアノテーションを付与し、
    前記コンピュータにより、抽出された前記学習情報と、付与された前記アノテーションとに基づいて、前記学習データを生成し、
    生成された前記学習データをデータベースに格納し、
    前記更新データの選択では、前記関連度の値が所定範囲内である前記セキュリティ情報を前記更新データとして選択する、学習データ生成方法。
JP2022145791A 2022-09-14 2022-09-14 機械学習モデルの学習に用いるシステム、および、方法 Active JP7904076B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022145791A JP7904076B2 (ja) 2022-09-14 2022-09-14 機械学習モデルの学習に用いるシステム、および、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022145791A JP7904076B2 (ja) 2022-09-14 2022-09-14 機械学習モデルの学習に用いるシステム、および、方法

Publications (2)

Publication Number Publication Date
JP2024041143A JP2024041143A (ja) 2024-03-27
JP7904076B2 true JP7904076B2 (ja) 2026-08-12

Family

ID=90417314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022145791A Active JP7904076B2 (ja) 2022-09-14 2022-09-14 機械学習モデルの学習に用いるシステム、および、方法

Country Status (1)

Country Link
JP (1) JP7904076B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142345A1 (ja) 2018-01-22 2019-07-25 日本電気株式会社 セキュリティ情報処理装置、情報処理方法及び記録媒体
JP2020505707A (ja) 2017-01-30 2020-02-20 マイクロソフト テクノロジー ライセンシング,エルエルシー 侵入検出のための継続的な学習
US20200210590A1 (en) 2018-12-28 2020-07-02 Tenable, Inc. Threat score prediction model
US20200327223A1 (en) 2019-04-09 2020-10-15 International Business Machines Corporation Affectedness scoring engine for cyber threat intelligence services
WO2022185576A1 (ja) 2021-03-02 2022-09-09 株式会社日立製作所 不正侵害分析支援装置、及び不正侵害分析支援方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020505707A (ja) 2017-01-30 2020-02-20 マイクロソフト テクノロジー ライセンシング,エルエルシー 侵入検出のための継続的な学習
WO2019142345A1 (ja) 2018-01-22 2019-07-25 日本電気株式会社 セキュリティ情報処理装置、情報処理方法及び記録媒体
US20200210590A1 (en) 2018-12-28 2020-07-02 Tenable, Inc. Threat score prediction model
US20200327223A1 (en) 2019-04-09 2020-10-15 International Business Machines Corporation Affectedness scoring engine for cyber threat intelligence services
WO2022185576A1 (ja) 2021-03-02 2022-09-09 株式会社日立製作所 不正侵害分析支援装置、及び不正侵害分析支援方法

Also Published As

Publication number Publication date
JP2024041143A (ja) 2024-03-27

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20260205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20260217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260730