JP6710716B2

JP6710716B2 - 脅威情報評価装置、脅威情報評価方法およびプログラム

Info

Publication number: JP6710716B2
Application number: JP2018060577A
Authority: JP
Inventors: 英俊川口; 裕一石原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2018-03-27
Filing date: 2018-03-27
Publication date: 2020-06-17
Anticipated expiration: 2038-03-27
Also published as: US20210019405A1; WO2019188975A1; US11416610B2; JP2019174988A

Description

本発明は、脅威情報評価装置、脅威情報評価方法およびプログラムに関し、例えば、IPS（Intrusion Prevention System）やアンチウイルスソフトなどのサイバー攻撃に対するセキュリティシステムを扱うセキュリティ運用者が、脅威情報を評価する際に適用可能な技術に関する。

サイバー攻撃活動について攻撃者、攻撃者の行動や手口、脆弱性などに関する脅威情報が日々生成されている。脅威情報が重要な脅威情報であり緊急に対処すべきか否かといった判断を行うために、セキュリティ運用者は継続的・逐次的に脅威情報への評価を行う必要がある。脅威情報とそれに対するセキュリティ運用者の評価はデータベースに蓄積され、必要に応じて検索することができるが、膨大な脅威情報の評価には、セキュリティ運用者のかなりの労力を必要とする。

scikit-learn user guide, Release 0.19.1, インターネット＜URL：http://scikit-learn.org/stable/_downloads/scikit-learn-docs.pdf＞, 2018年3月2日検索ハイパーパラメータ自動調整いろいろ, インターネット＜URL：https://qiita.com/cvusk/items/1f3b178f34c39beb29ff＞, 2018年3月2日検索ディープラーニングにおける学習のコツとハイパーパラメータのガイドライン, インターネット＜URL：https://qiita.com/akimach/items/88356ef46e98f045b035＞, 2018年3月2日検索

上記のように、セキュリティ運用者は脅威情報を評価する必要があるが、脅威情報自体の数が膨大になった場合は評価を行いきれなくなる可能性がある。脅威情報を評価できないということは、サイバー攻撃を防ぎきることができない可能性が生じてしまい、運用対象となっている組織にとって望ましくないことがおこることになる。

近年、機械学習という技術を利用して、膨大なデータからパターンを抽出し分析・分類・評価する試みが行われている。機械学習によれば、データベースに学習データとなる脅威情報と評価の対を保存し、評価モジュールでパターンを生成し、機械的にそのパターンで評価を行うことができる（非特許文献１〜３参照）。

しかしながら、機械学習には評価モジュールで適切なパターンを生成するためのチューニングが必要となり、セキュリティ運用者がいくつかの脅威情報に対して評価を行った結果を学習データとして評価モジュールに入力する必要がある。すなわち、セキュリティ運用者が脅威情報を、セキュリティ運用者自身で評価する脅威情報と評価モジュールに送信する脅威情報へ割り振る必要がある。すべての脅威情報を評価モジュールへ送信すると、評価モジュールの評価精度がモジュールのパターンの陳腐化により低下してしまう危険性があるため、割り振りは必須である。脅威情報の割り振りには、セキュリティ運用者の労力を必要とする。また、評価対象である脅威情報は日々生成されるという特性があるため、その都度脅威情報の割り振りを行う必要があり、決して無視できない労力を必要としてしまうという問題がある。

本発明は、脅威情報の割り振りを自動化することにより、セキュリティ運用者の割り振り労力を軽減することを目的とする。

本発明の一形態に係る脅威情報評価装置は、
脅威情報の評価を行う脅威情報評価装置であって、
入力された脅威情報リストの中の脅威情報をセキュリティ運用者又は評価部に割り振る割り振り部と、
当該評価部に割り振られた脅威情報の評価を行う評価部と、
を有し、
前記割り振り部は、前記評価部が行った評価と前記セキュリティ運用者により決定された評価とに基づいて推定精度を算出し、前記推定精度に基づいて割り振りを行うことを特徴とする。

本発明の一形態に係る脅威情報評価方法は、
脅威情報の評価を行う評価部を有する脅威情報評価装置における脅威情報評価方法であって、
前記評価部が行った評価とセキュリティ運用者により決定された評価とに基づいて推定精度を算出するステップと、
脅威情報リストを入力するステップと、
前記推定精度に基づいて、前記入力された脅威情報リストの中の脅威情報を、前記セキュリティ運用者又は前記評価部に割り振るステップと、
を有することを特徴とする。

本発明の一形態に係るプログラムは、上記の脅威情報評価装置の各部としてコンピュータを機能させることを特徴とする。

本発明によれば、脅威情報の割り振りを自動化することにより、セキュリティ運用者の割り振り労力を軽減することが可能になる。

本発明の実施例に係る脅威情報評価装置の機能構成を示す図である。脅威情報の例を示す図である。脅威情報の評価の例を示す図である。評価モジュールにおける処理を示すフローチャートである。混同行列の例を示す図である。割り振りモジュールにおける処理を示すフローチャートである。脅威情報評価装置のハードウェア構成例を示す図である。

以下、図面を参照して本発明の実施例について説明する。

＜脅威情報評価装置の構成＞
図１は、本発明の実施例に係る脅威情報評価装置の機能構成を示す図である。脅威情報評価装置１００は、脅威情報の重要度などの脅威情報の評価を行う装置である。脅威情報評価装置１００は、割り振りモジュール１０１と、データベース１０２と、評価モジュール１０３とにより構成される。

割り振りモジュール１０１は、脅威情報発生元から脅威情報リストを入力として受け取り、脅威情報リストの中の脅威情報をセキュリティ運用者又は評価モジュール１０３に割り振る処理部である。脅威情報発生元は、セキュリティ運用者の脅威情報の取得先であり、例えば、IPSのシグネチャを開発するベンダ、脅威情報を共有するプラットフォームである。

図２は、脅威情報の例を示す図である。脅威情報は、サイバー攻撃に関する情報が含まれており、脅威情報の識別子であるID、送信先／宛先のIPアドレス、ポート番号、サイバー攻撃の内容などの内容が含まれている。

セキュリティ運用者は、脅威情報を受け取り、その評価を行って脅威情報評価先に提供する人物である。脅威情報評価先は、脅威情報とその評価の対の適用先であり、例えば、脅威情報がIPSのシグネチャである場合にはそのIPSそのものが該当する。

図３は、セキュリティ運用者又は評価モジュール１０３において行われる評価の例を示す図である。図２に示す脅威情報のそれぞれに対してセキュリティ運用者又は評価モジュール１０３によって重要度などが決められる。

初期状態など、評価を行うためのパターンが評価モジュール１０３において充分にチューニングされていない場合、割り振りモジュール１０１は、脅威情報をセキュリティ運用者に割り振る。一方、評価を行うためのパターンが評価モジュール１０３において充分にチューニングされた場合、割り振りモジュール１０１は、脅威情報を評価モジュール１０３に割り振ることができるが、パターンの陳腐化を防ぐために一部をセキュリティ運用者に割り振る。

データベース１０２は、脅威情報と、セキュリティ運用者が行った評価とを対応付けて保存する記憶媒体である。データベース１０２に保存された情報は、評価を行うパターンおよびその精度を導出するために用いる。

評価モジュール１０３は、当該評価モジュール１０３に割り振られた脅威情報の評価を行う処理部である。評価モジュール１０３は、機械学習などによって、評価を行うためのパターンを生成することができる。例えば、評価モジュール１０３は、データベース１０２に保存された脅威情報とセキュリティ運用者が行った評価の対に基づきパターンを生成し、そのパターンを使って受け取った脅威情報に対して評価を行う。また、割り振りモジュール１０１に対して評価を行うパターンの性能を算出するために用いるためのデータ、例えば混同行列の送信も行う。

割り振りモジュール１０１は、評価モジュール１０３が行った評価とセキュリティ運用者により決定された評価とに基づいて推定精度を算出し、推定精度に基づいて割り振りを行う。例えば、割り振りモジュール１０１は評価モジュール１０３からの評価の混同行列を受け取り、混同行列に基づいて推定精度を算出し、推定精度に基づいて脅威情報をセキュリティ運用者へ送信するか、評価モジュール１０３へ送信するかを振り分ける。評価モジュール１０３へ送信することにより、自動的に脅威情報へ評価を行うことができるため効果が大きくなる。一方、あまりにも評価モジュール１０３へ送信を行いすぎると評価モジュール１０３の評価精度が低下してしまう可能性がある。そのため、評価モジュール１０３のパラメータ調整のためにも適宜セキュリティ運用者に脅威情報を送信する必要がある。

＜評価モジュールにおける処理＞
次に、図４を参照して評価モジュール１０３における処理の具体例について説明する。

評価モジュール１０３は、割り振りモジュール１０１で割り振られた脅威情報を受け取り（Ｓ１０１）、データベース１０２からセキュリティ運用者の評価を受け取る（Ｓ１０２）。

評価モジュール１０３は、機械学習のハイパーパラメータをデータからチューニングする方法などによって、評価を行うためのパターンを生成することができる（Ｓ１０３）。そして、生成したパターンを用いて脅威情報を評価する。

評価モジュール１０３は、評価モジュールが行った評価とセキュリティ運用者により決定された評価とに基づいて混同行列を生成する（Ｓ１０４）。

図５は、混同行列の例を示す図である。混同行列とは、機械学習の分類器やモデルの性能を評価する際に用いられる行列のことである。性能を測るための定量的指標はいくつか存在するが、およそよく用いられる指標は混同行列の要素から計算することができる。評価が「重要」と「重要ではない」の2種類で、脅威情報の数が全部で2000個、セキュリティ運用者が実際に「重要」としたものが1000個、「重要でない」としたものも1000個の具体例を以下に示す。図５の例では、評価モジュール１０３は本来1000個を「重要」と評価しなくてはならないところを900個とし、「重要ではない」と評価しなくてはならないところが800個となっている。すなわち、900個＋800個が実際に正しく評価できた数に相当し、100個＋200個が正しく評価できていない数に相当する。

なお、混同行列は、n次元に一般化することができる。n次元の混同行列Aを以下に示す。

i,jはそれぞれ評価を指し示すIDである。nは評価の種類数である。例えば、「重要」、「要ではない」、「そこそこ」のように評価の種類があればn=3となり、混同行列は3×3の行列で表すことができる。a_i,jはセキュリティ運用者が評価iとつけたものに対して、評価モジュール１０３がjと評価した脅威情報の個数を表す。i=jとなるa_1,1, a_2,2などが実際に正しく評価できた数に相当する。

図５の混同行列は以下のように表現できる。

混同行列Aは割り振りモジュール１０１における処理のため、割り振りモジュール１０１に送信される。

＜割り振りモジュールにおける処理＞
次に、図６を参照して割り振りモジュール１０１における処理の具体例について説明する。

割り振りモジュール１０１は、脅威情報発生元から脅威情報リストを受け取り（Ｓ２０１）、評価モジュール１０３から混同行列Aを受け取る（Ｓ２０２）。なお、混同行列AはステップＳ２０１で受け取った脅威情報リストよりも以前の脅威情報リストに対して生成されているものとする。

割り振りモジュール１０１は、混同行列Aに基づいて推定精度αを算出する（Ｓ２０３）。推定精度αの算出方法は基本的にはセキュリティ運用者のおかれた状況などを加味しながら設定する必要があるが、以下に単純な具体例を示す。推定精度αは、すべての脅威情報の評価のうち、正解率の割合を出すものであり、n次元の混同行列の全成分の和に対する対角成分の和によって求めることができる。

図４の例では、推定精度αは以下のように算出される。

割り振りモジュール１０１は、推定精度αと閾値βを比較し（Ｓ２０４）、α＞βである場合、脅威情報リストの中のγ個の脅威情報をセキュリティ運用者に割り振り、残りを評価モジュール１０３に割り振る（Ｓ２０５）。ここで、β及びγは予め設定されたパラメータである。なお、γ個の脅威情報をセキュリティ運用者と評価モジュール１０３の両方に割り振ってもよい。

α≦βである場合、脅威情報リストの中のすべての脅威情報をセキュリティ運用者に割り振る（Ｓ２０６）。

なお、図６のステップＳ２０５では、推定精度αと閾値βとを比較して脅威情報リストの中のγ個の脅威情報をセキュリティ運用者に割り振ることとしているが、複数の閾値を設けてセキュリティ運用者に割り振る個数を決定することも可能である。また、推定精度αが低いほどセキュリティ運用者に割り振る個数を多くするために、例えば、推定精度αに基づいて割り振り比率を算出し、割り振り比率に基づいて脅威情報をセキュリティ運用者に割り振るか、評価モジュール１０３に割り振るかを決定してもよい。

＜本発明の実施例の効果＞
従来技術における脅威情報の評価では、割り振りモジュール１０１が存在しないため、セキュリティ運用者が脅威情報発生元からの脅威情報をすべて受け取り、割り振り判断をセキュリティ運用者自身で行う必要がある。割り振りには、評価モジュール１０３の現時点の推定精度などを加味する必要があり、無視できない労力が発生する。

一方、本発明の実施例の脅威情報評価装置では、セキュリティ運用者がIPSを提供しているベンダから脅威情報を受信した場合や、セキュリティ運用者がインターネットから脅威情報を取得したときに、割り振りモジュール１０１が脅威情報を割り振ることができる。推定精度αが閾値βを超えていない場合、すべての脅威情報はセキュリティ運用者へ割り振られる。これは、例えば初期状態など、パターン生成に十分なデータがそろっていない場合に相当する。セキュリティ運用者は脅威情報ごとに評価を付与し、脅威情報とその評価の対は脅威情報評価先へ送信される。それと同時に、脅威情報とその評価の対はデータベース１０２にコピーされ、評価モジュール１０３のパターン生成に役立てられる。

推定精度αが閾値βを超えていれば、γ個の脅威情報はセキュリティ運用者へ割り振られ、残りは評価モジュール１０３へ割り振られる。評価モジュール１０３はパターンに従い脅威情報の評価を行う。セキュリティ運用者も受け取った脅威情報の評価を行い、脅威情報とその評価の対を脅威情報評価先へ送信すると共に、データベース１０２にコピーする。このとき、セキュリティ運用者が評価する脅威情報は、全体のうち一部分だけであるため、セキュリティ運用者の労力が軽減される。

また、評価モジュール１０３のパターンの自動化を自動で判別し、すべての脅威情報をセキュリティ運用者が評価するか、一部分のみをセキュリティ運用者が評価するかを動的に切り替えることができる。

このように、機械学習などによって生成されたパターンの性能を考慮して、脅威情報の割り振りを自動化することができる。結果として、セキュリティ運用者の割り振り労力が不要となり、評価にかかわる労力が軽減される。

＜ハードウェア構成例＞
図７に、本発明の実施例に係る脅威情報評価装置１００のハードウェア構成例を示す。脅威情報評価装置１００は、ＣＰＵ（Central Processing Unit）１５１などのプロセッサ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリ装置１５２、ハードディスクなどの記憶装置１５３、入出力インタフェース装置１５４などから構成されたコンピュータでもよい。例えば、脅威情報評価装置１００の機能および処理は、記憶装置１５３又はメモリ装置１５２に格納されているデータやプログラムをＣＰＵ１５１が実行することによって実現される。また、脅威情報評価装置１００へのデータの入力は、入出力インタフェース装置１５４から行われ、脅威情報評価装置１００からのデータの出力は、入出力インタフェース装置１５４から行われてもよい。

＜補足＞
説明の便宜上、本発明の実施例に係る脅威情報評価装置は機能的なブロック図を用いて説明しているが、本発明の実施例に係る脅威情報評価装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、本発明の実施例は、コンピュータに対して本発明の実施例に係る脅威情報評価装置の機能を実現させるプログラム、コンピュータに対して本発明の実施例に係る方法の各手順を実行させるプログラムなどにより、実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施例に係る方法は、実施例に示す順序と異なる順序で実施されてもよい。

以上、脅威情報の割り振りを自動化することにより、セキュリティ運用者の割り振り労力を軽減するための手法について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。

１００脅威情報評価装置
１０１割り振りモジュール
１０２データベース
１０３評価モジュール
１５１ＣＰＵ
１５２メモリ装置
１５３記憶装置
１５４入出力インタフェース装置

Claims

脅威情報の評価を行う脅威情報評価装置であって、
入力された脅威情報リストの中の脅威情報をセキュリティ運用者又は評価部に割り振る割り振り部と、
当該評価部に割り振られた脅威情報の評価を行う評価部と、
を有し、
前記割り振り部は、前記評価部が行った評価と前記セキュリティ運用者により決定された評価とに基づいて推定精度を算出し、前記推定精度に基づいて割り振りを行う脅威情報評価装置。
前記評価部は、前記評価部が行った評価と前記セキュリティ運用者により決定された評価とに基づいて混同行列を生成し、当該混同行列を前記割り振り部に送信し、
前記割り振り部は、前記混同行列に基づいて推定精度を算出する、請求項１に記載の脅威情報評価装置。
前記評価部は、前記評価部が行った評価と前記セキュリティ運用者により決定された評価との関係を表現したn次元の混同行列を生成し、当該n次元の混同行列を前記割り振り部に送信し、
前記割り振り部は、当該n次元の混同行列の全成分の和に対する対角成分の和を前記推定精度として算出する、請求項２に記載の脅威情報評価装置。
前記割り振り部は、前記推定精度が閾値より大きい場合、前記入力された脅威情報リストの中の一部の脅威情報を前記セキュリティ運用者に割り振り、前記推定精度が前記閾値以下である場合、前記入力された脅威情報リストの中のすべての脅威情報を前記セキュリティ運用者に割り振る、請求項１乃至３のうちいずれか１項に記載の脅威情報評価装置。
脅威情報の評価を行う評価部を有する脅威情報評価装置における脅威情報評価方法であって、
前記評価部が行った評価とセキュリティ運用者により決定された評価とに基づいて推定精度を算出するステップと、
脅威情報リストを入力するステップと、
前記推定精度に基づいて、前記入力された脅威情報リストの中の脅威情報を、前記セキュリティ運用者又は前記評価部に割り振るステップと、
を有する脅威情報評価方法。
請求項１乃至４のうちいずれか１項に記載の脅威情報評価装置の各部としてコンピュータを機能させるためのプログラム。