JP6263294B1

JP6263294B1 - セキュリティ製品評価装置、セキュリティ製品評価方法及びセキュリティ製品評価プログラム

Info

Publication number: JP6263294B1
Application number: JP2017071305A
Authority: JP
Inventors: 裕一首藤; 徹尾形; 幸生小池; 桑野　秀豪; 秀豪桑野; 誠岩村; 裕平川古谷; 一凡張
Original assignee: Nippon Telegraph and Telephone Corp; Nippon Telegraph and Telephone West Corp
Current assignee: Nippon Telegraph and Telephone Corp; Nippon Telegraph and Telephone West Corp
Priority date: 2017-03-31
Filing date: 2017-03-31
Publication date: 2018-01-17
Anticipated expiration: 2037-03-31
Also published as: JP2018173805A

Abstract

【課題】未知のマルウェアを検査した際のセキュリティ製品の検知率を評価する。【解決手段】評価対象となるセキュリティ製品20のインターネット4への接続を一定期間に渡って遮断してその更新を停止する接続遮断部22と、複数のセキュリティ製品を備えて検体を実行し、その結果を外部へ提供するマルウェア検査サイト6から一定期間の検査結果を入手し、マルウェア検査サイト6がマルウェアとして検知したセキュリティ製品の数をその時点におけるポジティブ値と定義し、更新が停止された日時以降の時点において、検体検査結果から、ポジティブ値が第１の閾値L以下であり、かつ、第２の閾値H(H>L)以上である検体をマルウェア検査サイト6から取得するマルウェア取得部24と、取得された検体をマルウェアとして記憶し、記憶されたマルウェアによってセキュリティ製品20の検体を実行する検体実行部28とを備える。【選択図】図１

Description

本発明は、セキュリティ製品評価装置、セキュリティ製品評価方法及びセキュリティ製品評価プログラムに関する。

セキュリティ製品がどの程度、正確にマルウェアを検出できるかを評価するには、シグネチャにマッチしない検体（マルウェア）を検査するときの検知率を評価する必要がある。

これらマルウェアからコンピュータを防御するためのセキュリティ対策が施された製品（以下、セキュリティ製品と称する）としては、アンチウィルスソフトやサンドボックス等がある。

また、マルウェア検査サイトとして“VirusTotal”なども知られている。これは、一般ユーザが怪しいと感じたファイルを投稿し、検査結果を回答するサイトであり、一般ユーザから投稿されたファイルはサイト内部で収集し、一部ユーザに有償／無償で提供される。

G. Himani et al. "Design and Implementation of Virtual Client Honeypot" International Journal of Advanced Research in Computer Engineering & Technology (IJARCET) 1.4, 2012, pp521-524

上述したように、セキュリティ機構によりマルウェアを検体として収集することは可能である。しかし、セキュリティ製品がシグネチャを持たない未知の検体のみを収集する、又は収集した検体のうち未知の検体を抽出することは難しいという課題があった。

本発明は上記事情に鑑み、未知のマルウェアを検査対象とすることができ、未知のマルウェアを検査した際のセキュリティ製品の検知率を評価することができるセキュリティ製品評価装置、セキュリティ製品評価方法及びセキュリティ製品評価プログラムを提供することを目的としている。

上記目的を達成するために、本発明の第１の態様は、評価対象となるセキュリティ製品のシグネチャの更新を一定期間に渡って停止する更新停止手段と、複数のセキュリティ製品を備え、または、複数のセキュリティ製品と連携して、複数の電子ファイルを当該複数のセキュリティ製品で検査させ、前記電子ファイルの各々の検査結果及び当該電子ファイル自体を外部へ提供する検体提供手段から、前記一定期間またはその一部の期間に渡って前記検体提供手段が行った検査の結果を収集し、前記検体提供手段が行った電子ファイルの検査において前記複数のセキュリティ製品のうち当該電子ファイルをマルウェアとして検知したセキュリティ製品の数を当該検査を実行した時点での当該電子ファイルのポジティブ値と定義するとき、前記収集した複数の検査結果から、前記更新が停止された日時以降のある時点における前記ポジティブ値が第１の閾値Ｌ以下である第１条件、及び、それ以降のある時点における前記ポジティブ値が第２の閾値Ｈ（Ｈ＞Ｌ）以上である第２条件を満たす電子ファイルを前記検体提供手段から取得するマルウェア取得手段と、前記マルウェア取得手段で取得したマルウェアを前記評価対象となるセキュリティ製品によって検査させる検体実行手段と、を備えるセキュリティ製品評価装置である。

第２の態様は、コンピュータが実行するセキュリティ製品評価方法であって、更新停止手段により、評価対象となるセキュリティ製品のシグネチャの更新を一定期間に渡って停止し、複数のセキュリティ製品を備え、または、複数のセキュリティ製品と連携して、複数の電子ファイルを当該複数のセキュリティ製品で検査させ、前記電子ファイルの各々の検査結果及び当該電子ファイル自体を外部へ提供する検体提供手段から、前記一定期間またはその一部の期間に渡って前記検体提供手段が行った検査の結果を収集し、前記検体提供手段が行った電子ファイルの検査において前記複数のセキュリティ製品のうち当該電子ファイルをマルウェアとして検知したセキュリティ製品の数を当該検査を実行した時点での当該電子ファイルのポジティブ値と定義するとき、前記収集した複数の検査結果から、前記更新が停止された日時以降のある時点における前記ポジティブ値が第１の閾値Ｌ以下である第１条件、及び、それ以降のある時点における前記ポジティブ値が第２の閾値Ｈ（Ｈ＞Ｌ）以上である第２条件を満たす電子ファイルを前記検体提供手段から取得し、取得したマルウェアを前記評価対象となるセキュリティ製品によって検査させる、ことを特徴とするセキュリティ製品評価方法である。

第３の態様は、セキュリティ製品評価装置をコンピュータで構成するためのセキュリティ製品評価プログラムである。

本発明によれば、未知のマルウェアを検査対象とすることができ、未知のマルウェアを検査した際のセキュリティ製品の検知率を評価することができる。

本発明に係るセキュリティ製品評価装置の実施形態を示すブロック図である。実施形態の動作を示す説明図である。実施形態における検査日とハッシュ値とポジティブ値との関係をリストにして示す説明図である。第１実施形態の動作を説明するフローチャートである。第２実施形態の動作を説明するフローチャートである。

＜第１実施形態＞
図１は本発明に係るセキュリティ製品評価装置の実施形態を示すブロック図である。

同図に示すように、このセキュリティ製品評価装置２は、インターネット４に接続されている。また、セキュリティ製品評価装置２は、インターネット４に接続されたマルウェア評価サイト６から検体となるマルウェアを入手してセキュリティ製品の検体を実行することができる。

マルウェア検査サイト６は、ｎ種類のセキュリティ製品によってマルウェアの検査を実行し、その評価結果を提供するサイトであり、例えば、VirusTotalが該当する。ここで、ｎ種類のセキュリティ製品のうち、何種類の製品がマルウェアとして検知したかを示す製品の数ｍをその時点における“ポジティブ値（POSITIVES）”として定義する。マルウェア検査サイト6は、一般ユーザから検体の投稿があるたびに、その検体をn種類のセキュリティ製品で検査し、当該検体のハッシュ値やポジティブ値を含む解析レポートを生成する。また、マルウェア検査サイト6は、必要に応じて過去に投稿された検体の再検査を行い、解析レポートを再作成することがある。マルウェア検査サイト６は、セキュリティ製品評価装置２からの要求に応じて最新の解析レポートを供給することができる。また、マルウェア検査サイト6は、セキュリティ製品評価装置2からの要求に応じて、当該要求に含まれるハッシュ値に対応する検体のファイル本体を供給することができる。
本実施形態では、一例として、ｎ＝６０、すなわち、マルウェア検査サイト６が６０種類のセキュリティ製品によってマルウェアの検査を実行し、その評価結果を提供するサイトであるとする。また、一例として、検査サイト６で取り扱う検体のハッシュ値はＳＨＡ２５６アルゴリズムにより当該検体のファイル本体から生成されるハッシュ値であるとする。

セキュリティ製品評価装置２は、評価対象となるセキュリティ製品２０と、接続遮断部２２と、マルウェア取得部２４と、マルウェア記憶部２６と、検体実行部２８とを備えている。

セキュリティ製品２０は、当該装置にインストールされている評価対象となるウィルス検出ソフト等で構成される。

接続遮断部２２は、セキュリティ製品２０の検査を実行する一定期間に渡って、セキュリティ製品２０がインターネットに接続するのを遮断してセキュリティ製品の更新を停止する。

マルウェア取得部２４は、インターネット４を介してマルウェア検査サイト６からポジティブ値を含む解析結果を取得する。また、マルウェア取得部２４は、マルウェア検査サイト６からセキュリティ製品２０の検査に使用されるマルウェアを入手してマルウェア記憶部２６に記憶させる。

検体実行部２８は、マルウェア記憶部２６に記憶されているマルウェアを使用してセキュリティ製品２０の検体を実行する。

次に、図２、図３の説明図、及び図４のフローチャートを参照して第1実施形態の動作を具体的に説明する。

先ず、評価対象となるセキュリティ製品２０がインストールされている端末を所定期間、例えば、1ヶ月に渡りインターネットへの接続を遮断して当該セキュリティ製品２０の更新を停止する（図４のＳＴ２）。

評価対象のセキュリティ製品のシグネチャ更新をある時点Ｘ、例えば平成２８年１２月３１日に停止したと想定する。シグネチャを更新する方法としては、例えば、セキュリティ製品のインターネット接続を遮断するなどの方法がある。

次に、一定の期間（本実施形態では平成２９年１月２日から平成２９年２月１日とする）まで、毎日００時００分に、検査サイトに対し下記２種類のリクエストを送信する。

リクエスト１：リクエスト送信日前日（例えばリクエスト送信日が１月１５日であれば１月１４日）に初めて検査サイトに登録された検体すべての解析レポートを要求。解析レポートには当該検体のハッシュ値及びその時点でのポジティブ値を含む。

リクエスト２：リクエスト送信日前日に検査サイトで再検査が行われた検体すべての解析レポートを要求。

上記リクエスト１，２に対する検査サイト６からのレスポンスに含まれる解析レポートをもとに各検体のポジティブ値の推移を記録した表を作成する（ＳＴ６）。例えば、図３に示すような、各行にひとつの検体を対応付け、第１列にその検体のハッシュ値を記載し、第２列以降に上記期間の一日ごとのポジティブ値を記載した表を作成する。表の作成にあたっては、各検体に対応する行それぞれにおいて、当該検体の初投稿日より前の日に対応する列については空欄とし、検査が行われなかった日に対応する列には、前日に対応する列に記載のポジティブ値を記載する。

作成した図３に示すような表において、ステップＳＴ８の検体抽出処理では、下記２つの条件を満たす検体のハッシュ値を抽出する。

条件１：初投稿日時点でのポジティブ値がＬ以下（５以下など）
条件２：初投稿日以降のある時点でのポジティブ値がＨ以上（３０以上など）
例えばＬ＝５、Ｈ＝３０の場合、図３に枠で囲んだ検体（ハッシュ値988d1da6a6d412c8523e628492a3a245851e051f5c7d30d8f55198f44dd2821e）が抽出される（ＳＴ８２，ＳＴ８４）。なぜならば、当該検体の初投稿日１月２日のハッシュ値は３であるから閾値Ｌ以下であるので条件１を満たし、その後のある時点、例えば１月３１日のハッシュ値が３８であり、閾値Ｈ以上であるので条件２を満たすからである。

抽出されたハッシュ値をもとにマルウェア検査サイト６にリクエストを送信し、ハッシュ値に対応する検体のファイル本体を取得する（ＳＴ１０）。

なお、解析レポートにファイル作成日時や（実行ファイルの場合）コンパイル日時が記載されているのであれば、検体の抽出処理において「コンパイル日時が同一の検体は一つを残してその他を抽出しない」という処理を加えてもよい。この処理は、多様な未知マルウェアに対する検知性能の評価に資する場合がある。なぜならば、例えばコンパイル時刻が（秒単位で）同一である２つの実行ファイルは、同一の実行ファイルを異なる方法で難読化処理された可能性があるからである。

このように第1実施形態によれば、評価対象のセキュリティ製品の更新を停止した日時Ｘの時点で未知（Ｘ以降のある時点でほとんどの製品が検知しない）であり、かつ、悪性動作を行う可能性が高い（Ｘ以降のある時点でポジティブ値がＨ以上）である検体を用いて製品の評価を行うので、「未知のマルウェア」実行時におけるセキュリティ製品の検知率を評価することができる。

＜第２実施形態＞
次に、第２実施形態について図５のフローチャートに基づいて説明する。なお、セキュリティ製品評価装置２の基本構成は第１実施形態と同様であるため、図１を援用して説明する。

例えば、１／１〜１／３１の期間で、ポジティブ値が閾値Ｌ以下にはなったがその後、閾値Ｈ以上にならなかった検体でも、監視期間終盤（例えば、１／２５〜１／３１）でポジティブ値が上昇傾向を示しており、後に閾値Ｈを超えると予想されるものについては、未知の検体として抽出してもよい。

この場合、後に閾値を超えると判断する基準としては、例えば、「監視期間の末尾ｔ日間でポジティブ値がｙ以上、上昇しており、かつ、監視期間終了時点（１／３１）でのポジティブ値が閾値Ｈ−ｚ（閾値Ｈよりもｚだけ低い値）以上である」ことを基準としてもよい。ｔ，ｙ，ｚには、例えば３，１０，５といった整数値を設定する。

このように、構成することによっても第1実施形態と同様の効果を奏することができる。

以上の各実施形態においては、インターネット遮断日と検体の収集日の間隔を1日としているが、本発明はこれに限定されるものではなく、２日以上であってもよい。

また、各実施形態では、マルウェア検査サイト（例えば、VirusTotalなど）６から検体（マルウェア）を入手するようにしたが、例えば、独自のハニーポットで検体の収集を行うようにしてもよい。

なお、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していないことは勿論である。

２…セキュリティ製品評価装置、４…インターネット、６…マルウェア検査サイト、２０…セキュリティ製品、２２…接続遮断部、２４…マルウェア取得部、２６…マルウェア記憶部、２８…検体実行部。

Claims

評価対象となるセキュリティ製品のシグネチャの更新を一定期間に渡って停止する更新停止手段と、
複数のセキュリティ製品を備え、または、複数のセキュリティ製品と連携して、複数の電子ファイルを前記複数のセキュリティ製品で検査させ、前記電子ファイルの各々の検査結果、及び電子ファイル自体を外部へ提供する検体提供手段から、前記一定期間またはその一部の期間に渡って前記検体提供手段が行った検査の結果を収集し、前記検体提供手段が行った電子ファイルの検査において前記複数のセキュリティ製品のうち当該電子ファイルをマルウェアとして検知したセキュリティ製品の数を当該検査を実行した時点での当該電子ファイルのポジティブ値と定義するとき、前記収集した複数の検査結果から、前記更新が停止された日時以降のある時点における前記ポジティブ値が第１の閾値Ｌ以下である第１条件、及びそれ以降のある時点における前記ポジティブ値が第２の閾値Ｈ（Ｈ＞Ｌ）以上である第２条件を満たす電子ファイルを前記検体提供手段から取得するマルウェア取得手段と、
前記マルウェア取得手段で取得したマルウェアを前記評価対象となるセキュリティ製品によって検査させる検体実行手段と、
を備えるセキュリティ製品評価装置。
前記マルウェア取得手段は、前記第１条件、及び第２条件を満たす電子ファイルに加え、前記更新が停止された日時以降のある時点における前記ポジティブ値が第１の閾値Ｌ以下であり、かつ、前記収集した複数の検査結果から、前記検査結果の収集期間の終了時点以降にポジティブ値が第２の閾値Ｈ以上となることが予想される第３条件を満たす電子ファイルを前記検体提供手段から取得する、
ことを特徴とする請求項１に記載のセキュリティ製品評価装置。
コンピュータが実行するセキュリティ製品評価方法であって、
更新停止手段により、評価対象となるセキュリティ製品のシグネチャの更新を一定期間に渡って停止し、
複数のセキュリティ製品を備え、または、複数のセキュリティ製品と連携して、複数の電子ファイルを前記複数のセキュリティ製品で検査させ、前記電子ファイルの各々の検査結果及び電子ファイル自体を外部へ提供する検体提供手段から、前記一定期間またはその一部の期間に渡って前記検体提供手段が行った検査の結果を収集し、
前記検体提供手段が行った電子ファイルの検査において前記複数のセキュリティ製品のうち当該電子ファイルをマルウェアとして検知したセキュリティ製品の数を当該検査を実行した時点での当該電子ファイルのポジティブ値と定義するとき、前記収集した複数の検査結果から、前記更新が停止された日時以降のある時点における前記ポジティブ値が第１の閾値Ｌ以下である第１条件、及び、それ以降のある時点における前記ポジティブ値が第２の閾値Ｈ（Ｈ＞Ｌ）以上である第２条件を満たす電子ファイルを前記検体提供手段から取得し、
取得したマルウェアを前記評価対象となるセキュリティ製品によって検査させる、
ことを特徴とするセキュリティ製品評価方法。
前記第１条件、及び第２条件を満たす電子ファイルに加え、前記更新が停止された日時以降のある時点における前記ポジティブ値が第１の閾値Ｌ以下であり、かつ、前記収集した複数の検査結果から、前記検査結果の収集期間の終了時点以降にポジティブ値が第２の閾値Ｈ以上となることが予想される第３条件を満たす電子ファイルを前記検体提供手段から取得する、
ことを特徴とする請求項３に記載のセキュリティ製品評価方法。
請求項１又は２に記載のセキュリティ製品評価装置をコンピュータで構成するためのセキュリティ製品評価プログラム。