JP7359229B2 - 検知装置、検知方法および検知プログラム - Google Patents

Description

本発明は、検知装置、検知方法および検知プログラムに関する。

深層学習モデルに入力されるデータに対して、出力を錯乱するように作為的に微小のノイズを乗せて作成されたサンプルであるＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅの存在が知られている。例えば、画像のＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅは、見た目が変わらずに、深層学習の出力を誤分類させてしまうという問題がある。そこで、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅの検知を行うＡｄｖｅｒｓａｒｉａｌ Ｄｅｔｅｃｔｉｏｎが検討されている（非特許文献１、２参照）。

Ａｄｖｅｒｓａｒｉａｌ Ｄｅｔｅｃｔｉｏｎでは、例えば、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅにさらにランダムノイズを加えて、深層学習の出力の変化を観測することにより、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する。例えば、攻撃者は、通常のデータに、データ分類のクラスの決定境界をわずかに超えるようなノイズを乗せてデータを変換し、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅとする。このようなＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅにランダムノイズを乗せて、ランダムな方向にデータを変換すると、深層学習の出力が変化する場合がある。そこで、ランダムノイズを利用した、Ａｄｖｅｒｓａｒｉａｌ Ｄｅｔｅｃｔｉｏｎでは、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知することができる。

Ian J.Goodfellow et al., "Explaining and Harnessing Adversarial Examples"、arXiv:1412.6572v3 [stat.ML]、[online]、2015年3月、［2020年1月20日検索］、インターネット<URL：https://arxiv.org/abs/1412.6572> Kevin Roth et al., "The Odds are Odd: A Statistical Test for Detecting Adversarial Examples"、arXiv:1902.04818v2 [cs.LG]、[online]、2019年5月、［2020年1月20日検索］、インターネット<URL：https://arxiv.org/abs/1902.04818>

しかしながら、従来技術によれば、ランダムノイズによるＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅの検知が困難な場合がある。例えば、ランダムノイズを乗せることによって決定境界を超えるような深層学習の出力の変化が起こりにくいＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知することは困難である。

本発明は、上記に鑑みてなされたものであって、ランダムノイズによって検知できないＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る検知装置は、モデルを用いて分類するデータを取得する取得部と、取得された前記データを、所定の方向のノイズを用いて変換する変換部と、取得された前記データと変換された前記データとの間における、前記モデルに該データを入力した際の出力の変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する検知部と、を有することを特徴とする。

本発明によれば、ランダムノイズによって検知できないＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知することが可能となる。

図１は、本実施形態の検知装置の概要を例示するための図である。 図２は、本実施形態の検知装置の概略構成を例示する模式図である。 図３は、変換部の処理を説明するための図である。 図４は、検知処理手順を示すフローチャートである。 図５は、実施例を説明するための図である。 図６は、実施例を説明するための図である。 図７は、検知プログラムを実行するコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［検知装置の概要］
図１は、本実施形態の検知装置の概要を説明するための図である。Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅは、正常なデータであるｃｌｅａｎ ｓａｍｐｌｅを、攻撃者が微小なノイズであるＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅにより変換したものである。Ａｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅは、人が認知できない微小のノイズである。攻撃者は、深層学習の出力を錯乱するために、データ分類のクラスの決定境界を超えるように、Ａｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを乗せてｃｌｅａｎ ｓａｍｐｌｅを変換し、敵対的な入力サンプルであるＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを作成する。攻撃者は、人が認知できないように、最小の変換距離でＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを作成しようとするため、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅは、決定境界の近傍に作成される場合が多い。

図１（ａ）に示す例では、クラスＡに分類されるｃｌｅａｎ ｓａｍｐｌｅαが、Ａｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅにより、クラスＢに分類されるＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβに変換されている。このＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβを、ランダムノイズを乗せることによりランダムな方向へ変換すると、クラスＡに分類される場合とクラスＢに分類される場合とが生じる。これに対し、ｃｌｅａｎ ｓａｍｐｌｅである正常なデータγは、決定境界から適当に離れていて、ランダムノイズでランダムな方向に変換されても、分類されるクラスＢに変化は生じない。Ａｄｖｅｒｓａｒｉａｌ Ｄｅｔｅｃｔｉｏｎでは、このような変化の挙動を観測することにより、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する。

一方、ランダムノイズでＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを変換しても、分類されるクラスの変化が生じにくい場合がある。例えば、図１（ａ）に示したＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβのように、クラスＡとの間の決定境界がクラスＡ側に突出したクラスＢの領域に存在している場合には、クラスＢからクラスＡに変化する場合が多い。これに対し、図１（ｂ）に示すＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβ１のように、決定境界から離れてクラスＢの内側領域に存在している場合には、ランダムノイズで変換してもクラスＢのままである場合が多い。また、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβ２のように、クラスＡとの間の決定境界がクラスＢ側に凹んだクラスＢの領域に存在している場合には、ランダムノイズで変換してもクラスＢのままである場合が多い。

決定境界を正確には知らない攻撃者が偶発的に、図１（ｂ）に示すＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅ（β１、β２）の位置に、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを作成した場合には、このＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知できない。また、ランダムノイズを乗せるＡｄｖｅｒｓａｒｉａｌ Ｄｅｔｅｃｔｉｏｎに対抗して、攻撃者が意図的に変換距離を長くしてＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを作成した場合には、このＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知できない。

そこで、本実施形態の検知装置は、後述するように、ランダムノイズに換えて、クラスの決定境界に対する変換の方向を意図的に変更可能なＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを乗せて、データを変換する。これにより、検知装置は、図１（ｂ）に示したようなＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅ（β１、β２）を検知する。

［検知装置の構成］
図２は、本実施形態の検知装置の概略構成を例示する模式図である。図２に例示するように、本実施形態の検知装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述する検知処理の結果が表示される。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、検知処理の対象となるデータを管理する管理装置等と制御部１５との通信を制御する。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、検知装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図２に例示するように、取得部１５ａ、変換部１５ｂ、検知部１５ｃおよび学習部１５ｄとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。

取得部１５ａは、モデルを用いて分類するデータを取得する。具体的には、取得部１５ａは、入力部１１あるいは通信制御部１３を介して、管理装置等から後述する検知処理の対象となるデータを取得する。取得部１５ａは、取得したデータを記憶部１４に記憶させてもよい。その場合に、後述する変換部１５ｂは、記憶部１４からデータを取得して処理を行う。

変換部１５ｂは、取得されたデータを、所定の方向のノイズを用いて変換する。例えば、変換部１５ｂは、所定の方向のノイズとして、深層学習モデルによって分類されるクラスの決定境界に近づく方向のノイズを用いて、データを変換する。具体的には、変換部１５ｂは、取得されたデータに対し、次式（１）に示すように定義されるＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを乗せることにより、データ変換を行う。

ここで、ｘは入力データであり、ｔａｒｇｅｔ＿ｃｌａｓｓは決定境界で隣接する誤分類先のクラスである。また、Ｌは、ｘを分類する深層学習モデルの学習を行う際に用いられる誤差関数であり、理想とする出力に最適化されるほど小さい値を返す関数である。Ｌ（ｘ，ｔａｒｇｅｔ＿ｃｌａｓｓ）は、入力データｘに対し、深層学習モデルが出力する予測クラスがｔａｒｇｅｔ＿ｃｌａｓｓに近いほど、すなわち、ｘがｔａｒｇｅｔ＿ｃｌａｓｓとの間の決定境界に近いほど、小さい値を返す。また、εはノイズの強さを設定するためのハイパーパラメータである。

ここで、図３は、変換部１５ｂの処理を説明するための図である。変換部１５ｂは、データを、上記式（１）のＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを用いて変換する。これにより、図３（ａ）に示すように、クラスＡとの間の決定境界の近傍のクラスＡ側に突出したクラスＢの領域に存在しているＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβが、元のクラスＡに分類されるようになる。また、決定境界から適当に離れたｃｌｅａｎ ｓａｍｐｌｅであるデータγが分類されるクラスＢに変化は生じない。

このように、モデルにより分類されるクラスが変化した場合に、検知部１５ｃは、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであると判定することができる。これにより、検知装置１０では、後述する検知部１５ｃが、図１（ａ）に示したランダムノイズを用いた従来のＡｄｖｅｒｓａｒｉａｌ Ｄｅｔｅｃｔｉｏｎより、効率よくＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知することが可能となる。

なお、検知装置１０では、予め、正常なデータ（ｃｌｅａｎ ｓａｍｐｌｅ）を、検知側のＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを用いて変換した場合に、出力が変化しないように、深層学習モデルの学習が行なわれている。これにより、図３（ａ）の正常なデータγについて、分類されるクラスＢに変化が生じないので、検知部１５ｃが、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅではないと正確に判定することが可能となる。

さらに、検知装置１０では、図３（ｂ）に示すように、決定境界から離れてクラスＢの内側領域に存在するＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβ１が、元のクラスＡに分類されるようになる。したがって、上記した図３（ａ）のＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβと同様に、検知部１５ｃが、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであると判定することができる。

あるいは、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβ１が決定境界の近傍に変換された場合には、さらに決定境界の方向に変換することにより、元のクラスＡに分類されるようになる。これにより、検知部１５ｃが、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβ１がＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであることを検知することができる。あるいは、上記した図３（ａ）のＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβと同様に、さらにランダムノイズを用いた従来のＡｄｖｅｒｓａｒｉａｌ Ｄｅｔｅｃｔｉｏｎにより、検知することも可能となる。

また、クラスＡとの間の決定境界がクラスＢ側に凹んだクラスＢの領域に存在するＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβ２が、元のクラスＡに分類されるようになる。これにより、検知部１５ｃが、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβ２がＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであることを検知することができる。このように、図１（ｂ）に示したランダムノイズを用いた従来のＡｄｖｅｒｓａｒｉａｌ Ｄｅｔｅｃｔｉｏｎで検知が困難だったＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知することが可能となる。

なお、変換部１５ｂは、ノイズを算出し、算出した該ノイズを用いてデータを変換する処理を、複数回繰り返してもよい。例えば、変換部１５ｂは、上記式（１）に示したεより小さいノイズを乗せたデータに対し、再び上記式（１）によりノイズを算出して乗せる処理を繰り返してもよい。これにより、変換部１５ｂが、さらに正確に決定境界の方向のノイズを乗せるデータ変換を行うことが可能となる。

図２の説明に戻る。検知部１５ｃは、取得されたデータと変換されたデータとの間における、モデルにデータを入力した際の出力の変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する。

例えば、検知部１５ｃは、モデルの出力の変化に応じて変化する、データの所定の特徴量ＡＳ（Anomaly Score）を算出し、取得されたデータと変換されたデータとの間におけるこの特徴量ＡＳの出力の変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する。検知部１５ｃは、特徴量ＡＳに変化があった場合、すなわち、モデルの出力の変化があった場合に、上記（１）で算出したＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを乗せる前の入力データが、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであると判定する。

具体的には、検知部１５ｃは、次式（２）、（３）を算出する。ここで、ｙは、入力データｘに対してモデルが出力した予測クラスである。また、ｘ^＊は、ｃｌｅａｎ ｓａｍｐｌｅすなわちＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅではない正常なデータ、ｙ^＊はｘ^＊の真のクラス、ｚはｙ以外のクラスである。

また、検知部１５ｃは、変換部１５ｂが算出したＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅ∇を用いて、次式（４）を算出する。ここで、Ｅは期待値である。

また、検知部１５ｃは、ｃｌｅａｎ ｓａｍｐｌｅに対し、Ａｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを乗せる前と乗せた後との出力の変化について、次式（５）に示す平均および次式（６）に示す分散を算出する。

そして、検知部１５ｃは、上記式（５）および（６）を用いて、次式（７）を算出し、次いで、次式（８）に示す特徴量ＡＳを算出する。

検知部１５ｃは、この特徴量ＡＳの出力の変化を観測し、特徴量ＡＳに変化があった場合に、Ａｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを乗せる前のデータがＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであると判定する。このようにして、検知部１５ｃが、モデルにデータを入力した際の出力の変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する。

［検知処理］
次に、図４を参照して、本実施形態に係る検知装置１０による検知処理について説明する。図４は、検知処理手順を示すフローチャートである。図４のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。

まず、取得部１５ａが、深層学習モデルを用いて分類するデータを取得する（ステップＳ１）。次に、変換部１５ｂが、深層学習モデルによって分類されるクラスの決定境界に近づく方向のＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅを算出する（ステップＳ２）。また、変換部１５ｂが、算出したＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅをデータに付加するデータ変換を行う（ステップＳ３）。

検知部１５ｃは、取得されたデータと変換されたデータとの間で、深層学習モデルに入力した際の出力の変化を観測し（ステップＳ４）、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する（ステップＳ５）。例えば、検知部１５ｃは、出力されるクラスが変化した場合に、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであると判定する。これにより、一連の検知処理が終了する。

以上、説明したように、本実施形態の検知装置１０において、取得部１５ａが、モデルを用いて分類するデータを取得する。また、変換部１５ｂが、取得されたデータを、所定の方向のノイズを用いて変換する。具体的には、変換部１５ｂは、指定の方向のノイズとして、モデルによって分類されるクラスの決定境界に近づく方向のノイズを用いて、データを変換する。また、検知部１５ｃが、取得されたデータと変換されたデータとの間における、モデルにデータを入力した際の出力の変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する。

これにより、検知装置１０は、ランダムノイズによって検知できない、図１（ｂ）に例示したＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅ（β１、β２）を検知することが可能となる。また、図１（ａ）に例示したＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅβを、ランダムノイズによる検知より、効率よく検知することが可能となる。

また、変換部１５ｂは、ノイズを算出し、算出したノイズを用いてデータを変換する処理を、複数回繰り返す。これにより、変換部１５ｂが、決定境界の方向のノイズを乗せるデータ変換を、さらに正確に行うことが可能となる。したがって、検知装置１０は、高精度にＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知することが可能となる。

また、検知部１５ｃは、モデルの出力の変化に応じて変化するデータの所定の特徴量を算出し、取得されたデータと変換されたデータとの間における該特徴量の変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知する。これにより、モデルの出力の変化を高精度に検知することが可能となる。したがって、検知装置１０は、高精度にＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを検知することが可能となる。

［実施例］
図５および図６は、実施例を説明するための図である。まず、図５には、ランダムノイズを用いた従来技術と本発明との性能評価の結果が例示されている。図５のグラフの縦軸は、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅの検知率を表す。この検知率の値は、ｃｌｅａｎ ｓａｍｐｌｅを誤ってＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅと検知してしまう誤検知率を１％に抑えた場合の値である。グラフの横軸は、検知するＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅが作成された際のＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅの大きさを表す。ノイズが大きいほど、攻撃者がｃｌｅａｎ ｓａｍｐｌｅからＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅを作成する際の変換距離が大きくなるため、決定境界を大きく超えた位置にＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅが作成されやすくなる。つまり、攻撃側のＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅの大きさが大きいほど、従来技術で検知することが困難なＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅが作成されやすくなる。

図５に示すように、本発明の検知装置１０の検知処理によれば、従来技術の処理より検知率が高いことがわかる。また、攻撃側のＡｄｖｅｒｓａｒｉａｌ ｎｏｉｓｅの大きさが大きくなるほど、従来技術では検知率が低下するのに対し、本発明の検知処理によれば、検知率が低下しないことがわかる。これは、本発明では、正確に決定境界方向のノイズを乗せるデータ変換が行われるためと考えられる。

また、図６には、上記実施形態の検知装置１０を、深層学習を用いた標識分類システムに適用した場合が例示されている。自動運転車は、車載カメラで道路上の標識を撮影して認識し、車体の制御に活用している。その際に、車載カメラによって取り込まれた標識の画像情報は、予め各標識の学習を行った深層学習モデルを用いた画像分類システムにより、各標識に分類される。

ここで、車載カメラで取り込まれた画像情報がＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅ化されていた場合には、間違った標識情報に基づいて車体が制御されるので、人的被害につながる危険性が高くなってしまう。

そこで、図６に示すように、画像分類システムに検知装置１０を適用することにより、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅ化された標識の画像情報が、画像分類を行う深層学習モデルに入力される前に検知され廃棄される。このように、検知装置１０は、深層学習を用いた標識分類システムを狙ったＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅによる攻撃に対して、有効な対策となる。

［プログラム］
上記実施形態に係る検知装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、検知装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の検知処理を実行する検知プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の検知プログラムを情報処理装置に実行させることにより、情報処理装置を検知装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）などのスレート端末などがその範疇に含まれる。また、検知装置１０の機能を、クラウドサーバに実装してもよい。

図７は、検知プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、検知プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した検知装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、検知プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、検知プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１０ 検知装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１５ 制御部
１５ａ 取得部
１５ｂ 変換部
１５ｃ 検知部

Claims (5)

1. モデルを用いて分類するデータを取得する取得部と、
   取得された前記データを、前記モデルによって分類されるクラスの決定境界に近づく方向のノイズを用いて変換する変換部と、
   取得された前記データと変換された前記データとの間における、前記モデルに該データを入力した際に分類される前記クラスの変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであるか否かを判定する検知部と、
   を有することを特徴とする検知装置。
2. 前記変換部は、前記ノイズを算出し、算出した該ノイズを用いて前記データを変換する処理を、複数回繰り返すことを特徴とする請求項１に記載の検知装置。
3. 前記検知部は、分類される前記クラスの変化に応じて変化する前記データの所定の特徴量を算出し、取得された前記データと変換された前記データとの間における該特徴量の変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであるか否かを判定することを特徴とする請求項１に記載の検知装置。
4. 検知装置で実行される検知方法であって、
   モデルを用いて分類するデータを取得する取得工程と、
   取得された前記データを、前記モデルによって分類されるクラスの決定境界に近づく方向のノイズを用いて変換する変換工程と、
   取得された前記データと変換された前記データとの間における、前記モデルに該データを入力した際に分類される前記クラスの変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであるか否かを判定する検知工程と、
   を含んだことを特徴とする検知方法。
5. モデルを用いて分類するデータを取得する取得ステップと、
   取得された前記データを、前記モデルによって分類されるクラスの決定境界に近づく方向のノイズを用いて変換する変換ステップと、
   取得された前記データと変換された前記データとの間における、前記モデルに該データを入力した際に分類される前記クラスの変化を用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅであるか否かを判定する検知ステップと、
   をコンピュータに実行させるための検知プログラム。

Images