JP7306460B2 - 敵対的事例検知システム、方法およびプログラム - Google Patents

Description

本発明は、敵対的事例（adversarial examples）を検知する敵対的事例検知システム、敵対的事例検知方法および敵対的事例検知プログラムに関する。

深層学習器を用いて、与えられた観測データがどのクラスに該当するのかを判定する判定システムが知られている。

深層学習器は、深層学習によって学習されたモデル（すなわち、ニューラルネットワーク）である。

判定システムには、どのクラスに該当するのか判定される観測データが入力され、判定システムは、深層学習器を用いて、その観測データが該当するクラスを判定する。このような判定システムの一例として、顔認証システムが挙げられる。顔認証システムには、例えば、撮影によって得られた顔画像が観測データとして入力される。そして、顔認証システムは、例えば、一人一人の人をそれぞれクラスとし、入力された顔画像に写っている人が誰であるのかを判定する。

ここでは、顔認証システムを例示したが、判定システムの例として、話者認証システム、生体認証システム、自動運転車等も挙げられる。判定結果となる各クラスは、判定システムが実行するクラス判定に応じて定められている。

これらの種々の判定システムでは、セキュリティが重要であり、精度の高いクラス判定が求められる。

しかし、敵対的事例の存在が知られている。敵対的事例は、深層学習器を用いた判定処理で誤った判定結果を導出させることを目的として、微小な摂動が加えられたデータである。換言すれば、敵対的事例は、正常な深層学習によって得られた適切な深層学習器（モデル）を用いて判定を行う判定システムに対して、その適切な深層学習器を用いたとしても、誤った判定結果を導出させてしまうデータである。例えば、人物“Ａ”が写っているが、微小な摂動が加えられていることによって、適切な深層学習器を用いる顔認証システムに、人物“Ｂ”という判定結果を導出させてしまう画像データが、敵対的事例の一例として挙げられる。

非特許文献１には、敵対的事例を検知する技術が記載されている。非特許文献１に記載の技術は、サンプリングによる近似を用いて入力点の不確かさを求め、その不確かさを基に敵対的事例を検知する。

また、非特許文献２および非特許文献３には、グラム行列を求める方法が記載されている。

Reuben Feinman、外３名、"Detecting Adversarial Samples from Artifacts"、［２０１９年７月５日検索］、インターネット<URL : https://arxiv.org/pdf/1703.00410.pdf> Jaehoon Lee、外５名、"DEEP NEURAL NETWORKS AS GAUSSIAN PROCESS"、a conference paper at ICLR 2018、［２０１９年７月５日検索］、インターネット、<URL :https://openreview.net/pdf?id=B1EA-M-0Z> Adria Garriga-Alonso、外２名、"DEEP CONVOLUTIONAL NETWORKS AS SHALLOW GAUSSIAN PROCESSES"、a conference paper at ICLR 2019、［２０１９年７月５日検索］、インターネット、<URL :https://openreview.net/forum?id=Bklfsi0cKm>

顔認証システムを始めとする生体認証システムや自動運転車等の判定システムには、ソーシャルセキュリティや人命等に関わる極めて重要な判定システムがある。そのような重要な判定システムは、深層学習器を用いて、与えられた観測データに対する判定を行う。しかし、深層学習器を用いた判定処理で誤った判定結果を導出させることを目的として、意図的に精巧な摂動が加えられている敵対的事例も存在する。

従って、判定システムを運用する際には、判定システムに入力される大量の観測データの中から敵対的事例を精度よく検知する必要がある。

しかし、非特許文献１に記載された技術では、サンプリングによる近似を行う。サンプリングによる近似は、計算コストが非常に高い。そのため、大量の観測データの中から敵対的事例を検知する処理として、非特許文献１に記載された技術を用いることは実用的ではない。

そこで、本発明は、低い計算コストで敵対的事例を検知することができる敵対的事例検知システム、敵対的事例検知方法および敵対的事例検知プログラムを提供することを目的とする。

本発明による敵対的事例検知システムは、深層学習器をガウス過程に近似する過程で用いるグラム行列の逆行列を計算する準備部と、深層学習器によってどのクラスに該当するのか判定される観測データの中から、グラム行列の逆行列を用いて敵対的事例を検知する検知部とを備え、準備部が、学習データを記憶する学習データ記憶部と、深層学習器と、少なくとも当該深層学習器における層の数および畳み込みの有無を示すアーキテクチャ情報とを記憶する深層学習器記憶部と、深層学習器、アーキテクチャ情報、および、学習データに基づいて、グラム行列を計算するグラム行列計算部と、グラム行列の逆行列を計算する逆行列計算部とを含み、検知部が、観測データの入力を受け付けるデータ入力部と、入力された観測データ毎に、グラム行列の逆行列を用いて、クラス判定に用いられる数値である出力値の平均および分散をクラス別に計算する出力分布計算部と、入力された観測データ毎に、出力値の平均および分散に基づいて、出力値のばらつきの指標である確率的マージンを計算する確率的マージン計算部と、入力された観測データ毎に計算された確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する敵対的事例検知部とを含むことを特徴とする。

本発明による敵対的事例検知方法は、深層学習器をガウス過程に近似する過程で用いるグラム行列の逆行列を計算する準備処理と、深層学習器によってどのクラスに該当するのか判定される観測データの中から、グラム行列の逆行列を用いて敵対的事例を検知する検知処理とを実行し、準備処理で、深層学習器、少なくとも当該深層学習器における層の数および畳み込みの有無を示すアーキテクチャ情報、および、学習データに基づいて、グラム行列を計算するグラム行列計算処理と、グラム行列の逆行列を計算する逆行列計算処理とを実行し、検知処理で、観測データの入力を受け付けるデータ入力受付処理と、入力された観測データ毎に、グラム行列の逆行列を用いて、クラス判定に用いられる数値である出力値の平均および分散をクラス別に計算する出力分布計算処理と、入力された観測データ毎に、出力値の平均および分散に基づいて、出力値のばらつきの指標である確率的マージンを計算する確率的マージン計算処理と、入力された観測データ毎に計算された確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する敵対的事例検知処理とを実行することを特徴とする。

本発明による敵対的事例検知プログラムは、コンピュータに、深層学習器をガウス過程に近似する過程で用いるグラム行列の逆行列を計算する準備処理、および、深層学習器によってどのクラスに該当するのか判定される観測データの中から、グラム行列の逆行列を用いて敵対的事例を検知する検知処理を実行させ、そのコンピュータに、準備処理で、深層学習器、少なくとも当該深層学習器における層の数および畳み込みの有無を示すアーキテクチャ情報、および、学習データに基づいて、グラム行列を計算するグラム行列計算処理、および、グラム行列の逆行列を計算する逆行列計算処理を実行させ、検知処理で、観測データの入力を受け付けるデータ入力受付処理、入力された観測データ毎に、グラム行列の逆行列を用いて、クラス判定に用いられる数値である出力値の平均および分散をクラス別に計算する出力分布計算処理、入力された観測データ毎に、出力値の平均および分散に基づいて、出力値のばらつきの指標である確率的マージンを計算する確率的マージン計算処理、および、入力された観測データ毎に計算された確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する敵対的事例検知処理を実行させることを特徴とする。

本発明によれば、低い計算コストで敵対的事例を検知することができる。

本発明の実施形態の敵対的事例検知システムの構成例を示すブロック図である。 準備部の処理経過の例を示すフローチャートである。 検知部の処理経過の例を示すフローチャートである。 本発明の敵対的事例検知システムに係るコンピュータの構成例を示す概略ブロック図である。 本発明の敵対的事例検知システムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

図１は、本発明の実施形態の敵対的事例検知システムの構成例を示すブロック図である。

本実施形態の敵対的事例検知システム３は、準備部１と、検知部２とを備える。敵対的事例検知システム３は、例えば、準備部１と、検知部２とを備える１台のコンピュータによって実現されていてもよい。また、敵対的事例検知システム３は、準備部１と検知部２とがそれぞれ別々のコンピュータによって実現される構成であってもよい。

また、検知部２は、例えば、入力された観測データがどのクラスに該当するのかを判定する判定システムの一部として設けられてもよい。

なお、クラスは、入力される観測データが該当し得る項目として予め定められている複数種類の各項目である。

準備部１は、深層学習器をガウス過程に近似する過程で用いるグラム行列を計算し、さらに、そのグラム行列の逆行列を計算する。検知部２は、入力される観測データの中から、そのグラム行列の逆行列を用いて敵対的事例を検知する。入力される観測データは、その深層学習器を用いてどのクラスに該当するのか判定されるデータである。

なお、観測データは、観測によって得られたデータである。観測データは、判定システムの運用時に、どのクラスに該当するのかが判定されるデータとして、判定システムに入力されたり、深層学習器の学習のために用いられたりする。深層学習器の学習のために用いられる観測データを学習データと記す。

準備部１は、学習データ記憶部１０と、深層学習器記憶部１１と、グラム行列計算部１２と、グラム行列逆行列計算部１３と、逆行列記憶部１４とを備える。

学習データ記憶部１０は、深層学習器の学習のために用いられる観測データ（すなわち、学習データ）を記憶する記憶装置である。

学習データ記憶部１０が記憶する観測データ（学習データ）の中には敵対的事例が含まれていないことが確認されているものとする。

また、学習データ記憶部１０が記憶する学習データを用いて深層学習によって学習された深層学習器（モデル。ニューラルネットワークとも呼ばれる。）が、判定システムにおいて用いられる。

深層学習器記憶部１１は、上記の学習データを用いて深層学習によって学習された深層学習器と、その深層学習器のアーキテクチャ情報とを記憶する記憶装置である。深層学習器のアーキテクチャ情報は、少なくとも、深層学習器における層の数および畳み込みの有無を示す。

グラム行列計算部１２は、上記の深層学習器をガウス過程に近似する過程で用いるグラム行列を計算する。グラム行列計算部１２は、深層学習器をガウス過程に近似することによって、深層学習器をガウス過程に近似する過程で用いるグラム行列を計算する。このとき、グラム行列計算部１２は、学習データ記憶部１０に記憶された学習データ、並びに、深層学習器記憶部１１に記憶された深層学習器およびそのアーキテクチャ情報に基づいて、グラム行列を計算する。

なお、グラム行列計算部１２は、学習データ記憶部１０に記憶された学習データに前処理を行う。この前処理については後述する。

グラム行列計算部１２は、例えば、グラム行列の第ｉ行第ｊ列の成分を、ｉ番目の学習データおよびｊ番目の学習データを用いて求める。このように、グラム行列を計算する方法は、例えば、非特許文献２や非特許文献３に記載された方法であってもよい。

例えば、グラム行列計算部１２は、深層学習器およびそのアーキテクチャ情報に基づいて、学習データを入力としてグラム行列を出力する関数を生成する。そして、グラム行列計算部１２は、その関数に学習データを入力することでグラム行列を計算する。

ただし、グラム行列計算部１２がグラム行列を計算する方法は、非特許文献２や非特許文献３に記載された方法に限定されず、グラム行列計算部１２は他の方法でグラム行列を計算してもよい。

グラム行列計算部１２は、計算したグラム行列の対角成分に、逆行列計算を安定化するための定数を加算した結果を、逆行列の計算対象となるグラム行列としてもよい。例えば、クラス判定の対象となる観測データ（外部から入力される観測データ）を用いることなく、学習データを用いて計算されたグラム行列をＫとする。グラム行列計算部１２は、グラム行列Ｋを計算した後、Ｋ＋εＩを計算し、Ｋ＋εＩを、逆行列の計算対象となるグラム行列としてもよい。ここで、εは、逆行列計算を安定化するための定数であり、Ｉは単位行列である。

グラム行列逆行列計算部１３は、グラム行列計算部１２によって計算されたグラム行列の逆行列を計算する。以下、ある行列を“Ａ”と表した場合、その行列Ａの逆行列をｉｎｖ（Ａ）と記す。例えば、グラム行列逆行列計算部１３は、ｉｎｖ（Ｋ＋εＩ）を計算する。

グラム行列逆行列計算部１３は、そのグラム行列の逆行列を逆行列記憶部１４に記憶させる。

逆行列記憶部１４は、グラム行列逆行列計算部１３によって計算されたグラム行列の逆行列を記憶する記憶装置である。本例では、逆行列記憶部１４が、ｉｎｖ（Ｋ＋εＩ）を記憶する場合を例にする。

検知部２は、逆行列記憶部２０と、データ入力部２１と、学習データ記憶部２５と、出力分布計算部２２と、確率的マージン計算部２３と、敵対的事例検知部２４とを備える。

逆行列記憶部２０は、グラム行列逆行列計算部１３によって計算されたグラム行列の逆行列を記憶する記憶装置である。すなわち、逆行列記憶部２０は、準備部１に含まれる逆行列記憶部１４と同様に、グラム行列の逆行列（本例では、ｉｎｖ（Ｋ＋εＩ））を記憶する。

例えば、準備部１が、逆行列記憶部１４に記憶されたグラム行列の逆行列を検知部２に送り、検知部２がそのグラム行列の逆行列を逆行列記憶部２０に記憶させてもよい。あるいは、オペレータが、逆行列記憶部１４に記憶されたグラム行列の逆行列を、逆行列記憶部２０にコピーする操作を行ってもよい。逆行列記憶部２０にグラム行列の逆行列を記憶させる方法は、上記以外の方法であってもよい。

また、敵対的事例検知システム３が、準備部１と検知部２とを備える１台のコンピュータによって実現される場合、検知部２は、逆行列記憶部２０を備えずに、逆行列記憶部１４にアクセスしてもよい。

データ入力部２１には、深層学習器によってどのクラスに該当するのかが判定される観測データが入力される。すなわち、データ入力部２１は、観測データの入力を受け付ける。データ入力部２１に入力される観測データは、学習に用いられる観測データではなく、この点で、学習データ記憶部１０が記憶する観測データ（学習データ）とは異なる。

また、前述のように、学習データ記憶部１０が記憶する観測データ（学習データ）の中には敵対的事例が含まれていないことが確認されている。一方、データ入力部２１に入力される観測データの中には、敵対的事例が存在することがあり得る。

また、データ入力部２１は、入力された観測データに対して前処理を行う。この前処理については後述する。

学習データ記憶部２５は、準備部１における学習データ記憶部１０と同様に、学習データを記憶する記憶装置である。すなわち、学習データ記憶部２５は、深層学習器の学習のために用いられる学習データを記憶する。なお、学習データ記憶部２５が記憶する学習データの中に敵対的事例が含まれていないことが確認されているものとする。

前述のように、クラスは、入力される観測データが該当し得る項目として予め定められている複数種類の各項目である。また、クラスに応じたラベルが、クラス毎に予め定められている。本実施形態では、クラス毎のラベルが数であるものとする。学習データ記憶部２５は、クラス毎に定められているラベルもそれぞれ、予め記憶している。以下、クラス毎に予め定められているラベルを符号ｙで表す。

出力分布計算部２２は、データ入力部２１に入力された１つ１つの観測データ毎に、逆行列記憶部２０に記憶されているグラム行列の逆行列を用いて、出力値の平均および分散を計算する。出力値とは、観測データを判定システムに入力したことによって得られる数値であり、観測データがどのクラスに該当するかの判定に用いられる数値である。

出力分布計算部２２は、入力された観測データ毎に、各クラス別に、出力値の平均および分散を計算する。以下、出力分布計算部２２が、各クラス別に、出力値の平均および分散を計算する動作の例を示す。

学習データと、クラス判定の対象となる観測データ（データ入力部２１を介して入力された観測データ）の両方を用いて計算されたグラム行列をｋとする。また、学習データを用いることなく、クラス判定の対象となる観測データ（データ入力部２１を介して入力された観測データ）を用いて計算されたグラム行列をｋ＿とする。

出力分布計算部２２は、データ入力部２１を介して入力された１つ１つの観測データ毎に、グラム行列ｋ、および、グラム行列ｋ＿を計算する。出力分布計算部２２は、１つの観測データと、学習データ記憶部２５に記憶されている学習データとを用いて、グラム行列ｋを計算する。また、出力分布計算部２２は、１つの観測データを用いて、グラム行列ｋ＿を計算する。グラム行列を計算する方法は、例えば、非特許文献２や非特許文献３に記載された方法であってもよい。

そして、出力分布計算部２２は、データ入力部２１を介して入力された１つ１つの観測データ毎に、観測データを用いて計算したグラム行列ｋを用いて、各クラス別に、出力値の平均を計算する。出力分布計算部２２は、例えば、出力値の平均を、以下に示す式（１）の計算によって求めればよい。

ｋ＊ｉｎｖ（Ｋ＋εＩ）＊ｙ ・・・（１）

式（１）における＊は、積を表わす。この点は、後述の式（２）においても同様である。

ラベルｙは、クラス毎に定められている。従って、クラス毎に定められているラベルｙを用いて式（１）の計算を行うことによって、出力分布計算部２２は、各クラス別に出力値の平均を計算する。なお、出力分布計算部２２は、式（１）の計算を行う際、ラベルｙを学習データ記憶部２５から読み込めばよい。

また、出力分布計算部２２は、データ入力部２１を介して入力された１つ１つの観測データ毎に、観測データを用いて計算したグラム行列ｋ＿およびグラム行列ｋを用いて、各クラス別に、出力値の分散を計算する。出力分布計算部２２は、例えば、出力値の分散を、以下に示す式（２）の計算によって求めればよい。

ｋ＿＊ｉｎｖ（Ｋ＋εＩ）＊ｋ ・・・（２）

式（２）では、式（１）と異なり、クラス毎に定められているラベルｙを用いていない。従って、クラス別に計算した出力値の分散は、クラスに依らず変わらない。すなわち、出力値の分散は、各クラスで共通である。

なお、式（１）や式（２）の計算を行う際、出力分布計算部２２は、逆行列記憶部２０からｉｎｖ（Ｋ＋εＩ）を読み込めばよい。

確率的マージン計算部２３は、データ入力部２１を介して入力された１つ１つの観測データ毎に、出力値の平均および分散に基づいて、出力値のばらつきの指標である確率的マージンを計算する。以下、確率的マージンの計算例を示す。

１つの観測データに着目した場合、その観測データが該当する尤もらしさが１番高いクラスに関して計算された出力値の平均をμａと記すこととし、そのクラスに関して計算された出力値の分散をσａ^２と記すこととする。また、その観測データが該当する尤もらしさが２番目に高いクラスに関して計算された出力値の平均をμｂと記すこととし、そのクラスに関して計算された出力値の分散をσｂ^２と記すこととする。

なお、着目している観測データが該当する尤もらしさが１番高いクラスや、その観測データが該当する尤もらしさが２番目に高いクラスを特定する方法は、特に限定されない。例えば、確率的マージン計算部２３が、深層学習器を保持し、着目している観測データと、深層学習器とに基づいて、それらのクラスを特定してもよい。あるいは、他の方法でそれらのクラスを特定してもよい。

ここで、敵対的事例に関しては、観測データが該当すると判定されるクラスの不確実性が高く、正規の観測データに関しては、観測データが該当すると判定されるクラスの不確実性が低いと仮定することができる。この仮定の下で、確率的マージンを、例えば、以下に示す式（３）のように定めることができる。ここでは、確率的マージンを符号Ｍで表す。

Ｍ＝（μａ－μｂ）／（σａ^２＋σｂ^２） ・・・（３）

確率的マージン計算部２３は、式（３）の計算によって、確率的マージンＭを計算すればよい。ただし、確率的マージンは、式（３）以外の式で定められてもよい。

不確実性が高いときには、μａとμｂとの差が小さくなり、また、分散も大きくなるので、確率的マージンＭは小さな値をとる。すなわち、敵対的事例に関して計算された確率的マージンＭは小さな値をとる

敵対的事例検知部２４は、データ入力部２１を介して入力された１つ１つの観測データ毎に計算された確率的マージンに基づいて、入力された各観測データの中から、敵対的事例を検知する。

例えば、敵対的事例検知部２４は、観測データ毎に、敵対的事例検知部２４によって計算された確率的マージンＭが、予め定められた閾値以下であるか否かを判定し、確率的マージンＭが閾値以下である観測データを敵対的事例として検知すればよい。一方、敵対的事例検知部２４は、確率的マージンＭが閾値より大きい観測データに関しては、正常な観測データであると判定すればよい。

前述のように、敵対的事例検知システム３は、例えば、準備部１と、検知部２とを備える１台のコンピュータによって実現されていてもよい。この場合、グラム行列計算部１２、グラム行列逆行列計算部１３、出力分布計算部２２、確率的マージン計算部２３および敵対的事例検知部２４は、例えば、敵対的事例検知プログラムに従って動作するコンピュータのＣＰＵ（Central Processing Unit ）によって実現される。この場合、ＣＰＵは、コンピュータのプログラム記憶装置等のプログラム記録媒体から敵対的事例検知プログラムを読み込み、そのプログラムに従って、グラム行列計算部１２、グラム行列逆行列計算部１３、出力分布計算部２２、確率的マージン計算部２３および敵対的事例検知部２４として動作すればよい。また、データ入力部２１は、例えば、コンピュータのデータ入力インタフェースと、敵対的事例検知プログラムに従って動作するコンピュータのＣＰＵとによって実現される。また、学習データ記憶部１０、深層学習器記憶部１１、逆行列記憶部１４、逆行列記憶２０および学習データ記憶部２５は、例えば、コンピュータが備える記憶装置によって実現される。

また、敵対的事例検知システム３は、準備部１と検知部２とがそれぞれ別々のコンピュータによって実現される構成であってもよい。この場合、グラム行列計算部１２およびグラム行列逆行列計算部１３は、例えば、準備部用プログラムに従って動作する準備部用コンピュータのＣＰＵによって実現される。この場合、ＣＰＵは、準備部用コンピュータのプログラム記憶装置等のプログラム記録媒体から準備部用プログラムを読み込み、そのプログラムに従って、グラム行列計算部１２およびグラム行列逆行列計算部１３として動作すればよい。また、学習データ記憶部１０、深層学習器記憶部１１、逆行列記憶部１４は、例えば、準備部用コンピュータが備える記憶装置によって実現される。また、出力分布計算部２２、確率的マージン計算部２３および敵対的事例検知部２４は、例えば、検知部用プログラムに従って動作する検知部用コンピュータのＣＰＵによって実現される。この場合、ＣＰＵは、検知部用コンピュータのプログラム記憶装置等のプログラム記録媒体から検知部用プログラムを読み込み、そのプログラムに従って、出力分布計算部２２、確率的マージン計算部２３および敵対的事例検知部２４として動作すればよい。データ入力部２１は、例えば、検知部用コンピュータのデータ入力インタフェースと、検知部用プログラムに従って動作する検知部用コンピュータのＣＰＵとによって実現される。逆行列記憶部２０および学習データ記憶部２５は、検知部用コンピュータが備える記憶装置によって実現される。

次に、本実施形態の処理経過について説明する。なお、既に説明した事項については、詳細な説明を省略する。

図２は、本実施形態の準備部１の処理経過の例を示すフローチャートである。本例では、観測データが顔認証システムで顔認証のために用いられるデータであり、従って、学習データが、人の顔を写した画像である場合を例に説明する。

まず、グラム行列計算部１２は、学習データの前処理を行う（ステップＳ１）。前述のように、学習データが、人の顔を写した画像である場合、前処理の例として、学習データとして記憶されている画像から背景部分を削除し、顔に該当する部分の画像のみを切り取る処理が挙げられる。

また、ステップＳ１における前処理は、上記の例に限定されない。例えば、グラム行列計算部１２は、学習データの前処理として、学習データの平滑化処理や、学習データの欠損値補間処理を行ってもよい。

ステップＳ１の後、前処理後の学習データが用いられる。

ステップＳ１の次に、グラム行列計算部１２は、深層学習器をガウス過程に近似することによって、深層学習器をガウス過程に近似する過程で用いるグラム行列を計算する（ステップＳ２）。

次に、グラム行列逆行列計算部１３は、グラム行列の逆行列を計算する（ステップＳ３）。

そして、グラム行列逆行列計算部１３は、ステップＳ３で計算されたグラム行列の逆行列を逆行列記憶部１４に記憶させる（ステップＳ４）。

図３は、本実施形態の検知部２の処理経過の例を示すフローチャートである。なお、逆量列記憶部２０は、準備部１の逆行列記憶部１４に記憶されたグラム行列の逆行列を記憶済みであるものとする。

データ入力部２１は、入力された観測データの前処理を行う（ステップＳ１１）。入力された観測データの前処理として、例えば、観測データの平滑化処理、観測データの欠損値補間処理、観測データのノイズ低減処理等が挙げられる。

ステップＳ１１の後、前処理後の観測データが用いられる。

ステップＳ１１の次に、出力分布計算部２２は、入力された観測データ毎に、グラム行列の逆行列を用いて、出力値の平均および分散をクラス別に計算する（ステップＳ１２）。

次に、確率的マージン計算部２３は、入力された観測データ毎に、出力値の平均および分散に基づいて確率的マージンを計算する（ステップＳ１３）。前述のように、確率的マージンは、出力値のばらつきの指標である。

次に、敵対的事例検知部２４は、観測データ毎に計算された確率的マージンに基づいて、入力された観測データ毎に、観測データが敵対的事例であるか否かを判定し、敵対的事例を検知する（ステップＳ１４）。

本実施形態によれば、敵対的事例検知システム３は、サンプリングを行わない。すなわち、本実施形態の敵対的事例検知システム３は、計算コストが高いサンプリングを行うことなく、敵対的事例を検知する。従って、本実施形態によれば、低い計算コストで敵対的事例を検知することができる。

次に、本発明の実施形態の変形例を説明する。上記の実施形態では、確率的マージン計算部２３が、観測データ毎に１つの確率的マージンを計算する場合を説明した。具体的には、確率的マージン計算部２３が、観測データ毎に、式（３）によって１つの確率的マージンを計算する場合を説明した。

確率的マージン計算部２３は、データ入力部２１を介して入力された１つ１つの観測データ毎に、複数種類の確率的マージンを計算してもよい。

前述の式（３）は、確率的マージンの定め方の一例であり、確率的マージンは、前述の式（３）の他に、以下に示す式（４）や式（５）のように定められてもよい。なお、式（４）で定められる確率的マージンを符号Ｍ’で表す。また、式（５）で定められる確率的マージンを符号Ｍ’’で表す。

Ｍ’＝μａ－μｂ ・・・（４）

Ｍ’’＝σａ^２＋σｂ^２ ・・・（５）

ここでは、確率的マージン計算部２３は、データ入力部２１を介して入力された１つ１つの観測データ毎に、式（３）、式（４）および式（５）それぞれの計算によって、３種類の確率的マージンＭ，Ｍ’，Ｍ’’を計算する場合を例にして説明する。

ただし、本変形例において、確率的マージン計算部２３は、観測データ毎に複数種類の確率的マージンを計算すればよく、式（３）、式（４）および式（５）のうちのいずれか２種類の計算によって、観測データ毎に２種類の確率的マージンを計算してもよい。あるいは、確率的マージン計算部２３は、４種類以上の確率的マージンを計算してもよい。また、確率的マージン計算部２３は、式（３）、式（４）および式（５）とは異なる計算式によって確率的マージンを計算してもよい。

そして、敵対的事例検知部２４は、入力された観測データ毎に計算された複数種類（本例では、３種類）の確率的マージンに基づいて、入力された各観測データの中から、敵対的事例を検知する。

例えば、式（３）によって計算された確率的マージンＭとの比較対象となる第１の閾値、式（４）によって計算された確率的マージンＭ’との比較対象となる第２の閾値、および、式（５）によって計算された確率的マージンＭ’’との比較対象となる第３の閾値が予め定められているものとする。

敵対的事例検知部２４は、観測データ毎に、予め定められた所定の条件を満たしているか否かを判定し、その所定の条件を満たしている観測データを敵対的事例として検知すればよい。一方、敵対的事例検知部２４は、その所定の条件を満たしていない観測データに関しては、正常な観測データであると判定すればよい。

所定の条件として、例えば、式（３）によって計算された確率的マージンＭが第１の閾値以下であること、かつ、式（４）によって計算された確率的マージンＭ’が第２の閾値以下であること、かつ、式（５）によって計算された確率的マージンＭ’’が第３の閾値以下であることという条件を用いてもよい。

あるいは、所定の条件として、例えば、式（３）によって計算された確率的マージンＭが第１の閾値以下であることと、式（４）によって計算された確率的マージンＭ’が第２の閾値以下であることと、式（５）によって計算された確率的マージンＭ’’が第３の閾値以下であることのうち２つ以上（１つ以上としてもよい。）が満たされていることという条件を用いてもよい。

本変形例においても、サンプリングを行うことなく敵対的事例を検知するので、低い計算コストで敵対的事例を検知することができる。

図４は、本発明の敵対的事例検知システムに係るコンピュータの構成例を示す概略ブロック図である。ここでは、まず、敵対的事例検知システム３が、準備部１と検知部２とを備える１台のコンピュータによって実現される場合を例にして説明する。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、データ入力インタフェース１００５とを備える。

敵対的事例検知システム３は、コンピュータ１０００によって実現される。敵対的事例検知システム３の動作は、プログラムの形式で、補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って、上記の実施形態やその変形例で説明した処理を実行する。この場合、グラム行列計算部１２、グラム行列逆行列計算部１３、出力分布計算部２２、確率的マージン計算部２３および敵対的事例検知部２４は、ＣＰＵ１００１によって実現される。データ入力部２１は、データ入力インタフェース１００５およびＣＰＵ１００１によって実現される。学習データ記憶部１０、深層学習器記憶部１１、逆行列記憶部１４、逆行列記憶部２０および学習データ記憶部２５は、例えば、補助記憶装置１００３によって実現されてもよく、あるいは、他の記憶装置によって実現されてもよい。

補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、プログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、そのプログラムに従って上記の実施形態やその変形例で説明した処理（動作）を実行してもよい。

また、準備部１と検知部２とがそれぞれ別々のコンピュータによって実現される構成である場合、準備部用コンピュータおよび検知部用コンピュータはそれぞれ、図４に示すコンピュータと同様のコンピュータによって実現される。ただし、準備部用コンピュータには、データ入力インタフェース１００５が設けられていなくてもよい。準備部用コンピュータおよび検知部用コンピュータに関しても、図４を参照して説明する。

準備部用コンピュータにおいて、準備部１の動作は、プログラムの形式で、補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って、上記の実施形態で説明した準備部１の処理を実行する。この場合、グラム行列計算部１２およびグラム行列逆行列計算部１３は、ＣＰＵ１００１によって実現される。学習データ記憶部１０、深層学習器記憶部１１および逆行列記憶部１４は、例えば、補助記憶装置１００３によって実現されてもよく、あるいは、他の記憶装置によって実現されてもよい。

また、検知部用コンピュータにおいて、検知部２の動作は、プログラムの形式で、補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って、上記の実施形態やその変形例で説明した検知部２の処理を実行する。この場合、出力分布計算部２２、確率的マージン計算部２３および敵対的事例検知部２４は、ＣＰＵ１００１によって実現される。データ入力部２１は、データ入力インタフェース１００５およびＣＰＵ１００１によって実現される。逆行列記憶部２０および学習データ記憶部２５は、例えば、補助記憶装置１００３によって実現されてもよく、あるいは、他の記憶装置によって実現されてもよい。

また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明の概要について説明する。図５は、本発明の敵対的事例検知システムの概要を示すブロック図である。本発明の敵対的事例検知システム３００は、準備部１００と、検知部２００とを備える。

準備部１００（例えば、準備部１）は、深層学習器をガウス過程に近似する過程で用いるグラム行列の逆行列を計算する。

検知部２００（例えば、検知部２）は、深層学習器によってどのクラスに該当するのか判定される観測データの中から、グラム行列の逆行列を用いて敵対的事例を検知する。

準備部１００は、学習データ記憶部１１０と、深層学習器記憶部１１１と、グラム行列計算部１１２と、逆行列計算部１１３とを含む。

学習データ記憶部１１０（例えば、学習データ記憶部１０）は、学習データを記憶する。

深層学習器記憶部１１１（例えば、深層学習器記憶部１１）は、深層学習器と、少なくとも当該深層学習器における層の数および畳み込みの有無を示すアーキテクチャ情報とを記憶する。

グラム行列計算部１１２（例えば、グラム行列計算部１２）は、深層学習器、アーキテクチャ情報、および、学習データに基づいて、グラム行列を計算する。

逆行列計算部１１３（例えば、グラム行列逆行列計算部１３）は、グラム行列の逆行列を計算する。

検知部２００は、データ入力部２２１と、出力分布計算部２２２と、確率的マージン計算部２２３と、敵対的事例検知部２２４とを備える。

データ入力部２２１（例えば、データ入力部２１）は、観測データの入力を受け付ける。

出力分布計算部２２２（例えば、出力分布計算部２２）は、入力された観測データ毎に、グラム行列の逆行列を用いて、クラス判定に用いられる数値である出力値の平均および分散をクラス別に計算する。

確率的マージン計算部２２３（例えば、確率的マージン計算部２３）は、入力された観測データ毎に、出力値の平均および分散に基づいて、出力値のばらつきの指標である確率的マージンを計算する。

敵対的事例検知部２２４（例えば、敵対的事例検知部２４）は、入力された観測データ毎に計算された確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する。

そのような構成により、低い計算コストで敵対的事例を検知することができる。

また、確率的マージン計算部２２３が、入力された観測データ毎に、複数種類の確率的マージンを計算し、敵対的事例検知部２２４が、入力された観測データ毎に計算された複数種類の確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する構成であってもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

産業上の利用の可能性

本発明は、敵対的事例を検知する敵対的事例検知システムに好適に適用される。

１ 準備部
２ 検知部
３ 敵対的事例検知システム
１０ 学習データ記憶部
１１ 深層学習器記憶部
１２ グラム行列計算部
１３ グラム行列逆行列計算部
１４ 逆行列記憶部
２０ 逆行列記憶部
２１ データ入力部
２２ 出力分布計算部
２３ 確率的マージン計算部
２４ 敵対的事例検知部
２５ 学習データ記憶部

Claims (6)

1. 深層学習器をガウス過程に近似する過程で用いるグラム行列の逆行列を計算する準備部と、
   前記深層学習器によってどのクラスに該当するのか判定される観測データの中から、前記グラム行列の逆行列を用いて敵対的事例を検知する検知部とを備え、
   前記準備部は、
   学習データを記憶する学習データ記憶部と、
   前記深層学習器と、少なくとも当該深層学習器における層の数および畳み込みの有無を示すアーキテクチャ情報とを記憶する深層学習器記憶部と、
   前記深層学習器、前記アーキテクチャ情報、および、前記学習データに基づいて、前記グラム行列を計算するグラム行列計算部と、
   前記グラム行列の逆行列を計算する逆行列計算部とを含み、
   前記検知部は、
   前記観測データの入力を受け付けるデータ入力部と、
   入力された観測データ毎に、前記グラム行列の逆行列を用いて、クラス判定に用いられる数値である出力値の平均および分散をクラス別に計算する出力分布計算部と、
   入力された観測データ毎に、前記出力値の平均および分散に基づいて、前記出力値のばらつきの指標である確率的マージンを計算する確率的マージン計算部と、
   入力された観測データ毎に計算された前記確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する敵対的事例検知部とを含む
   ことを特徴とする敵対的事例検知システム。
2. 前記確率的マージン計算部は、
   入力された観測データ毎に、複数種類の確率的マージンを計算し、
   前記敵対的事例検知部は、
   入力された観測データ毎に計算された前記複数種類の確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する
   請求項１に記載の敵対的事例検知システム。
3. 深層学習器をガウス過程に近似する過程で用いるグラム行列の逆行列を計算する準備処理と、
   前記深層学習器によってどのクラスに該当するのか判定される観測データの中から、前記グラム行列の逆行列を用いて敵対的事例を検知する検知処理とを実行し、
   前記準備処理で、
   前記深層学習器、少なくとも当該深層学習器における層の数および畳み込みの有無を示すアーキテクチャ情報、および、学習データに基づいて、前記グラム行列を計算するグラム行列計算処理と、
   前記グラム行列の逆行列を計算する逆行列計算処理とを実行し、
   前記検知処理で、
   前記観測データの入力を受け付けるデータ入力受付処理と、
   入力された観測データ毎に、前記グラム行列の逆行列を用いて、クラス判定に用いられる数値である出力値の平均および分散をクラス別に計算する出力分布計算処理と、
   入力された観測データ毎に、前記出力値の平均および分散に基づいて、前記出力値のばらつきの指標である確率的マージンを計算する確率的マージン計算処理と、
   入力された観測データ毎に計算された前記確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する敵対的事例検知処理とを実行する
   ことを特徴とする敵対的事例検知方法。
4. 前記確率的マージン計算処理で、
   入力された観測データ毎に、複数種類の確率的マージンを計算し、
   前記敵対的事例検知処理で、
   入力された観測データ毎に計算された前記複数種類の確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する
   請求項３に記載の敵対的事例検知方法。
5. コンピュータに、
   深層学習器をガウス過程に近似する過程で用いるグラム行列の逆行列を計算する準備処理、および、
   前記深層学習器によってどのクラスに該当するのか判定される観測データの中から、前記グラム行列の逆行列を用いて敵対的事例を検知する検知処理を実行させ、
   前記コンピュータに、
   前記準備処理で、
   前記深層学習器、少なくとも当該深層学習器における層の数および畳み込みの有無を示すアーキテクチャ情報、および、学習データに基づいて、前記グラム行列を計算するグラム行列計算処理、および、
   前記グラム行列の逆行列を計算する逆行列計算処理を実行させ、
   前記検知処理で、
   前記観測データの入力を受け付けるデータ入力受付処理、
   入力された観測データ毎に、前記グラム行列の逆行列を用いて、クラス判定に用いられる数値である出力値の平均および分散をクラス別に計算する出力分布計算処理、
   入力された観測データ毎に、前記出力値の平均および分散に基づいて、前記出力値のばらつきの指標である確率的マージンを計算する確率的マージン計算処理、および、
   入力された観測データ毎に計算された前記確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知する敵対的事例検知処理を実行させる
   ための敵対的事例検知プログラム。
6. 前記コンピュータに、
   前記確率的マージン計算処理で、
   入力された観測データ毎に、複数種類の確率的マージンを計算させ、
   前記敵対的事例検知処理で、
   入力された観測データ毎に計算された前記複数種類の確率的マージンに基づいて、入力された観測データの中から、敵対的事例を検知させる
   請求項５に記載の敵対的事例検知プログラム。

Images