JP7231018B2 - 耐性設定装置、耐性設定方法、耐性設定プログラム、耐性評価装置、耐性評価方法、耐性評価プログラム、演算装置、およびプログラム - Google Patents
耐性設定装置、耐性設定方法、耐性設定プログラム、耐性評価装置、耐性評価方法、耐性評価プログラム、演算装置、およびプログラム Download PDFInfo
- Publication number
- JP7231018B2 JP7231018B2 JP2021519399A JP2021519399A JP7231018B2 JP 7231018 B2 JP7231018 B2 JP 7231018B2 JP 2021519399 A JP2021519399 A JP 2021519399A JP 2021519399 A JP2021519399 A JP 2021519399A JP 7231018 B2 JP7231018 B2 JP 7231018B2
- Authority
- JP
- Japan
- Prior art keywords
- strength
- resistance
- tolerance
- sample
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1476—Error detection or correction of the data by redundancy in operation in neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Measurement Of Resistance Or Impedance (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプル（Adversarial examples）に対する耐性に係る、耐性設定装置、耐性設定方法、耐性設定プログラムを記憶する記憶媒体、耐性評価装置、耐性評価方法、耐性評価プログラムを記憶する記憶媒体、演算装置、およびプログラムを記憶する記憶媒体に関する。
深層学習をはじめ、ニューラルネットワークを用いた機械学習が、様々な情報処理分野において活用されている。一方で、ニューラルネットワークなどの機械学習モデルは、adversarial examplesと呼ばれる敵対的サンプルに対して脆弱性を有することが知られている。
特許文献１には、adversarial examplesに対する耐性をニューラルネットワークに付加するために、adversarial examplesを用いてニューラルネットワークを再学習させる技術が開示されている。
特許文献１には、adversarial examplesに対する耐性をニューラルネットワークに付加するために、adversarial examplesを用いてニューラルネットワークを再学習させる技術が開示されている。
特許文献１に記載の技術のように、学習済みモデルを再学習させるためには、学習のために十分な数の敵対的サンプルを用意する必要がある。そのため、より簡易に敵対的サンプルに対する耐性をもたらす技術が要求されている。
本発明の目的は、学習済みモデルを用いる演算装置に、敵対的サンプルに対する耐性を簡易にもたらすことができる耐性設定装置、耐性設定方法、耐性設定プログラム、耐性評価装置、耐性評価方法、耐性評価プログラム、演算装置、およびプログラムを提供することにある。
本発明の目的は、学習済みモデルを用いる演算装置に、敵対的サンプルに対する耐性を簡易にもたらすことができる耐性設定装置、耐性設定方法、耐性設定プログラム、耐性評価装置、耐性評価方法、耐性評価プログラム、演算装置、およびプログラムを提供することにある。
本発明の第１の態様によれば、耐性設定装置は、学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定する耐性特定手段と、前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定する強度決定手段とを備える。
本発明の第２の態様によれば、耐性設定方法は、学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定し、前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定する。
本発明の第３の態様によれば、耐性設定プログラムは、学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定し、前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定する処理をコンピュータに実行させる。
本発明の第４の態様によれば、耐性評価装置は、学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成するサンプル生成手段と、前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定する精度特定手段と、前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示する提示手段とを備える。
本発明の第５の態様によれば、耐性評価方法は、学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成し、前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定し、前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示する。
本発明の第６の態様によれば、耐性評価プログラムは、学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成し、前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定し、前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示する処理をコンピュータに実行させる。
本発明の第７の態様によれば、演算装置は、上記態様に係る耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行うノイズ除去手段と、前記量子化された入力信号を学習済みモデルに入力することで、出力信号を得るモデル演算手段とを備える。
本発明の第８の態様によれば、演算方法は、上記態様に係る耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行い、前記量子化された入力信号を学習済みモデルに入力することで、出力信号を得る。
本発明の第９の態様によれば、プログラムは、上記態様に係る耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行い、前記量子化された入力信号を学習済みモデルに入力することで、出力信号を得る処理をコンピュータに実行させる。
上記態様のうち少なくとも１つの態様によれば、学習済みモデルを用いる演算装置に、敵対的サンプルに対する耐性を簡易にもたらすことができる。
〈第１の実施形態〉
図１は、第１の実施形態に係る耐性設定システムの構成を示す概略ブロック図である。
耐性設定システム１は、演算装置１０と耐性設定装置３０とを備える。
図１は、第１の実施形態に係る耐性設定システムの構成を示す概略ブロック図である。
耐性設定システム１は、演算装置１０と耐性設定装置３０とを備える。
《演算装置の構成》
演算装置１０は、学習済みモデルを用いた演算を行う。学習済みモデルとは、機械学習モデルと、学習によって得られた学習済みパラメータとの組み合わせである。機械学習モデルの例としては、ニューラルネットワークモデルなどが挙げられる。演算装置１０の例としては、画像等の入力信号に基づいて判別処理をする判別装置、センサ等による入力信号に基づいて機械の制御信号を生成する制御装置などが挙げられる。
演算装置１０は、サンプル入力部１１、量子化部１２、演算モデル記憶部１３、および演算部１４を備える。
演算装置１０は、学習済みモデルを用いた演算を行う。学習済みモデルとは、機械学習モデルと、学習によって得られた学習済みパラメータとの組み合わせである。機械学習モデルの例としては、ニューラルネットワークモデルなどが挙げられる。演算装置１０の例としては、画像等の入力信号に基づいて判別処理をする判別装置、センサ等による入力信号に基づいて機械の制御信号を生成する制御装置などが挙げられる。
演算装置１０は、サンプル入力部１１、量子化部１２、演算モデル記憶部１３、および演算部１４を備える。
サンプル入力部１１は、演算装置１０による演算対象である入力信号の入力を受け付ける。
量子化部１２は、サンプル入力部１１に入力された入力信号を、所定の量子化幅で量子化する。量子化部１２による量子化幅は、耐性設定装置３０によって設定される。耐性設定装置３０による設定前の量子化幅は、初期値としてゼロに設定される。量子化幅がゼロということは、量子化部１２は量子化処理をせずに入力信号を演算部に出力することと等価である。なお、量子化部１２は、量子化処理において、入力信号の量子化ビット数を変化させずに、量子化幅に基づく値の切り上げおよび切り下げ処理を行う。量子化処理は、ノイズ除去処理の一例である。すなわち量子化部１２は、ノイズ除去部の一例である。
演算モデル記憶部１３は、学習済みモデルである演算モデルを記憶する。
演算部１４は、量子化部１２によって量子化された入力信号を、演算モデル記憶部１３が記憶する演算モデルに入力することで、出力信号を得る。
《耐性設定装置の構成》
耐性設定装置３０は、演算装置１０に敵対的サンプルに対する耐性を設定する。敵対的サンプルとは、演算装置１０に対する入力信号であって、学習済みモデルの誤判定を誘発するために摂動が加えられたものをいう。耐性設定装置３０は、耐性（耐性強度）に対応する演算精度の変化量を誘発する敵対的サンプを生成する。敵対的サンプルの例として、adversarial examplesが挙げられる。
耐性設定装置３０は、耐性特定部３１、生成モデル記憶部３２、サンプル生成部３３、サンプル出力部３４、精度特定部３５、および強度決定部３６を備える。
耐性設定装置３０は、演算装置１０に敵対的サンプルに対する耐性を設定する。敵対的サンプルとは、演算装置１０に対する入力信号であって、学習済みモデルの誤判定を誘発するために摂動が加えられたものをいう。耐性設定装置３０は、耐性（耐性強度）に対応する演算精度の変化量を誘発する敵対的サンプを生成する。敵対的サンプルの例として、adversarial examplesが挙げられる。
耐性設定装置３０は、耐性特定部３１、生成モデル記憶部３２、サンプル生成部３３、サンプル出力部３４、精度特定部３５、および強度決定部３６を備える。
耐性特定部３１は、利用者から、敵対的サンプルに対する耐性強度として、敵対的サンプルによる演算装置１０による演算精度の変化量の入力を受け付ける。つまり、耐性設定装置３０は、入力された変化量に係る演算精度の低下をもたらす敵対的サンプルに対する耐性を、演算装置１０に持たせる。演算精度の変化量の例としては、演算精度の低下率などが挙げられる。演算精度は、例えば、出力信号の正答率、誤答率、誤差の標準偏差等である。演算精度の変化量は、所定の正答率、誤答率、誤差の標準偏差等、又はそれらの値の低下度合いを示す。
生成モデル記憶部３２は、入力信号から敵対的サンプルを生成するためのモデルである生成モデルを記憶する。生成モデルは、例えば以下の式（１）に示される関数によって表される。すなわち、敵対的サンプルｘａは、入力信号ｘに摂動を加算することで生成される。摂動は、入力信号ｘに対する演算モデルの勾配∇ｘＪの符号に摂動強度εを乗算することで得られる。なお、勾配∇ｘＪは、演算モデルに、入力信号ｘに対する正答信号を逆伝搬することで計算することができる。式（１）におけるｓｉｇｎは、符号を±の二値に量子化するステップ関数を表す。なお、式（１）は生成モデルの一例であり、生成モデルは、他の関数によって表されるものであってよい。
サンプル生成部３３は、生成モデル記憶部３２が記憶する生成モデルに、入力信号と正答信号の組み合わせである検証用データセットの入力信号を入力することで、敵対的サンプルを生成する。サンプル生成部３３は、演算モデルの摂動強度εを変化させて、摂動強度εに応じた敵対的サンプルを生成する。サンプル生成部３３は、入力信号に関連付けられた正答信号（出力信号）を、生成した敵対的サンプルの正答信号として特定する。摂動強度εが小さい場合、敵対的サンプルの入力信号は、検証用データセットの入力信号と類似した信号となる。一方、摂動強度εを大きくすると、敵対的サンプルの入力信号は、演算装置１０が誤って識別する確率が高い信号となる。前述したとおり、例えば、入力信号は画像を示し、出力信号は判別結果を示す。別の例では、入力信号はセンサ等による測定値を示し、出力信号は制御信号を示す。
サンプル出力部３４は、サンプル生成部３３が生成した敵対的サンプルを演算装置１０に出力する。つまり、サンプル出力部３４は、演算装置１０に敵対的サンプルを入力とする計算を実行させる。
精度特定部３５は、演算装置１０が敵対的サンプルに基づいて生成した出力信号と、サンプル生成部３３が特定した正答信号とを比較し、摂動強度ごとの演算装置１０の精度を特定する。
強度決定部３６は、耐性特定部３１が特定した耐性強度と、精度特定部３５が特定した演算装置１０の精度とに基づいて、演算装置１０の量子化部１２による量子化処理の量子化幅を決定する。量子化幅は、量子化パラメータの一例であり、ノイズ除去強度の一例である。具体的には、強度決定部３６は、耐性強度として与えられた変化量に対応する演算精度が変化した場合の摂動強度εの２倍の値を、量子化幅に決定する。詳細については後述する。強度決定部３６は、決定した量子化幅を演算装置１０に設定する。
《耐性設定システムの動作》
図２は、第１の実施形態に係る耐性設定システムによる耐性設定方法を示すフローチャートである。
まず、利用者は、耐性設定装置３０に、演算装置１０に求められる耐性強度として、演算精度の変化量を入力する。利用者は、所望の耐性強度として、演算装置１０の演算精度を低下させる度合いを入力する。耐性設定装置３０の耐性特定部３１は、入力された演算精度の変化量を受け付ける（ステップＳ１）。
サンプル生成部３３は、摂動強度の初期値としてゼロを設定する（ステップＳ２）。サンプル生成部３３は、既知の検証用データセットに係る入力信号と、設定された摂動強度と、生成モデル記憶部３２が記憶する生成モデルとに基づいて、複数の敵対的サンプルを生成する（ステップＳ３）。このように、サンプル生成部３３は、摂動強の摂動が加えられた入力信号を複数生成する。敵対的サンプルの生成については前述したとおりである。サンプル出力部３４は、生成した複数の敵対的サンプルを演算装置１０に出力する（ステップＳ４）。
図２は、第１の実施形態に係る耐性設定システムによる耐性設定方法を示すフローチャートである。
まず、利用者は、耐性設定装置３０に、演算装置１０に求められる耐性強度として、演算精度の変化量を入力する。利用者は、所望の耐性強度として、演算装置１０の演算精度を低下させる度合いを入力する。耐性設定装置３０の耐性特定部３１は、入力された演算精度の変化量を受け付ける（ステップＳ１）。
サンプル生成部３３は、摂動強度の初期値としてゼロを設定する（ステップＳ２）。サンプル生成部３３は、既知の検証用データセットに係る入力信号と、設定された摂動強度と、生成モデル記憶部３２が記憶する生成モデルとに基づいて、複数の敵対的サンプルを生成する（ステップＳ３）。このように、サンプル生成部３３は、摂動強の摂動が加えられた入力信号を複数生成する。敵対的サンプルの生成については前述したとおりである。サンプル出力部３４は、生成した複数の敵対的サンプルを演算装置１０に出力する（ステップＳ４）。
演算装置１０のサンプル入力部１１は、耐性設定装置３０から複数の敵対的サンプルの入力を受け付ける（ステップＳ５）。演算部１４は、受け付けた複数の敵対的サンプルのそれぞれを、演算モデル記憶部１３が記憶する演算モデルに入力することで、複数の出力信号を演算する（ステップＳ６）。なお、この時点において量子化幅の設定がなされておらず、量子化幅は初期値のゼロである。すなわち量子化部１２は量子化処理を行わない。演算部１４は、演算した複数の出力信号を耐性設定装置３０に出力する（ステップＳ７）。
耐性設定装置３０の精度特定部３５は、演算装置１０から複数の出力信号の入力を受け付ける（ステップＳ８）。精度特定部３５は、ステップＳ３において敵対的サンプルの生成に用いた入力信号に対応する正答信号と、受け付けた出力信号とを照合する（ステップＳ９）。精度特定部３５は、入力信号に対応する正答な出力信号（正答信号）を予め保持している。精度特定部３５は、照合結果に基づいて演算装置１０の演算精度を特定する（ステップＳ１０）。前述したとおり、演算精度の例としては、正答率、誤答率、誤差の標準偏差などが挙げられる。
精度特定部３５は、ステップＳ１０で特定した演算精度と、摂動強度ゼロの場合の敵対的サンプル（すなわち通常の入力信号）に係る演算精度とに基づいて、演算精度の変化量を特定する（ステップＳ１１）。なお、摂動強度ゼロの場合の敵対的サンプルに係る演算精度とは、耐性設定装置３０が耐性設定処理の最初のステップＳ１０において算出した演算精度である。
強度決定部３６は、ステップＳ１１で特定した演算精度の変化量が、ステップＳ１で受け付けた耐性強度に係る変化量以上であるか否かを判定する（ステップＳ１２）。
強度決定部３６は、ステップＳ１１で特定した演算精度の変化量が、ステップＳ１で受け付けた耐性強度に係る変化量以上であるか否かを判定する（ステップＳ１２）。
演算精度の変化量が耐性強度未満である場合（ステップＳ１２：ＮＯ）、サンプル生成部３３は、摂動強度を所定量増加させる（ステップＳ１３）。例えば、サンプル生成部３３は、入力信号の最大値の０．０１倍だけ、摂動強度を増加させる。そして、耐性設定装置３０は、処理をステップＳ３に戻し、増加後の摂動強度に基づく敵対的サンプルを生成する。同様にして、演算装置１０は、増加後の摂動強度に基づく複数の敵対的サンプルを入力として、複数の出力信号を演算する。耐性設定装置３０は、演算後の複数の出力信号に基づいて、増加後の摂動強度に対応する演算精度の変化量を特定し、ステップＳ１２の判定を行う。
他方、演算精度の変化量が耐性強度以上である場合（ステップＳ１２：ＹＥＳ）、強度決定部３６は、演算装置１０に設定する量子化幅を、現在の摂動強度の２倍の値に決定する（ステップＳ１４）。演算精度の変化量が耐性強度以上である場合は、現在の摂動強度に基づく敵対的サンプルが、所望の演算精度の変化量を実現している場合を示す。つまり、敵対的サンプルが、設定された耐性強度に対応していることを示す。量子化幅の設定については、後述する。
強度決定部３６は、決定した量子化幅を演算装置１０に出力する（ステップＳ１５）。演算装置１０の量子化部１２は、耐性設定装置３０から入力された量子化幅を、量子化処理に用いるパラメータとして設定する（ステップＳ１６）。
これにより、演算装置１０は、敵対的サンプルに対する耐性を獲得することができる。演算装置１０は、利用者によって入力された耐性強度に対応する敵対的サンプルに対する耐性を獲得（実現）するための量子化幅を決定できる。また、耐性を実現する最小の量子化幅を決定することができる。
強度決定部３６は、決定した量子化幅を演算装置１０に出力する（ステップＳ１５）。演算装置１０の量子化部１２は、耐性設定装置３０から入力された量子化幅を、量子化処理に用いるパラメータとして設定する（ステップＳ１６）。
これにより、演算装置１０は、敵対的サンプルに対する耐性を獲得することができる。演算装置１０は、利用者によって入力された耐性強度に対応する敵対的サンプルに対する耐性を獲得（実現）するための量子化幅を決定できる。また、耐性を実現する最小の量子化幅を決定することができる。
《耐性獲得後の演算装置の動作》
図３は、第１の実施形態に係る耐性獲得後の演算装置の動作を示すフローチャートである。
耐性設定装置３０による耐性設定処理によって量子化幅が設定された演算装置１０に入力信号が与えられると、サンプル入力部１１が入力信号を受け付ける（ステップＳ３１）。次に、量子化部１２は、図２のフローチャートに示した耐性設定処理によって設定された量子化幅を用いて、入力信号の量子化処理を行う（ステップＳ３２）。
具体的には、以下の式（２）に基づいて量子化処理を行う。すなわち、量子化部１２は、入力信号ｘと入力信号最小値ｘｍｉｎとの差を量子化幅ｄで除算した値を四捨五入して整数化する。そして、量子化部１２は、整数化された値に量子化幅ｄを乗算し、さらに入力信号最小値ｘｍｉｎを加算することで、量子化された入力信号ｘｑを得る。なお、式（２）において、ｉｎｔ関数は、変数として与えられた値の整数部を返す。つまり、ｉｎｔ（Ｘ＋０．５）は、四捨五入による整数化処理を示す。
図３は、第１の実施形態に係る耐性獲得後の演算装置の動作を示すフローチャートである。
耐性設定装置３０による耐性設定処理によって量子化幅が設定された演算装置１０に入力信号が与えられると、サンプル入力部１１が入力信号を受け付ける（ステップＳ３１）。次に、量子化部１２は、図２のフローチャートに示した耐性設定処理によって設定された量子化幅を用いて、入力信号の量子化処理を行う（ステップＳ３２）。
具体的には、以下の式（２）に基づいて量子化処理を行う。すなわち、量子化部１２は、入力信号ｘと入力信号最小値ｘｍｉｎとの差を量子化幅ｄで除算した値を四捨五入して整数化する。そして、量子化部１２は、整数化された値に量子化幅ｄを乗算し、さらに入力信号最小値ｘｍｉｎを加算することで、量子化された入力信号ｘｑを得る。なお、式（２）において、ｉｎｔ関数は、変数として与えられた値の整数部を返す。つまり、ｉｎｔ（Ｘ＋０．５）は、四捨五入による整数化処理を示す。
演算部１４は、量子化された入力信号を演算モデル記憶部１３が記憶する演算モデルに入力することで、出力信号を演算する（ステップＳ３３）。演算部１４は、演算した出力信号を出力する（ステップＳ３４）。
このように、演算装置１０は、耐性設定装置３０によって決定された量子化幅にしたがって入力信号を量子化する。決定された量子化幅にしたがって入力信号を量子化することで、設定された耐性強度に対応する敵対的サンプルが入力された場合においても演算精度を維持することができる。つまり、演算装置１０は、耐性強度に対応する敵対的サンプルに対して耐性を有する。
このように、演算装置１０は、耐性設定装置３０によって決定された量子化幅にしたがって入力信号を量子化する。決定された量子化幅にしたがって入力信号を量子化することで、設定された耐性強度に対応する敵対的サンプルが入力された場合においても演算精度を維持することができる。つまり、演算装置１０は、耐性強度に対応する敵対的サンプルに対して耐性を有する。
《作用・効果》
ここで、耐性設定装置３０によって量子化幅が設定されることで、演算装置１０が敵対的サンプルに対する耐性を得ることができる理由を説明する。
充分に学習された演算モデルは、所定の摂動強度に係る敵対的サンプルに対して脆弱であったとしても、ホワイトノイズなどの通常のノイズに対しては耐性を有する。すなわち、敵対的サンプルの摂動強度と同じ強度のホワイトノイズを入力信号に加えても、演算モデルの演算精度が有意に低下することはない。このことから、入力信号に含まれるノイズが敵対的サンプルに係る摂動と類似していなければ、演算モデルの演算精度が有意に低下しないことがわかる。
ここで、耐性設定装置３０によって量子化幅が設定されることで、演算装置１０が敵対的サンプルに対する耐性を得ることができる理由を説明する。
充分に学習された演算モデルは、所定の摂動強度に係る敵対的サンプルに対して脆弱であったとしても、ホワイトノイズなどの通常のノイズに対しては耐性を有する。すなわち、敵対的サンプルの摂動強度と同じ強度のホワイトノイズを入力信号に加えても、演算モデルの演算精度が有意に低下することはない。このことから、入力信号に含まれるノイズが敵対的サンプルに係る摂動と類似していなければ、演算モデルの演算精度が有意に低下しないことがわかる。
ここで、耐性設定装置３０によって設定される量子化幅は、敵対的サンプルの摂動強度の２倍である。そのため、当該量子化幅で正規の入力信号を量子化した量子化入力信号と、敵対的サンプル（入力信号）を量子化した量子化サンプルとが一致することとなる。前述したとおり、敵対的サンプルの生成時に用いられる式（１）では、ｓｉｇｎは、符号を±の二値に量子化する。このため、摂動強度εの２倍の値に量子化幅が設定される。この量子化によって生じる量子化ノイズは、敵対的サンプルの摂動とは異なる可能性が高い。そのため、量子化された入力信号を演算モデルの入力とすることで、敵対的サンプルが入力されたとしても、演算精度の低下を防ぐことができる。なお、演算モデルは、もとより敵対的サンプルの摂動でないノイズには耐性を有するため、演算装置１０は、量子化幅の設定後に演算モデルの再学習を行わなくても一定の精度での演算を行うことができる。
このように、第１の実施形態に係る耐性設定装置３０は、敵対的サンプルに対して演算装置１０に求められる耐性強度を特定し、当該耐性強度に基づいて入力信号の量子化幅を決定する。これにより、耐性設定装置３０は、演算装置１０に耐性を獲得させるために設定すべき量子化幅を容易に決定することができる。
また、第１の実施形態に係る耐性設定装置３０は、敵対的サンプルの摂動の強度に基づいて耐性強度を特定する。これにより、耐性設定装置３０は、所定の敵対的サンプルの摂動を無効化するように量子化幅を設定することができる。
また、第１の実施形態に係る耐性設定装置３０は、複数の摂動強度ごとの敵対的サンプルに対する演算装置１０の演算精度に基づいて耐性強度を特定する。これにより、利用者は容易に適切な耐性強度を設定することができる。
なお、第１の実施形態によれば、耐性設定装置３０は、利用者に入力された耐性強度と演算精度の変化量を比較しながら摂動強度を増加させることで、適切な量子化幅を決定するが、これに限られない。例えば、耐性設定装置３０は、複数の摂動強度についてそれぞれ演算精度を利用者に提示し、提示された演算精度に基づいて利用者が耐性強度を耐性設定装置３０に入力するものであってもよい。
また、第１の実施形態に係る耐性設定装置３０は、複数の摂動強度ごとの敵対的サンプルに対する演算装置１０の演算精度に基づいて耐性強度を特定する。これにより、利用者は容易に適切な耐性強度を設定することができる。
なお、第１の実施形態によれば、耐性設定装置３０は、利用者に入力された耐性強度と演算精度の変化量を比較しながら摂動強度を増加させることで、適切な量子化幅を決定するが、これに限られない。例えば、耐性設定装置３０は、複数の摂動強度についてそれぞれ演算精度を利用者に提示し、提示された演算精度に基づいて利用者が耐性強度を耐性設定装置３０に入力するものであってもよい。
〈第２の実施形態〉
第２の実施形態に係る耐性設定システムは、具体的な敵対的サンプルが既知である場合に、当該既知の敵対的サンプルに対する耐性を演算装置１０に獲得させる。
図４は、第２の実施形態に係る耐性設定システムの構成を示す概略ブロック図である。
第２の実施形態に係る耐性設定システムは、第１の実施形態と耐性設定装置３０の構成が異なる。第２の実施形態に係る耐性設定装置３０は、耐性特定部３１の動作が第１の実施形態と異なる。また第２の実施形態に係る耐性設定装置３０は、サンプル生成部３３、サンプル出力部３４、および精度特定部３５を備えなくてもよい。
第２の実施形態に係る耐性設定システムは、具体的な敵対的サンプルが既知である場合に、当該既知の敵対的サンプルに対する耐性を演算装置１０に獲得させる。
図４は、第２の実施形態に係る耐性設定システムの構成を示す概略ブロック図である。
第２の実施形態に係る耐性設定システムは、第１の実施形態と耐性設定装置３０の構成が異なる。第２の実施形態に係る耐性設定装置３０は、耐性特定部３１の動作が第１の実施形態と異なる。また第２の実施形態に係る耐性設定装置３０は、サンプル生成部３３、サンプル出力部３４、および精度特定部３５を備えなくてもよい。
耐性特定部３１は、生成モデル記憶部３２が記憶する生成モデルを解析し、耐性強度として敵対的サンプルの摂動強度を特定する。つまり、耐性設定装置３０は、特定した摂動強度に係る敵対的サンプルに対する耐性を、演算装置１０に持たせる。
《耐性設定システムの動作》
図５は、第２の実施形態に係る耐性設定システムによる耐性設定方法を示すフローチャートである。
耐性特定部３１は、生成モデル記憶部３２が記憶する生成モデルを解析し、耐性強度として敵対的サンプルの摂動強度を特定する（ステップＳ１０１）。生成モデルを解析することで摂動強度を特定する種々の技術がある。強度決定部３６は、演算装置１０に設定する量子化幅を、ステップＳ１０１で特定した摂動強度の２倍の値に決定する（ステップＳ１０２）。強度決定部３６は、決定した量子化幅を演算装置１０に出力する（ステップＳ１０３）。演算装置１０の量子化部１２は、耐性設定装置３０から入力された量子化幅を、量子化処理に用いるパラメータとして設定する（ステップＳ１０４）。
これにより、演算装置１０は、敵対的サンプルに対する耐性を獲得することができる。
図５は、第２の実施形態に係る耐性設定システムによる耐性設定方法を示すフローチャートである。
耐性特定部３１は、生成モデル記憶部３２が記憶する生成モデルを解析し、耐性強度として敵対的サンプルの摂動強度を特定する（ステップＳ１０１）。生成モデルを解析することで摂動強度を特定する種々の技術がある。強度決定部３６は、演算装置１０に設定する量子化幅を、ステップＳ１０１で特定した摂動強度の２倍の値に決定する（ステップＳ１０２）。強度決定部３６は、決定した量子化幅を演算装置１０に出力する（ステップＳ１０３）。演算装置１０の量子化部１２は、耐性設定装置３０から入力された量子化幅を、量子化処理に用いるパラメータとして設定する（ステップＳ１０４）。
これにより、演算装置１０は、敵対的サンプルに対する耐性を獲得することができる。
《作用・効果》
このように、第２の実施形態に係る耐性設定装置３０は、既知の敵対的サンプルの摂動強度に基づいて耐性強度を特定し、当該耐性強度に基づいて入力信号の量子化幅を決定する。これにより、耐性設定装置３０は、演算装置１０に耐性を獲得させるために設定すべき量子化幅を容易に決定することができる。
なお、第２の実施形態に係る耐性設定装置３０は、敵対的サンプルの摂動強度に基づいて耐性強度を特定するが、これに限られない。例えば、他の実施形態に係る耐性設定装置３０は、敵対的サンプルと入力信号の分布距離指標に基づいて耐性強度を特定してもよい。分布距離指標の例としては、ＫＬダイバージェンス（Kullback Leibler divergence）が挙げられる。敵対的サンプルと入力信号の分布距離指標は、摂動強度に関する値である。
また、第２の実施形態に係る耐性設定装置３０は、生成モデルの解析に基づいて摂動強度を特定するが、これに限られない。例えば、他の実施形態においては、耐性設定装置３０は、生成モデルを記憶せず、敵対的サンプルと入力信号とを解析することで摂動強度を特定するが、これに限られない。
このように、第２の実施形態に係る耐性設定装置３０は、既知の敵対的サンプルの摂動強度に基づいて耐性強度を特定し、当該耐性強度に基づいて入力信号の量子化幅を決定する。これにより、耐性設定装置３０は、演算装置１０に耐性を獲得させるために設定すべき量子化幅を容易に決定することができる。
なお、第２の実施形態に係る耐性設定装置３０は、敵対的サンプルの摂動強度に基づいて耐性強度を特定するが、これに限られない。例えば、他の実施形態に係る耐性設定装置３０は、敵対的サンプルと入力信号の分布距離指標に基づいて耐性強度を特定してもよい。分布距離指標の例としては、ＫＬダイバージェンス（Kullback Leibler divergence）が挙げられる。敵対的サンプルと入力信号の分布距離指標は、摂動強度に関する値である。
また、第２の実施形態に係る耐性設定装置３０は、生成モデルの解析に基づいて摂動強度を特定するが、これに限られない。例えば、他の実施形態においては、耐性設定装置３０は、生成モデルを記憶せず、敵対的サンプルと入力信号とを解析することで摂動強度を特定するが、これに限られない。
〈第３の実施形態〉
第２の実施形態に係る耐性設定システムは、具体的な敵対的サンプルに対する脆弱性を確実に封じるものである。他方、演算装置１０は、量子化によって敵対的サンプルに対する耐性を得るものである。量子化幅が大きいほど情報の欠落が増加する。そのため、敵対的サンプルに対する耐性を獲得しながら、情報の欠落も防止したいという要望が生じ得る。
第３の実施形態に係る耐性設定システムは、具体的な敵対的サンプルが既知である場合に、当該既知の敵対的サンプルに対して利用者が求める程度の演算精度が得られる程度の耐性を演算装置１０に獲得させる。
第２の実施形態に係る耐性設定システムは、具体的な敵対的サンプルに対する脆弱性を確実に封じるものである。他方、演算装置１０は、量子化によって敵対的サンプルに対する耐性を得るものである。量子化幅が大きいほど情報の欠落が増加する。そのため、敵対的サンプルに対する耐性を獲得しながら、情報の欠落も防止したいという要望が生じ得る。
第３の実施形態に係る耐性設定システムは、具体的な敵対的サンプルが既知である場合に、当該既知の敵対的サンプルに対して利用者が求める程度の演算精度が得られる程度の耐性を演算装置１０に獲得させる。
《耐性設定装置の構成》
図６は、第３の実施形態に係る耐性設定システムの構成を示す概略ブロック図である。
第３の実施形態に係る耐性設定システム１の耐性設定装置３０は、第１の実施形態の構成に加え、候補設定部３７、および提示部３８をさらに備える。第２の実施形態に係る耐性設定装置３０は、サンプル生成部３３、精度特定部３５、耐性特定部３１、および強度決定部３６の動作が第１の実施形態と異なる。
図６は、第３の実施形態に係る耐性設定システムの構成を示す概略ブロック図である。
第３の実施形態に係る耐性設定システム１の耐性設定装置３０は、第１の実施形態の構成に加え、候補設定部３７、および提示部３８をさらに備える。第２の実施形態に係る耐性設定装置３０は、サンプル生成部３３、精度特定部３５、耐性特定部３１、および強度決定部３６の動作が第１の実施形態と異なる。
候補設定部３７は、演算装置１０の量子化部１２に対し、複数の量子化幅の候補を設定する。これにより、演算装置１０は、異なる量子化幅で量子化された敵対的サンプルについて、演算を行うこととなる。
サンプル生成部３３は、生成モデル記憶部３２が記憶する生成モデルにおいて規定された摂動強度を用いて敵対的サンプルを生成する。つまり、サンプル生成部３３は、予め定められた摂動強度に係る敵対的サンプルを生成する。
精度特定部３５は、演算装置１０が敵対的サンプルに基づいて生成した出力信号と、サンプル生成部３３が特定した正答信号とを比較し、演算装置１０の演算精度を特定する。精度特定部３５は、候補設定部３７が設定した量子化幅の候補ごとの、演算装置１０の演算精度を特定する。
提示部３８は、精度特定部３５が特定した量子化幅の候補ごとの演算精度をディスプレイなどに提示する。
耐性特定部３１は、利用者から耐性強度として、提示部３８によって提示された量子化幅の候補ごとの演算精度の１つの選択を受け付ける。つまり、耐性設定装置３０は、入力された（受け付けた）演算精度を実現し得る程度の敵対的サンプルに対する耐性を、演算装置１０に持たせる。
強度決定部３６は、耐性特定部３１が特定した耐性強度に係る演算精度に係る量子化幅を、演算装置１０の量子化部１２による量子化処理の量子化幅に決定する。強度決定部３６は、決定した量子化幅を演算装置１０に設定する。
《耐性設定システムの動作》
図７は、第３の実施形態に係る耐性設定システムによる耐性設定方法を示すフローチャートである。
耐性設定装置３０の候補設定部３７は、複数の量子化幅の候補（例えば、１ビットから１６ビットまでの１６個の量子化幅の候補）を１つずつ選択する（ステップＳ２０１）。そして、耐性設定装置３０は、以下のステップＳ２０２からステップＳ２１２までの処理を、すべての量子化幅の候補について実行する。
図７は、第３の実施形態に係る耐性設定システムによる耐性設定方法を示すフローチャートである。
耐性設定装置３０の候補設定部３７は、複数の量子化幅の候補（例えば、１ビットから１６ビットまでの１６個の量子化幅の候補）を１つずつ選択する（ステップＳ２０１）。そして、耐性設定装置３０は、以下のステップＳ２０２からステップＳ２１２までの処理を、すべての量子化幅の候補について実行する。
候補設定部３７は、ステップＳ２０１で選択した量子化幅候補を演算装置１０に出力する（ステップＳ２０２）。演算装置１０の量子化部１２は、耐性設定装置３０から受け付けた量子化幅の候補を、量子化処理に用いるパラメータに設定する（ステップＳ２０３）。
サンプル生成部３３は、既知の検証用データセットに係る入力信号と、生成モデル記憶部３２が記憶する生成モデルとに基づいて、複数の敵対的サンプルを生成する（ステップＳ２０４）。サンプル出力部３４は、生成した複数の敵対的サンプルを演算装置１０に出力する（ステップＳ２０５）。
演算装置１０のサンプル入力部１１は、耐性設定装置３０から複数の敵対的サンプルの入力を受け付ける（ステップＳ２０６）。量子化部１２は、ステップＳ２０３で設定した量子化幅の候補を用いて複数の敵対的サンプルを量子化する（ステップＳ２０７）。演算部１４は、量子化された複数の敵対的サンプルをそれぞれ演算モデル記憶部１３が記憶する演算モデルに入力することで、複数の出力信号を演算する（ステップＳ２０８）。演算部１４は、演算した複数の出力信号を耐性設定装置３０に出力する（ステップＳ２０９）。
耐性設定装置３０の精度特定部３５は、演算装置１０から複数の出力信号の入力を受け付ける（ステップＳ２１０）。精度特定部３５は、ステップＳ２０４において敵対的サンプルの生成に用いた入力信号に対応する正答信号と、受け付けた出力信号とを照合する（ステップＳ２１１）。精度特定部３５は、照合結果に基づいて演算装置１０の演算精度を特定する（ステップＳ２１２）。上記処理を量子化幅の候補ごとに実行することで、精度特定部３５は、量子化幅の候補ごとの演算精度を特定することができる。
精度特定部３５がすべての量子化幅の候補について演算精度を特定すると、提示部３８は、特定した量子化幅候の補ごとの演算精度をディスプレイなどに提示する（ステップＳ２１３）。利用者は、ディスプレイを視認し、表示された複数の演算精度の中から演算装置１０に求める敵対的サンプルに対する耐性としての演算精度を決定し、耐性設定装置３０に入力する。
耐性特定部３１は、利用者から耐性強度として、提示部３８によって提示された量子化幅候補ごとの演算精度の１つの選択を受け付ける（ステップＳ２１４）。
耐性特定部３１は、利用者から耐性強度として、提示部３８によって提示された量子化幅候補ごとの演算精度の１つの選択を受け付ける（ステップＳ２１４）。
強度決定部３６は、ステップＳ２１４で選択された演算精度に係る量子化幅の候補を、演算装置１０の量子化部１２による量子化処理の量子化幅に決定する。強度決定部３６は、決定した量子化幅を演算装置１０に出力する（ステップＳ２１５）。演算装置１０の量子化部１２は、耐性設定装置３０から入力された量子化幅を、量子化処理に用いるパラメータとして設定する（ステップＳ２１６）。
これにより、演算装置１０は、敵対的サンプルに対する所望の耐性を獲得することができる。
これにより、演算装置１０は、敵対的サンプルに対する所望の耐性を獲得することができる。
《作用・効果》
このように、第３の実施形態に係る耐性設定システム１は、複数の量子化幅候補ごとに、当該量子化幅候補に基づいて量子化処理された敵対的サンプルに対する演算装置１０の出力精度を特定する。また、耐性設定システム１は、複数の量子化幅の候補のうち所望の耐性強度を満たす量子化幅候補を、演算装置１０の量子化幅に決定する。これにより、利用者は、敵対的サンプルに対する耐性を獲得しながら、情報の欠落も防止するような所望の耐性を演算装置１０に獲得させることができる。
このように、第３の実施形態に係る耐性設定システム１は、複数の量子化幅候補ごとに、当該量子化幅候補に基づいて量子化処理された敵対的サンプルに対する演算装置１０の出力精度を特定する。また、耐性設定システム１は、複数の量子化幅の候補のうち所望の耐性強度を満たす量子化幅候補を、演算装置１０の量子化幅に決定する。これにより、利用者は、敵対的サンプルに対する耐性を獲得しながら、情報の欠落も防止するような所望の耐性を演算装置１０に獲得させることができる。
〈第４の実施形態〉
図８は、第４の実施形態に係る耐性設定システムの構成を示す概略ブロック図である。
第４の実施形態に係る耐性設定システム１は、第１の実施形態と演算装置１０の構成が異なる。第４の実施形態に係る演算装置１０は、第１の実施形態の構成に加え、ノイズ発生部１５を備え、量子化部１２の計算が第１の実施形態と異なる。
図８は、第４の実施形態に係る耐性設定システムの構成を示す概略ブロック図である。
第４の実施形態に係る耐性設定システム１は、第１の実施形態と演算装置１０の構成が異なる。第４の実施形態に係る演算装置１０は、第１の実施形態の構成に加え、ノイズ発生部１５を備え、量子化部１２の計算が第１の実施形態と異なる。
ノイズ発生部１５は、０以上１以下の乱数を発生させる。乱数の例としては、一様乱数およびガウス分布による乱数などが挙げられる。また、他の実施形態においては、ノイズ発生部１５は、乱数に代えて疑似乱数を発生させてもよい。乱数および疑似乱数は、ノイズの一例である。
量子化部１２は、以下の式（３）に基づいて量子化処理を行う。すなわち、量子化部１２は、入力信号ｘと入力信号最小値ｘｍｉｎとの差を量子化幅ｄで除算した値に、ノイズ発生部１５が発生させた乱数を加算したものの整数部を抽出する。量子化部１２は、抽出された整数部に量子化幅ｄを乗算し、さらに入力信号最小値ｘｍｉｎを加算することで、量子化された入力信号ｘｑを得る。
量子化部１２は、以下の式（３）に基づいて量子化処理を行う。すなわち、量子化部１２は、入力信号ｘと入力信号最小値ｘｍｉｎとの差を量子化幅ｄで除算した値に、ノイズ発生部１５が発生させた乱数を加算したものの整数部を抽出する。量子化部１２は、抽出された整数部に量子化幅ｄを乗算し、さらに入力信号最小値ｘｍｉｎを加算することで、量子化された入力信号ｘｑを得る。
《作用・効果》
第４の実施形態によれば、演算装置１０は、乱数を用いて入力信号の量子化を行う。すなわち、演算装置１０は乱数を用いて確率的に量子化を行う。これにより、演算装置１０に同じ入力信号を入力しても、演算装置１０が生成する出力信号は少しずつ変化する。そのため、演算装置１０は、入力信号と出力信号のペアから演算装置１０が備える演算モデルを推定することを困難にすることができる。演算モデルの推定が困難になることで、攻撃者にとって敵対的サンプルの生成モデルを作成することが困難になるため、演算装置１０が敵対的サンプルによる攻撃を受けるリスクを低減させることができる。
第４の実施形態によれば、演算装置１０は、乱数を用いて入力信号の量子化を行う。すなわち、演算装置１０は乱数を用いて確率的に量子化を行う。これにより、演算装置１０に同じ入力信号を入力しても、演算装置１０が生成する出力信号は少しずつ変化する。そのため、演算装置１０は、入力信号と出力信号のペアから演算装置１０が備える演算モデルを推定することを困難にすることができる。演算モデルの推定が困難になることで、攻撃者にとって敵対的サンプルの生成モデルを作成することが困難になるため、演算装置１０が敵対的サンプルによる攻撃を受けるリスクを低減させることができる。
なお、第４の実施形態では、上記の式（３）に基づいて、乱数を用いた量子化を行うが、これに限られない。例えば、他の実施形態においては、演算装置１０は、上記の式（２）に、±ｄ／２の範囲の乱数を加算することで量子化を行うものであってもよい。
〈第５の実施形態〉
第５の実施形態では、演算装置１０の敵対的サンプルに対する耐性を評価する耐性評価システムについて説明する。
図９は、第５の実施形態に係る耐性評価システムの構成を示す概略ブロック図である。
耐性評価システム２は、演算装置１０と耐性評価装置５０とを備える。演算装置１０の構成は、第１の実施形態と同様であるが、第５の実施形態に係る演算装置１０は、量子化部１２を備えなくてもよい。
第５の実施形態では、演算装置１０の敵対的サンプルに対する耐性を評価する耐性評価システムについて説明する。
図９は、第５の実施形態に係る耐性評価システムの構成を示す概略ブロック図である。
耐性評価システム２は、演算装置１０と耐性評価装置５０とを備える。演算装置１０の構成は、第１の実施形態と同様であるが、第５の実施形態に係る演算装置１０は、量子化部１２を備えなくてもよい。
《耐性評価装置の構成》
耐性評価装置５０は、演算装置１０の敵対的サンプルに対する耐性を評価する。
耐性評価装置５０は、生成モデル記憶部３２、サンプル生成部３３、サンプル出力部３４、精度特定部３５、および提示部３８を備える。生成モデル記憶部３２、サンプル生成部３３、サンプル出力部３４、および精度特定部３５は、第１の実施形態の耐性設定装置３０が備える生成モデル記憶部３２、サンプル生成部３３、サンプル出力部３４、および精度特定部３５と同様の処理を行う。
提示部３８は、敵対的サンプルの摂動強度ごとの演算精度を提示する。
耐性評価装置５０は、演算装置１０の敵対的サンプルに対する耐性を評価する。
耐性評価装置５０は、生成モデル記憶部３２、サンプル生成部３３、サンプル出力部３４、精度特定部３５、および提示部３８を備える。生成モデル記憶部３２、サンプル生成部３３、サンプル出力部３４、および精度特定部３５は、第１の実施形態の耐性設定装置３０が備える生成モデル記憶部３２、サンプル生成部３３、サンプル出力部３４、および精度特定部３５と同様の処理を行う。
提示部３８は、敵対的サンプルの摂動強度ごとの演算精度を提示する。
《耐性設定システムの動作》
図１０は、第５の実施形態に係る耐性評価システムによる耐性評価方法を示すフローチャートである。
耐性評価装置５０は、複数の摂動強度（例えば、１ビットから１６ビットまでの１６個の摂動強度）を１つずつ選択し（ステップＳ４０１）、以下のステップＳ４０２からステップＳ４０９までの処理をすべての摂動強度について実行する。
図１０は、第５の実施形態に係る耐性評価システムによる耐性評価方法を示すフローチャートである。
耐性評価装置５０は、複数の摂動強度（例えば、１ビットから１６ビットまでの１６個の摂動強度）を１つずつ選択し（ステップＳ４０１）、以下のステップＳ４０２からステップＳ４０９までの処理をすべての摂動強度について実行する。
既知の検証用データセットに係る入力信号と、ステップＳ４０１で選択した摂動強度と、生成モデル記憶部３２が記憶する生成モデルとに基づいて、複数の敵対的サンプルを生成する（ステップＳ４０２）。サンプル出力部３４は、生成した複数の敵対的サンプルを演算装置１０に出力する（ステップＳ４０３）。
演算装置１０のサンプル入力部１１は、耐性設定装置３０から複数の敵対的サンプルの入力を受け付ける（ステップＳ４０４）。演算部１４は、受け付けた複数の敵対的サンプルをそれぞれ演算モデル記憶部１３が記憶する演算モデルに入力することで、複数の出力信号を演算する（ステップＳ４０５）。演算部１４は、演算した複数の出力信号を耐性設定装置３０に出力する（ステップＳ４０６）。
耐性設定装置３０の精度特定部３５は、演算装置１０から複数の出力信号の入力を受け付ける（ステップＳ４０７）。精度特定部３５は、ステップＳ４０２において敵対的サンプルの生成に用いた入力信号に対応する正答信号と、受け付けた出力信号とを照合する（ステップＳ４０８）。精度特定部３５は、照合結果に基づいて演算装置１０の演算精度を特定する（ステップＳ４０９）。上記処理を摂動強度ごとに実行することで、精度特定部３５は、摂動強度ごとの演算精度を特定することができる。
精度特定部３５がすべての摂動強度について演算精度を特定すると、提示部３８は、特定した摂動強度ごとの演算精度をディスプレイなどに提示する（ステップＳ４１０）。利用者は、ディスプレイを視認することで、演算装置１０がどの程度の摂動強度で演算精度の低下が生じるのかを認識することができる。すなわち、耐性評価装置５０を用いることで、利用者は演算装置１０の敵対的サンプルに対する耐性を認識することができる。
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。例えば他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。例えば他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態に係る耐性設定装置３０および演算装置１０は、入力信号の量子化処理によって敵対的サンプルに対する耐性を向上させるが、これに限られない。例えば、他の実施形態に係る耐性設定装置３０および演算装置１０は、ローパスフィルタ処理や、他のノイズ除去処理によって敵対的サンプルに対する耐性を向上させてもよい。フィルタによって耐性を向上させる場合、耐性設定装置３０の強度決定部３６は、ノイズ除去強度としてフィルタ重みを決定する。
また、上述の実施形態に係る耐性設定システム１の演算装置１０は、量子化幅の設定後に再学習を行わないが、他の実施形態においては量子化幅の設定後に再学習を行ってもよい。なお、再学習を行う場合にも、通常の敵対的サンプルを教師データに用いる再学習と比較して短い計算時間で再学習を終えることができる。
〈基本構成〉
《耐性設定装置の基本構成》
図１１は、耐性設定装置の基本構成を示す概略ブロック図である。
上述した実施形態では、耐性設定装置３０の一実施形態として図１、図４、図６、および図８に示す構成について説明したが、耐性設定装置３０の基本構成は、図１１に示すとおりである。
すなわち、耐性設定装置３０は、耐性特定部３０１および強度決定部３０２を基本構成とする。
《耐性設定装置の基本構成》
図１１は、耐性設定装置の基本構成を示す概略ブロック図である。
上述した実施形態では、耐性設定装置３０の一実施形態として図１、図４、図６、および図８に示す構成について説明したが、耐性設定装置３０の基本構成は、図１１に示すとおりである。
すなわち、耐性設定装置３０は、耐性特定部３０１および強度決定部３０２を基本構成とする。
耐性特定部３０１は、学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、学習済みモデルを用いる演算装置に求められる耐性強度を特定する。耐性特定部３０１は、上述の実施形態の耐性特定部３１に相当する。
強度決定部３０２は、耐性強度に基づいて、入力信号のノイズ除去強度を決定する。強度決定部３０２は、上述の実施形態の強度決定部３６に相当する。
これにより、耐性設定装置３０は、学習済みモデルを用いる演算装置に、敵対的サンプルに対する耐性を簡易にもたらすことができる。
強度決定部３０２は、耐性強度に基づいて、入力信号のノイズ除去強度を決定する。強度決定部３０２は、上述の実施形態の強度決定部３６に相当する。
これにより、耐性設定装置３０は、学習済みモデルを用いる演算装置に、敵対的サンプルに対する耐性を簡易にもたらすことができる。
《演算装置の基本構成》
図１２は、演算装置の基本構成を示す概略ブロック図である。
上述した実施形態では、演算装置１０の一実施形態として図１、図４、図６、および図８に示す構成について説明したが、演算装置１０の基本構成は、図１１に示すとおりである。
すなわち、演算装置１０は、ノイズ除去部１０１および演算部１０２を基本構成とする。
図１２は、演算装置の基本構成を示す概略ブロック図である。
上述した実施形態では、演算装置１０の一実施形態として図１、図４、図６、および図８に示す構成について説明したが、演算装置１０の基本構成は、図１１に示すとおりである。
すなわち、演算装置１０は、ノイズ除去部１０１および演算部１０２を基本構成とする。
ノイズ除去部１０１は、耐性設定装置３０による耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行う。ノイズ除去部１０１は、上述の実施形態の量子化部１２に相当する。
演算部１０２は、ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得る。演算部１０２は、上述の実施形態の演算部１４に相当する。
これにより、演算装置１０は、敵対的サンプルに対する耐性を簡易に獲得することができる。
演算部１０２は、ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得る。演算部１０２は、上述の実施形態の演算部１４に相当する。
これにより、演算装置１０は、敵対的サンプルに対する耐性を簡易に獲得することができる。
《耐性評価装置の基本構成》
図１３は、耐性設定装置の基本構成を示す概略ブロック図である。
上述した実施形態では、耐性評価装置５０の一実施形態として図９に示す構成について説明したが、耐性評価装置５０の基本構成は、図１３に示すとおりである。
すなわち、耐性評価装置５０は、サンプル生成部５０１、精度特定部５０２、および提示部５０３を基本構成とする。
図１３は、耐性設定装置の基本構成を示す概略ブロック図である。
上述した実施形態では、耐性評価装置５０の一実施形態として図９に示す構成について説明したが、耐性評価装置５０の基本構成は、図１３に示すとおりである。
すなわち、耐性評価装置５０は、サンプル生成部５０１、精度特定部５０２、および提示部５０３を基本構成とする。
サンプル生成部５０１は、学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成する。サンプル生成部５０１は、上述の実施形態のサンプル生成部３３に相当する。
精度特定部５０２は、複数の摂動の強度ごとに、敵対的サンプルに対する学習済みモデルを用いる演算装置の出力精度を特定する。精度特定部５０２は、上述の実施形態の精度特定部３５に相当する。
提示部５０３は、複数の摂動の強度ごとの出力精度に基づいて、演算装置の敵対的サンプルに対する耐性強度を示す情報を提示する。提示部５０３は、上述の実施形態の提示部３８に相当する。
これにより、耐性評価装置５０は、学習済みモデルを用いる演算装置の敵対的サンプルに対する耐性を評価することができる。
精度特定部５０２は、複数の摂動の強度ごとに、敵対的サンプルに対する学習済みモデルを用いる演算装置の出力精度を特定する。精度特定部５０２は、上述の実施形態の精度特定部３５に相当する。
提示部５０３は、複数の摂動の強度ごとの出力精度に基づいて、演算装置の敵対的サンプルに対する耐性強度を示す情報を提示する。提示部５０３は、上述の実施形態の提示部３８に相当する。
これにより、耐性評価装置５０は、学習済みモデルを用いる演算装置の敵対的サンプルに対する耐性を評価することができる。
〈コンピュータ構成〉
図１４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、インタフェース９４を備える。
上述の演算装置１０、耐性設定装置３０、および耐性評価装置５０は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。プロセッサ９１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
図１４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、インタフェース９４を備える。
上述の演算装置１０、耐性設定装置３０、および耐性評価装置５０は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。プロセッサ９１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ９０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。
ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、当該プログラムは、前述した機能をストレージ９３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
さらに、当該プログラムは、前述した機能をストレージ９３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定する耐性特定部と、
前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定する強度決定部と
を備える耐性設定装置。
学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定する耐性特定部と、
前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定する強度決定部と
を備える耐性設定装置。
（付記２）
前記ノイズ除去強度は、前記入力信号の量子化パラメータである
付記１に記載の耐性設定装置。
前記ノイズ除去強度は、前記入力信号の量子化パラメータである
付記１に記載の耐性設定装置。
（付記３）
値の異なる複数のノイズ除去強度候補ごとに、当該ノイズ除去強度候補に基づいてノイズ除去処理された前記敵対的サンプルに対する前記演算装置の出力精度を特定する精度特定部を備え、
前記耐性特定部は、前記複数のノイズ除去強度候補ごとの出力精度の中から、前記耐性強度を満たす出力精度を特定し、
前記強度決定部は、特定された出力精度に係るノイズ除去強度候補を、前記入力信号のノイズ除去強度に決定する
付記１または付記２に記載の耐性設定装置。
値の異なる複数のノイズ除去強度候補ごとに、当該ノイズ除去強度候補に基づいてノイズ除去処理された前記敵対的サンプルに対する前記演算装置の出力精度を特定する精度特定部を備え、
前記耐性特定部は、前記複数のノイズ除去強度候補ごとの出力精度の中から、前記耐性強度を満たす出力精度を特定し、
前記強度決定部は、特定された出力精度に係るノイズ除去強度候補を、前記入力信号のノイズ除去強度に決定する
付記１または付記２に記載の耐性設定装置。
（付記４）
前記耐性特定部は、前記敵対的サンプルの前記摂動の強度に基づいて前記耐性強度を特定する
付記１または付記２に記載の耐性設定装置。
前記耐性特定部は、前記敵対的サンプルの前記摂動の強度に基づいて前記耐性強度を特定する
付記１または付記２に記載の耐性設定装置。
（付記５）
複数の摂動の強度ごとに、複数の敵対的サンプルを生成するサンプル生成部と、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記演算装置の出力精度を特定する精度特定部と、
を備え、
前記耐性特定部は、前記摂動の強度ごとの出力精度に基づいて前記耐性強度を特定する
付記４に記載の耐性設定装置。
複数の摂動の強度ごとに、複数の敵対的サンプルを生成するサンプル生成部と、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記演算装置の出力精度を特定する精度特定部と、
を備え、
前記耐性特定部は、前記摂動の強度ごとの出力精度に基づいて前記耐性強度を特定する
付記４に記載の耐性設定装置。
（付記６）
学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定するステップと、
前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定するステップと
を備える耐性設定方法。
学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定するステップと、
前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定するステップと
を備える耐性設定方法。
（付記７）
学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定するステップと、
前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定するステップと
をコンピュータに実行させるための耐性設定プログラム。
学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定するステップと、
前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定するステップと
をコンピュータに実行させるための耐性設定プログラム。
（付記８）
学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成するサンプル生成部と、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定する精度特定部と、
前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示する提示部と
を備える耐性評価装置。
学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成するサンプル生成部と、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定する精度特定部と、
前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示する提示部と
を備える耐性評価装置。
（付記９）
学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成するステップと、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定するステップと、
前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示するステップと
を備える耐性評価方法。
学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成するステップと、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定するステップと、
前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示するステップと
を備える耐性評価方法。
（付記１０）
学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成するステップと、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定するステップと、
前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示するステップと
をコンピュータに実行させるための耐性評価プログラム。
学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成するステップと、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定するステップと、
前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示するステップと
をコンピュータに実行させるための耐性評価プログラム。
（付記１１）
付記６に記載の耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行うノイズ除去部と、
前記ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得る演算部と
を備える演算装置。
付記６に記載の耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行うノイズ除去部と、
前記ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得る演算部と
を備える演算装置。
（付記１２）
乱数を発生させる乱数発生部と、
前記ノイズ除去部は、前記乱数を用いて、前記ノイズ除去強度に基づく前記入力信号のノイズ除去処理を行う
付記１１に記載の演算装置。
乱数を発生させる乱数発生部と、
前記ノイズ除去部は、前記乱数を用いて、前記ノイズ除去強度に基づく前記入力信号のノイズ除去処理を行う
付記１１に記載の演算装置。
（付記１３）
付記６に記載の耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行うステップと、
前記ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得るステップと
を備える演算方法。
付記６に記載の耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行うステップと、
前記ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得るステップと
を備える演算方法。
（付記１４）
付記６に記載の耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行うステップと、
前記ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得るステップと
をコンピュータに実行させるためのプログラム。
付記６に記載の耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行うステップと、
前記ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得るステップと
をコンピュータに実行させるためのプログラム。
この出願は、２０１９年５月１０日に日本出願された特願２０１９－０９００６６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
学習済みモデルを用いる演算装置に、敵対的サンプルに対する耐性を簡易にもたらすことができる。
１ 耐性設定システム
２ 耐性評価システム
１０ 演算装置
１１ サンプル入力部
１２ 量子化部
１３ 演算モデル記憶部
１４ 演算部
１５ ノイズ発生部
３０ 耐性設定装置
３１ 耐性特定部
３２ 生成モデル記憶部
３３ サンプル生成部
３４ サンプル出力部
３５ 精度特定部
３６ 強度決定部
３７ 候補設定部
３８ 提示部
５０ 耐性評価装置
２ 耐性評価システム
１０ 演算装置
１１ サンプル入力部
１２ 量子化部
１３ 演算モデル記憶部
１４ 演算部
１５ ノイズ発生部
３０ 耐性設定装置
３１ 耐性特定部
３２ 生成モデル記憶部
３３ サンプル生成部
３４ サンプル出力部
３５ 精度特定部
３６ 強度決定部
３７ 候補設定部
３８ 提示部
５０ 耐性評価装置
Claims (10)
- 学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定する耐性特定手段と、
前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定する強度決定手段と
を備える耐性設定装置。 - 前記耐性特定手段は、前記敵対的サンプルの前記摂動の強度に基づいて前記耐性強度を特定する
請求項１に記載の耐性設定装置。 - 複数の摂動の強度ごとに、複数の敵対的サンプルを生成するサンプル生成手段と、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記演算装置の出力精度を特定する精度特定手段と、
を備え、
前記耐性特定手段は、前記摂動の強度ごとの出力精度に基づいて前記耐性強度を特定する
請求項２に記載の耐性設定装置。 - コンピュータが、学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定し、
前記コンピュータが、前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定する、
耐性設定方法。 - 学習済みモデルの誤判定を誘発するために摂動が加えられた入力信号である敵対的サンプルに対して、前記学習済みモデルを用いる演算装置に求められる耐性強度を特定し、
前記耐性強度に基づいて、前記入力信号のノイズ除去強度を決定する、
処理をコンピュータに実行させるための耐性設定プログラムを記憶する記憶媒体。 - 学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成するサンプル生成手段と、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定する精度特定手段と、
前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示する提示手段と
を備える耐性評価装置。 - コンピュータが、学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成し、
前記コンピュータが、前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定し、
前記コンピュータが、前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示する、
耐性評価方法。 - 学習済みモデルの誤判定を誘発するための複数の摂動の強度ごとに、複数の敵対的サンプルを生成し、
前記複数の摂動の強度ごとに、前記敵対的サンプルに対する前記学習済みモデルを用いる演算装置の出力精度を特定し、
前記複数の摂動の強度ごとの出力精度に基づいて、前記演算装置の前記敵対的サンプルに対する耐性強度を示す情報を提示する、
処理をコンピュータに実行させるための耐性評価プログラムを記憶する記憶媒体。 - 請求項４に記載の耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行うノイズ除去手段と、
前記ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得る演算手段と
を備える演算装置。 - 請求項４に記載の耐性設定方法によって決定されたノイズ除去強度に基づいて、入力信号のノイズ除去処理を行い、
前記ノイズ除去処理がなされた入力信号を学習済みモデルに入力することで、出力信号を得る、
処理をコンピュータに実行させるためのプログラムを記憶する記憶媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019090066 | 2019-05-10 | ||
| JP2019090066 | 2019-05-10 | ||
| PCT/JP2020/018554 WO2020230699A1 (ja) | 2019-05-10 | 2020-05-07 | 耐性設定装置、耐性設定方法、耐性設定プログラムを記憶する記憶媒体、耐性評価装置、耐性評価方法、耐性評価プログラムを記憶する記憶媒体、演算装置、およびプログラムを記憶する記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2020230699A1 JPWO2020230699A1 (ja) | 2020-11-19 |
| JPWO2020230699A5 JPWO2020230699A5 (ja) | 2022-01-18 |
| JP7231018B2 true JP7231018B2 (ja) | 2023-03-01 |
Family
ID=73290160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021519399A Active JP7231018B2 (ja) | 2019-05-10 | 2020-05-07 | 耐性設定装置、耐性設定方法、耐性設定プログラム、耐性評価装置、耐性評価方法、耐性評価プログラム、演算装置、およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220207304A1 (ja) |
| JP (1) | JP7231018B2 (ja) |
| WO (1) | WO2020230699A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220335335A1 (en) * | 2021-03-10 | 2022-10-20 | Tata Consultancy Services Limited | Method and system for identifying mislabeled data samples using adversarial attacks |
| WO2022244256A1 (ja) * | 2021-05-21 | 2022-11-24 | 日本電気株式会社 | 敵対的攻撃生成装置、および、リスク評価装置 |
| JP2023008415A (ja) | 2021-07-06 | 2023-01-19 | 富士通株式会社 | 評価プログラム、評価方法および情報処理装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170316281A1 (en) | 2016-04-28 | 2017-11-02 | Microsoft Technology Licensing, Llc | Neural network image classifier |
| US20180308012A1 (en) | 2017-04-19 | 2018-10-25 | Robert Bosch Gmbh | Method and device for improving the robustness against "adversarial examples" |
| US20190080089A1 (en) | 2017-09-11 | 2019-03-14 | Intel Corporation | Adversarial attack prevention and malware detection system |
-
2020
- 2020-05-07 US US17/606,808 patent/US20220207304A1/en active Pending
- 2020-05-07 JP JP2021519399A patent/JP7231018B2/ja active Active
- 2020-05-07 WO PCT/JP2020/018554 patent/WO2020230699A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170316281A1 (en) | 2016-04-28 | 2017-11-02 | Microsoft Technology Licensing, Llc | Neural network image classifier |
| US20180308012A1 (en) | 2017-04-19 | 2018-10-25 | Robert Bosch Gmbh | Method and device for improving the robustness against "adversarial examples" |
| US20190080089A1 (en) | 2017-09-11 | 2019-03-14 | Intel Corporation | Adversarial attack prevention and malware detection system |
Non-Patent Citations (2)
| Title |
|---|
| HOSSEINI, Hossein et al.，Dropping Pixels for Adversarial Robustness，arxiv [online]，2019年05月01日，all 7 pages，Retrieved from the Internet: <URL: https://arxiv.org/abs/1905.00180> |
| LIN, Ji et al.，Defensive Quantization: When Efficiency Meets Robustness，arxiv [online]，2019年04月17日，pp.1-14，Retrieved from the Internet: <URL: https://arxiv.org/abs/1904.08444> |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220207304A1 (en) | 2022-06-30 |
| JPWO2020230699A1 (ja) | 2020-11-19 |
| WO2020230699A1 (ja) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7231018B2 (ja) | 耐性設定装置、耐性設定方法、耐性設定プログラム、耐性評価装置、耐性評価方法、耐性評価プログラム、演算装置、およびプログラム | |
| CN110851835A (zh) | 图像模型检测方法、装置、电子设备及存储介质 | |
| CN108875776A (zh) | 模型训练方法和装置、业务推荐的方法和装置、电子设备 | |
| CN108416343B (zh) | 一种人脸图像识别方法及装置 | |
| CN109685805B (zh) | 一种图像分割方法及装置 | |
| CN113986561B (zh) | 人工智能任务处理方法、装置、电子设备及可读存储介质 | |
| CN112086144B (zh) | 分子生成方法、装置、电子设备及存储介质 | |
| CN111586071A (zh) | 一种基于循环神经网络模型的加密攻击检测方法及装置 | |
| CN114428748B (zh) | 一种用于真实业务场景的模拟测试方法及系统 | |
| CN112507121A (zh) | 客服违规质检方法、装置、计算机设备及存储介质 | |
| CN115296984A (zh) | 异常网络节点的检测方法及装置、设备、存储介质 | |
| CN110990523A (zh) | 一种法律文书的确定方法及系统 | |
| CN111368837B (zh) | 一种图像质量评价方法、装置、电子设备及存储介质 | |
| CN110348215B (zh) | 异常对象识别方法、装置、电子设备及介质 | |
| CN110490056A (zh) | 对包含算式的图像进行处理的方法和装置 | |
| CN111161789B (zh) | 一种模型预测的关键区域的分析方法及装置 | |
| Olmedo et al. | Validation of soft maps produced by a land use cover change model | |
| CN112559559A (zh) | 清单相似度的计算方法、装置、计算机设备和存储介质 | |
| CN111324749A (zh) | 一种实体分类方法、系统、及装置 | |
| CN113850418B (zh) | 时间序列中异常数据的检测方法和装置 | |
| CN111400764B (zh) | 个人信息保护的风控模型训练方法、风险识别方法及硬件 | |
| CN113239075A (zh) | 一种施工数据自检方法及系统 | |
| CN113836297A (zh) | 文本情感分析模型的训练方法及装置 | |
| CN111353428A (zh) | 动作信息识别方法、装置、电子设备及存储介质 | |
| CN110008100A (zh) | 用于网页访问量异常检测的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211015 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230130 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7231018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |