JP7101920B2 - 攻撃検知システム、攻撃検知方法および攻撃検知プログラム - Google Patents
攻撃検知システム、攻撃検知方法および攻撃検知プログラム Download PDFInfo
- Publication number
- JP7101920B2 JP7101920B2 JP2022522465A JP2022522465A JP7101920B2 JP 7101920 B2 JP7101920 B2 JP 7101920B2 JP 2022522465 A JP2022522465 A JP 2022522465A JP 2022522465 A JP2022522465 A JP 2022522465A JP 7101920 B2 JP7101920 B2 JP 7101920B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- input data
- classification
- result
- attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/034—Test or assess a computer or a system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本開示は、多クラス分類器に対する敵対的サンプル攻撃の検知に関するものである。
教師あり機械学習によって多クラス分類器を構築する手法が知られている。多クラス分類器は、入力データが属するクラスをラベル付きの学習データに基づいて分類する。特に、ニューラルネットワークを用いた深層学習の手法が、様々なタスクにおいて高い精度を達成している。
非特許文献１には、深層学習によって構築された多クラス分類器に対する敵対的サンプル攻撃が記載されている。敵対的サンプル攻撃は、入力データに摂動を加えることによって、多クラス分類器による分類結果を誤らせる。
Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙ， Ｗｏｊｃｉｅｃｈ Ｚａｒｅｍｂａ， Ｉｌｙａ Ｓｕｔｓｋｅｖｅｒ， Ｊｏａｎ Ｂｒｕｎａ， Ｄｕｍｉｔｒｕ Ｅｒｈａｎ， Ｉａｎ Ｊ． Ｇｏｏｄｆｅｌｌｏｗ ａｎｄ Ｒｏｂ Ｆｅｒｇｕｓ： Ｉｎｔｒｉｇｕｉｎｇ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ （ＩＣＬＲ） （２０１４）
本開示は、多クラス分類器に対する敵対的サンプル攻撃を検知できるようにすることを目的とする。
本開示の攻撃検知システムは、
互いに異なるクラスに対する複数の１クラス分類器と、
前記複数の１クラス分類器の中から、入力データに対する多クラス分類によって前記入力データが分類されたクラスに対する１クラス分類器を選択する選択部と、
選択された１クラス分類器による前記入力データに対する１クラス分類によって算出されるスコアに基づいて、前記入力データに対する前記多クラス分類の結果が敵対的サンプル攻撃による誤った結果であるか判定する判定部と、を備える。
互いに異なるクラスに対する複数の１クラス分類器と、
前記複数の１クラス分類器の中から、入力データに対する多クラス分類によって前記入力データが分類されたクラスに対する１クラス分類器を選択する選択部と、
選択された１クラス分類器による前記入力データに対する１クラス分類によって算出されるスコアに基づいて、前記入力データに対する前記多クラス分類の結果が敵対的サンプル攻撃による誤った結果であるか判定する判定部と、を備える。
本開示によれば、多クラス分類器に対する敵対的サンプル攻撃を検知することが可能となる。
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
実施の形態１．
多クラス分類の入力データが敵対的サンプル攻撃によって改変された際に多クラス分類によって誤った分類結果が得られたことを検知する形態について、図１から図８に基づいて説明する。
多クラス分類の入力データが敵対的サンプル攻撃によって改変された際に多クラス分類によって誤った分類結果が得られたことを検知する形態について、図１から図８に基づいて説明する。
＊＊＊構成の説明＊＊＊
図１に基づいて、攻撃検知システム１００の構成を説明する。
攻撃検知システム１００は、分類装置２００と検知装置３００とを備える。
分類装置２００は、多クラス分類によって、入力データｘを分類する。分類結果ｙは、入力データｘが分類されたクラスを示す。
検知装置３００は、１クラス分類によって、分類結果ｙが敵対的サンプル攻撃による誤った結果であるか判定する。検知結果ｚは、分類結果ｙが敵対的サンプル攻撃による誤った結果であるか示す。
図１に基づいて、攻撃検知システム１００の構成を説明する。
攻撃検知システム１００は、分類装置２００と検知装置３００とを備える。
分類装置２００は、多クラス分類によって、入力データｘを分類する。分類結果ｙは、入力データｘが分類されたクラスを示す。
検知装置３００は、１クラス分類によって、分類結果ｙが敵対的サンプル攻撃による誤った結果であるか判定する。検知結果ｚは、分類結果ｙが敵対的サンプル攻撃による誤った結果であるか示す。
図２に基づいて、分類装置２００の構成を説明する。
分類装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
分類装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１はＣＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
入出力インタフェース２０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース２０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
分類装置２００は、受付部２１１と多クラス分類器２１２と出力部２１３といった要素を備える。これらの要素はソフトウェアで実現される。
多クラス分類器２１２は、ニューラルネットワークによって構築される。例えば、多クラス分類器２１２は、ＶＧＧ１６またはＲｅｓＮｅｔ５０を用いて構築される。
補助記憶装置２０３には、受付部２１１と多クラス分類器２１２と出力部２１３としてコンピュータを機能させるための分類プログラムが記憶されている。分類プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、分類プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、分類プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
分類プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
分類装置２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。
分類プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
図３に基づいて、検知装置３００の構成を説明する。
検知装置３００は、プロセッサ３０１とメモリ３０２と補助記憶装置３０３と通信装置３０４と入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
検知装置３００は、プロセッサ３０１とメモリ３０２と補助記憶装置３０３と通信装置３０４と入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ３０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ３０１はＣＰＵである。
メモリ３０２は揮発性または不揮発性の記憶装置である。メモリ３０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ３０２はＲＡＭである。メモリ３０２に記憶されたデータは必要に応じて補助記憶装置３０３に保存される。
補助記憶装置３０３は不揮発性の記憶装置である。例えば、補助記憶装置３０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置３０３に記憶されたデータは必要に応じてメモリ３０２にロードされる。
入出力インタフェース３０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース３０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。
通信装置３０４はレシーバ及びトランスミッタである。例えば、通信装置３０４は通信チップまたはＮＩＣである。
メモリ３０２は揮発性または不揮発性の記憶装置である。メモリ３０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ３０２はＲＡＭである。メモリ３０２に記憶されたデータは必要に応じて補助記憶装置３０３に保存される。
補助記憶装置３０３は不揮発性の記憶装置である。例えば、補助記憶装置３０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置３０３に記憶されたデータは必要に応じてメモリ３０２にロードされる。
入出力インタフェース３０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース３０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。
通信装置３０４はレシーバ及びトランスミッタである。例えば、通信装置３０４は通信チップまたはＮＩＣである。
検知装置３００は、受付部３１１と選択部３１２と判定部３１４と出力部３１５といった要素を備える。さらに、検知装置３００は、互いに異なるクラスに対する複数の１クラス分類器３１３を備える。これらの要素はソフトウェアで実現される。
複数の１クラス分類器３１３は、互いに異なるクラスのために１クラス分類を実行する。
１クラス分類器３１３の数は、多クラス分類器２１２によって分類することが可能なクラスの数と同じである。つまり、多クラス分類器２１２によって分類することが可能なクラスごとに１クラス分類器３１３が構築される。
１クラス分類器３１３は、ラベルが無い正常データの集合が学習データとして用いられて構築される。つまり、１クラス分類器３１３は、教師なし学習によって構築される。
１クラス分類器３１３は、入力データに対する１クラス分類を実行してスコアを出力する。
スコアは、入力データが１クラス分類器３１３に対応するクラスに含まれる度合いを表す。スコアが閾値より小さい場合、入力データは、１クラス分類器３１３の構築時に学習データとして利用された正常データの集合に含まれる。スコアが閾値より大きい場合、入力データは、１クラス分類器３１３の構築時に学習データとして利用された正常データの集合に含まれない。
１クラス分類器３１３の数は、多クラス分類器２１２によって分類することが可能なクラスの数と同じである。つまり、多クラス分類器２１２によって分類することが可能なクラスごとに１クラス分類器３１３が構築される。
１クラス分類器３１３は、ラベルが無い正常データの集合が学習データとして用いられて構築される。つまり、１クラス分類器３１３は、教師なし学習によって構築される。
１クラス分類器３１３は、入力データに対する１クラス分類を実行してスコアを出力する。
スコアは、入力データが１クラス分類器３１３に対応するクラスに含まれる度合いを表す。スコアが閾値より小さい場合、入力データは、１クラス分類器３１３の構築時に学習データとして利用された正常データの集合に含まれる。スコアが閾値より大きい場合、入力データは、１クラス分類器３１３の構築時に学習データとして利用された正常データの集合に含まれない。
例えば、各１クラス分類器３１３には、以下の［特許文献］に示されたａｕｔｏｅｎｃｏｄｅｒに基づいた方式、または、以下の［非特許文献］に示されたＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓに基づいた方式、を利用することができる。
［特許文献］特開２０１７－９７７１８号公報
［非特許文献］Ｔｈｏｍａｓ Ｓｃｈｌｅｇｌ， Ｐｈｉｌｉｐｐ Ｓｅｅｂｏｃｋ， Ｓｅｂａｓｔｉａｎ Ｍ． Ｗａｌｄｓｔｅｉｎ， Ｕｒｓｕｌａ Ｓｃｈｍｉｄｔ－Ｅｒｆｕｒｔｈ ａｎｄ Ｇｅｏｒｇ Ｌａｎｇｓ： Ｕｎｓｕｐｅｒｖｉｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ ｔｏ Ｇｕｉｄｅ Ｍａｒｋｅｒ Ｄｉｓｃｏｖｅｒｙ， ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ （ＩＰＭＩ） （２０１７）
［特許文献］特開２０１７－９７７１８号公報
［非特許文献］Ｔｈｏｍａｓ Ｓｃｈｌｅｇｌ， Ｐｈｉｌｉｐｐ Ｓｅｅｂｏｃｋ， Ｓｅｂａｓｔｉａｎ Ｍ． Ｗａｌｄｓｔｅｉｎ， Ｕｒｓｕｌａ Ｓｃｈｍｉｄｔ－Ｅｒｆｕｒｔｈ ａｎｄ Ｇｅｏｒｇ Ｌａｎｇｓ： Ｕｎｓｕｐｅｒｖｉｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ ｔｏ Ｇｕｉｄｅ Ｍａｒｋｅｒ Ｄｉｓｃｏｖｅｒｙ， ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ （ＩＰＭＩ） （２０１７）
補助記憶装置３０３には、受付部３１１と選択部３１２と複数の１クラス分類器３１３と判定部３１４と出力部３１５としてコンピュータを機能させるための検知プログラムが記憶されている。検知プログラムは、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
補助記憶装置３０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
プロセッサ３０１は、ＯＳを実行しながら、検知プログラムを実行する。
補助記憶装置３０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
プロセッサ３０１は、ＯＳを実行しながら、検知プログラムを実行する。
検知プログラムの入出力データは記憶部３９０に記憶される。
メモリ３０２は記憶部３９０として機能する。但し、補助記憶装置３０３、プロセッサ３０１内のレジスタおよびプロセッサ３０１内のキャッシュメモリなどの記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。
メモリ３０２は記憶部３９０として機能する。但し、補助記憶装置３０３、プロセッサ３０１内のレジスタおよびプロセッサ３０１内のキャッシュメモリなどの記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。
検知装置３００は、プロセッサ３０１を代替する複数のプロセッサを備えてもよい。
検知プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
＊＊＊動作の説明＊＊＊
攻撃検知システム１００の動作の手順は攻撃検知方法に相当する。また、攻撃検知システム１００の動作の手順は攻撃検知プログラムによる処理の手順に相当する。攻撃検知プログラムは、分類装置２００のための分類プログラムと、検知装置３００のための検知プログラムと、を含む。
攻撃検知システム１００の動作の手順は攻撃検知方法に相当する。また、攻撃検知システム１００の動作の手順は攻撃検知プログラムによる処理の手順に相当する。攻撃検知プログラムは、分類装置２００のための分類プログラムと、検知装置３００のための検知プログラムと、を含む。
図４に基づいて、攻撃検知方法を説明する。
ステップＳ１１０において、分類装置２００は、多クラス分類によって、入力データｘを分類する。
ステップＳ１１０において、分類装置２００は、多クラス分類によって、入力データｘを分類する。
図５および図６に基づいて、分類装置２００による分類処理（Ｓ１１０）の手順を説明する。
図５は、分類処理（Ｓ１１０）のフローチャートである。
図６は、分類装置２００の各要素の入出力を示す。
図５は、分類処理（Ｓ１１０）のフローチャートである。
図６は、分類装置２００の各要素の入出力を示す。
ステップＳ１１１において、受付部２１１は、入力データｘを受け付ける。
入力データｘは、正常な入力データまたは不正な入力データである。
正常な入力データは、敵対的サンプル攻撃によって改変されていない。
不正な入力データは、敵対的サンプル攻撃によって改変されている。
入力データｘは、正常な入力データまたは不正な入力データである。
正常な入力データは、敵対的サンプル攻撃によって改変されていない。
不正な入力データは、敵対的サンプル攻撃によって改変されている。
例えば、利用者が入力データｘを攻撃検知システム１００に入力する。そして、受付部２１１は、攻撃検知システム１００に入力された入力データｘを受け付ける。
ステップＳ１１２において、多クラス分類器２１２は、入力データｘに対する多クラス分類を実行する。つまり、多クラス分類器２１２は、入力データｘを入力にして多クラス分類を実行する。これにより、分類結果ｙが出力される。
多クラス分類によって、入力データｘは、複数のクラスのうちのいずれかに分類される。
分類結果ｙは、入力データｘが分類されたクラスを示す。
多クラス分類によって、入力データｘは、複数のクラスのうちのいずれかに分類される。
分類結果ｙは、入力データｘが分類されたクラスを示す。
ステップＳ１１３において、出力部２１３は、入力データｘと分類結果ｙの組を出力する。
例えば、出力部２１３は、入力データｘと分類結果ｙの組を記録媒体に記録する。または、出力部２１３は、入力データｘと分類結果ｙの組を検知装置３００へ送信する。
例えば、出力部２１３は、入力データｘと分類結果ｙの組を記録媒体に記録する。または、出力部２１３は、入力データｘと分類結果ｙの組を検知装置３００へ送信する。
図４に戻り、ステップＳ１２０を説明する。
ステップＳ１２０において、検知装置３００は、１クラス分類によって、分類結果ｙが敵対的サンプル攻撃による誤った結果であるか判定する。
ステップＳ１２０において、検知装置３００は、１クラス分類によって、分類結果ｙが敵対的サンプル攻撃による誤った結果であるか判定する。
図７および図８に基づいて、検知装置３００による検知処理（Ｓ１２０）の手順を説明する。
図７は、検知処理（Ｓ１２０）のフローチャートである。
図８は、検知装置３００の各要素の入出力を示す。
図７は、検知処理（Ｓ１２０）のフローチャートである。
図８は、検知装置３００の各要素の入出力を示す。
ステップＳ１２１において、受付部３１１は、入力データｘと分類結果ｙの組を受け付ける。
例えば、利用者が入力データｘと分類結果ｙの組を検知装置３００に入力する。そして、受付部３１１は、検知装置３００に入力された入力データｘと分類結果ｙの組を受け付ける。
例えば、分類装置２００が入力データｘと分類結果ｙの組を検知装置３００へ送信する。っして、受付部３１１は、入力データｘと分類結果ｙの組を受信する。
例えば、利用者が入力データｘと分類結果ｙの組を検知装置３００に入力する。そして、受付部３１１は、検知装置３００に入力された入力データｘと分類結果ｙの組を受け付ける。
例えば、分類装置２００が入力データｘと分類結果ｙの組を検知装置３００へ送信する。っして、受付部３１１は、入力データｘと分類結果ｙの組を受信する。
ステップＳ１２２において、選択部３１２は、複数の１クラス分類器３１３から、分類結果ｙに示されるクラスと同じクラスに対する１クラス分類器３１３を選択する。そして、選択部３１２は、選択した１クラス分類器３１３に入力データｘを入力する。
例えば、分類結果ｙに示されるクラスが第１クラスである場合、選択部３１２は、１クラス分類器３１３－１（図８参照）を選択し、１クラス分類器３１３－１に入力データｘを入力する。
例えば、分類結果ｙに示されるクラスが第１クラスである場合、選択部３１２は、１クラス分類器３１３－１（図８参照）を選択し、１クラス分類器３１３－１に入力データｘを入力する。
ステップＳ１２３において、選択された１クラス分類器３１３は、入力データｘに対する１クラス分類を実行する。つまり、選択された１クラス分類器３１３は、入力データｘを入力にして１クラス分類を実行する。これにより、スコアｓが算出される。
ステップＳ１２４において、判定部３１４は、スコアｓに基づいて、分類結果ｙが敵対的サンプル攻撃による誤った結果であるか判定する。
判定部３１４は、以下のように判定を行う。
判定部３１４は、スコアｓを閾値と比較する。閾値は予め決められた値である。
スコアｓが閾値より小さい場合（またはスコアｓが閾値以下である場合）、多クラス分類の結果と１クラス分類の結果が一致する。そのため、判定部３１４は、分類結果ｙが敵対的サンプル攻撃による誤った結果でない、と判定する。
スコアｓが閾値より大きい場合（またはスコアｓが閾値以上である場合）、多クラス分類の結果と１クラス分類の結果が一致しない。そのため、判定部３１４は、分類結果ｙが敵対的サンプル攻撃による誤った結果である、と判定する。
判定部３１４は、スコアｓを閾値と比較する。閾値は予め決められた値である。
スコアｓが閾値より小さい場合（またはスコアｓが閾値以下である場合）、多クラス分類の結果と１クラス分類の結果が一致する。そのため、判定部３１４は、分類結果ｙが敵対的サンプル攻撃による誤った結果でない、と判定する。
スコアｓが閾値より大きい場合（またはスコアｓが閾値以上である場合）、多クラス分類の結果と１クラス分類の結果が一致しない。そのため、判定部３１４は、分類結果ｙが敵対的サンプル攻撃による誤った結果である、と判定する。
ステップＳ１２５において、出力部３１５は、ステップＳ１２４における判定の結果に相当する検知結果ｚを出力する。
検知結果ｚは、「検知」または「非検知」を示す。
「検知」は、分類結果ｙが敵対的サンプル攻撃による誤った結果であることを意味する。つまり、「検知」は、敵対的サンプル攻撃が行われたことを意味する。
「非検知」は、分類結果ｙが敵対的サンプル攻撃による誤った結果でないことを意味する。つまり、「非検知」は、敵対的サンプル攻撃が行われていないこと、を意味する。
検知結果ｚは、「検知」または「非検知」を示す。
「検知」は、分類結果ｙが敵対的サンプル攻撃による誤った結果であることを意味する。つまり、「検知」は、敵対的サンプル攻撃が行われたことを意味する。
「非検知」は、分類結果ｙが敵対的サンプル攻撃による誤った結果でないことを意味する。つまり、「非検知」は、敵対的サンプル攻撃が行われていないこと、を意味する。
例えば、出力部３１５は、検知結果ｚを記録媒体に記録する。または、出力部３１５は、検知結果ｚをディスプレイに表示する。
＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、多クラス分類の入力データが敵対的サンプル攻撃によって改変された際に多クラス分類によって誤った分類結果が得られたことを検知することができる。つまり、敵対的サンプル攻撃によって改変された入力データｘが多クラス分類器２１２に与えられた際に多クラス分類器２１２が誤った分類結果ｙを出力したことを検知することができる。
実施の形態１により、多クラス分類の入力データが敵対的サンプル攻撃によって改変された際に多クラス分類によって誤った分類結果が得られたことを検知することができる。つまり、敵対的サンプル攻撃によって改変された入力データｘが多クラス分類器２１２に与えられた際に多クラス分類器２１２が誤った分類結果ｙを出力したことを検知することができる。
＊＊＊実施の形態の補足＊＊＊
図９に基づいて、分類装置２００のハードウェア構成を説明する。
分類装置２００は処理回路２０９を備える。
処理回路２０９は、受付部２１１と多クラス分類器２１２と出力部２１３とを実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。
図９に基づいて、分類装置２００のハードウェア構成を説明する。
分類装置２００は処理回路２０９を備える。
処理回路２０９は、受付部２１１と多クラス分類器２１２と出力部２１３とを実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。
処理回路２０９が専用のハードウェアである場合、処理回路２０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。
分類装置２００は、処理回路２０９を代替する複数の処理回路を備えてもよい。
処理回路２０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
このように、分類装置２００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
図１０に基づいて、検知装置３００のハードウェア構成を説明する。
検知装置３００は処理回路３０９を備える。
処理回路３０９は、受付部３１１と選択部３１２と１クラス分類器３１３と判定部３１４と出力部３１５とを実現するハードウェアである。
処理回路３０９は、専用のハードウェアであってもよいし、メモリ３０２に格納されるプログラムを実行するプロセッサ３０１であってもよい。
検知装置３００は処理回路３０９を備える。
処理回路３０９は、受付部３１１と選択部３１２と１クラス分類器３１３と判定部３１４と出力部３１５とを実現するハードウェアである。
処理回路３０９は、専用のハードウェアであってもよいし、メモリ３０２に格納されるプログラムを実行するプロセッサ３０１であってもよい。
処理回路３０９が専用のハードウェアである場合、処理回路３０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
検知装置３００は、処理回路３０９を代替する複数の処理回路を備えてもよい。
処理回路３０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
このように、検知装置３００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
分類装置２００および検知装置３００が１台の装置で実現されてもよい。また、分類装置２００と検知装置３００とのそれぞれが、複数の装置で実現されてもよい。
分類装置２００と検知装置３００とのそれぞれの要素である「部」は、「処理」または「工程」と読み替えてもよい。また「分類器」は「分類処理」または「分類工程」と読み替えてもよい。
分類装置２００と検知装置３００とのそれぞれの要素である「部」は、「処理」または「工程」と読み替えてもよい。また「分類器」は「分類処理」または「分類工程」と読み替えてもよい。
１００ 攻撃検知システム、２００ 分類装置、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 通信装置、２０５ 入出力インタフェース、２０９ 処理回路、２１１ 受付部、２１２ 多クラス分類器、２１３ 出力部、２９０ 記憶部、３００ 検知装置、３０１ プロセッサ、３０２ メモリ、３０３ 補助記憶装置、３０４ 通信装置、３０５ 入出力インタフェース、３０９ 処理回路、３１１ 受付部、３１２ 選択部、３１３ １クラス分類器、３１４ 判定部、３１５ 出力部、３９０ 記憶部。
Claims (6)
- 互いに異なるクラスに対する複数の１クラス分類器と、
前記複数の１クラス分類器の中から、入力データに対する多クラス分類によって前記入力データが分類されたクラスに対する１クラス分類器を選択する選択部と、
選択された１クラス分類器による前記入力データに対する１クラス分類によって算出されるスコアに基づいて、前記入力データに対する前記多クラス分類の結果が敵対的サンプル攻撃による誤った結果であるか判定する判定部と、
を備える攻撃検知システム。 - 前記判定部は、前記スコアが閾値より大きい場合、前記入力データに対する前記多クラス分類の結果が敵対的サンプル攻撃による誤った結果であると判定する
請求項１に記載の攻撃検知システム。 - 前記入力データに対する前記多クラス分類を実行することによって前記入力データを分類する多クラス分類器を備える
請求項１または請求項２に記載の攻撃検知システム。 - 前記入力データに対する前記多クラス分類の結果が敵対的サンプル攻撃による誤った結果であるか示す検知結果を出力する出力部を備える
請求項１から請求項３のいずれか１項に記載の攻撃検知システム。 - 選択部が、互いに異なるクラスに対する複数の１クラス分類器の中から、入力データに対する多クラス分類によって前記入力データが分類されたクラスに対する１クラス分類器を選択し、
選択された１クラス分類器が、前記入力データに対する１クラス分類を実行してスコアを算出し、
判定部が、算出されたスコアに基づいて、前記入力データに対する前記多クラス分類の結果が敵対的サンプル攻撃による誤った結果であるか判定する
攻撃検知方法。 - 互いに異なるクラスに対する複数の１クラス分類器の中から、入力データに対する多クラス分類によって前記入力データが分類されたクラスに対する１クラス分類器を選択する選択処理と、
選択された１クラス分類器によって前記入力データに対する１クラス分類を実行してスコアを算出する１クラス分類処理と、
算出されたスコアに基づいて、前記入力データに対する前記多クラス分類の結果が敵対的サンプル攻撃による誤った結果であるか判定する判定処理と、
をコンピュータに実行させるための攻撃検知プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/019381 WO2021229784A1 (ja) | 2020-05-15 | 2020-05-15 | 攻撃検知システム、攻撃検知方法および攻撃検知プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021229784A1 JPWO2021229784A1 (ja) | 2021-11-18 |
| JP7101920B2 true JP7101920B2 (ja) | 2022-07-15 |
Family
ID=78525164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022522465A Active JP7101920B2 (ja) | 2020-05-15 | 2020-05-15 | 攻撃検知システム、攻撃検知方法および攻撃検知プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230018042A1 (ja) |
| JP (1) | JP7101920B2 (ja) |
| CN (1) | CN115461765A (ja) |
| DE (1) | DE112020006852T5 (ja) |
| WO (1) | WO2021229784A1 (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852363A (zh) | 2019-10-31 | 2020-02-28 | 大连理工大学 | 一种基于欺骗攻击者的对抗样本防御方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017097718A (ja) | 2015-11-26 | 2017-06-01 | 株式会社リコー | 識別処理装置、識別システム、識別処理方法、およびプログラム |
-
2020
- 2020-05-15 DE DE112020006852.8T patent/DE112020006852T5/de active Pending
- 2020-05-15 CN CN202080100211.6A patent/CN115461765A/zh active Pending
- 2020-05-15 WO PCT/JP2020/019381 patent/WO2021229784A1/ja active Application Filing
- 2020-05-15 JP JP2022522465A patent/JP7101920B2/ja active Active
-
2022
- 2022-09-15 US US17/945,297 patent/US20230018042A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852363A (zh) | 2019-10-31 | 2020-02-28 | 大连理工大学 | 一种基于欺骗攻击者的对抗样本防御方法 |
Non-Patent Citations (3)
| Title |
|---|
| MONTEIRO, Joao et al.，"Generalizable Adversarial Examples Detection Based on Bi-model Decision Mismatch"，2019 IEEE International Conference on Systems, Man and Cybernetics (SMC)，IEEE，2019年，pp.2839-2844，ISBN 978-1-7281-4569-3 |
| MYGDALIS, Vasileios et al.，"K-Anonymity inspired adversarial attack and multiple one-class classification defense"，Neural Networks [online]，Elsevier，2020年02月06日，Volume 124，pp.296-307，[令和4年6月1日 検索], インターネット:<URL:https://www.sciencedirect.com/science/article/abs/pii/S0893608020300174> |
| 林瑛晟 ほか，「複数モデルの出力を用いたAdversarial Examplesの検出」，第81回（2019年）全国大会講演論文集（２），一般社団法人情報処理学会，2019年02月28日，pp.2-317－2-318 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230018042A1 (en) | 2023-01-19 |
| DE112020006852T5 (de) | 2022-12-22 |
| CN115461765A (zh) | 2022-12-09 |
| WO2021229784A1 (ja) | 2021-11-18 |
| JPWO2021229784A1 (ja) | 2021-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Baldwin et al. | Leveraging support vector machine for opcode density based detection of crypto-ransomware | |
| US11586737B2 (en) | Detecting malicious software using sensors | |
| EP3506548A1 (en) | Quantitative digital sensor | |
| US8732587B2 (en) | Systems and methods for displaying trustworthiness classifications for files as visually overlaid icons | |
| CN111382434B (zh) | 用于检测恶意文件的系统和方法 | |
| JP6698956B2 (ja) | サンプルデータ生成装置、サンプルデータ生成方法およびサンプルデータ生成プログラム | |
| JP2007242002A (ja) | ネットワーク管理装置及びネットワーク管理方法及びプログラム | |
| WO2017099922A1 (en) | System management mode disabling and verification techniques | |
| JP6749956B2 (ja) | トラヒック特徴情報抽出装置、トラヒック特徴情報抽出方法、及びトラヒック特徴情報抽出プログラム | |
| KR20200143241A (ko) | Ml 및 ai 모델들에 대해 대립적 샘플들을 완화하기 위한 시스템 | |
| JP7101920B2 (ja) | 攻撃検知システム、攻撃検知方法および攻撃検知プログラム | |
| JP7033262B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR102437278B1 (ko) | 머신러닝과 시그니처 매칭을 결합한 문서형 악성코드 탐지 장치 및 방법 | |
| JP4559974B2 (ja) | 管理装置及び管理方法及びプログラム | |
| US20230359737A1 (en) | System and method of anomaly detection in the behavior of trusted process | |
| US11017071B2 (en) | Apparatus and method to protect an information handling system against other devices | |
| Firdaus et al. | Selecting root exploit features using flying animal-inspired decision | |
| CN113316786B (zh) | 用于识别漏洞利用工具包的方法 | |
| JP2007295056A (ja) | ネットワーク状態判定装置及びネットワーク状態判定方法及びネットワーク状態判定プログラム | |
| KR102258910B1 (ko) | 백업 시스템에서 파일의 엔트로피를 기반으로 기계학습을 활용한 효과적인 랜섬웨어 탐지 방법 및 시스템 | |
| US20210124827A1 (en) | Method and system for checking malware infection of macro included in document file | |
| EP2750066B1 (en) | System and method for detecting malware that interferes with a user interface | |
| US11941118B2 (en) | System and method to build robust classifiers against evasion attacks | |
| JP7309101B2 (ja) | 攻撃検知装置、敵対的サンプルパッチ検知システム、攻撃検知方法、及び、攻撃検知プログラム | |
| US20220342982A1 (en) | Anomaly based keylogger detection through virtual machine introspection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220705 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7101920 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |