JP7309101B2 - 攻撃検知装置、敵対的サンプルパッチ検知システム、攻撃検知方法、及び、攻撃検知プログラム - Google Patents
攻撃検知装置、敵対的サンプルパッチ検知システム、攻撃検知方法、及び、攻撃検知プログラム Download PDFInfo
- Publication number
- JP7309101B2 JP7309101B2 JP2023527359A JP2023527359A JP7309101B2 JP 7309101 B2 JP7309101 B2 JP 7309101B2 JP 2023527359 A JP2023527359 A JP 2023527359A JP 2023527359 A JP2023527359 A JP 2023527359A JP 7309101 B2 JP7309101 B2 JP 7309101B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- attack
- recognition score
- image data
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Burglar Alarm Systems (AREA)
Description
本開示は、攻撃検知装置、敵対的サンプルパッチ検知システム、攻撃検知方法、及び、攻撃検知プログラムに関する。
入力画像における各オブジェクトの位置をバウンディングボックスで示し、各オブジェクトの種類をラベルとして示す物体検知のタスクにおいて、ニューラルネットワークを用いた深層学習の手法が近年、非常に高い精度を達成している。非特許文献１は、電子的な摂動が加えられた画像を印刷した敵対的サンプルパッチを物理的に配置し、配置された敵対的サンプルパッチを撮影した画像を入力した際に物体検知による検知を逃れる敵対的サンプルパッチ攻撃の手法を開示している。
Ｓ． Ｔｈｙｓ ｅｔ ａｌ．，"Ｆｏｏｌｉｎｇ ａｕｔｏｍａｔｅｄ ｓｕｒｖｅｉｌｌａｎｃｅ ｃａｍｅｒａｓ： ａｄｖｅｒｓａｒｉａｌ ｐａｔｃｈｅｓ ｔｏ ａｔｔａｃｋ ｐｅｒｓｏｎ ｄｅｔｅｃｔｉｏｎ"，ＣＶＰＲＷ（Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ），ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）／ＣＶＦ（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｆｏｕｎｄａｔｉｏｎ），２０１９
既存技術によれば、敵対的サンプルパッチ攻撃が行われた場合に、当該攻撃を検知することが困難であるという課題がある。
本開示は、敵対的サンプルパッチ攻撃が行われた場合に、当該攻撃を検知することを目的とする。
本開示に係る攻撃検知装置は、
撮影時間範囲内の互いに異なる時刻に撮影範囲内の範囲を撮影した複数の画像データそれぞれを用いて計算された複数の認識スコアであって、前記複数の画像データそれぞれにおいて物体を検知した結果を示す複数の認識スコアを用いて生成された時系列データである時系列認識スコアに、敵対的サンプルパッチ攻撃が前記複数の画像データの少なくともいずれかに対して実施された場合において生じる異常パターンが含まれているか否かを検知する異常パターン検知部
を備える。
撮影時間範囲内の互いに異なる時刻に撮影範囲内の範囲を撮影した複数の画像データそれぞれを用いて計算された複数の認識スコアであって、前記複数の画像データそれぞれにおいて物体を検知した結果を示す複数の認識スコアを用いて生成された時系列データである時系列認識スコアに、敵対的サンプルパッチ攻撃が前記複数の画像データの少なくともいずれかに対して実施された場合において生じる異常パターンが含まれているか否かを検知する異常パターン検知部
を備える。
本開示に係る攻撃検知装置は、物体を検知した結果を示す認識スコアから成る時系列認識スコアに、敵対的サンプルパッチ攻撃が実施された場合において生じる異常パターンが含まれているか否かを検知する異常パターン検知部を備える。従って、本開示によれば、敵対的サンプルパッチ攻撃が行われた場合に、当該攻撃を検知することができる。
実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「部」を、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。
実施の形態１．
以下、本実施の形態について、図面を参照しながら詳細に説明する。
以下、本実施の形態について、図面を参照しながら詳細に説明する。
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る敵対的サンプルパッチ検知システム１００のシステム構成例を示している。敵対的サンプルパッチ検知システム１００は、物体検知装置１１０と攻撃検知装置１２０とを有する。物体検知装置１１０と攻撃検知装置１２０とは一体的に構成されてもよい。
物体検知装置１１０は、入力画像データｘを入力として受け取り、物体検知結果である認識スコアｙを出力する。
攻撃検知装置１２０は、認識スコアｙを入力として受け取り、敵対的サンプルパッチ攻撃の検知結果ｒとして、敵対的サンプルパッチ攻撃による認識スコアの異常パターンが検知された場合には敵対的サンプルパッチ攻撃を検知したことを示す結果、それ以外の場合には敵対的サンプルパッチ攻撃を検知していないことを示す結果を出力する。敵対的サンプルパッチ攻撃は、敵対的サンプル攻撃の一種であり、特にニューラルネットワーク等を用いた物体検知を逃れる攻撃である。異常パターンは、具体例として、認識スコアの値が、一定時間継続して物体検知の閾値を多少下回る値であるパターンである。即ち、異常パターンは、時系列認識スコアが示す認識スコアの値が物体検知閾値未満異常検知閾値以上である時間が異常検知時間以上継続することを示すパターンである。現状の敵対的サンプルパッチを用いた攻撃では、認識スコアの値を、物体検知の閾値を下回るよう抑えることができるが、完全に０にすることはできない。そのため、この異常パターンは当該攻撃の検知において有効である。ただし、異常パターンはこのパターンのみに限定されない。
図１は、本実施の形態に係る敵対的サンプルパッチ検知システム１００のシステム構成例を示している。敵対的サンプルパッチ検知システム１００は、物体検知装置１１０と攻撃検知装置１２０とを有する。物体検知装置１１０と攻撃検知装置１２０とは一体的に構成されてもよい。
物体検知装置１１０は、入力画像データｘを入力として受け取り、物体検知結果である認識スコアｙを出力する。
攻撃検知装置１２０は、認識スコアｙを入力として受け取り、敵対的サンプルパッチ攻撃の検知結果ｒとして、敵対的サンプルパッチ攻撃による認識スコアの異常パターンが検知された場合には敵対的サンプルパッチ攻撃を検知したことを示す結果、それ以外の場合には敵対的サンプルパッチ攻撃を検知していないことを示す結果を出力する。敵対的サンプルパッチ攻撃は、敵対的サンプル攻撃の一種であり、特にニューラルネットワーク等を用いた物体検知を逃れる攻撃である。異常パターンは、具体例として、認識スコアの値が、一定時間継続して物体検知の閾値を多少下回る値であるパターンである。即ち、異常パターンは、時系列認識スコアが示す認識スコアの値が物体検知閾値未満異常検知閾値以上である時間が異常検知時間以上継続することを示すパターンである。現状の敵対的サンプルパッチを用いた攻撃では、認識スコアの値を、物体検知の閾値を下回るよう抑えることができるが、完全に０にすることはできない。そのため、この異常パターンは当該攻撃の検知において有効である。ただし、異常パターンはこのパターンのみに限定されない。
図２は、物体検知装置１１０の機能構成例を示している。物体検知装置１１０は、データ入力部１１１と物体検知器１１２とデータ出力部１１３とを有する。
データ入力部１１１は、物体検知の対象である入力画像データｘを受け取り、受け取った入力画像データｘを物体検知器１１２に入力する。
物体検知器１１２は、入力された入力画像データｘを用いて認識スコアｙを算出し、算出した認識スコアｙをデータ出力部１１３に出力する。物体検知器１１２は、具体例としてニューラルネットワークによって構築された物体検知器１１２である。ニューラルネットワークは、具体例として、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）、又はＦａｓｔｅｒ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等である。物体検知器１１２は、入力された画像に映る各オブジェクトに対応するバウンディングボックスの位置を表す座標と、各バウンディングボックス内のオブジェクトの種類及び確信度を示す確率を認識スコアとして出力する。物体検知器１１２は、複数の画像データそれぞれを用いて複数の認識スコアを計算する。物体検知器１１２は物体検知部とも呼ばれる。
データ出力部１１３は、物体検知器１１２が計算した認識スコアｙを出力する。
データ入力部１１１は、物体検知の対象である入力画像データｘを受け取り、受け取った入力画像データｘを物体検知器１１２に入力する。
物体検知器１１２は、入力された入力画像データｘを用いて認識スコアｙを算出し、算出した認識スコアｙをデータ出力部１１３に出力する。物体検知器１１２は、具体例としてニューラルネットワークによって構築された物体検知器１１２である。ニューラルネットワークは、具体例として、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）、又はＦａｓｔｅｒ Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等である。物体検知器１１２は、入力された画像に映る各オブジェクトに対応するバウンディングボックスの位置を表す座標と、各バウンディングボックス内のオブジェクトの種類及び確信度を示す確率を認識スコアとして出力する。物体検知器１１２は、複数の画像データそれぞれを用いて複数の認識スコアを計算する。物体検知器１１２は物体検知部とも呼ばれる。
データ出力部１１３は、物体検知器１１２が計算した認識スコアｙを出力する。
図３は、攻撃検知装置１２０の機能構成例を示している。攻撃検知装置１２０は、データ入力部１２１と認識スコア集積部１２２と異常パターン検知部１２３とデータ出力部１２４とを有する。
データ入力部１２１は、認識スコアｙを受け取り、受け取った認識スコアｙを認識スコア集積部１２２に入力する。
認識スコア集積部１２２は、入力された認識スコアｙを時系列認識スコアＹ’に追加することによって時系列認識スコアＹを生成し、生成した時系列認識スコアＹを異常パターン検知部１２３に入力する。時系列認識スコアＹは更新された時系列認識スコアＹ’に当たる。時系列認識スコアＹ’は、新たな認識スコアｙが入力されるまでに入力された認識スコアｙを集積して生成した時系列データである。認識スコア集積部１２２は、認識スコア集積部１２２に認識スコアｙが入力される度に時系列認識スコアＹを異常パターン検知部１２３に入力しなくてもよく、一定時間毎に異常パターン検知部１２３が認識スコア集積部１２２から最新の時系列認識スコアＹを取り出し、取り出した時系列認識スコアＹを用いてもよい。時系列認識スコアは、複数の認識スコアを用いて生成された時系列データである。複数の認識スコアは、撮影時間範囲内の互いに異なる時刻に撮影範囲内の範囲を撮影した複数の画像データそれぞれを用いて計算され、また、当該複数の画像データそれぞれにおいて物体を検知した結果を示す。
異常パターン検知部１２３は、時系列認識スコアＹに対して事前に指定された異常パターンとのマッチングを行う。異常パターン検知部１２３は、検知結果ｒとして、時系列認識スコアＹが異常パターンに合致する場合には検知したことを示す結果、時系列認識スコアＹが異常パターンに合致しない場合には敵対的サンプルパッチ攻撃を検知していないことを示す結果をデータ出力部１２４に入力する。異常パターン検知部１２３は、通常時の認識スコアの推移と異なる推移である異常パターンを検知した際に敵対的サンプルパッチによる攻撃が行われたと判定する。異常パターン検知部１２３は、時系列認識スコアに、敵対的サンプルパッチ攻撃が複数の画像データの少なくともいずれかに対して実施された場合において生じる異常パターンが含まれているか否かを検知する。
データ出力部１２４は、入力された検知結果ｒを出力する。
データ入力部１２１は、認識スコアｙを受け取り、受け取った認識スコアｙを認識スコア集積部１２２に入力する。
認識スコア集積部１２２は、入力された認識スコアｙを時系列認識スコアＹ’に追加することによって時系列認識スコアＹを生成し、生成した時系列認識スコアＹを異常パターン検知部１２３に入力する。時系列認識スコアＹは更新された時系列認識スコアＹ’に当たる。時系列認識スコアＹ’は、新たな認識スコアｙが入力されるまでに入力された認識スコアｙを集積して生成した時系列データである。認識スコア集積部１２２は、認識スコア集積部１２２に認識スコアｙが入力される度に時系列認識スコアＹを異常パターン検知部１２３に入力しなくてもよく、一定時間毎に異常パターン検知部１２３が認識スコア集積部１２２から最新の時系列認識スコアＹを取り出し、取り出した時系列認識スコアＹを用いてもよい。時系列認識スコアは、複数の認識スコアを用いて生成された時系列データである。複数の認識スコアは、撮影時間範囲内の互いに異なる時刻に撮影範囲内の範囲を撮影した複数の画像データそれぞれを用いて計算され、また、当該複数の画像データそれぞれにおいて物体を検知した結果を示す。
異常パターン検知部１２３は、時系列認識スコアＹに対して事前に指定された異常パターンとのマッチングを行う。異常パターン検知部１２３は、検知結果ｒとして、時系列認識スコアＹが異常パターンに合致する場合には検知したことを示す結果、時系列認識スコアＹが異常パターンに合致しない場合には敵対的サンプルパッチ攻撃を検知していないことを示す結果をデータ出力部１２４に入力する。異常パターン検知部１２３は、通常時の認識スコアの推移と異なる推移である異常パターンを検知した際に敵対的サンプルパッチによる攻撃が行われたと判定する。異常パターン検知部１２３は、時系列認識スコアに、敵対的サンプルパッチ攻撃が複数の画像データの少なくともいずれかに対して実施された場合において生じる異常パターンが含まれているか否かを検知する。
データ出力部１２４は、入力された検知結果ｒを出力する。
図４は、本実施の形態に係る物体検知装置１１０及び攻撃検知装置１２０の各々のハードウェア資源の一例を示す図である。物体検知装置１１０及び攻撃検知装置１２０の各々は、コンピュータから成り、また、複数のコンピュータから成ってもよい。
物体検知装置１１０及び攻撃検知装置１２０の各々は、プロセッサ１１を備えている。プロセッサ１１は、バス１２を介してＲＯＭ１３と、ＲＡＭ１４と、通信ボード１５と、表示装置であるディスプレイ５１と、キーボード５２と、マウス５３と、ドライブ５４と、磁気ディスク装置２０等のハードウェアデバイスと接続され、これらのハードウェアデバイスを制御する。プロセッサ１１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。物体検知装置１１０及び攻撃検知装置１２０の各々は、複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１１の役割を分担する。
ドライブ５４は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記憶媒体を読み書きする装置である。
ＲＯＭ１３と、ＲＡＭ１４と、磁気ディスク装置２０と、ドライブ５４との各々は、記憶装置の一例である。記憶装置はコンピュータから独立していてもよい。
キーボード５２と、マウス５３と、通信ボード１５との各々は入力装置の一例である。ディスプレイ５１及び通信ボード１５は出力装置の一例である。
通信ボード１５は、有線又は無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、又は電話回線等の通信網に接続している。通信ボード１５は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）から成る。
磁気ディスク装置２０は、ＯＳ（オペレーティングシステム）２１と、プログラム群２２と、ファイル群２３とを記憶している。
プログラム群２２は、本実施の形態において各部又は各器として説明する機能を実行するプログラムを含む。プログラムは、プロセッサ１１により読み出され実行される。即ち、プログラムは、各部又は各器としてコンピュータを機能させるものであり、また、各部又は各器の手順又は方法をコンピュータに実行させるものである。
本明細書に記載されているいずれのプログラムも、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。本明細書に記載されているいずれのプログラムも、プログラムプロダクトとして提供されてもよい。
本明細書に記載されているいずれのプログラムも、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。本明細書に記載されているいずれのプログラムも、プログラムプロダクトとして提供されてもよい。
ファイル群２３は、本実施の形態において説明する各部又は各器で使用される各種データを含む。
＊＊＊動作の説明＊＊＊
物体検知装置１１０の動作手順は、物体検知方法に相当する。また、物体検知装置１１０の動作を実現するプログラムは、物体検知プログラムに相当する。攻撃検知装置１２０の動作手順は、攻撃検知方法に相当する。また、攻撃検知装置１２０の動作を実現するプログラムは、攻撃検知プログラムに相当する。
物体検知装置１１０の動作手順は、物体検知方法に相当する。また、物体検知装置１１０の動作を実現するプログラムは、物体検知プログラムに相当する。攻撃検知装置１２０の動作手順は、攻撃検知方法に相当する。また、攻撃検知装置１２０の動作を実現するプログラムは、攻撃検知プログラムに相当する。
図５は、本実施の形態に係る敵対的サンプルパッチ検知システム１００の処理の一例を示すフローチャートである。本図を参照して敵対的サンプルパッチ検知システム１００の処理を説明する。
（ステップＳ１１）
データ入力部１１１は、入力画像データｘを受け取り、受け取った入力画像データｘを物体検知器１１２に入力する。
データ入力部１１１は、入力画像データｘを受け取り、受け取った入力画像データｘを物体検知器１１２に入力する。
（ステップＳ１２）
物体検知器１１２は、入力された入力画像データｘを用いて認識スコアｙを算出する。
物体検知器１１２は、入力された入力画像データｘを用いて認識スコアｙを算出する。
（ステップＳ１３）
データ出力部１１３は、算出された認識スコアｙを出力する。
データ出力部１１３は、算出された認識スコアｙを出力する。
（ステップＳ１４）
データ入力部１２１は、認識スコアｙを受け取り、受け取った認識スコアｙを認識スコア集積部１２２に入力する。
データ入力部１２１は、認識スコアｙを受け取り、受け取った認識スコアｙを認識スコア集積部１２２に入力する。
（ステップＳ１５）
認識スコア集積部１２２は、入力された認識スコアｙを時系列認識スコアＹ’に追加することによって時系列認識スコアＹ’を時系列認識スコアＹに更新し、更新した時系列認識スコアＹを異常パターン検知部１２３に入力する。
認識スコア集積部１２２は、入力された認識スコアｙを時系列認識スコアＹ’に追加することによって時系列認識スコアＹ’を時系列認識スコアＹに更新し、更新した時系列認識スコアＹを異常パターン検知部１２３に入力する。
（ステップＳ１６）
異常パターン検知部１２３は、入力された時系列認識スコアＹが事前に指定された異常パターンに合致するか否かを判定する。
異常パターンが時系列認識スコアＹに合致する場合、攻撃検知装置１２０はステップＳ１７に進む。それ以外の場合、攻撃検知装置１２０はステップＳ１８に進む。
異常パターン検知部１２３は、入力された時系列認識スコアＹが事前に指定された異常パターンに合致するか否かを判定する。
異常パターンが時系列認識スコアＹに合致する場合、攻撃検知装置１２０はステップＳ１７に進む。それ以外の場合、攻撃検知装置１２０はステップＳ１８に進む。
（ステップＳ１７）
データ出力部１２４は、検知結果ｒとして、敵対的サンプルパッチ攻撃を検知したことを示す結果を出力する。
データ出力部１２４は、検知結果ｒとして、敵対的サンプルパッチ攻撃を検知したことを示す結果を出力する。
（ステップＳ１８）
データ出力部１２４は、検知結果ｒとして、敵対的サンプルパッチ攻撃を検知していないことを示す結果を出力する。
データ出力部１２４は、検知結果ｒとして、敵対的サンプルパッチ攻撃を検知していないことを示す結果を出力する。
＊＊＊実施の形態１の効果の説明＊＊＊
以上のように、本実施の形態によれば、時系列認識スコアが異常パターンに合致するか否かを判定することによって敵対的サンプルパッチ攻撃を検知することができる。
以上のように、本実施の形態によれば、時系列認識スコアが異常パターンに合致するか否かを判定することによって敵対的サンプルパッチ攻撃を検知することができる。
＊＊＊他の構成＊＊＊
＜変形例１＞
図６は、本変形例に係る物体検知装置１１０及び攻撃検知装置１２０の各々のハードウェア構成例を示している。
物体検知装置１１０及び攻撃検知装置１２０の各々は、プロセッサ１１、プロセッサ１１とＲＯＭ１３、プロセッサ１１とＲＡＭ１４、あるいはプロセッサ１１とＲＯＭ１３とＲＡＭ１４とに代えて、処理回路１８を備える。
処理回路１８は、物体検知装置１１０及び攻撃検知装置１２０の各々が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１８は、専用のハードウェアであってもよく、また、磁気ディスク装置２０に格納されるプログラムを実行するプロセッサであってもよい。
＜変形例１＞
図６は、本変形例に係る物体検知装置１１０及び攻撃検知装置１２０の各々のハードウェア構成例を示している。
物体検知装置１１０及び攻撃検知装置１２０の各々は、プロセッサ１１、プロセッサ１１とＲＯＭ１３、プロセッサ１１とＲＡＭ１４、あるいはプロセッサ１１とＲＯＭ１３とＲＡＭ１４とに代えて、処理回路１８を備える。
処理回路１８は、物体検知装置１１０及び攻撃検知装置１２０の各々が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１８は、専用のハードウェアであってもよく、また、磁気ディスク装置２０に格納されるプログラムを実行するプロセッサであってもよい。
処理回路１８が専用のハードウェアである場合、処理回路１８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらの組み合わせである。
物体検知装置１１０及び攻撃検知装置１２０の各々は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。
物体検知装置１１０及び攻撃検知装置１２０の各々は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。
物体検知装置１１０及び攻撃検知装置１２０の各々において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。
処理回路１８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
プロセッサ１１とＲＯＭ１３とＲＡＭ１４と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、物体検知装置１１０及び攻撃検知装置１２０の各々の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
プロセッサ１１とＲＯＭ１３とＲＡＭ１４と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、物体検知装置１１０及び攻撃検知装置１２０の各々の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
＊＊＊他の実施の形態＊＊＊
実施の形態１について説明したが、本実施の形態のうち、複数の部分を組み合わせて実施しても構わない。あるいは、本実施の形態を部分的に実施しても構わない。その他、本実施の形態は、必要に応じて種々の変更がなされても構わず、全体としてあるいは部分的に、どのように組み合わせて実施されても構わない。各部又は各器として説明するものは、ファームウェア、ソフトウェア、ハードウェア又はこれらの組み合わせのいずれで実装されても構わない。
なお、前述した実施の形態は、本質的に好ましい例示であって、本開示と、その適用物と、用途の範囲とを制限することを意図するものではない。フローチャート等を用いて説明した手順は、適宜変更されてもよい。
実施の形態１について説明したが、本実施の形態のうち、複数の部分を組み合わせて実施しても構わない。あるいは、本実施の形態を部分的に実施しても構わない。その他、本実施の形態は、必要に応じて種々の変更がなされても構わず、全体としてあるいは部分的に、どのように組み合わせて実施されても構わない。各部又は各器として説明するものは、ファームウェア、ソフトウェア、ハードウェア又はこれらの組み合わせのいずれで実装されても構わない。
なお、前述した実施の形態は、本質的に好ましい例示であって、本開示と、その適用物と、用途の範囲とを制限することを意図するものではない。フローチャート等を用いて説明した手順は、適宜変更されてもよい。
１１ プロセッサ、１２ バス、１３ ＲＯＭ、１４ ＲＡＭ、１５ 通信ボード、１８ 処理回路、２０ 磁気ディスク装置、２１ ＯＳ、２２ プログラム群、２３ ファイル群、５１ ディスプレイ、５２ キーボード、５３ マウス、５４ ドライブ、１００ 敵対的サンプルパッチ検知システム、１１０ 物体検知装置、１１１ データ入力部、１１２ 物体検知器、１１３ データ出力部、１２０ 攻撃検知装置、１２１ データ入力部、１２２ 認識スコア集積部、１２３ 異常パターン検知部、１２４ データ出力部。
Claims (4)
- 撮影時間範囲内の互いに異なる時刻に撮影範囲内の範囲を撮影した複数の画像データそれぞれを用いて計算された複数の認識スコアであって、前記複数の画像データそれぞれにおいて物体を検知した結果を示す複数の認識スコアを用いて生成された時系列データである時系列認識スコアに、敵対的サンプルパッチ攻撃が前記複数の画像データの少なくともいずれかに対して実施された場合において生じる異常パターンが含まれているか否かを検知する異常パターン検知部
を備える攻撃検知装置であって、
前記異常パターンは、前記時系列認識スコアが示す認識スコアの値が物体検知閾値未満異常検知閾値以上である時間が異常検知時間以上継続することを示すパターンである攻撃検知装置。 - 請求項１に記載の攻撃検知装置と、
前記複数の画像データそれぞれを用いて前記複数の認識スコアを計算する物体検知部を備える物体検知装置と
を備える敵対的サンプルパッチ検知システム。 - コンピュータが、撮影時間範囲内の互いに異なる時刻に撮影範囲内の範囲を撮影した複数の画像データそれぞれを用いて計算された複数の認識スコアであって、前記複数の画像データそれぞれにおいて物体を検知した結果を示す複数の認識スコアを用いて生成された時系列データである時系列認識スコアに、敵対的サンプルパッチ攻撃が前記複数の画像データの少なくともいずれかに対して実施された場合において生じる異常パターンが含まれているか否かを検知する攻撃検知方法であって、
前記異常パターンは、前記時系列認識スコアが示す認識スコアの値が物体検知閾値未満異常検知閾値以上である時間が異常検知時間以上継続することを示すパターンである攻撃検知方法。 - 撮影時間範囲内の互いに異なる時刻に撮影範囲内の範囲を撮影した複数の画像データそれぞれを用いて計算された複数の認識スコアであって、前記複数の画像データそれぞれにおいて物体を検知した結果を示す複数の認識スコアを用いて生成された時系列データである時系列認識スコアに、敵対的サンプルパッチ攻撃が前記複数の画像データの少なくともいずれかに対して実施された場合において生じる異常パターンが含まれているか否かを検知する異常パターン検知処理
をコンピュータである攻撃検知装置に実行させる攻撃検知プログラムであって、
前記異常パターンは、前記時系列認識スコアが示す認識スコアの値が物体検知閾値未満異常検知閾値以上である時間が異常検知時間以上継続することを示すパターンである攻撃検知プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/022916 WO2022264331A1 (ja) | 2021-06-16 | 2021-06-16 | 攻撃検知装置、敵対的サンプルパッチ検知システム、攻撃検知方法、及び、攻撃検知プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2022264331A1 JPWO2022264331A1 (ja) | 2022-12-22 |
| JPWO2022264331A5 JPWO2022264331A5 (ja) | 2023-07-05 |
| JP7309101B2 true JP7309101B2 (ja) | 2023-07-14 |
Family
ID=84526462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023527359A Active JP7309101B2 (ja) | 2021-06-16 | 2021-06-16 | 攻撃検知装置、敵対的サンプルパッチ検知システム、攻撃検知方法、及び、攻撃検知プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12537826B2 (ja) |
| JP (1) | JP7309101B2 (ja) |
| CN (1) | CN117425898A (ja) |
| DE (1) | DE112021007504T5 (ja) |
| WO (1) | WO2022264331A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12536300B2 (en) | 2023-12-29 | 2026-01-27 | Robert Bosch Gmbh | System and method for query efficient blackbox physically realizable attack with bayesian optimization |
| US12464018B2 (en) * | 2023-12-29 | 2025-11-04 | Robert Bosch Gmbh | System and method for high-resolution blackbox patch attack with Bayesian optimization |
| IL310277A (en) | 2024-01-21 | 2025-08-01 | Fujitsu Ltd | Computer-readable recording medium, information processing method, and information processing device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019125867A (ja) | 2018-01-12 | 2019-07-25 | パナソニックＩｐマネジメント株式会社 | 監視装置、監視システム及び監視方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2507217A (en) | 2011-07-25 | 2014-04-23 | Ibm | Information identification method, program and system |
| US9779361B2 (en) | 2014-06-05 | 2017-10-03 | Mitsubishi Electric Research Laboratories, Inc. | Method for learning exemplars for anomaly detection |
| JP6822328B2 (ja) | 2017-06-27 | 2021-01-27 | オムロン株式会社 | 見守り支援システム及びその制御方法 |
| DE102017217733A1 (de) * | 2017-10-05 | 2019-04-11 | Conti Temic Microelectronic Gmbh | Prüfen eines neuronalen Netzes |
| JP7047372B2 (ja) | 2017-12-21 | 2022-04-05 | 東レ株式会社 | データ識別装置およびデータ識別方法 |
| US10915631B2 (en) * | 2017-12-28 | 2021-02-09 | Intel Corporation | Deep learning on execution trace data for exploit detection |
| US10944767B2 (en) * | 2018-02-01 | 2021-03-09 | International Business Machines Corporation | Identifying artificial artifacts in input data to detect adversarial attacks |
| JP7183904B2 (ja) | 2019-03-26 | 2022-12-06 | 日本電信電話株式会社 | 評価装置、評価方法、および、評価プログラム |
| US11681796B2 (en) * | 2019-09-10 | 2023-06-20 | International Business Machines Corporation | Learning input preprocessing to harden machine learning models |
| US11727109B2 (en) * | 2020-01-24 | 2023-08-15 | International Business Machines Corporation | Identifying adversarial attacks with advanced subset scanning |
| US12019747B2 (en) * | 2020-10-13 | 2024-06-25 | International Business Machines Corporation | Adversarial interpolation backdoor detection |
| CN116109521B (zh) * | 2023-04-07 | 2023-07-14 | 北京建筑大学 | 局部对抗性攻击启发式防御方法和装置 |
-
2021
- 2021-06-16 JP JP2023527359A patent/JP7309101B2/ja active Active
- 2021-06-16 DE DE112021007504.7T patent/DE112021007504T5/de active Pending
- 2021-06-16 CN CN202180099131.8A patent/CN117425898A/zh active Pending
- 2021-06-16 WO PCT/JP2021/022916 patent/WO2022264331A1/ja not_active Ceased
-
2023
- 2023-10-30 US US18/385,112 patent/US12537826B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019125867A (ja) | 2018-01-12 | 2019-07-25 | パナソニックＩｐマネジメント株式会社 | 監視装置、監視システム及び監視方法 |
Non-Patent Citations (3)
| Title |
|---|
| DOSHI, K. et al.，Continual Learning for Anomaly Detection in Surveillance Videos，arXiv.org [online]，arXiv:2004.07941，2020年04月15日，Retrieved from the Internet: <URL: https://arxiv.org/abs/2004.07941> [Retrieved on 2021-08-31] |
| JI, N., et al.，Adversarial YOLO: Defense Human Detection Patch Attacks via Detecting Adversarial Patches，arXiv.org [online]，arXiv:2103.08860，2021年03月16日，Retrieved from the Internet: <URL: https://arxiv.org/abs/2103.08860> [Retrieved on 2021-08-31] |
| XIAO, C., et al.，AdvIT: Adversarial Frames Identifier Based on Temporal Consistency in Videos，Proceedings of 2019 IEEE/CVF International Conference on Computer Vision (ICCV)，2019年10月27日，pp. 3967-3976，Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/9010733> [Retrieved on 2021-08-31]，DOI: 10.1109/ICCV.2019.00407 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022264331A1 (ja) | 2022-12-22 |
| US12537826B2 (en) | 2026-01-27 |
| US20240064157A1 (en) | 2024-02-22 |
| CN117425898A (zh) | 2024-01-19 |
| DE112021007504T5 (de) | 2024-02-29 |
| WO2022264331A1 (ja) | 2022-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12069087B2 (en) | System and method for analyzing binary code for malware classification using artificial neural network techniques | |
| JP7309101B2 (ja) | 攻撃検知装置、敵対的サンプルパッチ検知システム、攻撃検知方法、及び、攻撃検知プログラム | |
| JP5281717B2 (ja) | 挙動に基づいた発見的方法の攻撃性の通知へのファイルの普及度の使用 | |
| CN103150506B (zh) | 一种恶意程序检测的方法和装置 | |
| CN111222137A (zh) | 一种程序分类模型训练方法、程序分类方法及装置 | |
| RU2708356C1 (ru) | Система и способ двухэтапной классификации файлов | |
| WO2020056390A1 (en) | Bit-level data generation and artificial intelligence techniques and architectures for data protection | |
| KR101558652B1 (ko) | 바이너리 정보의 시각화를 이용한 악성 코드 분석 및 변종 탐지 방법, 그 방법을 수행하는 장치 | |
| CN111753290B (zh) | 软件类型的检测方法及相关设备 | |
| US11663363B2 (en) | System and method of detecting a false positive outcome in classification of files | |
| US20180341769A1 (en) | Threat detection method and threat detection device | |
| KR102581154B1 (ko) | 모델 앙상블을 이용한 객체 탐지 방법 및 장치 | |
| US20210097183A1 (en) | Data scan system | |
| US9842219B1 (en) | Systems and methods for curating file clusters for security analyses | |
| JP2016206950A (ja) | マルウェア判定のための精査教師データ出力装置、マルウェア判定システム、マルウェア判定方法およびマルウェア判定のための精査教師データ出力プログラム | |
| US20200005470A1 (en) | Image detection device, image detection method and storage medium storing program | |
| JP6579995B2 (ja) | 静観候補特定装置、静観候補特定方法及び静観候補特定プログラム | |
| CN114139154B (zh) | 一种恶意代码检测方法、装置、计算机和可读存储介质 | |
| US11222113B1 (en) | Automatically generating malware definitions using word-level analysis | |
| US11941118B2 (en) | System and method to build robust classifiers against evasion attacks | |
| JP7571858B2 (ja) | 判定装置、判定方法および判定プログラム | |
| KR101853211B1 (ko) | 모바일 gpu 환경에서 차영상 정보를 이용한 sift 알고리즘의 복잡도 감소 기법 | |
| JP6877959B2 (ja) | 情報処理装置及び情報処理プログラム | |
| WO2023223440A1 (ja) | 画像処理装置、攻撃対策方法および攻撃対策プログラム | |
| US20220207267A1 (en) | Computer-readable recording medium storing detection program, detection method, and detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230508 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230508 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230508 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230704 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7309101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |