JP6731529B1 - 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 - Google Patents

単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 Download PDF

Info

Publication number
JP6731529B1
JP6731529B1 JP2019148281A JP2019148281A JP6731529B1 JP 6731529 B1 JP6731529 B1 JP 6731529B1 JP 2019148281 A JP2019148281 A JP 2019148281A JP 2019148281 A JP2019148281 A JP 2019148281A JP 6731529 B1 JP6731529 B1 JP 6731529B1
Authority
JP
Japan
Prior art keywords
pixel
recognition
sample
neural network
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019148281A
Other languages
English (en)
Other versions
JP2020170495A (ja
Inventor
▲顧▼▲ジャオ▼▲銓▼
方▲ビン▼▲興▼
▲張▼川京
唐可可
▲湯▼▲ユン▼嶷
▲蘇▼▲ユー▼
Original Assignee
▲広▼州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ▲広▼州大学 filed Critical ▲広▼州大学
Application granted granted Critical
Publication of JP6731529B1 publication Critical patent/JP6731529B1/ja
Publication of JP2020170495A publication Critical patent/JP2020170495A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】運行時間が短く、数字サンプル画像の1つの画素点を変更するだけで、ニューラルネットワークが数字画像を正確に認識する確率を大幅に低下させる、1ピクセル攻撃サンプルの生成方法を提供する。【解決手段】認識対象画像Xを取得して、認識対象画像Xの各画素点をトラバースし、各画素点ごとにK個の画素値をサンプリングし、それぞれ各数値のプリセットのニューラルネットワークNにおける認識確率を算出して、認識確率が最も低いときの画素点の位置Pを取得し、画素点の位置Pでの各画素値をトラバースし、それぞれ各数値のプリセットのニューラルネットワークNにおける認識確率を算出して、認識確率が最も低いときの画素値V’を取得し、認識対象画像Xにおける画素位置Pの画素値をV’に変更し、敵対標本X’を取得する。【選択図】図1

Description

本発明は画像認識技術分野に関し、特に単一画素攻撃サンプルの生成方法に関する。
画像認識と分類は現在のコンピュータ科学研究の重要分野であり、数字認識は画像認識の重要なブランチであり、コンピュータが0−9のアラビア数字をスマートに認識することを目的とする。金融市場化の急速な進展に伴い、手形取扱サービスは継続的に発展し、手形取扱量は日々増加し、手書きの数字はそれぞれが異なり、従来のOCR技術の認識正確性は高くなく、その為に多くの研究学者、企業はディープラーニングの方法を用い、数字認識のニューラルネットワークを構築することで数字を自動的に認識させている。
ディープラーニング、ニューラルネットワーク技術の急速な発展に伴って、ニューラルネットワークは、画像における小さな干渉により生成された敵対的サンプルを追加することで、ニューラルネットワーク分類器が完全に異なる認識結果を得ることになるという欠陥を露呈した。従って、ニューラルネットワーク向けの敵対的攻撃方法も徐々に学者の研究分野になっている。一般的には、元の画像とほとんど違いがない画像を生成し、該生成画像は敵対的サンプルと呼称され、このような敵対的サンプル画像はニューラルネットワークにエラーを発生させることができるが、元の画像と敵対的サンプル画像との違いを裸眼で観察しにくい。
現在、いくつかの数字認識のニューラルネットワーク向けの攻撃方法が存在する。従来の特許における最も近い技術は、勾配降下アイデアを参考にし、従来の畳み込みニューラルネットワークで敵対的サンプルを生成する「敵対的攻撃に基づくナンバープレート攻撃生成方法」(出願番号201810186291.6)であり、さらに、画像における1つの画素値を変えるだけで敵対的攻撃を実現することができるというより極端な敵対的攻撃方法であり、論文「One pixel attack for fooling deep neural networks」(Su J,Vargas D V,Kouichi S.One pixel attack for fooling deep neural networks[J].2017)においては、Suらは微分進化アルゴリズムを用い、各画像を反復的に修正してサブ画像を生成し、且つ攻撃効果が最も高いサブ画像を敵対的サンプルとして残し、ニューラルネットワークに対する攻撃を実現する。数字ニューラルネットワーク向けの単一画素攻撃は、すなわち元の画像サンプルにおける1つの画素の数値を修正することで、ニューラルネットワークが数字を正確に認識する確率を低減させる。最も簡単な方法はトラバーサル法であり、画像の全ての画素点の画素値(0〜255)をトラバーサルし、すなわちトラバーサルが各画素点を選択し、且つ該点の数値を0から255まで1つずつ数え上げ、各種の状況でニューラルネットワークが現在の数字を正確に認識する確率を記録し、全ての状況を数え上げた後にニューラルネットワークの認識正確率が最も低いサンプルを単一画素攻撃サンプルとして選択する。
上記敵対的サンプルを生成する技術においては、第1の技術は、ナンバープレート数字に対して敵対的サンプルを生成し、ニューラルネットワークに基づいて認識するナンバープレート分類器の分類精度を大幅に低減させるが、敵対的サンプルを生成する方法の作用主体がナンバープレートにおけるアラビア数字であり、これらの数字の規則性は非常に高く、一方、手書きのアラビア数字のランダム性は非常に高く、一定の規則を有する数字向けの敵対的サンプル生成方法は一般的な状況における数字の敵対的サンプルの生成に適用できない。
第2の技術は論文において使用された微分進化方法であり、該方法は主にカラー写真向けの敵対的サンプル生成を対象とし、且つ数字認識分野を対象とせず、且つアルゴリズムの複雑度が非常に高い。
第3の技術はトラバーサル数え上げによる方法で単一画素敵対的サンプルを効果的に生成することができるが、該方法は全ての画素点を数え上げる必要があり、且つ各画素点の数値は0から255まで数え上げる必要があり、計算複雑度が非常に高く、効率が低い。
中国特許出願公開第108446700号明細書
本発明の実施例の目的は単一画素攻撃サンプルの生成方法を提供することであり、該方法は、動作時間が短く、数字サンプル画像の1つの画素点を修正するだけで、ニューラルネットワークが数字画像を正確に認識する確率を大幅に低減させることができる。
上記目的を実現するために、本発明の実施例は単一画素攻撃サンプルの生成方法を提供しており、
認識対象画像Xを取得し、前記認識対象画像Xの各画素点をトラバーサルし、各画素点においてK(255≧K≧1)個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得るステップと、
前記画素点の位置Pの各画素値をトラバーサルし、且つ各数値の前記予め設定したニューラルネットワークNにおける認識確率をそれぞれ計算し、認識確率が最も低い時の画素値V’を得るステップと、
前記認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得るステップとを含む。
さらに、前記予め設定したニューラルネットワークNは複数の数字サンプル画像を入力して、各数字を正確に認識するまで認識トレーニングを行い構築してなるものであり、
前記予め設定したニューラルネットワークNは、入力した数字サンプル写真を認識し、且つ認識結果を出力することに用いられる。
さらに、前記認識結果はaiであり、aiは確率が最大のものと対応する数字であり、0≦i≦9である。
さらに、前記認識結果aiの確率はa0+a1+a2+a3+a4+a5+a6+a7+a8+a9=1を満たす。
さらに、前記した各数値の予め設定したニューラルネットワークNにおける認識確率をそれぞれ計算し、認識確率が最も低い時の画素点の位置Pを得るステップは、具体的には、
前記認識対象画像Xの画素はM*N個であり、前記M*N個の画素点をトラバーサルし、且つ各画素点においてK個の値をサンプリングし、M*N*K個の数値を得ることと、
それぞれ前記M*N*K個の数値を前記予め設定したニューラルネットワークNに入力して認識し、M*N*K個の出力した認識結果を得ることと、
前記M*N*K個の出力した認識結果のうちの最も小さい認識結果biを取得し、且つ前記認識結果biに基づき、認識確率が最も低い時の画素点の位置Pを得ることとを含む。
さらに、前記K=10。
本発明は、さらに、位置確認モジュール、画素値確認モジュール及び敵対的サンプル生成モジュールを備える単一画素攻撃サンプル生成設備を提供しており、
前記位置確認モジュールは、認識対象画像Xを取得し、前記認識対象画像Xの各画素点をトラバーサルし、各画素点においてK(255≧K≧1)個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得ることに用いられ、
前記画素値確認モジュールは、前記画素点の位置Pの各画素値をトラバーサルし、且つそれぞれ各数値の前記予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素値V’を得ることに用いられ、
前記敵対的サンプル生成モジュールは、前記認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得ることに用いられる。
好適には、前記位置確認モジュールは、画素個数確認ユニット、認識ユニット及び位置認識ユニットを備え、
前記画素個数確認ユニットは、前記認識対象画像Xの画素がM*N個であり、前記M*N個の画素点をトラバーサルし、且つ各画素点においてK個の値をサンプリングし、M*N*K個の数値を得ることに用いられ、
前記認識ユニットは、それぞれ前記M*N*K個の数値を前記予め設定したニューラルネットワークNに入力して認識し、M*N*K個の出力した認識結果を得ることに用いられ、
前記位置認識ユニットは、前記M*N*K個の出力した認識結果のうちの最も小さい認識結果biを取得し、且つ前記認識結果biに基づき、認識確率が最も低い時の画素点の位置Pを得ることに用いられる。
本発明の他実施例は、単一画素攻撃サンプル生成設備を提供している。前記単一画素攻撃サンプル生成設備は、プロセッサ、メモリ及び前記メモリに記憶され且つ前記プロセッサにより実行されるように配置されるコンピュータプログラムを備え、前記プロセッサは前記コンピュータプログラムを実行する場合、上記発明の実施例に記載の単一画素攻撃サンプルの生成方法を実現する。
本発明の他実施例は記憶媒体を提供している。前記コンピュータ読み取り可能記憶媒体は記憶されるコンピュータプログラムを含み、前記コンピュータプログラムが起動する場合、前記コンピュータ読み取り可能記憶媒体の位置する設備が上記発明の実施例に記載の単一画素攻撃サンプルの生成方法を実行するように制御する。
従来技術に比べて、以下の有益な効果を有する。
本発明の実施例に係る単一画素攻撃サンプルの生成方法は、認識対象画像Xを取得し、認識対象画像Xの各画素点をトラバーサルし、各画素点においてK個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得て、画素点の位置Pの各画素値をトラバーサルし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素値V’を得て、認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得るものであり、該方法は動作時間が短く、数字サンプル画像の1つの画素点を修正するだけで、ニューラルネットワークが数字画像を正確に認識する確率を大幅に低減させることができる。
は本発明に係る単一画素攻撃サンプルの生成方法の一実施例のフローチャートである。
は本発明に係る単一画素攻撃サンプルの生成方法の一実施例の全フローチャートである。
は本発明に係る単一画素攻撃サンプルの生成方法の一実施例の具体的なフローチャートである。
は本発明に係る単一画素攻撃サンプルの生成方法の一実施例の具体的なフローチャートである。
は本発明に係る単一画素攻撃サンプル生成装置の一実施例の構造模式図である。
以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術案について明確且つ完全に説明する。無論、説明される実施例は本発明の実施例の単なる一部であり、実施例の全てではない。本発明の実施例に基づき、当業者が進歩性のある労働を必要とせずに得られる他の実施例は、いずれも本発明の保護範囲に属する。
図1に示すように、本発明の実施例は単一画素攻撃サンプルの生成方法を提供しており、ステップS1−S3を含む。
S1、認識対象画像Xを取得し、前記認識対象画像Xの各画素点をトラバーサルし、各画素点においてK(255≧K≧1)個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得て、
本実施例においては、ステップS1は、具体的には、前記認識対象画像Xの画素がM*N個であり、前記M*N個の画素点をトラバーサルし、且つ各画素点においてK個の値をサンプリングし、M*N*K個の数値を得ることと、それぞれ前記M*N*K個の数値を前記予め設定したニューラルネットワークNに入力して認識し、M*N*K個の出力した認識結果を得ることと、前記M*N*K個の出力した認識結果のうちの最も小さい認識結果biを取得し、且つ前記認識結果biに基づき、認識確率が最も低い時の画素点の位置Pを得ることとを含む。
Kの値は実際値と関連している。K値が大きいほど、計算複雑度が高く、必要な時間が長いが、得る結果がより優れ、一方、K値が小さいほど、動作速度が速いが、効果は僅かに劣る。K値が255であると、トラバーサル方法に相当する。実際のKは10、20、30等の値となり得る。トラバーサル法を用いると、全ての画素点と全ての値をトラバーサルする必要があり、すなわちM*N*256回動作する必要があり、計算回数として理解することができる。本手段の方法を用いると、動作回数はM*N*K+256であり、式中、M*N*Kは第1ステップの計算回数であり、256を加えると第2ステップにおいて1つの点に対して256個の数値をトラバーサルすることとなる。そのため、Kが非常に小さいと、計算回数がかなり小さくなるため、本実施例においてK値は10であり、計算回数は10*M*N+256であり、トラバーサル方法に比べて向上する計算効率はほぼ256/100=25.6倍になる。従って、計算時間を大幅に節約することができ、敵対的サンプルを迅速且つ高効率に生成することができる。
S2、前記画素点の位置Pの各画素値をトラバーサルし、且つそれぞれ各数値の前記予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素値V’を得て、
S3、前記認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得る。
本発明の実施例においては、前記予め設定したニューラルネットワークNは複数の数字サンプル画像を入力して、各数字を正確に認識するまで認識トレーニングして構築されるものであり、
前記予め設定したニューラルネットワークNは、入力した数字サンプル写真を認識し、且つ認識結果を出力することに用いられる。
前記認識結果はaiであり、aiは確率が最大のものと対応する数字であり、0≦i≦9、aiの確率はa0+a1+a2+a3+a4+a5+a6+a7+a8+a9=1を満たす。
図2〜図4に示すように、本発明の動作原理についてより良い説明のため、以下、本発明に係る単一画素攻撃サンプルの生成方法のワークフローであり、
図2に示すように、図2は本発明の一好適実施例に係る単一画素攻撃サンプル生成方法の全フローチャートである。
図3に示すように、図3は本発明の単一画素攻撃サンプルの生成方法の第1ステップにおける具体的な実現プロセスであり、すなわち画素点をトラバーサルしてサンプリングする方法で修正する必要がある画素点の位置を検索し、サンプリング方法と組み合わせてXにおける変更する必要がある画素点の位置を特定する。
認識対象画像Xの画素個数はM*Nであり、すなわちM行、N列の画素点があり、各画素点の数値範囲は[0,255]である。PmnをXにおける第m行n列の画素点、Vmnを該画素点Pmnの画素値として定義する。先ず各画素点をトラバーサルし、すなわちM*N個の画素点{P00、P01、P02、…、PMN}を考慮し、各画素点位置においてサンプリング方法で現在の画素値を変更する。たとえば、画素点Pmnを考慮し、敵対的サンプルX’の該点における数値Vmn’が[0,255]からK個の数値を、それぞれ{Vmn1、Vmn2、…、VmnK}としてサンプリングすると仮定し、それぞれ各数値におけるニューラルネットワークNの敵対的サンプルX’に対する認識確率を計算して、(b0、b1、…、b9)として出力し、ci=ai−biで計算し、且つ全てのサンプリング状況でciの最大数値のみを残す。M*N個の画素点をトラバーサルするプロセスにおいて、各点におけるK個の数値をサンプリングし、全ての得られたM*N*K個の数値において、毎回のニューラルネットワークNの現在の敵対的サンプルに対する認識確率を計算し、ciが最も大きい状況を特定し、且つ現在の画素点の位置をPxy、画素値をVxy1とする。
図4に示すように、図4は本発明方法の第2ステップにおける具体的な実現プロセスであり、すなわち選択された画素点において[0,255]の全ての画素数値をトラバーサルし、最適な画素数値を決定し、ニューラルネットワークが正確に認識する確率を最も低くする。
選択された画素点位置Pxyに基づき、全ての画素値を数え上げ、最適な敵対的サンプルを検索する。第1ステップではサンプリング方式で点Pxyを選択し、且つ対応する数値がVxy1である場合、敵対的サンプルが正確に認識される確率が最も低い。本発明は、Pxy位置が確定された場合、第1ステップの数値Vxy1を含む全ての数値[0,255]を数え上げ、256種の状況から毎回のニューラルネットワークNの現在の敵対的サンプルに対する認識確率を計算し、且つciが最も大きい状況を検索し、ciが最も大きい状況での画素値をVxy2とする。生成する敵対的サンプルX’は、元のサンプルXの位置Pxyを修正し、且つ該点の数値をVxy2に修正する。
具体的には、手書き数字のモノクロ画像MNISTデータセットをトレーニングして得られたニューラルネットワークNを実施例とする。MNISTデータセットにおける各画像のサイズは28*28であり、合計784個の画素点であり、各画素点の取得可能な画素値は[0,255]である。テスト時に1枚の画像Pを入力し、出力結果F(P)=(a0、a1、…、a9)を得て、そのうちの最大結果Max(ai)を選択すると、iはテスト画像Pに対応する数字となる。
1枚の認識対象画像Xを任意に選択し、該画像に対応する数字が6と仮定し、正確に認識する確率a6=0.9として、画像Xに対する敵対的サンプルX’を生成する実施例は以下のとおりである。
まず、修正する必要がある画素点位置を選択する。画像Xの784個の画素点をトラバーサルし、各画素点は[0,255]からK=10個の数値をサンプリングし、たとえば[0,255]から10個の点をランダムに選択してもよく、[0,25,50,75,100,125,150,175,200,225,250]の10個の固定のサンプリングポイントを選択してもよい。各画素点Pmnに対して、それぞれ10種の異なるサンプリング値を有するため、784*10=7840種の異なる敵対的サンプルを生成する。各敵対的サンプル画像に対して、ニューラルネットワークNを呼び出して数字認識の出力確率を計算し、且つc6=a6−b6で計算し、式中、b6は敵対的サンプルが数字6として認識される確率である。全ての7840種の状況において、c6が最も大きい場合が画素点P7,8を選択する場合であると仮定し、画素値V7,8=25の場合、b6=0.4、c6=0.5となる。
第2ステップ、画素点P7,8、すなわち第7行第8列の画素点に対して、全ての[0,255]の画素値をトラバーサルし、この256種の状況でニューラルネットワークNを呼び出して数字認識の出力確率を計算し、且つc6=a6−b6で計算し、該点の数値が16である場合、c6=0.55が最も高いと仮定すると、b6=0.35は、ニューラルネットワークが該敵対的サンプルの数字は6であると認識する確率が0.35であることを示す。従って、出力する単一画素敵対的サンプルX’は、元の画像Xを基礎とし、第7行第8列の画素点を画素値16に修正することである。
従来技術に比べて、本発明に係る単一画素攻撃サンプル生成は、ニューラルネットワークトレーニングプロセス中の損失関数、アクティベーション関数等のニューラルネットワーク内部構造の使用に関するものでなくてもよく、ニューラルネットワークを呼び出して判断すればよく、ニューラルネットワークの出力確率を使用すればよい。
以上のように、本発明は、単一画素攻撃サンプル生成方法を提供しており、認識対象画像Xを取得し、認識対象画像Xの各画素点をトラバーサルし、各画素点においてK個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得て、画素点の位置Pにおける各画素値をトラバーサルし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素値V’を得て、認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得る。該方法は動作時間が短く、数字サンプル画像の1つの画素点を修正するだけで、ニューラルネットワークが数字画像を正確に認識する確率を大幅に低減させることができる。
図5に示すように、本発明の一好適な実施例としては、本発明は、さらに、位置確認モジュール、画素値確認モジュール及び敵対的サンプル生成モジュールを備える単一画素攻撃サンプル生成装置を提供しており、
前記位置確認モジュールは、認識対象画像Xを取得し、前記認識対象画像Xの各画素点をトラバーサルし、各画素点においてK(255≧K≧1)個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得ることに用いられ、前記画素値確認モジュールは、前記画素点の位置Pの各画素値をトラバーサルし、且つそれぞれ各数値の前記予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素値V’を得ることに用いられ、前記敵対的サンプル生成モジュールは、前記認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得ることに用いられる。
本実施例においては、前記位置確認モジュールは、画素個数確認ユニット、認識ユニット及び位置認識ユニットを備え、
前記画素個数確認ユニットは、前記認識対象画像Xの画素がM*N個であり、前記M*N個の画素点をトラバーサルし、且つ各画素点においてK個の値をサンプリングし、M*N*K個の数値を得ることに用いられ、前記認識ユニットは、それぞれ前記M*N*K個の数値を前記予め設定したニューラルネットワークNに入力して認識し、M*N*K個の出力した認識結果を得ることに用いられ、前記位置認識ユニットは、前記M*N*K個の出力した認識結果のうちの最も小さい認識結果biを取得し、且つ前記認識結果biに基づき、認識確率が最も低い時の画素点の位置Pを得ることに用いられる。
本発明の実施例を実施すると、下記有益な効果を有する。
本発明の実施例は、単一画素攻撃サンプル生成装置を提供しており、位置確認モジュールにより認識対象画像Xを取得し、認識確率が最も低い時の画素点の位置Pを確認し、画素値確認モジュールは前記画素点の位置Pに基づき、前記画素点の位置Pの各画素値をトラバーサルし、認識確率が最も低い時の画素値V’を確認し、敵対的サンプル生成モジュールは、前記画素点の位置Pと画素値V’に基づき、前記認識対象画像Xを修正し、敵対的サンプルX’を生成し、アルゴリズムの時間的複雑度を大幅に低減させ、敵対的サンプルの生成効率を向上させ、且つ最小限に画像を変更し、最大限に人の認識へ影響を与えなくする。
本発明の一実施例に係る単一画素攻撃サンプル生成設備は、プロセッサ、メモリ及び前記メモリに記憶され且つ前記プロセッサにおいて動作可能なコンピュータプログラムを備える。前記プロセッサが前記コンピュータプログラムを実行する場合、上記各単一画素攻撃サンプル生成方法の実施例におけるステップを実現し、たとえば図1に示されるステップS1〜S3である。
いわゆるプロセッサは中央処理ユニット(Central Processing Unit、CPU)であってもよく、さらにその他の汎用プロセッサ、デジタルシグナルプロセッサ(Digital Signal Processor、DSP)、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field−Programmable Gate Array、FPGA)又はその他のプログラマブルロジックデバイス、個別ゲート又はトランジスタロジック装置、個別ハードウェアユニット等であってもよい。汎用プロセッサはマイクロプロセッサーであってもよく、又は、任意の通常のプロセッサ等であってもよく、前記プロセッサは前記単一画素攻撃サンプル生成設備のコントロールセンターであり、各種のインタフェースと回路により単一画素攻撃サンプル生成設備全体の各部分を接続する。
前記メモリは、前記コンピュータプログラム及び/又はモジュールを記憶することに用いられ、前記プロセッサは前記メモリ内に記憶されるコンピュータプログラム及び/又はモジュールを動作又は実行し、及びメモリ内に記憶されるデータを呼び出すことで、前記単一画素攻撃サンプル生成設備の様々な機能を実現する。前記メモリは主にプロクラム記憶領域とデータ記憶領域を含むことができ、プロクラム記憶領域はオペレーティングシステム、少なくとも1つの必要な機能であるアプリケーションプログラム(例えば音声再生機能、画像再生機能等)等を記憶することができ、記憶データ領域は、携帯電話の使用に応じて新規作成したデータ(例えば音声データ、電話帳等)等を記憶することができる。また、メモリは、高速ランダムアクセスメモリを含んでもよく、さらに、不揮発性メモリ、たとえばハードディスク、メモリ、プラグインハードドライブ、スマートメディアカード(Smart Media(登録商標) Card、SMC)、セキュアデジタル(Secure Digital、SD)カード、フラッシュカード(Flash Card)、少なくとも1つのディスクストレージデバイス、フラッシュメモリデバイス、又はその他の揮発性固体記憶装置を含んでもよい。
前記単一画素攻撃サンプル生成設備に集積されるモジュール/ユニットは、ソフトウェア機能ユニットの形態として実現され、個別製品として販売又は使用される時に、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づき、本発明における上記実施例方法の全て又は一部のプロセスの実現は、コンピュータプログラムにより関連のハードウェアに指令することにより行うこともでき、前記コンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。該コンピュータプログラムがプロセッサで実行される場合、上記各方法実施例のステップを実現してもよい。前記コンピュータプログラムは、ソースコード、オブジェクトコード、実行可能ファイル又はある中間形式等であってもよいコンピュータプログラムコードを含む。前記コンピュータ読み取り可能媒体は、前記コンピュータプログラムコードを携帯可能ないかなるエンティティ又は装置、記録媒体、Uディスク、モバイルディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み取り専用メモリ(ROM、Read−Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、電気搬送波信号、電信信号及びソフトウェアディストリビューション媒体等を含んでもよい。
なお、以上説明した装置の実施例は概略的なもので、前記分離部材として説明されたユニットは物理的に単独であってもなくてもよく、ユニットとして表示された部材が物理ユニットであってもなくてもよい。すなわち一体的なものでもよく、または複数のネットワークユニットに分散してもよい。必要に応じてその一部または全てのモジュールを選択して本発明の技術案の目的を実現することができる。また、本発明に係る装置実施例の図面中、モジュール間の接続関係は、それらの間に通信接続を有することを示し、具体的な実現形態は1本又は複数本の通信バス又は信号線であってもよい。当業者にとっては進歩性のある労働を必要とせずに、理解し実施することができる。
以上は本発明の好適な実施の形態である。ただし、当業者であれば、本発明の原理から逸脱することなく、複数の改良や修正ができ、これらの改良や修正も本発明の保護範囲とすべきである。

Claims (3)

1ピクセル攻撃サンプルの生成方法であって、
認識対象画像Xを取得して、前記認識対象画像Xの各画素点をトラバースし、各画素点ごとにK個の画素値をサンプリングし、それぞれ各数値のプリセットのニューラルネットワークNにおける認識確率を算出し、認識確率が最も低いときの画素点の位置Pを取得し、255≧K≧1であるステップと、
前記画素点の位置Pの各画素値をトラバースし、それぞれ各数値の前記プリセットのニューラルネットワークNにおける認識確率を算出し、認識確率が最も低いときの画素値V’を取得するステップと、
前記認識対象画像Xにおける画素位置Pの画素値をV’に変更して、敵対標本X’を得るステップとを含むことを特徴とする1ピクセル攻撃サンプルの生成方法。
前記プリセットのニューラルネットワークNは、全ての数字を正確に認識できるまで複数の数字サンプル画像を入力して認識訓練を行うことによって構築され、
前記プリセットのニューラルネットワークNは、入力する数字サンプルピクチャを認識して、認識結果を出力することに用いられることを特徴とする請求項1に記載の1ピクセル攻撃サンプルの生成方法。
1ピクセル攻撃サンプルの生成装置であって、位置特定モジュール、画素値決定モジュール及び敵対標本生成モジュールを備え、
前記位置特定モジュールは、認識対象画像Xを取得して、前記認識対象画像Xの各画素点をトラバースし、各画素点ごとにK個の画素値をサンプリングし、それぞれ各数値のプリセットのニューラルネットワークNにおける認識確率を算出し、認識確率が最も低いときの画素点の位置Pを取得することに用いられ、255≧K≧1であり、
前記画素値決定モジュールは、前記画素点の位置Pでの各画素値をトラバースし、それぞれ各数値の前記プリセットのニューラルネットワークNにおける認識確率を算出し、認識確率が最も低いときの画素値V’を取得することに用いられ、
前記敵対標本生成モジュールは、前記認識対象画像Xにおける画素位置Pの画素値をV’に変更して、敵対標本X’を得ることに用いられることを特徴とする1ピクセル攻撃サンプルの生成装置。

JP2019148281A 2019-04-04 2019-08-13 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 Expired - Fee Related JP6731529B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910272980.3 2019-04-04
CN201910272980.3A CN110070115B (zh) 2019-04-04 2019-04-04 一种单像素攻击样本生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP6731529B1 true JP6731529B1 (ja) 2020-07-29
JP2020170495A JP2020170495A (ja) 2020-10-15

Family

ID=67367072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019148281A Expired - Fee Related JP6731529B1 (ja) 2019-04-04 2019-08-13 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体

Country Status (2)

Country Link
JP (1) JP6731529B1 (ja)
CN (1) CN110070115B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046380B (zh) * 2019-12-12 2022-02-15 支付宝(杭州)信息技术有限公司 一种基于对抗样本增强模型抗攻击能力的方法和系统
CN111046432B (zh) * 2019-12-13 2022-01-28 支付宝(杭州)信息技术有限公司 一种安全数据处理方法和系统
CN111461261B (zh) * 2020-05-18 2024-02-13 南京大学 神经网络分类识别中的对抗样本生成的方法和装置
CN112149752B (zh) * 2020-09-30 2022-10-21 北京理工大学 一种单像素攻击分布可视化方法
CN112529047A (zh) * 2020-11-23 2021-03-19 广州大学 一种基于梯度屏蔽的对抗样本生成方法
WO2022244256A1 (ja) * 2021-05-21 2022-11-24 日本電気株式会社 敵対的攻撃生成装置、および、リスク評価装置
CN113505864A (zh) * 2021-09-10 2021-10-15 南京理工大学 群智能单像素生成扰动与攻击方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
CN106656981B (zh) * 2016-10-21 2020-04-28 东软集团股份有限公司 网络入侵检测方法和装置
JP6781415B2 (ja) * 2017-03-16 2020-11-04 日本電気株式会社 ニューラルネットワーク学習装置、方法、プログラム、およびパターン認識装置
DE102018200724A1 (de) * 2017-04-19 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
US10839291B2 (en) * 2017-07-01 2020-11-17 Intel Corporation Hardened deep neural networks through training from adversarial misclassified data
CN108446765A (zh) * 2018-02-11 2018-08-24 浙江工业大学 面向深度学习对抗性攻击的多模型协同防御方法
CN108491837B (zh) * 2018-03-07 2021-12-17 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
CN108446700B (zh) * 2018-03-07 2021-10-29 浙江工业大学 一种基于对抗攻击的车牌攻击生成方法
CN108491785B (zh) * 2018-03-19 2020-07-28 网御安全技术(深圳)有限公司 一种人工智能图像辨识攻击防御系统
CN109101999B (zh) * 2018-07-16 2021-06-25 华东师范大学 基于支持向量机的协神经网络可信决策方法

Also Published As

Publication number Publication date
CN110070115B (zh) 2021-09-03
JP2020170495A (ja) 2020-10-15
CN110070115A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
JP6731529B1 (ja) 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体
CN111368685B (zh) 关键点的识别方法、装置、可读介质和电子设备
WO2020253499A1 (zh) 视频物体加速检测方法、装置、服务器及存储介质
CN110046622B (zh) 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN109829432B (zh) 用于生成信息的方法和装置
CN110929785B (zh) 数据分类方法、装置、终端设备及可读存储介质
CN110245573B (zh) 一种基于人脸识别的签到方法、装置及终端设备
JP7026165B2 (ja) テキスト認識方法及びテキスト認識装置、電子設備、記憶媒体
CN110533119B (zh) 标识识别方法及其模型的训练方法、装置及电子系统
WO2019119396A1 (zh) 人脸表情识别方法及装置
CN113239875B (zh) 人脸特征的获取方法、系统、装置及计算机可读存储介质
CN111914068B (zh) 试题知识点的提取方法
CN111881740B (zh) 人脸识别方法、装置、电子设备及介质
EP4343616A1 (en) Image classification method, model training method, device, storage medium, and computer program
CN115731422A (zh) 多标签分类模型的训练方法、分类方法及装置
WO2024179388A1 (zh) 一种复式神经网络架构的浮游生物目标检测与分类方法
CN115273123A (zh) 一种票据识别方法、装置、设备及计算机存储介质
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN111144407A (zh) 一种目标检测方法、系统、装置及可读存储介质
CN111369489A (zh) 一种图像识别方法、装置及终端设备
CN113283388A (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN113128278B (zh) 一种图像识别方法及装置
CN111062914B (zh) 用于采集脸部图像的方法、装置、电子设备和计算机可读介质
CN115439850B (zh) 基于审单的图文字符识别方法、装置、设备及存储介质
CN112347843B (zh) 一种训练皱纹检测模型的方法及相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190813

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191223

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200706

R150 Certificate of patent or registration of utility model

Ref document number: 6731529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees