JP6731529B1 - 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 - Google Patents
単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 Download PDFInfo
- Publication number
- JP6731529B1 JP6731529B1 JP2019148281A JP2019148281A JP6731529B1 JP 6731529 B1 JP6731529 B1 JP 6731529B1 JP 2019148281 A JP2019148281 A JP 2019148281A JP 2019148281 A JP2019148281 A JP 2019148281A JP 6731529 B1 JP6731529 B1 JP 6731529B1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- recognition
- sample
- neural network
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 14
- 238000012790 confirmation Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
Description
認識対象画像Xを取得し、前記認識対象画像Xの各画素点をトラバーサルし、各画素点においてK(255≧K≧1)個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得るステップと、
前記画素点の位置Pの各画素値をトラバーサルし、且つ各数値の前記予め設定したニューラルネットワークNにおける認識確率をそれぞれ計算し、認識確率が最も低い時の画素値V’を得るステップと、
前記認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得るステップとを含む。
前記予め設定したニューラルネットワークNは、入力した数字サンプル写真を認識し、且つ認識結果を出力することに用いられる。
前記認識対象画像Xの画素はM*N個であり、前記M*N個の画素点をトラバーサルし、且つ各画素点においてK個の値をサンプリングし、M*N*K個の数値を得ることと、
それぞれ前記M*N*K個の数値を前記予め設定したニューラルネットワークNに入力して認識し、M*N*K個の出力した認識結果を得ることと、
前記M*N*K個の出力した認識結果のうちの最も小さい認識結果biを取得し、且つ前記認識結果biに基づき、認識確率が最も低い時の画素点の位置Pを得ることとを含む。
前記位置確認モジュールは、認識対象画像Xを取得し、前記認識対象画像Xの各画素点をトラバーサルし、各画素点においてK(255≧K≧1)個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得ることに用いられ、
前記画素値確認モジュールは、前記画素点の位置Pの各画素値をトラバーサルし、且つそれぞれ各数値の前記予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素値V’を得ることに用いられ、
前記敵対的サンプル生成モジュールは、前記認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得ることに用いられる。
前記画素個数確認ユニットは、前記認識対象画像Xの画素がM*N個であり、前記M*N個の画素点をトラバーサルし、且つ各画素点においてK個の値をサンプリングし、M*N*K個の数値を得ることに用いられ、
前記認識ユニットは、それぞれ前記M*N*K個の数値を前記予め設定したニューラルネットワークNに入力して認識し、M*N*K個の出力した認識結果を得ることに用いられ、
前記位置認識ユニットは、前記M*N*K個の出力した認識結果のうちの最も小さい認識結果biを取得し、且つ前記認識結果biに基づき、認識確率が最も低い時の画素点の位置Pを得ることに用いられる。
本実施例においては、ステップS1は、具体的には、前記認識対象画像Xの画素がM*N個であり、前記M*N個の画素点をトラバーサルし、且つ各画素点においてK個の値をサンプリングし、M*N*K個の数値を得ることと、それぞれ前記M*N*K個の数値を前記予め設定したニューラルネットワークNに入力して認識し、M*N*K個の出力した認識結果を得ることと、前記M*N*K個の出力した認識結果のうちの最も小さい認識結果biを取得し、且つ前記認識結果biに基づき、認識確率が最も低い時の画素点の位置Pを得ることとを含む。
S3、前記認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得る。
前記予め設定したニューラルネットワークNは、入力した数字サンプル写真を認識し、且つ認識結果を出力することに用いられる。
図2に示すように、図2は本発明の一好適実施例に係る単一画素攻撃サンプル生成方法の全フローチャートである。
前記位置確認モジュールは、認識対象画像Xを取得し、前記認識対象画像Xの各画素点をトラバーサルし、各画素点においてK(255≧K≧1)個の画素値をサンプリングし、且つそれぞれ各数値の予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素点の位置Pを得ることに用いられ、前記画素値確認モジュールは、前記画素点の位置Pの各画素値をトラバーサルし、且つそれぞれ各数値の前記予め設定したニューラルネットワークNにおける認識確率を計算し、認識確率が最も低い時の画素値V’を得ることに用いられ、前記敵対的サンプル生成モジュールは、前記認識対象画像Xにおける画素位置Pの画素値をV’に修正し、敵対的サンプルX’を得ることに用いられる。
前記画素個数確認ユニットは、前記認識対象画像Xの画素がM*N個であり、前記M*N個の画素点をトラバーサルし、且つ各画素点においてK個の値をサンプリングし、M*N*K個の数値を得ることに用いられ、前記認識ユニットは、それぞれ前記M*N*K個の数値を前記予め設定したニューラルネットワークNに入力して認識し、M*N*K個の出力した認識結果を得ることに用いられ、前記位置認識ユニットは、前記M*N*K個の出力した認識結果のうちの最も小さい認識結果biを取得し、且つ前記認識結果biに基づき、認識確率が最も低い時の画素点の位置Pを得ることに用いられる。
Claims (3)
認識対象画像Xを取得して、前記認識対象画像Xの各画素点をトラバースし、各画素点ごとにK個の画素値をサンプリングし、それぞれ各数値のプリセットのニューラルネットワークNにおける認識確率を算出し、認識確率が最も低いときの画素点の位置Pを取得し、255≧K≧1であるステップと、
前記画素点の位置Pの各画素値をトラバースし、それぞれ各数値の前記プリセットのニューラルネットワークNにおける認識確率を算出し、認識確率が最も低いときの画素値V’を取得するステップと、
前記認識対象画像Xにおける画素位置Pの画素値をV’に変更して、敵対標本X’を得るステップとを含むことを特徴とする1ピクセル攻撃サンプルの生成方法。
前記プリセットのニューラルネットワークNは、入力する数字サンプルピクチャを認識して、認識結果を出力することに用いられることを特徴とする請求項1に記載の1ピクセル攻撃サンプルの生成方法。
前記位置特定モジュールは、認識対象画像Xを取得して、前記認識対象画像Xの各画素点をトラバースし、各画素点ごとにK個の画素値をサンプリングし、それぞれ各数値のプリセットのニューラルネットワークNにおける認識確率を算出し、認識確率が最も低いときの画素点の位置Pを取得することに用いられ、255≧K≧1であり、
前記画素値決定モジュールは、前記画素点の位置Pでの各画素値をトラバースし、それぞれ各数値の前記プリセットのニューラルネットワークNにおける認識確率を算出し、認識確率が最も低いときの画素値V’を取得することに用いられ、
前記敵対標本生成モジュールは、前記認識対象画像Xにおける画素位置Pの画素値をV’に変更して、敵対標本X’を得ることに用いられることを特徴とする1ピクセル攻撃サンプルの生成装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910272980.3 | 2019-04-04 | ||
CN201910272980.3A CN110070115B (zh) | 2019-04-04 | 2019-04-04 | 一种单像素攻击样本生成方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6731529B1 true JP6731529B1 (ja) | 2020-07-29 |
JP2020170495A JP2020170495A (ja) | 2020-10-15 |
Family
ID=67367072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019148281A Expired - Fee Related JP6731529B1 (ja) | 2019-04-04 | 2019-08-13 | 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6731529B1 (ja) |
CN (1) | CN110070115B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046380B (zh) * | 2019-12-12 | 2022-02-15 | 支付宝(杭州)信息技术有限公司 | 一种基于对抗样本增强模型抗攻击能力的方法和系统 |
CN111046432B (zh) * | 2019-12-13 | 2022-01-28 | 支付宝(杭州)信息技术有限公司 | 一种安全数据处理方法和系统 |
CN111461261B (zh) * | 2020-05-18 | 2024-02-13 | 南京大学 | 神经网络分类识别中的对抗样本生成的方法和装置 |
CN112149752B (zh) * | 2020-09-30 | 2022-10-21 | 北京理工大学 | 一种单像素攻击分布可视化方法 |
CN112529047A (zh) * | 2020-11-23 | 2021-03-19 | 广州大学 | 一种基于梯度屏蔽的对抗样本生成方法 |
WO2022244256A1 (ja) * | 2021-05-21 | 2022-11-24 | 日本電気株式会社 | 敵対的攻撃生成装置、および、リスク評価装置 |
CN113505864A (zh) * | 2021-09-10 | 2021-10-15 | 南京理工大学 | 群智能单像素生成扰动与攻击方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10007866B2 (en) * | 2016-04-28 | 2018-06-26 | Microsoft Technology Licensing, Llc | Neural network image classifier |
CN106656981B (zh) * | 2016-10-21 | 2020-04-28 | 东软集团股份有限公司 | 网络入侵检测方法和装置 |
JP6781415B2 (ja) * | 2017-03-16 | 2020-11-04 | 日本電気株式会社 | ニューラルネットワーク学習装置、方法、プログラム、およびパターン認識装置 |
DE102018200724A1 (de) * | 2017-04-19 | 2018-10-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples" |
US10839291B2 (en) * | 2017-07-01 | 2020-11-17 | Intel Corporation | Hardened deep neural networks through training from adversarial misclassified data |
CN108446765A (zh) * | 2018-02-11 | 2018-08-24 | 浙江工业大学 | 面向深度学习对抗性攻击的多模型协同防御方法 |
CN108491837B (zh) * | 2018-03-07 | 2021-12-17 | 浙江工业大学 | 一种提高车牌攻击鲁棒性的对抗攻击方法 |
CN108446700B (zh) * | 2018-03-07 | 2021-10-29 | 浙江工业大学 | 一种基于对抗攻击的车牌攻击生成方法 |
CN108491785B (zh) * | 2018-03-19 | 2020-07-28 | 网御安全技术(深圳)有限公司 | 一种人工智能图像辨识攻击防御系统 |
CN109101999B (zh) * | 2018-07-16 | 2021-06-25 | 华东师范大学 | 基于支持向量机的协神经网络可信决策方法 |
-
2019
- 2019-04-04 CN CN201910272980.3A patent/CN110070115B/zh active Active
- 2019-08-13 JP JP2019148281A patent/JP6731529B1/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN110070115B (zh) | 2021-09-03 |
JP2020170495A (ja) | 2020-10-15 |
CN110070115A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6731529B1 (ja) | 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 | |
CN111368685B (zh) | 关键点的识别方法、装置、可读介质和电子设备 | |
WO2020253499A1 (zh) | 视频物体加速检测方法、装置、服务器及存储介质 | |
CN110046622B (zh) | 一种有目标的攻击样本生成方法、装置、设备及存储介质 | |
CN109829432B (zh) | 用于生成信息的方法和装置 | |
CN110929785B (zh) | 数据分类方法、装置、终端设备及可读存储介质 | |
CN110245573B (zh) | 一种基于人脸识别的签到方法、装置及终端设备 | |
JP7026165B2 (ja) | テキスト認識方法及びテキスト認識装置、電子設備、記憶媒体 | |
CN110533119B (zh) | 标识识别方法及其模型的训练方法、装置及电子系统 | |
WO2019119396A1 (zh) | 人脸表情识别方法及装置 | |
CN113239875B (zh) | 人脸特征的获取方法、系统、装置及计算机可读存储介质 | |
CN111914068B (zh) | 试题知识点的提取方法 | |
CN111881740B (zh) | 人脸识别方法、装置、电子设备及介质 | |
EP4343616A1 (en) | Image classification method, model training method, device, storage medium, and computer program | |
CN115731422A (zh) | 多标签分类模型的训练方法、分类方法及装置 | |
WO2024179388A1 (zh) | 一种复式神经网络架构的浮游生物目标检测与分类方法 | |
CN115273123A (zh) | 一种票据识别方法、装置、设备及计算机存储介质 | |
CN115578590A (zh) | 基于卷积神经网络模型的图像识别方法、装置及终端设备 | |
CN111144407A (zh) | 一种目标检测方法、系统、装置及可读存储介质 | |
CN111369489A (zh) | 一种图像识别方法、装置及终端设备 | |
CN113283388A (zh) | 活体人脸检测模型的训练方法、装置、设备及存储介质 | |
CN113128278B (zh) | 一种图像识别方法及装置 | |
CN111062914B (zh) | 用于采集脸部图像的方法、装置、电子设备和计算机可读介质 | |
CN115439850B (zh) | 基于审单的图文字符识别方法、装置、设备及存储介质 | |
CN112347843B (zh) | 一种训练皱纹检测模型的方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190813 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191223 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6731529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |