WO2024027068A1 - 评估目标检测模型鲁棒性的攻击方法和装置 - Google Patents

评估目标检测模型鲁棒性的攻击方法和装置 Download PDF

Info

Publication number
WO2024027068A1
WO2024027068A1 PCT/CN2022/137578 CN2022137578W WO2024027068A1 WO 2024027068 A1 WO2024027068 A1 WO 2024027068A1 CN 2022137578 W CN2022137578 W CN 2022137578W WO 2024027068 A1 WO2024027068 A1 WO 2024027068A1
Authority
WO
WIPO (PCT)
Prior art keywords
attack
pixels
pixel
key
perturbation
Prior art date
Application number
PCT/CN2022/137578
Other languages
English (en)
French (fr)
Inventor
吕洁印
戴涛
刘浩
周受钦
Original Assignee
深圳中集智能科技有限公司
深圳中集科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳中集智能科技有限公司, 深圳中集科技有限公司 filed Critical 深圳中集智能科技有限公司
Publication of WO2024027068A1 publication Critical patent/WO2024027068A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present application relates to the technical fields of artificial intelligence and data security, and more specifically to an attack method and device for evaluating the robustness of a target detection model.
  • Object detection is an important research task in computer vision and has a wide range of applications in real life, so the robustness and security of the model are crucial.
  • the robustness and security of target detection models need to be evaluated to meet practical needs.
  • sparse attack methods can be used to evaluate the robustness and security of target detection models.
  • the traditional sparse attack method has the following problems: (1) The position of the disturbed pixel has been determined before the attack, and the disturbed pixel may change dynamically. This attack method is difficult to adapt to dynamically changing disturbed pixels; (2) It is impossible to effectively find key pixel points for perturbation; (3) The adversarial attack method that directly uses the image recognition model is not targeted.
  • an attack method for evaluating the robustness of a target detection model includes:
  • the intermediate matrix is obtained after the initial importance matrix is subjected to a maximum pooling operation
  • the target picture with the smallest number of the key pixel points disturbed during the attack and the smallest number of detected target instances is saved.
  • an attack device for evaluating the robustness of a target detection model includes:
  • a memory and a processor stores a computer program run by the processor.
  • the computer program causes the processor to perform the aforementioned evaluation of the robustness of the target detection model. Attack method.
  • a storage medium is provided.
  • a computer program is stored on the storage medium.
  • the computer program When the computer program is run by a processor, the computer program causes the processor to perform the above-mentioned attack for evaluating the robustness of a target detection model. method.
  • the attack method for evaluating the robustness of a target detection model first determine the key pixels of at least one target picture input to the target detection model, select the key pixels as perturbation objects according to their importance, and then select the key pixels according to their importance.
  • the perturbed key pixels are dynamically added and restored, which is helpful to find a better combination of perturbed key pixels.
  • this application also draws on the idea of neural network attribution analysis to determine key pixels for perturbation, which can achieve a higher attack success rate with fewer perturbed pixels.
  • the target detection model will predict multiple target instances, and the characteristics of each target instance have their corresponding receptive fields.
  • this application uses the maximum pooling operation to select the most important local pixels for perturbation.
  • the divergent perturbation pixels can achieve better sparse attacks, that is, less critical perturbations. Pixels influence the prediction results of more target instances in the picture.
  • Figure 1 shows a schematic flow chart of an attack method for evaluating the robustness of a target detection model according to an embodiment of the present application
  • Figure 2 shows a schematic diagram of an application scenario of an attack method for evaluating the robustness of a target detection model according to an embodiment of the present application
  • Figure 3 shows a schematic block diagram of an attack device for evaluating the robustness of a target detection model according to an embodiment of the present application.
  • Deep neural network models have achieved great success in many tasks, but they still have many problems, and their robustness and interpretability are poor.
  • Object detection is an important research task in computer vision and has a wide range of applications in real life, so the robustness and security of the model are crucial. Based on this, it is necessary to design a sparse attack framework for the model to evaluate the robustness of the model in a low-dimensional space.
  • This application can mainly be used as a robustness evaluation tool for target detection models to verify the robustness and security of the model, which is very important for the practical application of target detection models.
  • the object detection model predicts the results of multiple object instances, each object instance is affected by the pixels in its receptive field.
  • a target instance will dominate the loss function. Therefore, this application does not determine all the disturbed pixels at once, but dynamically and gradually increases the disturbed pixels during the attack.
  • the main goal of the sparse attack is to minimize the number of disturbed pixels.
  • this application proposes a targeted design for the target detection model: (1) learn from the neural network attribution analysis method to find the pixels in the image that are important for the model prediction results; (2) use The perturbed pixels are diverged, which can affect more features in the feature map, thereby affecting the prediction results of more target instances.
  • this application is an attack method to evaluate the robustness of the target detection model based on the iterative addition and deletion of key pixels.
  • this method draws on the idea of neural network attribution analysis to calculate the image pixels. importance matrix, and use the maximum pooling operation to select the pixels corresponding to the local maximum value in the importance matrix for perturbation; after the attack is successful, the values of a part of the perturbed pixels are restored based on the perturbation amplitude.
  • the attack process is stopped, and the picture with the smallest number of disturbed pixels and the smallest number of detected targets during the attack is saved. This picture is the final adversarial example.
  • this application is also an attack method that uses a sparse attack algorithm to evaluate the robustness of the target detection model, and evaluates the robustness of the target detection model under low-dimensional space perturbation.
  • This application draws on the idea of neural network attribution analysis and uses an iterative addition and deletion sparse attack method based on key points to successfully attack the target detection model with very few perturbed pixels, making the target detection model unable to detect any targets. Therefore, this application can be used as an evaluation tool for model robustness and promote the development of model robustness and defense methods.
  • This application provides a sparse attack framework for target detection models to evaluate the robustness of the model in low-dimensional space.
  • This application can mainly be used as a robustness evaluation tool for the target detection model to verify the robustness and security of the target detection model, which is very important for the practical application of the target detection model.
  • this application provides an attack method for evaluating the robustness of a target detection model.
  • the method includes: obtaining at least one target picture input to the target detection model; using an initial importance matrix to calculate the at least one target Key pixels of the image; subject the initial importance matrix to a maximum pooling operation to obtain an intermediate matrix; when the elements in the initial importance matrix are located within the target instance area and are equal to the elements corresponding to the intermediate matrix
  • This application dynamically increases and restores perturbed key pixels during the attack process, which is helpful to find a better combination of perturbed key pixels.
  • this application also draws on the idea of neural network attribution analysis to determine key pixels for perturbation, which can perturb fewer key pixels to achieve a higher attack success rate.
  • the target detection model will predict multiple target instances, and the characteristics of each target instance have their corresponding receptive fields.
  • this application uses the maximum pooling operation to select the most important local pixels for perturbation. The divergent perturbation pixels can achieve better sparse attacks, that is, with less perturbation. Pixels influence the prediction of more object instances in the image.
  • Figure 1 shows a schematic flow chart of an attack method for evaluating the robustness of a target detection model according to an embodiment of the present application
  • an attack method 100 for evaluating the robustness of a target detection model according to an embodiment of the present application can It includes the following steps S101, S102, S103, S104, S105, S106, S107, S108 and S109.
  • step S101 at least one target picture of the input target detection model is obtained.
  • step S102 the initial importance matrix is used to calculate key pixels of the at least one target picture.
  • rand(0,1) can be selected, Or choose Or choose
  • step S103 the initial importance matrix is subjected to a maximum pooling operation to obtain an intermediate matrix.
  • maxpool() represents the maximum pooling operation
  • s represents the size of the pooling kernel
  • I represents the importance matrix of the pixel.
  • step S104 when an element in the initial importance matrix is located within the target instance area and is equal to the element corresponding to the intermediate matrix, the corresponding element is retained; otherwise, the value of the corresponding element is set is 0, the final importance matrix is obtained.
  • M b represents the position mask of the actual target instance
  • (m, n) ⁇ M b represents that (m, n) is located inside the actual target instance.
  • step S105 the key pixel points are selected as perturbation objects according to the final importance matrix.
  • the formula for selecting the key pixel points as the disturbance object is as follows:
  • Mi Inc(Mi -1 ,I,k) (4)
  • M i represents the position mask of the disturbed pixel in the i-th round of attack
  • Inc(M i ,I,k) represents the operation of adding the disturbed pixel
  • I represents the importance matrix of the pixel, which is the regression model of the neural network. Obtained from the analysis method
  • k represents the number of increased perturbation pixels.
  • the above steps S101 to S105 are the process of determining key pixels in the target picture.
  • step S106 an iterative attack is performed on the key pixel points until the number of iterations is reached and the attack is successful.
  • this application draws on a variety of neural network attribution analysis methods to determine pixels that have an important impact on the model prediction results, such as gradient-based methods, methods of multiplying gradients and inputs, and methods of integrating gradients.
  • neural network attribution analysis produce an importance matrix. It is the same size as the original image and indicates the importance of the pixels in the image.
  • performing an iterative attack on the key pixel points includes: using a sparse attack method to attack the target detection model, wherein the loss function used by the sparse attack method is as follows:
  • N represents the probability value of the n-th target instance on the c-th category
  • x represents the adversarial sample
  • P represents the adversarial perturbation value
  • Mi represents the position mask of the perturbed pixel in the i-th round of attack
  • t represents the probability threshold of the target instance
  • N represents The maximum number of iterations of the attack.
  • step S107 when the attack is successful and the number of iterations has not been reached, based on the magnitude of the disturbance amplitude, a first preset number of key pixel points whose disturbance amplitude is smaller than the preset value are restored.
  • a first preset number of key pixels whose perturbation amplitude is smaller than the preset value is restored, including: when the attack is successful Afterwards, when the target detection model cannot detect any target, the disturbed key pixel points are restored.
  • the restoration formula is as follows:
  • Mi Dec(Mi -1 ,P,r) (6)
  • M i represents the position mask of the disturbed pixel in the i-th round of attack
  • Dec(M i ,P,r) represents the operation of restoring the disturbed pixel
  • I represents the importance matrix of the pixel, which is the regression function of the neural network. Obtained from the analysis method, r represents the proportion of restored disturbed pixels, and P represents the counter-disturbance value.
  • the target detection model cannot detect any target and begins to restore the disturbed pixels, as shown in Equation (6).
  • the recovery formula is as follows:
  • topk(M i-1 ,P,r) represents the value of the r quantile element in all perturbed pixels, sorted from small to large in absolute value; in mask Mi -1 , when the element is 1 , its corresponding pixel is the perturbed pixel; M i (m, n) and P (m, n) respectively represent the value of the perturbation mask and the adversarial perturbation element at (m, n), P represents the adversarial perturbation value, and r represents Restore the proportion of disturbed pixels.
  • pixels with smaller disturbance amplitude can be restored based on the magnitude of the disturbance amplitude.
  • the magnitude of the disturbance amplitude can be determined with reference to the size of P.
  • step S108 when the attack fails and the number of perturbation iterations is reached, a new second preset number of key pixels is added.
  • adding a new second preset number of key pixel points includes: for each element in the perturbation mask, adding perturbed The number of key pixels; the increase formula is as follows:
  • topk(I,k) represents the value of the k-th element in descending order in the importance matrix; the pixels corresponding to the elements larger than topk(I,k) in the importance matrix are used as new disturbance objects; M i (m, n) represents the value of the element of the perturbation mask at (m, n), I represents the importance matrix of the pixel, and I mn represents the importance of the pixel at the (m, n) position.
  • M i (m,n) represents the value of the element at (m,n) of the perturbation mask.
  • Step S109 Save the target image with the smallest number of key pixels disturbed during the attack and the smallest number of detected target instances.
  • object detection models often predict results that contain multiple object instances.
  • a target instance may dominate the loss function, and its associated pixels will have an important impact on the loss function. Therefore, pixels selected based on attribution analysis may focus on one target instance predicted by the model, while ignoring other target instances. Therefore, the attack method of this application does not determine all key pixels at once, but waits for the last added perturbed key pixels to be optimized to a stable state before adding new key pixels. Moreover, after the attack is successful, pixels that are not important to the model prediction results are restored and the proportion of the number of key pixels is reduced. During the attack process, the position mask of the disturbed pixel changes. You can refer to equations (4) and (6).
  • This application is based on an iterative addition and deletion method of key pixels. It first selects key pixels that have an important impact on the prediction results of the target detection model for perturbation based on neural network attribution analysis. After the attack is successful, based on the size of the disturbance amplitude, the pixels with small disturbance amplitude are restored and the proportion of the number of key pixels that are disturbed is reduced.
  • the following code shows the process of iterative addition and deletion method based on key pixels.
  • T represents the maximum number of iterations of the attack
  • T e represents the number of iterations to increase the perturbed pixels in each round
  • t represents the probability threshold of the target instance
  • N represents the number of target instances detected by the target detection model, and the category probability value of each target instance.
  • I() represents the indicator function. When the input conditions are met, the function value is 1, otherwise it is 0. When the maximum number of iterations is reached, the iteration process is stopped.
  • this application uses the sparse attack method to evaluate the target detection model based on key points.
  • the code is as follows:
  • This application dynamically increases and restores disturbed pixels during the attack process, which is beneficial to finding a better combination of disturbed pixels.
  • this application also draws on the idea of neural network attribution analysis to determine key pixels for perturbation, which can achieve a higher attack success rate with fewer perturbed pixels.
  • the target detection model will predict multiple target instances, and the characteristics of each target instance have their corresponding receptive fields.
  • this application uses the maximum pooling operation to select the most important local pixels for perturbation. The divergent perturbation pixels can achieve better sparse attacks, that is, with less perturbation. Pixels influence the prediction of more object instances in the image.
  • FIG. 3 shows a schematic block diagram of the attack device for evaluating the robustness of a target detection model according to an embodiment of the present application.
  • the attack device 300 for evaluating the robustness of a target detection model includes: one or more memories 301 and one or more processors 302.
  • the memory 301 stores a computer run by the processor 302. Program.
  • the computer program causes the processor 302 to execute the previously described attack method for evaluating the robustness of the target detection model.
  • the device 300 may be part or all of a computer device that can implement an attack method for evaluating the robustness of a target detection model through software, hardware, or a combination of software and hardware.
  • the device 300 includes one or more memories 301, one or more processors 302, a display (not shown), a communication interface, etc. These components are connected through a bus system and/or other forms of connection mechanisms (not shown). shown) interconnection. It should be noted that the components and structures of the device 300 shown in FIG. 3 are only exemplary and not restrictive. The device 300 may also have other components and structures as needed.
  • the memory 301 is used to store various data and executable program instructions generated during the execution of the above method, for example, used to store various application programs or algorithms that implement various specific functions.
  • One or more computer program products may be included, which may include various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the volatile memory may include, for example, random access memory (RAM) and/or cache memory (cache).
  • the non-volatile memory may include, for example, read-only memory (ROM), hard disk, flash memory, etc.
  • the processor 302 may be a central processing unit (CPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), or other form of processing with data processing capabilities and/or instruction execution capabilities. unit, and other components in the device 300 may be used to perform the desired functions.
  • CPU central processing unit
  • GPU graphics processing unit
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the device 300 further includes an output device that can output various information (eg, images or sounds) to the outside (eg, a user), and may include one or more of a display device, a speaker, and the like.
  • an output device that can output various information (eg, images or sounds) to the outside (eg, a user), and may include one or more of a display device, a speaker, and the like.
  • the communication interface can be an interface of any currently known communication protocol, such as a wired interface or a wireless interface.
  • the communication interface can include one or more serial ports, USB interfaces, Ethernet ports, WiFi, wired networks, DVI interfaces, equipment Integrated interconnect modules or other suitable ports, interfaces, or connections.
  • a storage medium is also provided, and program instructions are stored on the storage medium.
  • program instructions are run by a computer or processor, they are used to perform the evaluation target detection of the embodiment of the present application.
  • the corresponding steps of the attack method on model robustness may include, for example, a memory card of a smartphone, a storage component of a tablet computer, a hard disk of a personal computer, a read-only memory (ROM), an erasable programmable read-only memory (EPROM), a portable compact disk read-only memory (CD-ROM), USB memory, or any combination of the above storage media.
  • the attack device and storage medium for evaluating the robustness of a target detection model in the embodiment of the present application can implement the foregoing method, and therefore have the same advantages as the foregoing method.
  • a computer program which implements an attack method for evaluating the robustness of a target detection model when the computer program is run by a computer or processor.
  • the disclosed devices and methods can be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division. In actual implementation, there may be other division methods.
  • multiple units or components may be combined or can be integrated into another device, or some features can be ignored, or not implemented.
  • Various component embodiments of the present application may be implemented in hardware, or in software modules running on one or more processors, or in a combination thereof.
  • a microprocessor or a digital signal processor (DSP) may be used in practice to implement some or all functions of some modules according to embodiments of the present application.
  • DSP digital signal processor
  • the present application may also be implemented as a device program (eg, computer program and computer program product) for performing part or all of the methods described herein.
  • Such a program implementing the present application may be stored on a computer-readable medium, or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, or provided on a carrier signal, or in any other form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种评估目标检测模型鲁棒性的攻击方法和装置，该方法包括：获取输入目标检测模型的至少一个目标图片；采用初始重要性矩阵计算其中的关键像素点；根据重要性选择关键像素点作为扰动对象；对关键像素点进行迭代攻击，直至攻击成功且达到迭代次数；当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰动幅度小于预设值的第一预设数目的关键像素点；当攻击失败且达到扰动迭代次数时，增加新的第二预设数目的关键像素点；保存攻击过程中被扰动的关键像素点的数目和检测目标实例的数目最少的目标图片。本申请通过在攻击的过程中动态地增加和恢复被扰动的关键像素点，有利于找到更优的被扰动的关键像素点组合。

Description

评估目标检测模型鲁棒性的攻击方法和装置
说明书
技术领域
本申请涉及人工智能和数据安全技术领域，更具体地涉及一种评估目标检测模型鲁棒性的攻击方法和装置。
背景技术
目标检测是计算机视觉中一个重要的研究任务，并且在现实生活中有着广泛的应用，因此模型的鲁棒性和安全性至关重要。需要对目标检测模型的鲁棒性和安全性进行评估，以满足实际需求。一般来说，对目标检测模型的鲁棒性和安全性进行评估时可以采用稀疏攻击方法。
但是传统的稀疏攻击方法存在以下问题：(1)在攻击之前已确定扰动像素点的位置，而扰动像素点可能会动态地变化，这种攻击方法很难适应动态变化的扰动像素；(2)无法有效地寻找到关键像素点进行扰动；(3)直接使用图像识别模型的对抗攻击方法，不具有针对性。
发明内容
为了解决上述至少一个问题中而提出了本申请。根据本申请一方面，提供了一种评估目标检测模型鲁棒性的攻击方法，所述方法包括：
获取输入目标检测模型的至少一个目标图片；
采用初始重要性矩阵计算所述至少一个目标图片的关键像素点；
将所述初始重要性矩阵经过最大池化操作后得到中间矩阵；
当所述初始重要性矩阵中的元素位于目标实例区域之内，且与所述中间矩阵对应的元素相等时，保留所述对应的元素，否则将所述对应的元素的值设置为0，得到最终重要性矩阵；
根据所述最终重要性矩阵选择所述关键像素点作为扰动对象；
对所述关键像素点进行迭代攻击，直至攻击成功且达到迭代次数；
当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰 动幅度小于预设值的第一预设数目的所述关键像素点；
当攻击失败且达到扰动迭代次数时，增加新的第二预设数目的所述关键像素点；
保存攻击过程中被扰动的所述关键像素点的数目和检测目标实例的数目最少的所述目标图片。
根据本申请另一方面，提供一种评估目标检测模型鲁棒性的攻击装置，所述装置包括：
存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行前述的评估目标检测模型鲁棒性的攻击方法。
根据本申请再一方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行上述评估目标检测模型鲁棒性的攻击方法。
根据本申请的评估目标检测模型鲁棒性的攻击方法，首先确定输入目标检测模型的至少一个目标图片的关键像素点，根据其重要性选择所述关键像素点作为扰动对象，在对关键像素点攻击的过程中动态地增加和恢复被扰动的关键像素点，有利于找到更优的被扰动的关键像素点组合。另外，本申请还借鉴神经网络归因分析的思想来确定关键像素点进行扰动，可以用更少的扰动像素点取得更高的攻击成功率。另外，目标检测模型会预测多个目标实例，每个目标实例的特征有其对应的感受域。为了能够以很少像素扰动影响更多目标实例，本申请使用最大池化操作选择局部最重要的像素点进行扰动，发散化的扰动像素点可以实现更好的稀疏攻击，即扰动更少的关键像素点影响图片中更多目标实例的预测结果。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参 考标号通常代表相同部件或步骤。
图1示出根据本申请实施例的评估目标检测模型鲁棒性的攻击方法的示意性流程图；
图2示出根据本申请实施例的评估目标检测模型鲁棒性的攻击方法的应用场景示意图；
图3示出根据本申请实施例的评估目标检测模型鲁棒性的攻击装置的示意性框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
深度神经网络模型在很多任务上取得了很大的成功，但是它仍然存在着很多的问题，它的鲁棒性和可解释性都很差。目标检测是计算机视觉中一个重要的研究任务，并且在现实生活中有广泛的应用，因此模型的鲁棒性和安全性至关重要。基于此，需要设计一个模型的稀疏攻击框架，在低维度空间上评估模型的鲁棒性。本申请主要可以作为目标检测模型的鲁棒性评估工具，验证模型的鲁棒性和安全性，这对目标检测模型的实际应用十分重要。
一般来说，目标检测模型和图像分类模型有很多不同。目标检测模型会预测多个目标实例的结果，每个目标实例受其感受域内的像素点影响。在攻击的过程中，一个目标实例会主导损失函数，因此本申请不是一次性确定所有扰动的像素点，而是在攻击过程中动态地逐渐增加扰动像素点。而稀疏攻击的主要目标是尽量减少扰动的像素点数目。为了减少扰动像素点数目，提高攻击成功率，本申请对目标检测模型提出针对性的设计：(1)借鉴神经网络归因分析方法找到图像中对于模型预测结果重要的像素点；(2)使扰动的像素点发散化，这样 可以影响到特征图中更多的特征，从而影响到更多目标实例的预测结果。
基于以上的初衷，本申请是一种基于关键像素点的迭代增删的评估目标检测模型鲁棒性的攻击方法，在攻击的过程中，本方法借鉴神经网络归因分析的思想，计算图片像素的重要性矩阵，并且使用最大池化操作选择重要性矩阵中局部最大值对应的像素点进行扰动；在攻击成功后，基于扰动幅度恢复一部分扰动像素点的值。当达到攻击的迭代次数时，停止攻击的流程，并保存攻击过程中扰动像素数目和检测目标数目最少的图片。该图片为最终的对抗样本。
针对目标检测模型，本申请也是一种采用稀疏攻击算法来评估目标检测模型鲁棒性的攻击方法，在低维度空间扰动下评估目标检测模型的鲁棒性。本申请借鉴神经网络归因分析的思想，使用基于关键点的迭代增删稀疏攻击方法，以很少的扰动像素成功地攻击目标检测模型，使得目标检测模型检测不出任何目标。因此，本申请可以作为模型鲁棒性的评估工具，促进模型鲁棒性和防御方法的发展。
本申请提供了一个目标检测模型的稀疏攻击框架，在低维度空间上评估模型的鲁棒性。本申请主要可以作为目标检测模型的鲁棒性评估工具，验证目标检测模型的鲁棒性和安全性，这对目标检测模型的实际应用十分重要。
基于前述的技术问题，本申请提供了一种评估目标检测模型鲁棒性的攻击方法，所述方法包括：获取输入目标检测模型的至少一个目标图片；采用初始重要性矩阵计算所述至少一个目标图片的关键像素点；将所述初始重要性矩阵经过最大池化操作后得到中间矩阵；当所述初始重要性矩阵中的元素位于目标实例区域之内，且与所述中间矩阵对应的元素相等时，保留所述对应的元素，否则将所述对应的元素的值设置为0，得到最终重要性矩阵；根据所述最终重要性矩阵选择所述关键像素点作为扰动对象；对所述关键像素点进行迭代攻击，直至攻击成功且达到迭代次数；当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰动幅度小于预设值的第一预设数目的所述关键像素点；当攻击失败且达到扰动迭代次数时，增加新的第二预设数 目的所述关键像素点；保存攻击过程中被扰动的所述关键像素点的数目和检测目标实例的数目最少的所述目标图片。本申请是在攻击的过程中动态地增加和恢复被扰动的关键像素点，有利于找到更优的被扰动的关键像素点组合。另外，本申请还借鉴神经网络归因分析的思想来确定关键像素点进行扰动，可以扰动更少的关键像素点取得更高的攻击成功率。另外，目标检测模型会预测多个目标实例，每个目标实例的特征有其对应的感受域。为了能够以很少像素扰动影响更多目标实例，本申请使用最大池化操作选择局部最重要的像素点进行扰动，发散化的扰动像素点可以实现更好的稀疏攻击，即用更少的扰动像素影响图片中更多目标实例的预测结果。
下面结合附图来详细描述根据本申请实施例的评估目标检测模型鲁棒性的攻击方法的方案。在不冲突的前提下，本申请的各个实施例的特征可以相互结合。
图1示出根据本申请实施例的评估目标检测模型鲁棒性的攻击方法的示意性流程图；如图1所示，根据本申请实施例的评估目标检测模型鲁棒性的攻击方法100可以包括如下步骤S101、S102、S103、S104、S105、S106、S107、S108和S109。
在步骤S101，获取输入目标检测模型的至少一个目标图片。
在步骤S102，采用初始重要性矩阵计算所述至少一个目标图片的关键像素点。
其中，所述初始重要性矩阵的公式如下：
Figure PCTCN2022137578-appb-000001
其中，
Figure PCTCN2022137578-appb-000002
表示处于(m,n)位置的像素点在c通道上的值，
Figure PCTCN2022137578-appb-000003
表示处于(m,n)位置像素点的重要性，rand(0,1)表示从0到1区间内随机选择一个值，L(x,P,M i)表示损失函数，x表示对抗样本，P表示对抗扰动值，Mi表示第i轮攻击中扰动像素的位置掩码。
上述公式表示的含义是，采用初始重要性矩阵计算所述至少一个 目标图片的关键像素点包括三种计算方法，这三种方法之间是并列的关系，即可以选择rand(0,1)， 或者选择
Figure PCTCN2022137578-appb-000004
或者选择
Figure PCTCN2022137578-appb-000005
在步骤S103，将所述初始重要性矩阵经过最大池化操作后得到中间矩阵。
在实际情况下，对于目标检测模型预测结果重要的关键像素点往往会聚集在一处。如果这些关键像素点聚集在一处并全部被选择作为扰动像素点，由于目标检测模型特征具有一定的感受域，这些关键像素点能够影响的特征数量是有限的。为了减少扰动像素点的数目所占的比例，并保持受影响特征的数量，本申请的攻击方法只选择重要性矩阵中局部最大值对应的像素点；并且这些像素点位于实际目标实例的内部。这可以在降低所有目标实例概率的同时，减少扰动像素的数目。其中，将所述重要性矩阵的公式进行最大池化的公式如下；
I′＝maxpool(I,s)   (2)
其中，maxpool()表示最大池化操作，s表示池化核的大小，I表示像素点的重要性矩阵。
在步骤S104，当所述初始重要性矩阵中的元素位于目标实例区域之内，且与所述中间矩阵对应的元素相等时，保留所述对应的元素，否则将所述对应的元素的值设置为0，得到最终重要性矩阵。
其中，所述最终重要性矩阵的公式如下：
Figure PCTCN2022137578-appb-000006
其中，M b表示实际目标实例的位置掩码，(m,n)∈M b表示(m,n)位于实际目标实例内部。
在步骤S105，根据所述最终重要性矩阵选择所述关键像素点作为扰动对象。
其中，选择所述关键像素点作为扰动对象的公式如下：
M i＝Inc(M i-1,I,k)   (4)
其中，M i表示第i轮攻击中扰动像素的位置掩码，Inc(M i,I,k)表示添加扰动像素点的操作，I表示像素点的重要性矩阵，它是由神经网络的归因分析方法得到，k表示增加扰动像素点的数目。
以上步骤S101至步骤S105为确定目标图片中的关键像素点的过程。
在步骤S106，对所述关键像素点进行迭代攻击，直至达到迭代次数且攻击成功。
具体地，本申请借鉴了多种神经网络的归因分析方法，确定对模型预测结果有重要影响的像素点，如基于梯度的方法，梯度和输入乘积的方法以及积分梯度的方法。这些神经网络归因分析的方法会产生一个重要性矩阵。它和原始图片的大小一致，表示图片中像素点的重要性。
在本申请的一个实施例中，对所述关键像素点进行迭代攻击，包括：采用稀疏攻击方法对所述目标检测模型进行攻击，其中，所述稀疏攻击方法采用的损失函数如下：
Figure PCTCN2022137578-appb-000007
其中，
Figure PCTCN2022137578-appb-000008
表示第n个目标实例在第c类别上的概率值，x表示对抗样本，P表示对抗扰动值，Mi表示第i轮攻击中扰动像素的位置掩码，t表示目标实例的概率阈值，N表示攻击的最大迭代次数。
在步骤S107，当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰动幅度小于预设值的第一预设数目的所述关键像素点。
在本申请的一个实施例中，当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰动幅度小于预设值的第一预设数目的所述关键像素点，包括：在攻击成功之后，当所述目标检测模型不能检测出任何目标时，恢复被扰动的所述关键像素点，恢复公式如下：
M i＝Dec(M i-1,P,r)   (6)
其中，M i表示第i轮攻击中扰动像素的位置掩码，Dec(M i,P,r)表示恢复扰动像素点的操作，I表示像素点的重要性矩阵，它是由神经网络的归因分析方法得到，r表示恢复扰动像素点的比例，P表示对抗 扰动值。
本申请的实施例在攻击成功之后，目标检测模型不能检测出任何目标，开始恢复扰动的像素点，如式(6)所示。
在本申请一个实施例中，当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰动幅度小于预设值的第一预设数目的所述关键像素点，包括：基于扰动幅度的大小，恢复扰动幅度较小的像素点，恢复公式如下：
Figure PCTCN2022137578-appb-000009
其中，topk(M i-1,P,r)表示在所有扰动像素中，按绝对值从小到大排序，位于r分位元素的值；在掩码M i-1中，当元素为1时，它对应的像素为扰动像素；M i(m,n)和P(m,n)分别表示扰动掩码和对抗扰动在(m,n)处元素的值，P表示对抗扰动值，r表示恢复扰动像素点的比例。
在本申请的实施例中，可以基于扰动幅度的大小，恢复扰动幅度较小的像素点，具体可以参考P的大小来确定扰动幅度的大小。
在步骤S108，当攻击失败且达到扰动迭代次数时，增加新的第二预设数目的所述关键像素点。
在本申请的一个实施例中，当攻击失败且达到扰动迭代次数时，增加新的第二预设数目的所述关键像素点，包括：对于扰动掩码中的每个元素，增加的被扰动的关键像素点的数目；增加公式如下：
Figure PCTCN2022137578-appb-000010
其中，topk(I,k)表示在重要性矩阵中按降序第k个元素的值；重要性矩阵中比topk(I,k)大的元素所对应的像素点作为新增的扰动对象；M i(m,n)表示扰动掩码在(m,n)处元素的值，I表示像素点的重要性矩阵，I mn表示处于(m，n)位置像素点的重要性。
可见，重要性矩阵中比topk(I,k)大的元素所对应的像素点将变成扰动对象；M i(m,n)表示扰动掩码在(m,n)处元素的值。
一般地，在攻击的过程中，如果攻击失败且达到增加一个轮次的 迭代次数，就会增加新的扰动像素点。
步骤S109，保存攻击过程中被扰动的所述关键像素点的数目和检测目标实例的数目最少的所述目标图片。
如图2所示，在攻击的过程中，对于目标检测模型预测结果有重要影响的关键像素点会持续地改变。为了有效地确定图片中对于目标检测模型预测结果有更大影响的关键像素点，本申请借鉴了神经网络归因分析方法。在攻击的迭代过程中，逐渐添加对于目标检测模型预测结果重要的关键像素点；而在攻击成功之后，为了减少被扰动的关键像素点的数目所占的比例，恢复扰动像素点集合中重要性低的像素点。
例如，对于一张图片，目标检测模型往往会预测包含多个目标实例的结果。在攻击的过程中，一个目标实例可能在损失函数中占据主导地位，它关联的像素点会对于损失函数具有重要的影响。因此，基于归因分析选择的像素点可能主要关注模型预测的一个目标实例，而忽视了其他的目标实例。因此，本申请的攻击方法并非一次性地确定所有关键的像素点，而是等上一次添加的被扰动的关键像素点优化到稳定状态，再添加新的关键像素点。并且，在攻击成功之后，恢复对于模型预测结果不重要的像素，减少关键像素点的数目所占的比例。在攻击的过程中，扰动像素点的位置掩码是变化的，可以参考式(4)和(6)。
本申请是基于关键像素点的迭代增删方法，它首先基于神经网络归因分析选择对目标检测模型预测结果有重要影响的关键像素点进行扰动。在攻击成功之后，基于扰动幅度的大小，恢复扰动幅度小的像素点，减少扰动关键像素点的数目所占的比例。以下代码展示了基于关键像素点迭代增删方法的流程。其中T表示攻击的最大迭代次数；T e表示每一轮增加扰动像素的迭代次数；t表示目标实例的概率阈值；N表示目标检测模型检测出的目标实例数量，每个目标实例的类别概率值大于设定的概率阈值t；P表示对抗扰动；α表示对抗扰动的更新步长。下列代码的第11行中I()表示指示函数，当输入条件满足时，函数值为1，否则为0。在达到最大迭代次数时，停止迭代流程。
其中，本申请采用稀疏攻击方法基于关键点评估目标检测模型的代码如下：
Figure PCTCN2022137578-appb-000011
本申请是在攻击的过程中动态地增加和恢复扰动像素点，有利于找到更优的扰动像素组合。另外，本申请还借鉴神经网络归因分析的思想来确定关键像素点进行扰动，可以用更少的扰动像素点取得更高的攻击成功率。另外，目标检测模型会预测多个目标实例，每个目标实例的特征有其对应的感受域。为了能够以很少像素扰动影响更多目标实例，本申请使用最大池化操作选择局部最重要的像素点进行扰动，发散化的扰动像素点可以实现更好的稀疏攻击，即用更少的扰动像素影响图片中更多目标实例的预测结果。
下面结合图3对本申请的评估目标检测模型鲁棒性的攻击装置进行描述，其中，图3示出根据本申请实施例的评估目标检测模型鲁棒性的攻击装置的示意性框图。
如图3所示，评估目标检测模型鲁棒性的攻击装置300包括：一 个或多个存储器301和一个或多个处理器302，所述存储器301上存储有由所述处理器302运行的计算机程序，所述计算机程序在被所述处理器302运行时，使得所述处理器302执行前文所述的评估目标检测模型鲁棒性的攻击方法。
装置300可以是可以通过软件、硬件或者软硬件结合的方式实现评估目标检测模型鲁棒性的攻击方法的计算机设备的部分或者全部。
如图3所示，装置300包括一个或多个存储器301、一个或多个处理器302、显示器(未示出)和通信接口等，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图3所示的装置300的组件和结构只是示例性的，而非限制性的，根据需要，装置300也可以具有其他组件和结构。
存储器301用于存储上述方法运行过程中产生的各种数据和可执行程序指令，例如用于存储各种应用程序或实现各种具体功能的算法。可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
处理器302可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以使用装置300中的其它组件执行期望的功能。
在一个示例中，装置300还包括输出装置可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示装置、扬声器等中的一个或多个。
通信接口是可以是目前已知的任意通信协议的接口，例如有线接口或无线接口，其中，通信接口可以包括一个或者多个串口、USB接口、以太网端口、WiFi、有线网络、DVI接口，设备集成互联模块或其他适合的各种端口、接口，或者连接。
此外，根据本申请实施例，还提供了一种存储介质，在所述存储 介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本申请实施例的评估目标检测模型鲁棒性的攻击方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
本申请实施例的评估目标检测模型鲁棒性的攻击装置和存储介质，由于能够实现前述的方法，因此具有和前述的方法相同的优点。
此外，根据本申请实施例，还提供了一种计算机程序，在所述计算机程序被计算机或处理器运行时实现评估目标检测模型鲁棒性的攻击方法。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说 明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

  1. 一种评估目标检测模型鲁棒性的攻击方法，其特征在于，所述方法包括：
    获取输入目标检测模型的至少一个目标图片；
    采用初始重要性矩阵计算所述至少一个目标图片的关键像素点；
    将所述初始重要性矩阵经过最大池化操作后得到中间矩阵；
    当所述初始重要性矩阵中的元素位于目标实例区域之内，且与所述中间矩阵对应的元素相等时，保留所述对应的元素，否则将所述对应的元素的值设置为0，得到最终重要性矩阵；
    根据所述最终重要性矩阵选择所述关键像素点作为扰动对象；
    对所述关键像素点进行迭代攻击，直至攻击成功且达到迭代次数；
    当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰动幅度小于预设值的第一预设数目的所述关键像素点；
    当攻击失败且达到扰动迭代次数时，增加新的第二预设数目的所述关键像素点；
    保存攻击过程中被扰动的所述关键像素点的数目和检测目标实例的数目最少的所述目标图片。
  2. 如权利要求1所述的方法，其特征在于，其中，所述初始重要性矩阵的公式如下：
    Figure PCTCN2022137578-appb-100001
    其中，
    Figure PCTCN2022137578-appb-100002
    表示处于(m,n)位置的像素点在c通道上的值，
    Figure PCTCN2022137578-appb-100003
    表示处于(m,n)位置像素点的重要性，rand(0,1)表示从0到1区间内随机选择一个值，L(x,P,M i)表示损失函数，x表示对抗样本，P表示对抗扰动值，Mi表示第i轮攻击中扰动像素的位置掩码。
  3. 如权利要求1所述的方法，其特征在于，其中，将所述重要性矩阵的公式进行最大池化的公式如下；
    I′＝maxpool(I,s)
    其中，maxpool()表示最大池化操作，s表示池化核的大小，I表示像素点的重要性矩阵。
  4. 如权利要求1所述的方法，其特征在于，选择所述关键像素点作为扰动对象的公式如下：
    M i＝Inc(M i-1,I,k)
    其中，M i表示第i轮攻击中扰动像素的位置掩码，Inc(M i,I,k)表示添加扰动像素点的操作，I表示像素点的重要性矩阵，它是由神经网络的归因分析方法得到，k表示增加扰动像素点的数目。
  5. 如权利要求1所述的方法，其特征在于，对所述关键像素点进行迭代攻击，包括：采用稀疏攻击方法对所述目标检测模型进行攻击，其中，所述稀疏攻击方法采用的损失函数如下：
    Figure PCTCN2022137578-appb-100004
    其中，
    Figure PCTCN2022137578-appb-100005
    表示第n个目标实例在第c类别上的概率值，x表示对抗样本，P表示对抗扰动值，Mi表示第i轮攻击中扰动像素的位置掩码，t表示目标实例的概率阈值，N表示攻击的最大迭代次数。
  6. 如权利要求1所述的方法，其特征在于，当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰动幅度小于预设值的第一预设数目的所述关键像素点，包括：在攻击成功之后，当所述目标检测模型不能检测出任何目标时，恢复被扰动的所述关键像素点，恢复公式如下：
    M i＝Dec(M i-1,P,r)
    其中，M i表示第i轮攻击中扰动像素的位置掩码，Dec(M i,P,r)表示恢复扰动像素点的操作，I表示像素点的重要性矩阵，它是由神经网络的归因分析方法得到，r表示恢复扰动像素点的比例，P表示对抗扰动值。
  7. 如权利要求1所述的方法，其特征在于，当攻击成功且未达到迭代次数时，基于扰动幅度的大小，恢复扰动幅度小于预设值的第一预设数目的所述关键像素点，包括：基于扰动幅度的大小，恢复扰动幅度较小的像素点，恢复公式如下：
    Figure PCTCN2022137578-appb-100006
    其中，topk(M i-1,P,r)表示在所有扰动像素中，按绝对值从小到大排序，位于r分位元素的值；在掩码M i-1中，当元素为1时，它对应的像素为扰动像素；M i(m,n)和P(m,n)分别表示扰动掩码和对抗扰动在(m,n)处元素的值，r表示恢复扰动像素点的比例，P表示对抗扰动值。
  8. 如权利要求1所述的方法，其特征在于，当攻击失败且达到扰动迭代次数时，增加新的第二预设数目的所述关键像素点，包括：对于扰动掩码中的每个元素，增加的被扰动的关键像素点的数目；增加公式如下：
    Figure PCTCN2022137578-appb-100007
    其中，topk(I,k)表示在重要性矩阵中按降序第k个元素的值；重要性矩阵中比topk(I,k)大的元素所对应的像素点作为新增的扰动对象；M i(m,n)表示扰动掩码在(m,n)处元素的值，I表示像素点的重要性矩阵，I mn表示处于(m，n)位置像素点的重要性。
  9. 一种评估目标检测模型鲁棒性的攻击装置，其特征在于，所述装置包括：
    存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行如权利要求1至8任一项所述的评估目标检测模型鲁棒性的攻击方法。
  10. 一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行如权利要求1至8任一项所述的评估目标检测模型鲁棒性的攻击方法。
PCT/CN2022/137578 2022-08-05 2022-12-08 评估目标检测模型鲁棒性的攻击方法和装置 WO2024027068A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210935649.7A CN114998707B (zh) 2022-08-05 2022-08-05 评估目标检测模型鲁棒性的攻击方法和装置
CN202210935649.7 2022-08-05

Publications (1)

Publication Number Publication Date
WO2024027068A1 true WO2024027068A1 (zh) 2024-02-08

Family

ID=83023008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/137578 WO2024027068A1 (zh) 2022-08-05 2022-12-08 评估目标检测模型鲁棒性的攻击方法和装置

Country Status (2)

Country Link
CN (1) CN114998707B (zh)
WO (1) WO2024027068A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998707B (zh) * 2022-08-05 2022-11-04 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265271A1 (en) * 2019-02-15 2020-08-20 Baidu Usa Llc Systems and methods for joint adversarial training by incorporating both spatial and pixel attacks
CN113780123A (zh) * 2021-08-27 2021-12-10 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
WO2021257817A1 (en) * 2020-06-17 2021-12-23 The Trustees Of Princeton University System and method for secure and robust distributed deep learning
CN114220097A (zh) * 2021-12-17 2022-03-22 中国人民解放军国防科技大学 一种基于对抗攻击的图像语义信息敏感像素域的筛选方法及应用方法与系统
CN114332569A (zh) * 2022-03-17 2022-04-12 南京理工大学 基于注意力机制的低扰动对抗攻击方法
CN114998707A (zh) * 2022-08-05 2022-09-02 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4035078A1 (en) * 2019-09-24 2022-08-03 HRL Laboratories, LLC A deep reinforcement learning based method for surreptitiously generating signals to fool a recurrent neural network
CN111242166A (zh) * 2019-12-30 2020-06-05 南京航空航天大学 一种通用对抗扰动生成方法
CN111401407B (zh) * 2020-02-25 2021-05-14 浙江工业大学 一种基于特征重映射的对抗样本防御方法和应用
CN111539916B (zh) * 2020-04-08 2023-05-26 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN112087420B (zh) * 2020-07-24 2022-06-14 西安电子科技大学 一种网络杀伤链检测方法、预测方法及系统
CN111931707A (zh) * 2020-09-16 2020-11-13 平安国际智慧城市科技股份有限公司 基于对抗补丁的人脸图像预测方法、装置、设备和介质
US20220180242A1 (en) * 2020-12-08 2022-06-09 International Business Machines Corporation Dynamic Gradient Deception Against Adversarial Examples in Machine Learning Models
CN113569234B (zh) * 2021-06-17 2023-11-03 南京大学 一种用于安卓攻击场景重建的可视化取证系统及实现方法
CN113869152A (zh) * 2021-09-14 2021-12-31 武汉大学 一种基于对抗性攻击的反人脸识别方法及系统
CN113979367B (zh) * 2021-10-12 2023-06-23 深圳中集智能科技有限公司 集装箱位置自动识别系统及其识别方法
CN114419358A (zh) * 2021-10-19 2022-04-29 南京邮电大学 一种对抗样本生成方法
CN114298190A (zh) * 2021-12-20 2022-04-08 润联软件系统(深圳)有限公司 基于目标定位的对抗攻击方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265271A1 (en) * 2019-02-15 2020-08-20 Baidu Usa Llc Systems and methods for joint adversarial training by incorporating both spatial and pixel attacks
WO2021257817A1 (en) * 2020-06-17 2021-12-23 The Trustees Of Princeton University System and method for secure and robust distributed deep learning
CN113780123A (zh) * 2021-08-27 2021-12-10 广州大学 一种对抗样本生成方法、系统、计算机设备和存储介质
CN114220097A (zh) * 2021-12-17 2022-03-22 中国人民解放军国防科技大学 一种基于对抗攻击的图像语义信息敏感像素域的筛选方法及应用方法与系统
CN114332569A (zh) * 2022-03-17 2022-04-12 南京理工大学 基于注意力机制的低扰动对抗攻击方法
CN114998707A (zh) * 2022-08-05 2022-09-02 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置

Also Published As

Publication number Publication date
CN114998707B (zh) 2022-11-04
CN114998707A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN107220618B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN111401516B (zh) 一种神经网络通道参数的搜索方法及相关设备
CN110889325B (zh) 多任务面部动作识别模型训练和多任务面部动作识别方法
US11314988B2 (en) Image aesthetic processing method and electronic device
CN106776842B (zh) 多媒体数据检测方法及装置
CN107529650B (zh) 闭环检测方法、装置及计算机设备
WO2022022274A1 (zh) 一种模型训练方法及装置
US20200234110A1 (en) Generating trained neural networks with increased robustness against adversarial attacks
WO2020098606A1 (zh) 节点分类方法、模型训练方法、装置、设备及存储介质
CN109671020B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN105989288A (zh) 一种基于深度学习的恶意代码样本分类方法及系统
JP2021051783A (ja) 画像処理システム、画像処理方法及びプログラム記憶媒体
CN112613581A (zh) 一种图像识别方法、系统、计算机设备和存储介质
CN113297571B (zh) 面向图神经网络模型后门攻击的检测方法和装置
WO2020047854A1 (en) Detecting objects in video frames using similarity detectors
WO2023051369A1 (zh) 一种神经网络的获取方法、数据处理方法以及相关设备
WO2024027068A1 (zh) 评估目标检测模型鲁棒性的攻击方法和装置
WO2023098544A1 (zh) 基于局部稀疏约束的结构化剪枝方法和装置
WO2023179482A1 (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
US20180137408A1 (en) Method and system for event-based neural networks
WO2022206729A1 (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN113283368B (zh) 一种模型训练方法、人脸属性分析方法、装置及介质
CN112214775A (zh) 对图数据的注入式攻击方法、装置、介质及电子设备
CN112348079A (zh) 数据降维处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953856

Country of ref document: EP

Kind code of ref document: A1