WO2020192849A1 - Automatische erkennung und klassifizierung von adversarial attacks - Google Patents

Automatische erkennung und klassifizierung von adversarial attacks Download PDF

Info

Publication number
WO2020192849A1
WO2020192849A1 PCT/DE2020/200018 DE2020200018W WO2020192849A1 WO 2020192849 A1 WO2020192849 A1 WO 2020192849A1 DE 2020200018 W DE2020200018 W DE 2020200018W WO 2020192849 A1 WO2020192849 A1 WO 2020192849A1
Authority
WO
WIPO (PCT)
Prior art keywords
metrics
image
attack
adversarial
video
Prior art date
Application number
PCT/DE2020/200018
Other languages
English (en)
French (fr)
Inventor
Eric - c/o Conti Temic microelectronic GmbH PIEGERT
Michelle - c/o Conti Temic microelectronic GmbH KARG
Christian - c/o Conti Temic microelectronic GmbH SCHARFENBERGER
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to US17/593,558 priority Critical patent/US20220174089A1/en
Priority to JP2021545871A priority patent/JP7248807B2/ja
Priority to DE112020001597.1T priority patent/DE112020001597A5/de
Priority to CN202080016237.2A priority patent/CN113474792A/zh
Publication of WO2020192849A1 publication Critical patent/WO2020192849A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Definitions

  • the invention relates to a method and a system for the detection of adversarial attacks on an automated detection system, in particular an image-based detection system, e.g. an object detection system of an intelligent
  • Machine learning and deep learning are becoming increasingly widespread in the context of assisted and automated driving.
  • Machine vision is becoming increasingly widespread in the context of assisted and automated driving.
  • the state of the art comprises the generation of adversarial attacks based on various methods and various methods for a defense (“defense”) against adversarial attacks.
  • defense against adversarial attacks.
  • the object of the invention is to provide reliable and detailed detection of adversarial attacks on a network.
  • attack class can contain a single type of adversarial attack or a group of adversarial attacks which manipulate images with a similar behavior. Further classes can be provided for “no change” in the images, “changes in the image, the cause of which can be explained in some other way” (e.g. due to disturbances during image recording) and “unknown potential attack”.
  • One aspect of the invention is to use multiple metrics in common to describe the changes that an image has undergone. Another aspect is to distinguish and recognize attacks solely on the basis of their changes in the image. This enables the detection of adversarial attacks within the duration of the detection by the network. Furthermore, defense measures (defenses,
  • Countermeasures are used, which are specifically for a certain
  • Attacks class have been developed because the attack class is recognized.
  • Another aspect of the invention is that the majority of metrics used generate a high-dimensional space in which attacks can be separated and thus existing or appropriately trained classifiers can recognize the attacks.
  • the invention comprises the following elements:
  • attack classes based on machine learning, ie features are automatically recognized and different attack classes are detected using a learning process based on these features.
  • detection of attack classes based on machine learning, ie features are automatically recognized and different attack classes are detected using a learning process based on these features.
  • detection of attack classes as part of an automated detection system for (online) detection of attacks. For example, decisions can be made for a targeted online defense against a specific attack. Online means in the context of (before or during) the automated detection.
  • the invention can be used for any attacks on any input signals, in particular image, video or audio signals, if neural networks are used for the detection or classification on the basis of the input signals.
  • the process can be used for medical technology, language processing, internet searches or vehicle systems.
  • Adversarial attacks on an automated detection system include the following steps:
  • n is a natural number greater than one.
  • the automated detection system comprises a (first) neural network for classifying the image / video / audio signals.
  • This can be, for example, an image-based object classification system or an audio-based one
  • step c “Structure of an n-dimensional Feature space based on the calculated metrics "is equivalent to the following formulation:” Forming an n-dimensional feature vector that includes the n calculated metrics ".
  • the quantified differences are (or is) divided by a second neural network into classes of predefined adverse attacks trained by the second network.
  • a specific countermeasure against a class of adversarial attacks recognized as critical is initiated.
  • a countermeasure can e.g. be a use of a (different) CNN-based detector that is robust against this type of attack.
  • the automated detection system can preferably comprise a camera-based sensor system of a vehicle, the potentially manipulated signals being image or video signals that have been recorded by means of at least one camera of the camera-based sensor system.
  • the reference signals can also have been recorded by means of the at least one camera.
  • the method can preferably be carried out to detect an adversarial attack during a signal data transfer from the vehicle to an online database.
  • the detection system can comprise a multi-camera system in a vehicle.
  • the potentially manipulated image or video signal and the reference image or video signal are, according to this embodiment variant, overlapping or time-shifted recordings of the same scene from different ones
  • the metrics are preferably calculated on the entire potentially manipulated image. Provided the reference image was taken by the same camera is compared with the entire reference image. If the reference image depicts a larger area, a comparison is made with the image section which corresponds to the content of the potentially manipulated image.
  • the metrics are calculated on an image section of the entire potentially manipulated image. This may be necessary if the reference image only depicts a portion of the content of the potentially manipulated image.
  • the metrics are preferably calculated on a series of images or from a series of image details.
  • SSIM SSIM
  • Norm L 2 norm, KL divergence, MSE (Mean Squared Error), MAE (Mean Average Error), PSNR, L x Norm (LJnfinity Norm), L 0 Norm, Edge metrics, hash metrics and Fourier transform metrics.
  • subsets are created from the n metrics in order to extract the most relevant m metrics, where m is a natural number less than n and in step d) the classification based on the calculated metrics in the m-dimensional
  • the creation of the subsets can be implemented based on machine learning.
  • the features are extracted automatically.
  • the metrics are learned automatically using representation learning.
  • Another object of the invention relates to a system for the detection of adversarial attacks on an automated detection system comprising an input interface, a detection unit and an output interface.
  • the system for detecting the adversarial attacks can be integrated into the automated detection system, but it can also be upstream of it.
  • the input interface is configured to a
  • the detection unit classifies the attacks and typically includes a second neural network for this purpose.
  • the recognition unit is configured to:
  • the output interface is configured to output the Adversarial Attack class determined by the detection unit.
  • the determined class can be used by a downstream defense unit to target To initiate defense measures against the attacks class before the potentially manipulated image / video / audio signal is automated
  • the class determined by the recognition unit can be transferred to the automated one via the output interface
  • Detection system can be transmitted directly.
  • the system for detecting adversarial attacks can in particular be a microcontroller or processor, a central processing unit (CPU), a graphic processing unit (GPU), a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable gate array) and the like, as well as software for performing the corresponding method steps.
  • CPU central processing unit
  • GPU graphic processing unit
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable gate array
  • the present invention can thus be implemented in digital electronic circuitry, computer flardware, firmware or software.
  • a set of metrics is calculated that quantify the difference between images. These metrics are calculated on an image pair consisting of an original and a potentially modified image. The calculation can relate to the entire image or to relevant image sections.
  • the metric can therefore either be calculated on the entire image, on an image section, on a series of images or on a series of image sections.
  • Additional subsets can be created from these metrics in order to extract the most relevant metrics. This can be implemented manually or, again, based on machine learning, in this case by means of automatic feature extraction. If one considers such metrics in isolation, there is often a large spread and overlap of different attacks.
  • a method for detection can be summarized as follows:
  • attack detection and classification is advantageous in the transmission of images from security-critical detection systems, because this enables attacks on the transmission or during the transmission to be recognized.
  • Image data transmission between a vehicle and an online database, between two processors in a vehicle or between two processors of embedded systems are further advantageous applications.
  • the detection process can be integrated into safety-critical detection systems as follows:
  • the input data consist of images that can be exposed to an adverse attack.
  • reference images that are not exposed to the attack.
  • the reference images can be excerpts from another camera sensor, temporally offset images, images from previous or subsequent system components, or reference images of the scene, e.g.
  • the decision-making system makes decisions based on the attack or the attack class. These include:
  • the attack class detection system is necessary to determine the attack class detection system.
  • the invention enables "adversarial attacks" to be recognized on the basis of their changes in the image and the attack class to be determined. This enables a defense method to be selected based on the attack class and the use of a decision-making system to decide how to proceed with the attack (critical vs. non-critical attack).
  • Another application of the method is the recognition of changes in the image by processing steps in the image processing pipeline from
  • Examples of integration into the camera-based sensor system of a vehicle are:
  • a transfer of data recorded by a vehicle to an online database In the future, an original image captured by a vehicle camera can be transmitted wirelessly (Vehicle-2-X communication) to an online database (eg cloud).
  • a cloud service can carry out further processing (automated detection) of the transmitted image.
  • a possible point of attack for an attack can be the data transfer, for example via the Internet. Attackers could gain access to the transmitted image data via the interfaces required for cloud computing before the automated detection by the cloud service.
  • Reference images are images from previous processing steps, e.g. a previous node on the Internet or the original image recorded by the camera from the vehicle that is present in the vehicle.
  • the attack by an attack and the attack class can be identified based on an image and the
  • the check for an attack can take place in a defined interval, e.g. every 100 image transfers.
  • the software of one or more camera sensors can be affected by an attack.
  • Reference images can be overlapping or offset in time
  • Attacks class can be determined and an adequate defense mechanism selected.
  • a first camera sensor 1 captures a first image, which serves as a reference image, and provides the first image to the recognition unit 10.
  • a second camera sensor 2 captures a second image, which in this example serves as the potentially manipulated image, and provides the second image to the recognition unit 10.
  • the recognition unit processes the first and the second image and uses the differences to classify whether an adversarial attack is present and, if so, to which attack class the differences can be assigned.
  • the Adversarial Attack class is output via an interface 1 1.
  • classes can also be specified that do not correspond to any adversarial attack.
  • Fig. 2 shows a camera system and a data transmission of image data.
  • the camera system shown comprises a camera 3 with an integrated
  • Image data interface 4 through which image data can be transmitted to an intermediate unit 5.
  • the image data can be transmitted directly to the recognition unit 10 as an original image.
  • the image data are further transmitted to a target unit 6 and optionally also to the recognition unit 10.
  • the image data are transmitted from the target unit 6 to the recognition unit 10 so that the image data can be checked for manipulation.
  • the target unit 6 can, for example, be a
  • a possible point of attack for an attack can be the data transfer, which e.g. via the internet.
  • the intermediate unit 5 can be, for example, a previous node in the Internet, the image data of which can be used as a reference image.
  • the image recorded in the vehicle can be taken from the integrated
  • Data interface 4 can be transmitted directly to the recognition unit 10 as a reference image.
  • the attack by an attack and the attack class can be identified on the basis of the image and an associated reference image.
  • FIG. 3 illustrates the spread of the values of a metric determined from examples for different attacks and different network architectures.
  • a metric is calculated on the basis of an image pair consisting of a reference or original image and a potentially changed image.
  • the calculation can relate to the entire image or to relevant image sections.
  • VGG16, ResNet50 and InceptionV3 are known and widespread architectures of neural networks, mainly used in the field of image processing and especially for object recognition and classification.
  • the architectures are known and widespread architectures of neural networks, mainly used in the field of image processing and especially for object recognition and classification.
  • VGG16 can be described as the least and InceptionV3 as the most complex structure, based on the underlying theoretical models.
  • the attacks evaluated in FIG. 3 include (from left to right, or from top to bottom in the legend): L-BFGS Attack, Gradient Sign Attack, Saliency Map Attack, Deep Fool Attack, ADef Attack, Gradient Attack, Iterative Gradient Attack, Iterative Gradient Sign Attack, Local Search Attack and Contrast Resolution Attack.
  • An attack has (for an architecture) measured with a metric a characteristic spread (“footprint”).
  • classifiers can be trained in order to differentiate and recognize the individual attacks. By means of dimension reduction it could be shown that these high-dimensional spaces become better
  • Recognition accuracy can be achieved with the selected classifiers. If you look at the results in more detail, the various individual attacks form attack classes. If you calculate the
  • step S12 an original image (reference image) and a potentially manipulated image are provided.
  • step S14 a set of n metrics is calculated which quantify differences between the original image and the potentially manipulated image in different ways.
  • n is a natural number greater than one.
  • step S16 an n-dimensional feature space is built up based on the n calculated metrics.
  • a feature vector is formed which includes the n calculated metrics.
  • the most relevant metrics can be selected, which causes a reduction in dimension n.
  • the selection of the most relevant metrics can be done by feature extraction or by manual selection.
  • the feature vector is classified in step S18.
  • the classifier was trained in advance using training data consisting of different adversarial attack classes and corresponding metrics or feature vectors.
  • feature extraction, feature reduction (dimensionality reduction) and classification (“classification”) can be combined and learned together in one step.
  • the identified attack class can be output in step S20.
  • An output can in particular take place to a decision system which, in a step S22, makes decisions based on the identified attack class.
  • a decision system which, in a step S22, makes decisions based on the identified attack class.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur Erkennung von Adversarial Attacks auf ein automatisiertes Detektionssystem, insbesondere ein bildbasiertes Detektionssystem, wie z.B. ein Objektdetektionssystem eines intelligenten Kamerassensors (1; 2; 3) für assistiertes oder automatisiertes Fahren. Das Verfahren umfasst die Schritte: a) Bereitstellen eines Referenz-Bild-/Video-/Audiosignals, z.B. eines Originalbildes, und eines potentiell manipulierten Bild-/Video-/Audiosignals (S12). b) Berechnung eines Satzes an n Metriken (S14), die auf unterschiedliche Weise Unterschiede zwischen dem Referenzsignal und dem potentiell manipulierten Signal quantifizieren, wobei n eine natürliche Zahl größer Eins ist. c) Aufbau eines n-dimensionalen Merkmalsraums basierend auf den berechneten Metriken (S16). d) Klassifikation der Art der Adversarial Attack anhand der berechneten Metriken im n-dimensionalen Merkmalsraum (S18). e) Ausgabe der Klasse der Adversarial Attack (S20). Die Klassifikation der Adversarial Attack ermöglicht die Einleitung einer spezifischen Gegenmaßnahme (S30) gegen eine als kritisch (E1) erkannte Klasse von Adversarial Attacks.

Description

Automatische Erkennung und Klassifizierung von Adversarial Attacks
Die Erfindung betrifft ein Verfahren und ein System zur Erkennung von Adversarial Attacks auf ein automatisiertes Detektionssystem, insbesondere ein bildbasiertes Detektionssystem, wie z.B. ein Objektdetektionssystem eines intelligenten
Kamerassensors für assistiertes oder automatisiertes Fahren.
Künstliche Intelligenz, Künstliche Neuronale Netze, Machine Learning
(maschinelles Lernen) und Deep Learning finden zunehmend Verbreitung im Kontext von assistiertem und automatisiertem Fahren. Maschinelles Sehen
(Computer Vision) ist hierbei das häufigste Anwendungsgebiet.
Szegedy et al. zeigen in Intriguing properties of neural networks, arXiv:1312.6199v4 [cs.CV], 19 Feb 2014, abgerufen unter https:/7arxiv.org/abs/1312.6199 am
21 .3.2019, dass sogenannte“adversarial examples” („feindliche Beispiele“) von einem trainierten tiefen neuronalen Netzwerk zur Bilderkennung überraschend fehlerhaft klassifiziert werden, obwohl die Änderung gegenüber einem korrekt erkannten Bildbeispiel für den menschlichen Betrachter irrelevant erscheint. Dies liegt in der Funktionsweise tiefer Netzwerke und kann zur Manipulation in Form von „Adversarial Attacks“ („feindlichen Angriffen“) missbraucht werden.
Der Stand der Technik umfasst die Erzeugung von Adversarial Attacks basierend auf verschiedenen Methoden und verschiedene Verfahren für eine Verteidigung („Defense“) gegen Adversarial Attacks. Es gibt derzeit eine Vielzahl von möglichen Attacken die teilweise sehr ähnliche, aber auch ganz verschiedene globale oder lokale Veränderungen an einem Bild vornehmen. Weiterhin existieren derzeit zur Beurteilung der Qualität von Veränderungen durch Adversarial Attacks nur wenige Metriken, welche bereits zur Generierung von Attacken verwendet werden. Es wurde gezeigt, dass die existierenden Metriken nicht ausreichen, um die
Veränderungen im Bild verursacht durch Adversarial Attacks vollständig zu beschreiben und die Qualität einer Attacke zu beurteilen.
Dieser Thematik widmen sich die folgenden Veröffentlichungen: Uyeong Jang, Xi Wu, and Somesh Jha. Objective metrics and gradient descent algorithms for adversarial examples in machine learning. In Proceedings of the 33rd Annual Computer Security Applications Conference, Orlando, FL, USA, December 4-8, 2017, pages 262-277, 2017. doi:10.1 145/3134600.3134635.
Mahmood Sharif, Lujo Bauer, and Michael K. Reiter. On the suitability of Lp-norms for creating and preventing adversarial examples. CoRR, abs/1802.09653, 2018.
Naveed Akhtar and Ajmal Mian. Threat of adversarial attacks on deep learning in Computer Vision: A survey. IEEE Access, 6:14410-14430, 2018.
doi:10.1 109/ACCESS.2018.2807385.
Aufgabe der Erfindung ist es, eine zuverlässige und detaillierte Erkennung von Adversarial Attacks auf ein Netzwerk bereitzustellen.
Ein grundlegender Aspekt zur detaillierten Erkennung besteht darin,
herauszufinden, mit welcher Adversarial Attack ein Netzwerk angegriffen worden ist, d.h. in einer Klassifizierung der Adversarial Attack. Grundlage der Klassifikation sind Veränderungen, die ein potentiell manipuliertes Bild gegenüber einem
Referenzbild erfahren hat. Als Maß für die Veränderungen im Bild dient eine Metrik, deren Berechnung auf Grundlage der beiden Bilder die Veränderung quantifiziert. Eine Klasse von Adversarial Attacks („Attackenklasse“) kann einen einzelnen Typ einer Adversarial Attack oder eine Gruppe von Adversarial Attacks beinhalten, welche mit einem ähnlichem Verhalten Bilder manipulieren. Weitere Klassen können für„keine Veränderung“ der Bilder,„Veränderungen im Bild, deren Ursache anderweitig erklärbar ist“ (z.B. durch Störungen bei der Bildaufnahme) und „unbekannte potentielle Attacke“ vorgesehen sein.
Ein Aspekt der Erfindung besteht darin, mehrere Metriken gemeinsam zu verwenden, um die Veränderungen zu beschreiben, die ein Bild erfahren hat. Ein weiterer Aspekt besteht darin, Attacken alleine auf Basis ihrer Veränderungen am Bild zu unterscheiden und zu erkennen. Dies ermöglicht die Erkennung von Adversarial Attacks innerhalb der Laufzeit der Detektion durch das Netzwerk. Weiterhin können vorteilhaft Verteidigungsmaßnahmen (Defenses,
Countermeasures) eingesetzt werden, welche speziell für eine bestimmte
Attacken klasse entwickelt worden sind, da eine Erkennung der Attackenklasse erfolgt.
Eine frühzeitige Erkennung und Identifizierung einer Adversarial Attack ermöglicht somit die Entwicklung und Verwendung von gezielten Abwehrmechanismen.
Werden ausreichend Merkmale/Features entwickelt, die die Veränderungen im Bild beschreiben können, so werden die verschiedenen Klassen von Veränderungen besser verstanden und es können zukünftig bessere Abwehrmethoden entwickelt werden.
Ein weiterer Aspekt der Erfindung besteht darin, dass die Mehrzahl an verwendeten Metriken einen hochdimensionalen Raum erzeugen, in dem Attacken trennbar werden und somit existierende oder entsprechend trainierte Klassifikatoren die Attacken erkennen können.
Ein Ausgangspunkt bei Entwicklung der Lösung ist die Erkenntnis, dass bekannte Verfahren folgende Nachteile aufweisen:
- Keine Erkennung der Attackenklasse
- Keine frühzeitige Erkennung, dass eine Attacke stattgefunden hat
- Keine Anwendung und Entwicklung von Verteidigungen gegen definierte
Attacken klassen
Die Erfindung umfasst folgende Elemente:
1 ) Die Erkennung von Attacken klassen basierend auf Machine Learning, d.h. es werden automatisch Merkmale erkannt und mithilfe eines Lernverfahrens basierend auf diesen Merkmalen verschiedene Attackenklassen detektiert. 2) Die Verwendung der zuvor genannten Erkennung von Attackenklassen im Rahmen eines automatisierten Detektionssystems zur (Online-) Erkennung von Attacken. Beispielsweise können Entscheidungen getroffen werden für eine gezielte Online-Abwehr einer bestimmten Attacke. Online bedeutet hierbei im Rahmen (vor oder während) der automatisierten Detektion.
Die Erfindung kann für beliebige Attacken auf beliebige Eingangssignale, insbesondere Bild-, Video- oder Audiosignale, angewandt werden, wenn Neuronale Netze für die Detektion bzw. Klassifikation anhand der Eingangssignale verwendet werden. So kann das Verfahren für die Medizintechnik, für die Sprachverarbeitung, für Internetsuchen oder für Fahrzeugsysteme eingesetzt werden.
Ein erfindungsgemäßes Verfahren zur Erkennung und Klassifizierung von
Adversarial Attacks auf ein automatisiertes Detektionssystem (mit einem ersten neuronalen Netz zur Klassifikation der Bild-A/ideo-/Audiosignale) umfasst die Schritte:
a) Bereitstellen eines Referenz-Bild-A/ideo-/Audiosignals, z.B. eines Originalbildes, und eines potentiell manipulierten Bild-A/ideo-/Audiosignals.
b) Berechnung eines Satzes an n Metriken, die auf unterschiedliche Weise
Unterschiede zwischen dem Referenzsignal und dem potentiell manipulierten Signal quantifizieren, wobei n eine natürliche Zahl größer Eins ist.
c) Aufbau eines n-dimensionalen Merkmalsraums basierend auf den berechneten Metriken.
d) Klassifikation der Art der Adversarial Attack anhand der berechneten Metriken im n-dimensionalen Merkmalsraum.
e) Ausgabe der Klasse der Adversarial Attack.
Das automatisierte Detektionssystem umfasst ein (erstes) neuronales Netz zur Klassifikation der Bild-A/ideo-/Audiosignale. Hierbei kann es sich beispielsweise um ein bildbasiertes Objektklassifikationssystem oder ein audiobasiertes
Spracherkennungssystem handeln. Dieses automatisierte Detektionssystem kann durch Adversarial Attacks angegriffen werden. Dazu müssen die Signale, die Eingang in das neuronale Netz finden manipuliert werden. Durch Vergleichen eines Referenz- und eines potentiell manipulierten Signals werden Unterschiede quantifiziert. Die Bezeichnung (Schritt c)„Aufbau eines n-dimensionalen Merkmalsraums basierend auf den berechneten Metriken“ ist äquivalent zur folgenden Formulierung:„Bilden eines n-dimensionalen Merkmalsvektors, der die n berechneten Metriken umfasst“. Die quantifizierten Unterschiede (bzw. der n-dimensionale Merkmalsvektor) werden (bzw. wird) von einem zweiten neuronalen Netz in Klassen vordefinierter und durch das zweite Netz trainierter Adversarial Attacks eingeteilt.
In einer vorteilhaften Weiterbildung wird in einem nachfolgenden Verfahrensschritt f) eine spezifische Gegenmaßnahme gegen eine als kritisch erkannte Klasse von Adversarial Attacks eingeleitet. Eine solche Gegenmaßnahme kann, z.B. eine Verwendung eines (anderen) CNN-basierten Detektors sein, der robust gegen diesen Typ von Attacken ist.
Vorzugsweise kann das automatisierte Detektionssystem ein kamerabasiertes Sensorsystem eines Fahrzeuges umfassen, wobei die potentiell manipulierten Signale Bild- oder Videosignale sind, die mittels mindestens einer Kamera des kamerabasierten Sensorsystems aufgenommen worden sind. Optional können auch die Referenzsignale mittels der mindestens einen Kamera aufgenommen worden sein. Es ist aber auch möglich, Referenzsignale zu verwenden, die von einer anderen Kamera aufgenommen wurden.
Das Verfahren kann bevorzugt zur Erkennung einer Adversarial Attack während eines Signaldatentransfers vom Fahrzeug zu einer Online-Datenbank durchgeführt werden.
Alternativ kann das Detektionssystem ein Multi-Kamerasystem in einem Fahrzeug umfassen. Das potentiell manipulierte Bild- oder Videosignal und das Referenzbild oder -Videosignal sind gemäß dieser Ausführungsvariante überlappende oder zeitlich versetzte Aufnahmen von der gleichen Szene von verschiedenen
Einzelkameras des Multikamerasystems.
Vorzugseise erfolgt die Berechnung der Metriken auf dem gesamten potentiell manipulierten Bild. Sofern das Referenzbild von derselben Kamera aufgenommen wurde, wird mit dem gesamten Referenzbild verglichen. Wenn das Referenzbild einen größeren Bereich abbildet, wird mit dem Bildausschnitt verglichen, der dem Inhalt des potentiell manipulierten Bildes entspricht.
Alternativ hierzu erfolgt die Berechnung der Metriken auf einem Bildausschnitt des gesamten potentiell manipulierten Bildes. Dies kann erforderlich sein, falls das Referenzbild nur einen Teilbereich des Inhalts des potentiell manipulierten Bildes abbildet.
Bevorzugt erfolgt die Berechnung der Metriken auf einer Serie von Bildern oder aus einer Serie an Bildausschnitten.
Vorteilhaft enthalten die n Metriken mehrere Metriken, die ausgewählt werden aus der Gruppe von:
SSIM; Norm, L2-Norm, KL-Divergenz, MSE (Mean Squared Error), MAE (Mean Average Error), PSNR, Lx Norm (LJnfinity Norm), L0 Norm, Edge metrics, hash metrics und Fourier transform metrics.
Neben den bereits genannten Veröffentlichungen sind Details zu diesen Metriken zu finden in:
- Höre, A. and Ziou, D., 2010, August. Image quality metrics: PSNR vs. SSIM.
In 2010 20th International Conference on Pattern Recognition (pp.
2366-2369). IEEE.
- Goldberger, J., Gordon, S. and Greenspan, H., 2003, October. An efficient image similarity measure based on approximations of KL-divergence between two Gaussian mixtures. In null (p. 487). IEEE.
- Uyeong Jang, Xi Wu, and Somesh Jha. Objective metrics and gradient
descent algorithms for adversarial examples in machine learning. In
Proceedings of the 33rd Annual Computer Security Applications Conference, Orlando, FL, USA, December 4-8, 2017, pages 262-277, 2017.
- Ramarathnam Venkatesan, S-M Koon, Mariusz H Jakubowski, and Pierre Moulin. Robust image hashing. In Image Processing, 2000. Proceedings. 2000 International Conference on, volume 3, pages 664-666. IEEE, 2000. Gemäß einer bevorzugten Ausgestaltung des Verfahrens werden aus den n Metriken Subsets (Untermengen) erstellt, um die relevantesten m Metriken zu extrahieren, wobei m eine natürliche Zahl kleiner als n ist und in Schritt d) die Klassifikation anhand der berechneten Metriken im m-dimensionalen
Merkmalsraum erfolgt.
Weiterhin kann die Erstellung der Subsets basierend auf Machine Learning umgesetzt werden. Hierbei werden die Merkmale automatisch extrahiert. Die Metriken werden automatisch mithilfe von Representation Learning gelernt.
Ein weiterer Gegenstand der Erfindung betrifft ein System zur Erkennung von Adversarial Attacks auf ein automatisiertes Detektionssystem umfassend eine Eingangsschnittstelle, eine Erkennungseinheit und eine Ausgabeschnittstelle.
Das System zur Erkennung der Adversarial Attacks kann in das automatisierte Detektionssystem integriert sein, es kann diesem aber auch vorgelagert sein.
Die Eingangsschnittstelle ist dazu konfiguriert, ein
Referenz-Bild-A/ideo-/Audiosignal und ein potentiell manipuliertes
Bild-A/ideo-/Audiosignal zu empfangen und der Erkennungseinheit bereitzustellen. Die Erkennungseinheit nimmt die Klassifikation der Attacken vor und umfasst dazu typischerweise ein zweites neuronales Netz. Die Erkennungseinheit ist dazu konfiguriert:
• einen Satz an n Metriken, die auf unterschiedliche Weise
Unterschiede zwischen dem Referenz-Bild-A/ideo-/Audiosignal und dem potentiell manipulierten Bild-A/ideo-/Audiosignals quantifizieren, zu berechnen,
• einen n-dimensionaler Merkmalsraum basierend auf den berechneten Metriken aufzubauen und
• die Art der Adversarial Attack anhand der berechneten Metriken im n-dimensionalen Merkmalsraum zu klassifizieren.
Die Ausgabeschnittstelle ist dazu konfiguriert, die von der Erkennungseinheit ermittelte Klasse der Adversarial Attack auszugeben. Die ermittelte Klasse kann von einer nachgeschalteten Verteidigungseinheit verwendet werden, um gezielte Verteidigungsmaßnahmen gegen die Attacken klasse einzuleiten bevor das potentiell manipulierte Bild-A/ideo-/Audiosignal dem automatisierten
Detektionssystem übergeben wird. Alternativ kann die von der Erkennungseinheit ermittelte Klasse über die Ausgabeschnittstelle dem automatisierten
Detektionssystem direkt übermittelt werden.
Das System zur Erkennung von Adversarial Attacks kann insbesondere einen Mikrocontroller oder -Prozessor, eine Zentrale Verarbeitungseinheit (CPU), ein Grafische Verarbeitungseinheit (GPU), einen Digital Signal Processor (DSP), einen ASIC (Application Specific Integrated Circuit), einen FPGA (Field Programmable Gate Array) und dergleichen mehr sowie Software zur Durchführung der entsprechenden Verfahrensschritte umfassen.
Die vorliegende Erfindung kann somit in digitalen elektronischen Schaltkreisen, Computer-Flardware, Firmware oder Software implementiert sein.
Im Folgenden werden weitere Aspekte und Ausführungsformen zur Erkennung von Attacken klassen auf Bildsignale basierend auf Machine Learning erläutert:
Zunächst wird ein Set an Metriken berechnet, welche den Unterschied zwischen Bildern quantifizieren. Diese Metriken werden auf ein Bild-Paar bestehend aus einem original und einem potentiell veränderten Bild berechnet. Hierbei kann sich die Berechnung auf das ganze Bild oder relevante Bildausschnitte beziehen.
Die Metrik kann also entweder auf dem gesamten Bild, auf einem Bildausschnitt, auf einer Serie an Bildern oder auf einer Serie an Bildausschnittenberechnet werden.
Aus diesen Metriken können weitere Subsets erstellt werden, um die relevantesten Metriken zu extrahieren. Dies kann manuell oder wiederum basierend auf Machine Learning, hierbei mittels automatischer Merkmalsextraktion, umgesetzt werden. Betrachtet man derartige Metriken alleinstehend, so entsteht häufig eine große Streuung und Überlappung verschiedener Attacken.
Diese Erkenntnis ist für alle vorliegend evaluierten Metriken konsistent und legt eine Kombination verschiedener Metriken nahe, um Attacken besser voneinander trennen zu können. Eine Metrik alleine reicht nicht aus, um die Veränderung an einem Bild hinreichend zu beschreiben bzw. um die Veränderung einer
Attacken klasse zuordnen zu können. Somit ist ein hinreichendes Set an Metriken für die Erkennung von Attackenklassen erforderlich. Diese Metriken können entweder mit Machine Learning automatisch gelernt werden oder manuell definiert werden.
Durch die Kombination von Metriken werden Attacken in den entstehenden Räumen trennbar.
Verschiedene zwei-dimensionale Kombinationen führen zu verschiedenen
Trennungen der Attacken im Raum. Die Erkenntnis bestärkt die Kombination von mehreren Metriken in höher-dimensionalen Räumen.
Ein Verfahren für die Erkennung lässt sich wie folgt zusammenfassen:
A) Trainingsverfahren (Trainingsphase):
- Berechnung von Metriken, welche die Differenz zwischen zwei Bildern
quantifizieren. Diese Metriken können manuell definiert werden (SSIM; L^-Norm, L2-Norm, KL-Divergenz, MSE, MAE, PSNR,
Figure imgf000011_0001
Norm, L0 Norm, Edge metrics, hash metrics und Fourier transform metrics, etc.) oder
basierend auf Machine Learning automatisch gelernt werden.
- Aufbau eines mehrdimensionalen Merkmalsraums basierend auf den Metriken
- Optional: Selektion der relevantesten Merkmale durch automatische
Merkmalsextraktion oder manuell
- Lernen eines Klassifikators basierend auf den Metriken
B) Inferenz zur Laufzeit (Testphase):
- Berechnung der Metriken auf einem Bildpaar
- Transformation in den Merkmalsraum
- Anwendung des gelernten Klassifikators aus der Trainingsphase
C) Erweiterung: - Mit Hilfe von Deep Learning und Representation Learning, kann die Merkmalsextraktion, Merkmalsreduktion und die Klassifikation zusammengefasst werden und in einem Schritt gemeinsam gelernt werden.
Im Folgenden werden weitere Aspekte und Ausführungsformen zur Verwendung der bereits geschilderten Erkennung von Attackenklassen im Rahmen eines automatisierten bildbasierten Detektionssystems zur Online-Erkennung von Attacken beschrieben.
Eine Anwendung der Attackendetektion und -klassifikation ist bei der Übertragung von Bildern sicherheitskritischer Detektionssysteme vorteilhaft, denn dadurch wird die Erkennung von Attacken auf die Übertragung oder bei der Übertragung ermöglicht.
Werden Bilder beispielsweise in eine Cloud, im Internet oder über WLAN übertragen, passieren die Bilder verschiedene Knoten passieren. Dort besteht die Möglichkeit von Attacken. Bei dieser Anwendung stehen Referenzbilder aus vorherigen Knoten zur Verfügung.
Weitere Anwendungsfälle sind die Bildübertragung zwischen Mobile Devices und Onlinedatenbanken oder zwischen zwei Onlinedatenbanken.
Eine Bilddatenübertragung zwischen einem Fahrzeug und einer Onlinedatenbank, zwischen zwei Prozessoren in einem Fahrzeug oder zwischen zwei Prozessoren von eingebetteten Systemen sind weitere vorteilhafte Anwendungen.
Das Erkennungsverfahren kann in sicherheitskritische Erkennungssysteme wie folgt integriert werden:
a) Die Eingangsdaten bestehen aus Bildern, welcher einer Adversarial Attack ausgesetzt sein können.
b) Neben den Eingangsbildern existieren Referenzbilder, welche nicht der Attacke ausgesetzt sind. Die Referenzbilder können Ausschnitte von einem anderen Kamerasensor sein, zeitlich versetzte Bilder, Bilder aus vorherigen oder nachfolgenden Systemkomponenten, oder Referenzbilder der Szene, z.B.
Straßenverkehrsszene, aus dem Internet.
c) Die zuvor beschriebene Attackenerkennung identifiziert die Attacke bzw. die Attackenklasse.
d) Basierend auf der Attacke oder der Attackenklasse trifft das Entscheidungssytem Entscheidungen. Diese enthalten:
D1 ) keine Detektion einer Attacke oder Detektion einer nicht-kritischen Attacke: System arbeitet im Normalmodus weiter
D2) Detektion eines anderen Problems, welches zu Pixelstörungen auf dem Bild führen können, z.B., Überbelichtung, Verdeckung, Schmutz
D3) Detektion einer kritischen Attackenklasse und somit einer Attacke: Verteidigung gegen die Attacke durch eine ausgewählte Verteidigungsstrategie basierend auf der Attacke/Attackenklasse.
Das Erkennungssystem für Attackenklassen ist notwendig, um
Verteidigungsstrategien abgestimmt auf verschiedene Attacken klassen zu entwickeln.
Die Erfindung ermöglicht„Adversarial Attacks“ auf Basis ihrer Veränderungen am Bild zu erkennen und die Attacken klasse zu bestimmen. Dies ermöglicht die Auswahl eines Verteidigungsverfahrens basierend auf der Attackenklasse und die Verwendung eines Entscheidungssystems um zu entscheiden wie mit der Attacke verfahren wird (kritische vs. unkritische Attacke).
Eine weitere Anwendung des Verfahrens ist das Erkennen von Veränderungen am Bild durch Verarbeitungsschritte in der Bildverarbeitungspipeline von
Erkennungsalgorithmen.
Beispiele für eine Integration in die kamera-basierte Sensorik eines Fahrzeuges sind:
A) Ein Transfer von Daten aufgenommen durch ein Fahrzeug zu einer Online- Datenbank: In Zukunft kann ein von einer Fahrzeugkamera erfasstes Originalbild drahtlos (Vehicle-2-X Kommunikation) an eine Online-Datenbank (z.B. Cloud) übertragen werden. Ein Cloud-Service kann eine Weiterverarbeitung (automatisierte Detektion) des übertragenen Bildes vornehmen. Hier kann eine mögliche Angriffsstelle für eine Attacke der Datentransfer, z.B. über das Internet, sein. Angreifer könnten über für Cloud Computing erforderliche Schnittstellen Zugang zu übertragenen Bilddaten erlangen, bevor die automatisierte Detektion durch den Cloud-Service.
Referenzbilder sind Bilder aus vorherigen Verarbeitungsschritten, z.B. ein vorheriger Knoten im Internet oder das im Fahrzeug vorhandene aufgenommenes Originalbild von der Kamera aus dem Fahrzeug. Der Angriff durch eine Attacke und die Attackenklasse kann identifiziert werden auf Basis eines Bildes und des
Referenzbildes. Die Überprüfung auf eine Attacke kann in einem definierten Intervall stattfinden, z.B. alle 100 Bildübertragungen.
B) Ein Multi-Kamerasystem in einem autonomen Fahrzeug:
Hier kann die Software eines oder mehrerer Kamerasensoren von einer Attacke betroffen sein. Referenzbilder können überlappende oder zeitlich versetze
Aufnahmen von der gleichen Szene von verschiedenen Kameras sein. Bei einem Verdacht auf eine Attacke, kann mit Hilfe der Attackenerkennung die
Attacken klasse bestimmt werden und ein adäquater Verteidigungsmechanismus ausgewählt werden.
Im Folgenden werden Ausführungsbeispiele und Fig. näher beschrieben. Dabei zeigen
Fig. 1 : ein Kamerasystem eines Fahrzeugs mit zwei Kamerasensoren und einer Erkennungseinheit;
Fig. 2: ein Kamerasystem und eine Datenübertragung von Bilddaten; Fig. 3: eine Veranschaulichung der Streuung der Werte einer Metrik für verschiedene Attacken und verschiedene Netzwerkarchitekturen.; und
Fig. 4: schematisch den Ablauf eines Verfahrens zur Erkennung von
Adversarial Attacks. Fig. 1 zeigt schematisch ein Kamerasystem eines Fahrzeugs mit zwei
Kamerasensoren. Ein erster Kamerasensor 1 erfasst ein erstes Bild, welches als Referenzbild dient, und stellt das erste Bild der Erkennungseinheit 10 bereit. Ein zweiter Kamerasensor 2 erfasst ein zweites Bild, welches in diesem Beispiel als das potentiell manipulierte Bild dient, und stellt das zweite Bild der Erkennungseinheit 10 bereit. Die Erkennungseinheit verarbeitet das erste und das zweite Bild und klassifiziert anhand der Unterschiede, ob eine Adversarial Attack vorliegt und falls ja, welcher Attackenklasse den Unterschieden zugeordnet werden kann.
Die Klasse der Adversarial Attack wird über eine Schnittstelle 1 1 ausgegeben. Neben unterschiedlichen tatsächlichen Adversarial Attack Klassen können auch Klassen vorgegeben sein, die keiner Adversarial Attack entsprechen.
Fig. 2 zeigt ein Kamerasystem und eine Datenübertragung von Bilddaten.
Das gezeigte Kamerasystem umfasst eine Kamera 3 mit einer integrierten
Datenschnittstelle 4, durch welche Bilddaten an eine zwischengeschaltete Einheit 5 übermittelt werden können. Optional können die Bilddaten als Originalbild direkt an die Erkennungseinheit 10 übertragen werden. Von der zwischengeschalteten Einheit 5 werden die Bilddaten weiter übertragen an eine Zieleinheit 6 und optional zusätzlich an die Erkennungseinheit 10. Von der Zieleinheit 6 werden die Bilddaten an die Erkennungseinheit 10 übertragen, damit die Bilddaten auf eine Manipulation überprüft werden können. Die Zieleinheit 6 kann beispielsweise eine
Online-Datenbank, Cloud oder ein Backbone-Server sein. Hier kann eine mögliche Angriffsstellen für eine Attacke der Datentransfer sein, welcher z.B. über das Internet erfolgt. Die zwischengelagerte Einheit 5 kann beispielsweise ein vorheriger Knoten im Internet sein, dessen Bilddaten als Referenzbild verwendet werden können. Das im Fahrzeug aufgenommene Bild kann von der integrierten
Datenschnittstelle 4 als Referenzbild direkt an die Erkennungseinheit 10 übertragen werden. Der Angriff durch eine Attacke und die Attacken klasse kann identifiziert werden auf Basis des Bildes und eines zugehörigen Referenzbildes. Die
Überprüfung auf eine Attacke kann in einem definierten Intervall stattfinden, z.B. alle 100 Bildübertragungen. Fig. 3 veranschaulicht die aus Beispielen ermittelte Streuung der Werte einer Metrik für verschiedene Attacken und verschiedene Netzwerkarchitekturen.
Eine Metrik wird berechnet auf Basis eines Bild-Paars bestehend aus einem Referenz- bzw. Originalbild und einem potentiell veränderten Bild. Hierbei kann sich die Berechnung auf das ganze Bild oder relevante Bildausschnitte beziehen.
Betrachtet man derartige Metriken alleinstehend, so entsteht häufig eine große Streuung und Überlappung verschiedener Attacken. In Fig. 3 ist die Streuung für L_inf-Norm (Lro Norm) als verwendete Metrik dargestellt. Als Netzwerkarchitekturen dienen VGG16, ResNet50 Model und Inception V3.
VGG16, ResNet50 und lnceptionV3 sind bekannte und verbreitete Architekturen von neuronalen Netzen hauptsächlich verwendet im Bereich der Bildverarbeitung und speziell für Objekterkennung und Klassifikation. Die Architekturen
unterscheiden sich dabei im Wesentlichen in der Komplexität der kombinierten Verarbeitungsschritte, sowie in den Verzweigungen innerhalb der Netzwerke. Wobei man mit einer eher oberflächlichen Beurteilung VGG16 als die am wenigsten und lnceptionV3 als die komplexeste Struktur bezeichnen kann, bezogen auf die zugrundeliegenden theoretischen Modelle.
Die in Fig. 3 evaluierten Attacken umfassen (von links nach rechts, bzw. in der Legende von oben nach unten): L-BFGS Attack, Gradient Sign Attack, Saliency Map Attack, Deep Fool Attack, ADef Attack, Gradient Attack, Iterative Gradient Attack, Iterative Gradient Sign Attack, Local Search Attack und Contrast Resolution Attack. Eine Attacke weist (für eine Architektur) gemessen mit einer Metrik eine charakteristische Streuung („Footprint“) auf.
Unter Verwendung von mehreren Metriken, also höher dimensionalen
Merkmalsdeskriptoren können Klassifikatoren trainiert werden, um die einzelnen Attacken zu differenzieren und zu erkennen. Mittels Dimensionsreduktion konnte gezeigt werden, dass diese hochdimensionalen Räume zu einer besseren
Trennung führen als zweidimensionale Räume.
Die Genauigkeit von verschiedenen Standard-Klassifikatoren bei einem Set von 12 Attacken (somit einer Ratewahrscheinlichkeit von 8,33%) sowie verschiedenen Zusammenstellungen von Metriken ist in Tabelle 1 zusammengefasst:
Figure imgf000017_0002
Tabelle
Figure imgf000017_0001
-Klassifikatoren bei einem Set von 12 Attacken
Man sieht deutlich, dass bereits mit diesen Metriken eine gute
Erkennungsgenauigkeit mit den ausgewählten Klassifikatoren erreicht werden kann. Betrachtet man die Ergebnisse detaillierter, so bilden die verschiedenen einzelnen Attacken Attacken klassen aus. Berechnet man die
Erkennungsgenauigkeit basierend auf den Klassen, werden Raten mit nahe bis zu 100% erzielt.
Fig. 4 zeigt schematisch den Ablauf eines Verfahrens zur Erkennung von
Adversarial Attacks.
Im Schritt S12 werden ein Originalbild (Referenzbildes) und ein potentiell manipuliertes Bild bereitgestellt.
Im Schritt S14 wird ein Satz von n Metriken berechnet, die auf unterschiedliche Weise Unterschiede zwischen dem Originalbild und dem potentiell manipulierten Bild quantifizieren. Hierbei ist n eine natürliche Zahl größer eins.
Im Schritt S16 wird eines n-dimensionaler Merkmalsraum basierend auf den n berechneten Metriken aufgebaut. Mit anderen Worten wird ein Merkmalsvektor gebildet, der die n berechneten Metriken umfasst.
Optional können die relevantesten Metriken selektiert werden, was eine Reduktion der Dimension n bewirkt. Die Selektion der relevantesten Metriken kann durch eine Merkmalsextrakion (Feature Extraction) oder durch manuelle Auswahl erfolgen.
In Schritt S18 wird der Merkmalsvektor klassifiziert. Der Klassifikator wurde im Vorfeld trainiert anhand von Trainingsdaten, die aus unterschiedlichen Adversarial Attack Klassen und entsprechenden Metriken bzw. Merkmalsvektoren bestehen. Vorzugsweise können mit Hilfe von Deep Learning und Representation Learning die Merkmalsextraktion („Feature Extraction“), Merkmalsreduktion („Dimensionality Reduction“) und die Klassifizierung („Classification“) zusammengefasst und in einem Schritt gemeinsam gelernt werden.
Die identifizierte Attacken klasse kann in Schritt S20 ausgegeben werden.
Eine Ausgabe kann insbesondere an ein Entscheidungssytem erfolgen, welches in einem Schritt S22 basierend auf der identifizierten Attackenklasse Entscheidungen trifft. Diese enthalten beispielsweise:
D1 ) keine Detektion einer Attacke oder Detektion einer nicht-kritischen Attacke: in diesem Fall arbeitet das System im Normalmodus weiter;
D2) Detektion eines anderen Problems, welches zu Pixelstörungen auf dem Bild führen kann, z.B., Überbelichtung, Verdeckung, Schmutz
D3) Detektion einer (kritischen) Attacken klasse und somit einer Attacke:
Verteidigung gegen die Attacke durch eine ausgewählte Verteidigungsstrategie basierend auf der Attackenklasse, d.h. Einleiten einer spezifischen
Gegenmaßnahme in einem Schritt S30.

Claims

1 . Verfahren zur Erkennung und Klassifizierung von Adversarial Attacks auf ein automatisiertes Detektionssystem umfassend die Schritte:
a) Bereitstellen eines Referenz-Bild-A/ideo-/Audiosignals und eines potentiell manipulierten Bild-A/ideo-/Audiosignals (S12),
b) Berechnung eines Satzes an n Metriken, die auf unterschiedliche Weise
Unterschiede zwischen dem Referenzsignal und dem potentiell manipulierten Signal quantifizieren, wobei n eine natürliche Zahl größer Eins ist (S14),
c) Aufbau eines n-dimensionalen Merkmalsraums basierend auf den berechneten Metriken (S16),
d) Klassifikation der Art der Adversarial Attack anhand der berechneten Metriken im n-dimensionalen Merkmalsraum (S18), und
e) Ausgabe der Klasse der Adversarial Attack (S20).
2. Verfahren nach Anspruch 1 umfassend die Schritte
f) Einleiten einer spezifischen Gegenmaßnahme gegen eine als kritisch (E1 ) erkannte Klasse von Adversarial Attacks (S30).
3. Verfahren nach Anspruch 1 oder 2, wobei das automatisierte Detektionssystem ein kamerabasiertes Sensorsystem eines Fahrzeuges umfasst, wobei die potentiell manipulierten Signale Bild- oder Videosignale sind, die mittels mindestens einer Kamera des kamerabasierten Sensorsystems aufgenommen worden sind.
4. Verfahren nach Anspruch 3, wobei das Verfahren zur Erkennung einer
Adversarial Attack während eines Signaldatentransfers vom Fahrzeug zu einer Online-Datenbank durchgeführt wird.
5. Verfahren nach Anspruch 3, wobei das Detektionssystem ein
Multi-Kamerasystem in einem Fahrzeug umfasst und wobei das potentiell manipulierte Bild- oder Videosignal und das Referenzbild- oder -Videosignal überlappende oder zeitlich versetzte Aufnahmen von der gleichen Szene von verschiedenen Einzelkameras sind.
6. Verfahren nach einem der Ansprüche 3 bis 5, wobei die Berechnung der Metriken auf dem gesamten potentiell manipulierten Bild erfolgt.
7. Verfahren nach einem der Ansprüche 3 bis 5, wobei die Berechnung der Metriken auf einem Bildausschnitt des potentiell manipulierten Bildes erfolgt.
8. Verfahren nach einem der Ansprüche 3 bis 7, wobei die Berechnung der Metriken auf einer Serie von Bildern oder aus einer Serie an Bildausschnitten erfolgt.
9. Verfahren nach einem der Ansprüche 3 bis 8, wobei die n Metriken mehrere Metriken enthalten, die ausgewählt werden aus der Gruppe von:
SSIM; L^-Norm, L2-Norm, KL-Divergenz, MSE, MAE, PSNR,
Figure imgf000020_0001
Norm, L0 Norm, Edge metrics, hash metrics und Fourier transform metrics.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei aus den n Metriken Subsets erstellt werden, um die relevantesten m Metriken zu extrahieren, wobei m eine natürliche Zahl kleiner als n ist und in Schritt d) die Klassifikation anhand der berechneten Metriken im m-dimensionalen Merkmalsraum erfolgt.
1 1 . Verfahren nach Anspruch 10, wobei die Erstellung der Subsets basierend auf Machine Learning umgesetzt wird und wobei die Metriken automatisch mithilfe von Representation Learning gelernt werden.
12. System zur Erkennung von Adversarial Attacks auf ein automatisiertes
Detektionssystem umfassend eine Eingangsschnittstelle, eine Erkennungseinheit (10) und eine Ausgabeschnittstelle (1 1 ), wobei
- die Eingangsschnittstelle dazu konfiguriert ist, ein
Referenz-Bild-A/ideo-/Audiosignal und ein potentiell manipuliertes
Bild-A/ideo-/Audiosignal zu empfangen und der Erkennungseinheit (10)
bereitzustellen;
- wobei die Erkennungseinheit (10) dazu konfiguriert ist: • einen Satz an n Metriken, die auf unterschiedliche Weise
Unterschiede zwischen dem Referenz-Bild-A/ideo-/Audiosignal und dem potentiell manipulierten Bild-A/ideo-/Audiosignals quantifizieren, zu berechnen,
· einen n-dimensionaler Merkmalsraum basierend auf den berechneten
Metriken aufzubauen und
• die Art der Adversarial Attack anhand der berechneten Metriken im n-dimensionalen Merkmalsraum zu klassifizieren, und
- die Ausgabeschnittstelle (11 ) dazu konfiguriert ist, die von der Erkennungseinheit (10) ermittelte Klasse der Adversarial Attack auszugeben.
PCT/DE2020/200018 2019-03-28 2020-03-17 Automatische erkennung und klassifizierung von adversarial attacks WO2020192849A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/593,558 US20220174089A1 (en) 2019-03-28 2020-03-17 Automatic identification and classification of adversarial attacks
JP2021545871A JP7248807B2 (ja) 2019-03-28 2020-03-17 敵対的攻撃の自動認識及び分類
DE112020001597.1T DE112020001597A5 (de) 2019-03-28 2020-03-17 Automatische Erkennung und Klassifizierung von Adversarial Attacks
CN202080016237.2A CN113474792A (zh) 2019-03-28 2020-03-17 对抗攻击的自动识别和分类

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019204318.6A DE102019204318A1 (de) 2019-03-28 2019-03-28 Automatische Erkennung und Klassifizierung von Adversarial Attacks
DE102019204318.6 2019-03-28

Publications (1)

Publication Number Publication Date
WO2020192849A1 true WO2020192849A1 (de) 2020-10-01

Family

ID=70056780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2020/200018 WO2020192849A1 (de) 2019-03-28 2020-03-17 Automatische erkennung und klassifizierung von adversarial attacks

Country Status (5)

Country Link
US (1) US20220174089A1 (de)
JP (1) JP7248807B2 (de)
CN (1) CN113474792A (de)
DE (2) DE102019204318A1 (de)
WO (1) WO2020192849A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949678A (zh) * 2021-01-14 2021-06-11 西安交通大学 深度学习模型对抗样本生成方法、系统、设备及存储介质
CN113879334A (zh) * 2021-09-30 2022-01-04 郑州师范学院 一种适用于车辆自动驾驶的机器学习对抗攻击识别系统
CN115021965A (zh) * 2022-05-06 2022-09-06 中南民族大学 一种基于生成式对抗网络的入侵检测系统的攻击数据的生成方法及系统
DE102021112169A1 (de) 2021-05-10 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Erkennen eines manipulierten Eingangssignals für einen Klassifikator eines Kraftfahrzeugs
CN115618343A (zh) * 2021-07-13 2023-01-17 洼田望 信息处理装置、信息处理方法和存储介质
CN116843921A (zh) * 2023-09-01 2023-10-03 南京棋谋智胜信息科技有限公司 基于扰动的显著性图生成算法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171090A1 (en) * 2020-02-28 2021-09-02 Darktrace, Inc. An artificial intelligence adversary red team
EP3944159A1 (de) * 2020-07-17 2022-01-26 Tata Consultancy Services Limited Verfahren und system zur abwehr von universellen angriffen auf zeitreihendaten
DE102020213058A1 (de) 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs
KR102615055B1 (ko) * 2022-08-03 2023-12-19 숭실대학교 산학협력단 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292369A (zh) * 2015-12-10 2018-07-17 英特尔公司 使用深度学习属性来进行视觉识别

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2333718B1 (de) * 2009-01-29 2013-08-28 Nec Corporation Vorrichtung zur auswahl von merkmalsmengen
WO2012045317A1 (en) * 2010-10-04 2012-04-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Detecting manipulations of digital video stream data
CN102184537B (zh) * 2011-04-22 2013-02-13 西安理工大学 基于小波变换和主成分分析的图像区域篡改检测方法
MY159122A (en) * 2012-09-12 2016-12-15 Mimos Berhad A surveillance system and a method for tampering detection and correction
JP6089830B2 (ja) * 2013-03-18 2017-03-08 富士通株式会社 映像特徴生成システム、映像特徴生成方法、映像特徴生成プログラム、映像照合システム、映像照合方法、映像照合プログラム
DE102013209940A1 (de) * 2013-05-28 2014-12-04 Conti Temic Microelectronic Gmbh Kamerasystem für Fahrzeuge
US10339362B2 (en) * 2016-12-08 2019-07-02 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN105261013B (zh) * 2015-09-25 2018-04-13 孙高磊 一种扫描图像质量综合评价方法及评价系统
JP2016157455A (ja) * 2016-03-30 2016-09-01 株式会社ユピテル ドライブレコーダおよびプログラム
JP6751684B2 (ja) * 2017-03-28 2020-09-09 株式会社Ｎｔｔドコモ 類似画像検索装置
US11361085B2 (en) * 2017-06-16 2022-06-14 Sony Semiconductor Solutions Corporation Signal processing device and signal processing method
JP2019036865A (ja) * 2017-08-17 2019-03-07 沖電気工業株式会社 通信解析装置、通信解析プログラム、及び通信解析方法
US10733294B2 (en) * 2017-09-11 2020-08-04 Intel Corporation Adversarial attack prevention and malware detection system
CN108335289A (zh) * 2018-01-18 2018-07-27 天津大学 一种全参考融合的图像客观质量评价方法
US10944767B2 (en) * 2018-02-01 2021-03-09 International Business Machines Corporation Identifying artificial artifacts in input data to detect adversarial attacks
CN108491837B (zh) * 2018-03-07 2021-12-17 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
US11132444B2 (en) * 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
KR20210134638A (ko) * 2019-03-29 2021-11-10 인텔 코포레이션 자율 차량 시스템
US11042799B2 (en) * 2019-08-20 2021-06-22 International Business Machines Corporation Cohort based adversarial attack detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292369A (zh) * 2015-12-10 2018-07-17 英特尔公司 使用深度学习属性来进行视觉识别

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
ANIRBAN CHAKRABORTY ET AL: "Adversarial Attacks and Defences: A Survey", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 28 September 2018 (2018-09-28), XP081088490 *
GOLDBERGER, J.GORDON, S.GREENSPAN, H.: "null", October 2003, IEEE, article "An efficient image similarity measure based on approximations of KL-divergence between two Gaussian mixtures", pages: 487
HORE, A.ZIOU, D.: "2010 20th International Conference on Pattern Recognition", August 2010, IEEE., article "Image quality metrics: PSNR vs. SSIM", pages: 2366 - 2369
MAHMOOD SHARIFLUJO BAUERMICHAEL K. REITER: "On the suitability of L -norms for creating and preventing adversarial examples", CORR, 2018
NAVEED AKHTAR ET AL: "Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 2 January 2018 (2018-01-02), XP081218590 *
NAVEED AKHTARAJMAL MIAN: "Threat of adversarial attacks on deep learning in computer vision: A survey", IEEE ACCESS, vol. 6, 2018, pages 14410 - 14430
RAMARATHNAM VENKATESANS-M KOONMARIUSZ H JAKUBOWSKIPIERRE MOULIN: "Proceedings. 2000 International Conference on", vol. 3, 2000, IEEE, article "Robust image hashing. In Image Processing, 2000", pages: 664 - 666
SAMEER VENKATA UDAYA ET AL: "Deep Learning Based Counter-Forensic Image Classification for Camera Model Identification", 26 July 2017, INTERNATIONAL CONFERENCE ON FINANCIAL CRYPTOGRAPHY AND DATA SECURITY; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER, BERLIN, HEIDELBERG, PAGE(S) 52 - 64, ISBN: 978-3-642-17318-9, XP047422934 *
SZEGEDY ET AL.: "Intriguing properties of neural networks", ARXIV:1312.6199V4 [CS.CV, 19 February 2014 (2014-02-19), Retrieved from the Internet <URL:https://arxiv.org/abs/1312.6199>
UYEONG JANGXI WUSOMESH JHA: "Objective metrics and gradient descent algorithms for adversarial examples in machine learning", PROCEEDINGS OF THE 33RD ANNUAL COMPUTER SECURITY APPLICATIONS CONFERENCE, 4 December 2017 (2017-12-04), pages 262 - 277
UYEONG JANGXI WUSOMESH JHA: "Objective metrics and gradient descent algorithms for adversarial examples in machine learning", PROCEEDINGS OFTHE 33RD ANNUAL COMPUTER SECURITY APPLICATIONS CONFERENCE, 4 December 2017 (2017-12-04), pages 262 - 277

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949678A (zh) * 2021-01-14 2021-06-11 西安交通大学 深度学习模型对抗样本生成方法、系统、设备及存储介质
DE102021112169A1 (de) 2021-05-10 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Erkennen eines manipulierten Eingangssignals für einen Klassifikator eines Kraftfahrzeugs
CN115618343A (zh) * 2021-07-13 2023-01-17 洼田望 信息处理装置、信息处理方法和存储介质
CN113879334A (zh) * 2021-09-30 2022-01-04 郑州师范学院 一种适用于车辆自动驾驶的机器学习对抗攻击识别系统
CN115021965A (zh) * 2022-05-06 2022-09-06 中南民族大学 一种基于生成式对抗网络的入侵检测系统的攻击数据的生成方法及系统
CN115021965B (zh) * 2022-05-06 2024-04-02 中南民族大学 一种基于生成式对抗网络的入侵检测系统的攻击数据的生成方法及系统
CN116843921A (zh) * 2023-09-01 2023-10-03 南京棋谋智胜信息科技有限公司 基于扰动的显著性图生成算法

Also Published As

Publication number Publication date
DE102019204318A1 (de) 2020-10-01
DE112020001597A5 (de) 2022-02-24
US20220174089A1 (en) 2022-06-02
JP7248807B2 (ja) 2023-03-29
JP2022519868A (ja) 2022-03-25
CN113474792A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
WO2020192849A1 (de) Automatische erkennung und klassifizierung von adversarial attacks
DE112017006136T5 (de) System und Verfahren zur CNN-Schichtenteilung
DE202017102381U1 (de) Vorrichtung zum Verbessern der Robustheit gegen &#34;Adversarial Examples&#34;
DE102018218586A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Erzeugen robuster automatisch lernender Systeme und Testen trainierter automatisch lernender Systeme
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
Aghdaie et al. Attention aware wavelet-based detection of morphed face images
DE102016113904A1 (de) Online Pro-Merkmal-Deskriptoranpassung
Sharan et al. Conceal face mask recognition using convolutional neural networks
DE112017007492T5 (de) System und Verfahren zur Erfassung von Objekten in einem digitalen Bild und System und Verfahren zur Neubewertung von Objekterfassungen
Hassan et al. People detection system using YOLOv3 algorithm
DE112021005904T5 (de) System zur gesichtsbewussten reidentifizierung von personen
DE112017007724T5 (de) System und Verfahren zur Verfolgung von Objekten in einer zeitlichen Sequenz von digitalen Bildern
DE112020005223T5 (de) Objektverfolgungseinrichtung und Objektverfolgungsverfahren
DE202022101680U1 (de) Ein automatisches System zur Erkennung von Handgesten
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE112018007277T5 (de) Vorrichtung und verfahren zur automatischen fehlerschwellenwerterkennung für bilder
WO2001086585A1 (de) Verfahren und anordnung zum ermitteln eines objekts in einem bild
DE102019127622B4 (de) Abwehrgenerator, Verfahren zur Verhinderung eines Angriffs auf eine KI-Einheit und computerlesbares-Speichermedium
DE102013224382A1 (de) Beschleunigte Objekterkennung in einem Bild
DE102021204040A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erstellung von Trainingsdaten im Fahrzeug
DE102021201833A1 (de) Vorrichtung zur Verarbeitung von mindestens einem Eingangsdatensatz unter Verwendung eines neuronalen Netzes sowie Verfahren
DE102019213059A1 (de) Verfahren und Datenverarbeitungssystem
Bresan et al. Exposing presentation attacks by a combination of multi-intrinsic image properties, convolutional networks and transfer learning
CN114760484B (zh) 直播视频识别方法、装置、计算机设备和存储介质
CN113255472B (zh) 一种基于随机嵌入稳定性的人脸质量评价方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20715269

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021545871

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112020001597

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20715269

Country of ref document: EP

Kind code of ref document: A1