WO2022234001A1 - Nachverfolgbare bildverarbeitung - Google Patents

Nachverfolgbare bildverarbeitung Download PDF

Info

Publication number
WO2022234001A1
WO2022234001A1 PCT/EP2022/062123 EP2022062123W WO2022234001A1 WO 2022234001 A1 WO2022234001 A1 WO 2022234001A1 EP 2022062123 W EP2022062123 W EP 2022062123W WO 2022234001 A1 WO2022234001 A1 WO 2022234001A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target image
images
source
processing
Prior art date
Application number
PCT/EP2022/062123
Other languages
English (en)
French (fr)
Inventor
Sebastian ADANK
Mark HEBBEL
Original Assignee
Basler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Basler Ag filed Critical Basler Ag
Publication of WO2022234001A1 publication Critical patent/WO2022234001A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD

Definitions

  • the invention relates to the digital processing of images, in particular for security-relevant applications, such as for monitoring areas to be protected or controlling vehicles.
  • a method for processing one or more source images to form at least one target image was developed.
  • This destination image is created by applying a predetermined editing function to the source image(s). By applying a predetermined hash function, each source image that contributed to the target image is hashed.
  • Any function that maps a source image to a hash value that usually contains many times less information than the source image itself can be used as a hash function.
  • Typical hash values have a length of the order of 64 bytes, while the source images can be many megabytes in size.
  • Cryptographically secure hash functions are used particularly advantageously. These hash functions are characterized by the fact that it only works with very It is possible with great effort to find a modified image for a given source image, which is mapped to the same hash value by the hash function.
  • Validation information for the origin of the target image is determined from the hash value or hash values of the source image or images and an identification of the processing function. This validation information is stored in association with the target image.
  • a given image can be checked against the validation information as to whether it was generated from one or more claimed source images and/or using one or more claimed editing functions. For example, hash values of the claimed source images can be compared with hash values in the validation information. These source images can then be processed with the claimed editing functions, for example, and it can be checked whether the result is consistent with the specified image.
  • a specified image was only generated using processing functions that only improve the quality and/or recognisability of the image, but without changing the semantic image content.
  • These editing functions include, for example, adjusting the brightness and contrast, other color corrections, eliminating blur caused by defocusing or movement, or removing noise from the image.
  • a change in the semantic image content occurs in particular if one or more objects visible in the image are removed, made unrecognizable, exchanged for other objects and/or modified in such a way that they simulate the appearance of a different object. It can also be determined, for example, that when several source images are combined to form a target image, on the one hand no intended source images were suppressed and on the other hand no additional source images were introduced. For example, when source images are transmitted over a network to be assembled into a destination image, an attempt might be made to disrupt or alter the transmission of one of the source images, and/or a source image entirely for another image exchange.
  • Storing the validation information in association with the target image can be done in any way that makes it difficult for an attacker to modify the target image in an undesired way and to align the validation information with this undesired modification.
  • the validation information can be merged with the target image. This has the advantage that the validation information is available with the target image and does not have to be obtained from an external source.
  • the validation information can be secured against manipulation in any way.
  • the validation information can be cryptographically signed using a private key of a public key cryptosystem.
  • a keyed hash function can also be used, for example, whose calculation is also based on a secret key.
  • the validation information and the target image can be mapped onto a new target image by applying a steganographic function.
  • a steganographic function encodes the validation information into the new target image in such a way that the change from the original target image is inconspicuous, at least from the point of view of a human observer. That way, a potential attacker won't even get there only informed that the target image is secured with validation information.
  • the validation information can also be stored at any desired location, for example separately from the target image, so that it is made more difficult for an attacker to manipulate both the target image and to reconcile the validation information with this manipulation.
  • the validation information can also be stored at any desired location, for example separately from the target image, so that it is made more difficult for an attacker to manipulate both the target image and to reconcile the validation information with this manipulation.
  • the validation information can also be stored at any desired location, for example separately from the target image, so that it is made more difficult for an attacker to manipulate both the target image and to reconcile the validation information with this manipulation.
  • the validation information can also be stored at any desired location, for example separately from the target image, so that it is made more difficult for an attacker to manipulate both the target image and to reconcile the validation information with this manipulation.
  • the validation information can also be stored at any desired location, for example separately from the target image, so that it is made more difficult for an attacker to manipulate both the target image and to reconcile the validation information with this manipulation.
  • the validation information can also be stored at any
  • optical storage media can be used as storage media whose physical writing process is irreversible, in which bits are written by local thermal degradation or destruction of a material in the storage medium.
  • memory modules can be used in which local increased current flow causes local thermal degradation or destruction of an electrically conductive or semiconductive connection and bits can thus be written.
  • Storing the validation information on an external server or in a cloud creates the additional hurdle for an attacker not only to have to change the target image, but also to overcome the security barriers of the external server or cloud in order to have an opportunity for change to get the validation information.
  • a blockchain has the advantage that the storage capacity is not limited from the outset by a physical medium as a finite resource. If the validation information is stored separately from the target image, it can be tied to the specific target image even more securely, for example, by storing it in association with a hash value of the target image. Especially when using an irreversibly writable storage medium or a blockchain, this is considerably cheaper than storing the complete target image in addition to the validation information.
  • This identification of the processing function can in particular, for example
  • Information that can be used to call the processing function such as an identifier for the processing function in a programming interface (Application Programming Interface, API) or an entry address at which the processing function can be reached in a program library or in the main memory, and/or
  • the identification can, for example, also contain parameters with which the processing function was called up. This offers increased security against a processing function that is desired in image processing being “misused” to undesirably change or render unrecognizable semantic information in the image.
  • the mentioned functions for adjusting brightness, contrast and other color corrections can be made to process the source image into a target image by setting extreme values of their parameters, in which virtually all image information is driven into saturation at an upper or lower edge of the available range of pixel values. In the target image, little or nothing of the semantic content of the source image can then be recognized. In an analogous manner, for example, the information that is actually of interest can also be erased from the images by using processing functions for removing noise from images.
  • a processing function that outputs a specific section of the source image as the target image could also be used by changing the coordinates of this section in order to generate a semantically different target image. For example, instead of a detail that shows a first object, a detail that shows another object or even just a background area without objects can be selected.
  • the new target image would then have been created from the same source image and processed using the same editing functions as the previous target image, but would have been substantially modified.
  • image sections is relevant, for example, in an advantageous embodiment of the method that optimally uses capacities for the further processing of target images.
  • an image of an observed area recorded by a surveillance camera is selected as the source image.
  • Several target images are generated that contain different sections of the source image. These target images are transmitted to one or more processing stations via a network and processed further by the one or more processing stations to produce processing results.
  • several processing stations can be provided in the network, which process different target images in parallel. In this way, the combined capacity of these processing stations can be used to obtain the entirety of the work results obtained from the source image as quickly as possible.
  • sections of a large source image can be distributed more efficiently in a mesh network containing cameras and/or other sensor modules and processed on these modules. The cameras or sensor modules then do not have to be able to handle the required further processing for the entire large source image.
  • the GPU memory requirement depends significantly on the image size.
  • the hardware equipment is often tightly dimensioned because on the one hand the hardware costs multiply with the number of devices used and on the other hand these devices are often supplied with energy from batteries.
  • the target images can also be transferred to a cloud, for example, where the capacity for further processing can be scaled automatically.
  • cloud services can be used to recognize objects or faces in images, which provide turnkey recognition “as a service”. When such a cloud service is presented with a large number of target images at once, that cloud service takes on the task of providing the capacity for these simultaneous requests. The same procedure can also be followed if further processing is implemented independently in a cloud.
  • the logic of the processing station can be implemented in a software container.
  • a central management instance (such as the event-driven "Lambda function" offered by Amazon AWS) can then receive the target images, distribute them to instances of the software container and, if required scale up or down the number of these instances.
  • a new worker instance of the software container can be generated for each individual target image, which only further processes this target image and is then terminated again directly. Only as much capacity is then used and paid for as is actually required.
  • it is possible to react optimally to the fact that the need for further processing of target images can vary greatly even when monitoring the same area over and over again.
  • the need for further processing depends on the number of people in the area. For example, the frequency of pedestrians in a monitored square in public space is very variable and sometimes difficult to predict. Unexpectedly nice weather and higher temperatures, for example, can suddenly attract many people at once and create a great need for further processing, which then collapses again just as suddenly when the night-time curfew comes into force. On factory premises, for example, shift changes or the final completion of a larger machine can mean that suddenly many more people are on the move than at other times.
  • the target images can each contain at least one face, so that the one or more processing stations each supply an identification of at least one face (or the associated person) as the processing result.
  • This further processing can also, for example, work hand in hand with the previous processing of a source image to form a number of target images, such that sections that contain exactly one face are always selected. Then further processing can concentrate fully on this one face and does not first have to determine how many different faces the image contains.
  • the target images are used as source images after processing by the one or more processing stations, in order to aggregate a new target image from them. If validation information is also created for this target image, the decision-making basis for determining the collected processing results, for example, can be reliably documented in the form of this target image.
  • ⁇ images recorded by different cameras carried by a vehicle are selected as source images.
  • a target image composed of these source images is generated.
  • a processing result is evaluated from the target image.
  • the processing result is processed into a drive signal.
  • the vehicle is controlled with this control signal.
  • the processing result can be determined, for example, starting from a single image that contains information from the entire vehicle environment or at least a significant part thereof.
  • the complete traffic situation that is in front of the vehicle in the direction of travel is important.
  • the processing result contains a classification of one or more objects contained in the target image and/or a semantic segmentation of the target image.
  • a target image composed of several source images.
  • difficulties in recognition and multiple recognitions that can arise if • a first part of the object can only be seen in a first source image and a second part of the same object can only be seen in a second source image; or
  • the object is located where the areas of the vehicle's surroundings captured in two source images overlap, so that it can be seen in both source images.
  • the added value of the extended method for processing source images into target images is that the integrity of these target images can be checked at a later point in time.
  • the invention therefore also provides a method for checking the integrity of a target image that was generated using the method described above.
  • the validation information stored in association with the target image is obtained. Furthermore, one or more candidate source images are acquired. These are the source images from which the target image was supposedly created.
  • the information about which individual images are involved here can be stored in any form, which does not have to be particularly tamper-proof, in association with the target image. However, it is also possible, for example, to use all candidate source images from a predefined pool, such as all source images that were recorded in a specific period of interest.
  • a hash value of each candidate source image is determined by applying a predetermined hash function. In response to the fact that all of these hash values match the corresponding hash values in the validation information, it is determined that the target image has emerged from the candidate source image or from the candidate source images. In particular, it can also be checked, for example, whether there is also a candidate source image with a matching hash value for each hash value of an image in the validation information. If this is the case, none of the source images are off which the target image was generated according to the validation information has been suppressed.
  • the processing function determined according to the identification in the validation information is also applied to the candidate source image or images, so that a test image is obtained.
  • the processing function according to FIG Identification has emerged in the validation information.
  • the wording "consistent" means that the application of the processing function cannot only be successfully verified if the test image corresponds completely bit by bit to the target image. Rather, the comparison of the test image with the target image can allow a specified tolerance of deviations and/or be based on an evaluation criterion that is particularly meaningful in relation to the semantic match of the test image with the target image. For example, a two-dimensional correlation function can be used for the comparison. In this way, the comparison becomes resistant to rounding effects and other artifacts, among other things. Such effects can occur, for example, when the target image was created in a first hardware and software environment and the test image was created in a second, different hardware and software environment.
  • the program library with the editing function may have changed slightly between the creation of the target image and the creation of the test image as part of a possible update, so that a slightly different result is obtained after a call under the same identifier or entry address becomes.
  • the methods can be fully or partially computer-implemented and thus embodied in software.
  • the invention thus also relates to a computer program with machine-readable instructions which, when executed on one or more computers, cause the computer or computers to carry out the method for creating an individual firmware.
  • containers, compute instances and other execution environments on a virtualized platform in which machine-readable instructions can be executed are also to be regarded as computers.
  • the invention also relates to a machine-readable data carrier and/or a download product with the computer program.
  • a download product is a digital product that can be transmitted over a data network, ie can be downloaded by a user of the data network, and which can be offered for sale in an online shop for immediate download, for example.
  • a computer can be equipped with the computer program, with the machine-readable data carrier or with the downloadable product.
  • FIG. 1 exemplary embodiment of the method 100 for processing one or more source images 1 to form at least one target image 3;
  • FIG. 2 Exemplary processing of a source image 1 into a plurality of target images 3a-3c and back to a new target image 3' after processing results 7, 7a-7c have been obtained;
  • Figure 3 Exemplary embodiment of the method 200 for checking the integrity of a target image 3.
  • Figure 1 is a schematic flowchart of an embodiment of the method 100 for processing one or more source images 1 to at least one target image 3.
  • step 110 the at least one target image 3 is generated by applying a predetermined processing function 2 to the source image or images 1.
  • step 120 by applying a predetermined hash function, 4 becomes a
  • Hash value 1# formed of each source image 1 that contributed to the target image 3.
  • step 130 the hash value 1#, or the hash values, of the source image(s) 1 and an identification 2a of the processing function 2
  • the identification 2a of the processing function 2 can, for example
  • step 140 the validation information 5 is stored in association with the target image 3 .
  • the validation information 5 can be merged with the target image 3.
  • the validation information 5 and the target image 3 can be mapped onto a new target image 3' by applying a steganographic function.
  • an image of an observed area recorded by a surveillance camera can be selected as source image 1, for example.
  • several target images 3, 3a-3c can then be generated, which contain different sections of the source image 1.
  • these target images 3, 3a-3c can then be transmitted via a network to one or more processing stations 6, 6a-6c, where in step 160 they are further processed into processing results 7, 7a-7c.
  • the target images 3a-3c can again be used as source images 1 in order to aggregate a new target image 3′ therefrom analogously to step 110 described above.
  • a target image 3 composed of these source images 1 can then be generated.
  • a processing result 7 can then be evaluated from this target image 3 according to block 161 .
  • This processing result 7 can then be further processed in step 180 to form a control signal 8 , and in step 190 vehicle 50 can finally be controlled with this control signal 8 .
  • FIG. 2 illustrates an exemplary processing of a source image 1.
  • Three sections, each containing a face, are selected from the source image 1 as target images 3a-3c.
  • the validation information 5 obtained according to the method 100 certifies that each target image 3a-3c resulted from the original source image 1 by being cut out.
  • this validation information 5 can optionally also specify the coordinates of the section selected from the source image 1 in each case.
  • the target images 3a-3c are each further processed in processing units 6, 6a-6c to produce processing results 7, 7a-7c, which in this example Identification of the respective face included. Subsequently, the target images 3a-3c are used as source images to form a new target image 3' by aggregation. This new target image 3' contains only the faces on the basis of which the processing results 7, 7a-7c were formed. If validation information 5 is formed again for this new target image 3', as described above, this can be used to certify that the target image 3' resulted from aggregation of the previous target images 3a-3c. Since these previous target images 3a-3c are in turn linked to the original source image 1 with validation information 5, it can ultimately be verified that the new target image 3' only emerged from the original source image 1 by cutting it out and then aggregating it .
  • FIG. 3 is a schematic flow diagram of an exemplary embodiment of the method 200 for checking the integrity of a target image 3 that was generated using the method 100 described above.
  • step 210 the validation information 5 stored in association with the target image 3 is obtained.
  • This validation information 5 contains one or more hash values 1# of source images 1 and an identification 2a of a processing function 2 with which the target image 3 was generated from one or more source images 1.
  • step 220 one or more candidate source images 1 are acquired.
  • step 230 a hash value 1* of each candidate source image 1 is determined by using a predefined hash function 4.
  • step 240 it is checked whether all hash values 1* match the corresponding hash values 1# in the validation information 5 . Is that the case (truth value 1), it is determined in step 250 that the target image 3 has emerged from the candidate source image(s) 1 .
  • step 260 the processing function 2 determined according to the identification 2a in the validation information 5 can also be applied to the or the
  • test image 9 is applied, resulting in a test image (9).
  • step 270 it can then be checked whether the test image 9 is consistent with the target image 3 . If this is the case (truth value 1), it is determined in step 280 that the target image 3 from the candidate source image 1, or from the candidate source images 1, by using the processing function 2 according to the identification 2a in the validation information 5.
  • Source image candidate source image # hash value of source image 1 * hash value of candidate source image 1
  • Processing function leads from source image 1 to target image 3, 3a-3c a Identification of processing function 2

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

Verfahren (100) zur Verarbeitung eines oder mehrerer Quell-Bilder (1) zu mindestens einem Ziel-Bild (3) mit den Schritten: ▪ das mindestens eine Ziel-Bild (3) wird durch Anwenden einer vorgegebenen Bearbeitungsfunktion (2) auf das bzw. die Quell-Bilder (1) erzeugt (110); ▪ durch Anwenden einer vorgegebenen Hashfunktion (4) wird ein Hashwert (1#) eines jeden Quell-Bildes (1) gebildet (120), das zu dem Ziel-Bild (3) beigetragen hat; ▪ aus dem Hashwert (1#), bzw. den Hashwerten, des oder der Quell-Bilder (1) sowie einer Identifikation (2a) der Bearbeitungsfunktion (2) werden Validierungsinformationen (5) für die Herkunft des Ziel-Bildes (3) ermittelt (130); ▪ die Validierungsinformationen (5) werden in Assoziation mit dem Ziel-Bild (3) hinterlegt (140). Zugehöriges Verfahren (200) zur Prüfung der Integrität eines Ziel-Bildes (3).

Description

Nachverfolgbare Bildverarbeitung
Die Erfindung betrifft die digitale Verarbeitung von Bildern insbesondere für sicherheitsrelevante Anwendungen, wie etwa für die Überwachung zu schützender Bereiche oder die Ansteuerung von Fahrzeugen.
Stand der Technik
Bei der Überwachung zu schützender Bereiche sind mit einer oder mehreren Kameras aufgenommene Bilder die wichtigste Informationsquelle und gegebenenfalls auch das wichtigste Beweismittel. In der Ära der analogen Bildaufnahmen war es vergleichsweise schwierig und zeitaufwändig, die Aufnahmen unerkannt zu verfälschen. Der Fortschritt in der digitalen Bildverarbeitung hat das für solche Fälschungen nötige Niveau an Aufwand und Fähigkeiten deutlich verringert. So ist bereits Software am Markt, die es auch Ungeübten ermöglicht, störende Objekte innerhalb weniger Sekunden aus einem Bild herauszuretuschieren.
Auch in anderen Anwendungen, wie etwa in der Wissenschaft, wird die Frage dringender, wie es sich erschweren lässt, dass zur betrügerischen Erschleichung von Meriten angebliche Erfolge mit manipulierten oder frei erfundenen Bildern „untermauert“ werden.
Aus der DE 102018 126 533 Al ist ein Beglaubigungsmodul für Sensordaten bekannt, mit dem eine nachträgliche Manipulation von Sensordaten erschwert werden kann. Aufgabe und Lösung
Es ist die Aufgabe der Erfindung, die Verarbeitung von Bildern nachvollziehbar zu machen, so dass unerlaubte Manipulationen, wie etwa das Einschleusen oder Unterdrücken von Informationen, erschwert werden.
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Verarbeitung eines oder mehrere Bilder gemäß Hauptanspruch sowie durch ein Verfahren zur Prüfung der Integrität eines Bildes gemäß Nebenanspruch. Weitere vorteilhafte Ausgestaltungen ergeben sich jeweils aus den darauf rückbezogenen Unteransprüchen.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zur Verarbeitung eines oder mehrerer Quell-Bilder zu mindestens einem Ziel-Bild entwickelt.
Dieses Ziel-Bild wird durch Anwenden einer vorgegebenen Bearbeitungsfunktion auf das bzw. die Quell-Bilder erzeugt. Durch Anwenden einer vorgegebenen Hashfunktion wird ein Hashwert eines jeden Quell-Bildes gebildet, das zu dem Ziel- Bild beigetragen hat.
Als Hashfunktion kann jede Funktion verwendet werden, die ein Quell-Bild auf einen Hashwert abbildet, der in der Regel um ein Vielfaches weniger Information enthält als das Quell-Bild selbst. Typische Hashwerte haben eine Länge der Größenordnung 64 Bytes, während die Quell-Bilder viele Megabyte groß sein können. Besonders vorteilhaft werden kryptographisch sichere Hashfunktionen verwendet. Diese Hashfunktionen zeichnen sich dadurch aus, dass es nur mit sehr hohem Aufwand möglich ist, zu einem vorgegebenen Quell-Bild ein abgewandeltes Bild zu finden, das von der Hashfunktion auf den gleichen Hashwert abgebildet wird.
Aus dem Hashwert, bzw. den Hashwerten, des oder des oder der Quell-Bilder sowie einer Identifikation der Bearbeitungsfunktion werden Validierungsinformationen für die Herkunft des Ziel-Bildes ermittelt. Diese Validierungsinformationen werden in Assoziation mit dem Ziel-Bild hinterlegt.
Auf diese Weise lässt sich ein vorgegebenes Bild anhand der Validierungsinformationen daraufhin überprüfen, ob es aus einem oder mehreren behaupteten Quell-Bildern, und/oder unter Anwendung einer oder mehrerer behaupteter Bearbeitungsfunktionen, erzeugt wurde. So können etwa Hashwerte der behaupteten Quell-Bilder mit Hashwerten in den Validierungsinformationen verglichen werden. Diese Quell-Bilder können dann etwa mit den behaupteten Bearbeitungsfunktionen verarbeitet werden, und es kann geprüft werden, ob das Ergebnis in Einklang mit dem vorgegebenen Bild ist.
Beispielsweise kann so festgestellt werden, dass ein vorgegebenes Bild nur unter Verwendung solcher Bearbeitungsfunktionen erzeugt wurde, die lediglich die Qualität und/oder Erkennbarkeit des Bildes verbessern, ohne jedoch den semantischen Bildinhalt zu verändern. Zu diesen Bearbeitungsfunktionen zählen beispielsweise eine Anpassung von Helligkeit und Kontrast, eine anderweitige Farbkorrektur, eine Beseitigung von durch Defokussierung oder Bewegung entstandener Unschärfe oder auch ein Entrauschen des Bildes. Eine Veränderung des semantischen Bildinhalts liegt hingegen insbesondere vor, wenn ein oder mehrere im Bild sichtbare Objekte entfernt, unkenntlich gemacht, gegen andere Objekte ausgetauscht und/oder so abgewandelt werden, dass sie den Anschein eines anderen Objekts vortäuschen. Es kann auch beispielsweise festgestellt werden, dass beim Zusammensetzen mehrerer Quell-Bilder zu einem Ziel-Bild einerseits keine vorgesehenen Quell-Bilder unterdrückt wurden und andererseits keine zusätzlichen Quell-Bilder eingeschleust wurden. Wenn beispielsweise Quell-Bilder über ein Netzwerk übertragen werden, um zu einem Ziel-Bild zusammengesetzt zu werden, könnte versucht werden, die Übertragung eines der Quell-Bilder zu stören oder zu verändern, und/oder ein Quell- Bild vollständig gegen ein anderes Bild auszutauschen.
Das Hinterlegen der Validierungsinformationen in Assoziation mit dem Ziel-Bild kann in jeder beliebigen Weise erfolgen, die es einem Angreifer erschwert, das Ziel- Bild in einer unerwünschten Weise zu verändern und die Validierungsinformationen mit dieser unerwünschten Veränderung in Einklang zu bringen.
Beispielsweise können die Validierungsinformationen mit dem Ziel-Bild fusioniert werden. Dies hat den Vorteil, dass die Validierungsinformationen gleich mit dem Ziel-Bild vorliegen und nicht noch aus einer externen Quelle beschafft werden müssen. Hierbei können die Validierungsinformationen in beliebiger Weise gegen Manipulation abgesichert sein. Beispielsweise können die Validierungsinformationen unter Verwendung eines privaten Schlüssels eines Public-Key-Kryptosystems kryptographisch signiert sein.
Es kann auch beispielsweise eine Keyed Hash-Funktion verwendet werden, deren Berechnung zusätzlich auf einem geheimen Schlüssel basiert. Alternativ oder auch in Kombination hierzu können beispielsweise die Validierungsinformationen und das Ziel-Bild durch Anwenden einer steganographi sehen Funktion auf ein neues Ziel- Bild abgebildet werden. Eine steganographi sehe Funktion kodiert die Validierungsinformationen so in das neue Ziel-Bild hinein, dass die Veränderung gegenüber dem ursprünglichen Ziel-Bild zumindest aus Sicht eines menschlichen Betrachters unauffällig ist. Auf diese Weise wird ein möglicher Angreifer gar nicht erst daraufhingewiesen, dass das Ziel-Bild mit Validierungsinformationen abgesichert ist.
Die Validierungsinformationen können aber auch beispielsweise getrennt vom Ziel- Bild an einer beliebigen Stelle hinterlegt werden, so dass es für einen Angreifer erschwert wird, sowohl das Ziel-Bild zu manipulieren als auch die Validierungsinformationen mit dieser Manipulation in Einklang zu bringen. Beispielsweise können die Validierungsinformationen
• auf einem Datenträger hinterlegt werden, dessen physikalischer Schreibprozess irreversibel ist; und/oder
• auf einem externen Server oder in einer Cloud hinterlegt werden; und/oder
• in einer Blockchain hinterlegt werden.
Als Speichermedien, deren physikalischer Schreibprozess irreversibel ist, können beispielsweise optische Speichermedien verwendet werden, in denen Bits durch eine lokale thermische Degradation oder Zerstörung eine Materials im Speichermedium geschrieben werden. Ebenso können beispielsweise Speicherbausteine verwendet werden, in denen durch lokalen erhöhten Stromfluss eine lokale thermische Degradation oder Zerstörung einer elektrisch leitenden oder halbleitenden Verbindung bewirkt und so Bits geschrieben werden können.
Das Hinterlegen der Validierungsinformationen auf einem externen Server oder in einer Cloud schafft für einen Angreifer die zusätzliche Hürde, nicht nur das Ziel-Bild verändern zu müssen, sondern auch die Sicherheitsbarrieren des externen Servers bzw. der Cloud überwinden zu müssen, um eine Gelegenheit zur Veränderung der Validierungsinformationen zu erhalten.
Einmal in einer Blockchain hinterlegte Validierungsinformationen sind im Nachhinein faktisch unveränderlich, da der Angreifer den Konsensmechanismus der verwendeten Blockchain mit einer Mehrheitsattacke bezwingen müsste. Im Vergleich zu irreversibel beschreibbaren Speichermedien hat eine Blockchain den Vorteil, dass die Speicherkapazität nicht von vornherein durch ein physikalisches Medium als endliche Ressource begrenzt ist. Wenn die Validierungsinformationen separat vom Ziel-Bild hinterlegt werden, können sie beispielsweise noch sicherer an das konkrete Ziel-Bild gebunden werden, indem sie in Assoziation mit einem Hashwert des Ziel-Bildes hinterlegt werden. Insbesondere bei Nutzung eines irreversibel beschreibbaren Speichermediums oder einer Blockchain ist dies erheblich preiswerter, als neben den Validierungsinformationen auch das komplette Ziel-Bild zu hinterlegen.
Diese Identifikation der Bearbeitungsfunktion kann insbesondere beispielsweise
• für den Aufruf der Bearbeitungsfunktion verwendbare Angaben, wie etwa eine Kennung der Bearbeitungsfunktion in einer Programmier Schnittstelle (Application Programming Interface, API) oder eine Einsprungadresse, unter der die Bearbeitungsfunktion in einer Programmbibliothek oder im Arbeitsspeicher erreichbar ist, und/oder
• einen Namen der Bearbeitungsfunktion, und/oder
• einen Hashwert von Programmcode der Bearbeitungsfunktion beinhalten.
Darüber hinaus kann die Identifikation beispielsweise auch Parameter beinhalten, mit denen die Bearbeitungsfunktion aufgerufen wurde. Dies bietet eine erhöhte Sicherheit dagegen, dass eine bei der Bildverarbeitung an sich erwünschte Bearbeitungsfunktion zum unerwünschten Verändern oder Unkenntlichmachen semantischer Information im Bild „missbraucht“ wird.
So können beispielsweise die erwähnten Funktionen zur Anpassung von Helligkeit, Kontrast und anderen Farbkorrekturen durch das Einstellen extremer Werte ihrer Parameter dazu veranlasst werden, das Quell-Bild zu einem Ziel-Bild zu verarbeiten, in dem praktisch die gesamte Bildinformation an einem oberen oder unteren Rand des verfügbaren Bereichs von Pixelwerten in die Sättigung gefahren wird. Im Ziel- Bild ist dann nur noch wenig bis nichts vom semantischen Gehalt des Quell-Bildes zu erkennen. In analoger Weise lässt sich beispielsweise auch unter Nutzung von Bearbeitungsfunktionen für das Entrauschen von Bildern die eigentlich interessierende Information aus den Bildern tilgen.
Auch eine Bearbeitungsfunktion, die einen bestimmten Ausschnitt des Quell-Bildes als Ziel-Bild ausgibt, könnte durch eine Änderung der Koordinaten dieses Ausschnitts verwendet werden, um ein semantisch anderes Ziel-Bild zu erzeugen. Beispielsweise kann an Stelle eines Ausschnitts, der ein erstes Objekt zeigt, ein Ausschnitt ausgewählt werden, der ein anderes Objekt oder gar nur einen Hintergrundbereich ohne Objekte zeigt. Das neue Ziel -Bild wäre dann aus dem gleichen Quell-Bild hervorgegangen und mit den gleichen Bearbeitungsfunktionen bearbeitet worden wie das vorherige Ziel -Bild, jedoch wäre es substanziell verändert.
Daher ist es vorteilhaft, die Koordinaten des ausgewählten Bildausschnitts in die Identifikation der Bearbeitungsfunktion mit einzubeziehen.
Das Auswählen von Bildausschnitten ist beispielsweise in einer vorteilhaften Ausgestaltung des Verfahrens relevant, die Kapazitäten für die Weiterverarbeitung von Ziel-Bildern optimal nutzt.
In dieser Ausgestaltung wird ein von einer Überwachungskamera aufgenommenes Bild eines beobachteten Bereiches als Quell-Bild gewählt. Es werden mehrere Ziel- Bilder erzeugt, die verschiedene Ausschnitte des Quell-Bildes beinhalten. Diese Ziel- Bilder werden über ein Netzwerk an eine oder mehrere Verarbeitungsstationen übertragen und durch die eine oder mehreren Verarbeitungsstationen jeweils zu Verarbeitungsergebnissen weiterverarbeitet. Beispielsweise können im Netzwerk mehrere Verarbeitungsstationen bereitgestellt werden, die verschiedene Ziel-Bilder parallel verarbeiten. So kann die kombinierte Kapazität dieser Verarbeitungsstationen ausgenutzt werden, um die Gesamtheit der aus dem Quell-Bild gewonnenen Arbeitsergebnisse möglichst schnell zu erhalten. Beispielsweise können Ausschnitte aus einem großen Quell-Bild effizienter in einem Mesh-Netzwerk, das Kameras und/oder andere Sensormodule enthält, verteilt und auf diesen Modulen verarbeitet werden. Die Kameras bzw. Sensormodule müssen dann nicht in der Lage sein, die geforderte Weiterverarbeitung für das gesamte große Quell-Bild bewältigen zu können. So hängt beispielsweise bei der semantischen Analyse von Bildern mit neuronalen Netzwerken und anderen Bildklassifikatoren der Bedarf an GPU-Speicher wesentlich von der Bildgröße ab. Gerade auf Sensormodulen und anderen IoT-Geräten wird die Hardwareausstattung häufig knapp dimensioniert, weil sich zum einen die Hardwarekosten mit der Anzahl der verwendeten Geräte multiplizieren und zum anderen diese Geräte häufig aus Batterien mit Energie versorgt werden.
Die Ziel-Bilder können auch beispielsweise in eine Cloud übertragen werden, wo die Kapazität für die Weiterverarbeitung automatisch skalieren kann. Beispielsweise können für die Erkennung von Objekten oder auch Gesichtern in Bildern Cloud- Dienste genutzt werden, die die Erkennung schlüsselfertig „as a Service“ liefern. Wenn einem derartigen Cloud-Dienst eine große Zahl von Ziel-Bildern auf einmal vorgelegt wird, übernimmt es dieser Cloud-Dienst, die Kapazität für diese gleichzeitigen Anfragen bereitzustellen. In gleicher Weise kann auch verfahren werden, wenn die Weiterverarbeitung eigenständig in einer Cloud implementiert wird.
Beispielsweise kann die Logik der Verarbeitungsstation in einem Software-Container implementiert sein. Eine zentrale Managementinstanz (wie etwa die bei Amazon AWS angebotene ereignisgesteuerte „Lambda-Funktion“) kann dann die Ziel -Bilder entgegennehmen, auf Instanzen der Software-Container verteilen sowie bei Bedarf die Anzahl dieser Instanzen hoch- oder herunterskalieren. Beispielsweise kann in einer virtualisierten Ausführungsumgebung für jedes einzelne Ziel -Bild eine neue Worker-Instanz des Software-Containers erzeugt werden, die nur dieses Ziel-Bild weiterverarbeitet und dann direkt wieder beendet wird. Es wird dann immer nur so viel Kapazität genutzt und bezahlt, wie tatsächlich benötigt wird. Somit kann beispielsweise optimal darauf reagiert werden, dass auch bei einer Überwachung des immer gleichen Bereichs der Bedarf an Weiterverarbeitung von Ziel-Bildern stark variieren kann. Wenn die Weiterverarbeitung beispielsweise darauf gerichtet ist, Personen in den Ziel-Bildern anhand ihrer Gesichter zu erkennen, dann hängt der Bedarf an Weiterverarbeitung von der Anzahl der Personen in dem Bereich ab. So ist beispielsweise die Passantenfrequenz auf einem überwachten Platz im öffentlichen Raum sehr stark variabel und zum Teil auch schwer vorhersehbar. Unerwartet schönes Wetter und höhere Temperaturen etwa können schlagartig viele Menschen auf einmal anlocken und einen großen Bedarf an Weiterverarbeitung hervorrufen, der dann bei Inkrafttreten der nächtlichen Ausgangssperre ebenso schlagartig wieder zusammenbricht. Auf Werksgel änden können beispielsweise Schichtwechsel oder die endgültige Fertigstellung einer größeren Maschine dafür sorgen, dass plötzlich wesentlich mehr Menschen unterwegs sind als zu anderen Zeiten. Somit können in einer besonders vorteilhaften Ausgestaltung die Ziel -Bilder jeweils mindestens ein Gesicht beinhalten, so dass die eine oder mehreren Verarbeitungsstationen jeweils eine Identifikation mindestens eines Gesichts (bzw. der zugehörigen Person) als Verarbeitungsergebnis liefern. Diese Weiterverarbeitung kann auch beispielsweise dahingehend Hand in Hand mit der vorherigen Verarbeitung eines Quell-Bildes zu mehreren Ziel-Bildern Zusammenarbeiten, dass immer Ausschnitte ausgewählt werden, die genau ein Gesicht enthalten. Dann kann sich die Weiterverarbeitung voll auf dieses eine Gesicht konzentrieren und muss nicht zunächst ermitteln, wie viele unterschiedliche Gesichter das Bild enthält. In einer weiteren vorteilhaften Ausgestaltung werden die Ziel-Bilder nach dem Verarbeiten durch die eine oder mehreren Verarbeitungsstationen als Quell-Bilder verwendet, um daraus ein neues Ziel-Bild zu aggregieren. Wenn auch für dieses Ziel- Bild Validierungsinformationen erstellt werden, kann in Form dieses Ziel-Bildes beispielsweise die Entscheidungsgrundlage für das Ermitteln der gesammelten Verarbeitungsergebnisse sicher dokumentiert werden.
In einer weiteren vorteilhaften Ausgestaltung werden mehrere von verschiedenen, von einem Fahrzeug mitgeführten, Kameras aufgenommene Bilder als Quell-Bilder gewählt. Es wird ein aus diesen Quell-Bildern zusammengesetztes Ziel-Bild erzeugt. Aus dem Ziel-Bild wird ein Verarbeitungsergebnis ausgewertet. Das Verarbeitungsergebnis wird zu einem Ansteuersignal verarbeitet. Mit diesem Ansteuersignal wird das Fahrzeug angesteuert.
Auf diese Weise kann das Verarbeitungsergebnis beispielsweise ausgehend von einem einzigen Bild ermittelt werden, das Informationen aus dem gesamten Fahrzeugumfeld oder zumindest einem wesentlichen Teil hiervon enthält. So ist beispielsweise für die weitere Planung des Verhaltens des Fahrzeugs das komplette Verkehrsgeschehen wichtig, das sich im in Fahrtrichtung vor dem Fahrzeug befindet. Hingegen ist es weniger wichtig, von welcher der verschiedenen Kameras, die diesen Bereich beobachten, welcher Teil des Verkehrsgeschehens erfasst wurde.
In einer besonders vorteilhaften Ausgestaltung beinhaltet das Verarbeitungsergebnis eine Klassifikation eines oder mehrerer im Ziel-Bild enthaltener Objekte, und/oder eine semantische Segmentierung des Ziel-Bildes. Für diese Aufgaben ist es besonders sinnvoll, mit einem aus mehreren Quell-Bildern zusammengesetzten Ziel- Bild zu arbeiten. Insbesondere fallen dann beispielsweise Schwierigkeiten bei der Erkennung sowie Mehrfacherkennungen weg, die entstehen können, wenn • ein erster Teil des Objekts nur in einem ersten Quell-Bild und ein zweiter Teil des gleichen Objekts nur in einem zweiten Quell-Bild zu sehen ist; oder
• das Objekt sich dort befindet, wo sich die in zwei Quell-Bildern erfassten Bereiche des Fahrzeugumfelds überlappen, so dass es in beiden Quell-Bildern zu sehen ist.
Wie zuvor erläutert, ist der Mehrwert des erweiterten Verfahrens für die Verarbeitung von Quell-Bildern zu Ziel-Bildern, dass die Integrität dieser Ziel-Bilder zu einem späteren Zeitpunkt geprüft werden kann. Die Erfindung stellt daher auch ein Verfahren zur Prüfung der Integrität eines Ziel -Bildes bereit, das mit dem eingangs beschriebenen Verfahren erzeugt wurde.
Im Rahmen dieses Verfahrens werden die in Assoziation mit dem Ziel-Bild hinterlegten Validierungsinformationen beschafft. Weiterhin werden ein oder mehrere Kandidaten-Quell-Bilder beschafft. Das sind diejenigen Quell-Bilder, aus denen das Ziel-Bild vorgeblich erstellt wurde. Die Information, um welche Bilder es sich hier im Einzelnen handelt, kann in beliebiger Form, die auch nicht besonders manipulationsgeschützt sein muss, in Assoziation mit dem Ziel-Bild hinterlegt sein. Es können aber auch beispielsweise alle Kandidaten-Quell-Bilder aus einem vorgegebenen Pool verwendet werden, wie etwa alle Quell-Bilder, die in einem bestimmten interessierenden Zeitraum aufgenommen wurden.
Durch Anwenden einer vorgegebenen Hashfunktion wird ein Hashwert eines jeden Kandidaten-Quell-Bildes ermittelt. In Antwort darauf, dass alle diese Hashwerte mit hierzu korrespondierenden Hashwerten in den Validierungsinformationen übereinstimmen, wird festgestellt, dass das Ziel-Bild aus dem Kandidaten-Quell- Bild, bzw. aus den Kandidaten-Quell-Bildern, hervorgegangen ist. Hierbei kann insbesondere beispielsweise auch geprüft werden, ob es zu jedem Hashwert eines Bildes in den Validierungsinformationen auch ein Kandidaten-Quell-Bild mit hierzu passendem Hashwert gibt. Wenn dies der Fall ist, ist keines der Quell-Bilder, aus denen das Ziel-Bild ausweislich der Validierungsinformationen erzeugt wurde, unterdrückt worden.
In einer besonders vorteilhaften Ausgestaltung wird zusätzlich die gemäß der Identifikation in den Validierungsinformationen ermittelte Bearbeitungsfunktion auf das oder die Kandidaten-Quell-Bilder angewendet, so dass ein Prüf-Bild erhalten wird. In Antwort darauf, dass das Prüf-Bild in Einklang mit dem Ziel-Bild ist, wird festgestellt, dass das Ziel-Bild aus dem Kandidaten-Quell-Bild, bzw. aus den Kandidaten-Quell-Bildem, durch Anwendung der Bearbeitungsfunktion gemäß der Identifikation in den Validierungsinformationen hervorgegangen ist.
Hierbei bedeutet die Formulierung „in Einklang steht“, dass die Anwendung der Bearbeitungsfunktion nicht nur bei einer vollständigen bitweisen Übereinstimmung des Prüf-Bilds mit dem Ziel-Bild erfolgreich verifiziert werden kann. Vielmehr kann der Vergleich des Prüf-Bildes mit dem Ziel -Bild eine vorgegebene Toleranz an Abweichungen zulassen und/oder auf der Grundlage eines Bewertungskriteriums erfolgen, das in Bezug auf die semantische Übereinstimmung des Prüf-Bildes mit dem Ziel-Bild besonders aussagekräftig ist. Beispielsweise kann eine zweidimensionale Korrelationsfunktion für den Vergleich verwendet werden. Auf diese Weise wird der Vergleich unter anderem resistent gegen Rundungseffekte und andere Artefakte. Derartige Effekte können beispielsweise auftreten, wenn das Ziel- Bild in einer ersten Hardware- und Software-Umgebung erstellt wurde und das Prüf- Bild in einer zweiten, hiervon verschiedenen Hardware- und Software-Umgebung erstellt wurde. Es kann sich auch beispielsweise zwischen der Erstellung des Ziel- Bilds und der Erstellung des Prüf-Bilds im Rahmen einer allfälligen Aktualisierung die Programmbibliothek mit der Bearbeitungsfunktion leicht geändert haben, so dass nach einem Aufruf unter der gleichen Kennung bzw. Einsprungadresse ein leicht verändertes Ergebnis erhalten wird. Die Verfahren können ganz oder teilweise computerimplementiert und somit in einer Software verkörpert sein. Somit bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, das Verfahren zum Erstellen einer individuellen Firmware auszuführen. In diesem Zusammenhang sind insbesondere auch Container, Compute-Instanzen und andere Ausführungsumgebungen auf einer virtualisierten Plattform, in denen maschinenlesbare Anweisungen ausgeführt werden können, als Computer anzusehen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Spezieller Beschreibungsteil
Nachfolgend wird der Gegenstand der Erfindung anhand von Figuren erläutert, ohne dass der Gegenstand der Erfindung hierdurch beschränkt wird. Es ist gezeigt:
Figur 1: Ausführungsbeispiel des Verfahrens 100 zur Verarbeitung eines oder mehrerer Quell-Bilder 1 zu mindestens einem Ziel-Bild 3;
Figur 2: Beispielhafte Verarbeitung eines Quell-Bildes 1 zu mehreren Ziel-Bildern 3a-3c und zurück zu einem neuen Ziel -Bild 3' nach Gewinnung von Verarbeitungsergebnissen 7, 7a-7c;
Figur 3: Ausführungsbeispiel des Verfahrens 200 zur Prüfung der Integrität eines Ziel-Bildes 3. Figur 1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Verarbeitung eines oder mehrerer Quell-Bilder 1 zu mindestens einem Ziel -Bild 3.
In Schritt 110 wird das mindestens eine Ziel -Bild 3 durch Anwenden einer vorgegebenen Bearbeitungsfunktion 2 auf das bzw. die Quell-Bilder 1 erzeugt. In Schritt 120 wird durch Anwenden einer vorgegebenen Hashfunktion 4 ein
Hashwert 1# eines jeden Quell-Bildes 1 gebildet, das zu dem Ziel-Bild 3 beigetragen hat.
In Schritt 130 werden aus dem Hashwert 1#, bzw. den Hashwerten, des oder der Quell-Bilder 1 sowie einer Identifikation 2a der Bearbeitungsfunktion 2
Validierungsinformationen 5 für die Herkunft des Ziel-Bildes 3 ermittelt. Die Identifikation 2a der Bearbeitungsfunktion 2 kann gemäß Block 131 insbesondere beispielsweise
• für den Aufruf der Bearbeitungsfunktion 2 verwendbare Angaben, und/oder · einen Namen der Bearbeitungsfunktion 2), und/oder
• einen Hashwert von Programmcode der Bearbeitungsfunktion 2 beinhalten.
In Schritt 140 werden die Validierungsinformationen 5 in Assoziation mit dem Ziel- Bild 3 hinterlegt. Hierbei können gemäß Block 141 die Validierungsinformationen 5 mit dem Ziel-Bild 3 fusioniert werden. Zu diesem Zweck können insbesondere beispielsweise gemäß Block 141a die Validierungsinformationen 5 und das Ziel-Bild 3 durch Anwenden einer steganographi sehen Funktion auf ein neues Ziel-Bild 3' abgebildet werden. Gemäß Block 105 kann insbesondere beispielsweise ein von einer Überwachungskamera aufgenommenes Bild eines beobachteten Bereiches als Quell- Bild 1 gewählt werden. Es können dann gemäß Block 111 mehrere Ziel-Bilder 3, 3 a- 3c erzeugt werden, die verschiedene Ausschnitte des Quell-Bildes 1 beinhalten. Diese Ziel-Bilder 3, 3a-3c können dann in Schritt 150 über ein Netzwerk an eine oder mehrere Verarbeitungsstationen 6, 6a-6c übertragen werden, wo sie in Schritt 160 jeweils zu Verarbeitungsergebnissen 7, 7a-7c weiterverarbeitet werden. Anschließend können die Ziel-Bilder 3a-3c in Schritt 170 wiederum als Quell-Bilder 1 verwendet werden, um analog zum zuvor beschriebenen Schritt 110 hieraus ein neues Ziel -Bild 3' zu aggregieren.
Gemäß Block 106 können mehrere von verschiedenen, von einem Fahrzeug 50 mitgeführten, Kameras 51-53 aufgenommene Bilder als Quell-Bilder 1 gewählt werden. Gemäß Block 112 kann dann ein aus diesen Quell-Bildern 1 zusammengesetztes Ziel -Bild 3 erzeugt werden. Aus diesem Ziel -Bild 3 kann dann gemäß Block 161 ein Verarbeitungsergebnis 7 ausgewertet werden. Dieses Verarbeitungsergebnis 7 kann dann in Schritt 180 zu einem Ansteuersignal 8 weiterverarbeitet werden, und in Schritt 190 kann schließlich das Fahrzeug 50 mit diesem Ansteuersignal 8 angesteuert werden.
Figur 2 veranschaulicht eine beispielhafte Verarbeitung eines Quell-Bildes 1. Aus dem Quell-Bild 1 werden drei Ausschnitte, die jeweils ein Gesicht enthalten, als Ziel-Bilder 3a-3c ausgewählt. Mit der gemäß dem Verfahren 100 gewonnenen Validierungsinformation 5 wird bescheinigt, dass ein jedes Ziel-Bild 3a-3c durch Ausschneiden aus dem ursprünglichen Quell-Bild 1 hervorgegangen ist. Dabei kann diese Validierungsinformation 5 optional auch noch die Koordinaten des jeweils aus dem Quell-Bild 1 ausgewählten Ausschnitts angeben.
Die Ziel-Bilder 3a-3c werden jeweils in Verarbeitungseinheiten 6, 6a-6c zu Verarbeitungsergebnissen 7, 7a-7c weiterverarbeitet, die in diesem Beispiel eine Identifikation des jeweiligen Gesichts beinhaltet. Anschließend werden die Ziel- Bilder 3a-3c als Quell-Bilder verwendet, um durch Aggregieren ein neues Ziel-Bild 3' zu bilden. Dieses neue Ziel-Bild 3' enthält nur die Gesichter, auf deren Basis die Verarbeitungsergebnisse 7, 7a-7c gebildet wurden. Wenn für dieses neue Ziel-Bild 3', wie zuvor beschrieben, wieder Validierungsinformationen 5 gebildet werden, kann hiermit bescheinigt werden, dass das Ziel -Bild 3' durch Aggregieren aus den vorherigen Ziel-Bildern 3a-3c hervorgegangen ist. Da diese vorherigen Ziel-Bilder 3a-3c wiederum mit Validierungsinformationen 5 an das ursprüngliche Quell-Bild 1 gebunden sind, ist letztendlich nachprüfbar, dass das neue Ziel-Bild 3' nur durch Ausschneiden und anschließendes Aggregieren aus dem ursprünglichen Quell-Bild 1 hervorgegangen ist.
Figur 3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zur Prüfung der Integrität eines Ziel-Bildes 3, das mit dem zuvor beschriebenen Verfahren 100 erzeugt wurde.
In Schritt 210 werden die in Assoziation mit dem Ziel-Bild 3 hinterlegten Validierungsinformationen 5 beschafft. Diese Validierungsinformationen 5 enthalten einen oder mehrere Hashwerte 1# von Quell-Bildern 1 sowie eine Identifikation 2a einer Bearbeitungsfunktion 2, mit der das Ziel-Bild 3 aus einem oder mehreren Quell-Bildern 1 erzeugt wurde.
In Schritt 220 werden eine oder mehrere Kandidaten-Quell-Bilder 1 beschafft. In Schritt 230 wird durch Anwenden einer vorgegebenen Hashfunktion 4 ein Hashwert 1* eines jeden Kandidaten-Quell-Bildes 1 ermittelt.
In Schritt 240 wird geprüft, ob alle Hashwerte 1 * mit hierzu korrespondierenden Hashwerten 1# in den Validierungsinformationen 5 übereinstimmen. Ist dies der Fall (Wahrheitswert 1), wird in Schritt 250 festgestellt, dass das Ziel-Bild 3 aus dem bzw. den Kandidaten-Quell-Bildern 1 hervorgegangen ist.
In Schritt 260 kann zusätzlich die gemäß der Identifikation 2a in den Validierungsinformationen 5 ermittelte Bearbeitungsfunktion 2 auf das oder die
Kandidaten-Quell-Bilder 1 angewendet werden, so dass ein Prüf-Bild (9) entsteht. In Schritt 270 kann dann geprüft werden, ob das Prüf-Bild 9 in Einklang mit dem Ziel- Bild 3 ist. Ist dies der Fall (Wahrheitswert 1), wird in Schritt 280 festgestellt, dass das Ziel -Bild 3 aus dem Kandidaten-Quell-Bild 1, bzw. aus den Kandidaten-Quell- Bildern 1, durch Anwendung der Bearbeitungsfunktion 2 gemäß der Identifikation 2a in den Validierungsinformationen 5 hervorgegangen ist.
Bezugszeichenliste
Quell-Bild, Kandidaten-Quell-Bild # Hashwert des Quell-Bildes 1 * Hashwert eines Kandidaten-Quell-Bildes 1
Bearbeitungsfunktion, führt von Quell-Bild 1 zu Ziel -Bild 3, 3a-3c a Identifikation der Bearbeitungsfunktion 2
Ziel-Bilder
Figure imgf000020_0001
neues Ziel-Bild
Hashfunktion
Validierungsinformationen zu Ziel-Bild 3, 3a-3c
Verarbeitungsstationen, erzeugen Verarbeitungsergebnisse 7, 7a-7c
Verarbeitungsergebnisse, erhalten aus Ziel-Bildern 3, 3a-3c
Figure imgf000020_0002
Ansteuersignal
Prüf-Bild 0 Fahrzeug
Kameras, mit Fahrzeug 50 mitgeführt Verfahren zur Verarbeitung von Quell-Bildern 1
Figure imgf000020_0003
Wahl eines Überwachungsbildes als Quell-Bild 1 06 Wahl von Quell-Bildern 1 aus mehreren Kameras 51-53 10 Erzeugen des Ziel-Bilds 3 11 Erzeugen mehrerer Ziel-Bilder 3a-3c mit unterschiedlichen Ausschnitten 12 Zusammensetzen von Quell-Bildern 1 zu Ziel-Bild 3 20 Bilden des Hashwerts 1# für jedes Quell-Bild 1 30 Ermitteln von Validierungsinformationen 5 31 Wahl bestimmter Angaben für die Identifikation 2a 40 Hinterlegen der Validierungsinformationen 5 41 Hinterlegen durch Fusionieren mit dem Ziel-Bild 3 41a Fusionieren mit steganographi scher Funktion Übertragen der Ziel -Bilder 3, 3a-3c an Stationen 6, 6a-6c
Weiterverarbeiten der Ziel-Bilder 3, 3a-3c zu Ergebnissen 7, 7a-7c
Weiterverarbeiten eines zusammengesetzten Ziel-Bildes 3
Aggregieren der Ziel -Bilder 3 zu neuem Ziel-Bild 3'
Weiterverarbeiten des Ergebnisses 7 zu Ansteuersignal 8
Ansteuem des Fahrzeugs 50 mit dem Ansteuersignal 8
Verfahren zur Prüfung der Integrität des Ziel-Bildes 3
Beschaffen der Validierungsinformationen 5
Beschaffen von Kandidaten-Quell-Bildem 1
Ermitteln eines Hashwerts 1* je Kandidaten-Quell-Bild 1
Prüfen, ob Hashwerte 1* und 1# übereinstimmen
Feststellen, dass Ziel -Bild 3 aus Kandidaten-Quell-Bildem 1 kommt
Erzeugen des Prüf-Bildes 9 mit Bearbeitungsfunktion 2
Prüfen, ob Prüf-Bild 9 in Einklang mit Ziel-Bild 3
Feststellen, dass Ziel -Bild 3 mit Bearbeitungsfunktion 2 erstellt

Claims

Ansprüche
1. Verfahren (100) zur Verarbeitung eines oder mehrerer Quell-Bilder (1) zu mindestens einem Ziel-Bild (3) mit den Schritten:
• das mindestens eine Ziel-Bild (3) wird durch Anwenden einer vorgegebenen Bearbeitungsfunktion (2) auf das bzw. die Quell-Bilder (1) erzeugt (110);
• durch Anwenden einer vorgegebenen Hashfunktion (4) wird ein Hashwert (1#) eines jeden Quell-Bildes (1) gebildet (120), das zu dem Ziel-Bild (3) beigetragen hat;
• aus dem Hashwert (1#), bzw. den Hashwerten, des oder der Quell-Bilder (1) sowie einer Identifikation (2a) der Bearbeitungsfunktion (2) werden Validierungsinformationen (5) für die Herkunft des Ziel-Bildes (3) ermittelt (130);
• die Validierungsinformationen (5) werden in Assoziation mit dem Ziel-Bild (3) hinterlegt (140).
2. Verfahren (100) nach Anspruch 1, wobei die Validierungsinformationen (5) mit dem Ziel-Bild (3) fusioniert werden (141).
3. Verfahren (100) nach Anspruch 2, wobei die Validierungsinformationen (5) und das Ziel-Bild (3) durch Anwenden einer steganographi sehen Funktion auf ein neues Ziel-Bild (3') abgebildet werden (141a).
4. Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei die
Validierungsinformationen
• auf einem Datenträger hinterlegt werden, dessen physikalischer Schreibprozess irreversibel ist; und/oder
• auf einem externen Server oder in einer Cloud hinterlegt werden; und/oder • in einer Blockchain hinterlegt werden.
5. Verfahren (100) nach Anspruch 4, wobei die Validierungsinformationen (5) in Assoziation mit einem Hashwert des Ziel-Bildes (3) hinterlegt werden.
6. Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei die Identifikation (2a) der Bearbeitungsfunktion (2)
• für den Aufruf der Bearbeitungsfunktion (2) verwendbare Angaben, und/oder
• einen Namen der Bearbeitungsfunktion (2), und/oder · einen Hashwert von Programmcode der Bearbeitungsfunktion (2) beinhaltet (131).
7. Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei
• ein von einer Überwachungskamera aufgenommenes Bild eines beobachteten Bereiches als Quell-Bild (1) gewählt wird (105),
• mehrere Ziel -Bilder (3, 3a-3c) erzeugt werden (111), die verschiedene Ausschnitte des Quell-Bildes (1) beinhalten,
• diese Ziel -Bilder (3, 3a-3c) über ein Netzwerk an eine oder mehrere Verarbeitungsstationen (6, 6a-6c) übertragen werden (150), und
• die Ziel -Bilder (3, 3a-3c) durch die eine oder mehreren Verarbeitungsstationen (6, 6a-6c) jeweils zu Verarbeitungsergebnissen (7, 7a- 7c) weiterverarbeitet werden (160).
8. Verfahren nach Anspruch 7, wobei die Ziel-Bilder (3 a-3c) jeweils mindestens ein Gesicht beinhalten und wobei die eine oder mehreren Verarbeitungsstationen (6, 6a-6c) jeweils eine Identifikation mindestens eines Gesichts als Verarbeitungsergebnis (7, 7a-7c) liefern.
9. Verfahren (100) nach einem der Ansprüche 7 bis 8, wobei die Ziel-Bilder (3a- 3c) nach dem Verarbeiten durch die eine oder mehreren Verarbeitungsstationen (6) als Quell-Bilder (1) verwendet werden (170), um hieraus ein neues Ziel-Bild (3') zu aggregieren.
10. Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei
• mehrere von verschiedenen, von einem Fahrzeug (50) mitgeführten, Kameras (51-53) aufgenommene Bilder als Quell-Bilder (1) gewählt werden (106),
• ein aus diesen Quell-Bildern (1) zusammengesetztes Ziel-Bild (3) erzeugt wird (112),
• aus dem Ziel-Bild (3) ein Verarbeitungsergebnis (7) ausgewertet wird (161),
• das Verarbeitungsergebnis (7) zu einem Ansteuersignal (8) weiterverarbeitet wird (180) und
• das Fahrzeug (50) mit diesem Ansteuersignal (8) angesteuert wird (190).
11. Verfahren (100) nach Anspruch 10, wobei das Verarbeitungsergebnis (7) eine Klassifikation eines oder mehrerer im Ziel-Bild (3) enthaltener Objekte, und/oder eine semantische Segmentierung des Ziel-Bildes (3), beinhaltet.
12. Verfahren (200) zur Prüfung der Integrität eines Ziel-Bildes (3), welches mit dem Verfahren (100) nach einem der Ansprüche 1 bis 11 erzeugt wurde, mit den Schritten:
• die in Assoziation mit dem Ziel-Bild (3) hinterlegten Validierungsinformationen (5) werden beschafft (210);
• ein oder mehrere Kandidaten-Quell-Bilder (1) werden beschafft (220);
• durch Anwenden einer vorgegebenen Hashfunktion (4) wird ein Hashwert (1*) eines jeden Kandidaten-Quell-Bildes (1) ermittelt (230);
• in Antwort darauf, dass alle Hashwerte (1 *) mit hierzu korrespondierenden Hashwerten (1#) in den Validierungsinformationen (5) übereinstimmen (240), wird festgestellt (250), dass das Ziel-Bild (3) aus dem Kandidaten- Quell-Bild (1), bzw. aus den Kandidaten-Quell-Bildern (1), hervorgegangen ist.
13. Verfahren (200) nach Anspruch 12, wobei zusätzlich
• die gemäß der Identifikation (2a) in den Validierungsinformationen (5) ermittelte Bearbeitungsfunktion (2) auf das oder die Kandidaten-Quell-Bilder (1) angewendet wird, so dass ein Prüf-Bild (9) erhalten wird (260); und
• in Antwort darauf, dass das Prüf-Bild (9) in Einklang mit dem Ziel-Bild (3) ist (270), wird festgestellt (280), dass das Ziel -Bild (3) aus dem Kandidaten-
Quell-Bild (1), bzw. aus den Kandidaten-Quell-Bildern (1), durch Anwendung der Bearbeitungsfunktion (2) gemäß der Identifikation (2a) in den Validierungsinformationen (5) hervorgegangen ist.
14. Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 13 auszuführen.
15. Maschinenlesbarer Datenträger und/oder Downloadprodukt mit dem
Computerprogramm nach Anspruch 14.
16. Ein oder mehrere Computer mit dem Computerprogramm nach Anspruch 14, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 15.
PCT/EP2022/062123 2021-05-06 2022-05-05 Nachverfolgbare bildverarbeitung WO2022234001A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021111816.6 2021-05-06
DE102021111816.6A DE102021111816A1 (de) 2021-05-06 2021-05-06 Nachverfolgbare Bildverarbeitung

Publications (1)

Publication Number Publication Date
WO2022234001A1 true WO2022234001A1 (de) 2022-11-10

Family

ID=81927429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/062123 WO2022234001A1 (de) 2021-05-06 2022-05-05 Nachverfolgbare bildverarbeitung

Country Status (2)

Country Link
DE (1) DE102021111816A1 (de)
WO (1) WO2022234001A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5898779A (en) * 1997-04-14 1999-04-27 Eastman Kodak Company Photograhic system with selected area image authentication
US20020056043A1 (en) * 1999-01-18 2002-05-09 Sensar, Inc. Method and apparatus for securely transmitting and authenticating biometric data over a network
DE102018126533A1 (de) 2018-10-24 2020-04-30 Basler Ag Beglaubigungsmodul für Sensordaten

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040146272A1 (en) 2003-01-09 2004-07-29 Kessel Kurt A. System and method for managing video evidence
US8768558B2 (en) 2007-01-05 2014-07-01 Agjunction Llc Optical tracking vehicle control system and method
US20160379330A1 (en) 2013-06-21 2016-12-29 Signs & Wonders Unlimited, Llc Method and apparatus for protecting digital photos from alteration
US9842263B2 (en) 2015-11-10 2017-12-12 Ford Global Technologies, Llc Inter-vehicle authentication using visual contextual information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5898779A (en) * 1997-04-14 1999-04-27 Eastman Kodak Company Photograhic system with selected area image authentication
US20020056043A1 (en) * 1999-01-18 2002-05-09 Sensar, Inc. Method and apparatus for securely transmitting and authenticating biometric data over a network
DE102018126533A1 (de) 2018-10-24 2020-04-30 Basler Ag Beglaubigungsmodul für Sensordaten

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOEL JANAI ET AL: "Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art", 17 December 2019 (2019-12-17), XP055657497, Retrieved from the Internet <URL:https://arxiv.org/pdf/1704.05519.pdf> [retrieved on 20200114] *
KORUS PAWEL ED - AMIN MOENESS G ET AL: "Digital image integrity - a survey of protection and verification techniques", DIGITAL SIGNAL PROCESSING, vol. 71, 1 September 2017 (2017-09-01), pages 1 - 26, XP085215594, ISSN: 1051-2004, DOI: 10.1016/J.DSP.2017.08.009 *

Also Published As

Publication number Publication date
DE102021111816A1 (de) 2022-11-10

Similar Documents

Publication Publication Date Title
DE112011104487T5 (de) Verfahren und System zur prädiktiven Modellierung
DE102017203276B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102011055458A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mittels verlässlicher lokaler Modellkalibrierung
DE102015208139A1 (de) Fahrzeuginsassenerfassung mittels des Abstands zwischen Beifahrer- und Fahrermerkmalen
DE102015202714A1 (de) Straßenparkplatz-Belegungsschätzung für Fahrzeuge per Randsteinerkennung
DE102016204698A1 (de) Verbessern des Erkennens von Steganographie am Perimeter
DE102011055459A1 (de) Adaptierungstechnik zur Erkennung einer freien Fahrbahn mit zusätzlichen Klassifikatoren
DE102007010186A1 (de) Vorrichtung, Verfahren und Computerprogramm zur bildgestützten Verfolgung von Überwachungsobjekten
DE102018127802A1 (de) Hybrider klassifikator eines gepulsten neuronalen netzwerks und einer support-vektor-maschine
DE112012005532T5 (de) Verfahren und Vorrichtung zum Verarbeiten von Daten dreidimensionaler Modelle
DE112009001207T5 (de) Kenntnisverteilung
WO2022234001A1 (de) Nachverfolgbare bildverarbeitung
DE10145608B4 (de) Modellbasierte Objektklassifikation und Zielerkennung
EP3748454A1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102020103575A1 (de) Merkmalspunktdetektionsvorrichtung und -verfahren zur Detektion von Merkmalspunkten in Bilddaten
DE102021130642B4 (de) Erdbebenerkennung und -reaktion über eine verteilte visuelle eingabe
DE102012014022A1 (de) Verfahren und Einrichtung zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tonsequenzen
DE112022001468T5 (de) Selektives unkenntlichmachen von bildern
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
EP2462557B2 (de) Verfahren zur videoanalyse
DE102019118607A1 (de) Anomaliedetektor für fahrzeugsteuersignale
DE102019207090A1 (de) Verfahren zum Bereitstellen einer Objektverfolgungsfunktion
Spalević Image processing coming from agricultural drones–it solutions, legal obstacles
DE102019219924B4 (de) Verfahren und Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting
DE102022200353A1 (de) Verfahren zum Erzeugen von Daten zum Trainieren eines auf künstlicher Intelligenz basierenden Objekterkennungsverfahrens

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22727332

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22727332

Country of ref document: EP

Kind code of ref document: A1