WO2019211497A2

WO2019211497A2 - Computer implementiertes verfahren zur bewertung der integrität von neuronalen netzen

Info

Publication number: WO2019211497A2
Application number: PCT/EP2019/072830
Authority: WO
Inventors: Bernhard Moser
Original assignee: Software Competence Center Hagenberg Gmbh
Priority date: 2018-09-10
Filing date: 2019-08-27
Publication date: 2019-11-07
Also published as: WO2019211497A3; DE102018122019A1; EP3850544A2

Abstract

Computer implementiertes Verfahren zur Bewertung von Objektbilddaten eines Objektes in einem mehrstufigen Verfahren umfassend mehrere Bewertungsebenen, wobei in einer Bewertungsebene ein Bildwert der Objektbilddaten mit einem Wertebereich verglichen wird, welcher Wertebereich durch Bereichsgrenzen definiert ist, wobei in zumindest einer Bewertungsebene zumindest ein Abstand des Bildwertes und/oder eines mit einer Wichtungsfunktion überlagerten Bildwertes zu einer Bereichsgrenze der Bereichsgrenzen ermittelt wird.

Description

Computer implementiertes Verfahren zur Bewertung der Integrität von neuronalen Netzen

Die im Folgenden beschriebene Erfindung betrifft ein Computer implementiertes Verfahren zur

Bewertung von Objektbilddaten eines Objektes in einem mehrstufigen Verfahren umfassend mehrere Bewertungsebenen,

wobei in einer Bewertungsebene ein Bildwert der Objektbilddaten mit einem Wertebereich verglichen wird,

welcher Wertebereich durch Bereichsgrenzen definiert ist.

In Ergänzung zu dem allgemeinen Fachwissen wird im Rahmen der Offenbarung des erfindungsgemäßen Verfahrens der Begriff der Integrität, insbesondere der Integrität von Daten wie folgt definiert. Integrität und im speziellen die Integrität von Daten ist dann erreicht, wenn Sachverhalte der realen Welt korrekt oder mit einer definierten maximalen Abweichung abgebildet werden. Dies kann beispielsweise durch Bedingungen einer Integrität (auch unter dem Begriff der Integritätsbedingungen bekannt) definiert werden. Weites sollen unerwünschte Modifikationen, welche Modifikationen nicht verhinderbar sind, erkannt werden und/oder die Abbildung der Sachverhalte der realen Welt stabil (sohin im Wesentlichen unverändert) bleiben.

Ein mehrstufiges Verfahren zur Bewertung von Objekten findet beispielsweise in Form von neuronalen Netzen Anwendung. Es werden hierbei in einzelnen Bewertungsebenen Bildwerte - oder allgemein Objektwerte - mit einem Wertebereich oder mit mehreren Wertebereichen verglichen.

Nach der gängigen Lehre erfolgt die Bewertung eines Objektes über Bilddaten umfassend Bildwerte. Es wird hierzu das zu bewertende Objekt mittels einem Bilddaten ausgebenden Bildsensor wie

beispielsweise einer Kamera aufgenommen.

Der Bildwert ist eine vektorielle Größe, welche vektorielle Größe zumindest eine Eigenschaft eines Bildpunktes unter Angabe der Position des Bildpunktes angibt. Die Eigenschaft eines Bildpunktes kann - nicht einschränkend - beispielsweise ein aus den Bilddaten ermittelbarer Grauwert, ein aus den Bilddaten ermittelbarer Farbcode, eine aus den Bilddaten ermittelbare Objektgröße sein.

Die Bilddaten umfassen Bildwerte, über welche Bildwerte charakteristische Eigenschaften des Objektes wie beispielsweise die Farbe des Objektes, die Größe des Objektes, Kanten des Objektes bewertet werden können. Anhand dieser ermittelten Eigenschaften ist eine Bewertung des aufgenommenen Objektes mittels neuronaler Netze durchführbar, wobei in einer Bewertungsebene ein erster Bildwert und in einer zweiten Bewertungsebene ein zweiter Bildwert bewertet wird.

Äquivalent zu den Bilddaten des Objektes ist eine Bewertung eines Objektes aufgrund von in einer Datenbank abgespeicherten Objektdaten umfassend Objektwerten möglich. Dem folgend ist das im Folgende beschriebene, erfindungsgemäße Verfahren auch auf der Grundlage von Datensätzen durchführbar. Im Rahmen der Offenbarung des erfindungsgemäßen Verfahrens wird sohin nicht zwischen Bilddaten und Objektdaten unterschieden, sofern dies nicht angegeben ist.

Ein Wertebereich kann beispielsweise durch eine mathematische Funktion in einem durch Grenzwerte definierten Bereich sein. Ein Wertebereich kann auch durch eine Menge an Werten definiert sein.

Es ist die Bewertung von Bilddaten eines Objektes zur Klassifizierung des Objektes jedoch

problematisch. Die Bilddaten eines Objektes können mit Stördaten überlagert werden, sodass eine Person das Objekt noch als ein solches Objekt wahmimmt, während ein Computer implementiertes Verfahren das Objekt als ein anderes Objekt wahmimmt.

Beispielsweise basieren Systeme zur Steuerung von Fahrzeugen auf der Objekterkennung mittels Bilddaten. Es wird die Umgebung eines Fahrzeuges mittels einer Bilddaten erstellenden Kamera aufgenommen, wobei in der Umgebung um das Fahrzeug verschiedene Objekte angeordnet sind. Der Fachmann erkennt, dass eine Alltagstauglichkeit derartiger Systeme eine richtige Klassifizierung eines Objektes bedingt.

Wie das datengetriebene Lernen aus Beispielen im Allgemeinen ist auch Deep Leaming

[GOODFELLOW, I, BENGIO, Y, COURVILLE A„ DEEP LEARNING. THE MIT PRESS, 2016] im Besonderen im Wesentlichen ein schlecht gestelltes multivariates fünktionelles Approximationsproblem. Die Stabilität von Deep Leaming kann nach der gängigen Lehre nicht garantiert werden.

Seit der Entdeckung durch Szegedy et al. [C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow, R. Fergus,“Intriguing properties of neural networks”, arXiv 1312.6199, 2014] hat das Problem der Täuschung von Deep Neuronal Network (DNN) Systemen durch manipulierte Daten (“adversarial examples”) erhöhte Aufmerksamkeit erregt. In der Literatur sind zahlreiche Beispiele solcher zu Täuschungen führenden Datenmanipulationen bekannt [A. Kurakin, I. Goodfellow, S. Bengio, “Adversarial examples in the physical world”, In International Conference on Leaming Representations Workshop, 2017, Galloway, A., Taylor, G. W, and M. Moussa,“Attacking binarized neural networks”, International Conference on Leaming Representations, 2018, Galloway, A., Taylor, G. W, and M.

Moussa,“Attacking binarized neural networks”, International Conference on Leaming Representations, 2018, X. Yuan, P. He, Q. Zhu, R. R. Bhat, X. Li,“Adversarial examples: Attacks and defenses for deep leaming”, arXiv 1712.07107, 2017, C. Xie, J. Wang, Z. Zhang, Z. Ren, A. Yuille,“Mitigating adversarial effects through randomization”, In International Conference on Leaming Representations, 2018, J.

Uesato, B. O’Donoghue, A. van den Oord, P. Kohli,“Adversarial risk and the dangers of evaluating against weak attacks”, In International Conference on Machine Leaming, 2018.]. Für einen Überblick betreffdend Abwehrstrategien und Detektion von solchen Täuschungen siehe [N. Akhtar and A. Mian, "Threat of Adversarial Attacks on Deep Leaming in Computer Vision: A Survey," in IEEE Access, vol. 6, pp. 14410-14430, 2018] und [Yuan, X.; He, R; Zhu, Q.; Bhat, R. R., X. Li,“Adversarial Examples: Attacks and Defenses for Deep Leaming”, arXiv 1712.07107, 2017] In der englischen Fachliteratur werden diese zu Täuschungen führenden Daten als„adversarial examples“ bezeichnet. Im Rahmen der Offenbarung des erfindungsgemäßen Verfahrens werden diese Daten kurz als „A-Daten“ bezeichnet.

Der Fachmann kennt im Wesentlichen zwei Manipulationsphänomene:

Die erste Art basiert auf korrekt klassifizierten Bildern bzw. Daten, die unter unmerklichen Störungen dazu führen, dass das Deep Neuronal Network- System das modifizierte Bild mit„hoher

Glaubwürdigkeit“ [C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow, R. Fergus, “Intriguing properties of neural networks”, arXiv 1312.6199, 2014] falsch klassifiziert.

Die zweite Art basiert auf der Eingabe von gezieltem manipulativem Rauschen, z.B. durch Störsignale, welche Störsignale mit dem Ziel der Manipulation der Klassifizierung des Objektes generiert werden, sodass das Deep Neuronal Network- System eine Ausgabe von "hoher Glaubwürdigkeit " zu einer jedoch falschen Entscheidung (Klassifikation) liefert. Ein derartiges Rauschen kann auch durch ein alltägliches manipulatives Signal wie manipulative Funkwellen oder durch andere manipulative Effekte erzeugt werden.

Unter dem Begriff der "hohen Glaubwürdigkeit" wird unter Verweis auf die gängige Lehre eine Zahl zwischen 0 und 1 verstanden, mittels welcher Zahl das Deep Neuronal Network- System die

Klassifikation bewertet. Diese Zahl wird gemeinhin als Wahrscheinlichkeit gedeutet.

Nach der gängigen Lehre sind grundsätzlich folgende Gegenmaßnahmen gegen die

Manipulationsphänomene bekannt.

Das„adversarial“ Trainingsverfahren beruht auf der schnellen Generierung von A-Daten [P. Frossard, S.- M. Moosavi-Dezfooli, A. Fawzi,“Deepfool: a simple and accurate method to fool deep neural networks”, In CVPR, pages 2574-2582, 2016], um diese während des Trainings als Datenaugmentation zu nutzen, um mehr Robustheit zu erlangen.

Es stellt sich jedoch heraus, dass dieses Verfahren das Problem nicht löst, da für den resultierenden Klassifikator wieder A-Daten konstruiert werden können [R. Huang, B. Xu, D. Schuurmans, and C. Szepesvari,“Leaming with a strong adversary”, In ICLR, 2016, N. Papemot, P. McDaniel, X.Wu, S. Jha, A. Swami,“Distillation as a defense to adversarial perturbations against deep neural networks”, In Security and Privacy (SP), 2016 IEEE Symposium on, pages 582-597. IEEE, 2016, A. Kurakin, I.

Goodfellow, S. Bengio,“Adversarial examples in the physical world”, In International Conference on Leaming Representations Workshop, 2017, S.M. Moosavi-Dezfooli, A. Fawzi, O. Fawzi, and P. Frossard, “Universal adversarial perturbations”, In CVPR, 2017, J. Kos, I. Fischer, and D. Song,“Adversarial examples for generative models”, In ICLR Workshop, 2017] Schlimmer noch, solche Verfahren können zu einem falschen Sicherheitsgefühl führen. Es gibt verschiedene Verfahren, um zu überprüfen, ob innerhalb einer Normumgebung (zB bzgl

Euklidischen Abstandes) eines Bildes die Ausgabe nicht verändert wird. Diese Methoden basieren entweder auf exakten formalen Verifikationsverfahren wie SMT [G. Katz, C. Barrett, D. L. Dill, K. Julian, and M. J. Kochenderfer,“Reluplex: An efficient SMT solver for verifying deep neural networks”, In International Conference on Computer Aided Verification, pages 97-117. Springer, 2017, R. Ehlers, “Formal Verification of Piece- Wise Linear Feed-Forward Neural Networks”, In Automated Technology for Verification and Analysis, International Symposium on, 2017] oder auf sogenannten Verfahren zur „Bound Propagation“ [Dvijotham, K. D., Uesato, J., R. Arandjelovi,“Training Verified Leamers with Leamed Verifiers”, arXiv 1805.10265n2, 2018, Mirman M, T. Gehr, M. Vechev,“Differentiable Abstract Interpretation for Provably Robust Neural Networks”, ICML 2018 (https://github.com/eth-sri/diffai), T. Gehr, M. Mirman, D. Drachsler-Cohen, P. Tsankov, S. Chaudhuri, and M. Vechev,“AI2: Safety and robustness certification of neural networks with abstract interpretation”. In Security and Privacy (SP), 2018 IEEE Symposium on, 2018, K. Dvijotham, R. Stanforth, S. Gowal, T. Mann, and P. Kohli,“Towards scalable verification of neural networks: A dual approach”, In Conference on Uncertainty in Artificial Intelligence, 2018, J. Z. Kolter and E.Wong,“Provable defenses against adversarial examples via the convex outer adversarial polytope”, arXiv 1711.00851, 2017] oder auf der Berechnung einer unteren Grenze („lower distance bound“) [M. Hein and M. Andriushchenko,“Formal Guarantees on the

Robustness of a Classifier against Adversarial Manipulation”, 31 st Conference on Neural Information Processing Systems, NIPS 2017]

Die SMT-basierte Verfahren [G. Katz, C. Barrett, D. L. Dill, K. Julian, and M. J. Kochenderfer, “Reluplex: An efficient SMT solver for verifying deep neural networks”, In International Conference on Computer Aided Verification, pages 97-117. Springer, 2017, R. Ehlers,“Formal Verification ofPiece- Wise Linear Feed-Forward Neural Networks”, In Automated Technology for Verification and Analysis, International Symposium on, 2017] werden für größere Deep Neuronal Network-Systeme unbrauchbar komplex. Ähnlich ist es bei dem Verfahren von [M. Hein and M. Andriushchenko,“Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation”, 31 st Conference on Neural

Information Processing Systems, NIPS 2017], das eine untere Distanzschranke für stetig differenzierbare Deep Neuronal Network-Modelle berechnet. Die untere Distanzschranke gibt dabei an, dass diese Schranke durch Störungen überschritten werden muss, um ausgehend von einem richtig klassifizierten Bild A-Daten generieren zu können. Wird diese Schranke nicht überschritten, so kann garantiert werden, dass eine etwaige Manipulation zu keiner veränderten Klassifikation durch das Deep Neuronal Network- System führt. Die Einschränkung auf stetig differenzierbare Deep Neuronal Network-Modelle setzt u.a. auch die stetig differenzierbare Aktivierungsfunktion dar. Da die gängigste Wahl für die

Aktivierungsfunktion jedoch eine sogenannte„rectified linear unit“-Funktion ist, kann dieses Verfahren nicht auf diese Klasse von Deep Neuronal Network- Systemen angewendet werden.

Die Grundidee der Bound Propagation ist die Folgende: Betrachten Sie einen n-dimensionalen Quader (Normkugel in der Maxmiumsnorm), der im Zentrum eines bestimmten Datenpunkt (Bild) angesiedelt ist. Man will nun verifizieren, dass keine A-Daten in diesem Quader liegen. Die direkte Überprüfung ist allerdings praktisch undurchführbar, das es zu einem (NP hard) NP schweren komplexen

Optimierungsproblem führt. Deshalb wird in den jeweiligen Schichten eine Approximation gewählt. Bei dem Verfahren von [Dvijotham, K. D., Uesato, J., R. Arandjelovi,“Training Verified Leamers with Leamed Verifiers”, arXiv 1805.10265n2, 2018] besteht diese Approximation wieder aus Quadern, die tatsächlich propagierten Datenwerte umschließen. Andere Autoren verwenden andere Klassen von konvexen Körpern wie etwa Zonotope [T. Gehr, M. Mirman, D. Drachsler-Cohen, P. Tsankov, S.

Chaudhuri, and M. Vechev,“A12: Safety and robustness certification of neural networks with abstract interpretation”. ln Security and Privacy (SP), 2018 1EEE Symposium on, 2018]

Eine Verifikation, dass sich innerhalb der umschließenden Bereiche keine A-Daten befinden, verifiziert dann, dass sich insbesondere im Ausgangsquader keine A-Daten befinden. Dieses Verfahren stößt allerdings bei komplexeren Daten auf Grenzen, da diese umschreibenden konvexen

Verifizierungsbereiche exponentiell wachsende Ausmaße in Abhängigkeit der Anzahl der Schichten annehmen können. Somit besteht bei komplexeren Daten die hohe Wahrscheinlichkeit, dass solche Verifizierungsbereiche sich mit Datenpunkten anderer Klassen überlagern, sodass in Folge das

Verifikationsverfahren fehlschlägt (da sich nun Daten einer anderen Klasse im Verifikationsbereich befinden). Diese Analyse wird durch Experimente unterstützt, siehe Auswertungstabellen von

[Dvijotham, K. D., Uesato, J., R. Arandjelovi,“Training Verified Leamers with Leamed Verifiers”, arXiv 1805.10265n2, 2018]

Die im Folgenden diskutierte Erfindung stellt sich die Aufgabe, zu detektieren, wann bei der Anwendung von Deep Leaming Verfahren nach dem Stand der Technik eine lnstabilität vorliegt und wann nicht.

Die Erfindung stellt sich weiters die Aufgabe, ein mehrstufiges Verfahren zur Bewertung eines Objektes anhand dessen Bildwerten oder auch Objektwerten nach dem Stand der Technik derart zu verbessern, dass das erfindungsgemäße Verfahren integer gegen Einflüsse von außen ist. Es ist hieraus die weitere Aufgabe der Erfindung ableitbar, dass das erfindungsgemäße Verfahren derart gestaltet ist, dass Einflüsse von außen auf das erfindungsgemäße Verfahren erkennbar sind.

Für Anwendungen sind vor allem nahezu unsichtbare oder schwer zu erkennende Manipulationen („adversarial examples“) tückisch, die zu lntegritätsverletzungen dieser Anwendungen führen.

Eine integre Bewertung von Bilddaten mittels Computer implementierter Verfahren unter Anwendung von neuronalen Netzen ist beispielsweise bei der Bewertung von Bilddaten bei autonomen

Fahrsteuerungen von enormer Wichtigkeit. Der Fachmann sieht die integre Bewertung von Bilddaten als einen zu dem technischen Effekt des Computerimplementierten Verfahrens weiteren technischen Effekt an. Erfindungsgemäß wird dies dadurch erreicht, dass

in zumindest einer Bewertungsebene zumindest ein Abstand des Bildwertes und/oder des mit einer Wichtungsfunktion überlagerten Bildwertes zu einer Bereichsgrenze der Bereichsgrenzen ermittelt in wird.In der folgenden Offenbarung der Erfindung wird nicht zwischen einem Bildwert und einem durch eine Wichtungsfunktion verzerrtem Bildwert unterschieden, sofern nicht dies explizit oder implizit angeführt ist. Der gängigen Lehre folgend wird beispielsweise ein Bildwert mit einer Wichtungsfunktion bei einer Bewertung mittels neuronaler Netze überlagert, wobei in einem gewissen Maße auch eine „Verzerrung“ der Bildwerte erfolgt.

Die hier offenbarte Erfindung zeichnet sich dadurch aus, dass zusätzlich zu der Ermittlung einer Schnittmenge eines Bildwertes und eines Wertebereiches der Abstand zwischen dem Bildwert und zumindest einem Grenzwert des Wertebereiches ermittelt wird. Dies kann bei ausgewählten

Bewertungsebenen oder bei sämtlichen Bewertungsebenen erfolgen.

Der ermittelte Abstand ist als ein Maß für eine integre Klassifizierung des Objektes interpretierbar, wodurch die weitere technische Wirkung der integren Klassifizierung des Objektes erreichbar ist.

Der Abstand kann ein absoluter Wert sein. Der Abstand kann auch ein Vektor sein. Der Abstand ist jedenfalls eine mathematische Größe, welche unter Anwendung der gängigen mathematischen Lehre (Differenz, Berechnung der Länge eines Vektors et cetera) berechnet werden kann.

Der Abstand kann auch eine Größe sein, welche Größe unter Berücksichtigung einer sich zwischen dem Bildwert und der relativen Bereichsgrenze erstreckenden Funktion angegeben wird. Nach der gängigen Lehre ist die Ermittlung des Abstandes als ein absoluter Wert oder als ein Vektor von den vorliegenden Eingangswerten, nämlich dem Bildwert und der Bereichsgrenze abhängig.Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass

der ermittelte Abstand mit einem Schwellenwert verglichen wird.

Der als eine absolute Größe angegebene Abstand kann mit einem als eine absolute Größe angegebenen Schwellenwert verglichen werden. Gleichsam kann der Abstand in Form einer vektoriellen Größe mit einem Schwellenwert in Form einer vektoriellen Größe verglichen werden. Weiters ist aus einer vektoriellen Größe eine Länge des Vektors als eine absolute Größe bestimmbar, welche aus der vektoriellen Größe ermittelte absolute Größe mit einem durch eine absolute Größe angegebenen Schwellenwert vergleichbar ist.

Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass der ermittelte Abstand als ein Kriterium für die Zuverlässigkeit der vorgenommenen Bewertung der Bilddaten eingeführt wird. Der ermittelte Abstand kann hierzu mit einer Gewichtungsfunktion überlagert werden. Durch den Vergleich des ermittelten Abstandes mit einem Schwellenwert ist eine zu dem technischen Effekt des computerimplementierten Verfahrens weitere technische Wirkung der Integrität erreichbar. Eine durch ein Rauschen hervorgerufene unrichtige Klassifizierung eines Objektes wird unterbunden.

Diese Abstände geben nämlich Auskunft über die Integrität der Bewertung des Bildwertes in der Bewertungsebene, sodass bei Einhaltung eines maximalen Abstandes mit einer hohen Wahrscheinlichkeit angenommen werden kann, dass Überlagerungen der Bildwerte durch weitere Bildwerte oder

Verfälschungen durch Rauschen oder absichtliche Manipulationen mit einer vorab definierbaren maximalen Abweichungsgrenze die Integrität des erfindungsgemäßen Verfahren zur Bewertung von Bildwerten nicht unterbinden.

Die Abstände können bereits beim Entwurf des Systems ermittelt und berücksichtigt werden, sodass bei Einhaltung des definierten Schwellenwertes die Integrität als gewährleistet angesehen werden kann.

Das erfindungsgemäße Verfahren zeichnet sich sohin dadurch aus, dass zusätzlich zu dem Wertebereich auch ein Integritätsbereich definiert wird, welcher Integritätsbereich Teil des Wertebereiches ist. Die Abstandsangabe kann auch lediglich die Angabe enthalten, dass der Bildwert im Integrationsbereich enthalten ist, wobei der kleinste Abstand für eine Bewertung einer Schnittmenge zwischen dem Bildwert und dem Integrationsbereich ist.

Durch den Vergleich des Bildwertes mit dem Schwellenwert wird festgestellt, ob der Bildwert innerhalb dieses Integritätsbereiches liegt. Der Vergleich des Schwellenwertes ist sohin äquivalent zu der

Ermittlung eines Schnittbereiches zwischen dem Bildwert und einem Integritätsbereich. Ein solcher Integrationsbereich ist durch einen den Wert des Schwellenwertes ausmachenden Mindestabstand von dem Grenzwert definiert.

Die Ermittlung des Abstandes erlaubt die Bestimmung des Maßes, um welches Maß der Bildwert im Integritätsbereich liegt beziehungsweise um welches Maß der Bildwert außerhalb des Integritätsbereiches liegt. Der Abstand kann neben der Angabe des absoluten, vektoriellen der einer Funktion folgenden Abstandes auch eine Richtungsangabe umfassen, über welche Richtungsangabe die Position des Bildwertes in Bezug auf den relativen Grenzwert angegeben istVorzugsweise wird das Verfahren derart durchgeführt, dass der Abstand der einzelnen Objektwerte zu jeder den Bereich definierenden

Bereichsgrenzen verglichen wird. Es wird der kleinste Abstand mit dem Schwellenwert ermittelt, wobei in Abhängigkeit eines Unterschreitens oder eines Überschreitens des Schwellenwertes durch den kleinsten Abstand die in dieser Bewertungsstufe vorgenommene Bewertung als sicher beziehungsweise als unsicher einstufbar ist.

Im weiteren Sinn wird eine im Vergleich zu den Verfahren nach dem Stand der Technik authentische und auch genauere Klassifizierung des Objektes erreicht. Diese weiteren technischen Wirkungen sind insbesondere, jedoch nicht ausschließlich durch die Einführung eines Schwellenwertes und den Vergleich des ermittelten Abstandes mit dem Schwellenwert erreichbar.

Der kleinste Abstand ist bei Vorliegen von absoluten Werten ein absoluter Wert. Bei vektoriellen Größen kann der kleinste Abstand aus der Abstand der Skalaren oder aus der Abstand der Vektoren berechnet werden. Der kleinste Abstand kann sohin bei Vorliegen von vektoriellen Größen ein absoluter Wert oder eine vektorielle Größe sein.

Der kleinste Abstand, welcher kleinste Abstand den Schwellenwert unterschreitet, kann im Rahmen des erfindungsgemäßen Verfahrens als ein Hinweis auf eine unsichere Bewertung des Ereignisses angesehen werden. Der kleinste Abstand, welcher kleinste Abstand den Schwellenwert überschreitet, kann im Rahmen dieser Erfindung als ein Hinweis auf eine sichere Bewertung angesehen werden.

Aus dem Abstand und im Speziellen aus dem Vergleich des Abstandes zu einem Sollwert kann die Notwendigkeit von Abwehrstrategien zum Erkennen von Störsignalen abgeleitet werden, wobei Überlagerungen oder Verfälschungen der Objektbilddaten durch ein Rauschen in einem durch den Sollwert definierten, akzeptablen Rahmen bleiben unbeachtet. Die gegebenenfalls einzuleitenden Abwehrstrategien sind nicht Teil des erfindungsgemäßen Verfahrens.

Die Bereichsgrenzen können durch einen Benutzer definiert werden.

Alternativ oder ergänzend hierzu können die Bereichsgrenzen auch durch selbstlernende Verfahren definiert werden.

Während eines Vorganges des Anlemens des Computer implementierten Bewertungsverfahrens wird eine Klassifikation der Bildwerte durch eine Person direkt oder indirekt vorgenommen. Eine indirekte Bewertung kann derart vorgenommen werden, dass die Person Bildwerte klassifiziert, wodurch mit den Bildwerten verbundene weitere Bildwerte ausgewählt werden. Derartige Vorgänge sind nach dem Stand der Technik bekannt.

Die Bereichsgrenzen können durch mathematische Verfahren um die direkt und/oder indirekt ausgewählten Bildwerte definiert werden.

Die obige Erläuterung betrifft die Bewertung von Bildwerten umfassenden Bilddaten in einer

Bewertungsebene. Nach dem Stand der Technik umfasst eine Bewertung beispielsweise mittels neuronaler Netze mehrere Bewertungsebenen. Es kann das oben beschriebene erfindungsgemäße Verfahren auch auf ausgewählten Bewertungsebenen oder auf allen Bewertungsebenen durchgeführt werden.

Es kann bei einer Anwendung des erfindungsgemäßen Verfahrens auf mehreren Bewertungsebenen zumindest jeweils ein Abstand pro Bewertungsebene ermittelt werden, wobei die ermittelten Abstände mit Sollwerten verglichen werden. Die Aussage, ob eine Bewertung unsicher ist, kann dann unter Betrachtung der Menge der Abstände und deren Vergleich mit den Sollwerten gemacht werden.

Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass

in n Bewertungsebenen (n=l, 2, 3,...) zumindest ein Abstand des Bildwertes und/oder des durch eine Wichtungsfunktion überlagerten Bildwertes zu einer Bereichsgrenze der Bereichsgrenzen ermittelt wird, wobei

eine Codierung umfassend die Abstandsangaben über die ermittelten Abstände der einzelnen

Bewertungsebenen erstellt wird.

Bei einer Anwendung der erfindungsgemäßen Verfahrens auf mehrere Bewertungsebenen kann aus den einzelnen Abstandsangaben eine die Abstandsangaben der einzelnen Bewertungsebenen umfassende Codierung erstellt werden.

Die Abstandsangabe in einer Bewertungsebene kann auch lediglich die Angabe enthalten, dass der Bildwert im Wertebereich und/oder im Integrationsbereich enthalten ist. Demzufolge kann eine Codierung die Angaben enthalten, ob ein Bildwert beziehungsweise ein durch eine Wichtungsfunktion verzerrter Bildwert in einem Wertebereich und/oder in einem Integrationsbereich fällt. Festzustellen ist, dass ähnliche Objektbilddaten eine ähnliche Codierung aufweisen.

Ähnliche Bildwerte, die über ähnliche Bewertungsebenen bewertet werden, weisen eine ähnliche Codierung auf. Eine ähnliche Codierung von ähnlichen Bildwerten kann sohin im Rahmen der

Durchführung des erfindungsgemäßen Verfahrens oder in einem von obigen Verfahrensschritten unabhängigen Verfahren als ein Konsistenzmaß eingehen.

Eine Codierung kann beispielsweise in Matrixform vorliegen, wobei zeilenweise eine Angabe über das Fallen eines Bildwertes in einen Wertebereich und spaltenweise eine diesbezügliche Angabe pro Bewertungsebene vorliegt.

Das erfindungsgemäße Verfahren wird durch die nachstehende Figurenbeschreibung und durch die nachstehenden Figuren ergänzend erläutert. Der Fachmann ist in der Lage, die Merkmale des obigen allgemeinen Beschreibungsteiles und die nachstehende Figurenbeschreibung zu kombinieren. Der Schutzumfang wird jedoch ausschließlich durch die Ansprüche bestimmt.

In den Figuren sind die nachstehenden Elemente durch die vorangestellten Bezugszeichen

gekennzeichnet.

1 Pandabär

2 erstes Bild

3 zweites Bild 4 Ergebnisbild

5 erster Bildwert

6 zweiter Bildwert

7 Wertebereich

8 Bereichsgrenzen

9 Bereichsgrenzen

10 Bereichsgrenzen

11 erster Abstand

12 zweiter Abstand

13 erste Teilfläche

In Figur 1 wird das dem erfindungsgemäßen Verfahren zu Grunde liegende Problem gezeigt.

Figur 2 veranschaulicht den Effekt des erfindungsgemäßen Verfahrens nach dem Prinzip der

Mengenlehre.

Figur 1 veranschaulicht das der hier diskutierten Erfindung zu Grunde liegende Problem. Das in der Figur 1 enthaltene Bild wurde aus dem Dokument Xiaoyong Yuan et al: Adversial Examples: Attacks and Defenses for Deep Leaming, (arXiv 1712.07107, https://arxiv.org/abs/l7l2.07l07) entnommen. Figur 1 zeigt links das Bild eines Pandabären 1 (erstes Bild 2). Nach dem Stand der Technik erkennt ein

Computer implementiertes Verfahren zur Bewertung von Bilddaten anhand von Bildwerten mit einer in Figur 1 angegebenen Wahrscheinlichkeit in der Höhe von 57,7% („confidence“), dass in dem linken Bild ein Pandabär 1 („panda“) dargestellt ist.

Figur 1 veranschaulicht, dass das erste Bild 2 mit einem Störsignal (zweites Bild 3) überlagert wird. Die Überlagerung hat weiters einen Gewichtungsfaktor in der Höhe von 0,007.

Figur 1 umfasst weiters das Ergebnisbild 4 der Überlagerung des ersten Bildes 2 und des zweiten Bildes 3. Es ist für das menschliche Auge im Ergebnisbild 4 weiterhin ein Pandabär 1 ersichtlich. Der im Ergebnisbild 4 für das menschliche Auge wahrnehmbare Pandabär 1 entspricht dem im ersten Bild 2 für das menschliche Auge wahrnehmbaren Pandabären 1.

Es ist jedoch für das Computer implementierte Verfahren im Ergebnisbild 4 ein Gibbon enthalten. Das bei der zur Bewertung des lnhaltes des Ergebnisbildes 4 eingesetzte Verfahren bewertet die Bilddaten des Ergebnisbildes mit einer angegebenen Wahrscheinlichkeit von 99,3% („confidence“) als ein Gibbon.

Es wird explizit daraufhingewiesen, dass die angegebene Wahrscheinlichkeit der Bewertung des ersten Bildes 2 niedriger ist als die angegebene Wahrscheinlichkeit der Bewertung des Ergebnisbildes 4. Durch das Störsignal (zweites Bild 3) kann sohin die Bewertung der Bilddaten und die angegebene

Wahrscheinlichkeit der Bewertung beeinflusst werden. Figur 2 veranschaulicht den Effekt des erfindungsgemäßen Verfahrens nach dem Prinzip der

Mengenlehre. Aus Bildwerten umfassenden Bilddaten wird ein erster Bildwert 5 und ein zweiter Bildwert 6 ausgelesen. Beide Bildwerte 5, 6 sind innerhalb eines Wertebereiches 7. Der Wertebereich 7 ist durch Bereichsgrenzen 8, 9, 10 begrenzt.

Ein Abgleich des ersten Bildwertes 5 mit dem Wertebereich 7 nach dem Stand der Technik liefert das Ergebnis, dass der erste Bildwert 5 im Wertbereich 7 ist. Es können hierbei der erste Bildwert 7 und gleichsam die Bereichsgrenzen 8, 9, 10 als absolute Größen oder als vektorielle Größen vorliegen.

Gleichsam liefert ein Abgleich des zweiten Bildwertes 6 mit dem Wertbereich 7 nach dem Stand der Technik die Erkenntnis, dass der zweite Bildwert im Wertebereich 7 ist.

Der erste Bildwert 5 und der zweite Bildwert 6 können - unter Verweis auf die Figur 1 - ein Farbwert des Pandabären sein.

Ergänzend zu dem oben angeführten Abgleich des ersten Bildwertes 5 mit dem Wertebereich 7 und des zweiten Bildwertes 6 mit dem Wertebereich 7 wird bei dem erfindungsgemäßen Verfahren der Abstand der Bildwerte 5, 6 zu den Bereichsgrenzen 8, 9, 10 ermittelt. In Figur 3 ist beispielhaft der Abstand 11 als der kleinste Abstand zwischen dem zweiten Bildwert 6 und den Bereichsgrenzen 8, 9, 10 eingetragen.

Aus Gründen der Übersichtlichkeit sind die anderen Abstände des ersten Bildwertes 5 und des zweiten Bildwertes zu den Bereichsgrenzen 8, 9, 10 nicht angegeben. Der Fachmann erkennt jedoch eindeutig und klar, dass der erste Bildwert 5 von den Bereichsgrenzen 8, 9, 10 weiter entfernt ist als der zweite Bildwert 6.

Es wird der Abstand 11 mit einem Schwellenwert verglichen. Es wird über das Einführen eines

Schwellenwertes und des Abgleiches des ermittelten Abstand 11 ein Mindestabstand zwischen dem Bildwert, hier dem zweiten Bildwert 6 und den Bereichsgrenzen, hier der Bereichsgrenze 10 definiert. Ist der Abstand 11 kleiner als der Schwellenwert, so wird das Ergebnis als unsicher angesehen, da der zweite Bildwert 6 zu knapp an der Bereichsgrenze 10 ist.

Figur 2 veranschaulicht auch die Grundlage des erfindungsgemäßen Verfahrens zur Berechnung der eines Abstandes eines Bildwertes oder eines gewichteten Abstandes eines Bildwertes zu einer Grenzfunktion.

Gegeben seien die Trainingsdaten (xi , Vi)i=i,... ,N als Paare von Inputdaten mit einer Zuordnung zu einer Kategorie (label); das Lemproblem besteht darin, eine parametrisierte Input-Output Funktion,

F_$ = £ o TQ : Mⁿ— [0, 1]^M, zu spezifzieren, um zu einem gegebenen Bild (Datenpunkt) x die entsprechende Kategorie (label) y = C{Fe{x)) vorherzusagen; diese Spezifikation erfolgt gemäß dem Stand der Technik durch die Minimierung eines Risikomodells £ (loss function) für Fehlklassifikationen. Lernen bedeutet dabei, passende Parameter Q zu finden, die diese Optimierungsaufgabe hinreichend gut lösen. Wir nehmen nach Stand der Technik an, dass sich die Inputdaten vektoriell in einem n-dimensionalen Zahlenraum darstellen lassen, also Xi 6 R"; beispielsweise ein Bild mit einem fixen Format; weiters wird angenommen, dass sich die Kategorien y £ {1, . . . , M} als eine diskrete Zahlenmenge darstellen läßt.

Tiefe Modelle (DNN) spezifizieren die parametrisierte Input-Output-Funktion als mehrschichtigen Aufbau (Layers) von Berechnungen [GBC16]

Für die Architektur eines Multilayer Perceptrons MLP resultiert die Funktion T_Q : Rⁿ— R^n1, aus der iterativen Anwendung von Kompositionsoperationen von affinen Voraktivierungsfunktionen (pre- activation oder net-input function) f_k{z_k-i) = W_kZk-i + b_k und einer anschließenden

komponentenweisen Anwendung einer nicht- linearen Aktivierungsfunktion g : R— R.

Die Iteration erfolgt gemäß

• 2p = £ G M" (Input Bild)

• Z_k— g ° f_k(z_k-i) G M^nfc als Output in der k-ten Schicht, wobei W_k€ R^{nfc X nfc}-¹ die Gewichtsmatrix und b_k £

den Bias Vektor in der k-ten Schicht bezeichnet. Das Gewicht zusammen mit den Bias Vektoren werden durch en Parametervektor Q

zusammengefasst.

In der obersten Schicht spezifiziert die Risiko funktion (loss function) £ : M.^nL— > [0, 1]^M wie die Trainingsdaten die Abweichung zwischen den wahren Kategorien und den vorhergesagten Kategorien bestrafen.

Jeweils verschiedene Risikofunktionen werden für unterschiedliche Aufgaben verwendet [ZGF+16, GBC16, VBG+17] Ein Beispiel wird die Softmax Funktion für die Vorhersage einer einzelnen Kategorie aus M sich jeweils gegenseitig ausschließenenden Kategorien verwendet, somit liefert Softmax einen einzelnen Wert. Die Sigmoid Cross Entropy Funktion wird verwendet, um die Wahrscheinlichkeiten der Zugehörigkeit zu jeweils M Kategorien zu bestimmen, somit liefert Cross Entropy Funktion eine Wahrscheinlichkeitsverteilung.

Wie fast alle anderen neuronalen Netze werden sie mit einer Version des Back-Propagationsalgorithmus gelernt [GBC16]

Die Wahl der Aktivierungsfunktion ist eine wichtige Designfrage, die die Gesamt-Performance wesentlich beeinflusst. Die wichtigste Aktivierungsfunktion ist die rektifizierte lineare Funktion (rectified linear unit) (ReLU): g(a ) := max{0, a}. Eine unserer Ausgangsideen ist die Berücksichtigung von Äquivalenzklassen, die im n- dimensionalen Vektorraum X der Eingangsdaten (Bilder) durch die Identifizierung von Punkten mit dem gleichen Aktivierungsprofil bei der Ausbreitung über das Netzwerk induziert werden.

Für ReLU beispielsweise können wir die folgenden Aktivierungszustände definieren:

5 * 0, wenn die Aktivierungsfunktion 0 liefert;

• 1, wenn die Aktivierungsfunktion einen positiven Wert liefert.

Wir numerieren nun die Neuronen (Zeilen in den jeweiligen Gewichtsmatrizen) schichtweise. Auf diese Weise erhalten wir eine Sequenz von Aktivierungszuständen c(x) = (s_k,ki ) k= l , ... ,L,ki = l, ... ,k_n

10 wobei V^,·./^,.·, den Aktivierungszustand des Ä-cn Neurons in der fc-ten Schicht und L die Gesamtanzahl der Schichten bezeichnet

Auf diese Weise erhalten wir folgende Äquivalenzrelation

Gleichung 1

-*- wobei di? eine beliebige Distanzfunktion im Raum der Sequenzen der Aktivierungszustände bezeichnet, beispielsweise die Hammingdistanz.

Xi ~ X2 ist eine Äquivalenzrelation, da aus dp(c(x i), c(x₂ )) = 0 _und d_F{c(x2), c(x3)) = 0 mittels der Dreiecksungleichung der Distanzfunktion d^ folgt: C?F (C(XI ) , 0(^3)) = 0 Somit folgt aus ^ci ~ ^x2 und c2 ~ X3 die Beziehung ^ci ~ ^x3. Wir bezeichnen mit [*] die Äquivalenzklasse mit Repräsentanten 20 x G M”. Die Dimension n ist bei Verfahren nach der gängigen Lehre sehr groß; etwa n=10000 bei Bildern mit 100x100 Pixel-Bildern. Aufgrund der hohen Dimensionalität ergeben sich Effekte (concentration of measure), die„Schwachstellen“ bzgl. der Daten Integrität verursachen können. Das erfindungsgemäße Verfahren stellt trotz hoher Dimensionalität die Daten-Integrität für ein vordefiniertes Ausmaß an Manipulation sicher. Die Idee dazu wird im Folgenden im Detail ausgeführt.

25 Die Idee und Erfindung ist nun, diese Äquivalenzklassen in der folgenden Weise zu bestimmen:

Zunächst definieren wir den binären Aktivierungsstatus (ZQ = x E Rⁿ, ^zk = g o fk(zk-i) K ^fc) 1 . . . unit ki on for z_k- 1

0 . . . unit ki off for z_k— 1 (*0 ·= 2 ?^) _ i c 1— 1 U

und den polaren Aktivierungsstatus fc» t ’ > .

Damit definieren wir die folgenden Diagonalmatrizen

Qi^k) := Diag[7r$^fc) , . . . , 7r^^}] und Q := Diag[/3^^fe) , . . . , ß^ \

Es lässt sich nun zeigen, dass N durch das folgende System von linearen Ungleichungen bestimmt ist

Die oben angeführte Gleichung 2 demonstriert die geometrische Charakterisierung der Zellen über alle Schichten, also ^ = 1, . . . , L

Führt man diese Schritte nur bis zu einer Zwischenschicht ^ € {1, . . . , L} _{aus^ so} erhält man eine gröbere Zerlegung in Zellen. Auf diese Weise kann eine grob-fein (coarse-to-fine) Analyse vorgenommen werden. Diese Ungleichungen erlauben es nun, die minimale Distanz do eines Input-Bildes x zur nächstgelegenen Zelle \^x'\ mit abweichender Klassifikation,

zu bestimmen do gibt Aufschluss über die Integrität des Inputbildes geben.

Der erfindungsgemäße Ansatz beruht nicht auf der Bound Propagation von approximierenden umschreibenden konvexen Körpern, sondern auf der Berechnung einer unteren Distanzschranke do. Diese Ungleichungen können nun dazu verwendet werden, um bestimmte Distanzen zu berechnen, die Aufschluss über die Integrität eines Inputbildes geben. Hierzu werden die ermittelten Distanzen gleich den im Anspruch erwähnten Abstand mit den jeweiligen Grenzwerten verglichen.

Inkonsistenzmaß : Sollten beim Trainieren äquivalente Punkte jedoch tatsächlich zu unterschiedlichen Kategorien gehören, so gibt dieser Anteil ^ ^e [0> 1] der inkonsistenten Klassifikationen eine Maßzahl k = 1— d für die Konsistenz und somit Zuverlässigkeit des Klassifikators an; eine solche Maßzahl für die Konsistenz bzw. lnkonsistenz kann auch mittels Maßen der lnformationstheorie modelliert werden, etwa als bedingte Entropie von bei gegebenem code ^c°de{x) bzw. dessen zu erwartender Wert auf Basis einer Sampling Verteilung für die Auswahl der Test-lnputbilder x. Das lnkonsistenzmaß liefert jedenfalls den Wert 0, wenn alle Punkte in einer Zelle zur gleichen Klasse gehören.

Untere Distanzschranke für ReLU Netzwerke als Maß für die Robustheit gegenüber adversiellen Attacken:

Wir ermitteln eine untere Distanzschranke wie folgt. Die Idee dazu besteht darin, zu einem Inputbild x £ Mⁿ eine Schranke P ^:=

zu bestimmen derart, dass garantiert werden kann, dass für alle Bilder x £ ⁿ mit geringeren Abweichung zu x £ Rⁿ als P ^:=

das DNN System die gleiche Entscheidung liefert, das heisst

Vz £ B_p[x) => F_e(x) = F_e(x)

Gleichung 3

wobei B_p(x) = {x \ d(x, x) < p] die Norm-Kugel um x mit Radius p > 0 und Distanzfunktion d darstellt. Wir verwenden hier die Euklidische Distanz: d(x, x) = / _=i {xi— Xi)²·

Das Verfahren zur Bestimmung der unteren Distanzschranke p = ffe für das lnputbild x lautet nun

(1) Festlegen einer Sicherheitsschwelle ^£o;

(2) Berechnen der binären und polaren Aktivierungszustände für x; w_{(k) > (f}c)

(3) Berechnen der Matrizen ^wx und Bias Vektoren °x gemäß Gleichung (2) und den binären und polaren Aktivierungszuständen;

(4) Berechnen die minimale Distanz do(x) = d(x, d[x\) von x zum Rand

seiner

Äquivalenzklasse [^lbzgl. der Euklidischen Distanz;

Diese Berechnung erfolgt nach Stand der Technik durch Berechnung der Punkt-zu-Hyperebene Abstände zwischen x und jenen Hyperebenen, die sich durch die jeweiligen Reihen in der Gewichtsmatrix in Gleichung (3) als Normalvektoren gegeben sind;

(5) Als Ergebnis erhält man eine Liste von Distanzen mit den jeweiligen Hyperebeneben, die durch die Normalvektoren samt Versatz (korrespondierende Komponente des Biasvektors) gegeben sind; (6) Berechnen der minimalen Distanz aus dieser Liste: ^o(*);

(7) Wenn do{^x)— ^eo, dann stoppt das Verfahren und es wurde eine untere Distanzschranke, nämlich x) gefunden;

(8) wenn (^c) ^eo nicht erfüllt ist, so wird die Analyse wie folgt verfeinert:

• Bestimme den Basispunkt V der nächstgelegenen Hyperebene (mit normierten Normalvektor w) zu ί; (P ist die Projektion von x auf jene Seitenfläche von [*], die x am nächsten gelegen ist);

• Eruiere ^ q(r + £w) für ^e < ^eo.

• Wenn

dann stoppt das Verfahren und es kann keine minimale unter Distanzschranke gefunden werden; damit ist bewiesen, dass aus x mittels Überlagerung eines Störungsbildes D ein Bild ^x = ^c + D £ B_eo (x) generiert werden kann, dass zu einer anderen Klassifikation führt, also (^x) F$(^x ). ist somit ein Kandidat für eine adversielle Attacke;

• Wenn ^q(r + ^£UJ)— Ee(^x)_^ dann kann das Verfahren wie folgt verfeinert werden:

_° streichen jenes Neurons mit der Gewichtsreihe w aus der Liste (bzw auf Null setzen) und das Verfahren (2)-(7) erneut anwenden;

Lässt sich auf diese Weise eine untere Schranke finden, so ist x bzgl. Vorgabe ^£o nicht gefährdet (mit Wahrscheinlichkeit K). Lässt sich keine untere Schranke auf diese Weise finden, so kann definitiv eine adversielle Attacke, nämlich ^q(r + ^£W) konstruiert werden. lm Gegensatz zu M. Hein and M. Andriushchenko,“Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation”, 31 st Conference on Neural lnformation Processing Systems, N1PS 2017 benötigt unser Verfahren keine Voraussetzungen an die Differenzierbarkeit und lässt sich auf tiefe Netze mit beliebig vielen Schichten anwenden.

Figur 2 veranschaulicht weiters die Äquivalenz der Ermittlung eines ersten Abstandes 11 zwischen einem ersten Bildwert 5 und einer Bereichsgrenze 10 und der Bestimmung der Position des ersten Bildwertes 5 innerhalb des Wertebereiches 7 und der Bestimmung, ob der erste Bildwert 5 in einer ersten Teilfläche 13 ist.

Die Ermittlung der Position des ersten Bildpunktes 5 innerhalb des Wertebereiches impliziert auch die Berechnung des ersten Abstandes 11 zu einer Bereichsgrenze 10 beziehungsweise ist dieser erste Abstand 11 leicht aus der Position des ersten Bildpunktes 5 und der Bereichsgrenze 10 bestimmbar. Über die Ermittlung, ob ein erster Bildpunkt 5 innerhalb eines Teilbereiches 13 positioniert ist, ist auch bestimmbar, ob der erste Bildpunkt 5 einen definierten Abstand zu der Bereichsgrenze 10 aufweist. Dies schließt ein, dass der erste Teilbereich 13 einen Mindestabstand zu der Bereichsgrenze aufweist.

Figur 3 veranschaulicht die durch das erfindungsgemäße Verfahren erzielbare Wirkung.

Es ist nach dem Stand der Technik eine in der realen Welt existierende Ampel mit einem beispielsweise eingeschalteten roten Licht erkennbar. Ein System eines Fahrzeuges mit selbststeuemden Fähigkeiten kann beispielsweise eine Ampel mit eingeschaltenem roten Licht erkennen und das Fahrzeug an einer definierten Position vor der Ampel anhalten.

Die gängige Lehre zum Erkennen eines Objektes mittels neuronaler Netze - im konkreten beispielhaft und sohin nicht einschränkend angeführten Beispiel - hat ihre Beschränkungen hinsichtlich der korrekten Erkennung eines Objektes beziehungsweise im hier angeführten Anwendungsbeispiel der Erkennung eines roten Lichtes einer Ampel.

Figur 3 umfasst rechts ein Szenenbild einer Ampel, wobei die Ampel von einem Nebel überlagert ist. Es ist sohin das beispielsweise rote Licht verzerrt wahrnehmbar. Neben dem Umwelteinfluss Nebel sind weitere Umwelteinflüsse wie beispielsweise ein weiteres Verzerren des Lichtes durch ein Zusammenspiel von Nebel und Wind, das teilweise Verdecken der Ampel durch einen Vogel et cetera denkbar.

Die Figur 3 umfasst links eine Illustration des erfindungsgemäßen Verfahrens. Unter Anwendung der gängigen Lehre wird ein Bildwert 5, 6 mit einem Wertebereich 7 verglichen, welcher Wertebereich 7 durch Bereichsgrenzen 8 bis 10 definiert ist. Über diesen Vergleich des Bildwertes 5, 6 mit dem

Wertebereich 7 ist eine Klassfizierung des Bildwertes 5, 6 und in weiterer Folge eine Klassifizierung des Objektes oder allgemein des Sachverhaltes der realen Welt durchführbar.

Die Illustration in Figur 3 umfasst eine gegenüberstellende Illustration eines Vergleiches eines ersten Bildwertes 5 und eines zweiten Bildwertes 6 mit einem Wertebereich 7. Der erste Bildwert 5 und der zweite Bildwert 6 seien beispielhaft aus dem Bild messbare Werte, welche Werte durch Trainieren des neuronalen Netzes nach der gängige Lehre als Entscheidungskriterien zur Erkennung eines Sachverhaltes im Allgemeinen oder zum Erkennen eines Objektes im Speziellen definiert werden. Der erste Bildwert 5 und der zweite Bildwert 6 können beispielsweise Bildwerte aus zwei unterschiedlichen neuronalen Netzen sein.

Das erfindungsgemäße Verfahren sieht vor, dass der erste Bildwert 5 und der zweite Bildwert 6 mittels ihres Abstandes 11 beziehungsweise 12 hinsichtlich ihrer Integrität bewertet werden.

Das in Figur 3 mit einem Rauschen im Form eines Nebels überlagerte Bild der Ampel könnte durch ein weiteres Rauschen überlagert werden, welches weiteres Rauschen dem System nicht bekannt ist. Das weitere Rauschen kann beispielsweise dem System unbekannt sein, weil dieses weitere Rauschen beim Anlemen des Systems nicht berücksichtigt wurde. Die Bildwerte 5, 6 werden in der Illustration der Figur 3 rechts wegen dem weiteren Rauschen verlagert.

Aus dem ersten Bildwert 5 wird zufolge der Überlagerung des Bildes mit dem weiteren Rauschen der weitere erste Bildwert 5‘. Aus dem zweiten Bildwert 6 wird zufolge der Überlagerung des Bildes mit dem weiteren Rauschen der weitere zweite Bildwert 6‘. Im Unterschied zu dem weiteren ersten Bildwert 5‘ liegt der weitere zweite Bildwert 6‘ außerhalb des Wertebereiches. Das System erkennt sohin nicht die Ampel mit dem roten Licht als eine solche; das System kann die Ampel mit dem roten Licht auf Basis des zweiten weiteren Bildwertes 6‘ nicht zuordnen und stoppt anzunehmender Weise das Fahrzeug nicht vor der Ampel. Der Fachmann erkennt anhand dieses obigen Anwendungsbeispiels, dass der Abstand 11, 12 des

Bildwertes 5, 6 zu den Bereichsgrenzen 8 bis 10 als ein Kriterium zur Bewertung der Integrität von Daten geeignet ist. Es kann der kleinste Abstand 11, 12 als das kritischste Kriterium angesehen werden.

Claims

Patentansprüche

1. Computer implementiertes Verfahren zur Bewertung von Objektbilddaten eines Objektes in einem mehrstufigen Verfahren umfassend mehrere Bewertungsebenen,

welcher Wertebereich durch Bereichsgrenzen definiert ist,

dadurch gekennzeichnet, dass

in zumindest einer Bewertungsebene zumindest ein Abstand des Bildwertes und/oder eines mit einer Wichtungsfunktion überlagerten Bildwertes zu einer Bereichsgrenze der Bereichsgrenzen ermittelt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass

der Abstand mit einem Grenzwert verglichen wird.

3. Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass

die Bereichsgrenzen durch einen Benutzer definiert werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass

in mehreren Bewertungsebenen zumindest ein Abstand des Bildwertes und/oder des durch eine Wichtungsfunktion überlagerten Bildwert zu einer Bereichsgrenze der Bereichsgrenzen ermittelt wird, wobei

Bewertungsebenen erstellt wird.