WO2021180470A1 - Verfahren zur qualitätssicherung eines beispielbasierten systems - Google Patents

Abstract

201921247 35 Zusammenfassung Verfahren zur Qualitätssicherung eines beispielbasierten Sys- tems 5 Die Erfindung betrifft ein Verfahren zur Qualitätssicherung eines beispielbasierten Systems (1). Zur Verbesserung der Qualitätssicherung wird bei dem Verfahren das beispielbasier- te System (1) anhand von erhobenen Beispielen (22), welche eine Beispielmenge bilden, erstellt und trainiert. Das jewei-10 lige Beispiel (22) der Beispielmenge umfasst einen Eingabe- wert (12), welcher in einem Eingaberaum (20) liegt. Eine Qua- litätsbewertung, welche eine Abdeckung des Eingaberaums (20) durch Beispiele (22) der Beispielmenge repräsentiert, wird anhand der Verteilung der Eingabewerte (12) im Eingaberaum 15 (20) ermittelt (C). Figur 1

Description

Beschreibung

Verfahren zur Qualitätssicherung eines beispielbasierten Sys tems

Die Erfindung betrifft ein Verfahren zur Qualitätssicherung eines beispielbasierten Systems.

Beispielbasierte Systeme, wie künstliche neuronale Netze, sind grundsätzlich bekannt. Diese werden in der Regel in Be reichen eingesetzt, in denen eine direkte algorithmische Lö sung nicht existiert oder mit konventionellen Softwaremetho den nicht adäquat erstellt werden kann. Mittels beispielba sierter Systeme ist es möglich, eine Aufgabenstellung auf der Basis einer Menge von Beispielen zu erstellen und zu trainie ren. Die gelernte Aufgabenstellung kann auf eine Menge von weiteren Beispielen angewandt werden.

In der Dissertation „Qualitätsgesicherte effiziente Entwick lung vorwärtsgerichteter künstlicher Neuronaler Netze mit überwachtem Lernen (QUEEN) " von Thomas Waschulzik wird die Entwicklung vorwärtsgerichteter künstlicher neuronaler Netze mit überwachtem Lernen beschrieben (im Folgenden:

WASCHULZIK).

Vor diesem Hintergrund ist es Aufgabe der Erfindung, die Qua litätssicherung eines beispielbasierten Systems zu verbes sern.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Qualitätssicherung eines beispielbasierten Systems gelöst, bei welchem das beispielbasierte System anhand von erhobenen Beispielen, welche eine Beispielmenge bilden, erstellt und trainiert wird. Das jeweilige Beispiel der Beispielmenge um fasst einen Eingabewert, welcher in einem Eingaberaum liegt. Eine Qualitätsbewertung (bzw. ein Qualitätsindikator), welche eine Abdeckung des Eingaberaums durch Beispiele der Beispiel- menge repräsentiert, wird anhand der Verteilung der Eingabe werte im Eingaberaum ermittelt.

Die Erfindung beruht einerseits auf der Erkenntnis, dass bei spielbasierte Systeme, wie neuronale Netze, häufig als Black box betrachtet werden. Hierbei wird die interne Informations verarbeitung nicht analysiert und die Erzeugung eines ver ständlichen Modells entfällt. Zudem wird das System nicht durch eine Inspektion verifiziert. Dies führt zu Vorbehalten beim Einsatz beispielbasierter Systeme in Aufgabenstellungen mit hoher Kritikalität.

Die Erfindung beruht zudem auf der Erkenntnis, dass bei der Erfassung von Beispielen zur Erstellung und zum Training des beispielbasierten Systems häufig unbekannt ist, wie viele Beispiele in welchen Bereichen des Eingaberaums erfasst wer den müssen, um eine geeignete Wissensbasis zu erstellen.

Die erfindungsgemäße Lösung behebt diese Probleme, indem die Abdeckung des Eingaberaums durch Beispiele anhand der Vertei lung der Eingabewerte im Eingaberaum ermittelt wird. Dadurch wird eine Kartierung des Eingaberaums erzielt, welche als Ba sis für die weitere Erfassung von Beispielen zur Erstellung einer geeigneten Wissensbasis dient. So kann die Erfassung der Beispiele entsprechend der Verteilung im Eingaberaum ge steuert werden, obwohl die konkrete Art des Klassifikators oder Approximators noch nicht festgelegt wurde. Auch die An zahl der Freiheitsgrade, mit denen die Wissensbasis trainiert wird, muss noch nicht festgelegt werden. Durch die Kenntnis darüber, in welchen Bereichen weitere Beispiele erfasst wer den müssen, können die Beispiele gezielter erfasst werden und folglich die Kosten für die Erfassung von Beispielen (da ins gesamt weniger Beispiele erfasst werden müssen) erheblich re duziert werden.

Mit der Erfindung wurde zudem erkannt, dass eine Vorausset zung für den Einsatz von Kartierungen des Eingaberaums für beispielbasierte Systeme eine geeignete Repräsentation und Kodierung der Merkmale ist. Die Rohdaten werden durch appli kationsspezifische Transformationen in eine der Lösung der Aufgabenstellung angepasste Repräsentation umgewandelt. Diese Repräsentation wird mithilfe von Standardverfahren so umge wandelt, dass sie als Aktivität der Eingabeneuronen eines neuronalen Netzes verwendet werden kann (sogenannte Kodie rung). Die Qualitätsbewertung, welche die Abdeckung des Ein gaberaums durch Beispiele der Beispielmenge repräsentiert, kann auf der Ebene der Repräsentationen und auf der Ebene der Kodierungen eingesetzt werden.

Die Erfindung beruht weiter auf der Erkenntnis, dass die Ko dierung und/oder Repräsentation der Eingabemerkmale im Einga beraum vorzugsweise einen semantischen Zusammenhang mit der gewünschten Ausgabe des beispielbasierten Systems haben. So sind beispielsweise Pixelwerte eines RGB-Bildes als Eingabe für die großen-, rotations- und translationsinvariante Klas sifikation von Objekten ungeeignet. Vorzugsweise ist die Kar tierung des Eingaberaums vorzunehmen, wenn beispielsweise durch eine Vorverarbeitung Merkmale bestimmt wurden, die ei nen semantischen Zusammenhang zu den Ausgaben haben.

Die Erfindung beruht weiter auf der Erkenntnis, dass das Ver hältnis zwischen der Anzahl der unabhängigen Eingabemerkmale, welche die Dimension des aufgespannten Zustandsraums bestim men, und der Anzahl der für die Konfiguration, das Training, die Evaluierung und den Test des Systems zu erfassenden Bei spiele vorzugsweise nicht zu groß ist: Denn die Abdeckung des Eingaberaums durch Beispiele ist im Falle eines großen Ver hältnisses nicht ausreichend.

Weiter beruht die Erfindung auf der Erkenntnis, dass die Di mensionen, welche den Zustandsraum aufspannen, vorzugsweise voneinander semantisch unabhängig sind (d.h. unabhängige As pekte der Aufgabe repräsentieren). Weiter vorzugsweise sind die Dimensionen für die Lösung der Aufgabenstellung von glei cher Relevanz. Weiter vorzugsweise wird für die Qualitätssicherung aus schließlich eine einzige Klassifikationsaufgabe oder Approxi mationsaufgabe betrachtet. Beispielsweise wird in einem künstlichen neuronalen Netz, welches als Single Shot Multibox Detector (SSD) verwendet wird, ausschließlich die Klassifika tion für eine vorgegebene Objektgröße in einer sogenannten Default Box (d.h. mit einem vorgegebenen Seitenverhältnis, mit einer vorgegebenen Skalierung und an einer vorgegebenen Position im Bild) betrachtet.

Vorzugsweise ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgesehen. Der Fachmann versteht unter dem Begriff „sicherheitsgerichtete Funktion" eine Funktion eines Systems, welche sicherheitsre levant ist, d.h. deren Verhalten Einfluss auf die Sicherheit der Umgebung des Systems hat. Dabei ist der Begriff „Sicher heit" im Sinne der sogenannten Safety zu verstehen. Als „Sa- fety" wird im fachmännischen Sprachgebrauch das Ziel bezeich net, die Umwelt eines Systems vor Gefahren zu schützen, die von dem System ausgehen. Im Unterscheid dazu wird im fachmän nischen Sprachgebrauch das Ziel, das System vor Gefahren zu schützen, die von der Umwelt des Systems ausgehen, als „Security" bezeichnet.

Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfasst das Ermitteln: Verteilen von Repräsentan ten im Eingaberaum und Zuordnen einer Anzahl von Beispielen der Beispielmenge zu dem jeweiligen Repräsentanten. Die dem Repräsentanten zugeordneten Beispiele liegen in einem Umge bungsbereich des Eingaberaums, welcher den Repräsentanten umgibt. Als Qualitätsbewertung wird eine lokale Qualitätsbe wertung für den Umgebungsbereich ermittelt.

Durch die Zuordnung der Beispiele aus der Beispielmenge zu den Repräsentanten werden Beispieldatenmengen innerhalb der Umgebungsbereiche bestimmt, die den Repräsentanten zugeordnet sind. Für diese Beispieldatenmengen werden jeweils die loka len Qualitätsbewertungen berechnet. Die Unterteilung der Beispielmenge in mehrere Umgebungsberei che bringt die Vorteile mit sich, die sich in der Regel aus dem Ansatz des Teile-und-Herrsche-Verfahrens aus der Informa tik ergeben. So kann sich beispielsweise ein Entwickler des beispielbasierten Systems auf diejenigen Teile des Eingabe raums konzentrieren, in denen bestimmte Qualitätskriterien durch die ermittelte Qualitätsbewertung nicht erfüllt sind.

In diesen Teilen kann die Qualität entsprechend überprüft und gegebenenfalls verbessert werden. Dadurch wird der Aufwand bei der Bewertung der Gesamtbeispielmenge erheblich redu ziert.

Als Repräsentant wird vorzugsweise ein Stellvertreterbeispiel verteilt. Das Verteilen ist vorzugsweise ein Gleichverteilen. Dabei wird beispielsweise im Eingaberaum ein Raster zur An ordnung der Stellvertreterbeispiele gewählt. Das Raster kann für jede Dimension des Eingaberaums einzeln festgelegt wer den. Ein Kriterium für die Festlegung des Rasters, beispiels weise bei kategorialen Variablen, kann ein Modell über Soll- Eigenschaften der Beispielverteilung im Eingaberaum sein, welches auf der Basis der Anforderungen an das beispielba sierte System gestellt wird. Das Raster kann hierarchisch aufgebaut sein, um beispielsweise hierarchische Kodierungen abzubilden. Bei der Anwendung eines Rasters zur Anordnung der Stellvertreterbeispiele wird in jedem Hyperkubus im Eingabe raum des Rasters ein Stellvertreterbeispiel verteilt. Bei ei nem hierarchischen Aufbau des Rasters wird pro Hierarchieebe ne ein Stellvertreterbeispiel verteilt.

Alternativ ist der Repräsentant ein Zentrum eines Clusters, welches mittels eines Clusterverfahrens bestimmt wird. Das Clusterverfahren wird vorzugsweise zur Bestimmung der Positi on und zur Bestimmung der Ausdehnung des jeweiligen Clusters im Eingaberaum verwendet. Weiter vorzugsweise wird das Clus terverfahren unter Berücksichtigung von Ausgabewerten der Beispiele, die in einem Ausgaberaum liegen, durchgeführt. Die Cluster können auf der Basis von Anforderungen an Eigenschaf- ten des beispielbasierten Systems festgelegt werden oder auf der Basis einer Teilmenge von Beispieldaten. In der Anwendung des beispielbasierten Systems kann beispielsweise in einer frühen Phase eine Menge von Beispielen erfasst werden, welche aufgrund von Kenntnissen zur Erfüllung der Anforderungen aus gewählt werden. Diese Verteilung der Beispieldaten wird dann qualitätsgesichert. In einer folgenden Projektphase können weitere Beispiele mit der gleichen Verteilung erfasst werden. In diesem Fall stellt jedes Beispiel der qualitätsgesicherten Beispielmenge einen Repräsentanten für die folgende Phase der Erfassung der Beispiele dar. Dadurch wird sichergestellt, dass zu jedem initialen Beispiel eine zusätzliche qualitäts gesicherte Menge von Bespielen erfasst wird. Die Position des Repräsentanten kann beispielsweise durch das Clusterzentrum festgelegt sein. Alternativ kann ein hierarchisches Cluster verfahren verwendet werden, bei welchem pro Cluster und pro Hierarchieebene ein Repräsentant eingefügt wird und bei wel chem jedes Beispiel pro Hierarchieebene einem Cluster und folglich einem Repräsentanten zugeordnet wird. Die Menge der Beispiele, welche für die Berechnung der Qualitätsbewertung zur Verfügung steht, wird anschließend über eine vorgegebene Metrik den Clustern und folglich dem Repräsentanten zugeord net. Für ein Beispiel, das keinem Cluster zugeordnet werden kann, wird vorzugsweise ein neues Cluster mit einem Repräsen tanten erstellt. Alternativ wird dieses Beispiel zusammen mit weiteren Beispielen, welche keinem Cluster zugeordnet werden konnten, separat durch eine Qualitätsbewertung erfasst.

Weiter vorzugsweise werden die Beispiele einem Repräsentanten nicht vollständig, sondern nur zu einem vorgegebenen Anteil zugeordnet. Dies kann sich beispielsweise dadurch ergeben, dass ein Clusteralgorithmus verwendet wird, der eine teilwei se Zuordnung der Beispiele zu den Beispieldatenmengen liefert (beispielsweise eine prozentuale Zuordnung zu mehreren Umge bungsbereichen, wobei die Summe der Anteile 1 ergibt). Bei der Ermittlung der Qualitätsbewertungen auf Basis dieser teilweisen Zuordnung wird das jeweilige Beispiel entsprechend dem zugehörigen Anteil berücksichtigt. Vorzugsweise wird die Qualitätsbewertung anhand der Anzahl der dem jeweiligen Repräsentanten zugeordneten Beispiele oder anhand von anderen Merkmalen ermittelt. Dies ist besonders vorteilhaft, wenn die konkreten Beispiele im weiteren Verlauf nicht mehr verwendet werden. Alternativ oder zusätzlich wer den die konkreten Beispiele oder ein Verweis auf die Beispie le im Repräsentanten (Transformation der Beispieldatenmenge in eine an der Topographie des Eingaberaums orientierten Struktur) gespeichert. Dies ist vorteilhaft, wenn die konkre ten Beispiele im weiteren Verlauf benötigt werden.

Der für die Verarbeitung erforderliche Speicherplatz wird vorzugsweise dadurch reduziert, dass die Repräsentanten le diglich dann gespeichert werden, wenn in dem jeweiligen Umge bungsbereich wenigstens ein Beispiel liegt. Wenn die Abde ckung des Eingaberaums ermittelt wird, werden die Umgebungs bereiche, in denen kein Repräsentant erstellt wurde, als „kein Beispiel vorhanden" bewertet. Dennoch kann ein Histo gramm über die Anzahl der Beispiele pro Repräsentanten er stellt werden, da die Anzahl der Umgebungsbereiche, in denen kein Beispiel erfasst wurde, mit geringem Aufwand bestimmt werden kann (Summe der zu erwartenden Repräsentanten - er stellte Repräsentanten = Anzahl der Felder ohne erfasste Bei spiele).

Gemäß einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens umfasst die Qualitätsbewertung ein statistisches Mittel, welches anhand der Beispielmenge und/oder der einem jeweiligen Repräsentanten zugeordneten Beispiele ermittelt wird.

Auf diese Weise können auf Basis der Informationen, die den Repräsentanten zugeordnet sind, Qualitätsbewertungen, bei spielsweise mit Mitteln der deskriptiven Statistik (wie be schrieben in einem der folgenden Lehrbücher: „Statistik: Der Weg zur Datenanalyse" (Springer-Lehrbuch) Taschenbuch - 15. September 2016 von Ludwig Fahrmeir (Autor), Christian Heumann (Autor), Rita Künstler (Autor), Iris Pigeot (Autor), Gerhard Tutz (Autor); „Statistik für Dummies" Taschenbuch - 4. Dezem ber 2019 von Deborah J. Rumsey (Autor), Beate Majetschak (Übersetzer), Reinhard Engel (Übersetzer); „Arbeitsbuch zur deskriptiven und induktiven Statistik" (Springer-Lehrbuch) Taschenbuch - 27. Februar 2009 von Helge Toutenburg (Autor), Michael Schomaker (Mitwirkende), Malte Wißmann (Mitwirkende), Christian Heumann (Mitwirkende)), definiert werden.

Bei einer bevorzugten Weiterbildung wird als statistisches Mittel ein Histogramm über die Anzahl der einem Repräsentan ten zugeordneten Beispiele erstellt.

Dadurch wird eine besonders einfache und intuitive Möglich keit zur Auswertung und Darstellung der Abdeckung des Einga beraums erzielt.

Der Fachmann versteht die Formulierung „über die Anzahl der einem Repräsentanten zugeordneten Beispiele" vorzugsweise da hingehend, dass die Werte der Anzahl der einem Repräsentanten zugeordneten Beispiele für die Erstellung des Histogramms ge- binnt (d.h. in Bereiche unterteilt) werden.

Gemäß einer weiteren bevorzugten Weiterbildung wird als sta tistisches Mittel ein statistisches Maß, insbesondere ein Mittelwert, Median, Minimum, Maximum und/oder Quantile der Anzahl der einem Repräsentanten zugeordneten Beispiele, er mittelt.

Nach einer weiteren bevorzugten Weiterbildung werden im Ein gaberaum benachbarte Umgebungsbereiche ermittelt, deren je weiligem Repräsentanten eine Anzahl von Beispielen zugeordnet ist, die ein vorgegebenes Qualitätskriterium der Qualitätsbe wertung erfüllt.

Vorzugsweise ist das vorgegebene Qualitätskriterium erfüllt, wenn die Anzahl der einem jeweiligen Repräsentanten zugeord neten Beispiele einen vorgegebenen Qualitätsschwellwert un- terschreitet, überschreitet oder in einem vorgegebenen Quali tätsband der Qualitätsbewertung liegt.

Bei der Bestimmung, ob zwei Umgebungsbereiche zueinander be nachbart sind, können unterschiedliche Nachbarschaftsbezie hungen, beispielsweise die Von-Neumann-Nachbarschaft (auch 4er-Nachbarschaft genannt), die Moore-Nachbarschaft (auch 8er-Nachbarschaft genannt) oder die Nachbarschaft aus der Graphentheorie, verwendet werden. Die definierten Nachbar schaftsbeziehungen müssen bei höherdimensionalen Räumen ent sprechend übertragen werden: So werden im dreidimensionalen Raum beispielsweise die 6er-Nachbarschaft für Quader mit ge meinsamen Flächen, die 18er-Nachbarschaft für Quader mit ge meinsamen Kanten und die 26er-Nachbarschaft für Quader mit gemeinsamen Eckpunkten betrachtet. Die Nachbarschaft wird da bei darüber definiert, in wie vielen Dimensionen sich zwei Gitterpunkte unterscheiden dürfen, um noch als benachbart an gesehen zu werden.

Bei einer bevorzugten Weiterbildung wird ein Zusammenhangsge biet innerhalb des Eingaberaums ermittelt, welches aus be nachbarten Umgebungsbereichen besteht, deren Repräsentanten jeweils eine Anzahl von Beispielen zugeordnet ist, die ein vorgegebenes Qualitätskriterium erfüllt.

Vorzugsweise ist das vorgegebene Qualitätskriterium erfüllt, wenn die Anzahl der einem jeweiligen Repräsentanten zugeord neten Beispiele einen vorgegebenen Qualitätsschwellwert un terschreitet, überschreitet oder in einem vorgegebenen Quali tätsband der Qualitätsbewertung liegt.

Bei der Erfüllung des Qualitätskriteriums durch Unterschrei- tung eines vorgegebenen Qualitätsschwellwerts, kann auf be sonders vorteilhafte Weise die Lage und Größe von Bereichen des Eingaberaums ermittelt werden, in denen zu wenige Bei spiele erfasst wurden (sozusagen „Löcher im Eingaberaum").

Mit anderen Worten: Ein besonderer Vorteil der Ausführungs form liegt darin, dass Teilbereiche des Eingaberaums identi- fiziert werden, in denen die Beispielwerte keine ausreichende Basis für eine sicherheitskritische Anwendung bereitstellen. Dies hat wiederum den Vorteil, dass korrigierend eingegriffen werden kann, beispielsweise durch Erfassung von weiteren Bei spielen oder durch die Einschränkung der Wissensbasis in der Anwendung auf die Zusammenhangsgebiete mit hoher Qualität.

Insbesondere hat die Ermittlung der Bereiche, in denen zu we nige Beispiele erfasst wurden, den Vorteil, dass Angriffen durch Adversarial Examples vorbeugend entgegengewirkt werden kann. Denn in diesen Bereichen ist die Erfolgswahrscheinlich keit eines Angriffs durch ein Adversarial Example vergleichs weise hoch. Sie kann durch die Erfassung von weiteren Bei spielen in diesen Bereichen oder die Einschränkung der Wis sensbasis auf die Zusammenhangsgebiete mit hoher Qualität verringert werden.

Auf der Basis der ermittelten Zusammenhangsgebiete können Qualitätsbewertungen berechnet werden. So kann beispielsweise die Anzahl der Repräsentanten in einem Zusammenhangsgebiet bestimmt werden. Es können Histogramme über die Größe oder weitere Eigenschaften eines Zusammenhangsgebiets erstellt werden. Des Weiteren können statistische Maße, wie ein Mit telwert, Median, Quantile oder Standardabweichungen von Ei genschaften der Zusammenhangsgebiete berechnet werden. Zudem kann die Ausdehnung der Zusammenhangsgebiete in den Dimensio nen des Eingaberaums ermittelt werden. Die Dimensionen können in der Reihenfolge der größten Ausdehnung des Zusammenhangs gebiets geordnet werden.

Nach einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens werden in dem jeweiligen Umgebungsbe reich weitere Beispiele erfasst, wenn die für den jeweiligen Umgebungsbereich ermittelte Qualitätsbewertung kleiner als ein vorgegebener Qualitätsschwellwert ist. Alternativ oder zusätzlich werden aus einem jeweiligen Umgebungsbereich Bei spiele entfernt, wenn die für den jeweiligen Umgebungsbereich ermittelte Qualitätsbewertung größer als ein vorgegebener Qualitätsschwellwert ist.

Nach einer besonders bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens umfasst das jeweilige Beispiel einen Ausgabewert, der in einem Ausgaberaum liegt. Für den jeweili gen Umgebungsbereich wird eine lokale Komplexitätsbewertung ermittelt, welche eine durch die Beispiele des Umgebungsbe reichs definierte Komplexität einer Aufgabenstellung des bei spielbasierten Systems repräsentiert. Die lokale Komplexi tätsbewertung wird durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum und Ausgaberaum bestimmt.

Der Fachmann versteht die Formulierung „relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum und Ausgaberaum" vorzugsweise dahingehend, dass die Komplexitäts bewertung basierend auf der Betrachtung der Ähnlichkeit der Abstände der Beispiele im Eingaberaum zu den Abständen im Ausgaberaum definiert ist. Beispielsweise weist die Aufgaben stellung des beispielbasierten Systems eine vergleichsweise geringe Komplexität auf, wenn die Abstände im Eingaberaum (abgesehen von der Skalierung) etwa den Abständen im Ausgabe raum entsprechen.

Daraus ergibt sich der Vorteil, dass Beispiele effektiv er fasst werden können. Denn anhand der Komplexitätsbewertung sind Bereiche bekannt, in denen aufgrund hoher Komplexität der Aufgabenstellung des beispielbasierten Systems eine ver gleichsweise hohe Anzahl von Beispielen erfasst werden müs sen. Vorzugsweise wird in Bereichen des Eingaberaums, in de nen eine höhere Komplexität vorhanden ist, dynamisch die Dichte der Repräsentanten erhöht, bis eine homogene Komplexi tät erreicht ist und eine ausreichende Menge an Beispielen in der Umgebung der Repräsentanten liegen.

Die Komplexitätsbewertung entspricht beispielsweise den in Abschnitt 4 (QUEEN-Qualitätsindikatoren) von WASCHULZIK be- schriebenen Qualitätsindikatoren. Diese Qualitätsindikatoren können sowohl für die Repräsentation oder Kodierung der Merk male definiert und angewendet werden (vgl. Abschnitt 4.5 von WASCHULZIK).

Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird als Qualitätsindikator für die Repräsentatio nen der integrierte Qualitätsindikator QI² gemäß Abschnitt 4.6 von WASCHULZIK, welcher gemäß Formel 4.21 wie folgt defi niert ist:

wobei gemäß Formel 4.18 von WASCHULZIK:

der normierte Abstand der repräsentierten Eingaben (NRE) und

der normierte Abstand der repräsentierten Ausgaben (NRA) ist. Dabei ist x das Paar (x-^x₂,) bestehend aus den zwei Beispielen x₁ und x₂ . C und x₂ sind Beispiele aus der Beispielmenge P . P

= {ri,Ri, ...,p\p\] ist die Menge der Elemente von BAG P, wobei |P| die Anzahl der Elemente des BAG P ist. Bei BAG handelt es sich um eine Multimenge (in Englisch multiset oder bag ge nannt), wie sie in Spezifikation 21.5 auf Seite 27 des An hangs von WASCHULZIK definiert ist. Die Aufgabenstellung QAG ist in Definition 3.1 auf Seite 23 von WASCHULZIK definiert und wird dort als QUEEN-Aufgabenstellung bezeichnet.

^RE() ist eine Abkürzung für den Abstand im Eingaberaum d_re (^veP_xi> ^veV_xi) und d_R4(x) ist eine Abkürzung für den Abstand im

Ausgaberaum d_ra(vap_xl,vap_x2) . Die Definition des Abstands zwischen der Repräsentation von zwei Beispielen gemäß WASCHULZIK basiert auf der Euklidischen Norm. So wird der Abstand im Eingaberaum definiert als (siehe Formel 4.3 von WASCHULZIK): -reiPkl’Vkl)^~

N mit p_ki_,p_k2 als Beispiele aus der Menge P, wobei

mit i Laufindex über alle Ausprägungen; vemp_{i kx} Ausprägung des Eingabemerkmals i des Beispiels kx mit kx G R (R ist die Menge der reellen Zah len); und aem AnzahlEing abeM erkmale der Aufgabenstellung QAG .

Bei einer bevorzugten Weiterbildung wird eine aggregierte Komplexitätsbewertung durch Aggregation der lokalen Komplexi tätsbewertungen ermittelt.

Die aggregierte Komplexitätsbewertung hat den Vorteil, dass ein Entwickler des beispielbasierten Systems seine Qualitäts sicherung einfach durchführen kann.

Beispielsweise wird als aggregierte Komplexitätsbewertung ein Histogramm über die Komplexität in den unterschiedlichen Um gebungsbereichen des Eingaberaums erstellt. Dazu wird der Wertebereich der Komplexitätsbewertungen gebinnt (d.h. in Be reiche unterteilt). In die Bins wird vorzugsweise ausschließ lich die Anzahl der Umgebungsbereiche mit entsprechender Kom plexität gefasst, wenn die Positionen der Umgebungsbereiche nicht mehr benötigt werden. Vorzugsweise wird dieses Histo gramm mit Informationen über die Anzahl der Beispiele zusam- mengefasst, beispielsweise ebenfalls in einem Histogramm über die Anzahl der dem Repräsentanten zugeordneten Beispiele. Weiter vorzugsweise sind im Histogramm Informationen über die Repräsentanten hinterlegt, damit bei Detailanalysen auf diese zurückgegriffen werden kann.

Gemäß einer weiteren bevorzugten Weiterbildung werden anhand der aggregierten Komplexitätsbewertung Umgebungsbereiche identifiziert, deren Komplexitätsbewertung einen vorgegebenen Komplexitätsschwellwert unterschreitet. In den ermittelten Umgebungsbereichen wird die Aufgabenstellung des beispielba sierten Systems durch eine algorithmische Lösung implemen tiert. Dies ist besonders vorteilhaft für Anwendungen mit ho hen Qualitätsanforderungen, beispielsweise bei sicherheitsge richteten Funktionen.

Diese bevorzugte Weiterbildung basiert auf der Erkenntnis, dass die exakte Funktionsweise des Systems (d.h. semantische Zusammenhänge) für Bereiche mit geringer Komplexität der Auf gabenstellung häufig bekannt ist. In diesem Fall kann die Aufgabenstellung als konventioneller Algorithmus implemen tiert werden (anstatt als beispielbasiertes System). Dies ist besonders vorteilhaft, da eine ausreichende Sicherheit der sicherheitsgerichteten Funktion im Rahmen eines Zulassungs verfahrens für die einfache algorithmische Lösung in der Re gel einfacher nachweisbar ist.

Es ergibt sich durch diese Weiterbildung zudem der Vorteil, dass in den Bereichen geringer Komplexität keine weiteren Beispiele erfasst werden müssen.

Vorzugsweise wird bei der Suche nach einfachen Bereichen auch nach Datenerhebungsartefakten gesucht, welche einen Zusammen hang zwischen Eingabe und Ausgabe ergeben, die durch speziel le Umstände der Datenerhebung gegeben sind, jedoch keinen in der Praxis verwendbaren Zusammenhang darstellen (wie bei spielsweise von dem sogenannten Kluger-Hans-Effekt bekannt: https://de.wikipedia.org/wiki/Kluger_Hans). In Bereichen mit besonders hoher Komplexität werden die Beispiele dahingehend analysiert, ob zum Beispiel Probleme bei der Erhebung und Er fassung der Beispiele aufgetreten sind.

Nach einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens wird der Eingaberaum anhand der Qua litätsbewertung hierarchisch aufgeteilt.

Vorzugsweise wird durch die hierarchische Aufteilung des Ein gaberaums eine hierarchische Kartierung des Eingaberaums er zielt. Die Hierarchie wird weiter vorzugsweise aus der Reprä sentation oder Kodierung des Eingabemerkmals und/oder aus der Analyse der Komplexität der Aufgabenstellung abgeleitet.

Anhand der Einführung einer zusätzlichen Hierarchie in der Analyse des Eingaberaums kann in den Bereichen, in denen eine hohe Komplexität vorhanden ist, entweder dynamisch die Dichte der Repräsentanten erhöht (bis eine homogene Komplexität er reicht ist) oder eine neue Hierarchieebene eingeführt werden. Die Einführung einer neuen Hierarchieebene erfolgt, indem in dem Bereich des Repräsentanten eine neue Unterteilung mit ei ner höheren Auflösung hinzugefügt wird. Das Vorgehen kann i- teriert werden, indem in dem hochaufgelösten Bereich bei er neut erhöhter lokaler Komplexität eine weitere Hierarchiestu fe hinzugefügt wird. Dadurch kann die Auflösung dynamisch an die jeweilige Aufgabenstellung angepasst werden.

Nach einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens wird eine Komplexitätsverteilung mit tels einer Histogrammdarstellung der Komplexitätsbewertung über k nächste Nachbarn eines Beispiels im Eingaberaum ermit telt. Auf diese Weise wird für die lokale Umgebung eines Bei spiels ermittelt, wie die Komplexität verteilt ist. Insbeson dere wird die Charakteristik der Komplexität in der lokalen Umgebung des Beispiels ermittelt und sozusagen ein Fingerab druck der lokalen Umgebung des Beispiels hinsichtlich der Komplexität ermittelt. Vorzugsweise wird der Wertebereich der Komplexitätsbewertun gen für die Histogrammdarstellung gebinnt (d.h. in Bereiche unterteilt). Beispielsweise werden die „gebinnten" Werte auf der y-Achse aufgetragen und die Darstellung des größer wer denden k (der k-nächsten Nachbarn) auf der x-Achse eingetra gen.

Um erforderliche Rechenkapazität bei der Ermittlung der Kom plexitätsverteilung zu verringern, wird die Schrittweite der Werte von k > 1 gewählt. Beispielsweise wird bei einer Schrittweite von 5 für die Werte von k=5, 10, 15, 20, etc. eine Verteilung der Komplexitätsbewertung ermittelt. Weiter vorzugsweise wird die Schrittweite von k ausschließlich in Bereichen von besonderem Interesse klein gewählt. So wird die Verteilung der Komplexitätsbewertung beispielsweise zunächst mit einer vergleichsweise großen Schrittweite von k berech net, um dann in einem Bereich von besonderem Interesse mit einer kleinen Schrittweite von k berechnet zu werden.

Weiter vorzugsweise wird für das berechnete Histogrammfeld (Komplexitätsbewertung gebinnt, k) die Anzahl der Werte der Komplexitätsbewertung gespeichert. Weiter vorzugsweise wird auch eine Identifikationsinformation (beispielsweise eine Nummer), die das Beispiel, in dessen Umgebung die Komplexi tätsverteilung ermittelt wurde, gespeichert.

Gemäß einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgese hen, wobei die sicherheitsgerichtete Funktion eine Objekter kennung auf Basis einer Bilderkennung, bei welcher das Objekt unter Verwendung des beispielbasierten Systems erkannt wird, umfasst.

Bei einer bevorzugten Weiterbildung wird die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs, insbeson dere eines spurgebundenen Fahrzeugs, eines Kraftfahrzeugs, eines Flugzeugs, eines Wasserfahrzeugs und/oder eines Raum fahrzeugs, verwendet.

Die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs ist eine besonders zweckmäßige Ausführung einer Si^¬ cherheitsgerichteten Funktion. Die Objekterkennung ist dabei erforderlich, um z.B. Hindernisse auf dem Fahrweg zu erkennen oder Verkehrssituationen hinsichtlich der Vorfahrt von Ver kehrsteilnehmern zu analysieren.

Das Kraftfahrzeug ist beispielsweise ein Kraftwagen, z.B. ein Personenkraftwagen (PKW), ein Lastkraftwagen (LKW) oder ein Kettenfahrzeug.

Das Wasserfahrzeug ist beispielsweise ein Schiff oder U-Boot.

Das Fahrzeug kann bemannt oder unbemannt sein.

Ein Beispiel für einen Anwendungsbereich ist das autonome o- der automatisierte Fahren eines Schienenfahrzeugs. Zur Lösung der Aufgabenstellungen werden Objekterkennungssysteme einge setzt, um Szenen zu analysieren, die mit Sensoren digitali siert werden. Diese Szeneanalyse ist erforderlich, um z.B. Hindernisse auf dem Fahrweg zu erkennen oder Verkehrssituati onen hinsichtlich der Vorfahrt von Verkehrsteilnehmern zu analysieren. Für die Erkennung der Objekte werden zurzeit be sonders erfolgreich Systeme eingesetzt, die auf der Nutzung von Beispielen basieren, mit denen Parameter des Mustererken nungssystems trainiert werden. Beispiele dafür sind neuronale Netze, z.B. mit Deep-Learning-Algorithmen.

Gemäß einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgese hen, wobei die sicherheitsgerichtete Funktion eine Klassifi kation auf der Basis von Sensordaten von Organismen umfasst. Die Gewebeklassifikation tierischen oder menschlichen Gewebes ist eine besonders zweckmäßige Ausführung einer sicherheits gerichteten Funktion im Bereich der medizinischen Bildverar beitung. Die Organismen umfassen beispielsweise Archaea (Ur- bakterien), Bacteria (Echte Bakterien) und Eukarya (Kernhal tige) oder von Gewebe von Protista (auch Protoctista, Begrün der), Plantae (Pflanzen), Fungi (Pilze, Chitinpilze) und Ani- malia (Tiere).

Weitere Anwendungsgebiete sind die sichere Steuerung von In dustrieanlagen (z.B. Synthese in der Chemie, die Steuerung von Produktionsprozessen z.B. Walzwerke), eine Klassifikation von chemischen Substanzen (z.B. Umweltgifte, Kampfstoffe), eine Klassifikation von Signaturen von Fahrzeugen (z.B. Radar oder Ultraschallsignaturen) und/oder eine Steuerung im Be reich der Industrieautomatisierung (z.B. Produktion von Ma schinen).

Nach einer weiteren bevorzugten Ausführungsform des erfin dungsgemäßen Verfahrens umfasst das beispielbasierte System

- ein System mit überwachtem Lernen,

- ein System, das mit den Methoden der Statistik aufgebaut ist,

- vorzugsweise ein künstliches neuronales Netz mit einer oder mehreren Schichten von Neuronen, die nicht Eingabe neuron oder Ausgabeneuron sind und mit Backpropagation trainiert werden,

- insbesondere ein Convolutional Neural Network,

- insbesondere ein Single-Shot-MultiBox-Detector-Netz.

Der Einsatz von künstlichen Neuronalen Netzen ermöglicht häu fig eine Verbesserung der Klassifikations- oder Approximati onsleistung.

Die eine Schicht oder mehreren Schichten von Neuronen, die nicht Eingabeneuronen oder Ausgabeneuronen sind, werden fach männisch häufig als verdeckte oder „hidden" Neuronen bezeich net. Das Training von neuronalen Netzen mit vielen Ebenen an verdeckten Neuronen wird fachmännisch häufig auch als Deep- Learning bezeichnet. Ein spezieller Typ von Deep-Learning- Netzwerken für die Mustererkennung sind die sogenannten Con- volutional Neuronal Networks (CNNs). Ein Spezialfall der CNNs sind die sogenannten SSD-Netze (Single Shot MultiBox). Der Fachmann versteht unter dem Begriff „Single Shot MultiBox De- tector" ein Verfahren zur Objekterkennung nach dem Deep- Learning-Ansatz, welches auf einem Convolutional Neural Netz- work basiert und beschrieben ist in: Liu, Wei (October 2016). SSD: Single shot multibox detector. European Conference on Computer Vision. Lecture Notes in Computer Science. 9905. pp. 21-37. arXiv:1512.02325

Die Erfindung betrifft ferner ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Re cheneinheit diese veranlassen, das Verfahren der vorstehend beschriebenen Art durchzuführen.

Die Erfindung betrifft ferner ein computerlesbares Speicher medium, umfassend Befehle, die bei der Ausführung durch eine Recheneinheit diese veranlassen, das Verfahren der vorstehend beschriebenen Art durchzuführen.

Zu Vorteilen, Ausführungsformen und Ausführungsdetails der Merkmale des erfindungsgemäßen Computerprogramms und compu terlesbaren Speichermediums kann auf die obige Beschreibung zu den entsprechenden Merkmalen des erfindungsgemäßen Verfah rens verwiesen werden.

Ein Ausführungsbeispiel der Erfindung wird anhand der Zeich nungen erläutert. Es zeigen:

Figur 1 schematisch den Ablauf eines Ausführungs beispiels eines erfindungsgemäßen Verfah rens,

Figur 2 schematisch den Aufbau eines beispielba sierten Systems gemäß dem Ausführungsbei spiel des erfindungsgemäßen Verfahrens, Figur 3 schematisch einen zweidimensionalen Ein gaberaum gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens,

Figur 4 eine schematische Seitenansicht eines sich auf eine Fahrstrecke befindenden spurgebundenen Fahrzeugs

Figur 5 eine hierarchische Aufteilung des Einga beraums

Figur 6 zwei Achsendiagramme, welche die Anwen dung der Komplexitätsbewertung auf eine erste synthetische Funktion repräsentie ren,

Figur 7 zwei Achsendiagramme, welche die Anwen dung der Komplexitätsbewertung auf eine zweite synthetische Funktion repräsentie ren,

Figur 8 zwei Achsendiagramme, welche die Anwen dung der Komplexitätsbewertung auf eine dritte synthetische Funktion repräsentie ren, und

Figur 9 schematisch ein weiteres Beispiel eines zweidimensionalen Eingaberaums gemäß ei nem weiteren Ausführungsbeispiel des er findungsgemäßen Verfahrens.

Figur 1 zeigt ein schematisches Ablaufdiagramm, welches den Ablauf eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Qualitätssicherung eines beispielbasierten Systems repräsentiert.

Figur 2 zeigt schematisch den Aufbau eines beispielbasierten Systems 1, bei dem die Qualitätssicherung des Systems über das Ausführungsbeispiel des erfindungsgemäßen Verfahrens er folgt. Das beispielbasierte System 1 ist ein System mit über wachtem Lernen und wird von einem künstlichen neuronalen Netz 2 gebildet, welches eine Schicht 4 von Eingabeneuronen 5 und eine Schicht 6 von Ausgabeneuronen 7 aufweist. Das künstliche neuronale Netz 2 weist mehrere Schichten 8 von Neuronen 9 auf, die nicht Eingabeneuronen 5 oder Ausgabeneuronen 7 sind. Das künstliche neuronale Netz 2 ist ein sogenanntes Mehrlagi ges Perzeptron, es kann aber auch ein Rekurrentes neuronales Netz, ein Convolutional Neural Network, oder insbesondere ein sogenanntes Single-Shot-MultiBox-Detector-Netz sein.

Das beispielbasierte System sowie das erfindungsgemäße Ver fahren werden mittels eines oder mehrerer Computerprogramme implementiert. Das Computerprogramm umfasst Befehle, die bei Ausführung des Programms durch eine Recheneinheit diese ver anlassen, das erfindungsgemäße Verfahren gemäß dem in Figur 1 gezeigten Ausführungsbeispiel durchzuführen. Das Computerpro gramm ist auf einem computerlesbaren Speichermedium gespei chert.

Das beispielbasierte System wird in einer sicherheitsgerich teten Funktion eines Systems eingesetzt. Das Verhalten der Funktion hat demnach Einfluss auf die Safety der Umgebung des Systems.

Ein Beispiel für eine sicherheitsgerichtete Funktion ist eine Objekterkennung auf Basis einer Bilderkennung, bei welcher das Objekt unter Verwendung des beispielbasierten Systems 1 erkannt wird. Die Objekterkennung wird beispielsweise bei ei nem automatisierten Betrieb eines Fahrzeugs, insbesondere ei nes in Figur 4 gezeigten spurgebundenen Fahrzeugs 40, eines Kraftfahrzeugs, eines Flugzeugs, eines Wasserfahrzeugs oder eines Raumfahrzeugs, verwendet.

Ein weiteres Beispiel für eine sicherheitsgerichtete Funktion ist eine Klassifikation auf der Basis von Sensordaten von Or ganismen z.B. von Archaea (Urbakterien), Bacteria (Echte Bak terien) und Eukarya (Kernhaltige) oder von Gewebe von Protis- ta (auch Protoctista, Begründer), Plantae (Pflanzen), Fungi (Pilze, Chitinpilze) und Animalia (Tiere), eine sichere Steu erung von Industrieanlagen, eine Klassifikation von chemi schen Substanzen, eine Klassifikation von Signaturen von Fahrzeugen oder eine Steuerung im Bereich der Industrieauto matisierung.

In einem Verfahrensschritt A wird festgelegt, welche Beispie le zu erheben sind. In einem Schritt B werden die Beispiele erhoben: Die erhobenen Beispiele bilden eine Beispielmenge. Das jeweilige Beispiel weist einen Eingabewert 12, welcher in einem Eingaberaum liegt, und einen Ausgabewert 14, welcher in einem Ausgaberaum liegt, auf. Bei der Objekterkennung (als eines von mehreren möglichen Beispielen einer sicherheitsge richteten Funktion) für einen automatisierten Betrieb des in Figur 4 gezeigten spurgebundenen Fahrzeugs 40 werden die Bei spiele erhoben, indem das spurgebundene Fahrzeug 40 mit einer Kameraeinheit 42 zur Erfassung von Bildern versehen wird. Die Kameraeinheit 42 ist derart in Fahrtrichtung 41 ausgerichtet, dass ein in Fahrtrichtung 41 vorausliegender räumlicher Be reich 43 von der Kameraeinheit erfasst wird. Das spurgebunde ne Fahrzeug 40 fährt mit der Kameraeinheit 42 in Fahrtrich tung 41 entlang einer Fahrtstrecke 44. Zur Erfassung der Bei spiele werden Szenen, die für die Erstellung und das Training des beispielbasierten Systems 1 zur Objekterkennung relevant sind, nachgestellt. So werden beispielsweise Pappfiguren, Crashtest-Dummies oder Schauspieler 45 eingesetzt, um Perso nen auf der Fahrtstrecke 44 darzustellen, die mittels des zu erstellenden und zu trainierenden beispielbasierten Systems 1 erkannt werden sollen. Alternativ können Szenen mittels einer sogenannten Virtual Reality nachgestellt werden.

In einem Verfahrensschritt C wird eine Qualitätsbewertung, welche eine Abdeckung des Eingaberaums durch Beispiele der Beispielmenge repräsentiert, ermittelt. Bei dem Ermitteln C der Qualitätsbewertung werden in einem Verfahrensschritt CI Repräsentanten im Eingaberaum verteilt. Figur 3 zeigt als Beispiel einen zweidimensionalen Eingaberaum 20. In der tat sächlichen Anwendung des erfindungsgemäßen Verfahrens werden der Eingaberaum und Ausgaberaum häufig eine höhere Dimensio- nalität aufweisen. Die Beispiele 22 der Beispielmenge sind als Fadenkreuze 23 in Figur 3 dargestellt. Die Repräsentanten 24 werden gleichverteilt und sind als Kreuzpunkte 25 des ge zeigten Gitters 26 dargestellt.

In einem Verfahrensschritt C2 wird einem jeweiligen Repräsen tanten 28 eine Anzahl von Beispielen 29 der Beispielmenge zu geordnet. Die dem Repräsentanten 28 zugeordneten Beispiele 29 liegen in einem Umgebungsbereich 30 des Eingaberaums 20, wel cher den jeweiligen Repräsentanten 28 umgibt. Der Umgebungs bereich 30 ist beispielhaft in Figur 3 als gepunktete Fläche dargestellt. Als Qualitätsbewertung wird dabei in einem Ver fahrensschritt C3 eine lokale Qualitätsbewertung für den Um gebungsbereich 30 ermittelt.

In einem Verfahrensschritt C4 werden im Eingaberaum benach barte Umgebungsbereiche 32-36 ermittelt, deren jeweiligem Re präsentanten eine Anzahl von Beispielen zugeordnet ist, die einen vorgegebenen Qualitätsschwellwert unterschreitet. In Figur 3 sind diese Umgebungsbereiche 32-36 als Flächen mit diagonalen Streifen dargestellt. Es handelt sich in dem in Figur 3 gezeigte Beispiel bei den Umgebungsbereichen 32-36 um Bereiche, in denen kein Beispiel liegt. Zudem wird in einem Verfahrensschritt C5 ein Zusammenhangsgebiet 38 innerhalb des Eingaberaums 20 ermittelt, welches aus den benachbarten Umge bungsbereichen 32-36 besteht, deren Repräsentanten jeweils eine Anzahl von Beispielen zugeordnet ist, die einen vorgege benen Qualitätsschwellwert unterschreitet. Dadurch wird die Lage und Größe von Bereichen des Eingaberaums 20 ermittelt, in denen zu wenige Beispiele erfasst wurden. Mit anderen Wor ten: Es werden Teilbereiche des Eingaberaums 20 identifi ziert, in denen die Beispielswerte keine ausreichende Basis für einen sicherheitskritischen Anwendung bereitstellen.

Anhand der Identifizierung kann korrigierend eingegriffen werden: Dazu werden beispielsweise in einem Verfahrensschritt D in einem jeweiligen Umgebungsbereich weitere Beispiele er fasst, wenn die für den jeweiligen Umgebungsbereich ermittel te Qualitätsbewertung kleiner als ein vorgegebener Qualitäts schwellwert ist. In einem Verfahrensschritt E wird für den jeweiligen Umge bungsbereich eine lokale Komplexitätsbewertung ermittelt, welche eine durch die Beispiele des Umgebungsbereichs defi nierte Komplexität einer Aufgabenstellung des beispielbasier ten Systems repräsentiert. Dabei wird die lokale Komplexi tätsbewertung gemäß einem Verfahrensschritt El durch die re lative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum 20 und dem Ausgaberaum bestimmt. Das heißt die Komplexitätsbewertung ist basierend auf der Betrachtung der Ähnlichkeit der Abstände der Beispiele im Eingaberaum 20 zu den Abständen im Ausgaberaum definiert. Beispielsweise weist die Aufgabenstellung des beispielbasierten Systems eine ver gleichsweise geringe Komplexität auf, wenn die Abstände im Eingaberaum 20 (abgesehen von der Skalierung) etwa den Ab ständen im Ausgaberaum entsprechen. Anhand der Komplexitäts bewertung werden Bereiche ermittelt, in denen aufgrund hoher Komplexität der Aufgabenstellung des beispielbasierten Sys tems eine vergleichsweise hohe Anzahl von Beispielen erfasst werden müssen. Beispielsweise wird in Bereichen des Eingabe raums 20, in denen eine höhere Komplexität vorhanden ist, dy namisch die Dichte der Repräsentanten erhöht, bis eine homo gene Komplexität erreicht ist. Alternativ kann eine neue Hie rarchieebene eingeführt werden (wie es beispielhaft in Bezug auf Figur 5 unten beschrieben ist).

Die Komplexitätsbewertung entspricht den in Abschnitt 4 (QUEEN-Qualitätsindikatoren) von WASCHULZIK beschriebenen Qualitätsindikatoren. Diese Qualitätsindikatoren können so wohl für die Repräsentation oder Kodierung der Merkmale defi niert und angewendet werden (vgl. Abschnitt 4.5 von WASCHULZIK). Ein Beispiel für diesen Qualitätsindikator für die Repräsentationen ist der integrierte Qualitätsindikator QI² gemäß Abschnitt 4.6 von WASCHULZIK.

In einem Verfahrensschritt E2 wird eine aggregierte Komplexi tätsbewertung durch Aggregation der lokalen Komplexitätsbe wertung ermittelt: Beispielsweise wird als aggregierte Kom- plexitätsbewertung ein Histogramm über die Komplexität in den unterschiedlichen Umgebungsbereichen des Eingaberaums er stellt. Dazu wird der Wertebereich der Komplexitätsbewertun gen gebinnt (d.h. in Bereiche unterteilt). In die Bins werden ausschließlich die Anzahl der Umgebungsbereiche mit entspre chender Komplexität gefasst, sofern die Positionen der Umge bungsbereiche nicht mehr benötigt werden. Dieses Histogramm wird mit Informationen über die Anzahl der Beispiele zusam mengefasst, beispielsweise ebenfalls in einem Histogramm über die Anzahl der dem Repräsentanten zugeordneten Beispiele. Weiter vorzugsweise sind im Histogramm Informationen über die Repräsentanten hinterlegt, damit bei Detailanalysen auf diese zurückgegriffen werden kann.

Anhand der Komplexitätsbewertung kann in einem Verfahrens schritt F erfasst werden, ob in sämtlichen Bereichen eine an gemessene Anzahl an Beispielen erfasst wurden. Wird ein Be reich identifiziert, in dem zu viele Beispiele bei niedriger Komplexität erfasst wurden, können Beispiele aus diesem Be reich entfernt werden. Diese Reduktion der Beispiele redu ziert den Speicherplatzbedarf und die Kosten für die Berech nungen z.B. für die qualitätssichernden Maßnahmen auf der Ba sis der Beispieldatenmenge. Wird ein Bereich identifiziert, in dem zu wenige Beispiele erfasst wurden (z.B. da die Kom plexität vergleichsweise hoch ist), müssen ggfs, weitere Bei spiele in diesem Bereich erfasst werden. Der letztgenannte Fall tritt häufig in den Bereichen auf, in denen eine neue Hierarchieebene eingeführt wurde (wie es beispielhaft in Be zug auf Figur 5 unten beschrieben ist). Nach der Erfassung weiterer Beispiele, wird eine Schleife zur Qualitätssicherung (gemäß den Verfahrensschritten C bis E) so lange durchlaufen, bis sämtliche gewünschten Qualitätsanforderungen erfüllt sind.

Anhand der aggregierten Komplexitätsbewertung werden in einem Verfahrensschritt G Umgebungsbereiche identifiziert, deren Komplexitätsbewertung einen vorgegebenen Komplexitätsschwell wert unterschreitet. In den ermittelten Umgebungsbereichen wird die Aufgabenstellung des beispielbasierten Systems gemäß einem Verfahrensschritt H durch eine algorithmische Lösung implementiert, wenn die Funktionsweise des Systems (d.h. se mantische Zusammenhänge) für den Umgebungsbereich bekannt ist. Die Aufgabenstellung des Systems wird demnach als kon ventioneller Algorithmus implementiert (anstatt als beispiel basiertes System). Für die Bereiche des Eingaberaumes, für die ein statistisches System oder ein neuronales Netz einge setzt werden soll, wird in Schritt H ebenfalls das statisti sche System erstellt oder die Struktur des neuronalen Netzes festgelegt und das neuronale Netz trainiert.

Figur 5 zeigt bespielhaft eine hierarchische Aufteilung eines Eingaberaums 120, durch die eine hierarchische Kartierung des Eingaberaums erzielt wird. Die erhobenen Beispiele 122 der Beispielmenge sind als Sterne 123 und Kreise 125 in Figur 5 dargestellt. Die Sterne 123 und Kriese 125 sind Beispiele un terschiedlicher Objektklassen (d.h. haben eine unterschiedli che Position im Ausgaberaum).

In den Bereichen, in denen eine hohe Komplexität vorhanden ist, kann zusätzlich eine neue Hierarchieebene 126 eingeführt werden. Die neue Hierarchieebene 126 wird beispielsweise ein geführt, indem in dem Bereich 130 eine neue Unterteilung 132 mit einer höheren Auflösung 134 hinzugefügt wird. Das Vorge hen kann iteriert werden, indem in dem hochaufgelösten Be reich bei erneut erhöhter lokaler Komplexität eine weitere Hierarchiestufe hinzugefügt wird.

Um ein Verständnis über die Eigenschaften und das Verhalten der in WASCHULZIK beschriebenen Qualitätsindikatoren als Bei spiele einer Komplexitätsbewertung zu erhalten, ist es hilf reich, diese auf synthetische Funktionen (z.B. y=x) anzuwen den. Daraus kann geschlossen werden, wie diese Qualitätsindi katoren Anwendung bei beispielbasierten Systemen finden kön- nen Die Figuren 6 bis 8 zeigen jeweils für eine synthetische Funktion ein Histogramm der Verteilung der Komplexitätsbewer tung über k-nächste Nachbarn eines vorausgewählten Beispiels. Das Beispiel ist beispielsweise ein Stellvertreterbeispiel oder ein Zentrum eines Clusters (wie oben beschrieben). Das Beispiel kann zudem ein aus dem Umgebungsbereich eines Reprä sentanten ausgewähltes Beispiel sein, welches für eine tie fergehende Untersuchung hinsichtlich der Komplexität der Auf gabenstellung ausgewählt wurde.

Figur 6 zeigt links die Abbildungen 4.1 und rechts die Abbil dung 4.4 von WASCHULZIK. Als synthetische Funktion ist in Fi gur 6 links y = x als Achsendiagramm dargestellt (die Einträ ge im Achsendiagramm sind als „+" gezeigt). Das Achsendia gramm rechts zeigt ein Histogramm SHLQ² von QI² über die k- nächsten Nachbarn eines Beispiels für die Funktion y=x. Es zeigt sich, dass für beliebige lokale Umgebungen k eines Bei spiels das gezeigte Histogramm SHLQ² den Wert Null hat.

Figur 7 zeigt links die Abbildung 4.17 und rechts die Abbil dung 4.20 von WASCHULZIK. Als synthetische Funktion ist in Figur 7 links y=ru(seed,300)*300 als Achsendiagramm darge stellt. Es handelt sich um eine gleichverteilte Zufallsvari able mit Werten zwischen 0 und 300. Das Achsendiagramm rechts zeigt das Histogramm SHLQ² von QL² über die k-nächsten Nach barn eines Beispiels für die Funktion y=ru(seed,300)*300. Das Achsendiagramm in Figur 7 rechts ist derart skaliert, dass 40 für den Wert 1 steht.

Figur 8 zeigt links die Abbildung 4.41 und rechts die Abbil dung 4.44 von WASCHULZIK. Als synthetische Funktion ist in Figur 8 links y = sin (8*pi*x/300) + br (seed,300) als Achsen diagramm dargestellt. Es handelt sich um eine Sinusfunktion, die in den Bereichen 0 < x d 50 sowie 100 < x d 200 ein stochastisches Rauschen hat. Das Achsendiagramm rechts zeigt das Histogramm SHLQ² von QL² über die k-nächsten Nachbarn ei nes Beispiels für die Funktion y = sin (8*pi*x/300) + br (seed,300). Das Achsendiagramm in Figur 8 ist derart ska- liert, dass 40 für den Wert 1 steht. Der Fachmann erkennt auf dieser Darstellung, dass es mehrere k-Nachbarschaften bis zur Größe ca. 45 gibt, in denen der Wert von QI² fast 0 ist (zu erkennen an der dunkelgrauen Schattierung der Bins mit klei ner Nummer aufgetragen an der V-Achse) und damit eine fast lineare Abbildung des Eingabe- und Ausgaberaums vorliegt. Analysiert der Fachmann nun durch das Auslesen der Informati on in dem Histogramm, in der Umgebung welcher Beispiele die niedrige Komplexität vorhanden ist, so erhält er das Beispiel mit x=75 in dessen Nachbarschaft k=45 die Komplexität sehr gering ist. Gleiches gilt für x=225 oder x=275 für k=45. So kann der Fachmann ohne ein Vorwissen darüber, wie die Bei spiele im Eingaberaum verteilt sind, einfach, schnell und si cher die Bereiche identifizieren, in denen die Komplexität besonders niedrig oder hoch ist. Durch das Auslesen der Bins mit den hohen Werten auch bei großen Umgebungen kann er Be reiche mit hoher Komplexität identifizieren (z.B. Bin-Nummer 80 bei K=20). Diese Identifikation der Bereiche mit hoher o- der niedriger Komplexität kann unabhängig von der Dimension des Eingabe- und Ausgaberaumes erfolgen, da der Abstand der k-nächsten Nachbarn in Räumen beliebiger Dimensionalität be stimmt werden kann. Über das gleichartige Vorgehen kann der Fachmann auch aus den Histogrammen über die Größe der Zusam menhangsbereiche die Repräsentanten identifizieren, in denen z.B. sehr wenige Beispiele enthalten sind. Über den Repräsen tanten kann dann die Position im Eingaberaum bestimmt werden, in denen weitere Beispiele erfasst werden müssen.

Alternativ zu dem in Bezug auf Figur 3 beschriebenen Ausfüh rungsbeispiel, wonach Repräsentanten im Eingaberaum gleich verteilt werden, zeigt Figur 9 ein Ausführungsbeispiel eines Eingaberaums 220, bei dem die Repräsentanten jeweils ein Zentrum eines Clusters, welches mittels eines Clusterverfah rens bestimmt wird, bilden. Die Beispiele 222 der Beispiel menge sind in Figur 9 als Fadenkreuze 223 dargestellt.

Figur 9 zeigt beispielhaft vier Cluster 230, 232, 234 und 236, die jeweils mehrere Beispiele umfassen. Diese Beispiele liegen in der Darstellung innerhalb einer gestrichelten Grenzlinie, die jedoch keine tatsächliche Begrenzung eines Clusters repräsentiert, sondern lediglich zur Illustration eingezeichnet wurde. Die Cluster 230, 232, 234 und 236 weisen jeweils ein zugehöriges Clusterzentrum 240, 242, 244 und 246 (plusförmig dargestellt) auf. Die Clusterzentren 240, 242, 244, 246 liegen jeweils mittig innerhalb des Clusters und werden unabhängig von den Grenzen des Gitters des Eingabe raums einem Cluster zugeordnet.

Die Cluster gemäß Figur 9 haben den Vorteil, dass sie die To pologie der Daten besonders geeignet repräsentieren. Das Git ter gemäß Figur 3 hat den Vorteil, dass die nicht abgedeckten Bereiche geeigneter abbildet werden. Beispielsweise kann die Abdeckung des Eingaberaums (gemäß dem Verfahrensschritt C) über das Gitter berechnet werden und die Komplexitätsbewer tung (gemäß dem Verfahrensschritt E) neben dem Gitter auch über das Clusterzentrum berechnet werden. Welcher Ansatz ge eigneter ist, kann auch von dem Verfahren des Neuronalen Net zes abhängen. Wenn sich die Kodierungsneurone im Eingebraum bewegen können, dann wird vorzugsweise der Clusteransatz ge wählt oder die Clusterzentren mit den Positionen der Kodie rungsneurone im Eingaberaum gleichsetzt.

Claims

Patentansprüche

1. Verfahren zur Qualitätssicherung eines beispielbasierten Systems (1), wobei

- das beispielbasierte System (1) anhand von erhobenen Bei spielen (22), welche eine Beispielmenge bilden, erstellt und trainiert wird,

- das jeweilige Beispiel (22) der Beispielmenge einen Ein gabewert (12), welcher in einem Eingaberaum (20) liegt, umfasst und

- eine Qualitätsbewertung, welche eine Abdeckung des Einga beraums (20) durch Beispiele (22) der Beispielmenge re präsentiert, anhand der Verteilung der Eingabewerte (12) im Eingaberaum (20) ermittelt wird (C).

2. Verfahren nach Anspruch 1, wobei das Ermitteln (C) der Qualitätsbewertung umfasst:

- Verteilen (Ci) von Repräsentanten (24, 28) im Eingaberaum (20) und

- Zuordnen (C2) einer Anzahl von Beispielen (29) der Bei spielmenge zu dem jeweiligen Repräsentanten (28), wobei die dem Repräsentanten (28) zugeordneten Beispiele (29) in einem Umgebungsbereich (30) des Eingaberaums (20), welcher den Repräsentanten (28) umgibt, liegen und wobei als Qualitätsbewertung eine lokale Qualitätsbewertung für den Umgebungsbereich (30) ermittelt wird (C3).

3. Verfahren nach Anspruch 1 oder 2, wobei die Qualitätsbewertung ein statistisches Mittel, wel ches anhand

- der Beispielmenge und/oder

- der einem jeweiligen Repräsentanten (28) zugeordneten Beispiele ermittelt wird, umfasst.

4. Verfahren nach Anspruch 3, wobei als statistisches Mittel ein Histogramm über die Anzahl der einem Repräsentanten zugeordneten Beispiele erstellt wird.

5. Verfahren nach Anspruch 2 und 3, wobei als statistisches Mittel ein statistisches Maß, insbe sondere ein Mittelwert, Median, Minimum und/oder Quantile der Anzahl der einem Repräsentanten zugeordneten Beispiele, er mittelt wird.

6. Verfahren nach wenigstens einem der Ansprüche 2 bis 5, wobei im Eingaberaum (20) benachbarte Umgebungsbereiche (32- 36) ermittelt werden (C4), deren jeweiligem Repräsentanten eine Anzahl von Beispielen zugeordnet ist, die ein vorgegebe nes Qualitätskriterium der Qualitätsbewertung erfüllt.

7. Verfahren nach Anspruch 6, wobei ein Zusammenhangsgebiet (38) innerhalb des Eingaberaums (20) ermittelt wird (C5), welches aus benachbarten Umgebungs bereichen (32-36) besteht, deren Repräsentanten jeweils eine Anzahl von Beispielen zugeordnet ist, die ein vorgegebenes Qualitätskriterium der Qualitätsbewertung erfüllt.

8. Verfahren nach wenigstens einem der vorhergehenden Ansprü che 2 bis 7, wobei in einem jeweiligen Umgebungsbereich (32-36) weitere Beispiele erfasst werden (D), wenn die für den jeweiligen Um gebungsbereich (32-36) ermittelte Qualitätsbewertung kleiner als ein vorgegebener Qualitätsschwellwert ist, und/oder wobei aus einem jeweiligen Umgebungsbereich (30) Beispiele entfernt werden, wenn die für den jeweiligen Umgebungsbereich ermittelte Qualitätsbewertung größer als ein vorgegebener Qualitätsschwellwert ist.

9. Verfahren nach wenigstens einem der vorhergehenden Ansprü che 2 bis 8, wobei

- das jeweilige Beispiel einen Ausgabewert (14), der in ei nem Ausgaberaum liegt, umfasst,

- für den jeweiligen Umgebungsbereich eine lokale Komplexi tätsbewertung ermittelt wird (E), welche eine durch die Beispiele des Umgebungsbereichs definierte Komplexität einer Aufgabenstellung des beispielbasierten Systems (1) repräsentiert, und

- die lokale Komplexitätsbewertung durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Einga beraum (20) und Ausgaberaum bestimmt wird (El).

10. Verfahren nach Anspruch 9, wobei eine aggregierte Komplexitätsbewertung durch Aggregati on der lokalen Komplexitätsbewertungen ermittelt wird (E2).

11. Verfahren nach Anspruch 10, wobei anhand der aggregierten Komplexitätsbewertung Umge bungsbereiche identifiziert werden (G), deren Komplexitätsbe wertung einen vorgegebenen Komplexitätsschwellwert unter schreitet, und wobei in den ermittelten Umgebungsbereichen die Aufgabenstel lung des beispielbasierten Systems durch eine algorithmische Lösung implementiert wird (H).

12. Verfahren nach wenigstens einem der vorhergehenden An sprüche, wobei der Eingaberaum (20, 120) anhand der Qualitätsbewertung hierarchisch aufgeteilt wird.

13. Verfahren nach wenigstens einem der Ansprüche 9-12, wobei eine Komplexitätsverteilung mittels einer Histogramm darstellung der Komplexitätsbewertung über k nächste Nachbarn eines Beispiels im Eingaberaum ermittelt wird.

14. Verfahren nach wenigstens einem der Ansprüche 9-13, wobei die Komplexitätsbewertung ein integrierter Qualitätsin dikator QI² ist,

- wobei der Qualitätsindikator insbesondere definiert ist nach:

wobei :

der normierte Abstand der repräsentierten Eingaben und

der normierte Abstand der repräsentierten Ausgaben ist, wobei x das Paar (i,2_<) bestehend aus den zwei Beispie len -_L und x₂ ist, wobei x₁ und x₂ Beispiele aus der Beispielmenge P sind, wobei P = {r_i,R_i,—,P_\p\} die Menge der Elemente der Multi menge BAGP und wobei \P\die Anzahl der Elemente der Multimenge BAGP ist.

15. Verfahren nach wenigstens einem der vorhergehenden An sprüche, wobei das beispielbasierte System (1) für den Einsatz in ei ner sicherheitsgerichteten Funktion vorgesehen ist und die sicherheitsgerichtete Funktion eine Objekterkennung auf Basis einer Bilderkennung umfasst, bei welcher das Objekt (45) un ter Verwendung des beispielbasierten Systems (1) erkannt wird.

16. Verfahren nach Anspruch 15, wobei die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs, insbesondere eines spurgebundenen Fahrzeugs (40), eines Kraftfahrzeugs, eines Flugzeugs, eines Wasser fahrzeugs und/oder eines Raumfahrzeugs, verwendet wird.

17. Verfahren nach wenigstens einem der vorhergehenden An sprüche, wobei das beispielbasierte System (1) für den Einsatz in ei ner sicherheitsgerichteten Funktion vorgesehen ist und die sicherheitsgerichtete Funktion eine Klassifikation auf der Basis von Sensordaten von Organismen darstellt oder eine si chere Steuerung von Industrieanlagen, eine Klassifikation von chemischen Substanzen, Signaturen von Fahrzeugen und/oder ei ne Steuerung im Bereich der Industrieautomatisierung umfasst.

18. Verfahren nach wenigstens einem der vorhergehenden An sprüche, wobei das beispielbasierte System (1)

- ein System mit überwachtem Lernen,

- vorzugsweise ein künstliches neuronales Netz (2) mit ei ner oder mehreren Schichten (8) von Neuronen (9), die nicht Eingabeneuron (5) oder Ausgabeneuron (7) sind und mit Backpropagation trainiert werden,

- insbesondere ein Convolutional Neural Network,

- insbesondere ein Single-Shot-MultiBox-Detector-Netz, umfasst.

19. Computerprogramm, umfassend Befehle, die bei der Ausfüh rung des Programms durch eine Recheneinheit diese veranlas sen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 18 durchzuführen.

20. Computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch eine Recheneinheit diese veranlas sen, dass Verfahren nach wenigstens einem der Ansprüche 1 bis 18 durchzuführen.