WO2006005669A2 - System zur informationsextraktion und/oder informationsbewertung - Google Patents

System zur informationsextraktion und/oder informationsbewertung Download PDF

Info

Publication number
WO2006005669A2
WO2006005669A2 PCT/EP2005/052916 EP2005052916W WO2006005669A2 WO 2006005669 A2 WO2006005669 A2 WO 2006005669A2 EP 2005052916 W EP2005052916 W EP 2005052916W WO 2006005669 A2 WO2006005669 A2 WO 2006005669A2
Authority
WO
WIPO (PCT)
Prior art keywords
neuron
area
pools
artificial
pool
Prior art date
Application number
PCT/EP2005/052916
Other languages
English (en)
French (fr)
Other versions
WO2006005669A3 (de
Inventor
Holger Arndt
Bernd SCHÜRMANN
Martin Stetter
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2006005669A2 publication Critical patent/WO2006005669A2/de
Publication of WO2006005669A3 publication Critical patent/WO2006005669A3/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein System zur Informationsextraktion und/oder Informationsbewertung, bei welchem Kopplungsstärken (k<sub

Description

Beschreibung
System zur Informationsextraktion und/oder Informationsbewer¬ tung
Die vorliegende Erfindung betrifft ein System zur Informati¬ onsextraktion und/oder Informationsbewertung und insbesondere ein System, welches in der Lage ist, komplexe Datenmannigfal¬ tigkeiten nach bestimmten Kriterien zu verarbeiten und zu be- werten.
Eine Vielzahl technischer Prozesse und Vorgänge erfordert die Verarbeitung komplexer und/oder umfangreicher Datenmengen. Zielsetzung vieler Verfahren zur Verarbeitung und Bewertung von komplexen Daten ist häufig die Durchführung der entspre¬ chenden Verfahrensschritte in dynamischer und kontextabhängi¬ ger, das heißt in aufgabenbezogener Art und Weise. Bisher gibt es zwar eine Vielzahl von technischen Lösungen zur Durchführung entsprechender Verfahren zur Informationsextrak- tion und/oder Informationsbewertung auf der Grundlage komple¬ xer Datenmengen, diese stellen jedoch in der Regel Ansätze dar, die auf ganz konkrete Aufgabenstellungen hin und oft auch auf der Grundlage so genannter Heuristiken konzipiert sind. Der Erfindung liegt die Aufgabe zugrunde, ein System zur Informationsextraktion und/oder Informationsbewertung aus bzw. von komplexen Daten bereitzustellen, welches besonders flexible, also allgemeingültig und dennoch umfassend und zu¬ verlässig einsetzbar ist.
Die Aufgabe wird erfindungsgemäß bei einem System zur Infor¬ mationsextraktion und/oder Informationsbewertung mit den Merkmalen der unabhängigen Patentansprüche 1 und 3 gelöst. Vorteilhafte Weiterbildungen des erfindungsgemäßen Systems zur Informationsextraktion und/oder Informationsbewertung sind Gegenstand der abhängigen Unteransprüche. Die Aufgabe wird auch durch eine entsprechende Verwendung des erfindungs¬ gemäßen Systems zur Informationsextraktion und/oder Informa- tionsbewertung gemäß den kennzeichnenden Merkmalen des Pa¬ tentanspruchs 23 gelöst.
Beim erfindungsgemäßen System zur Informationsextraktion und/oder Informationsbewertung gemäß einer ersten Lösung der der Erfindung zu Grunde liegenden Aufgabe sind zumindest ein erster Bereich und ein zweiter Bereich vorgesehen. Im ersten Bereich und im zweiten Bereich ist jeweils eine Mehrzahl Neu- ronenpools jeweils mit einem oder mit mehreren künstlichen Neuronen vorgesehen. Ferner ist jeder Neuronenpool aus dem zweiten Bereich über mindestens ein künstliches Neuron davon an einen Neuronenpool aus dem ersten Bereich gekoppelt über mindestens ein künstliches Neuron davon, und zwar mit einer Kopplungsstärke k2o,3o- Jeder Neuronenpool aus dem ersten Be- reich ist über mindestens ein künstliches Neuron davon an ei¬ nen Neuronenpool aus dem ersten Bereich gekoppelt über min¬ destens ein künstliches Neuron davon, und zwar mit einer Kopplungsstärke k2O,2o. Die Kopplungsstärken k2o,3o zwischen den Neuronenpools des zweiten Bereichs und den Neuronenpools des ersten Bereichs oder deren Gewichte sind niedriger als die Kopplungsstärken k2or2o oder deren Gewichte zu den Kopplungen der Neuronenpools des ersten Bereichs mit Neuronenpools des ersten Bereichs ausgebildet.
Dabei ist es in vorteilhafter Art und Weise vorgesehen, dass der erste Bereich als Aufmerksamkeitsbereich ausgebildet ist und/oder dass der zweite Bereich als Arbeitsspeicherbereich ausgebildet ist.
Beim erfindungsgemäßen System zur Informationsextraktion und/oder Informationsverarbeitung gemäß einer zweiten Lösung der der Erfindung zu Grunde liegenden Aufgabe sind ein Auf¬ merksamkeitsbereich und ein Arbeitsspeicherbereich vorgese¬ hen. Im Aufmerksamkeitsbereich und im Arbeitsspeicherbereich ist jeweils eine Mehrzahl so genannter Neuronenpools mit je¬ weils einem oder mit jeweils mehreren künstlichen Neuronen vorgesehen. Erfindungsgemäß ist jeder Neuronenpool aus dem Arbeitsspeicherbereich an einen Neuronenpool aus dem Aufmerk¬ samkeitsbereich gekoppelt. Dies geschieht insbesondere je¬ weils über mindestens ein künstliches Neuron jeweils aus dem Arbeitsspeicherbereich bzw. aus dem Aufmerksamkeitsbereich. Die Kopplung erfolgt mit einer Kopplungsstärke k30,20 bzw. k2o,3o- Ferner ist jeder Neuronenpool aus dem Aufmerksamkeits¬ bereich an einen Neuronenpool des Aufmerksamkeitsbereichs ge¬ koppelt. Dies kann jeweils ein anderer Neuronenpool sein, so dass jeweils Paare von Neuronenpools des Aufmerksamkeitsbe- reichs miteinander gekoppelt sind, es kann jedoch auch eine so genannte Selbstkopplung oder Rückkopplung eines Neuronen¬ pools mit sich selbst vorliegen. Die Kopplung erfolgt insbe¬ sondere jeweils über mindestens ein künstliches Neuron des jeweiligen Neuronenpools aus dem Aufmerksamkeitsbereich. Die Kopplung erfolgt gemäß einer gegebenen Kopplungsstärke k20,20. Ferner ist es erfindungsgemäß vorgesehen, dass die Kopplungs¬ stärken k2o,3o bzw. k3o,2o zwischen den Neuronenpools des Ar¬ beitsspeicherbereichs und den Neuronenpools des Aufmerksam¬ keitsbereichs oder deren Gewichtungen oder Gewichte niedriger oder geringer ausgebildet sind als die Kopplungsstärken k2o,2o bzw. die entsprechenden Gewichte für die Kopplung der Neuro¬ nenpools des Aufmerksamkeitsbereichs mit jeweiligen Neuronen¬ pools aus dem Aufmerksamkeitsbereich.
Es ist somit ein wesentlicher Kerngedanke der vorliegenden
Erfindung gemäß beider Lösungen der Aufgabe, die Kopplung von Neuronen oder Neuronenpools aus dem zweiten oder Arbeitsspei¬ cherbereich zu Neuronen bzw. Neuronenpools des ersten oder Aufmerksamkeitsbereichs bzw. die entsprechenden Gewichtungen schwächer auszubilden als die Kopplungsstärken oder entspre¬ chenden Gewichte für die interne und insbesondere rekurrente Kopplung der Neuronen bzw. Neuronenpools innerhalb des ersten oder Aufmerksamkeitsbereichs.
Dies kann mit anderen Worten auch heißen, dass sich Neuronen¬ pools zunächst zu Schichten oder Modulen zusammenlagern, und zwar unter anderem definiert durch die Wahl bestimmter synap- tischer Gewichte, wobei die Neuronenpools und die Schichten oder Module rekurrent verknüpft sind über schwächere synapti¬ sche Gewichte.
Die beschriebene Architektur, die Wahl und Anordnung der sy¬ naptischen Gewichte und Kopplungen und die Dynamik auf der so beschriebenen Netzarchitektur führen zu kognitionsartigen e- mergenten Prozessen und Phänomenen.
Durch diese strukturellen Maßnahmen in Bezug auf Auswahl und/oder Anordnung der Neuronen, Neuronenpools und in Bezug auf die Auswahl der Kopplungsstärken und/oder ihrer Gewichte wird eine zur Informationsverarbeitung im zentralen Nerven¬ system des Menschen analoge Verarbeitungsstruktur mit einer entsprechenden Verarbeitungsdynamik erzeugbar oder erzeugt, so dass in bioanaloger Art und Weise die höheren Denkleistun¬ gen des menschlichen zentralen Nervensystems quantitativ nachbildbar sind. Dadurch werden insbesondere die Aspekte der verteilten Repräsentation, des so genannten Arbeitsgedächt- nisses, der Kompetition und Kooperation, insbesondere in ge¬ lenkter Art und Weise, sowie Aspekte der Dynamisierung von Beziehungen von Eigenschaften oder Features realisierbar.
Durch die erfindungsgemäße Struktur des vorgeschlagenen Sys- tems werden neuroanatomischen und neurophysiologischen Struk¬ tur- und Funktionsmerkmale, die entsprechende Dynamik und weitere entsprechende Eigenschaften des humanen Nervensystems durch eine neurokognitive Modellierung nachgeahmt.
Die Erfindung realisiert somit auch die quantitativen Aspekte der neuronalen Dynamik in bioanaloger Form. Es können dabei auch weitere Areale, Schichten oder Module oder beliebig vie¬ le Areale, Schichten oder Module miteinander gekoppelt oder verschaltet werden. Diese können auch andere als nur Aufmerk- samkeitsfunktionen und/oder Arbeitsspeicher- oder - gedächtnisfunktionen besitzen. Es können z. B. auch eine kom¬ plette Aufmerksamkeitsfilterung, z. B. mit gelenkter Winner- take-all-Struktur, ein selektives Arbeitsgedächtnis, bei wel¬ chem die Informationen dynamisch durch das Netz propagieren, realisiert sein, wobei insbesondere auch mehrere Informatio¬ nen oder Speicherinhalte miteinander assoziiert werden kön- nen.
Alternativ oder zusätzlich kann es vorgesehen sein, dass ein weiterer Bereich oder eine Mehrzahl davon ausgebildet sind und im weiteren Bereich oder in den weiteren Bereichen je- weils eine Mehrzahl Neuronenpools jeweils mit einem oder mit mehreren künstlichen Neuronen ausgebildet ist.
Bei einer anderen Ausführungsform sind ein oder beliebige Mehrzahl oder Kombination von Bereichen vorgesehen aus der Gruppe von Bereichen, die gebildet wird von einem Bereich, durch den eine komplette aufmerksamkeitsbasierte Filterung realisiert wird, insbesondere im Sinne einer gelenkten Win- ner-take-all-Struktur, von einem Bereich, durch welchen eine Konfliktdetektion realisiert wird, und von einem Bereich, durch den ein selektiver Arbeitsspeicher realisiert wird.
Bei einer vorteilhaften Weiterbildung des erfindungsgemäßen Systems zur Informationsextraktion und/oder Informationsver¬ arbeitung ist es vorgesehen, dass jeder Neuronenpool aus dem Arbeitsspeicherbereich, insbesondere über mindestens ein künstliches Neuron davon, an mindestens einem Neuronenpool aus dem Arbeitsspeicherbereich gekoppelt ist, insbesondere über mindestens ein künstliches Neuron davon, mit einer Kopp¬ lungsstärke k3o,3o- Auf diese Art und Weise wird im Arbeits- Speicherbereich eine interne Kopplung von Neuronen und Neuro¬ nenpools erreicht.
Alternativ oder zusätzlich dazu ist es vorgesehen, dass ein Eingangsbereich oder Eingabebereich vorgesehen ist, welcher der Dateneingabe oder Informationseingabe dient. Dies kann insbesondere ein sensorischer Eingangsbereich sein, oder es ist ein sensorischer Teil im Eingangsbereich oder Eingabebe- reich vorgesehen. Der Eingangsbereich weist eine Mehrzahl Neuronenpools mit jeweils einem oder mit jeweils mehreren künstlichen Neuronen auf, wobei Neuronenpools aus dem Ein¬ gangsbereich, insbesondere über mindestens ein künstliches Neuron davon, an mindestens einen Neuronenpool aus dem Ein¬ gangsbereich gekoppelt ist, insbesondere über ein künstliches Neuron davon, mit einer Kopplungsstärke kio,io-
Es ist von Vorteil, wenn der Eingangsbereich als ein Modul linearer Verstärkung ausgebildet ist.
Gemäß einer anderen vorteilhaften Ausgestaltungsform des er¬ findungsgemäßen Systems zur Informationsextraktion und/oder Informationsbewertung ist es vorgesehen, dass ein oder mehre- re Neuronenpools aus dem Eingangsbereich, insbesondere über ein künstliches Neuron davon an einen oder an mehrere Neuro¬ nenpools des Aufmerksamkeitsbereichs gekoppelt sind, insbe¬ sondere über ein künstliches Neuron davon, mit einer Kopp¬ lungsstärke kio,2O-
Alternativ oder zusätzlich dazu ist es vorgesehen, dass ein Ausgangsbereich oder Ausgabebereich vorgesehen ist, der der Ausgabe von Daten oder Information und insbesondere von Ex- traktionsergebnissen und/oder Bewertungsergebnissen dient.
Gemäß einer anderen vorteilhaften Ausführungsform des erfin¬ dungsgemäßen Systems ist es vorgesehen, dass jeweils Neuro¬ nenpools und insbesondere jeweils die Neuronenpools des Ein¬ gangsbereichs, des Aufmerksamkeitsbereichs und/oder des Ar- beitsspeicherbereichs jeweils gruppiert ausgebildet oder vor¬ gesehen sind, und zwar jeweils in einer Mehrzahl so genannter Poolgruppen. Auf diese Art und Weise wird eine Art endliche Reichweite der Neuronen, der Neuronenpools bzw. der Poolgrup¬ pen erzeugt, auf deren Grundlage dann die Multiarrealität und die verteilte Repräsentation von Datenstrukturen und deren Verarbeitung, wie sie im zentralen Nervensystem des Menschen vorliegen, nachgebildet werden. Dabei ist es von weiterem Vorteil, wenn die Poolgruppen des Aufmerksamkeitsbereichs und die Poolgruppen des Arbeitsspei- cherbereichs sich in ihrer Anzahl entsprechen oder in etwa entsprechen, wobei dann insbesondere eine paarweise Zuordnung der Poolgruppen des Aufmerksamkeitsbereichs zu den Poolgrup¬ pen des Arbeitsspeicherbereichs vorliegt, wobei gemäß dieser Zuordnung eine Kopplung mit einer Kopplungsstärke von k2o,3o vorliegen soll oder kann.
Gemäß einer weiteren bevorzugten Ausführungsform des erfin¬ dungsgemäßen Systems zur Informationsextraktion und/oder In¬ formationsbewertung ist es vorgesehen, dass Neuronenpools in¬ nerhalb eines der Bereiche Eingangsbereich, Aufmerksamkeits- bereich und/oder Arbeitsspeicherbereichs innerhalb einer
Poolgruppe dicht gekoppelt sind, insbesondere auch bei Voll¬ vernetzung.
Das soll insbesondere bedeuten, dass die Kopplung von Neuro- nenpools oder von Neuronen, die innerhalb einer Poolgruppe liegen, insbesondere über vergleichsweise viele Fasern mit vergleichsweise vielen anderen Neuronen oder Neuronenpools derselben Poolgruppe gekoppelt sein sollen. Diese Eigenschaft kann für einen, einige oder alle der genannten Bereiche vor- liegen. Dabei kann auch eine Vollvernetzung realisiert sein.
Bei Vollvernetzung soll eine dichte Kopplung bedeuten, dass die Kopplungen oder deren Gewichtungen vergleichsweise hoch oder stark gewählt sind. Eine weniger dichte Kopplung ist bei Vollvernetzung durch vergleichsweise weniger hoch oder weni¬ ger stark gewählte Kopplungen oder Gewichtungen gekennzeich¬ net.
Bei einer anderen vorteilhaften Ausführungsform des erfin- dungsgemäßen Systems ist es vorgesehen, dass Neuronenpools eines der Bereiche Eingangsbereich, Aufmerksamkeitsbereich und/oder Arbeitsspeicherbereich zu Neuronen oder Neuronen- pools einer anderen Poolgruppe aus demselben Bereich weniger dicht gekoppelt sind. Dies soll insbesondere bedeuten, dass Neuronen oder Neuronenpools einer Poolgruppe eines gegebenen Bereichs mit Neuronen bzw. Neuronenpools einer anderen Pool- gruppe desselben Bereichs eine vergleichsweise geringe Zahl aller möglichen Kopplungen ausgebildet haben.
Alternativ kann aber auch eine Vollnetzung realisiert sein.
Durch die beiden zuletzt genannten Umstände wird wiederum die Multiarrealität und/oder die verteilte Repräsentation von Da¬ ten, Informationen und deren Verarbeitung in bioanaloger Art und Weise modellierbar.
Es ist ferner von Vorteil, wenn eine Poolgruppe aus dem Ein¬ gangsbereich, dem Aufmerksamkeitsbereich und/oder dem Ar¬ beitsspeicherbereich alternativ oder simultan aufweisen einen oder eine Mehrzahl spezifischer Neuronenpools, einen oder ei¬ ne Mehrzahl nicht-selektiver Neuronenpools und/oder einen o- der eine Mehrzahl inhibitorischer Neuronenpools.
Das erfindungsgemäße System kann ein neurodynamisch.es Netz aufweisen oder als ein solches ausgebildet sein, insbesondere in der Form eines neurodynamisehen Netzes spikender oder pulskodierender künstlicher Neurone. Dabei sollen etablierte künstliche neuronale Netze oder ANNs, nämlich artificial neu¬ ral networks und ferner Multilagenperceptrons, SOMs (seif or- ganizing maps) etc. mit umfasst sein.
Dabei ist es von besonderem Vorteil, wenn ein Teil der künst¬ lichen Neurone oder sämtliche künstliche Neurone als so ge¬ nannte spikende künstliche Neurone ausgebildet sind.
Denkbar ist auch, dass gemäß einer weiteren zusätzlichen oder alternativen Ausführungsform ein Teil der künstlichen Neurone oder sämtliche künstliche Neurone als so genannte pulskodie¬ rende künstliche Neurone ausgebildet sind. Dabei kann die entsprechende Realisation der spikenden künst¬ lichen Neurone und/oder der pulskodierenden künstlichen Neu¬ rone wie in [1] erfolgen.
Zur Realisierung der verschiedenen Modultypen und insbesonde¬ re des Aufmerksamkeitsmoduls und des Arbeitsspeichermoduls können die Kopplungen, deren Gewichte und die synaptischen Gewichte gemäß [2] gewählt und eingestellt werden.
Es wird ferner bevorzugt, dass der Eingangsbereich, der Auf¬ merksamkeitsbereich, der Arbeitsspeicherbereich und/oder der Ausgabebereich als Schichten eines künstlichen neuronalen Netzes ausgebildet sind.
Schließlich ist es alternativ oder zusätzlich vorgesehen, dass die Dynamik der jeweiligen Neurone, der jeweiligen Neu- ronenpools und/oder der Bereiche beschrieben und/oder defi¬ niert ist gemäß einem Konzept aus der Gruppe die gebildet wird von einem Mean-Field-Ansatz, von einem Integrate-and- Fire-Ansatz, von einem Ansatz für pulskodierende Neuronen, von einem Multikompartimentansatz und von einem Hodgkin- Huxley-Ansatz, oder von einer beliebigen Kombination davon [1], [2], [4].
Ein weiterer Aspekt der vorliegenden Erfindung ist die Ver¬ wendung des erfindungsgemäßen Systems zur Informationsextrak¬ tion und/oder Informationsbewertung bei Verfahren zur neuro- kognitiven Finanzdatenprognose, neurokognitiven Prozesssteue- rung, insbesondere für technische Vorgänge, neurokognitiven Fahrerassistenz und/oder neurokognitiven Robotersteuerung.
Nachfolgend werden diese und weitere Aspekte der vorliegenden Erfindung noch einmal aus einem anderen Blickwinkel erläu- tert: Es soll die Extraktion relevanter Informationen aus komplexen Daten in dynamischer und kontextabhängiger, d. h. aufgabenbe¬ zogener Art und Weise realisiert werden. Unter komplexen Da¬ ten werden typischerweise Daten verstanden, die z. B. von Fi- nanzmärkten, der natürlichen AlltagsUmgebung, bei komplexen Fertigungsprozessen usw. erzeugt werde.
Bisher sind nur aufgabenspezifisch zugeschnittene Lösungen des Problems auf der Basis von Heuristiken bekannt, die keine flexible und anpassungsfähige Vorgehensweise ermöglichen.
Das Problem wird erfindungsgemäß gelöst durch eine ideali¬ sierte Nachbildung der Funktionsweise des menschlichen Ge¬ hirns, nämlich z. B. durch eine multiareale Verarbeitung, auf der Basis einer neurokognitiven Modellierung. So werden höhe- re Denkleistungen des menschlichen Gehirns quantitativ und in bioanaloger Art und Weise nachgebildet, so dass die überra¬ gende menschliche Fähigkeit zur Navigation in komplexen Umge¬ bungen nachgeahmt und technisch verwertet werden kann.
Ein Kernaspekt liegt in der quantitativen Nachbildung biolo¬ gischer Signal- und Informationsverarbeitungsprinzipien, wel¬ che der menschlichen Kognition zu Grunde liegen, um dadurch technische Probleme zu lösen.
Ein Kerngedanke der Erfindung besteht also darin, die mensch¬ liche Fähigkeit des Denkens, also des sinnvollen Umgangs mit der komplexen Alltagsumgebung quantitativ nachzubilden mit dem Ziel, gleichermaßen komplexe technische Probleme besser als bisher bzw. erstmals überhaupt lösen zu können.
Im Folgenden wird die Herangehensweise zur Erreichung dieses Ziels erläutert.
Komplexe Alltagsprobleme und Technik
Als Konsequenz einer Jahrmillionen dauernden Evolution hat die Natur höhere Säugetiere und den Menschen mit einem leis- tungsfähigen Gehirn ausgestattet, und das, obwohl beispiels¬ weise das menschliche Gehirn etwa 20 Prozent des gesamten täglichen Energiebedarfs verschlingt. Zieht man in Betracht, dass in früheren Zeitaltern die tägliche Nahrungsbeschaffung ein kritisches Problem des Überlebens und damit ein sehr starkes Selektionskriterium darstellte, so wird unmittelbar klar, dass ein großes und leistungsfähiges Gehirn einen enor¬ men Überlebensvorteil darstellen musste, um nicht von der E- volution ausgemerzt oder gar nicht zugelassen zu werden.
Ein leistungsfähiges Gehirn befähigt uns, mit der Komplexität der natürlichen oder künstlichen Umgebung in flexibler und vor allem aufgabenrelevanter Weise umzugehen. Aufgabenrele¬ vant heißt dabei, nicht nur durch starre Verhaltensmuster das Überleben zu sichern, sondern durch selbst gestellte Aufgaben in aktiver und kreativer Weise auf die Umgebung einzuwirken, um diese für die eigenen Bedürfnisse besser zu formen. Dafür ist unser Gehirn so gut angepasst, dass uns gar nicht bewusst wird, wie komplex und vielfältig die Aufgaben sind, die wir gänzlich mühelos bewältigen: Beispielsweise sind komplexe und zusammengesetzte Tätigkeiten wie Autofahren, sich im sozialen Umfeld bewegen, Einkaufen, Fußballspielen, ein sinnvolles Zwiegespräch führen usw. für einen Menschen relativ leicht zu bewältigen, stellen jedoch selbst für fortgeschrittene künst- liehe Systeme hohe bis unüberwindliche Hürden dar. Es gibt also eine Klasse von Problemen, die für höhere biologische Organismen leicht, für gegenwärtige künstliche Systeme aber schwer bis gar nicht zu bewältigen sind. Wichtige Charakte¬ ristiken dieser Problemen sind:
• Sie sind dynamischer Natur: Wir bewegen uns grundsätzlich in einem zeitlich veränderlichen Milieu, die physikali¬ sche Natur unserer Umgebung führt immer zu zeitlichen glatten Veränderungen. Unser Gehirn muss der Wichtigkeit dieser zeitlichen Struktur Rechnung tragen. • Sie sind von exponentieller Vielfalt: eine natürliche Um¬ gebung ist aus vielen Bausteinen zusammengesetzt, die sich in schier unendlicher Vielfalt kombinieren lassen. Beispielsweise kann man unmöglich jedes einzelne Gesicht aller 6 Milliarden Menschen speichern, nur weil einem im Prinzip jeder einmal begegnen könnte. Man spricht von kombinatorischer Explosion. Unser Gehirn muss mit der kombinatorischen Explosion umgehen können, d.h. auf nie¬ mals gesehene Phänomene trotzdem geeignet reagieren kön- nen. Dies erfordert die Fähigkeit zu Kategorisierung, Flexibilität (d.h. neue Situationen vor dem aktuellen Kontext bewerten, so dass man sie erfolgreich lösen kann), und Kreativität (d.h. gänzlich neue Szenarien au¬ tonom generieren und durchspielen können) .
• Sie folgen kausalen Zusammenhängen: Die Vielfalt der Um¬ welt zur Gegenwart sowie die geeigneten Möglichkeiten, darauf zu reagieren bzw. zu agieren, lassen sich zum Teil aus der unmittelbaren und mittelbaren Vergangenheit ab- leiten. Allerdings sind nur bestimmte Teile der Vergan¬ genheit für die gegenwärtige Entscheidungsfindung wich¬ tig: Die Vergangenheit bildet den Kontext vor dessen Hin¬ tergrund die Gegenwart gespeichert und bewertet werden muss. Das Gehirn muss kontextabhängig agieren können. • Sie stellen konfliktierende Anforderungen: Es gibt nicht immer eine beste Strategie, vielmehr stehen meist eine Mehrzahl von Lösungsmöglichkeiten im Wettbewerb. Das Ge¬ hirn benötigt einen Mechanismus zur Konflikt-Detektion und Konfliktbewältigung. • Es gibt nicht für jede Situation einen Lehrer: Das Gehirn muss Belohnungssignale - Emotionen, Schmerz etc. - selbst generieren, und muss aus dem in der Vergangenheit Gelern¬ ten generalisieren können.
Nun gibt es auch im technischen Bereich Problemstellungen, auf die alle oder Teile der eben aufgelisteten Kriterien zu¬ treffen. Dazu zählen beispielsweise: • Industrielle Fertigungsprozesse: Viele komplexe Ferti¬ gungsprozesse werden durch mehrere hundert Prozessparame¬ ter charakterisiert, die letztendlich durch die Funkti- onsweise der Fertigungsstrasse erzeugt werden (Dynamik, kausale Grundlage, Kontext) . Allerdings sind diese Zusam¬ menhänge kompliziert und oft unbekannt, können also nicht ohne weiteres modellhaft erfasst werden.
• Finanzprognosen: Der Aktienmarkt ist mittlerweile sehr komplex sogar für erfahrene Analysten, ist dynamischer Natur, gehorcht allgemeinen Marktprinzipien (analog zu physikalischen Gesetzen) , also kausalen Komponenten, die allerdings versteckt agieren und nur in der Komplexität der Datenstatistik manifest werden. Er ist extrem kon¬ textabhängig (im Prinzip stellt jeder Aktienwert, Kurs¬ wert etc. den Kontext für die Bewertung anderer Kurse dar) und kann aufgrund versteckter Ursachen oder unvor¬ hergesehener Ereignisse auch widersprüchliche Aktienver- laufe enthalten.
• Fahrersysteme: Wie ein menschlicher Pilot muss ein künst¬ liches Fahrersystem mit der Komplexität der natürlichen Umgebung umgehen. Existierende Fahrerassistenzsysteme funktionieren erfolgreich, weil sie sich auf einfache, ohne Kognitionsaspekte zugängliche Teilprobleme beschrän¬ ken (Beispiel: Fahrspurerkennung ist ein reines Bildver¬ arbeitungsproblem, Erkennung einer potenziellen Gefahren¬ situation beim Fahrspurwechsel hat eine kognitive Kompo- nente. Erkennen einer Gefahrensituation ganz allgemein im Straßenverkehr ist ein nur durch Kognition lösbares Prob¬ lem. )
• Management technischer Netzwerke: Dazu zählen selbstorga- nisierende Telekommunikationsnetze, Rechnernetze mit in¬ telligentem Routing und andere vernetzte Multikomponen- ten-Systeme (z.B. supply-chain management ...) . Solche verteilten Systeme zu optimieren stellt ein NP-hartes Problem dar, durch das kombinatorische Zusammenspiel der einzelnen Komponenten wird eine exponentielle Verhaltens¬ vielfalt des Netzes erzeugt. Darüber hinaus gehorcht das Netz versteckten zugrunde liegenden Gesetzen (Physik der Übermittlung von Daten, Gütern etc.) und kann vergangen¬ heitsabhängige Performance aufweisen (z.B. reflektiert durch Füllstände von Datenqueues oder Lagerbeständen) .
Die Essenz der zu meldenden Erfindung besteht darin, durch quantitative Nachbildung höherer Kognitionsleistungen des Ge¬ hirns mit Hilfe der Computational Neuroscience eine neue Ge¬ neration von Algorithmen zur Verfügung zu stellen, die für Problemstellungen aus der oben spezifizierten Klasse bessere Lösungen ermöglicht als bisher. Die neuen Algorithmen funkti¬ onieren auf der Basis neurokognitiver Modellierung.
Neurokognitive Modellierung höherer Hirnleistungen
In den vergangenen Jahren ist es gelungen, durch quantitative Modellierung großer Teilsysteme des Gehirns eine Mehrzahl seiner visuell-präkognitiven sowie kognitiven Fähigkeiten quantitativ nachzubilden.
Die erfolgreiche Beschreibung von menschlichen Denkleistungen beruhte auf der neurodynamischen Modellierung von Netzwerken spikender Neuronen sowie von Mean-Field-Beschreibungen dieser Systeme. Dabei wurde im Gegensatz zu existierenden Verfahren besonders viel Wert auf die neuroanatomische Verbindungs- struktur des Gehirns gelegt. Der prominenteste Teil des menschlichen Gehirns ist die Großhirnrinde (Cerebraler Kor¬ tex) . Der Kortex ist in ca. 200 funktionell verschiedene Hirnareale aufgeteilt, von denen man bei vielen inzwischen weiß, dass sie vorwiegend, aber bei weitem nicht exklusiv in bestimmte und ganz verschiedene Funktionen involviert sind. So findet beispielsweise in Hinterhauptsläppen frühe Sehko¬ dierung statt, der Frontallappen hingegen ist involviert in Arbeitsgedächtnis, Entscheidungsfindung und der Motorplanung. Unter dem Schädelzenit befindet sich ein mit Konfliktdetekti- on befasstes Hirngebiet. Trotz der gänzlich verschiedenen Aufgaben weisen die verschiedenen Hirnareale mikroskopisch eine sehr ähnliche Struktur auf.
Ein zweites wichtiges Aufbaumerkmal des Gehirns ist eine starke Vernetzung der Nervenzellen sowohl innerhalb eines je¬ den Areals (kurzreichweitige Verbindungen) als auch zwischen den Hirnarealen (langreichweitige Verbindungen) . Diese Ver¬ bindungen sind fast immer auch rekurrent, also rückgekoppelt. So sind im menschlichen Hirn von ca. 40000 möglichen Verbin¬ dungen zwischen 200 Hirnarealen schätzungsweise immerhin 10000 Verbindungen realisiert.
Ein drittes wichtiges Merkmal besteht in der inhärent dynami¬ schen Art der Informationskodierung: Nervenzellen kodieren Information durch Folgen kurzer Pulse, Spikes genannt. Diese sind der neurophysiologischen Untersuchung zugänglich. Dieser Zeitkode im mikroskopischen Bereich wird komplementiert durch dynamischen Populationskode auf Ratenbasis im mesoskopisehen Bereich, der durch die Vielfalt neuronalen Signalaustausches in emergenter Weise entsteht. Mesoskopische Aktivitätsmuster können heute durch Techniken der funktionellen Bildgebung ge- messen werden. Als Folge der dynamischen neuronalen Kodierung entstehen dynamische Verhaltensmuster, die in psychologischen Tests (Reaktionszeiten, Fehlerraten) aufgenommen werden.
Die vielfältige Datenbasis diente als Grundlage für die Er- Stellung von neurodynamisehen Modellen, die die Funktionswei¬ se großer Hirnsysteme quantitativ erfolgreich nachbilden und dabei all diesen experimentellen Ergebnissen Rechnung tragen. Diese Art von Algorithmen wird hier als neurokognitives Mo¬ dell bezeichnet. Sie basieren auf der Hypothese, dass Auf- merksamkeit mit Arbeitsgedächtnisfunktionen sowie der Kon- fliktdetektion in rekurrenter und dynamischer Weise zusammen¬ arbeiten. Im Rahmen des Zyklus dieser Zusammenarbeit wird ständig der gegenwärtige Gedächtnisinhalt aus der unmittelba¬ ren Vergangenheit zusammen mit dem gegenwärtigen Sensorinput und dessen Konfliktpotenzial dazu benutzt, den jeweils inte¬ ressantesten neuen Aufmerksamkeitsfokus zu erzeugen. Dieser Zyklus wird zusätzlich geformt durch den Kontext des Lang¬ zeitgedächtnisses sowie der Emotionen. Im Rahmen neurokogni- tiver Modelle werden diese hier qualitativ beschriebenen Zu¬ sammenhänge durch Netze spikender Neuronen bzw. Mean-Field- Modelle quantitativ beschrieben.
Im Folgenden wird zusammengefasst, welche Grundprinzipien der Hirnfunktion - untermauert durch neurokognitive Modellierung - als Basis für seine Fähigkeit angesehen werden, die oben beschriebene Problemklasse erfolgreich zu behandeln.
• Verteilte Repräsentation: Jedes Gehirnareal repräsentiert Eigenschaften (features) einer bestimmten Klasse in un¬ terschiedlichen Neuronenpools. Damit kodiert jedes Ge¬ hirnareal einen bestimmten unvollständigen Teilaspekt der Umwelt. Durch eine verteilte Repräsentation erhält das
Gehirn die Fähigkeit, der kombinatorischen Explosion ent¬ gegenzutreten, da auch die Teilaspekte der Repräsentation selbst zu exponentiell vielen Kombinationen zusammenge¬ fügt werden können. Beispiele für Featureklassen stellen dar:
- Die Identität von Objekten im Blickfeld, der Ort von Objekten, der Bewegungszustand von Objekten, die Vertei¬ lung von Farbe
• Aspekte des Arbeitsgedächtnisses, also Objektorte, Ob¬ jektidentitäten, Bewegungszustände in der unmittelbaren Vergangenheit
- Regel-Gedächtnis, also beispielsweise die Repräsentati- on, wie ein Feature aus der Vergangenheit und ein Feature aus der Gegenwart zu einem Motorplan verbunden werden sollen (ein typisches Beispiel ist ein Vergleich einer Spielkarte mit einer anderen, vor zwei Sekunden gesehe¬ nen. Regel 1 wäre: Hebe den Finger, wenn beide Karten gleich waren. Regel 2, hebe den Finger bei verschiedenen Karten) . Regel-Gedächtnis bildet einen wichtigen Aspekt der Flexibilität.
- Gedächtnis für Gedankenfolgen (mentale Manipulation, wie gedankliche Objektrotation) . Die spontane Generierung von Gedankenfolgen aus einem Ursprungsgedanken oder Sti- mulus könnte eine neuronale Basis für Kreativität dar¬ stellen.
• Kompetition: Innerhalb eines jeden Gehirnareals treten bestimmte Features oder Featuregruppen miteinander in Konkurrenz um Repräsentation. Das erzeugt als emergenten Prozess eine Gewichtungskarte (salicency map) , so dass bestimmte Features intensiver repräsentiert werden als andere. Man erhält eine kontextabhängige Informationsse¬ lektion.
• Kooperation: Features' können auch dynamisch zu Feature¬ gruppen oder Kategorien gebunden werden. Ein Feature kann auch so die Repräsentation eines anderen Features begüns¬ tigen.
• Gelenkte Kompetition und Kooperation (biased Competition and Cooperation) : Durch die Verbindung zwischen Arealen kann ein Areal jeweils den Kompetitionsvorgang im anderen Areal lenken. Dieser Vorgang ist rekurrent, so dass durch diesen wechselseitigen Lenkvorgang sukzessive und dyna¬ misch ein immer besserer Abgleich von verschiedenen Fea¬ ture-Räumen der verschiedenen Hirnareale miteinander ent¬ steht. Insbesondere enthält jede Repräsentation, weil sie nur einen Teilaspekt der Umgebung abdeckt, zwangsläufig Mehrdeutigkeiten. Gelenkte Kompetition stellt einen Me¬ chanismus dar, durch den die verschiedenen Hirnareale durch die Information ihres speziellen Featureraums Mehr- deutigkeiten in den jeweils anderen Feature-Räumen auflö¬ sen können. Jede Repräsentation entwickelt sich vor dem Kontext aller anderen Repräsentationen. Kooperation kann dann verschiedene Features zu Modulen binden, das heißt zueinander in Beziehung setzen. (Es wird vermutet, dass das neuronale Korrelat bewusster Wahrnehmung im Herstel¬ len dieser wechselseitigen Beziehungen besteht.)
• Das Herstellen von Beziehungen geschieht in dynamischer Weise für (a) gegenwärtige Features untereinander,
(b) gegenwärtige Features mit anderen Featureräumen,
(c) gegenwärtige Features mit vergangenen Werten anderer Features und Featureräume, und (d) dem Gesamtzustand mit zukünftigen, aber erwarteten Features. Insbesondere das Miteinbeziehen der Vergangenheit trägt dem kausalen Cha¬ rakter der Signale Rechnung.
Neurokognitive Modelle für technische Anwendungen
Die Essenz der gemeldeten Erfindung besteht darin, multiarea- Ie neurokognitive Systeme zur Lösung technischer Probleme he¬ ranzuziehen mit dem Ziel, die Stärken menschlicher Kognition zur Lösung bislang hartnäckiger Probleme auszunutzen.
Dynamische Daten aus technischen Systemen werden nach Vorver¬ arbeitung ggf. zur Dimensionsreduktion als sensorischer Input in ein neurokognitives Modell gespeist. Dieses extrahiert verschiedene Features (z.B. Independent Components oder nichtparametrische Featurevektoren analog zu selbstorganisie- renden Merkmalskarten) in verschiedenen Arealen, von denen manche auch mit einer persistenten Aktivität (Arbeitsgedächt¬ nis-Funktion) ausgestattet sein können. Optimierung des mul- tiarealen Systems geschieht durch biologisch motivierte Lern¬ regeln (z.B. Hebb-Regel oder spike time dependent plastici- ty) , mit denen sich auch Kostenfunktionen zur Bewertung des¬ sen, wie gut eine dynamische Aufgabe gelöst wird, aufstellen lassen. Nachfolgend wird die Erfindung anhand bevorzugter Ausfüh¬ rungsbeispiele auf der Grundlage schematischer Zeichnungen erläutert:
Fig. 1 ist ein schematisches Blockdiagramm, welches eine erste Ausführungsform des erfindungsgemäßen Sys¬ tems zur Informationsextraktion und/oder Informa¬ tionsbewertung darstellt.
Fig. 2 ist ein schematisches Blockdiagramm, welches eine weitere Ausführungsform des erfindungsgemäßen Systems zur Informationsextraktion und/oder In¬ formationsbewertung darstellt.
Fig. 3 ist ein schematisches Blockdiagramm, welches eine Poolgruppe einer Mehrzahl Neuronenpools zeigt.
Fig. 4 ist eine schematische Darstellung eines Neuronen- pools mit einer Mehrzahl künstlicher Neurone.
Nachfolgend werden strukturell und/oder funktionell ähnliche, vergleichbare oder äquivalente Elemente mit denselben Bezugs¬ zeichen bezeichnet, und es wird nicht in jedem Fall ihres Auftretens eine detaillierte Beschreibung wiederholt.
Fig. 1 ist eine schematische Darstellung in Form eines Block¬ diagramms einer ersten Ausführungsform des erfindungsgemäßen Systems 1 zur Informationsextraktion und/oder Informationsbe- wertung. Das System 1 wird im Wesentlichen von einem neurona¬ len Netz gebildet. Dieses neuronale Netz weist einen Ein¬ gangsbereich 10 auf, der auch als EingangsSchicht oder Einga¬ beschicht bezeichnet werden kann. Des Weiteren ist ein Auf¬ merksamkeitsbereich 20 vorgesehen, welcher auch als Attention Layer oder als AufmerksamkeitsSchicht bezeichnet werden kann. Es schließt sich ein Arbeitsspeicherbereich 30 an, welcher auch als Working Memory Layer oder als Arbeitsspeicherschicht bezeichnet werden kann. Schließlich folgt ein Ausgangsbereich oder Ausgabebereich 40.
Der Eingangsbereich oder Eingabebereich 10, welcher auch als sensory input layer oder als sensorische Eingabeschicht be¬ zeichnet werden kann, weist Gruppen 10m, m = 1, ..., M auf, die auch als Poolgruppen 10m bezeichnet werden. Jede Pool¬ gruppe 10m besitzt eine Mehrzahl Neuronenpools NlO mit einer Mehrzahl künstlicher Neurone nlO. Bestimmten Neuronenpools NlO, aber nicht unbedingt allen, werden bestimmte sensorische Eingaben oder sensorische Eingangsdaten E zugeführt. Über ei¬ ne entsprechende Kopplung kior2o erfolgt die Verbindung an die sich anschließende Aufmerksamkeitsschicht 20 oder an den At¬ tention Layer 20.
Der Aufmerksamkeitsbereich 20 oder die Aufmerksamkeitsschicht 20 wird gebildet von einer Mehrzahl Gruppen 20i, 1 = 1, ..., L einer Mehrzahl von Neuronenpools N20. Die Gruppen 2Oi wer¬ den auch als Poolgruppen 2Oi für den Aufmerksamkeitsbereich 20 bezeichnet. Die Neuronenpools N20 des Aufmerksamkeitsbe¬ reichs 20 besitzen jeweils eine Mehrzahl künstlicher Neurone n20. Die Kopplung innerhalb der Poolgruppen 2Oi ist dicht im oben bereits beschriebenen Sinne, während die Kopplung zwi¬ schen benachbarten Poolgruppen 2Oi des Aufmerksamkeitsbe- reichs 20 weniger dicht sind. Die Kopplung der Neurone n20, der Neuronenpools N20 und der Poolgruppen 2Oi erfolgt mit ei¬ ner Kopplungsstärke k2o,2θ-
Den Poolgruppen 2Oi des Aufmerksamkeitsbereichs 20 sind ein- deutig zugeordnet Poolgruppen 3Oj, j = 1, ..., J des Arbeits¬ speicherbereichs 30. Jede Poolgruppe 3Oj des Arbeitsspeicher¬ bereichs 30 enthält eine Mehrzahl Neuronenpools N30 des Ar¬ beitsspeicherbereichs 30. Jeder Neuronenpool N30 des Arbeits¬ speicherbereichs 30 enthält eine Mehrzahl künstlicher Neurone n30 des Arbeitsspeicherbereichs 30. Die Kopplung des Neuro¬ nenpools N30 oder Neuronen n30 des Arbeitsspeicherbereichs 30 innerhalb einer gegebenen Poolgruppe 30j ist hier wieder dicht im oben erwähnten Sinne. Die Kopplung zu anderen Pool¬ gruppen 3Oj ist dagegen weniger dicht ausgebildet. Die Kopp¬ lung zwischen Poolgruppen 3Oj, Neuronenpools N30 bzw. zwi¬ schen Neuronen n30 erfolgt im Arbeitsspeicherbereich 30 mit einer Kopplungsstärke k3o,3o-
Es schließt sich dann eine Ausgabeschicht oder Ausgangs¬ schicht 40 an, über welche entsprechende Ausgabedaten im Hin¬ blick auf die Informationsextraktion und/oder Informationsbe- wertung ausgegeben werden können.
Fig. 2 ist ebenfalls ein schematisches Blockdiagramm einer anderen Ausführungsform des erfindungsgemäßen Systems zur In¬ formationsextraktion und/oder zur Informationsbewertung. Im Unterschied zur Ausführungsform der Fig. 1 sind bei der Aus¬ führungsform der Fig. 2 im Arbeitsspeicherbereich 30 und im Aufmerksamkeitsbereich 20 jeweils nur zwei Poolgruppen 3Qi, 3Ü2 bzw. 20i, 2O2 vorgesehen. Die Poolgruppen 30i und 3O2 bil¬ den eine Raumarbeitsspeicherschicht bzw. eine Objektarbeits- Speicherschicht für die Analyse räumlich zeitlicher Zusammen¬ hänge in Bezug auf bestimmte Objekte. Über die Arbeitsspei¬ cherschicht 30 hinaus sind jedoch noch ein Langzeitspeicher 50 (long term memory) , eine Regelspeicherschicht 60 (rule me- mory layer) sowie eine Entscheidungsschicht 70 (decision lay- er) vorgesehen. Des Weiteren gibt es verschiedene so genannte Biaskopplungen 80-1, 80-2 und 80-3, wobei über die Biaskopp- lung 80-2 eine so genannte Aufmerksamkeitsfilterung (attenti¬ on filtering) realisiert werden kann.
Fig. 3 zeigt die Ausführung der Poolgruppe 3O2 für den Ob¬ jektarbeitsspeicherbereich im Arbeitsspeicherbereich der Aus¬ führungsform der Fig. 2 als Beispiel einer Poolgruppe 3Oj im Allgemeinen. Die in Fig. 3 dargestellte Poolgruppe 3Ü2 be¬ sitzt eine Mehrzahl spezifischer Neuronenpools N30, einen nicht-selektiven Neuronenpool N30 sowie einen inhibitorischen Neuronenpool N30. Über Kopplungen mit Kopplungsstärken k30,3o werden sämtliche Kopplungen der Neuronenpools N30 realisiert. Die weiteren Poolgruppen 2Oi bzw. 10m können eine zu Fig. 3 ähnliche Struktur aufweisen.
Fig. 4 zeigt in schematischer Art und Weise eine mögliche Struktur innerhalb eines gegebenen Neuronenpools N30, N20, NlO, hier im Fall eines Neuronenpools N30 aus der Arbeits¬ speicherschicht 30. Dargestellt ist eine Mehrzahl künstlicher Neurone n30 der Arbeitsspeicherschicht 30. Diese sind intern, das heißt also innerhalb des Neuronenpools N30 mit einer Kopplungsstärke k3O,3o miteinander verkoppelt.
Die in den Figuren gezeigten Ausführungsformen sind aus¬ schließlich als mögliche Beispiele angeführt.
Insbesondere können das Auslesen oder der Readout auch anders als in der in den Figuren gezeigten geschichteten Form reali¬ siert sein. Z. B. ist es denkbar das dies aus jedem bereich, aus jeder Schicht oder aus jeweiligen Untergruppen davon her- aus erfolgt.
Ferner sind mehrere Eingangs- und/oder Ausgangsbereiche denk¬ bar.
Des Weiteren können das Arbeitsgedächtnis und Aufmerksam¬ keitsmodule anders als in einer Eins-zu-eins-Relation mitein¬ ander verbunden sein.
Zitierte Literatur
[1] Brunei, N. und Wang, X. J. (2001), "Effects of neuromodu- lation in a cortical network model of object working menα- ory dominated by recurrent inhibition", Comput. Neurosci. 11: 63-85.
[2] Szabo, M., Almeida, R., Deco, G. und Stetter, M., "Coop- eration and biased competition model can explain atten- tional filtering in the prefrontal cortex", Eur. J. Neu¬ rosci., (2004) Vol. 9, Seiten 1669-1677.
[3] Stetter, M., "Exploration of cortical function", Klüver
Academic Publishers, Dortrecht, 2002, Seiten 5-17 und 207-249.
[4] Koch, C. und Segev, I (Hrsg.) (2001): "Methods in Neuro¬ nal Modeling: From Synapses to Networks", MIT Press, Cambridge, MA, Kapitel 1-5.

Claims

Patentansprüche
1. System zur Informationsextraktion und/oder Informationsbe¬ wertung, - bei welchem zumindest ein erster Bereich (20) und ein zwei¬ ter Bereich (30) vorgesehen sind,
- bei welchem im ersten Bereich (20) und im zweiten Bereich
(30) jeweils eine Mehrzahl Neuronenpools (N20, N30) jeweils mit einem oder mit mehreren künstlichen Neuronen (n20, n30) vorgesehen ist,
- bei welchem jeder Neuronenpool (N30) aus dem zweiten Be¬ reich (30) über mindestens ein künstliches Neuron (n30) da¬ von an einen Neuronenpool (N20) aus dem ersten Bereich (20) gekoppelt ist über mindestens ein künstliches Neuron (n20) davon, und zwar mit einer Kopplungsstärke k2o,3o,
- bei welchem jeder Neuronenpool (N20) aus dem ersten Bereich
(20) über mindestens ein künstliches Neuron (n20) davon an einen Neuronenpool (N20) aus dem ersten Bereich (20) gekop¬ pelt ist über mindestens ein künstliches Neuron (n20) da- von, und zwar mit einer Kopplungsstärke k2or2θ und
- bei welchem die Kopplungsstärken k2o,3o zwischen den Neuro¬ nenpools (N30) des zweiten Bereichs (30) und den Neuronen¬ pools (N20) des ersten Bereichs (20) oder deren Gewichte niedriger sind als die Kopplungsstärken k2o,2o oder deren Gewichte zu den Kopplungen der Neuronenpools (N20) des ers¬ ten Bereichs (20) mit Neuronenpools (N20) des ersten Be¬ reichs (20) .
2. System nach Anspruch 1, dadurch gekennzeichnet, dass
- der erste Bereich (20) als Aufmerksamkeitsbereich (20) aus¬ gebildet ist und/oder
- dass der zweite Bereich (30) als Arbeitsspeicherbereich (30) ausgebildet ist.
3. System zur Informationsextraktion und/oder Informationsbe¬ wertung, - bei welchem zumindest ein Aufmerksamkeitsbereich (20) und ein Arbeitsspeicherbereich (30) vorgesehen sind,
- bei welchem im Aufmerksamkeitsbereich (20) und im Arbeits¬ speicherbereich (30) jeweils eine Mehrzahl Neuronenpools (N20, N30) jeweils mit einem oder mit mehreren künstlichen Neuronen (n20, n30) vorgesehen ist,
- bei welchem jeder Neuronenpool (N30) aus dem Arbeitsspei¬ cherbereich (30) über mindestens ein künstliches Neuron (n30) davon an einen Neuronenpool (N20) aus dem Aufmerksam- keitsbereich (20) gekoppelt ist über mindestens ein künst¬ liches Neuron (n20) davon, und zwar mit einer Kopplungs¬ stärke k20,30f
- bei welchem jeder Neuronenpool (N20) aus dem Aufmerksam¬ keitsbereich (20) über mindestens ein künstliches Neuron (n20) davon an einen Neuronenpool (N20) aus dem Aufmerksam¬ keitsbereich (20) gekoppelt ist über mindestens ein künst¬ liches Neuron (n20) davon, und zwar mit einer Kopplungs¬ stärke k2o,2o und
- bei welchem die Kopplungsstärken k2o,3o zwischen den Neuro- nenpools (N30) des Arbeitsspeicherbereichs (30) und den
Neuronenpools (N20) des Aufmerksamkeitsbereichs (20) oder deren Gewichte niedriger sind als die Kopplungsstärken k2O,2o oder deren Gewichte zu den Kopplungen der Neuronen¬ pools (N20) des Aufmerksamkeitsbereichs (20) mit Neuronen- pools (N20) des Aufmerksamkeitsbereichs (20) .
4. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass
- ein weiterer Bereich oder eine Mehrzahl davon vorgesehen sind und
- im weiteren Bereich oder in den weiteren Bereichen jeweils eine Mehrzahl Neuronenpools jeweils mit einem oder mit meh¬ reren künstlichen Neuronen vorgesehen ist.
5. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein oder beliebige Mehrzahl oder Kombination von Bereichen vorgesehen ist aus der Gruppe von Bereichen, die gebildet wird:
- von einem Bereich, durch den eine komplette aufmerksam- keitsbasierte Filterung realisiert wird, insbesondere im
Sinne einer gelenkten Winner-take-all-Struktur,
- von einem Bereich, durch welchen eine Konfliktdetektion re¬ alisiert wird, und
- von einem Bereich, durch den ein selektiver Arbeitsspeicher realisiert wird.
6. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass jeder Neuronenpool (N30) aus dem Arbeitsspeicherbereich (30) über mindestens ein künstliches Neuron (n30) davon an mindes¬ tens einen Neuronenpool (N30) aus dem Arbeitsspeicherbereich (30) gekoppelt ist über mindestens ein künstliches Neuron (n30) davon, und zwar mit einer Kopplungsstärke k3O,3o-
7. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein - insbesondere sensorischer - Eingangsbereich (10) zur Dateneingabe vorgesehen ist, welcher eine Mehrzahl Neuronen- pools (NlO) mit jeweils einem oder mit mehreren künstlichen Neuronen (nlO) aufweist, wobei Neuronenpools (NlO) aus dem
Eingangsbereich (10) , insbesondere über mindestens ein künst¬ liches Neuron (nlO) davon an mindestens einen Neuronenpool (NlO) aus dem Eingangsbereich (10) gekoppelt ist, insbesonde¬ re über mindestens ein künstliches Neuron (nlO) davon, mit einer Kopplungsstärke kio,io-
8. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Eingangsbereich (10) als ein Modul linearer Verstärkung ausgebildet ist.
9. System nach einem der vorangehenden Ansprüche 7 oder 8, dadurch gekennzeichnet, dass ein oder mehrere Neuronenpools (NlO) aus dem Eingangsbereich (10) , insbesondere über mindestens ein künstliches Neuron (nlO) davon an einen oder mehrere Neuronenpools (N20) des Aufmerksamkeitsbereichs (20) gekoppelt sind, insbesondere ü- ber ein künstliches Neuron (nlO) davon, mit einer Kopplungs¬ stärke kio,20-
10. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Ausgangsbereich (40) vorgesehen ist, welcher zur Ausgabe von Daten und insbesondere zur Ausgabe von Extraktions- und/oder Bewertungsergebnissen zugeführter komplexer Daten vorgesehen ist.
11. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die jeweiligen Neuronenpools und insbesondere die Neuronen¬ pools (NlO, N20, N30) des Eingangsbereichs (10) , des Aufmerk- samkeitsbereichs (20) und/oder des Arbeitsspeicherbereichs
(30) jeweils gruppiert sind in einer Mehrzahl Poolgruppen
(10m, 201, 30j) .
12. System nach Anspruch 11, dadurch gekennzeichnet, dass die Poolgruppen (201, 3Oj) des Aufmerksamkeitsbereichs (20) und des Arbeitsspeicherbereichs (30) sich in ihrer Anzahl entsprechen und paarweise einander zugeordnet und .aneinander gekoppelt sind mit Kopplungsstärken k2O,3o-
13. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass
Neuronenpools (NlO, N20, N30) eines Bereichs aus dem Ein¬ gangsbereich (10) , aus dem Aufmerksamkeitsbereich (20) und/oder aus dem Arbeitsspeicherbereich (30) innerhalb einer Poolgruppe (10m, 201, 3Oj) dicht gekoppelt sind, insbesondere bei Vollvernetzung.
14. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass
Neuronenpools (NlO, N20, N30) aus dem Eingangsbereich (10) , aus dem Aufmerksamkeitsbereich (20) und/oder aus dem Arbeits¬ speicherbereich (30) zu Neuronenpools (NlO, N20, N30) einer anderen Poolgruppe aus demselben Bereich (10, 20, 30) weniger dicht gekoppelt sind.
15. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Poolgruppe aus dem Eingangsbereich (10) , aus dem Auf¬ merksamkeitsbereich (20) und/oder aus dem Arbeitsspeicherbe¬ reich (30) einen oder eine Mehrzahl spezifischer Neuronen- pools aufweisen.
16. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Poolgruppe aus dem Eingangsbereich (10) , aus dem Auf- merksamkeitsbereich (20) und/oder aus dem Arbeitsspeicherbe¬ reich (30) einen oder eine Mehrzahl nicht-selektiver Neuro¬ nenpools aufweisen.
17. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Poolgruppe aus dem Eingangsbereich (10) , aus dem Auf¬ merksamkeitsbereich (20) und/oder aus dem Arbeitsspeicherbe¬ reich (30) einen oder eine Mehrzahl inhibitorischer Neuronen¬ pools aufweisen.
18. System nach einem der vorangehenden Ansprüche, welches ein künstliches neurodynamisches Netzwerk aufweist oder als ein solches ausgebildet ist, insbesondere mit Mean- Field-Struktur.
19. System nach einem der vorangehenden Ansprüche, welches ein künstliches neuronales Netzwerk aufweist oder als ein solches ausgebildet ist.
20. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Eingangsbereich (10) , der Aufmerksamkeitsbereich (20) , der Arbeitsspeicherbereich (30) und/oder der Ausgangsbereich (40) jeweils als Schicht eines künstliches neurodynamische Netzwerks oder eines künstlichen neuronalen Netzwerks ausge- bildet sind.
21. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein jeweiliges künstliches Neuron (nlO, n20, n30) als pulsko- dierendes künstliches Neuron ausgebildet ist.
22. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein jeweiliges künstliches Neuron (nlO, n20, n30) als spiken- des künstliches Neuron ausgebildet ist.
23. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Dynamik der jeweiligen Neurone (nlO, n20, n30) , der je- weiligen Neuronenpools (NlO, N20, N30) und/oder der Bereiche (10, 20, 30) beschrieben und/oder definiert ist gemäß einem Konzept aus der Gruppe die gebildet wird von einem Mean- Field-Ansatz, von einem Integrate-and-Fire-Ansatz, von einem Ansatz für spikende Neuronen, von einem Ansatz für pulskodie- rende Neuronen, von einem Multikompartimentansatz und von ei¬ nem Hodgkin-Huxley-Ansatz, oder von einer beliebigen Kombina¬ tion davon.
24. Verwendung des Systems nach einem der Ansprüche 1 bis 23 zur Durchführen einer neurokognitiven Finanzdatenprognose, einer neurokognitiven Prozesssteuerung eines technischen Vor- gangs, einer neurokognitiven Fahrerassistenz oder einer neu- rokognitiven Robotersteuerung.
PCT/EP2005/052916 2004-07-09 2005-06-22 System zur informationsextraktion und/oder informationsbewertung WO2006005669A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004033392.0 2004-07-09
DE102004033392 2004-07-09

Publications (2)

Publication Number Publication Date
WO2006005669A2 true WO2006005669A2 (de) 2006-01-19
WO2006005669A3 WO2006005669A3 (de) 2007-01-04

Family

ID=35448076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/052916 WO2006005669A2 (de) 2004-07-09 2005-06-22 System zur informationsextraktion und/oder informationsbewertung

Country Status (1)

Country Link
WO (1) WO2006005669A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2065842A1 (de) * 2007-11-28 2009-06-03 Honda Research Institute Europe GmbH Adaptives Fahrerassistenzsystem mit robuster Schätzung von Objekteigenschaften
CN108319135A (zh) * 2018-01-18 2018-07-24 西北工业大学 基于神经网络鲁棒自适应的空间柔性系统展开控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155801A (en) * 1990-10-09 1992-10-13 Hughes Aircraft Company Clustered neural networks
US5845050A (en) * 1994-02-28 1998-12-01 Fujitsu Limited Method and apparatus for processing information and a method and apparatus for executing a work instruction
EP1073012A1 (de) * 1999-07-30 2001-01-31 Eidgenössische Technische Hochschule Zürich Verfahren und Schaltung für neuron-ähnliche Datenverarbeitung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155801A (en) * 1990-10-09 1992-10-13 Hughes Aircraft Company Clustered neural networks
US5845050A (en) * 1994-02-28 1998-12-01 Fujitsu Limited Method and apparatus for processing information and a method and apparatus for executing a work instruction
EP1073012A1 (de) * 1999-07-30 2001-01-31 Eidgenössische Technische Hochschule Zürich Verfahren und Schaltung für neuron-ähnliche Datenverarbeitung

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BROWN J W ET AL: "How laminar frontal cortex and basal ganglia circuits interact to control planned and reactive saccades" NEURAL NETWORKS, ELSEVIER SCIENCE PUBLISHERS, BARKING, GB, Bd. 17, Nr. 4, Mai 2004 (2004-05), Seiten 471-510, XP004503996 ISSN: 0893-6080 *
SZABO MIRUNA ET AL: "COORPERATION AND BIASED COMPETITION MODEL CAN EXPLAIN ATTENTIANAL FILTERING IN THE PREFRONTAL CORTEX" EUROPEAN JOURNAL OF NEUROSCIENCE, OXFORD UNIVERSITY PRESS, GB, Bd. 19, Nr. 6, April 2004 (2004-04), Seiten 1969-1977, XP008069137 ISSN: 0953-816X in der Anmeldung erw{hnt *
ULBRICHT C ED - INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS: "HANDLING SEQUENCES WITH A COMPETITIVE RECURRENT NETWORK" PROCEEDINGS OF THE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS. (IJCNN). BALTIMORE, JUNE 7 - 11, 1992, NEW YORK, IEEE, US, Bd. VOL. 1, 7. Juni 1992 (1992-06-07), Seiten 731-736, XP000340285 ISBN: 0-7803-0559-0 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2065842A1 (de) * 2007-11-28 2009-06-03 Honda Research Institute Europe GmbH Adaptives Fahrerassistenzsystem mit robuster Schätzung von Objekteigenschaften
US8175782B2 (en) 2007-11-28 2012-05-08 Honda Research Institute Europe Gmbh Adaptive driver assistance systems with robust estimation of object properties
CN108319135A (zh) * 2018-01-18 2018-07-24 西北工业大学 基于神经网络鲁棒自适应的空间柔性系统展开控制方法

Also Published As

Publication number Publication date
WO2006005669A3 (de) 2007-01-04

Similar Documents

Publication Publication Date Title
EP1183619B1 (de) Situationsabhängig operierendes semantisches netz n-ter ordnung
EP3973457A1 (de) Kopplung von mehreren künstlich lernenden einheiten mit einer projektionsebene
DE102014016968A1 (de) Ein Computersystem von einer Künstlichen Intelligenz von einem Cyborg oder einem Android, wobei eine aufgenommene Signal-Reaktion des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android, eine entsprechende Assoziation des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android, und ein entsprechender Gedanke des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android in dem Computersystem physisch gebaut werden, und ein Arbeitsverfahren von dem Computersystem von der Künstlichen Intelligenz von dem Cyborg oder dem Android
DE102005046747B3 (de) Verfahren zum rechnergestützten Lernen eines neuronalen Netzes und neuronales Netz
DE10356399B4 (de) Datenverarbeitungssystem
WO2020182541A1 (de) Verfahren zum betreiben eines roboters in einem multiagentensystem, roboter und multiagentensystem
DE60125536T2 (de) Anordnung zur generierung von elementensequenzen
DE102008019877A1 (de) Das zeigerorientierte Objekterfassungsverfahren für abstrakte Behandlung von Informationen von dem System von künstlicher Intelligenz von einem Cyborg oder einem Android, bei dem die Substanzen von einem menschlichen, aufgenommenen Signal, einer menschlichen Assoziation und einem menschlichen Gedanken physisch gebildet werden, basierend auf einer natürlichen Sprache.
EP4248284A1 (de) Verfahren und system zum verarbeiten von eingabewerten
WO2006005669A2 (de) System zur informationsextraktion und/oder informationsbewertung
DE112016000198T5 (de) Entdecken und Nutzen von informativen Schleifensignalen in einem gepulsten neuronalen Netzwerk mit zeitlichen Codierern
DE60022398T2 (de) Sequenzgenerator
Gregg The coming political: challenges of artificial intelligence
DE102021005701A1 (de) Ein Computersystem von einer Künstlichen Intelligenz von einem Cyborg oder einem Android, wobei eine aufgenommene Signal-Reaktion des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android, eine entsprechende Assoziation des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android, und ein entsprechender Gedanke des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android in dem Computersystem physisch gebaut werden, und ein Arbeitsverfahren von dem Computersystem von der Künstlichen Intelligenz von dem Cyborg oder dem Android
DE3607241C2 (de)
EP1359539A2 (de) Neurodynamisches Modell der Verarbeitung visueller Informationen
DE3609925C2 (de)
WO2006005665A2 (de) Verfahren zur reaktion auf kontextänderungen mit einem neuronalen netz und neuronales netz zur reaktion auf kontextänderungen
Kohonen Self‐organization, memorization, and associative recall of sensory information by brain‐like adaptive networks
Harter Biological limbic systems: A bottom-up model for deliberative action
Füssl et al. Organisationale Transformationen
DE102020209900A1 (de) Verfahren und Analysiereinrichtung zum Verarbeiten von Umfeldsensordaten
WO2006005663A2 (de) Verfahren zur dynamischen informationsselektion mit einem neuronalen netz und neuronales netz zur dynamischen informationsselektion
Bartsch et al. A neuronal model of stroboscopic alternative motion
Han zur Erlangung des Grades eines Doktors der Wirtschaftswissenschaften (Dr. rer. pol.)

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase