WO2023186397A1

WO2023186397A1 - Interaktive Steuerung eines Fahrzeugs

Info

Publication number: WO2023186397A1
Application number: PCT/EP2023/053825
Authority: WO
Inventors: Etienne Iliffe-Moon
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-04-01
Filing date: 2023-02-16
Publication date: 2023-10-05
Anticipated expiration: 2024-10-01
Also published as: CN118829966A; US20250214425A1; DE102022107809A1

Abstract

Ein System zur Steuerung eines digitalen Assistenten an Bord eines Fahrzeugs zur Interaktion mit einer Person mittels Sprache umfasst eine Eingabeeinrichtung zur optischen Abtastung der Person; eine Ausgabeeinrichtung zur Ausgabe eines optischen Eindrucks des Assistenten; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, den digitalen Assistenten so zu steuern, dass er eine Emotion in Abhängigkeit einer Emotion der Person ausdrückt.

Description

Interaktive Steuerung eines Fahrzeugs

Die vorliegende Erfindung betrifft die interaktive Steuerung eines Fahrzeugs. Insbesondere betrifft die Erfindung einen Dialog zwischen einer Person an Bord eines Fahrzeugs mit einem digitalen Assistenten des Fahrzeugs.

Ein Fahrzeug umfasst eine Vielzahl einfacher und komplexer Funktionen, die funktional miteinander verbunden sein können. Zur Steuerung des Fahrzeugs kann ein digitaler Assistent vorgesehen sein, der eine von einer Person gewünschte Handlung identifiziert beziehungsweise umsetzt. Beispielsweise kann eine Struktur von Einträgen in einem Menü dynamisch an Gewohnheiten einer Person angepasst werden. Es ist auch möglich, den Benutzer anhand eines Dialogs durch eine Menüstruktur oder einen Entscheidungsbaum zu führen.

Es wurde vorgeschlagen, eine Ausgabe eines digitalen Assistenten an Bord eines Fahrzeugs mittels natürlicher Sprache durchzuführen. Die Person kann sich ebenfalls in natürlicher Sprache äußern, so dass sie mit dem digitalen Assistenten in einen Dialog treten kann. So können die Funktionen an Bord des Fahrzeugs verbessert durch die Person gesteuert werden.

Trotz sprachlicher Dialogfähigkeit kann der digitale Assistent durch die Person als unpersönlich oder bürokratisch empfunden werden. Insbesondere dann, wenn die Person das Fahrzeug steuert, kann sie aus verschiedenen Gründen Emotionen ausgesetzt sein, die ihr Handeln und auch ihre Kommunikationsweise beeinflussen können. Ein übliches interaktives System an Bord eines Fahrzeugs kann Schwierigkeiten haben, eine Intention der Person zu bestimmen oder eine leicht durch die Person aufnehmbare Ausgabe bereitzustellen.

Eine der vorliegenden Erfindung zugrundeliegende Aufgabe besteht in der Angabe einer verbesserten Technik zur interaktiven Steuerung eines Fahrzeugs. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.

Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein System zur Steuerung eines digitalen Assistenten an Bord eines Fahrzeugs zur Interaktion mit einer Person mittels Sprache eine Eingabeeinrichtung zur optischen Abtastung der Person; eine Ausgabeeinrichtung zur Ausgabe eines optischen Eindrucks des Assistenten; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, den digitalen Assistenten so zu steuern, dass er eine Emotion in Abhängigkeit einer Emotion der Person ausdrückt.

Der digitale Assistent kann auch interaktiver digitaler Assistent (interacitve digital assistent, IDA) genannt werden, und ist üblicherweise in Form eines Computerprogramms realisiert. Der digitale Assistent ist dazu eingerichtet, auf eine Eingabe der Person zu reagieren und eine Ausgabe an die Person bereitzustellen. Außerdem kann der Assistent eine Funktion an Bord des Fahrzeugs steuern. Dabei wird allgemein versucht, den digitalen Assistenten mit zumindest einigen menschlichen Eigenschaften, Attributen oder Fähigkeiten auszustatten, sodass der Assistent die Person zumindest in einigen Aspekten wie ein Mensch unterstützen kann. Beispielsweise kann die Interaktion mit der Person in einer oder in beiden Richtungen mittels Sprache erfolgen.

Zur Bereitstellung eines optischen Eindrucks einer Emotion des digitalen Assistenten kann ein Mensch oder ein Ausschnitt eines Menschen dargestellt werden, beispielsweise realistisch, stilisiert, abstrahiert oder metaphorisch. Die Darstellung kann animiert sein, sodass sie beispielsweise Aufmerksamkeit gegenüber der Person zeigen kann. Es ist besonders bevorzugt, dass die Emotion ausgedrückt wird, während die Person spricht, beziehungsweise eine sprachliche Eingabe an den digitalen Assistenten richtet.

Es ist weiterhin bevorzugt, dass die Emotion des digitalen Assistenten der Emotion der Person folgt. Spricht die Person beispielsweise in ernsthafter Weise mit dem digitalen Assistenten, so kann dieser eine ernsthafte Emotion ausgeben, eine Ausgabe des digitalen Assistenten kann in einer ernsthaften Weise bereitgestellt sein. Die Person kann in verbesserter Weise den Eindruck erhalten, dass seine sprachliche Äußerung durch den digitalen Assistenten korrekt aufgenommen oder umgesetzt wird. Zeichen von Emotionen, die praktisch jede Äußerung eines Menschen begleiten, können leicht erfasst und durch den digitalen Assistenten wiedergegeben werden. So kann sich bei der Person ein Gefühl von Empathie durch den digitalen Assistenten einstellen. Während der digitale Assistent im Wesentlichen eine oder mehrere Steuerfunktionen umsetzt, wird im Folgenden von einer auf der Ausgabeeinrichtung dargestellten Repräsentation ebenfalls als digitaler Assistent gesprochen. Diese Repräsentation kann insbesondere einen Menschen, eine Humanoiden oder ein anderes Wesen betreffen.

In einer Ausführungsform umfasst der digitale Assistent ein Gesicht und die Verarbeitungseinrichtung ist dazu eingerichtet, den digitalen Assistenten so anzusteuern, dass ein Ausdruck seines Gesichts einem Ausdruck des Gesichts der Person folgt. Der Ausdruck des Gesichts der Person kann in einzelne Elemente zerlegt werden. Beispielsweise können Stellungen der Augenbrauen, eine Form des Mundes oder Form oder Bewegungen der Augen jeweils einzeln durch korrespondierende Elemente des Gesichts des digitalen Assistenten reflektiert werden. Dabei muss der digitale Assistent die Bewegungen der Person nicht nachvollziehen, sondern kann die beobachteten Elemente als Stilmittel eines Gesamteindrucks einsetzen.

In einer weiteren Ausführungsform umfasst der digitale Assistent Gliedmaßen, wobei die Verarbeitungseinrichtung dazu eingerichtet ist, den digitalen Assistenten so zu steuern, dass seine Gliedmaßen einer Pose oder einer Geste von Gliedmaßen der Person folgt.

Eine Pose oder eine Körperhaltung der Person kann insbesondere dann gut beobachtet werden, wenn die Person einen gewissen Abstand zu den Bedienelementen des Fahrzeugs einhält. Dies kann beispielsweise bei einem teilweise oder vollständig automatisch gesteuerten Fahrzeug der Fall sein. So können beispielsweise übereinander geschlagene Beine oder verschränkte Arme jeweils auf eine Emotion der Person hinweisen. Der digitale Assistent kann entsprechende Posen oder Gesten als Stilmittel zum Ausdrücken einer korrespondierenden Emotion verwenden.

In einer weiteren Ausführungsform ist die Verarbeitungseinrichtung dazu eingerichtet, eine erste Emotion der Person auf der Basis der optischen Abtastung zu bestimmen; eine zweite Emotion auf der Basis der ersten Emotion zu bestimmen; und den digitalen Assistenten dazu anzusteuern, die zweite Emotion auszudrücken. Durch die Entkopplung der ersten von der zweiten Emotion können in verbesserter Weise unterschiedliche Stilelemente durch die Person und den digitalen Assistenten jeweils zum Ausdrücken einer Emotion eingesetzt werden. Außerdem kann die zweite Emotion in einer vorbestimmten Weise von der ersten Emotion entkoppelt sein. Beispielsweise kann die zweite Emotion zeitverzögert der ersten Emotion folgen.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, einen Unterschied zwischen der ersten Emotion und einer vorbestimmten Normalemotion auf einer vorbestimmten Skala zu bestimmen und die zweite Emotion derart zu bestimmen, dass sie der ersten Emotion auf der Skala nur bis zu einem vorbestimmten Abstand von der Normalemotion folgt.

So kann der digitale Assistent ein eingeschränktes Repertoire an Emotionen einhalten, so dass er nicht als übermäßig emotional durch die Person wahrgenommen werden kann. Insbesondere kann vermieden werden, dass eine durch den digitalen Assistenten ausgedrückte Emotion eine Hilfestellung beeinträchtigt, die durch die Funktion des digitalen Assistenten für die Person erbracht werden soll. Außerdem kann verhindert werden, dass die Person in einer emotional angespannten Situation zusätzlich durch eine Emotion des digitalen Assistenten belastet wird. Beispielsweise kann eine Übersteigerung von Wut, T rauer oder Angst bei der Person verhindert werden.

Die Normalemotion kann als neutral oder ausdruckslos empfunden werden. In einer Ausführungsform ist die Normalemotion als Mittelpunkt auf der vorbestimmten Skala zu finden. Eine durch die Person oder den digitalen Assistenten ausgedrückte Emotion kann sich auf mehreren unterschiedlichen Skalen befinden. Beispielsweise ist es möglich, gleichzeitig glücklich und wütend zu sein. Die durch den digitalen Assistenten ausgedrückte Emotion kann den Emotionen der Person auf den unterschiedlichen Skalen unterschiedlich weit folgen. Beispielsweise kann der digitale Assistent einer glücklichen Emotion weiter folgen als einer zornigen. Ein Zusammenhang zwischen der ersten und der zweiten Emotion können durch die Person in Form einer Nutzerpräferenz vorbestimmt sein. In einer weiteren Ausführungsform kann die zweite Emotion die erste Emotion auf der vorbestimmten Skala komplementieren. Beispielsweise kann die Emotion des digitalen Assistenten Sanftmut ausdrücken, wenn die Person Aggressivität ausdrückt. Dabei sind unterschiedliche Übergänge zur vorgenannten Ausführungsform möglich. Beispielsweise kann eine durch den digitalen Assistenten ausgedrückte Emotion einer Emotion der Person bis zu dem vorbestimmten Abstand folgen und sich von dort aus zurück entwickeln. Die Rückentwicklung kann sich bis auf die komplementäre Seite der Emotion erstrecken. So kann insbesondere darauf hingewirkt werden, dass die Person innerhalb eines begrenzten Rahmens von Emotionen bezüglich der Normalemotion bleibt. Handelt es sich bei der Person um den Fahrer des Fahrzeugs, kann so in verbesserter Weise eine Konzentrations- oder Entscheidungsfähigkeit der Person sichergestellt werden.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, eine vorbestimmte Emotion als zweite Emotion festzulegen, falls die Bestimmung der ersten Emotion nicht gelingt oder nicht eindeutig ist. Die vorbestimmte Emotion kann beispielsweise Freundlichkeit, Interesse und/oder Aufmerksamkeit ausdrücken. In einer Ausführungsform entspricht die vorbestimmte Emotion der Normalemotion.

Das System kann eine Schnittstelle zu einem Innenbeleuchtungssystem aufweisen, wobei die Verarbeitungseinrichtung dazu eingerichtet ist, das Innenbeleuchtungssystem derart zu steuern, dass es die zweite Emotion unterstützt. Sollte der digitale Assistent beispielsweise Zorn als Emotion ausdrücken, so kann die Innenbeleuchtung in rötliche Farben, relativ hell oder flackernd illuminiert werden. Soll der digitale Assistent in einem weiteren Beispiel Ruhe ausstrahlen, so kann die Innenbeleuchtung in einem tiefen Blau konstant und mit mittlerer bis geringer Helligkeit ausgeleuchtet werden. Die Innenbeleuchtung kann so als zusätzliches Mittel verwendet werden, um die Emotion des digitalen Assistenten an die Person zu vermitteln. In ähnlicher Weise können andere steuerbare Elemente an Bord des Fahrzeugs zur Unterstützung der ausgedrückten Emotion eingesetzt werden. Beispielsweise können ein Unterhaltungssystem oder ein Kommunikationssystem entsprechend dazu angesteuert werden. Bevorzugt ist der digitale Assistent dazu eingerichtet, eine sprachliche Äußerung der Person zu erkennen und eine gesprochene Ausgabe in Einigkeit der Äußerung bereitzustellen. So kann der digitale Assistent mit der Person beidseitig agieren oder einen Dialog führen. Die Emotion des Assistenten kann auch ausgedrückt werden, indem die gesprochene Ausgabe angepasst wird. Beispielsweise können ein Tonus eine Geschwindigkeit oder eine Tonhöhe der gesprochenen Ausgabe zum Ausdruck der Emotion angepasst werden.

Die Äußerung kann einen Fahrzeugzustand oder eine Fahrzustand des Fahrzeugs betreffen. Der digitale Assistent kann eine Funktion durchführen, die den Fahrzeugzustand oder den Fahrzustand des Fahrzeugs betrifft. Dabei können Informationen an die Person bereitgestellt oder ein Eingriff in die jeweilige Steuerung durchgeführt werden.

In einer besonders bevorzugten Ausführungsform ist der digitale Assistent dazu eingerichtet, eine Fahrzeugfunktion in Antwort auf die Äußerung zu steuern. Die Fahrzeugfunktion kann beispielsweise ein Setzen eines Zielorts für eine Navigation eines Fahrzeugs, eine Änderung der Innenbeleuchtung oder einer bevorzugt zu verwendenden Fahrspur umfassen.

Nach einem weiteren Aspekt der vorliegenden Erfindung umfass ein Fahrzeug ein hierin beschriebenes System. Das Fahrzeug kann insbesondere ein Kraftfahrzeug umfassen, beispielsweise einen Personenkraftwagen, ein Kraftrad, einen Lastkraftwagen oder einen Omnibus. Das Fahrzeug kann dazu eingerichtet sein, teilweise oder autonom gesteuert zu werden.

Nach wieder einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren zur Steuerung eines digitalen Assistenten an Bord eines Fahrzeugs zur Interaktion mit einer Person mittels Sprache Schritte des optischen Abtastens der Person und des Ausgebens eines optischen Eindrucks des digitalen Assistenten. Dabei wird der digitale Assistent dazu angesteuert, eine Emotion in Abhängigkeit einer Emotion der Person auszudrücken.

Das Verfahren kann durch ein hierin beschriebenes System ausgeführt werden.

Dazu kann das System eine Verarbeitungseinrichtung umfassen, die beispielsweise einen programmierbaren Mikrocomputer oder Mikrocontroller umfasst. Das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Systems können auf das Verfahren übertragen werden oder umgekehrt.

Zur Ausführung benötigt das Computerprogrammprodukt allgemein eine Ausführungsumgebung, die meist eine Verarbeitungseinrichtung, einen ersten Datenspeicher zur Aufnahme des Computerprogrammprodukts, einen zweiten Datenspeicher zur Aufnahme eines Verarbeitungsergebnisses, eine erste Schnittstelle zur Bereitstellung von zu verarbeitenden Informationen und eine zweite Schnittstelle zur Ausgabe von verarbeiteten Informationen umfasst. Die Verarbeitungseinrichtung arbeitet üblicherweise taktgesteuert und kann einen passenden Taktgenerator umfassen. Die Verarbeitungseinrichtung, die Datenspeicher und die Schnittstellen können jeweils unter Verwendung von Halbleitern realisiert werden. Zur Energieversorgung der Halbleiter kann eine elektrische Energiequelle oder eine Schnittstelle zur Verbindung mit einer elektrischen Energieversorgung bereitgestellt sein.

Das Computerprogrammprodukt kann im Rahmen oder unter Zuhilfenahme eines auf der Ausführungsumgebung ablaufenden Verwaltungsprogramms, das auch Betriebssystem genannt werden kann, ablaufen. Vorliegend kann insbesondere das System eine computerbasierte Ausführungsumgebung umfassen bzw. bereitstellen.

Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:

Figur 1 ein System an Bord eines Fahrzeugs;

Figur 2 ein Ablaufdiagramm eines Verfahrens;

Figur 3 beispielhafte Ausdrücke von Emotionen auf einem Gesicht einer Person; und

Figur 4 beispielhafte optische Darstellungen von Emotionen illustriert. Figur zeigt ein System 100 an Bord eines Fahrzeugs 105. Das System 100 ist dazu eingerichtet, mit einer Person 110 an Bord des Fahrzeugs 105 zu interagieren. Das System 100 umfasst eine Eingabeeinrichtung 115, eine Ausgabeeinrichtung 120 und eine Verarbeitungseinrichtung 125. Optional können ein Datenspeicher 130 und/oder eine Schnittstelle 135 vorgesehen sein.

Die Eingabeeinrichtung 115 ist zur optischen Abtastung der Person 110 oder eines Abschnitts von ihr eingerichtet. Dazu kann die Eingabeeinrichtung 115 eine Kamera, beispielsweise eine Innenraumkamera des Fahrzeugs 105 umfassen. Es können auch mehrere Kameras 115 verwendet werden, die aus unterschiedlichen Perspektiven, mit unterschiedlichen Brennweiten und/oder unterschiedlichen Wellenlängenbereichen arbeiten können.

In einer weiteren Ausführungsform umfasst die Eingabeeinrichtung 115 auch ein Mikrofon zur Erfassung einer sprachlichen Äußerung der Person 110.

Die Ausgabeeinrichtung 120 ist dazu eingerichtet, eine optische Ausgabe für die Person 110 bereitzustellen. Dazu kann die Ausgabeeinrichtung 120 insbesondere einen Bildschirm oder einen Projektor umfassen. Eine akustische Ausgabe kann ebenfalls unterstützt werden. In einer weiteren Ausführungsform ist die Ausgabeeinrichtung 120 drahtlos mit dem Fahrzeug 100 beziehungsweise einem seiner Systeme verbunden. Dabei kann die Ausgabeeinrichtung 120 von einem Mobilgerät wie einem Smartphone umfasst sein.

Die Verarbeitungseinrichtung 125 ist bevorzugt als Steuergerät an Bord des Fahrzeugs 105 ausgebildet und kann eine Verarbeitungseinrichtung umfassen. Der Datenspeicher 130 kann benutzerdefinierbare Voreinstellungen, ein Repertoire an erkennbaren oder bereitzustellenden Emotionen oder eine Historie von erfassten Emotionen der Person 110 umfassen.

Die Schnittstelle 135 kann mit einem anderen System oder Subsystem an Bord des Fahrzeugs 105 verbunden sein und den Bezug von Informationen oder der Steuerung einer Fahrzeugfunktion dienen. In einer Ausführungsform kann über die Schnittstelle 135 beispielsweise eine Innenbeleuchtung des Fahrzeugs 105 gesteuert werden. In einer anderen Ausführungsform kann beispielsweise eine Fahrfunktion des Fahrzeugs 105, die eine Längs- und/oder Quersteuerung des Fahrzeugs 105 umfasst, beeinflusst werden, beispielsweise durch Vorgabe eines Reiseziels oder Änderung einer gewünschten Fahrgeschwindigkeit. Die Informationen können auch einen weiteren Hinweis auf eine Emotion der Person 110 geben, beispielsweise indem sie eine Pulsrate oder eine Frequenz des Blinzelns der Person 110 reflektieren. Eine solche Abtastung kann mittels eines optischen oder eines anderen Sensors an Bord des Fahrzeugs 100 erfolgen.

Das System 100 kann einen digitalen Assistenten zur Steuerung des Fahrzeugs 105 mittels sprachlicher Interaktion mit der Person 110 realisieren. Es wird vorgeschlagen, das System 100 dazu auszubilden, eine optische Repräsentation des digitalen Assistenten auf der Ausgabeeinrichtung 120 so zu steuern, dass er eine vorbestimmte Emotion ausdrückt. Diese Emotion soll insbesondere von einer Emotion abgeleitet werden, die während der Interaktion von der Person 110 auf der Basis einer Abtastung mittels der Eingabeeinrichtung 115 erkannt wurde.

Figur 2 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 200. Das Verfahren 200 kann insbesondere mit Hilfe eines Systems 100 ausgeführt werden.

In einem Schritt 205 kann ein Innenraum des Fahrzeugs 105 aufgenommen werden. Dazu kann eine optische Eingabeeinrichtung 115 wie eine Kamera verwendet werden. In einem Schritt 210 kann eine Person 110 im Innenraum des Fahrzeugs 105 erfasst werden. Befinden sich mehrere Personen 110 im Innenraum, so kann eine ausgewählt werden, die mit dem digitalen Assistenten des Systems 100 interagiert.

In einem Schritt 215 kann die gewählte Person 110 optisch abgetastet werden. Dazu kann insbesondere ein Gesicht, optional ein Torso oder weiter optional die gesamte Person optisch abgetastet werden. Einzelne Elemente der Person 110 können auf der Abtastung erkannt und miteinander in Kontext werden. Beispielsweise können Stellungen von Gliedmaßen der Person 110 erfasst werden und eine daraus entstehende Körperhaltung oder Geste kann bestimmt werden. Das Abtasten kann insbesondere erfolgen, während in einem nebengeordneten Schritt 220 eine akustische Eingabe der Person 110 erfasst wird.

Schritte, die in der Darstellung von Figur 2 links dargestellt sind, betreffen eine Funktionalität eines digitalen Assistenten, während rechts dargestellte Schritte der hierin vorgestellten emotionalen Unterstützung zugeordnet sind.

In einem Schritt 225 kann eine erste Emotion der Person 110 auf der Basis der optischen Abtastung bestimmt werden. Die Emotion kann insbesondere auf der Basis einer Pose, einer Geste, einer Mimik und/oder einer Sprechweise bestimmt werden. In einem Schritt 230 kann die bestimmte Emotion im Kontext mit der sprachlichen Äußerung der Person 110 gesetzt werden. Dazu kann in einem Schritt 235 die akustische Eingabe der Person 110 verarbeitet und insbesondere verstanden werden. Optional können im Schritt 230 auch noch weitere Informationen wie beispielsweise ein Fahrzustand, ein Reiseziel oder eine Anzahl an Bord befindlicher Personen 110 bestimmt werden.

In einem Schritt 240 kann auf der Basis der bestimmten ersten Emotion und der weiteren bestimmten Informationen eine zweite Emotion bestimmt werden. Die zweite Emotion kann der ersten Emotion folgen, also ihr nachempfunden sein, oder dazu eingerichtet sein, der ersten Emotion entgegen zu wirken, sie also zu komplementieren. In einer weiteren Ausführungsform kann die zweite Emotion gegenüber der ersten auf einer vorbestimmten Skala um einen vorbestimmten Betrag verschoben sein. So kann die zweite Emotion beispielsweise stets um ein gewisses Maß freundlicher oder gelassener sein. So kann der digitale Assistent vorwiegend als positiv oder aufgeschlossen wahrgenommen werden. Die Verschiebung der zweiten gegenüber der ersten Emotion kann auch in Betrag oder Skala bezüglich einer vorliegenden Situation oder eines Fahrzustands des Fahrzeugs bestimmt werden. Sowohl die erste als auch die zweite Emotion kann eine Überlagerung verschiedener Emotionen betreffen, die auf unterschiedlichen Skalen liegen, wie unten noch genauer ausgeführt wird.

In einem Schritt 245 kann der interaktive digitale Assistent gesteuert werden, um die vorbestimmte zweite Emotion auszudrücken. Dies kann erfolgen, während die Person 110 spricht, oder während eine akustische Ausgabe des digitalen Assistenten erfolgt. Die Ausgabe kann in einem Schritt 250 in Abhängigkeit der verarbeiteten akustischen Abtastung der Person 110 bereitgestellt werden. Ebenfalls kann im Schritt 250 eine Fahrzeugfunktion insbesondere eine Fahrfunktion des Fahrzeugs 105 in Antwort auf die akustische Eingabe der Person 110 gesteuert werden. Die durch den auf der Ausgabeeinrichtung 120 sichtbare Repräsentation des digitalen Assistenten vermittelte zweite Emotion kann dabei die Interaktion mit der Person 110 unterstützen.

Nicht alle der dargestellten Schritte 205 bis 250 des Verfahrens 200 müssen in der gezeigten Reihenfolge ablaufen. Einige der Schritte können auch entfallen. Beispielsweise kann in einer Ausführungsform vom Schritt 215 unmittelbar zum Schritt 245 übergegangen werden, indem die optische Repräsentation des digitalen Assistenten dazu angesteuert wird, mimische oder gestuelle Hinweise auf die erste Emotion direkt zu reflektieren. Dies kann insbesondere vorteilhaft sein, um die erste Emotion der Person 110 widerzuspiegeln, noch bevor eine Eingabe der Person 110 abgeschlossen ist. Selbstverständlich können die unterschiedlichen Ausführungsformen auch ineinander übergeführt werden, so dass beispielsweise nach dem Erkennen der sprachlichen Eingabe auf die oben beschriebene, komplexere Ausführungsform der emotionalen Unterstützung übergegangen wird.

Figur 3 zeigt beispielhafte Ausdrücke von Emotionen auf einem Gesicht einer Person 110. Die dargestellten Ausdrücke können an der Person 110 beobachtet werden oder einer Ausgabe der grafischen Repräsentation des digitalen Assistenten auf der Ausgabevorrichtung 120 zugrunde gelegt werden.

In einer oberen Reihe sind Ausdrücke von Gesichtern dargestellt, die jeweils einer Emotion zugeordnet werden können. Dazu zählen ein glücklicher Ausdruck 305, ein trauriger Ausdruck 310, ein ängstlicher Ausdruck 315, ein verärgerter Ausdruck 320, ein überraschter Ausdruck 325, ein abgestoßener Ausdruck 330 und ein neutraler Ausdruck 335. Der neutrale Ausdruck 335 kann als Beispiel für eine hierin beschriebene Normalemotion verwendet werden.

Zur Zuordnung eines Ausdrucks 305 bis 335 zu einer Emotion können einzelne Elemente des dargestellten Gesichts analysiert werden. Beispielsweise kann eine Form, ein Öffnungsgrad oder eine Verzerrung des Mundes beobachtet werden. In ähnlicher Weise können Augen, Augenbrauen, oder Wangenmuskulatur in Größe, Stellung, Betätigung etc. betrachtet werden. Solchermaßen bestimmte Merkmale können mit vorbestimmten Kombinationen von Merkmalen verglichen werden. Einer Kombination kann eine Emotion zugeordnet sein, die somit erkannt werden kann.

Eine Emotion kann durch die Person 110 oder den digitalen Assistenten in unterschiedlichen graduellen Abstufungen ausgedrückt werden. Die Abstufungen können auf einer Skala angeordnet werden, sodass sie nach aufsteigender oder absteigender Stärke der Emotion geordnet sind. Es ist auch möglich, eine Skala oder einen Verlauf zwischen zwei unterschiedlichen Emotionen zu bilden.

In der zweiten Reihe der Darstellung von Figur 3 ist ein erster Verlauf 340 von Emotionen dargestellt, die von Furcht (ganz links) bis Traurigkeit (ganz rechts) graduell abgestuft sind. In ähnlicher Weise ist in der dritten Reihe von Figur 3 ein zweiter Verlauf 345 von Emotionen dargestellt, die von Glück (ganz links) graduell bis Ekel (ganz rechts) abgestuft sind.

Es wird deutlich, wie eine Emotion in Art und Stärke anhand einer optischen Abtastung eines Gesichts erkannt beziehungsweise umgekehrt durch eine optische Repräsentation eines Gesichts für den digitalen Assistenten ausgedrückt werden kann.

Die in Figur 3 dargestellten Emotionen und Übergänge sind hierbei als rein exemplarisch zu betrachten.

Figur 4 zeigt beispielhafte optische Darstellungen von Emotionen. Jede der Darstellungen kann als optische Repräsentation des digitalen Assistenten auf der Ausgabeeinrichtung 120 verwendet werden.

Eine erste Darstellung 405 betrifft eine dreidimensionale Darstellung eines Gesichts. Dabei ist exemplarisch ein Drahtgittermodell zur Darstellung des Gesichts gewählt worden. Das Modell kann beliebig verfeinert und insbesondere mit einer Textur versehen werden. Die Ausgabeeinrichtung 120 kann eine zweidimensionale oder dreidimensionale optische Repräsentation bereitstellen. Anstelle eines Gesichts kann auch ein anderer und insbesondere größerer Abschnitt einer Figur gewählt werden. Diese Figur kann humanoid sein oder es kann eine andere Ausdrucksweise für den digitalen Assistenten gewählt sein.

Eine zweite Darstellung 410 zeigt ein stilisiertes Gesicht, wobei Elemente wie eine Nase, die Augen, Wangen, ein Mund oder ein Kinn in vereinfachten, reduzierten, überzeichneten oder symbolhaften Formen dargestellt sind. Eine Form, Größe oder Anordnung der Elemente muss nicht einer üblichen menschlichen Anatomie folgen und kann auch zum Ausdrücken einer Emotion verwendet werden.

Eine dritte Darstellung 415 zeigt ein abstrahiertes Gesicht, das vorliegend realistische Elemente in Form der Augen und unrealistische Elemente in Form von die Augen umgebenden schwarzen und weißen Umrandungen umfasst. Die Umrandungen bilden in einem Bereich zwischen den Augen Muster, die als Nase oder Mund wahrgenommen werden können.

In entsprechender Weise können auch noch abstraktere Muster oder Effekte verwendet werden, um die Anmutung einer Person oder Persönlichkeit des digitalen Assistenten zu transportieren. In allen Fällen können die Darstellungen 405 bis 415 so gesteuert werden, dass sie eine vorbestimmte Emotion ausdrücken. Es ist zu beachten, dass der Darstellung nicht notwendigerweise ein Gesicht zugrunde gelegt sein muss. In anderen Ausführungsformen kann beispielsweise ein Tier, ein Fabelwesen, ein animierter Gegenstand oder eine Comicfigur zur Repräsentation des digitalen Assistenten verwendet werden.

Bezugszeichen

100 System

105 Fahrzeug

110 Person

115 Eingabeeinrichtung

120 Ausgabeeinrichtung

125 Verarbeitungseinrichtung

130 Datenspeicher

135 Schnittstelle

200 System

205 Innenraum aufnehmen

210 Person erfassen

215 Person optisch abtasten

220 akustische Eingabe erfassen

225 erste Emotion bestimmen

230 Verarbeitung optische Abtastung

235 Verarbeitung akustische Abtastung

240 zweite Emotion bestimmen

245 interaktiven digitalen Assistenten steuern

250 Ausgabe des digitalen Assistenten,

Fahrzeugfunktion steuern

305 glückliche Emotion

310 traurige Emotion

315 ängstliche Emotion

320 verärgerte Emotion

325 überraschte Emotion

330 abgestoßene Emotion

335 neutrale Emotion

340 erster Verlauf

345 zweiter Verlauf erste Darstellung zweite Darstellung dritte Darstellung

Claims

Ansprüche

1. System (100) zur Steuerung eines digitalen Assistenten an Bord eines Fahrzeugs (105) zur Interaktion mit einer Person (110) mittels Sprache, wobei das System (100) folgende Elemente umfasst: eine Eingabeeinrichtung (115) zur optischen Abtastung der Person (110); eine Ausgabeeinrichtung (120) zur Ausgabe eines optischen Eindrucks des Assistenten; und eine Verarbeitungseinrichtung (125), die dazu eingerichtet ist, den digitalen Assistenten so zu steuern, dass er eine Emotion (305-335) in Abhängigkeit einer Emotion (305-335) der Person (110) ausdrückt.

2. System (100) nach Anspruch 1 , wobei die Emotion (305-335) des digitalen Assistenten der Emotion (305-335) der Person (110) folgt.

3. System (100) nach Anspruch 1 oder 2, wobei der digitale Assistent ein Gesicht aufweist und die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den digitalen Assistenten so anzusteuern, dass ein Ausdruck seines Gesichts einem Ausdruck des Gesichts der Person (110) folgt.

4. System (100) nach einem der vorangehenden Ansprüche, wobei der digitale Assistent Gliedmaßen aufweist und die Verarbeitungseinrichtung (125) dazu eingerichtet ist, den digitalen Assistenten so zu steuern, dass seine Gliedmaßen einer Pose oder einer Geste von Gliedmaßen der Person (110) folgt.

5. System (100) nach einem der vorangehenden Ansprüche, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, eine erste Emotion (305-335) der Person (110) auf der Basis der optischen Abtastung zu bestimmen; eine zweite Emotion (305-335) auf der Basis der ersten Emotion (305-335) zu bestimmen; und den digitalen Assistenten dazu anzusteuern, die zweite Emotion (305-335) auszudrücken.

6. System (100) nach Anspruch 5, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, einen Unterschied zwischen der ersten Emotion (305- 335) und einer vorbestimmten Normalemotion (335) auf einer vorbestimmten Skala zu bestimmen und die zweite Emotion (305-335) derart zu bestimmen, dass sie der ersten Emotion (305-335) auf der Skala nur bis zu einem vorbestimmten Abstand von der Normalemotion (335) folgt.

7. System (100) nach einem der Ansprüche 5 oder 6, wobei die zweite Emotion (305-335) die erste Emotion (305-335) auf der vorbestimmten Skala komplementiert.

8. System (100) nach einem der Ansprüche 5 bis 7, wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, eine vorbestimmte Emotion (335) als zweite Emotion (305-335) festzulegen, falls die Bestimmung der ersten Emotion (305-335) nicht gelingt oder nicht eindeutig ist.

9. System (100) nach einem der vorangehenden Ansprüche, ferner umfassend eine Schnittstelle (135) zu einem Innenbeleuchtungssystem des Fahrzeugs (105); wobei die Verarbeitungseinrichtung (125) dazu eingerichtet ist, das Innenbeleuchtungssystem derart zu steuern, dass es die zweite Emotion (305-335) unterstützt.

10. System (100) nach einem der vorangehenden Ansprüche, wobei der digitale Assistent dazu eingerichtet ist, eine sprachliche Äußerung der Person (110) zu erkennen und eine gesprochene Ausgabe in Abhängigkeit der Äußerung bereitzustellen.

11. System (100) nach Anspruch 10, wobei die Äußerung einen Fahrzeugzustand des Fahrzeugs (105) betrifft.

12. System (100) nach Anspruch 10 oder 11 , wobei der digitale Assistent dazu eingerichtet ist, eine Fahrzeugfunktion (105) in Antwort auf die Äußerung zu steuern.

13. Fahrzeug (105), umfassend ein System (100) nach einem der vorangehenden Ansprüche.

14. Verfahren (200) zur Steuerung eines digitalen Assistenten an Bord eines

Fahrzeugs (105) zur Interaktion mit einer Person (110) mittels Sprache, wobei das Verfahren (200) folgende Schritte umfasst: optisches Abtasten (215) der Person (110); und

Ausgeben (245, 250) eines optischen Eindrucks des digitalen Assistenten; wobei der digitale Assistent angesteuert (245) wird, eine Emotion (305- 335) in Abhängigkeit einer Emotion (305-335) der Person (110) auszudrücken.