WO2023094083A1

WO2023094083A1 - Verfahren zur zumindest teilautomatisierten führung eines kraftfahrzeugs und kraftfahrzeug

Info

Publication number: WO2023094083A1
Application number: PCT/EP2022/079383
Authority: WO
Inventors: Christina BÖHMER; Florian Schwensfeier
Original assignee: Audi Ag
Priority date: 2021-11-26
Filing date: 2022-10-21
Publication date: 2023-06-01
Also published as: DE102021131040B4; DE102021131040A1

Abstract

Verfahren zur zumindest teilautomatisierten Führung eines Kraftfahrzeugs (1), wobei der Parameterwert (22, 35, 43, 44) wenigstens eines Parameters (23) der zumindest teilautomatisierten Führung von einer einen Fahrzeuginsassen (6) betreffenden Insasseninformation (10) abhängt, wobei die Insasseninformation (10) in Abhängigkeit von Sensordaten (7, 8) wenigstens eines den Fahrzeuginsassen (10) des Kraftfahrzeugs (1) zumindest teilweise abbildenden Innenraumsensors (2) und/oder wenigstens eines eine Körpertemperatur des Fahrzeuginsassen (6) und/oder eine Temperatur des Innenraums erfassenden Temperatursensors (3) ermittelt wird.

Description

Verfahren zur zumindest teilautomatisierten Führung eines Kraftfahrzeugs und Kraftfahrzeug

BESCHREIBUNG:

Die Erfindung betrifft ein Verfahren zur zumindest teilautomatisierten Führung eines Kraftfahrzeugs, wobei der Parameterwert wenigstens eines Parameters der zumindest teilautomatisierten Führung von einer einen Fahrzeuginsassen betreffenden Insasseninformation abhängt. Daneben betrifft die Erfindung ein Kraftfahrzeug.

Zumindest teilautomatisierte Fahrmodi, in denen sowohl die Längs- als auch die Querführung durch ein fahrzeugseitiges Assistenzsystem durchgeführt wird, gewinnen zunehmend an Bedeutung.

Unter einer Teilautomatisierung, auch als Automatisierungsgrad Level 2 bezeichnet, wird ein Automatisierungsgrad verstanden, bei dem der Fahrer den Fährbetrieb dennoch dauerhaft überwachen muss. Bei höheren Automatisierungsgraden ist zunehmend weniger Fahrerüberwachung notwendig. So wird bei einer Automatisierung beziehungsweise einem Automatisierungsgrad Level 3 erreicht, dass der Fahrer das System nicht dauerhaft überwachen muss, wobei er jedoch bei Bedarf innerhalb einer Vorwarnzeit die Fahrzeugführung wieder übernehmen muss. In einem autonomen Fahrmodus beziehungsweise auf einem Automatisierungsgrad Level 4 wird die Führung des Fahrzeugs dauerhaft vom System übernommen, wobei der Fahrer dennoch den Fährbetrieb wieder übernehmen muss, wenn die Fahraufgaben vom System nicht mehr bewältigt werden können. Beim Automatisierungsgrad Le- vel 5 kann das Fahrzeug ohne einen Fahrereingriff stets einen sicheren Zustand erreichen, sodass beispielsweise Fahrzeuge ohne Lenkrad und Pedale genutzt werden können.

Entspricht die zumindest teilautomatisierte Führung des Kraftfahrzeugs nicht den Vorlieben eines Insassen, so kann dies, insbesondere bei höheren Automatisierungsgraden, beispielsweise zu Unbehagen oder Ungeduld führen, sodass die Akzeptanz entsprechender Assistenzfunktionen sinkt.

Die Druckschrift DE 10 2017 008 863 A1 schlägt daher vor, dass ein Nutzer von einem Server empfangene Fahrprofilempfehlungen für ein automatisiertes Fahren auch ablehnen kann beziehungsweise dass auf Basis einer Voreinstellung eines Fahrerprofils geeignete Fahrprofilempfehlungen des Servers ausgewählt werden, in Abhängigkeit derer dann der automatisierte Fährbetrieb erfolgt.

Ein ähnliches Vorgehen, bei dem jedoch zusätzliche Vorlieben unterschiedlicher Fahrzeuginsassen, die von diesen beispielsweise über eine App ausgewählt werden, priorisiert werden, ist aus der Druckschrift DE 10 2018 209 672 A1 bekannt.

Eine manuelle Auswahl von Vorlieben bezüglich eines zumindest teilautomatisierten Fährbetriebs erzeug jedoch einen Zusatzaufwand für Nutzer. Es kann auch vorkommen, dass ein Nutzer entsprechende Einstellmöglichkeiten nicht auffindet. Zugleich ermöglicht es eine Auswahl aus nur wenigen vorgegebenen Fahrstilen unter Umständen nicht, den Fährbetrieb optimal auf die Vorlieben eines Nutzers abzustimmen.

Der Erfindung liegt somit die Aufgabe zugrunde, eine verbesserte Möglichkeit zur Parametrisierung einer zumindest teilautomatisierten Führung eines Kraftfahrzeugs anzugeben, die die Führung insbesondere besser auf die Vorlieben eines Nutzers abstimmen kann. Die Aufgabe wird erfindungsgemäß durch ein Verfahren der eingangs genannten Art gelöst, wobei die Insasseninformation in Abhängigkeit von Sensordaten wenigstens eines den Fahrzeuginsassen des Kraftfahrzeugs zumindest teilweise abbildeten Innenraumsensors und/oder wenigstens eines eine Körpertemperatur des Fahrzeuginsassen und/oder eine Temperatur des Innenraums erfassenden Temperatursensors ermittelt wird.

Es wurde erkannt, dass die genannten Sensordaten relevante Informationen bezüglich der Emotionen des Fahrzeuginsassen beziehungsweise dessen Stimmung und Gemütslage geben. Beispielsweise führen eher angeregte Gemütszustände des Fahrzeuginsassen zu einer erhöhten Körpertemperatur, die entweder direkt oder indirekt mit einer gewissen Verzögerung durch Erfassung der Innenraumtemperatur erkannt werden kann. In beiden Fällen kann es vorteilhaft sein, eine ortsaufgelöste Temperaturerfassung zu nutzen, beispielsweise indem mehrere Temperatursensoren genutzt werden oder indem eine Temperaturerfassung über einen bildgebenden Infrarotsensor erfolgt.

Die Auswertung von Bilddaten des den Fahrzeuginsassen zumindest teilweise abbildenden, und somit bildgebenden, Innenraumsensors, ermöglicht es beispielsweise eine Pupillenweitung oder ein Abwenden des Blicks vom Fahrgeschehen in bestimmten Fahrsituationen, Lidschläge und Ähnliches zu erkennen, wodurch Rückschlüsse auf den Fahrerzustand und insbesondere dessen Emotionszustand möglich sind. Ergänzend oder alternativ kann beispielsweise eine Mimik des Fahrzeuginsassen erkannt und ausgewertet werden, um Rückschlüsse auf dessen Emotionszustand des zu ziehen. Der Innenraumsensor kann insbesondere eine Kamera sein.

Befinden sich mehrere Fahrzeuginsassen in dem Kraftfahrzeug, so kann aus diesen eine Referenzperson ausgewählt werden, auf die bei der Parametrisierung der teilautomatisierten Führung abstellt wird. Dies kann manuell durch die Fahrzeuginsassen erfolgen oder auch automatisch, beispielsweise auf Basis der Sitzposition oder in Abhängigkeit davon, welcher Fahrzeuginsasse einen Fahrzeugschlüssel mit sich trägt. Alternativ wäre es auch möglich, für mehrere Fahrzeuginsassen jeweils die Insasseninformation zu bestimmen und den wenigstens einem Parameter der zumindest teilautomatisierten Führung in Abhängigkeit der mehreren Insasseninformationen zu bestimmen. Hierbei kann insbesondere eine Priorisierung erfolgen, sodass primär negative Emotionen wie Unbehagen, Angst und Stress für alle Fahrzeuginsassen vermieden werden und erst dann, wenn dies erreicht ist, zusätzlich versucht wird, positive Emotionen wie Wohlbefinden, Entspannung, Freude und Spaß auszulösen.

Die Führung des Kraftfahrzeugs in Abhängigkeit des wenigstens einen Parameters kann insbesondere derart erfolgen, dass der Fahrzeuginsasse den Fährbetrieb nicht oder zumindest nicht dauerhaft überwachen muss. Es kann also insbesondere ein autonomes beziehungsweise automatisiertes Fahren bzw. ein Fahren mit einem Automatisierungsgrad Level 3, 4 oder 5 parametrisiert werden.

Neben der Insasseninformation kann der wenigsten eine Parameter der zumindest teilautomatisierten Führung auch von anderen Einflüssen, beispielsweise von Informationen bezüglich einer Witterung bzw. Wetterlage, die z.B. durch fahrzeugseitige Sensoren erfasst und/oder von einer externen Einrichtung bereitgestellt werden, abhängen. Hierbei ist es insbesondere möglich, dass an den Fahrzeuginsassen ein entsprechender Hinweis ausgegeben wird, wenn die Parametrisierung der Führung sich aufgrund der Witterung bzw. eines anderen berücksichtigten Einflusses ändert, sodass dieser hierdurch nicht überrascht wird.

Wie bereits erwähnt, kann Parametrisierung der Fahrzeugführung insbesondere in Abhängigkeit eines Emotionszustands des Fahrzeuginsassen erfolgen. Dies kann insbesondere erreicht werden, indem mehrere mögliche Emotionszustände des Fahrzeuginsassen vorgegeben werden, wobei die Insasseninformation einen in Abhängigkeit der Sensordaten ausgewählten der Emotionszustände beschreibt. Diese Auswahl kann insbesondere durch einen Klassifikationsalgorithmus erfolgen. Im einfachsten Fall können relativ wenige Klassen beziehungsweise mögliche Emotionszustände genutzt werden, sodass beispielsweise nur zwischen einem positiven, neutralen und negativen Emotionszustand unterschieden werden kann. Es können jedoch auch erheblich mehr Emotionszustände beziehungsweise Klassen berücksichtigt werden, beispielsweise die Emotionszustände Erschrecken, Unbehagen, Wohlbefinden, Stress, Entspannung, Angst, Aufregung, Freude und/oder Spaß usw.

Die Auswahl beziehungsweise Klassifikation des Emotionszustandes kann insbesondere durch einen Algorithmus erfolgen, der durch Maschinenlernen trainiert ist, beispielsweise durch ein neuronales Netz.

Hierbei ist es möglich, die zur Auswahl beziehungsweise Klassifikation des Emotionszustandes genutzten Sensordaten sowie hierbei optional zusätzlich berücksichtigte Daten, beispielsweise bezügliche der aktuellen Fahrsituation, für eine Vielzahl von Probanden und Fahrsituationen zur erfassen und, beispielsweise durch Selbstbewertung der Probanden und/oder durch Bewertung des Emotionszustandes der Probanden durch Dritte, Trainingsdatensätze bereitzustellen, die die jeweiligen Eingangsdaten für die Klassifikation, also zumindest die Sensordaten, und die durch die Probanden selbst beziehungsweise durch Dritte angegebenen Emotionszustände umfassen. Auf Basis dieser Daten kann dann ein überwachtes Lernen für den Algorithmus erfolgen. Ansätze für überwachte Lernvorgänge sind an sich wohl bekannt und sollen daher nicht detailliert erläutert werden. Beispielsweise kann zum Training eines neuronalen Netzes eine Fehlerrückführung genutzt werden.

Zur Komplexitätsreduzierung kann es vorteilhaft sein, dem Algorithmus zur Bestimmung des ausgewählten Emotionszustands nicht die vollständigen Sensordaten zuzuführen, sondern diese zumindest teilweise vorzuverarbeiten. Insbesondere können die den Fahrzeuginsassen des Kraftfahrzeugs zumindest teilweise abbildenden Bilddaten vorverarbeitet werden, um charakteristische Größen, wie beispielsweise eine Blickrichtung, eine Lidschlagfre- quenz, eine Pupillengröße oder Ähnliches zu ermitteln. Diese charakteristischen Größen können dann als Eingangsdaten für den Algorithmus zur Emotionszustandsbestimmung genutzt werden. Durch eine solche Komplexitätsreduzierung kann der Algorithmus auch manuell ohne ein Maschinenlernen vorgegeben werden beziehungsweise die Anzahl der erforderlichen Trainingsdatensätze zum Training kann erheblich reduziert werden.

Die Insasseninformation kann zusätzlich von dem Klang einer über ein Mikrofon im Innenraum des Kraftfahrzeugs erfassten Spracheingabe und/oder von einem erfassten Puls und/oder einem ermittelten Aufmerksamkeitsgrad und/oder Müdigkeitsgrad des Fahrzeuginsassen und/oder von einer durch den Fahrzeuginsassen gewählten Fahrroute abhängen. Es wurde erkannt, dass diese Parameter besonders stark mit Vorlieben von Fahrzeuginsassen bezüglich der Parametrisierung der Fahrzeugführung beziehungsweise mit Emotionszuständen der Fahrzeuginsassen korrelieren.

Als Klang der Spracheingabe kann hierbei jegliche Information aufgefasst werden, die nicht den Inhalt beziehungsweise Text der Spracheingabe betrifft, also insbesondere die spektrale Zusammensetzung beziehungsweise die Sprachmelodie und/oder das Timbre der Spracheingabe, jedoch auch Sprachgeschwindigkeit, Sprachrhythmus etc. Beispielsweise kann Stress zu schnellerem Sprechen und einem höheren Obertongehalt der Sprache führen.

Ansätze zur Bestimmung eines Aufmerksamkeits- beziehungsweise Müdigkeitsgrades sind im Stand der Technik wohl bekannt und werden beispielsweise bereits dazu genutzt, den Fahrer auf erforderliche Pausen hinzuweisen beziehungsweise ihn bei niedrigeren Automatisierungsgraden, bei denen der Fährbetrieb überwacht werden muss, aufzufordern, selbst wieder den Fährbetrieb zu übernehmen. Sie sollen daher nicht detailliert erläutert werden.

Aus der Wahl einer Fahrtroute kann bis zu einem gewissen Grad auch darauf zurückgeschlossen werden, welche Art von Fährbetrieb der Fahrer wünscht. Wählt er beispielsweise eine kurvenreiche Bergstraße, so ist hierbei häufig ein eher sportlicher Fährbetrieb gewünscht. Wird eine Route hingegen so gewählt, dass sie landschaftlich schön ist, kann beispielsweise eine komfortorientierter Fährbetrieb gewünscht sein.

Die Insasseninformation kann, wie bereits erwähnt, in Abhängigkeit wenigstens einer aus den den Fahrzeuginsassen zumindest teilweise abbildeten Sensordaten ermittelten Größe, nämlich einer Blickrichtung und/oder einer Pupillengröße und/oder eines Öffnungsgrades eines Augenlids des Fahrzeuginsassen, und/oder in Abhängigkeit des zeitlichen Verlaufs der wenigstens eine ermittelte Größe ermittelt werden.

Wie bereits obig erläutert wurde, kann durch eine solche Vorverarbeitung die Komplexität der Ermittlung der Insasseninformation, insbesondere der Auswahl eines Emotionszustandes, merklich reduziert werden, wodurch beispielsweise ein einfacheres und robusteres Training eines Algorithmus für diesen Zweck ermöglicht wird.

Die Ermittlung der genannten Größen wird bereits in anderem Kontext, beispielsweise zur Ermittlung von Aufmerksamkeitsgraden, genutzt, sodass das erfindungsgemäße Verfahren mit geringem Aufwand implementiert werden kann.

Die zumindest teilautomatisierte Führung kann derart angepasst werden, dass auf einer vorgegebener Fahrroute die für wenigstens zwei Werte der Insasseninformation resultierenden maximal auftretenden Querbeschleunigungen und/oder zeitlichen Verläufe der Querbeschleunigung und/oder Abschnitte der Fahrroute, in denen eine einen Grenzwert überschreitende Längsbeschleunigung auftritt, und/oder maximal auftretenden Längsbe- schleunigungen und/oder ein zeitlichen Verläufe der Längsbeschleunigung und/oder beim Durchfahren wenigstens einer Kurve der Fahrroute genutzte Trajektorien und/oder minimale zu weiteren Verkehrsteilnehmern eingehaltene Abstände und/oder zeitliche Verläufe der Fahrzeuggeschwindigkeit von- einander unterschiedlich sind. Die genannten Größen haben sich als besonders relevant für das Wohlbefinden beziehungsweise Emotionszustände von Fahrzeuginsassen herausgestellt. Der Grenzwert für die Längsbeschleuni- gung kann so gewählt werden, dass die darunterliegende Beschleunigungen kaum merklich sind, beispielsweise unter 0,5 m/s² liegen.

In dem erfindungsgemäßen Verfahren können mehrere Fahrmodi vorgegeben werden, die voneinander unterschiedliche Parameterwerte für den Parameter der zumindest teilautomatisierten Führung oder für wenigstens einen der Parameter der zumindest teilautomatisierten Führung vorgeben, wobei in Abhängigkeit der Insasseninformation einer der Fahrmodi ausgewählt wird. Nach Auswahl eines bestimmten Fahrmodus kann bis zu einer erneuten Wahl des Fahrmodus, die beispielsweise durch eine Benutzereingabe, insbesondere durch eine Spracheingabe, des Fahrzeuginsassen oder beispielsweise bei Erkennung eines negativen Emotionszustands ausgelöst werden kann, dieser Fahrmodus unverändert verwendet werden. In diesem Fall können die Parameterwerte aller Parameter konstant sein beziehungsweise nur unabhängig von der Insasseninformation, beispielsweise in Abhängigkeit einer Witterung bzw. einer Verkehrslage, verändert werden.

Es ist jedoch auch möglich, das während der teilautomatisierten Führung des Kraftfahrzeugs gemäß dem ausgewählten Fahrmodus erneut die Insasseninformation ermittelt wird, wobei der ausgewählte Fahrmodus anschließen modifiziert wird, indem der Parameter der zumindest teilautomatisierten Führung oder wenigsten eine der Parameter der zumindest teilautomatisierten Führung in Abhängigkeit der Insasseninformation auf einen Parameterwert gesetzt wird, der sich von dem durch den Fahrmodus vorgegebenen Parameterwert unterscheidet. Eine solche Anpassung kann beispielsweise in vorgegebenen Zeitabständen wiederholt werden oder jeweils nach Erfüllung einer Auslösebedingung erfolgen. Die Auslösebedingung kann beispielsweise erfüllt sein, wenn die Insasseninformation das Vorliegen eines negativen Emotionszustands des Fahrzeuginsassen, beispielsweise ein Erschrecken, Unbehagen oder einen Angstzustand, beschreibt. Ergänzend oder alternativ zur automatischen Anpassung des Parameters beziehungsweise wenigstens eines Parameters der zumindest teilautomatisierten Führung kann eine solche Anpassung auch auf eine Benutzereingabe hin erfolgen, also z.B. durch eine Spracheingabe des Fahrzeuginsassen ausgelöst werden.

Wenigstens eine der Fahrmodi kann vorgegeben werden, indem die Ermittlung des Parameterwertes des wenigstens einen Parameters für den zumindest teilautomatisierten Fährbetrieb in dem Kraftfahrzeug und/oder wenigstens einem weiteren Kraftfahrzeug mehrfach wiederholt wird, wonach für die jeweilige Wiederholung ein Referenzdatensatz bereitgestellt wird, der den wenigstens einen ermittelten Parameterwert beschreibt, wobei die Referenzdatensätze gesammelt und ähnliche Referenzdatensätze gruppiert werden, wonach für Gruppen der Referenzdatensätze, die eine vorgegebene Größe erreichen, jeweils ein gemeinsamer Parameterwert für den wenigstens einen Parameter der zumindest teilautomatisierten Führung vorgegeben wird, um einen jeweiligen der Fahrmodi zu definieren. Die Ermittlung der Referenzdatensätze kann insbesondere im Rahmen der obig erläuterten Anpassung eines ausgewählten Fahrmodus durch Änderungen des Parameters beziehungsweise wenigstens eines der Parameter der zumindest teilautomatisierten Führung erfolgen. Durch das beschriebene Vorgehen können beispielsweise neu relevante Fahrmodi erkannt werden beziehungsweise bestehende Fahrmodi durch ein kontinuierliches Training beziehungsweise Feedback aufgrund der ermittelten Insasseninformationen weiter verbessert werden.

Der Referenzdatensatz kann den Parameter beziehungsweise die Parameter selbst und/oder einen gewählten Fahrmodus angeben. Optional können in den Referenzdatensätzen zusätzliche prädiktive Streckendaten und/oder die Insasseninformation und/oder der Emotionszustand des Fahrzeuginsassen gespeichert sein. Im Referenzdatensatz können zudem potenziell den Fährbetrieb betreffende Umfeldeinflüsse, beispielsweise eine Witterung, die Jahreszeit, eine Innen- und/oder Außentemperatur, ein Terminkalender des Fahrzeuginnensassen, das Vorliegen von Ferien oder Feiertagen, im Bereich des Fährbetriebs vorhandene Baustellen und/oder Unfälle, und/oder Informationen, die durch Bedieneingaben des Fahrzeuginsassen ermittelt wurden, insbesondere durch ein Dialogsystem, gespeichert werden, um ähnliche Betriebssituationen beziehungsweise Ähnlichkeiten zwischen Fahrzeuginsassen besser erkennen und berücksichtigen zu können.

Die Gruppierung der Referenzdatensätze kann auch als Schichtung bezeichnet werden. Eine Ähnlichkeit kann ermittelt werden, in dem für alle oder Teile der Daten im Referenzdatensatz Abstände ermittelt werden und anschließend ein Abstandsmaß für die Gesamtreferenzdatensätze berechnet wird, beispielsweise als Summe der Abweichungen oder der Abweichungsquadrate. Die Grenze für die Größe der Gruppe, ab der ein jeweiliger Fahrmodus definiert wird, kann absolut vorgegeben sein. Vorzugsweise wird jedoch ein proportionaler Grenzwert genutzt, der von der Zahl der insgesamt ausgewerteten Referenzdatensätze abhängt.

In Abhängigkeit der Insasseninformation beziehungsweise insbesondere eines gewählten Fahrmodus können neben dem wenigstens einen Parameter der zumindest teilautomatisierten Führung auch Parameter für andere Fahrzeugeinrichtungen vorgegeben werden, insbesondere um gesamtheitlich positiv auf den Emotionszustand des Fahrzeuginsassen einzuwirken bzw. einen gesamtheitlichen Fahrmodus bereitzustellen.

Insbesondere kann in Abhängigkeit der Insasseninformation zusätzlich ein Parameter einer Routenermittlung und/oder einer Beleuchtungseinrichtung und/oder eine Beschallungseinrichtung und/oder eine Unterhaltungseinrichtung und/oder eine Temperierungseinrichtung und/oder eine Belüftungseinrichtung und/oder eine Massageeinrichtung und/oder eine Sprachsteuerung des Kraftfahrzeugs vorgegeben werden. Wird beispielsweise Stress oder Unbehagen des Fahrzeuginsassen erkannt, kann durch geeignete Wahl der Fahrzeugführung und eine geeignete Parametrisierung der genannten Einrichtungen oder von zumindest Teilen dieser Einrichtungen auf eine Entspannung des Fahrzeuginsassen hingewirkt werden. Als Beleuchtungseinrichtung kann insbesondere eine Innen- bzw. Ambiente- beleuchtung parametrisiert werden, beispielsweise um den Innenraum für ein komfortorientiertes Fahren eher mit warmen Farben und für ein dynamisches Fahren eher mit Blautönen zu beleuchten. Als Temperierungseinrichtung können beispielsweise eine Klimaanlage oder eine Sitzheizung bzw. Sitzzonenheizung parametrisiert werden.

Wie obig bereits erläutert wurde, kann auf Basis einer fahrzeuginsassenseitig gewählten Route auf Wünsche bezüglich des Fährbetriebs rückgeschlossen werden. Umgekehrt kann jedoch auch auf Basis der Insasseninformation bzw. insbesondere des Emotionszustandes, eine geeignete Route gewählt werden, die beispielsweise anregend oder beruhigend auf den Fahrer wirkt.

Neben dem erfindungsgemäßen Verfahren betrifft die Erfindung ein Kraftfahrzeug mit wenigstens einem Innenraumsensor und/oder wenigstens einem Temperatursensor und einer Steuereinrichtung, die zur zumindest teilautomatisierenden Führung des Kraftfahrzeugs eingerichtet ist, wobei die Steuereinrichtung oder eine Verarbeitungseinrichtung des Kraftfahrzeugs zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet ist. Zum erfindungsgemäßen Verfahren erläuterte Merkmale, insbesondere bezüglich von im Kraftfahrzeug vorhandenen Einrichtungen, lassen sich mit den genannten Vorteilen auf das erfindungsgemäße Kraftfahrzeug übertragen und umgekehrt.

Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den im Folgenden diskutierten Ausführungsbeispielen sowie den zugehörigen Zeichnungen. Hierbei zeigen schematisch:

Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs,

Fig. 2 ein Ablaufdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens, und Fig. 3 eine Möglichkeit zur Vorgabe der Fahrmodi in dem in Fig. 2 gezeigten Verfahren.

Fig. 1 zeigt ein Kraftfahrzeug 1 mit einem bildgebenden Innenraumsensor 2, insbesondere einer Kamera, einem Temperatursensor 3, der dazu dient, die Körpertemperatur des Fahrzeuginsassen 6 direkt oder über eine Erfassung der Temperatur des Innenraums des Kraftfahrzeugs 1 zu erfassen, und einer Steuereinrichtung 4, die zur zumindest teilautomatisierten Führung des Kraftfahrzeugs, insbesondere zur vollautomatisierten Führung des Kraftfahrzeugs 1 , eingerichtet ist. Eine Verarbeitungseinrichtung 5 oder alternativ auch die Steuereinrichtung 4 selbst implementiert ein Verfahren, das dazu dient, den durch die Steuereinrichtung 4 implementierten zumindest teilautomatisierten Fährbetrieb in Abhängigkeit von Sensordaten 7, 8 des Innenraumsensors 2 und des Temperatursensors 3 zu parametrisieren. Dieses Verfahren wird im Folgenden mit zusätzlichem Bezug auf Fig. 2 näher erläutert.

In Schritt S1 werden Sensordaten 7, also insbesondere Bilddaten, des Innenraumsensors 2 erfasst. In Schritt S2 werden die Sensordaten 8 des Temperatursensors 3 erfasst. Prinzipiell könnte auf Basis dieser Sensordaten 7, 8 unmittelbar eine den Fahrzeuginsassen 6 betreffende Insasseninformation 10 ermittelt werden. Durch die zusätzlichen Schritte S3 und S4, die im Folgenden erläutert werden, kann dies jedoch robuster und durch einen einfacheren Algorithmus erfolgen.

In Schritt S3 werden zusätzliche Informationen erfasst, die insbesondere dazu beitragen können, den Emotionszustand 9 des Fahrzeuginsassen 6 robust zu klassifizieren. Hierzu wird im Beispiel der Klang einer über ein Mikrofon 11 im Innenraum des Kraftfahrzeugs 1 erfassten Spracheingabe 12 ausgewertet, also beispielsweise die Sprachmelodie, das Timbre, die Sprachgeschwindigkeit und/oder der Sprachrhythmus. Zudem wird, im Beispiel über eine Smartwatch 13, ein Puls 14 des Fahrzeuginsassen 6 ermittelt. Ergänzend können ein ermittelter Aufmerksamkeitsgrad 15 bzw. Müdigkeitsgrad 16 herangezogen werden, die beispielsweise ohnehin für andere Zwecke, beispielsweise um eine hinreichende Aufmerksamkeit für niedrige Automatisierungsgrade sicherzustellen, genutzt werden können. Ansätze zur Ermittlung dieser Größen sind an sich bekannt und sollen daher nicht erläutert werden.

Falls der Fahrzeuginsasse 6 aktiv eine Fahrroute 17, beispielsweise an der Navigationseinrichtung 18, gewählt hat, können auch Eigenschaften dieser Fahrroute 17 berücksichtigt werden, also beispielsweise ob es sich um eine eher kurvenreiche Strecke oder eine Strecke mit eher ruhigem Verlauf bzw. um eine landschaftlich interessante Strecke handelt.

Auf Basis der in Schritt S1 bis S3 gesammelten Daten soll in Schritt S5 die Insasseninformation 10 ermittelt werden, wobei es sich hierbei insbesondere um eine Auswahl eines von mehreren möglichen Emotionszuständen 9 des Fahrzeuginsassen 6 handelt. Eine solche Klassifikation eines Emotionszustandes auf Basis der in den Schritten S1 bis S3 ermittelten Daten kann beispielsweise durch einen durch Maschinenlernen trainierten Algorithmus erfolgen, wie bereits im allgemeinen Teil erläutert wurde.

Sollen hierbei jedoch direkt Sensordaten 7 des bildgebenden Sensors 2 verarbeitet werden, ist ein relativ komplexer Algorithmus, also beispielsweise ein neuronales Netz mit einer Eingangsschicht mit sehr vielen Neuronen, erforderlich. Um ein robustes Training bereits mit relativ wenigen Trainingsdatensätzen zu ermöglichen bzw. einen solchen Algorithmus händisch zu parametrisieren ist es daher zweckmäßig, dessen Komplexität zu reduzieren.

Daher kann in Schritt S4 vor Schritt S5 zunächst eine Vorverarbeitung der Bilddaten bzw. der Sensordaten 7 erfolgen, um die relativ große Datenmenge der Sensordaten 7 auf eine relativ kleine Zahl von ermittelten Größen zu reduzieren. Im Beispiel werden hierbei die Blickrichtung 19, eine Pupillengröße 20 und ein Öffnungsgrad 21 der Augenlider des Fahrzeuginsassen ermittelt. Falls es sich bei den Sensordaten 7 um Bildfolgen bzw. Videodaten handelt, kann insbesondere ein zeitlicher Verlauf dieser Größen ermittelt werden.

Nach dieser Vorverarbeitung erfolgt, wie bereits erläutert, in Schritt S5 eine Klassifikation des Emotionszustands 9 des Fahrzeuginsassen und somit die Bestimmung der Insasseninformation 10.

In Schritt S6 werden auf Basis der Insasseninformation 10 mehrere Parameter 23 der zumindest teilautomatisierten Führung vorgegeben. Bei den Parametern 23 kann es sich insbesondere um Parameter handeln, bei deren Veränderung bei Befahren der gleichen vorgegebenen Fahrroute unterschiedliche maximale Querbeschleunigungen, ein unterschiedlicher zeitlicher Verlauf der Querbeschleunigung, Längsbeschleunigungen an unterschiedlichen Abschnitten der Fahrroute, unterschiedliche maximale Längsbeschleunigungen bzw. zeitliche Verläufe der Längsbeschleunigungen, unterschiedliche Trajek- torien beim Durchfahren wenigstens einer Kurve, unterschiedliche minimale Abstände zu anderen Verkehrsteilnehmern und/oder ein unterschiedlicher zeitlicher Verlauf der Fahrzeuggeschwindigkeit resultiert.

Da eine unabhängige Variation der Parameter 23 voneinander dazu führen kann, dass erst nach relativ vielen Änderungen der Parameter 23 ein Fährbetrieb resultiert, der dem Fahrzeuginsassen 6 angenehm ist bzw. positive Emotionen hervorruft, kann es vorteilhaft sein, stattdessen eine Auswahl von mehreren Fahrmodi 24, 40, 41 vorzugeben, deren Bereitstellung später noch mit Bezug auf Fig. 3 genauer erläutert werden wird. Der jeweilige Fahrmodus 24, 40, 41 gibt hierbei für jeden der Parameter 23 einen Parameterwert 22, 43, 44 vor. Durch die in Fig. 2 beispielhaft gezeigte Auswahl des Fahrmodus 24 werden somit die Parameterwerte 22 für die Parameter 23 vorgegeben.

Durch die Wahl eines geeigneten Fahrmodus 24 sollen gezielt positive Emotionen des Fahrzeuginsassen 6 hervorgerufen werden, also z.B. bedarfsgerecht ein eher anregender oder eher entspannender Fährbetrieb durchgeführt werden. Der positive Einfluss auf die Emotionen des Fahrzeuginsassen kann zusätzlich verstärkt werden, wenn auch nicht unmittelbar auf den Fährbetrieb einwirkende weitere Fahrzeugeinrichtungen entsprechend konfiguriert werden, weshalb in Schritt S7 Parameter 26 zur Ansteuerung weiterer Fahrzeugkomponenten vorgegeben werden.

Im Beispiel wird die Routenermittlung 27 durch die Navigationseinrichtung 18 beeinflusst, eine Beleuchtung durch eine Beleuchtungseinrichtung 28, insbesondere eine Ambientebeleuchtung, angepasst, eine Beschallungseinrichtung 29, beispielsweise zur Ausgabe von beruhigenden Naturgeräuschen, angesteuert, eine Unterhaltungseinrichtung 30, beispielsweise ein Radio oder eine Videoeinrichtung, angesteuert, um eine geeignete Programmauswahl durchzuführen, über eine Temperierungseinrichtung 31 , im Beispiel eine Sitzheizung, eine angemessene Temperatur eingestellt, eine Beduf- tungseinrichtung 32 angesteuert und unter Umständen eine Massageeinrichtung 33 genutzt.

Zudem kann eine im Beispiel durch die Verarbeitungseinrichtung 5 implementierte Sprachsteuerung 34 des Kraftfahrzeugs 1 konfiguriert werden, beispielsweise um die Häufigkeit der Ansprache des Fahrzeuginsassen, die Wortwahl und/oder die Art der Dialogführung eines solchen digitalen Assistenten in Abhängigkeit des Emotionszustands 9 bzw. Insasseninformation 10 anzupassen.

In Schritt S8 erfolgt dann der zumindest teilautomatisierte, insbesondere vollautomatisierte, Fährbetrieb gemäß der Parameter 23.

Während der automatisierten Führung wird in Schritt S9 wiederholt, beispielsweise im festen zeitlichen Abstand oder bei Erfüllung einer Auslösebedingung, die Insasseninformation 10 ermittelt. Dies ist aus Übersichtlichkeitsgründen in Fig. 2 nur als einzelner Schritt dargestellt, wobei der Schritt S9 beispielsweise eine Wiederholung der Schritte S1 bis S5 umfassen kann. Prinzipiell könnte auf Basis dieser Insasseninformation 10 erneut einer der vorgegebenen Fahrmodi 24, 40, 41 gewählt werden. Es kann jedoch vorteilhaft sein, stattdessen nur für einzelne der Parameter 23 neue Parameterwerte 35 auf Basis der Insasseninformation 10 zu ermitteln, wie dies in Schritt S10 schematisch dargestellt ist. Dies kann beispielsweise zweckmäßig sein, wenn die vorgegebenen Fahrmodi 24, 40, 41 nur relativ wenige, deutlich unterschiedliche Fahrmodi beschreiben. Durch eine anschießende Feinabstimmung einzelner Parameter 23 im Rahmen der wiederholten Ermittlung der Insasseninformation 10 kann durch eine leichte Variation des vorangehend gewählten Fahrmodus 22 dieser detailliert an die Vorlieben des individuellen Fahrzeuginsassen 6 angepasst werden.

Die Schritte S8 bis S10 werden insbesondere wiederholt durchgeführt, wobei es in einem nicht gezeigten Fall, in dem beispielsweise ein deutlich negativer Emotionszustand 9 des Fahrzeuginsassen 6 ermittelt wird, auch erneut zu Schritt S6 zurückgekehrt werden kann, um einen grundsätzlich anderen Fahrmodus 24, 40, 41 auszuwählen.

In Schritt S11 kann ein, insbesondere anonymisierter, Referenzdatensatz 36 bereitgestellt werden, der die in Schritt S10 ermittelten Parameterwerte 35 für die Parameter 23 und unter Umständen Parameter zusätzlicher Fahrzeugeinrichtungen, wie sie mit Bezug auf Schritt S7 erläutert wurden, umfasst. Dieser kann beispielsweise über die Kommunikationseinrichtung 45 des Kraftfahrzeugs an eine fahrzeugexterne Einrichtung 46, beispielsweise ein Backend-Server des Fahrzeugherstellers, übertragen werden und dort, wie im Folgenden mit Bezug auf Fig. 3 erläutert werden wird, genutzt werden, um die Auswahl an zur Verfügung stehenden Fahrmodi anzupassen bzw. diese Fahrmodi 24, 40, 41 zu definieren.

Wie in Fig. 3 schematisch dargestellt ist, können hierzu die durch verschiedene Kraftfahrzeuge 1 in verschiedenen Fahrsituationen bereitstellten Referenzdatensätze 36 zunächst zu Gruppen 37, 38, 39 zusammengefasst werden, die jeweils ähnliche Referenzdatensätze 36 umfassen. Erreicht eine jeweilige Gruppe 37, 38, 39 eine vorgegebene Größe, die insbesondere von der insgesamt verarbeiteten Anzahl der Referenzdatensätze 36 abhängig sein kann, so wird auf Basis der Referenzdatensätze 36 für die verschiedenen Parameter 23 ein jeweiliger für die gesamte Gruppe gültiger gemeinsamer Parameterwert 22, 43, 44 ermittelt. Im einfachsten Fall kann es sich hier- bei um einen Mittelwert oder einen Median der Parameterwerte für den jeweiligen Parameter 23 in den Referenzdatensätzen 36 der jeweiligen Gruppe 37, 38, 39 handeln. Es sind jedoch auch komplexere Ermittlungsverfahren möglich, die beispielsweise eine Wechselwirkung zwischen verschiedenen Parametern 23 berücksichtigen können.

Die so ermittelten Fahrmodi 24, 40, 41 können anschließend an die Kraftfahrzeuge, die das obig erläuterte Verfahren durchführen sollen, verteilt werden. Somit wird letztlich die gesamte Flotte genutzt, um optimale Fahrmodi zu erlernen, die für eine große Menge von Fahrzeuginsassen und Fahrsitua- tionen relevant sind.

Claims

PATENTANSPRÜCHE:

1 . Verfahren zur zumindest teilautomatisierten Führung eines Kraftfahrzeugs (1 ), wobei der Parameterwert (22, 35, 43, 44) wenigstens eines Parameters (23) der zumindest teilautomatisierten Führung von einer einen Fahrzeuginsassen (6) betreffenden Insasseninformation (10) abhängt, dadurch gekennzeichnet, dass die Insasseninformation (10) in Abhängigkeit von Sensordaten (7, 8) wenigstens eines den Fahrzeuginsassen (10) des Kraftfahrzeugs (1 ) zumindest teilweise abbildenden Innenraumsensors (2) und/oder wenigstens eines eine Körpertemperatur des Fahrzeuginsassen (6) und/oder eine Temperatur des Innenraums erfassenden Temperatursensors (3) ermittelt wird.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mehrere mögliche Emotionszustände (9) des Fahrzeuginsassen (6) vorgegeben werden, wobei die Insasseninformation (10) einen in Abhängigkeit der Sensordaten (7, 8) ausgewählten der Emotionszustände (9) beschreibt.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Insasseninformation (10) zusätzlich von dem Klang einer über ein Mikrophon (11 ) im Innenraum des Kraftfahrzeugs (1 ) erfassten Spracheingabe (12) und/oder einem erfassten Puls (14) und/oder einem ermittelten Aufmerksamkeitsgrad (15) und/oder Müdigkeitsgrad (16) des Fahrzeuginsassen (6) und/oder von einer durch den Fahrzeuginsassen (6) gewählten Fahrroute (17) abhängt.

4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Insasseninformation (10) in Abhängigkeit wenigstens einer aus den den Fahrzeuginsassen (6) zumindest teilweise abbildenden Sensordaten (7) ermittelten Größe, nämlich einer Blickrichtung (19) und/oder einer Pupillengröße (20) und/oder eines Öffnungsgrads (21 ) eines Augenlids des Fahrzeuginsassen (6), und/oder in Abhängigkeit des zeitlichen Verlaufs der wenigstens einen ermittelten Größe ermittelt wird. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest teilautomatisierte Führung derart angepasst wird, dass auf einer vorgegebener Fahrroute (17) die für wenigstens zwei Werte der Insasseninformation (10) resultierenden maximal auftretenden Querbeschleunigungen und/oder zeitlichen Verläufe der Querbeschleunigung und/oder Abschnitte der Fahrroute, in denen eine einen Grenzwert überschreitende Längsbeschleunigung auftritt, und/oder maximal auftretenden Längsbeschleunigungen und/oder ein zeitlichen Verläufe der Längsbeschleunigung und/oder beim Durchfahren wenigstens einer Kurve der Fahrroute genutzte Trajektorien und/oder minimale zu weiteren Verkehrsteilnehmern eingehaltene Abstände und/oder zeitliche Verläufe der Fahrzeuggeschwindigkeit voneinander unterschiedlich sind. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass mehrere Fahrmodi (24, 40, 41 ) vorgegeben werden, die voneinander unterschiedliche Parameterwerte (22, 43, 44) für den Parameter (23) der zumindest teilautomatisierten Führung oder für wenigstens einen der Parameter (23) der zumindest teilautomatisierten Führung vorgeben, wobei in Abhängigkeit der Insasseninformation (10) einer der Fahrmodi (24, 40, 41 ) ausgewählt wird. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass während der teilautomatisierten Führung des Kraftfahrzeugs (1 ) gemäß dem ausgewählten Fahrmodus (24, 40, 41 ) erneut die Insasseninformation (10) ermittelt wird, wobei der ausgewählte Fahrmodus (24, 40, 41 ) anschließend modifiziert wird, indem der Parameter (23) der zumindest teilautomatisierten Führung oder wenigstens einer der Parameter (23) der zumindest teilautomatisierten Führung in Abhängigkeit der Insasseninformation (10) auf einen Parameterwert (35) gesetzt wird, der sich von dem durch den Fahrmodus (10) vorgegebenen Parameterwert (22, 43, 44) unterscheidet. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass wenigstens einer der Fahrmodi (24, 40, 41 ) vorgegeben wird, indem die Ermittlung des Parameterwertes (22, 35, 43, 44) des wenigstens einen Parameters (23) für den zumindest teilautomatisierten Fährbetrieb in dem Kraftfahrzeug (1 ) und/oder wenigstens einem weiteren Kraftfahrzeug (1 ) mehrfach wiederholt wird, wonach für die jeweilige Wiederholung ein Referenzdatensatz (36) bereitgestellt wird der den wenigstens einen ermittelten Parameterwert (22, 35, 43, 44) beschreibt, wobei die Referenzdatensätze (36) gesammelt und ähnliche Referenzdatensätze (36) gruppiert werden, wonach für Gruppen (37, 38, 39) der Referenzdatensätze (36), die eine vorgegebene Größe erreichen, jeweils ein gemeinsamer Parameterwert (23, 43, 44) für den wenigstens einen Parameter (23) der zumindest teilautomatisierten Führung vorgegeben wird, um einen jeweiligen der Fahrmodi (24, 40, 41 ) zu definieren. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der Insasseninformation (10) zusätzlich ein Parameter (26) einer Routenermittlung (27) und/oder einer Beleuchtungseinrichtung (28) und/oder einer Beschallungseinrichtung (29) und/oder einer Unterhaltungseinrichtung (30) und/oder einer Temperierungseinrichtung (31 ) und/oder einer Beduftungseinrichtung (32) und/oder einer 21

Massageeinrichtung (33) und/oder einer Sprachsteuerung (34) des Kraftfahrzeugs (1 ) vorgegeben wird. Kraftfahrzeug mit wenigstens einem Innenraumsensor (2) und/oder wenigstens einem Temperatursensor (3) und einer Steuereinrichtung

(4), die zur zumindest teilautomatisierten Führung des Kraftfahrzeugs (1 ) eingerichtet ist, dadurch gekennzeichnet, dass die Steuereinrichtung (4) oder eine Verarbeitungseinrichtung (5) des Kraftfahrzeugs (1 ) zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche eingerichtet ist.