AUTOMATISIERTES KRAFTFAHRZEUG UND VERFAHREN ZUM STEUERN DES AUTOMATISIERTEN KRAFTFAHRZEUGES Die vorliegende Erfindung betrifft ein automatisiertes Kraftfahrzeug sowie ein Steuerverfahren für das automatisierte Kraftfahrzeug.
Unter einem automatisierten Kraftfahrzeug wird vorliegend ein Kraftfahrzeug verstanden, welches ausgestaltet ist, um eine Quer- und/oder Längsführung eines Kraftfahrzeugs zumindest zeitweise automatisiert bzw. autonom auszuführen.
Bei einem (hoch-) automatisierten Fahren muss ein Fahrer ein System “Fahrzeug“ nicht kontinuierlich überwachen. Der Fahrer hat daher beim automatisierten Fahren die Möglichkeit sich mit Dingen abseits der Überwachung des Systems „Fahrzeug“ zu beschäftigen, die bei einem manuellen Fahren aufgrund der Notwendigkeit einer Erfüllung einer Fahraufgabe zumindest teilweise nicht möglich oder gesetzlich erlaubt wären, wie zum Beispiel auf ein mobiles Endgerät zu sehen und/oder ein Buch zu lesen.
Problematisch ist jedoch, dass ein Mangel an Vertrauen seitens des Fahrers dazu führen kann, dass Fähigkeiten des automatisierten Kraftfahrzeugs, insbesondere der darin verbauten Fahrassistenzsysteme, nicht ausgeschöpft werden. Damit sich der Fahrer in der oben beschriebenen Weise von der Erfüllung der eigentlichen Fahraufgabe abwendet und einer fahrfremden Tätigkeit nachgeht oder gar schläft, bedarf es dieses notwendigen Vertrauens des Fahrers.
Aufgabe der vorliegenden Erfindung ist es daher, ein automatisiertes Kraftfahrzeug sowie ein Steuerverfahren für das automatisierte Kraftfahrzeug bereitzustellen, die jeweils ausgestaltet sind, um die oben beschriebenen Nachteile zu überwinden.
Diese Aufgabe wird erfindungsgemäß gelöst durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen sind in den Unteransprüchen angegeben.
Demnach wird die Aufgabe durch ein automatisiertes Kraftfahrzeug gelöst, das eine Sensorvorrichtung umfasst, die ausgestaltet ist, um eine Blickrichtung einer sich auf einem Fahrersitz befindlichen Person kontinuierlich zu bestimmen.
Weiterhin weist das automatisierte Kraftfahrzeug eine zur Sensorvorrichtung verbundenen Steuervorrichtung auf, die ausgestaltet ist, um basierend auf der von der Sensorvorrichtung bestimmten Blickrichtung eine Frequenz einer Änderung der Blickrichtung zu bestimmen, die bestimmte Frequenz mit einem vorbestimmten Grenzwert zu vergleichen und, wenn die bestimmte Frequenz größer als der vorbestimmte Grenzwert ist, ein Steuersignal zu einer zur Steuervorrichtung verbundenen Informationsausgabevorrichtung auszugeben.
Weiterhin weist das automatisierte Kraftfahrzeug eine Informationsausgabevorrichtung auf, die ausgestaltet ist, um eine Information nach Erhalt des Steuersignals an die sich auf dem Fahrersitz befindliche Person auszugeben.
Mit anderen Worten, mittels Tracking von Blickbewegungen wird ein Vertrauen des Fahrers in das automatisierte Kraftfahrzeug ermittelt. Bei anhaltendem Misstrauen, das heißt bei vielen Blickwechseln zur Überprüfung der aktuellen Fahrsituation, wird der Fahrer proaktiv von dem automatisierten Kraftfahrzeug mit zumindest einer Information versorgt. Denkbar ist insbesondere, dass der Fahrer auf die Fahrfunktionen des automatisierten Kraftfahrzeugs hingewiesen wird.
Bei der Sensorvorrichtung kann es sich um ein Kamerasystem handeln, welches ausgestaltet ist, um mittels einer auf den Fahrersitz gerichteten Kamera Bilddaten der sich auf dem Fahrersitz befindlichen Person zu akquirieren. Weiterhin kann die Kamera diese akquirierten Bilddaten zu einer Bilddatenverarbeitungsvorrichtung ausgeben, welche ausgestaltet ist, um basierend auf den von der Kamera empfangenen Bilddaten die Blickrichtung der sich auf dem Fahrersitz befindlichen Person zu bestimmen.
Die Steuervorrichtung kann eine Eingangsschnittstelle aufweisen, über die sie zu dem Kamerasystem verbunden ist und über die sie die Information betreffend die Blickrichtung der sich auf dem Fahrersitz befindlichen Person empfängt. Von der Eingangsschnittstelle der Steuervorrichtung können die Daten zu einer Recheneinheit ausgegeben werden, welche einen Algorithmus aufweist, der ausgestaltet ist, um basierend auf den Informationen betreffend die Blickrichtung des Fahrers eine Frequenz einer Änderung der Blickrichtung zu bestimmen und diese bestimmte Frequenz mit einem vorbestimmten Grenzwert zu vergleichen. Weiterhin kann der Algorithmus ausgestaltet sein, um eine zur Recheneinheit verbundene Ausgangsschnittstelle der Steuervorrichtung so anzusteuern, dass diese ein Steuersignal zu der Informationsausgabevorrichtung ausgibt, wenn die bestimmte Frequenz größer als der vorbestimmte Grenzwert ist.
Die Informationsausgabevorrichtung kann ausgestaltet sein, um die Information auditiv, visuell und/oder haptisch auszugeben.
Denkbar ist, dass die Informationsausgabevorrichtung dafür einen Lautsprecher, ein Display und/oder eine Vibrationsvorrichtung aufweist, die insbesondere an einem Lenkrad und/oder am Fahrersitz verbaut ist.
Die Steuervorrichtung kann ausgestaltet sein, um basierend auf von dem Kraftfahrzeug empfangenen Daten, die zumindest eine Information über die sich auf dem Fahrersitz befindliche Person betreffen, das Steuersignal zu der Informationsvorrichtung auszugeben.
Die zumindest eine Information kann eine Information über ein Geschlecht und/oder einen Namen der sich auf dem Fahrersitz befindlichen Person umfassen.
Die Steuervorrichtung kann ausgestaltet sein, um das Steuersignal nur zu der Informationsausgabevorrichtung auszugeben, wenn die Frequenz der Änderung der Blickrichtung länger als eine vorbestimmte Zeitspanne bzw. länger als ein vorbestimmter Zeitraum größer als der vorbestimmte Grenzwert ist.
Weiterhin wird ein Steuerverfahren für ein automatisiertes Kraftfahrzeug bereitgestellt.
Das oben mit Bezug zum Kraftfahrzeug Beschriebene gilt analog auch für das Verfahren und umgekehrt.
Das Verfahren weist einen Schritt eines kontinuierlichen Bestimmens einer Blickrichtung einer sich auf einem Fahrersitz des Kraftfahrzeugs befindlichen Person auf. Das Verfahren weist weiterhin einen Schritt eines Bestimmens einer Frequenz einer Änderung der Blickrichtung und einen Schritt eines Vergleichens der bestimmten Frequenz mit einem vorbestimmten Grenzwert auf.
Das Verfahren weist ferner einen Schritt eines Ausgebens eines Steuersignals zu einer Informationsausgabevorrichtung auf, wenn der Vergleich ergibt, dass die Frequenz größer als der vorbestimmte Grenzwert ist.
Das Verfahren weist weiterhin einen Schritt eines Ausgebens einer Information nach dem bzw. in Reaktion auf den Erhalt des Steuersignals an die sich auf dem Fahrersitz befindliche Person auf.
Denkbar ist, dass die Information auditiv, visuell und/oder haptisch ausgegeben wird.
Das Steuersignal kann zu der Informationsausgabevorrichtung basierend auf von dem Kraftfahrzeug empfangenen Daten ausgegeben werden, wobei die Daten zumindest eine Information über die sich auf dem Fahrersitz befindliche Person umfassen.
Denkbar ist, dass die zumindest eine Information eine Information über ein Geschlecht und/oder einen Namen der sich auf dem Fahrersitz befindlichen Person umfasst.
Weiterhin ist denkbar, dass das Steuersignal nur bzw. ausschließlich dann zu der Informationsausgabevorrichtung ausgegeben wird, wenn die Frequenz der Änderung
der Blickrichtung länger als eine vorbestimmte Zeitspanne größer als der vorbestimmte Grenzwert ist.
Das oben Beschriebene lässt sich mit anderen Worten wie folgt zusammenfassen: Ein aktuelles Vertrauenslevel kann durch ein Tracking von Blickbewegungen (sogenanntes „monitoring frequenzy“) ermittelt werden. Somit hat das System bzw. das Kraftfahrzeug die Möglichkeit zu erkennen, wenn ein Systemvertrauen des Fahrers, insbesondere bei einem automatisierten Fahren, gering ist, da viele Blickwechsel zur Überprüfung der Situation stattfinden. Ist dieses Verhalten auch nach längerer Nutzung des automatisierten Kraftfahrzeugs persistierend, das heißt es stellt sich kein Vertrauen ein und der Fahrer nutzt das System nicht so wie er/sie es eigentlich könnte, wird proaktiv auf die Möglichkeit des Bearbeitens von fahrfremden Tätigkeiten hingewiesen. Eine Möglichkeit bietet hier der Einsatz sogenannter „anthropomorpher cues“ (beispielsweise Stimme, Name, Geschlecht, direkte Ansprache) durch das System.
Insbesondere durch das direkte Ansprechen des Fahrers kann das Vertrauen des Fahrers auf ein angemessenes Level gehoben und dadurch die Akzeptanz des, insbesondere hoch- und/oder vollautomatisierten, Fahrsystems gefördert werden.
Die oben beschriebene zumindest eine Information über die sich auf dem Fahrersitz befindliche Person kann auch als personalisierte Information bezeichnet werden. Insbesondere ist denkbar, dass für ein Bestimmen dieser zumindest einen Information die sich auf dem Fahrersitz befindliche Person identifiziert wird. Das Identifizieren kann beispielsweise durch einen Vergleich von Eigenschaften der sich auf dem Fahrersitz befindlichen Person mit in einer Datenbank des Kraftfahrzeugs hinterlegten Eigenschaften erfolgen. Die Datenbank kann im Kraftfahrzeug selbst gespeichert sein, denkbar ist aber auch, dass die Datenbank zusätzlich oder alternativ außerhalb des Kraftfahrzeugs gespeichert ist, zum Beispiel in einer Cloud.
Eine Möglichkeit zur Identifikation des Fahrers kann eine Gesichtserkennung sein, wobei diese zur Eigenschaftsfeststellung eine Analyse der Ausprägung sichtbarer Merkmale im Bereich des frontalen Kopfes des Fahrers, gegeben durch geometrische
Anordnung und Textureigenschaften der Oberfläche, umfassen kann. Eine zusätzliche oder alternative Möglichkeit zur Identifikation des Fahrers kann eine Fingerabdruckerkennung sein, wobei diese zur Eigenschaftsfeststellung eine Analyse einer Unterseite einer Fingerkuppe, beispielsweise über einen Sensor am Lenkrad, umfassen kann.
Eine weitere zusätzliche oder alternative Möglichkeit zur Identifikation des Fahrers kann ein Abfragen einer auf einem Fahrzeugschlüssel gespeicherten Information, wie beispielsweise der Name des Fahrers, sein
Das Kraftfahrzeug ist, wie bereits oben beschrieben, ausgestaltet um automatisiert, insbesondere autonom, zu fahren. Das autonome Fahren bzw. automatisierte Fahren kann so erfolgen, dass die Fortbewegung des Kraftfahrzeugs (weitgehend) autonom erfolgt. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 1 sein, das heißt bestimmte Fahrassistenzsysteme aufweisen, die den Fahrer bei der Fahrzeugbedienung unterstützen, wie beispielsweise ein Abstandsregeltempomat (ACC). Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 2 sein, das heißt so teilautomatisiert sein, dass Funktionen wie automatisches Einparken, Spurhalten bzw. Querführung, allgemeine Längsführung, Beschleunigen und/oder Abbremsen von Fahrassistenzsystemen übernommen werden. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 3 sein, das heißt so bedingungsautomatisiert sein, dass der Fahrer das System Fahrzeug nicht durchgehend überwachen muss. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechseln und/oder Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert die Kraftfahrzeugführung zu übernehmen. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 4 sein, das heißt so hochautomatisiert, dass die Führung des Fahrzeugs dauerhaft vom System Fahrzeug übernommen wird. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen. Das Kraftfahrzeug kann ein Fahrzeug der Autonomiestufe 5 sein, das heißt so vollautomatisiert, dass der Fahrer zum Erfüllen der Fahraufgabe nicht erforderlich ist. Außer dem festgelegten Ziel und dem Starten des Systems ist kein menschliches
Eingreifen erforderlich. Das Fahrzeug kann dann ohne Lenkrad und Pedale auskommen.
Denkbar ist insbesondere, dass die oben beschriebene personalisierte Information mit einer natürlichen Stimme ausgegeben wird. Diese natürliche Stimme kann eine menschliche Stimme nachahmen, das heißt den durch die Stimmlippen eines Menschen erzeugten und den in Mundstrich, Rachenstrich und Nasenhöhlen modulierten Schall nachahmen. Ein Erzeugen der natürlichen Stimme kann beispielsweise eine Verkettung von zuvor aufgenommenen Sprachsegmenten zur personalisierten Informationsausgabe aufweisen.
Durch die Technologie der Verkettung zuvor aufgenommener Sprachsegmente zur personalisierten Informationsausgabe kann eine Synthese des Sprachsignals, das heißt eine Analyse der menschlichen Sprache bezüglich der Phonomene, aber auch der Prosodie, weitgehend vermieden werden und so eine natürliche, d.h. der menschlichen Stimme im Wesentlichen ähnliche, Stimme erzeugt werden.
Nachfolgend wird eine Ausführungsform der vorliegenden Erfindung mit Bezug zu Figuren 1 und 2 beschrieben.
Fig. 1 zeigt schematisch ein automatisiertes Kraftfahrzeug, und
Fig. 2 zeigt ein Ablaufdiagramm eines Steuerverfahrens für das automatisierte Kraftfahrzeug aus Figur 1.
Das in Figur 1 lediglich schematisch angedeutete Kraftfahrzeug 1 weist eine Sensorvorrichtung 2, eine zur Sensorvorrichtung 2 verbundene Steuervorrichtung 3 und eine zur Steuervorrichtung 3 verbundene Informationsausgabevorrichtung 4 auf. Die Sensorvorrichtung 2 ist ausgestaltet, um eine Blickrichtung einer sich auf einem Fahrersitz befindlichen Person kontinuierlich zu bestimmen. Dazu weist die Sensorvorrichtung 2 vorliegend eine (nicht dargestellte) Kamera auf, die in einem Kraftfahrzeuginnenraum des Kraftfahrzeugs 1 angeordnet ist.
Die Kamera, die so ausgerichtet ist, dass sie Bilddaten der sich auf dem Fahrersitz befindlichen Person aufnehmen bzw. akquirieren kann, bestimmt mittels eines Objekterkennungsalgorithmus zumindest eine Position der Augen der sich auf dem Fahrersitz befindlichen Person, um so die jeweilige Blickrichtung dieser Person zu bestimmen.
Die Steuervorrichtung 3 ist eingangsseitig zur Sensorvorrichtung 2 und ausgangsseitig zur Informationsausgabevorrichtung 4 verbunden
Die Informationsausgabevorrichtung 4 ist eingangsseitig zur Steuervorrichtung 3 verbunden und weist mehrere in dem Kraftfahrzeuginnenraum angeordnete Ausgabevorrichtungen aus, die vorliegend ein Display, das in einem Sichtfeld der sich auf dem Fahrersitz befindlichen Person angeordnet ist, und ein Lautsprechersystem aufweist, welches ausgestaltet ist, um eine auditive Information für die sich auf dem Fahrersitz befindliche Person wahrnehmbar in dem Kraftfahrzeuginnenraum auszugeben.
Das automatisierte Kraftfahrzeug 1 ist ausgestaltet, um das nachfolgend mit Bezug zur Figur 2 beschriebene Verfahren bzw. Steuerverfahren auszuführen.
Wie Figur 2 zu entnehmen ist, weist das Steuerverfahren für das automatisierte Kraftfahrzeug 1 im Wesentlichen vier Schritte S1 - S4 auf. In einem ersten Schritt S1 des Verfahrens nimmt die Sensorvorrichtung 2 in der oben beschriebenen Weise Bilddaten der sich auf dem Fahrersitz befindlichen Person auf und bestimmt basierend auf den aufgenommenen Bilddaten kontinuierlich, das heißt in regelmäßigen Abständen und/oder durchgängig, eine Blickrichtung der sich auf dem Fahrersitz befindlichen Person.
Weiterhin gibt die Sensorvorrichtung 2 die so bestimmten Blickrichtungen zu der Steuervorrichtung 3 in dem ersten Schritt S1 des Verfahrens aus.
In einem zweiten Schritt S2 des Verfahrens empfängt die Steuervorrichtung 3 zunächst die von der Sensorvorrichtung 2 bestimmten Blickrichtungen, um anschließend basierend auf den empfangenen Blickrichtungen eine Frequenz einer Änderung der Blickrichtung zu bestimmen.
Nachfolgend vergleicht die Steuervorrichtung 3 in einem dritten Schritt S3 des Verfahrens die so bestimmte Frequenz mit einem vorbestimmten Grenzwert. Wenn mittels dieses Vergleichs von der Steuervorrichtung 3 in dem dritten Schritt S3 des Verfahrens festgestellt wird, dass die zuvor bestimmte Frequenz der Änderung der Blickrichtung für eine vorbestimmte Zeitspanne größer als der vorbestimmte Grenzwert ist, gibt die Steuervorrichtung 3 zu der Informationsausgabevorrichtung 4 ein Steuersignal aus.
In einem vierten Schritt S4 des Verfahrens empfängt die eingangsseitig zur Steuervorrichtung 3 verbundene Informationsausgabevorrichtung 4 das von der Steuervorrichtung 3 in dem dritten Schritt S3 ausgegebene Steuersignal.
Nach Erhalt des Steuersignals gibt die Informationsausgabevorrichtung 4 in dem vierten Schritt S4 eine Information zu dem Fahrer bzw. der sich auf dem Fahrersitz befindlichen Person aus. Dazu nutzt die Informationsausgabevorrichtung 4 das oben beschriebene Display, insbesondere um visuelle Informationen auszugeben, sowie, zusätzlich oder alternativ, das oben beschriebene Lautsprechersystem, um auditive Informationen an die sich auf dem Fahrersitz befindliche Person auszugeben. Denkbar ist weiterhin, dass die Sensorvorrichtung 2 in dem oben beschriebenen Schritt S1 des Verfahrens nicht nur bzw. ausschließlich eine Information über die Blickrichtung der sich auf dem Fahrersitz befindlichen Person zu der Steuervorrichtung 3 ausgibt, sondern vielmehr auch die jeweiligen von der Person akquirierten bzw. aufgenommenen Bilddaten, die es der Steuervorrichtung 3 anschließend in dem zweiten Schritt S2 des Verfahrens erlauben, die sich auf dem Fahrersitz befindliche Person mittels einer Gesichtserkennung und einem Datenbankabgleich zu identifizieren.
Weiterhin ist denkbar, dass die Steuervorrichtung 3 basierend darauf zusammen mit dem Steuersignal, das von der Steuervorrichtung 3 in dem dritten Schritt S3 zu der Informationsausgabevorrichtung 4 ausgegeben wird, auch persönliche Daten der sich auf dem Fahrersitz befindlichen Person übermittelt. Diese persönlichen Daten können beispielsweise ein Geschlecht und/oder einen Namen der sich auf dem Fahrersitz befindlichen Person umfassen. Diese Informationen können in der oben beschriebenen Datenbank zu der jeweiligen Person abgespeichert sein.
Daraufhin kann die Informationsausgabevorrichtung 4, die das Steuersignal in dem vierten Schritt S4 des Verfahrens in oben beschriebener Weise empfängt, eine personalisierte Informationsausgabe an die sich auf dem Fahrersitz befindliche Person vornehmen. Denkbar ist auch, dass die Informationsausgabevorrichtung 4 die Information in Abhängigkeit eines Automatisierungslevels des Kraftfahrzeugs 1 in unterschiedlicher Weise ausgibt.
Konkret kann dies bedeuten, dass die Informationsausgabevorrichtung 4 in dem vierten Schritt S4 bei einem Kraftfahrzeug 1 des Automatisierungslevels 3 folgende Information, auditiv und/oder visuell, zu der sich auf dem Fahrersitz befindlichen Person ausgibt: „Hallo [Platzhalter: Name der Person], keine Sorge bei der Benutzung des Personal Copilot, du kannst gerne deine E-Mails checken, ich warne dich mit ausreichender Zeit vor, wenn du die Kraftfahrzeugführung übernehmen musst“.
Gleiches ist bei einem Kraftfahrzeug des Automatisierungslevels 4 denkbar, wobei dann eine beispielhafte Information wie folgt auditiv und/oder visuell von der Informationsausgabevorrichtung 4 in dem vierten Schritt S4 des Verfahrens ausgegeben werden kann: „Hallo [Platzhalter: Name der Person], keine Sorge bei der Nutzung des L4-Systems, du kannst gerne deine E-Mails checken oder sogar schlafen, ich bringe das Kraftfahrzeug in jedem Fall zu einem sicheren Stopp“.
Bezugszeichenliste
1 automatisiertes Kraftfahrzeug
2 Sensorvorrichtung
3 Steuervorrichtung
4 Informationsausgabevorrichtung
S1-S4 Schritte des Verfahrens