WO2019233687A1

WO2019233687A1 - Konzept zum bereitstellen von korrekturwerten für die anzeige von augmented-reality-inhalten auf einem head-up-display für ein kraftfahrzeug

Info

Publication number: WO2019233687A1
Application number: PCT/EP2019/061589
Authority: WO
Inventors: Malte Lutz
Original assignee: Volkswagen Aktiengesellschaft
Priority date: 2018-06-04
Filing date: 2019-05-06
Publication date: 2019-12-12
Also published as: DE102018219089A1

Abstract

Ein Verfahren, eine Vorrichtung und ein Computerprogramm mit Instruktionen zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented-Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug. In einem ersten Schritt werden Fahrbahninformationen empfangen (10), die Unebenheiten der Fahrbahn vor dem Kraftfahrzeug repräsentieren. Zudem wird eine Trajektorie des Kraftfahrzeugs ermittelt (11). Auf Basis der Fahrbahninformationen und der Trajektorie werden Korrekturwerte für eine Stabilisierung der Anzeige der Augmented-Reality-Inhalte berechnet (12). Die Korrekturwerte werden schließlich für ein Steuergerät des Head-up-Displays bereitgestellt (13).

Description

Beschreibung

Konzept zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented-Reality- Inhalten auf einem Head-up-Display für ein Kraftfahrzeug

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein

Computerprogramm mit Instruktionen zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented-Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug. Die Erfindung betrifft weiterhin ein Kraftfahrzeug, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.

Mit der stetigen Weiterentwicklung von Virtual & Augmented Reality-Technologien und - Anwendungen finden diese auch Einzug in das Automobil. Bei Augmented Reality (AR), auf Deutsch„erweiterte Realität“, handelt es sich um die Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck„Augmented Reality“ gegenüber dem Ausdruck„erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt.

Eine mögliche technische Realisierung, um den Fahrerarbeitsplatz entsprechend mit perspektivisch korrekten virtuellen Erweiterungen anzureichern, bietet das Head-up-Display (HUD). Dabei werden die Lichtstrahlen eines im Armaturenbrett verbauten Displays über mehrere Spiegel und Linsen gefaltet und über eine Projektionsfläche in das Auge des Fahrers gespiegelt, sodass dieser ein virtuelles Bild außerhalb des Fahrzeugs wahrnimmt.

Als Projektionsfläche dient im Automobilbereich oftmals die Frontscheibe, deren gekrümmte Form bei der Darstellung berücksichtigt werden muss. Als Alternative wird zum Teil auch eine zusätzliche Scheibe aus Glas oder Kunststoff genutzt, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Durch die optische Überlagerung von Anzeige und Fahrszene sind weniger Kopf- und Augenbewegungen zum Ablesen der Informationen notwendig. Zudem verringert sich der Adaptationsaufwand für die Augen, da abhängig von der virtuellen Distanz der Anzeige weniger bis gar nicht akkommodiert werden muss. Aktuelle Serien-HUDs beschränken sich jedoch auf Anzeigen direkt unter dem primären Sichtbereich des Fahrers und enthalten redundante Informationen, wie z.B. die Geschwindigkeitsanzeige, die auch an anderer Stelle im Cockpit wiederzufinden sind. Diese Anzeigetechnologie reduziert zwar Blickabwendungen von der Straße, hat aber weiterhin den Nachteil, dass die präsentierten Informationen interpretiert und auf die reale Situation übertragen werden müssen, da sie nicht in der realen Szene registriert sind. Dies kann in komplexen Situationen einen mental beanspruchenden kognitiven Prozess darstellen. Durch Markieren von Objekten und Einblenden von Informationen an ihrem realen Bezugsort, d.h. durch eine kontaktanaloge Darstellung, lassen sich umweltbezogene Informationen im Sichtfeld des Fahrers direkt darstellen. Diese direkte grafische Anreicherung der Umwelt in Form von Augmented Reality kann die kognitiven Transferanforderungen erheblich reduzieren.

In diesem Zusammenhang offenbart die DE 10 2014 21 1 803 A1 ein Augmented-Reality- System für ein Kraftfahrzeug. Das Augmented-Reality-System umfasst ein Display zur Darstellung veränderliche Informationen und ein Blickrichtungs-Trackingsystem zur

Bestimmung der Blickrichtung oder Kopfausrichtung eines Insassen des Kraftfahrzeuges. Das Augmented-Reality-System weist zudem eine Anzeigesteuerung auf, die das Display derart ansteuert, dass das Display für den Insassen ein Hindernis vor einer für die Einfahrt gesperrten Straße anzeigt bzw. darstellt, und/oder dass das Display ein Objekt außerhalb des Kraftfahrzeugs bzw. in der Umgebung des Kraftfahrzeugs durch einen plausiblen Hintergrund überblendet.

Augmented Reality bietet vielfältige Anwendungsmöglichkeiten zur Unterstützung des Fahrers durch kontaktanaloge Markierung von Fahrbahnen und Objekten. Relativ naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen in herkömmlichen HUDs in der Regel schematische Darstellungen anzeigen, z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll, bieten AR-Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als„Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen durch den Nutzer möglich. In modernen Kraftfahrzeugen werden vielfältige Daten durch Umfeldsensoren erfasst. Ziel aktueller Entwicklungen ist es, diese Daten sinnvoll in Augmented-Reality- Darstellungen zu integrieren.

Räumliche und zeitliche Diskrepanzen zwischen virtuellen Anzeigen und realen Objekten wirken sich negativ auf den Eindruck der Überlagerung und entsprechend auf die

Funktionalität des Systems aus. Eine Registrierung der virtuellen Informationen im realen Sichtfeld des Fahrers im Sinne von Augmented Reality stellt allerdings sehr hohe

Anforderungen an die technische Umsetzung. Um virtuelle Inhalte ortsgenau und perspektivisch korrekt in der Realität darstellen zu können ist sehr detailliertes Wissen über die Umgebung und Eigenbewegung des Fahrzeugs notwendig. Vor diesem Hintergrund beschreibt die DE102016213687A1 ein Verfahren zum Steuern einer ein Head-up-Display umfassenden Anzeigevorrichtung für ein Kraftfahrzeug mittels einer Steuereinrichtung. Bei dem Verfahren wird in Abhängigkeit von einem der

Steuereinrichtung von einer Sensoreinrichtung bereitgestellten Signal eine Darstellung einer mittels des Head-up-Displays dargestellten Information verändert. Dabei korreliert das Signal mit einer Farbe und/oder einer Helligkeit eines Projektionshintergrunds und/oder mit einer Relativbewegung zwischen dem Projektionshintergrund und einer Projektionsfläche. Als Veränderung wird durch die Steuereinrichtung selbsttätig eine in Abhängigkeit von dem Signal bestimmte Höhenverstellung und/oder Drehung der Darstellung der Information vorgenommen.

Es ist eine Aufgabe der Erfindung, ein Konzept zur Verbesserung von Augmented-Reality- Darstellungen in einem Kraftfahrzeug aufzuzeigen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 , durch ein Computerprogramm mit Instruktionen gemäß Anspruch 9 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented-Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug die Schritte:

- Empfangen von Fahrbahninformationen, die Unebenheiten der Fahrbahn vor dem

Kraftfahrzeug repräsentieren;

- Ermitteln einer Trajektorie des Kraftfahrzeugs;

- Berechnen von Korrekturwerten für eine Stabilisierung der Anzeige der Augmented-Reality- Inhalte auf Basis der Fahrbahninformationen und der Trajektorie; und

- Bereitstellen der Korrekturwerte für ein Steuergerät des Head-up-Displays.

Gemäß einem weiteren Aspekt der Erfindung enthält ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented-Reality- Inhalten auf einem Head-up-Display für ein Kraftfahrzeug veranlassen:

- Empfangen von Fahrbahninformationen, die Unebenheiten der Fahrbahn vor dem

Kraftfahrzeug repräsentieren;

- Ermitteln einer Trajektorie des Kraftfahrzeugs; - Berechnen von Korrekturwerten für eine Stabilisierung der Anzeige der Augmented-Reality- Inhalte auf Basis der Fahrbahninformationen und der Trajektorie; und

- Bereitstellen der Korrekturwerte für ein Steuergerät des Head-up-Displays.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch

Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented-Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug auf:

- einem Eingang zum Empfangen von Fahrbahninformationen, die Unebenheiten der Fahrbahn vor dem Kraftfahrzeug repräsentieren;

- einer Trajektorieneinheit zum Ermitteln einer Trajektorie des Kraftfahrzeugs;

- einer Recheneinheit zum Berechnen von Korrekturwerten für eine Stabilisierung der Anzeige der Augmented-Reality-Inhalte auf Basis der Fahrbahninformationen und der Trajektorie; und

- einem Ausgang zum Bereitstellen der Korrekturwerte für ein Steuergerät des Head-up- Displays.

Unter der Annahme einer korrekten Positionierung des Fahrzeugs durch vorhandene Sensorik, wie z.B. durch GPS, eine Frontkamera, etc., und folglich unter der Annahme einer zunächst orts- und zeitkorrekten Darstellung, rückt insbesondere die durch die befahrene Fahrbahn induzierte Bewegung des Fahrzeugaufbaus in den Vordergrund. Aktuelle Sensorik ist nur mit Einschränkungen in Anbetracht von Genauigkeit oder Latenz in der Lage, die zur Darstellung von AR-Inhalten notwendigen Informationen bereitzustellen.

Die auftretenden Latenzen zwischen den sensorisch ermittelten Informationen zur

Beschreibung translatorischer und rotatorischer Bewegungen des Fahrzeugaufbaus und der Anzeige im Head-up-Display können zwar verkürzt, jedoch nicht verhindert werden. Darüber hinaus muss jegliche durch die Steuerung des Fahrzeugs angeregte

Fahrzeugaufbaubewegung beachtet werden. Diese induziert ebenfalls eine bei der

Darstellung von Inhalten zu korrigierende Diskrepanz zwischen virtueller Anzeige und realem Objekt. Bei dem vorgestellten Lösungsvorschlag wird nicht versucht, die sensorische Einschränkung zu reduzieren oder aufzuheben. Stattdessen werden die zu erwartende Bewegung des Fahrzeugaufbaus und die zur Kompensation erforderlichen Korrekturwerte vorausberechnet.

Erfindungsgemäß wird dazu zunächst das vor dem Fahrzeug befindliche Fahrbahnprofil erfasst. Darüber hinaus wird unter Zuhilfenahme von im Fahrzeug vorhandenen Messdaten die vom Fahrzeug auf den vorausliegenden Fahrbahnprofildaten befahrene Trajektorie berechnet. Auf Grundlage dieser Informationen werden die zu erwartenden Bewegungen des Fahrzeugaufbaus bestimmt und die daran angepassten Korrekturwerte berechnet.

Ergänzend können weitere Informationen mittels im Fahrzeug befindlicher Sensoren erfasst werden. Hierbei handelt es sich insbesondere um Kopfbewegungen des Fahrers.

Entsprechend der nun zur Verfügung stehenden Größen können zeitkorrekte Positions- und Winkeldaten zur Bildgenerierung angewendet werden. Die Bildgenerierung stützt sich dabei auf die ermittelten Größen zur Kompensation der Fahrzeugaufbaubewegung und auf die weiteren im Fahrzeug zur Verfügung stehenden Eingangsgrößen. Durch die

erfindungsgemäße Lösung wird so die ständige orts- und zeitkorrekte Anzeige von

Augmented-Reality-Inhalten im Head-up-Display ermöglicht.

Zur Auswertung der erfassten Informationen kommen regelungstechnische Ansätze zur Vorhersage von Messgrößen bzw. zur Berechnung von Daten zum Einsatz. Speziell Ansätze des Bereichs„Model Predictive Control“, also exemplarisch ein Kalmanfilter oder auch ein neuronales Netz, erlauben die Vorhersage der zuvor genannten Trajektorie.

Gemäß einem Aspekt der Erfindung beschreiben die Korrekturwerte horizontale und vertikale Bewegungen des Kraftfahrzeuges. Untersuchungen haben ergeben, dass diese für typische Anzeigeentfernungen den größten Einfluss haben. Eine Beschränkung auf diese Bewegungen reduziert den für die Berechnung der Korrekturwerte erforderlichen

Rechenaufwand.

Gemäß einem Aspekt der Erfindung wird die Trajektorie auf Basis von Steuerungsvorgaben eines Fahrers des Kraftfahrzeugs ermittelt. Grundlage für die Bestimmung der Trajektorie sind die Steuerungsvorgaben des Fahrers, z.B. der Lenkwinkel, das Lenkmoment oder die Geschwindigkeit, und gegebenenfalls die sich entsprechend einstellende Fahrzeugreaktion, welche ebenfalls durch Sensorik im Fahrzeug erfasst werden kann. Insbesondere können die Raddrehzahl oder die Gierrate erfasst werden. Die Messgrößen der Fahrzeugreaktion sind jedoch nicht zwingend notwendig, eine Beschreibung der Trajektorie gelingt auch einzig auf Basis der vom Fahrer vorgegebenen Fahrt. Darüber hinaus kann die befahrene

Trajektorie alternativ durch positionsbestimmende Verfahren wie GPS und differential GPS beschrieben werden.

Gemäß einem Aspekt der Erfindung werden die Fahrbahninformationen aus Daten zumindest eines Sensors des Kraftfahrzeugs oder aus Kartendaten ermittelt. Genutzt werden dabei insbesondere Monokameras, Stereokameras, Lidarsensoren, Radarsensoren, Laserscanner, Ultraschallsensoren oder Sensoren zur Erkennung von Höhenstandswerten eines Fahrwerkes. Alternativ kann die Fahrbahnprofilerfassung durch hochgenaue

Kartendaten oder durch in einer Cloud abgelegte Informationen über das Fahrbahnprofil ersetzt werden. Erforderlich für die Anwendung des vorgeschlagenen Verfahrens ist die Kenntnis des Höhenprofils der Fahrbahn. Diese Kartendaten werden ebenfalls durch die oben genannten Verfahren zur Beschreibung der Fahrbahnoberfläche generiert oder sind bereits vorhanden.

Gemäß einem Aspekt der Erfindung werden zum Berechnen der Korrekturwerte

Bewegungen des Kraftfahrzeugs auf Basis eines Fahrdynamikmodells für das Kraftfahrzeug berechnet. Das Fahrdynamikmodell ist beispielsweise ein Einspurmodell, ein

Zweispurmodell, ein Halbfahrzeugmodell, ein Ganzfahrzeugmodell oder eine Kombination dieser Modelle.

Das nachgelagerte Fahrdynamikmodell bedient sich der erfassten bzw. ermittelten

Fahrbahnprofildaten, der aktuellen Position des Fahrzeuges, der Vorhersage der vom Fahrzeug befahrenen Trajektorie, der Steuerungsvorgabe des Fahrers und gegebenenfalls weiterer fahrzeugspezifischer Daten. Hier sind exemplarisch das Gewicht, die

Gewichtsverteilung, der Radstand, Massenträgheitsmomente oder Schwerpunktlage zu nennen. Das Fahrdynamikmodell berücksichtigt zudem Konstruktionsdaten des Fahrzeugs, z.B. Feder- und Dämpferkennlinien des Fahrwerks und Eigenschaften weiterer

Fahrwerksbauteile. Hier sei der sogenannte Anschlagpuffer des Dämpfers und die durch einen Schrägeinbau von Feder und Dämpfer notwendige„Übersetzung“ genannt. Es ist auch ein lernendes System denkbar, das durch eine Auswertung von Vergangenheitsdaten Eingangsgrößen für die Berechnung von Korrekturwerten zur Verfügung stellen kann.

Die im Modell abgebildeten mathematischen Zusammenhänge beschreiben die

translatorischen und rotatorischen Freiheitsgrade des Fahrzeugaufbaus. Neben klassischen Fahrdynamikmodellen zur Beschreibung von Längs-, Quer- und Vertikaldynamik, wie u.a. ein Einspurmodell, ein Zweispurmodell, ein Halbfahrzeugmodell, ein Ganzfahrzeugmodell und die Kombination dieser Modelle untereinander, können spezielle Modelle zur Beschreibung von Reifeneigenschaften und weitere spezielle Modelle zur Beschreibung des

Fahrzeugverhaltens zum Einsatz kommen.

Gemäß einem Aspekt der Erfindung beim Berechnen der Korrekturwerte ein

Beladungszustand des Kraftfahrzeugs berücksichtigt wird. Da auch der Beladungszustand Einfluss auf die Fahrzeugaufbaubewegung hat, ist es sinnvoll, diesen als Eingangsgröße zu erfassen. Beispielsweise kann der Beladungszustand auf Basis der Anzahl der Passagiere und der Beladung des Kofferraums bestimmt werden.

Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, eingesetzt. Dabei ist das beschriebene Konzept sowohl für im Kraftfahrzeug integrierte Head-up-Displays als auch für mittels Datenbrillen generierte Augmented-Reality-Darstellungen nutzbar.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt schematisch ein Verfahren zum Bereitstellen von Korrekturwerten für die

Anzeige von Augmented-Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug;

Fig. 2 zeigt eine erste Ausführungsform einer Vorrichtung zum Bereitstellen von

Korrekturwerten für die Anzeige von Augmented-Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug;

Fig. 3 zeigt eine zweite Ausführungsform einer Vorrichtung zum Bereitstellen von

Fig. 4 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;

Fig. 5 zeigt schematisch den allgemeinen Aufbau eines Head-up-Displays für ein

Kraftfahrzeug;

Fig. 6 zeigt ein Beispiel einer Augmented-Reality-Darstellung eines Head-up-Displays; Fig. 7 zeigt ein Beispiel einer Augmented-Reality-Darstellung eines Head-up-Displays mit fehlerhaft positionierten virtuellen Elementen;

Fig. 8 zeigt einen Systementwurf der erfindungsgemäßen Lösung zum Bereitstellen von

Fig. 9 illustriert die translatorischen und rotatorischen Freiheitsgrade bei der

Fahrzeugaufbaubewegung;

Fig. 10 illustriert ein Höhenprofil für ein Hindernis und eine wellige Teerstraße als

Grundlage für einen Vergleich der modellbasierten Simulation der

Fahrzeugaufbaubewegung mit Messdaten;

Fig. 1 1 illustriert ein Höhenprofil für eine wellige Teerstraße als Grundlage für einen

Vergleich der modellbasierten Simulation der Fahrzeugaufbaubewegung mit Messdaten;

Fig. 12 zeigt einen Vergleich von Messdaten und Simulationsdaten des Nickwinkels auf

Basis eines Halbfahrzeugmodells für das Hindernis aus Fig. 10;

Fig. 13 zeigt einen Vergleich von Messdaten und Simulationsdaten des Nickwinkels auf

Basis eines Halbfahrzeugmodells für die wellige Teerstraße aus Fig. 11 ;

Fig. 14 zeigt einen Vergleich von Messdaten und Simulationsdaten des Nickwinkels auf

Basis eines Ganzfahrzeugmodells für das Hindernis aus Fig. 10;

Fig. 15 zeigt einen Vergleich von Messdaten und Simulationsdaten des Wankwinkels auf

Basis eines Ganzfahrzeugmodells für das Hindernis aus Fig. 10;

Fig. 16 zeigt einen Vergleich von Messdaten und Simulationsdaten des Nickwinkels auf

Basis eines Ganzfahrzeugmodells für die wellige Teerstraße aus Fig. 11 ; und

Fig. 17 zeigt einen Vergleich von Messdaten und Simulationsdaten des Wankwinkels auf

Basis eines Ganzfahrzeugmodells für die wellige Teerstraße aus Fig. 11. Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Fig. 1 zeigt schematisch ein Verfahren zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented-Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug.

Beispielsweise beschreiben die Korrekturwerte horizontale und vertikale Bewegungen des Kraftfahrzeugs. In einem ersten Schritt werden Fahrbahninformationen empfangen 10, die Unebenheiten der Fahrbahn vor dem Kraftfahrzeug repräsentieren. Die

Fahrbahninformationen können beispielsweise aus Daten zumindest eines Sensors des Kraftfahrzeugs oder aus Kartendaten ermittelt werden. Beispiele für geeignete Sensoren sind Kameras, Lidarsensoren, Radarsensoren, Laserscanner, Ultraschallsensoren, etc. Zudem wird eine Trajektorie des Kraftfahrzeugs ermittelt 11 , z.B. auf Grundlage von

Steuerungsvorgaben eines Fahrers des Kraftfahrzeugs. Auf Basis der

Fahrbahninformationen und der Trajektorie werden Korrekturwerte für eine Stabilisierung der Anzeige der Augmented-Reality-Inhalte berechnet 12. Dazu werden Bewegungen des Kraftfahrzeugs auf Basis eines Fahrdynamikmodells für das Kraftfahrzeug berechnet. Dabei kann ein Beladungszustand des Kraftfahrzeugs berücksichtigt werden. Das

Fahrdynamikmodell kann z.B. ein Einspurmodell, ein Zweispurmodell, ein

Halbfahrzeugmodell, ein Ganzfahrzeugmodell oder eine Kombination dieser Modelle sein.

Die Korrekturwerte werden schließlich für ein Steuergerät des Head-up-Displays

bereitgestellt 13.

Fig. 2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented- Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug. Die Korrekturwerte können z.B. horizontale und vertikale Bewegungen des Kraftfahrzeugs beschreiben. Die Vorrichtung 20 hat einen Eingang 21 , über den Fahrbahninformationen FS, FK empfangen werden können, die Unebenheiten der Fahrbahn vor dem Kraftfahrzeug repräsentieren. Die

Fahrbahninformationen FS, FK können beispielsweise aus Daten zumindest eines Sensors des Kraftfahrzeugs oder aus Kartendaten ermittelt werden. Beispiele für geeignete Sensoren sind Kameras, Lidarsensoren, Radarsensoren, Laserscanner, Ultraschallsensoren, etc. Die Vorrichtung 20 hat zudem eine Trajektorieneinheit 22 zum Ermitteln einer Trajektorie des Kraftfahrzeugs, z.B. auf Grundlage von Steuerungsvorgaben eines Fahrers des Kraftfahrzeugs. Eine Recheneinheit 23 berechnet Korrekturwerte KW für eine Stabilisierung der Anzeige der Augmented-Reality-Inhalte auf Basis der Fahrbahninformationen FS, FK und der Trajektorie. Dazu berechnet die Recheneinheit 23 Bewegungen des Kraftfahrzeugs auf Basis eines Fahrdynamikmodells für das Kraftfahrzeug. Dabei kann die Recheneinheit 23 einen Beladungszustand des Kraftfahrzeugs berücksichtigen. Das Fahrdynamikmodell kann z.B. ein Einspurmodell, ein Zweispurmodell, ein Halbfahrzeugmodell, ein

Ganzfahrzeugmodell oder eine Kombination dieser Modelle sein. Über einen Ausgang 26 der Vorrichtung 20 werden die Korrekturwerte KW für ein Steuergerät 42 des Head-up-Displays bereitgestellt. Das Steuergerät 42 kann dann die Anzeige des Head-up-Displays

entsprechend der ermittelten Korrekturwerte KW anpassen.

Die Trajektorieneinheit 22 und die Recheneinheit 23 können von einer Kontrolleinheit 24 gesteuert werden. Über eine Benutzerschnittstelle 27 können gegebenenfalls Einstellungen der Trajektorieneinheit 22, der Recheneinheit 23 oder der Kontrolleinheit 24 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 25 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die T rajektorieneinheit 22, die Recheneinheit 23 sowie die Kontrolleinheit 24 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU. Der Eingang 21 und der Ausgang 26 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle

implementiert sein. In Fig. 2 ist die Vorrichtung 20 als eigenständige Komponente dargestellt. Sie kann aber auch in andere Komponenten des Kraftfahrzeugs integriert werden, beispielsweise in das Steuergerät 42 des Head-up-Displays.

Fig. 3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented- Reality-Inhalten auf einem Head-up-Display für ein Kraftfahrzeug. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares

Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise von Sensordaten. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein.

Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.

Die Speicher 25, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und

Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.

Fig. 4 stellt schematisch ein Kraftfahrzeug 40 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Das Kraftfahrzeug 40 weist ein Head-up-Display 41 mit einem zugehörigen Steuergerät 42 auf. Weiterhin weist das Kraftfahrzeug 40 eine Kamera 43, weitere

Umgebungssensoren 44 und eine Vorrichtung 20 zum Bereitstellen von Korrekturwerten für die Anzeige von Augmented-Reality-Inhalten auf dem Head-up-Display 41 auf. Die

Vorrichtung 20 kann beispielsweise in das Steuergerät 42 des Head-up-Displays 41 integriert sein. Weitere Komponenten des Kraftfahrzeugs 40 sind ein Navigationssystem 45, eine Datenübertragungseinheit 46 sowie eine Reihe von Assistenzsystemen 47, von denen eines exemplarisch dargestellt ist. Mittels der Datenübertragungseinheit 46 kann eine Verbindung zu Dienstanbietern aufgebaut werden. Zur Speicherung von Daten ist ein Speicher 48 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des

Kraftfahrzeugs 40 erfolgt über ein Netzwerk 49.

Fig. 5 zeigt schematisch ein Head-up-Display 41 für ein Kraftfahrzeug 40, mit deren Hilfe Inhalte auf einer Projektionsfläche 52 des Kraftfahrzeugs 40 angezeigt werden können, beispielsweise auf der Frontscheibe oder auf einer zusätzlichen Scheibe aus Glas oder Kunststoff, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Die dargestellten Inhalte werden durch eine bildgebende Einheit 50 erzeugt und mit Hilfe eines optischen Moduls 51 auf die Projektionsfläche 52 projiziert.

Typischerweise erfolgt die Projektion dabei in einen Bereich der Frontscheibe oberhalb des Lenkrades. Die bildgebende Einheit 50 kann beispielsweise ein LCD-TFT-Display sein. Das Head-up-Display 41 ist in der Regel in einem Armaturenbrett des Kraftfahrzeugs 40 verbaut.

Fig. 6 zeigt ein Beispiel einer Augmented-Reality-Darstellung eines Head-up-Displays. Der tatsächlichen Umgebung sind zwei Augmented-Reality-Inhalte 60 überlagert, d.h. virtuelle Elemente in kontaktanaloger Darstellung. Im Beispiel in Fig. 6 sind dies ein Navigationspfad sowie ein Warnhinweis auf einen Fußgänger, der die Fahrbahn überquert. Der Warnhinweis ist dabei so ausgestaltet, dass der Fußgänger von Punkten/Kreisen in einer Warnfarbe umschlossen ist. Der Navigationspfad ist als Navigationsteppich ausgeführt, der auf der Fahrbahn liegt und in eine Straße einmündet, in die abgebogen werden soll. Zusätzlich wird eine Entfernung für ein bevorstehendes Navigationsmanöver angezeigt, die in diesem Beispiel nicht kontaktanalog dargestellt wird. Die dargestellten Elemente beruhen auf Informationen, die von Fahrzeugsensoren erfasst oder anhand von Kartendaten ermittelt wurden. Für die konkrete Gestaltung der Darstellung stehen dem Fachmann vielfältige Gestaltungsmöglichkeiten zur Verfügung.

Fig. 7 zeigt die Augmented-Reality-Darstellung aus Fig. 6 mit fehlerhaft positionierten virtuellen Elementen. Der tatsächlichen Umgebung sind wie zuvor zwei Augmented-Reality- Inhalte 60 überlagert, d.h. ein Navigationspfad und ein Warnhinweis. Allerdings wird der Fußgänger nicht mehr von den Punkten/Kreisen umschlossen, sondern zumindest teilweise von ihnen verdeckt. Zudem liegt der Navigationspfad nicht mehr auf der Fahrbahn, sondern scheint über der Fahrbahn zu schweben. Er mündet daher auch nicht mehr unzweifelhaft in die gewünschte Straße, so dass die vermittelte Navigationsanweisung für den Fahrer nicht eindeutig ist. Die räumlichen und zeitlichen Diskrepanzen zwischen den Augmented-Reality- Inhalten 60 und den realen Objekten bzw. der realen Umgebung wirken sich erkennbar negativ auf den Eindruck der Überlagerung und entsprechend auch auf die Funktionalität des Systems aus.

Fig. 8 zeigt einen schematischen Systementwurf der erfindungsgemäßen Lösung. Auf Grundlage von gemessenen Sensordaten SD, die durch eine im Fahrzeug vorhandene Sensorik bereitgestellt werden, erfolgt eine Erfassung 70 des vor dem Fahrzeug befindlichen Fahrbahnprofils. Alternativ kann die Fahrbahnprofilerfassung 70 unter Verwendung von hochgenauen Kartendaten KD umgesetzt werden. Wichtig ist die Kenntnis des Höhenprofils der Fahrbahn. Die resultierenden Fahrbahninformationen FS aus den Sensordaten SD bzw. die Fahrbahninformationen FK aus den Kartendaten KD werden für eine Weiterverarbeitung bereitgestellt. Darüber hinaus erfolgt eine Vorhersage 71 der Fahrzeugtrajektorie TR. Dazu wird unter Zuhilfenahme von im Fahrzeug vorhandenen Messgrößen, z.B. bezüglich

Lenkwinkel, Geschwindigkeit, Raddrehzahl, etc., die vom Fahrzeug auf den vorliegenden Fahrbahnprofildaten befahrene Trajektorie TR berechnet und mit klassischen

regelungstechnischen Ansätzen vorhergesagt. Das nachgelagerte Fahrdynamikmodell 72 bedient sich der bekannten Fahrbahninformationen FS, FK, der Vorhersage der vom

Fahrzeug befahrenen Trajektorie TR, der Steuerungsvorgaben SV des Fahrers sowie gegebenenfalls weiterer fahrzeugspezifischer Daten, z.B. bezüglich Gewichtsverteilung, Radstand, Massenträgheitsmomente, etc. Einige Parameter des Fahrdynamikmodells werden nicht entsprechend der realen Bauteile angenommen, insbesondere in Hinblick auf Vereinfachungen im Modell, die der Verkürzung der Rechenzeit dienen. Damit die durch das entsprechend vereinfachte Modell berechneten Korrekturwerte bzw. Ausgangsgrößen weiterhin den als Referenz herangezogenen Messdaten entsprechen, werden die entsprechenden Parameter durch klassische regelungstechnische Verfahren optimiert. Dies geschieht in der Regel offline, also einmalig bei der ersten Inbetriebnahme des Systems. Optional kann aber eine Erfassung 74 eher leicht veränderlicher Fahrzeugparameter FP erfolgen. Diese können dann auch Online, also im laufenden Betrieb, optimiert bzw.

nachgeführt werden. Beispiele für solche Parameter sind der Beladungszustand oder die über die Lebensdauer eintretende Alterung eines Dämpfers. Zusätzlich kann optional eine Erfassung 75 von Umgebungsparametern UP erfolgen, die im Modell berücksichtigt werden können. Ein Beispiel dafür ist die Außentemperatur, die einen Einfluss auf das Verhalten der Dämpfer im Fahrwerk hat. Die im Fahrdynamikmodell 72 abgebildeten mathematischen Zusammenhängen beschreiben alle translatorischen und rotatorischen Freiheitsgrade des Fahrzeugaufbaus. Diese zeitkorrekten Positions- und Winkeldaten werden in Form von Korrekturwerten KW einer Bildgenerierung 73 zur Verfügung gestellt und ermöglichen entsprechend die ständige orts- und zeitkorrekte Anzeige von Augmented Reality-Inhalten im Head-up-Display.

Fahrzeugaufbaubewegung. Bei den translatorischen Freiheitsgraden ist zu unterscheiden zwischen Längsbewegungen entlang der Längsachse (x), Querbewegungen entlang der Querachse (y) und Hubbewegungen entlang der Hochachse (z). Bei den rotatorischen Freiheitsgraden sind das Wanken um die Längsachse (K), das Nicken um die Querachse ( ϋ ) und das Gieren um die Hochachse ( y zu betrachten.

Fig. 10 illustriert ein Höhenprofil für ein Hindernis als Grundlage für einen Vergleich der modellbasierten Simulation der Fahrzeugaufbaubewegung mit Messdaten. Für die

Simulation werden hier eine konstante Geschwindigkeit und ein konstanter Lenkwinkel angenommen.

Vergleich der modellbasierten Simulation der Fahrzeugaufbaubewegung mit Messdaten. Für die Simulation werden hier eine konstante Geschwindigkeit und eine vorgegebene Spur angenommen. Fig. 12 zeigt einen Vergleich von Messdaten und Simulationsdaten des Nickwinkels ϋ auf Basis eines Halbfahrzeugmodells für das Hindernis aus Fig. 10. Die senkrechte Linie markiert den Beginn des Hindernisses. Das Halbfahrzeugmodell beschreibt ein

Einspurmodell mit einer Aufbaumasse und zwei Reifen, welche mittels Feder-Dämpfer- Elementen untereinander verbunden sind. Die linke und die rechte Spur werden dabei in Fahrzeugmitte zusammengefasst. Das Modell erlaubt eine vertikaldynamische Beschreibung von Schwerpunkthub z und Nickwinkel ϋ. Bei der Simulation wurden die Reifeneigenschaften vernachlässigt. Weiterhin wurde ein lineares Feder- und Dämpferverhalten abgebildet.

Angenommen wurde eine synchrone Anregung auf ebener Fläche. Wie man den Daten entnehmen kann, treten Fehler in Amplitude und Phase auf. Zudem ist das zu

Abklingverhalten nicht korrekt.

Fig. 13 zeigt einen Vergleich von Messdaten und Simulationsdaten des Nickwinkels ϋ auf Basis eines Halbfahrzeugmodells für die wellige Teerstraße aus Fig. 11. Die senkrechte Linie markiert den Beginn der welligen Teerstraße und somit den Beginn der Simulation. Auch in diesem Fall wurden die Reifeneigenschaften vernachlässigt und ein lineares Feder- und Dämpferverhalten angenommen. Wie man den Daten entnehmen kann, tritt ein recht großer Amplitudenfehler auf. Zudem ist eine abnehmenden Phasentreue zu beobachten.

Im Ergebnis konnte beobachtet werden, dass eine Simulation durch das Halbfahrzeugmodell vorzugsweise nur bei einer einfachen Straßengeometrie genutzt werden sollte, da sie einer komplexen Straßengeometrie nicht gerecht wird.

Fig. 14 zeigt einen Vergleich von Messdaten und Simulationsdaten des Nickwinkels ϋ auf Basis eines Ganzfahrzeugmodells für das Hindernis aus Fig. 10. Beim Ganzfahrzeugmodell wird gegenüber dem Halbfahrzeugmodell durch Hinzunahme zweier weiterer

Radaufhängungen die Spurbreite des Fahrzeugs eingeführt. Das Modell betrachtet eine Aufbaumasse, die durch eine zweidimensionale Platte approximiert wird, und vier Reifen, welche mittels Feder-Dämpfer-Elementen untereinander verbunden sind. Das Modell erlaubt eine vertikaldynamische Beschreibung von Schwerpunkthub z, Nickwinkel ϋ und Wankwinkel K. Bei der Simulation wurden die Reifeneigenschaften vernachlässigt. Weiterhin wurden ein lineares Federverhalten und ein nichtlineares Dämpferverhalten abgebildet. Das

Dämpferverhalten wurde dabei durch eine Kennlinie abgebildet. Zusätzlich wurden in dem Modell eine Übersetzung von Feder und Dämpfer implementiert und die Dämpfer um

Anschlagpuffer erweitert. Betrachtet wurden eine synchrone und asynchrone Anregung auf ebener Fläche. Wie man den Daten entnehmen kann, sind die Amplitudenfehler und die Phasenfehler reduziert. Allerdings ist das Abklingverhalten fehlerbehaftet, was vermutlich durch ein aktives Fahrwerk verursacht wird.

Fig. 15 zeigt einen Vergleich von Messdaten und Simulationsdaten des Wankwinkels k auf Basis eines Ganzfahrzeugmodells für das Hindernis aus Fig. 10. Wir zu erwarten war ist der Wankwinkel k für die idealisierte Hindernisüberfahrt nicht darstellbar.

Fig. 16 zeigt einen Vergleich von Messdaten und Simulationsdaten des Nickwinkels ϋ auf Basis eines Ganzfahrzeugmodells für die wellige Teerstraße aus Fig. 1 1. Wie man den Daten entnehmen kann, sind die Amplitudenfehler deutlich reduziert. Zudem sind auch die Phasenfehler korrigiert.

Fig. 17 zeigt einen Vergleich von Messdaten und Simulationsdaten des Wankwinkels k auf Basis eines Ganzfahrzeugmodells für die wellige Teerstraße aus Fig. 1 1. Zwar sind hier die durch Lenkbewegungen Amplitudenfehler verstärkt, dafür ist die Phase nun korrekt.

Im Ergebnis konnte beobachtet werden, dass sich durch die Optimierung des

Fahrdynamikmodells die Qualität der Ergebnisse deutlich verbessert.

Bezugszeichenliste

Empfangen von Fahrbahninformationen

Ermitteln einer Trajektorie des Kraftfahrzeugs

Berechnen von Korrekturwerten für eine Stabilisierung der Anzeige

Bereitstellen der Korrekturwerte

Vorrichtung

Eingang

Trajektorieneinheit

Recheneinheit

Kontrolleinheit

Speicher

Ausgang

Benutzerschnittstelle

Vorrichtung

Speicher

Prozessor

Eingang

Ausgang

Kraftfahrzeug

Head-up-Display

Steuergerät des Head-up-Displays

Kamera

Umgebungssensor

Navigationssystem

Datenübertragungseinheit

Assistenzsystem

Speicher

Netzwerk

Bildgebende Einheit

Optisches Modul

Projektionsfläche

Augmented-Reality-Inhalt

Fahrbahnprofilerfassung

Vorhersage der Fahrzeugtrajektorie

Fahrdynamikmodell

Bildgenerierung 74 Erfassung von Fahrzeugparametern

75 Erfassung von Umgebungsparametern

FK Fahrbahninformation aus Kartendaten

FP Fahrzeugparameter

FS Fahrbahninformation aus Sensordaten

KD Kartendaten

KW Korrekturwert

SD Sensordaten

SV Steuerungsvorgabe

TR Trajektorie

UP Umgebungsparameter

Claims

Patentansprüche

1. Verfahren zum Bereitstellen von Korrekturwerten (KW) für die Anzeige von

Augmented-Reality-Inhalten (60) auf einem Head-up-Display (41 ) für ein Kraftfahrzeug (40), mit den Schritten:

- Empfangen (10) von Fahrbahninformationen (FS, FK), die Unebenheiten der Fahrbahn vor dem Kraftfahrzeug (40) repräsentieren;

- Ermitteln (1 1 ) einer Trajektorie (TR) des Kraftfahrzeugs (40);

- Berechnen (12) von Korrekturwerten (KW) für eine Stabilisierung der Anzeige der Augmented-Reality-Inhalte (60) auf Basis der Fahrbahninformationen (FS, FK) und der Trajektorie (TR); und

- Bereitstellen (13) der Korrekturwerte (KW) für ein Steuergerät (42) des Head-up- Displays (41 ).

2. Verfahren gemäß Anspruch 1 , wobei die Korrekturwerte (KW) horizontale und vertikale Bewegungen des Kraftfahrzeugs (40) beschreiben.

3. Verfahren gemäß Anspruch 1 oder 2, wobei die Trajektorie (TR) auf Basis von

Steuerungsvorgaben (SV) eines Fahrers des Kraftfahrzeugs (40) ermittelt wird (1 1 ).

4. Verfahren gemäß einem der vorherigen Ansprüche, wobei die Fahrbahninformationen (FS, FK) aus Daten (SD) zumindest eines Sensors (43, 44) des Kraftfahrzeugs (40) oder aus Kartendaten (KD) ermittelt werden.

5. Verfahren gemäß Anspruch 4, wobei der zumindest eine Sensor (43, 44) des

Kraftfahrzeugs (40) eine Kamera, ein Lidarsensor, ein Radarsensor, ein Laserscanner oder ein Ultraschallsensor ist.

6. Verfahren gemäß einem der vorherigen Ansprüche, wobei zum Berechnen (12) der Korrekturwerte (KW) Bewegungen des Kraftfahrzeugs (40) auf Basis eines

Fahrdynamikmodells für das Kraftfahrzeug (40) berechnet werden.

7. Verfahren gemäß Anspruch 6, wobei das Fahrdynamikmodell ein Einspurmodell, ein Zweispurmodell, ein Halbfahrzeugmodell, ein Ganzfahrzeugmodell oder eine

Kombination dieser Modelle ist.

8. Verfahren gemäß Anspruch 6 oder 7, wobei beim Berechnen (12) der Korrekturwerte (KW) ein Beladungszustand des Kraftfahrzeugs (40) berücksichtigt wird.

9. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 zum Bereitstellen von Korrekturwerten (KW) für die Anzeige von Augmented- Reality-Inhalten (60) auf einem Head-up-Display (41 ) für ein Kraftfahrzeug (40) veranlassen.

10. Vorrichtung (20) zum Bereitstellen von Korrekturwerten (KW) für die Anzeige von

Augmented-Reality-Inhalten (60) auf einem Head-up-Display (41 ) für ein Kraftfahrzeug (40), mit:

- einem Eingang (21 ) zum Empfangen (10) von Fahrbahninformationen (FS, FK), die Unebenheiten der Fahrbahn vor dem Kraftfahrzeug (40) repräsentieren;

- einer Trajektorieneinheit (22) zum Ermitteln (11 ) einer Trajektorie (TR) des

Kraftfahrzeugs (40);

- einer Recheneinheit (23) zum Berechnen (12) von Korrekturwerten (KW) für eine Stabilisierung der Anzeige der Augmented-Reality-Inhalte (60) auf Basis der

Fahrbahninformationen (FS, FK) und der Trajektorie (TR); und

- einem Ausgang (26) zum Bereitstellen (13) der Korrekturwerte (KW) für ein

Steuergerät (42) des Head-up-Displays (41 ).

1 1. Kraftfahrzeug (40) mit einem Head-up-Display (41 ), dadurch gekennzeichnet, dass das Kraftfahrzeug (40) eine Vorrichtung (20) gemäß Anspruch 10 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 8 zum Bereitstellen von

Korrekturwerten (KW) für die Anzeige von Augmented-Reality-Inhalten (60) auf dem Head-up-Display (41 ) auszuführen.