WO2024068367A1 - Driving a motor vehicle in virtual surroundings - Google Patents

Driving a motor vehicle in virtual surroundings Download PDF

Info

Publication number
WO2024068367A1
WO2024068367A1 PCT/EP2023/075826 EP2023075826W WO2024068367A1 WO 2024068367 A1 WO2024068367 A1 WO 2024068367A1 EP 2023075826 W EP2023075826 W EP 2023075826W WO 2024068367 A1 WO2024068367 A1 WO 2024068367A1
Authority
WO
WIPO (PCT)
Prior art keywords
motor vehicle
driver
view
pose
interior
Prior art date
Application number
PCT/EP2023/075826
Other languages
German (de)
French (fr)
Inventor
Alexander Kuttner
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2024068367A1 publication Critical patent/WO2024068367A1/en

Links

Classifications

    • B60K35/10—
    • B60K35/23—
    • B60K35/28—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B60K2360/176—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Abstract

A system (100) comprises a headset, which is configured to be placed on a head of a driver (120) of a motor vehicle (105), wherein the headset comprises a camera (130) for providing a first view (205) of an interior of the motor vehicle (105) and an optical display for the driver (120); furthermore a model (170) for providing a view of virtual surroundings of the motor vehicle (105) with respect to a predetermined pose; a device for determining a pose of the head of the driver (120) with respect to the real surroundings of the motor vehicle (105) and a processing device (110). The processing device (110) is configured to overlay the first view (205) of the interior with a second view (210) of the virtual surroundings with respect to the determined pose and provide same to the driver (120).

Description

Fahren eines Kraftfahrzeugs in einer virtuellen Umgebung Driving a motor vehicle in a virtual environment
Ein Kraftfahrzeug kann durch einen Fahrer in einer vorbestimmten Umgebung gesteuert werden. Beispielsweise kann das Kraftfahrzeug auf einer Teststrecke abseits eines öffentlichen Straßenverkehrs bewegt werden, um den Fahrer bei der Steuerung des Kraftfahrzeugs auszubilden. Die Teststrecke kann Einrichtungen umfassen, um den Fahrer dynamisch in eine vorbestimmte Fahrsituation zu bringen, sodass er deren Bewältigung verbessert erlernen kann. So kann der Fahrer ausgebildet werden, ohne das Kraftfahrzeug, den Fahrer oder eine andere Person einer übermäßigen Gefahr auszusetzen. A motor vehicle can be controlled by a driver in a predetermined environment. For example, the motor vehicle can be moved on a test route away from public roads in order to train the driver in controlling the motor vehicle. The test route can include devices to dynamically bring the driver into a predetermined driving situation so that he can learn how to cope with it in an improved manner. This allows the driver to be trained without exposing the motor vehicle, the driver or another person to undue danger.
Eine Trainingseinrichtung auf der Teststrecke ist üblicherweise so beschaffen, dass auch wenn der Fahrer eine ihm gestellte Aufgabe nicht erfüllen kann oder sogar die Kontrolle über das Kraftfahrzeug verliert, möglichst kein Schaden eintritt. Beispielsweise kann eine Reihe vertikaler Wasserfontänen vorgesehen sein, auf die das Kraftfahrzeug zufahren kann. Hat es einen vorbestimmten Abstand erreicht, so können einige der Fontänen abgestellt werden, sodass sich eine Lücke ergibt, durch die der Fahrer das Kraftfahrzeug steuern kann. Sollte er die Lücke verfehlen, so wird das Kraftfahrzeug von einer Wasserfontäne getroffen, prallt aber auf keinen festen Gegenstand auf. A training facility on the test track is usually designed in such a way that even if the driver cannot complete a task given to him or even loses control of the vehicle, no damage occurs. For example, a series of vertical water fountains can be provided which the vehicle can drive towards. Once it has reached a predetermined distance, some of the fountains can be turned off, leaving a gap through which the driver can steer the vehicle. If he misses the gap, the vehicle is hit by a water fountain but does not hit a solid object.
Eine solche Trainingseinrichtung ist aufwendig in der Einrichtung und im Betrieb. Nicht alle Fahrmanöver, die mit dem Kraftfahrzeug möglich sind, können mit einer einzigen Trainingseinrichtung trainiert werden. Beispielsweise ist die genannte Reihe von Wasserfontänen üblicherweise fest installiert und kann nicht verändert werden, um eine vorbestimmte Kurve zu begrenzen. Such a training facility is complex to set up and operate. Not all driving maneuvers that are possible with a motor vehicle can be trained with a single training facility. For example, the said series of water fountains is usually permanently installed and cannot be changed to limit a predetermined curve.
Umgekehrt kann eine Teststrecke auch dazu verwendet werden, die Funktion eines Kraftfahrzeugs in einer vorbestimmten Fahrsituation zu überprüfen. So können beispielsweise wichtige Aspekte eines Fahrwerks, eines Bremssystems oder eines Lenksystems praktisch erfahren werden. Auch hier gilt, dass selbst eine gut ausgestattete Teststrecke nur eine begrenzte Flexibilität aufweist und nicht beliebig viele unterschiedliche Tests auf einer vorbestimmten, begrenzten Fläche durchführbar sind. Es wurde vorgeschlagen, das Verhalten des Kraftfahrzeugs in einer vorbestimmten Fahrsituation zu simulieren. Ein Fahrer kann in einem Simulator Platz nehmen, der einem Innenraum des Kraftfahrzeugs nachempfunden ist. Der Außenbereich des Kraftfahrzeugs kann durch eine entsprechende Anzeige, beispielsweise ein Projektorsystem, vermittelt werden. Der Simulator kann geneigt werden, um in Längs- oder Querrichtung wirkende Kräfte auf den Fahrer zu simulieren. Conversely, a test track can also be used to check the function of a motor vehicle in a predetermined driving situation. For example, important aspects of a chassis, a braking system or a steering system can be experienced practically. Here too, even a well-equipped test track only has limited flexibility and it is not possible to carry out any number of different tests on a predetermined, limited area. It was proposed to simulate the behavior of the motor vehicle in a predetermined driving situation. A driver can sit in a simulator that is modeled on the interior of the motor vehicle. The outside area of the motor vehicle can be conveyed by an appropriate display, for example a projector system. The simulator can be tilted to simulate longitudinal or transverse forces acting on the driver.
Mit Hilfe des Simulators können prinzipiell beliebig viele verschiedene Fahrsituationen nachgestellt werden. Allerdings kann der Simulator eine reale Fahrt dem Fahrer nur in Teilaspekten vermitteln. Beispielsweise kann eine Beschleunigung mit einer Stärke, die über die Erdbeschleunigung hinausgeht, nicht erzeugt werden. Kurvenfahrten, Beschleunigungen und Verzögerungen im Grenzbereich des Fahrzeugs können nicht immer realistisch vermittelt werden. Die Ausbildung des Fahrers im Simulator kann daher lückenhaft sein. Der Simulator kann auch nur beschränkt zum Testen eines Kraftfahrzeugs eingesetzt werden, da dessen tatsächliches Fahrverhalten in der Regel nicht genau genug bekannt ist und somit unter Umständen nicht korrekt simuliert werden kann. In principle, any number of different driving situations can be simulated using the simulator. However, the simulator can only convey partial aspects of a real journey to the driver. For example, acceleration with a force that exceeds the acceleration due to gravity cannot be generated. Cornering, acceleration and deceleration at the vehicle's limits cannot always be conveyed realistically. The driver's training in the simulator can therefore be incomplete. The simulator can also only be used to a limited extent for testing a motor vehicle, as its actual driving behavior is usually not known precisely enough and therefore cannot be simulated correctly under certain circumstances.
Eine der vorliegenden Erfindung zugrunde liegende Aufgabe besteht in der Bereitstellung einer Technik zum verbessert realistischen Fahren eines Kraftfahrzeugs in einer virtuellen Umgebung. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder. An object underlying the present invention is to provide a technique for driving a motor vehicle in a virtual environment with improved realism. The invention solves this problem by means of the subject matter of the independent claims. Subclaims reflect preferred embodiments.
Ein erfindungsgemäßes System umfasst ein Headset, das dazu eingerichtet ist, an einem Kopf eines Fahrers eines Kraftfahrzeugs angebracht zu werden. Das Headset umfasst eine Kamera zur Bereitstellung einer ersten Ansicht eines Innenraums des Kraftfahrzeugs und eine optische Anzeige für den Fahrer. Ferner umfasst das System ein Modell zur Bereitstellung einer Ansicht einer virtuellen Umgebung des Kraftfahrzeugs bezüglich einer vorbestimmten Pose; eine Einrichtung zur Bestimmung einer Pose des Kopfs des Fahrers bezüglich der realen Umgebung des Kraftfahrzeugs und eine Verarbeitungseinrichtung. Die Verarbeitungseinrichtung ist dazu eingerichtet, die erste Ansicht des Innenraums mit einer zweiten Ansicht der virtuellen Umgebung bezüglich der bestimmten Pose zu überlagern und dem Fahrer bereitzustellen. Es wurde erkannt, dass ein realistisches Fahrgefühl eines Kraftfahrzeugs am besten dadurch vermittelt werden kann, dass ein reales Kraftfahrzeug in einer realen Umgebung bewegt wird. Gleichzeitig können Umstände, die eine vorbestimmte Fahrsituation kennzeichnen, am besten nachgestellt werden, indem eine virtuelle Umgebung aufgebaut wird. A system according to the invention comprises a headset which is designed to be attached to a head of a driver of a motor vehicle. The headset includes a camera for providing a first view of an interior of the motor vehicle and a visual display for the driver. The system further comprises a model for providing a view of a virtual environment of the motor vehicle with respect to a predetermined pose; a device for determining a pose of the driver's head with respect to the real surroundings of the motor vehicle and a processing device. The processing device is set up to overlay the first view of the interior with a second view of the virtual environment with respect to the specific pose and to provide it to the driver. It has been recognized that a realistic driving experience of a motor vehicle can best be conveyed by driving a real motor vehicle in a real environment. At the same time, circumstances that characterize a predetermined driving situation can best be recreated by building a virtual environment.
Es wird vorgeschlagen, Ansichten der realen Umgebung und der virtuellen Umgebung miteinander zu mischen und dem Fahrer darzubieten. Dabei soll der Fahrer Elemente im Innenraum des Kraftfahrzeugs unverändert erkennen können, während eine Ansicht auf Elemente außerhalb des Kraftfahrzeugs ersetzt wird durch eine korrespondierende Ansicht auf die virtuelle Umgebung. Der Fahrer kann das Kraftfahrzeug auf diese Weise in der realen Umgebung bewegen, dabei aber den Eindruck erlangen, er führe durch die virtuelle Umgebung. It is proposed to mix views of the real environment and the virtual environment and present them to the driver. The driver should be able to recognize elements in the interior of the motor vehicle unchanged, while a view of elements outside the motor vehicle is replaced by a corresponding view of the virtual environment. In this way, the driver can move the motor vehicle in the real environment, but at the same time get the impression that he is driving through the virtual environment.
Durch das Mischen von realen und virtuellen Inhalten kann sich für den Fahrer ein überzeugender und widerspruchsfreier Sinneseindruck ergeben. Er kann das Kraftfahrzeug vollständig steuern und alle an Bord des Kraftfahrzeugs vorhandenen Systeme nutzen. Solche Systeme können beispielsweise ein Fahrerassistenzsystem, ein Unterhaltungssystem oder ein Komfortsystem umfassen. Die virtuelle Umgebung kann derart gesteuert werden, dass der Fahrer eine vorbestimmte Fahrsituation erleben und das Steuern des Kraftfahrzeugs in der Situation erlernen kann. By mixing real and virtual content, the driver can experience a convincing and consistent sensory impression. He can fully control the vehicle and use all the systems on board the vehicle. Such systems can include, for example, a driver assistance system, an entertainment system or a comfort system. The virtual environment can be controlled in such a way that the driver can experience a predetermined driving situation and learn how to control the vehicle in that situation.
Beispielsweise kann eine Fahrtechnik wie das Driften entlang einer vorbestimmten Kurve auf diese Weise gefahrlos vermittelt werden. Eine Begrenzung der Kurve kann lediglich in der virtuellen Umgebung existieren, während in der realen Umgebung weder eine Begrenzung noch ein Hindernis vorhanden sind. Sollte das Kraftfahrzeug die virtuelle Kurve verlassen, so kann dadurch kein realer Schaden am Kraftfahrzeug eintreten. Auf diese Weise können beliebige Kurven oder Sequenzen von Kurven in der virtuellen Umgebung erstellt werden, die der Fahrer mit dem Kraftfahrzeug real durchfahren kann. Die Kurven können platzsparend und verzögerungsfrei bezüglich einer relativ kleinen realen Fläche bereitgestellt werden. Das Erstellen oder Einrichten einer realen Infrastruktur in der realen Umgebung kann entfallen. Das Kraftfahrzeug kann verbessert in einer vorbestimmten Fahrsituation beobachtet werden, die durch den Fahrer in der vir- tuellen Umgebung herbeigeführt werden kann. So kann das Kraftfahrzeug verbessert zielgerichtet getestet werden. For example, a driving technique such as drifting along a predetermined curve can be taught safely in this way. A boundary of the curve can only exist in the virtual environment, while in the real environment there is neither a boundary nor an obstacle. If the motor vehicle leaves the virtual curve, no real damage to the motor vehicle can occur. In this way, any curves or sequences of curves can be created in the virtual environment that the driver can actually drive through with the motor vehicle. The curves can be provided in a space-saving and delay-free manner over a relatively small real area. There is no need to create or set up a real infrastructure in the real environment. The motor vehicle can be observed in an improved manner in a predetermined driving situation, which is determined by the driver in the virtual world. tual environment can be brought about. In this way, the motor vehicle can be tested in an improved, targeted manner.
Der Innenraum des Kraftfahrzeugs kann durch eine Scheibe begrenzt sein. Die Überlagerung wird bevorzugt derart bereitgestellt, dass die virtuelle Umgebung für den Fahrer nur im Bereich der Scheibe sichtbar ist. Der restliche Innenraum, der beispielsweise einen Fahrzeughimmel, einen Fahrzeugholm, ein Armaturenbrett, ein Lenkrad, einen Fahrzeugsitz, ein Bedienelement, eine Seitentür, einen Fahrzeugboden oder eine Mittelkonsole umfassen kann, wird dem Fahrer bevorzugt aus der Perspektive angezeigt, die sein Kopf bezüglich des Kraftfahrzeugs einnimmt. The interior of the motor vehicle can be limited by a window. The overlay is preferably provided in such a way that the virtual environment is only visible to the driver in the area of the window. The remaining interior, which can include, for example, a vehicle headliner, a vehicle pillar, a dashboard, a steering wheel, a vehicle seat, a control element, a side door, a vehicle floor or a center console, is preferably displayed to the driver from the perspective that his head has in relation to the motor vehicle takes.
Es können auch mehrere Scheiben vorgesehen sein, die in derselben Weise behandelt werden können. Beispielsweise kann vor dem Fahrer eine Frontscheibe liegen, seitlich von ihm eine rechte oder linke Seitenscheibe oder im Dach kann ein Dachfenster mit einer weiteren Scheibe eingebaut sein. Die Scheibe des Kraftfahrzeugs ist transparent und lässt einer Person an Bord des Kraftfahrzeugs, die kein Headset trägt, den Blick auf die reale Umgebung des Kraftfahrzeugs zu. Several disks can also be provided which can be treated in the same way. For example, there can be a windshield in front of the driver, a right or left side window to the side of him, or a skylight with another pane can be installed in the roof. The window of the motor vehicle is transparent and allows a person on board the motor vehicle who is not wearing a headset to see the real surroundings of the motor vehicle.
An einer Scheibe kann eine vorbestimmte optische Markierung angebracht sein. Die Verarbeitungseinrichtung kann dazu eingerichtet sein, die Lage der Scheibe in der ersten Ansicht des Innenraums bezüglich der Markierung zu bestimmen. A predetermined optical marking can be applied to a pane. The processing device can be configured to determine the position of the pane in the first view of the interior with respect to the marking.
Die optische Markierung kann leichter automatisch zu erkennen sein als eine Begrenzung der Scheibe auf einer Abtastung des Innenraums. So kann verhindert werden, dass ein Abschnitt der virtuellen Umgebung, die der Fahrer im Bereich der Scheibe sieht, gegenüber der Ansicht des Innenraums eine falsche Größe oder Orientierung aufweist. Außerdem kann verbessert verhindert werden, dass sich die erkannte Position der Scheibe in der ersten Ansicht verschiebt, beispielsweise während eines dynamischen Manövers des Kraftfahrzeugs. Das Verschieben der Ansichten gegeneinander könnte ansonsten zu einem unrealistischen Eindruck beim Fahrer führen, der zu Nebenwirkungen wie Orientierungsschwierigkeiten oder Übelkeit führen kann. The optical marking can be easier to automatically detect than a border of the window on a scan of the interior. This can prevent a section of the virtual environment that the driver sees in the area of the window from being of an incorrect size or orientation compared to the view of the interior. In addition, it can be better prevented that the detected position of the window in the first view shifts, for example during a dynamic maneuver of the motor vehicle. Shifting the views against each other could otherwise lead to an unrealistic impression for the driver, which could lead to side effects such as orientation difficulties or nausea.
Der Markierung kann eine Form der Scheibe zugeordnet sein. Beispielsweise kann die Markierung einen zweidimensionalen binären optischen Code umfas- sen, etwa in Form eines QR-Codes, und dem Code kann die Form zugeordnet sein. Ferner kann auch eine Größe oder Lage der Markierung beziehungsweise dem durch sie ausgedrückten Code zugeordnet sein. Das System kann zum Einsatz an verschiedenen Kraftfahrzeugen eingerichtet sein, wobei Kraftfahrzeuge, die unterschiedlich geformte Scheiben umfassen, unterschiedliche Markierungen aufweisen können. Anhand einer erkannten Markierung kann das System verbessert feststellen, an Bord welches Typs von Kraftfahrzeug es sich befindet, beziehungsweise welche Form der Scheibe korrekt ist. The marking can be assigned a shape of the disk. For example, the marking can comprise a two-dimensional binary optical code. sen, for example in the form of a QR code, and the shape can be assigned to the code. Furthermore, a size or position can also be assigned to the marking or to the code expressed by it. The system can be set up for use on different motor vehicles, whereby motor vehicles that include differently shaped windows can have different markings. Based on a recognized marking, the system can better determine which type of motor vehicle it is on board, or which shape of the window is correct.
Die Einrichtung kann einen ersten Sensor zur Bestimmung einer Pose des Kraftfahrzeugs in der realen Umgebung und einen zweiten Sensor zur Bestimmung einer Pose des Kopfs des Fahrers im Kraftfahrzeug umfassen. So kann, beispielsweise mittels der Verarbeitungseinrichtung, die Pose des Kopfs des Fahrers bezüglich der realen Umgebung auf der Basis der beiden mittels der Sensoren bestimmten Posen bestimmt werden. Es hat sich gezeigt, dass ein realistischer Fahreindruck nur dann erzielt werden kann, wenn das reale und die virtuelle Umgebung mit hoher Qualität aufeinander abgestimmt sind. Mittels der beiden Sensoren kann die Pose des Kopfs des Fahrers bezüglich der realen Umgebung verbessert bestimmt werden. In der Folge kann die Abstimmung der ersten und der zweiten Ansicht aufeinander mit erhöhter Präzision gelingen. The device can comprise a first sensor for determining a pose of the motor vehicle in the real environment and a second sensor for determining a pose of the driver's head in the motor vehicle. For example, using the processing device, the pose of the driver's head in relation to the real environment can be determined on the basis of the two poses determined using the sensors. It has been shown that a realistic driving impression can only be achieved if the real and virtual environments are coordinated with one another with high quality. Using the two sensors, the pose of the driver's head in relation to the real environment can be determined more accurately. As a result, the first and second views can be coordinated with one another with increased precision.
Es ist weiter bevorzugt, dass noch einer oder mehrere andere Sensoren oder Informationsquellen an Bord des Kraftfahrzeugs genutzt werden, um die Pose des Kopfs des Fahrers oder die Pose des Kraftfahrzeugs in der virtuellen Umgebung verbessert zu bestimmen. Ein solcher Sensor kann dazu eingerichtet sein, eine Position oder eine Orientierung beziehungsweise Ausrichtung zu bestimmen oder beides zusammen in Form einer Pose. It is further preferred that one or more other sensors or information sources are used on board the motor vehicle to better determine the pose of the driver's head or the pose of the motor vehicle in the virtual environment. Such a sensor can be set up to determine a position or an orientation or alignment or both together in the form of a pose.
Die Einrichtung kann eine absolute Positioniereinrichtung umfassen. Diese kann insbesondere durch einen Empfänger für ein satellitengestütztes Navigationssystem (GNSS) gebildet sein. Die Positioniereinrichtung kann zusätzlich dazu eingerichtet sein, eine Bewegungsrichtung und Bewegungsgeschwindigkeit zu bestimmen und bereitzustellen. The device can include an absolute positioning device. This can in particular be formed by a receiver for a satellite-based navigation system (GNSS). The positioning device can additionally be set up to determine and provide a direction of movement and speed of movement.
Ferner kann die Einrichtung eine relative Positioniereinrichtung umfassen. Diese kann insbesondere durch ein Odometer gebildet sein. Das Odometer kann auf der Basis von Drehsensoren an Rädern des Kraftfahrzeugs arbeiten. Ein Lenkwinkel oder eine Fahrgeschwindigkeit des Kraftfahrzeugs können für die Bestimmung der relativen Position des Kraftfahrzeugs ebenfalls genutzt werden. In einer anderen Ausführungsform kann ein kamerabasiertes Odometer vorgesehen sein, bei dem eine Position des Kraftfahrzeugs bezüglich scheinbarer Positionen von Landmarken in der realen Umgebung des Kraftfahrzeugs und bekannten, den Landmarken zugeordneten absoluten Positionen bestimmt wird. Furthermore, the device can comprise a relative positioning device. This can be formed in particular by an odometer. The odometer can be based on rotation sensors on the wheels of the motor vehicle. A steering angle or a driving speed of the motor vehicle can also be used to determine the relative position of the motor vehicle. In another embodiment, a camera-based odometer can be provided, in which a position of the motor vehicle is determined with respect to apparent positions of landmarks in the real environment of the motor vehicle and known absolute positions associated with the landmarks.
Die Einrichtung kann auch einen Beschleunigungssensor umfassen. Der Beschleunigungssensor ist bevorzugt dazu eingerichtet, eine Beschleunigung entlang oder um eine Längsachse, ein Hochachse oder eine Querachse des Kraftfahrzeugs zu bestimmen. So kann insbesondere ein Nicken, ein Wanken oder ein Gieren des Kraftfahrzeugs berücksichtigt werden. Der Beschleunigungssensor kann auch verwendet werden, um eine Erschütterung des Kraftfahrzeugs zu bestimmen. The device can also comprise an acceleration sensor. The acceleration sensor is preferably designed to determine an acceleration along or around a longitudinal axis, a vertical axis or a transverse axis of the motor vehicle. In particular, a pitching, rolling or yawing of the motor vehicle can be taken into account. The acceleration sensor can also be used to determine a vibration of the motor vehicle.
Das System kann eine Einrichtung zur Begrenzung einer Position des Kraftfahrzeugs auf einen vorbestimmten Bereich der realen Umgebung umfassen. Eine derartige Technik ist als Geofencing bekannt. Überschreitet das Kraftfahrzeug den vorbestimmten Bereich oder besteht die Aussicht darauf, so kann das Kraftfahrzeug in Längsrichtung und/oder Querrichtung gesteuert werden, um dem entgegenzuwirken. Der Bereich kann so gewählt sein, dass Hindernisse oder verletzliche Gegenstände außerhalb des Bereichs angeordnet sind. Eine Sicherheit innerhalb und außerhalb des Kraftfahrzeugs kann so verbessert gewährleistet sein. The system may include a device for limiting a position of the motor vehicle to a predetermined area of the real environment. Such a technique is known as geofencing. If the motor vehicle exceeds the predetermined area or there is a prospect of doing so, the motor vehicle can be controlled in the longitudinal direction and/or transverse direction in order to counteract this. The area can be chosen so that obstacles or vulnerable objects are located outside the area. Safety inside and outside the motor vehicle can thus be improved.
Eine andere Maßnahme zur Sicherstellung der Sicherheit kann eine zusätzliche Bedieneinrichtung zur Längs- oder Quersteuerung des Kraftfahrzeugs für eine weitere Person an Bord umfassen. Beispielsweise kann ein zusätzliches Bremspedal für einen Beifahrer vorgesehen sein, der weiter bevorzugt kein Headset trägt. Der Beifahrer kann die Kontrolle über das Kraftfahrzeug übernehmen, falls ein vorbestimmter, kontrollierbarer Fahrzustand verlassen wird. Another measure to ensure safety can include an additional operating device for longitudinal or transverse control of the motor vehicle for another person on board. For example, an additional brake pedal can be provided for a passenger, who preferably does not wear a headset. The passenger can take control of the motor vehicle if a predetermined, controllable driving state is left.
Es ist weiter bevorzugt, dass das System eine Anzeige in einem Innen- oder Außenspiegel korrekt wiedergibt. Ist der Innenraum des Kraftfahrzeugs durch eine Scheibe begrenzt, auf dessen Außenseite ein Rückspiegel angebracht ist, so kann eine weitere Ansicht der virtuellen Umgebung bezüglich des Rückspiegels bestimmt und derart mit der ersten Ansicht überlagert werden, dass sie für den Fahrer im Rückspiegel sichtbar ist. In entsprechender Weise kann eine weitere Ansicht der virtuellen Umgebung bezüglich eines im Innenraum angebrachten Innenspiegels bestimmt und an der entsprechenden Stelle der ersten Ansicht überlagert werden. Der Fahrer kann dadurch verbessert und in gewohnter Weise einen hinter ihm liegenden Bereich der virtuellen Umgebung einsehen. It is further preferred that the system correctly reproduces a display in an interior or exterior mirror. If the interior of the motor vehicle is limited by a window on the outside of which a rear-view mirror is attached, so A further view of the virtual environment can be determined with respect to the rear-view mirror and superimposed on the first view in such a way that it is visible to the driver in the rear-view mirror. In a corresponding manner, a further view of the virtual environment can be determined with respect to an interior mirror mounted in the interior and superimposed on the first view at the corresponding location. This allows the driver to see an area of the virtual environment behind him in an improved manner and in the usual way.
Nach einem weiteren Aspekt umfasst ein Kraftfahrzeug ein hierin beschriebenes System. Das Kraftfahrzeug kann dazu eingesetzt werden, einen Fahrer zur Führung des Kraftfahrzeugs auszubilden oder dazu anzuleiten, das Kraftfahrzeug in eine vorbestimmte Fahrsituation zu bringen, beispielsweise um das Fahrverhalten zu studieren. According to a further aspect, a motor vehicle comprises a system as described herein. The motor vehicle can be used to train a driver to drive the motor vehicle or to instruct him to bring the motor vehicle into a predetermined driving situation, for example to study driving behavior.
Ein erfindungsgemäßes Verfahren umfasst Schritte des Bestimmens einer Pose eines Kopfs eines Fahrers eines Kraftfahrzeugs bezüglich einer realen Umgebung des Kraftfahrzeugs; des Bestimmens einer ersten Ansicht eines Innenraums des Kraftfahrzeugs vom Kopf des Fahrers aus; des Bestimmens einer zweiten Ansicht einer virtuellen Umgebung des Kraftfahrzeugs bezüglich der bestimmten Pose; des Überlagerns der ersten Ansicht des Innenraums mit der zweiten Ansicht der virtuellen Umgebung; und des Bereitstellens der Überlagerung an den Fahrer. A method according to the invention includes steps of determining a pose of a head of a driver of a motor vehicle with respect to a real environment of the motor vehicle; determining a first view of an interior of the motor vehicle from the driver's head; determining a second view of a virtual environment of the motor vehicle with respect to the determined pose; overlaying the first view of the interior with the second view of the virtual environment; and providing the overlay to the driver.
Das Verfahren kann teilweise oder vollständig mittels eines hierin beschriebenen Systems ausgeführt werden. Insbesondere kann zumindest ein Teil des Verfahrens mittels einer vom System umfassten Verarbeitungseinrichtung ausgeführt werden. Diese kann insbesondere elektronisch ausgeführt sein und beispielsweise einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen. Das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Systems können auf das Verfahren übertragen werden oder umgekehrt. The method may be carried out in part or in whole using a system described herein. In particular, at least part of the method can be carried out using a processing device included in the system. This can in particular be designed electronically and include, for example, a programmable microcomputer or microcontroller. The method can be in the form of a computer program product with program code means. The computer program product can be stored on a computer-readable data carrier. Features or advantages of the system can be transferred to the process or vice versa.
Die virtuelle Umgebung kann in Abhängigkeit einer Bewegung des Kraftfahrzeugs angepasst werden. So kann der Fahrer dynamisch, also in Abhängigkeit der von ihm ausgehenden Steuerung, dazu angeleitet werden, das Kraftfahrzeug auf eine vorbestimmte Weise zu steuern. Beispielsweise kann ein Hinweis zur Veränderung eines Lenkwinkels gegeben werden oder eine Ideallinie, auf der er das Fahrzeug halten soll, kann angezeigt werden. Das Erlernen einer vorbestimmten Fahrtechnik, beispielsweise des Driftens, beziehungsweise das Führen des Kraftfahrzeugs in einen vorbestimmten Fahrzustand, kann dadurch in spielerischer Weise erfolgen. Die Ausbildung des Fahrers oder ein Durchführen eines vorbestimmten Tests des Kraftfahrzeugs können dadurch beschleunigt werden. The virtual environment can be adapted depending on a movement of the motor vehicle. In this way, the driver can be instructed dynamically, i.e. depending on the control he or she is issuing, to control the motor vehicle to control in a predetermined way. For example, a message can be given to change a steering angle or an ideal line on which the vehicle should be kept can be displayed. Learning a predetermined driving technique, for example drifting, or driving the motor vehicle into a predetermined driving state can thus be done in a playful manner. The training of the driver or carrying out a predetermined test of the motor vehicle can thereby be accelerated.
In einer Weiterführung kann das Verfahren auf zwei Systeme an Bord von zwei Kraftfahrzeugen angewendet werden. Es können auch noch mehr Kraftfahrzeuge am Verfahren teilnehmen, die jeweils ein hierin beschriebenes System an Bord tragen. Die Kraftfahrzeuge befinden sich dabei in realen, aber voneinander getrennten Umgebungen. Virtuelle Umgebungen für die Systeme beziehungsweise Kraftfahrzeuge sind dabei miteinander identisch. So kann eine Interaktion zwischen den Kraftfahrzeugen verbessert realistisch, aber gefahrlos nachgestellt werden. In a continuation, the method can be applied to two systems on board two motor vehicles. More motor vehicles can also take part in the process, each carrying a system described herein on board. The motor vehicles are located in real, but separate environments. Virtual environments for the systems or motor vehicles are identical to one another. In this way, an interaction between the motor vehicles can be recreated more realistically but safely.
Das Modell kann für jedes der Kraftfahrzeuge einen Avatar umfassen, wobei der Avatar in Abhängigkeit einer Bewegung des jeweiligen Kraftfahrzeugs aktualisiert werden kann. So kann beispielsweise eine Kollision der Avatare bestimmt werden, ohne dass eine Kollision der Kraftfahrzeuge stattfindet. Optional kann ein optischer Hinweis auf den Avatar des jeweils anderen Kraftfahrzeugs an Bord eines Kraftfahrzeugs dargestellt werden. So kann sich für einen Fahrer an Bord eines der Kraftfahrzeuge der Eindruck ergeben, er sähe das andere Kraftfahrzeug in der Umgebung des eigenen Kraftfahrzeugs. Eine Kollision zweier Kraftfahrzeuge kann an Bord anderer Kraftfahrzeuge entsprechend dargestellt werden. The model can include an avatar for each of the motor vehicles, whereby the avatar can be updated depending on a movement of the respective motor vehicle. For example, a collision between the avatars can be determined without a collision between the motor vehicles taking place. Optionally, a visual reference to the avatar of the other motor vehicle can be displayed on board a motor vehicle. This can give a driver on board one of the motor vehicles the impression that he sees the other motor vehicle in the vicinity of his own motor vehicle. A collision between two motor vehicles can be displayed accordingly on board other motor vehicles.
Diese Fortführung kann verwendet werden, um komplexe Szenarien darzustellen oder Fahrer bezüglich einer vorbestimmten Aufgabe gegeneinander antreten zu lassen. Eine Fahrsituation, die mehr als ein Fahrzeug erfordert, kann durch konzertiertes Führen der Fahrer mehrerer Fahrzeuge herbeigeführt werden. This continuation can be used to represent complex scenarios or to pit drivers against each other on a predetermined task. A driving situation that requires more than one vehicle can be brought about by the concerted driving of the drivers of several vehicles.
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen: The invention will now be described in more detail with reference to the accompanying drawings, in which:
Figur 1 ein System an Bord eines Kraftfahrzeugs; Figur 2 eine Überlagerung von Ansichten; Figure 1 shows a system on board a motor vehicle; Figure 2 shows an overlay of views;
Figur 3 einen Fahrer an Bord eines Kraftfahrzeugs; und Figure 3 shows a driver on board a motor vehicle; and
Figur 4 ein Ablaufdiagramm eines Verfahrens illustriert. Figure 4 illustrates a flow chart of a process.
Figur 1 zeigt ein System 100 an Bord eines Kraftfahrzeugs 105. Das dargestellte System 100 umfasst eine Verarbeitungseinrichtung 110, die mit einem Headset 115 verbunden ist. Das Headset 115 ist dazu eingerichtet, am Kopf eines Fahrers 120 des Kraftfahrzeugs 105 angebracht zu werden. Der Fahrer 120 befindet sich in einem Innenraum an Bord des Kraftfahrzeugs 105 und kann eine Längs- oder Querbewegung des Kraftfahrzeugs 105 steuern. Darüber hinaus kann er noch weitere Systeme oder Einrichtungen an Bord des Kraftfahrzeugs 105 nutzen. Figure 1 shows a system 100 on board a motor vehicle 105. The system 100 shown includes a processing device 110 which is connected to a headset 115. The headset 115 is designed to be attached to the head of a driver 120 of the motor vehicle 105. The driver 120 is located in an interior on board the motor vehicle 105 and can control a longitudinal or transverse movement of the motor vehicle 105. In addition, he can use other systems or devices on board the motor vehicle 105.
Das Headset 115 umfasst wenigstens eine optische Anzeige 125 für den Fahrer 120. Das Headset 115 ist bevorzugt derart ausgeführt, dass die Anzeige 125 für den Fahrer 120 total ist, das heißt, dass er optisch lediglich die Inhalte wahrnehmen kann, die ihm mittels der Anzeige 125 bereitgestellt werden. In der dargestellten Ausführungsform ist für jedes Auge des Fahrers 120 eine Anzeige 125 vorgesehen. Außerdem ist am Headset 115 eine Kamera 130 angebracht, die dazu eingerichtet ist, eine Ansicht zumindest des Innenraums des Kraftfahrzeugs 105 bereitzustellen. The headset 115 includes at least one optical display 125 for the driver 120. The headset 115 is preferably designed in such a way that the display 125 is total for the driver 120, that is to say that he can only visually perceive the content that is available to him via the display 125 are provided. In the illustrated embodiment, a display 125 is provided for each eye of the driver 120. In addition, a camera 130 is attached to the headset 115 and is designed to provide a view of at least the interior of the motor vehicle 105.
Abbildungseigenschaften der Kamera 130 sind bevorzugt an optische Eigenschaften des visuellen Apparats des Fahrers 120 angepasst, sodass eine mittels der Kamera 130 bereitgestellte Ansicht auf einer Anzeige 125 ausgegeben werden kann und sich für den Fahrer 120 ein optischer Eindruck einstellt, der möglichst nahe an dem liegt, den er ohne das Headset 115 erhielte. Falls erforderlich, kann die Ansicht mittels der Verarbeitungseinrichtung 110 in diesem Sinne angepasst werden. Es ist zu beachten, dass auch mehrere Kameras 130 vom Headset 115 umfasst beziehungsweise an ihm angebracht sein können. Imaging properties of the camera 130 are preferably adapted to the optical properties of the visual apparatus of the driver 120, so that a view provided by the camera 130 can be output on a display 125 and the driver 120 has a visual impression that is as close as possible to that which he would receive without the headset 115. If necessary, the view can be adapted in this sense by means of the processing device 110. It should be noted that several cameras 130 can also be included in the headset 115 or attached to it.
Am Headset 115 kann ein Marker 135 angebracht sein, der als optisches Referenzmuster verwendet werden kann. Der Marker 135 ist bevorzugt derart geformt und am Headset 115 angebracht, dass er in optischer Weise auf eine Position und/oder Ausrichtung des Headsets 115 hinweist. Beispielsweise kann eine wei- tere Kamera 130 an einem Strukturelement des Kraftfahrzeugs 105 angebracht und dazu eingerichtet sein, das Headset 115 optisch abzutasten. Auf der Abtastung kann der Marker 135 leicht erkannt werden, sodass eine Position oder Ausrichtung des Headsets 115 bestimmt werden kann. A marker 135 can be attached to the headset 115 and can be used as an optical reference pattern. The marker 135 is preferably shaped and attached to the headset 115 in such a way that it visually indicates a position and/or orientation of the headset 115. For example, a further Tere camera 130 can be attached to a structural element of the motor vehicle 105 and set up to optically scan the headset 115. The marker 135 can be easily recognized on the scan so that a position or orientation of the headset 115 can be determined.
In entsprechender Weise kann ein Marker 135 an einem Strukturelement des Kraftfahrzeugs 105 angebracht sein und eine Position oder Ausrichtung des Headsets 115 kann bezüglich einer optischen Abtastung des Markers 135 mittels der am Headset 115 angebrachten Kamera 130 erfolgen. In a corresponding manner, a marker 135 can be attached to a structural element of the motor vehicle 105 and a position or orientation of the headset 115 can be determined with respect to an optical scanning of the marker 135 by means of the camera 130 attached to the headset 115.
Rein beispielhaft ist in Figur 1 als Strukturelement ein Rahmen 140 einer Scheibe 145, die den Innenraum des Kraftfahrzeugs 105 begrenzt, gewählt. Ein Marker 135 kann beispielsweise an einem oberen Rand des Rahmens 140 im Bereich eines Innenspiegels 150 angebracht sein. Die Kamera 130 ist exemplarisch am unteren Rand des Rahmens 140 angeordnet. Purely by way of example, a frame 140 of a window 145 that delimits the interior of the motor vehicle 105 is selected as the structural element in Figure 1. A marker 135 can be attached, for example, to an upper edge of the frame 140 in the area of an interior mirror 150. The camera 130 is arranged, for example, at the lower edge of the frame 140.
Optional ist an der Scheibe 145 eine optische Markierung 155 angebracht, die bevorzugt eindimensional oder zweidimensional ausgeführt ist. Die Markierung 155 kann binär codiert sein, wobei sie helle und dunkle Abschnitte umfasst, deren Anordnung und Ausdehnungen automatisch verarbeitet werden können, um eine dadurch codierte Nachricht zu entschlüsseln. Die Nachricht kann auf eine Geometrie der Scheibe 145 hinweisen. Die Geometrie kann insbesondere eine Größe oder Form der Scheibe 145 betreffen. In einer weiteren Ausführungsform umfasst die Nachricht 155 einen Hinweis auf einen Eintrag in einem Datenspeicher, wobei dem Eintrag Informationen über die Geometrie der Scheibe 145 zugeordnet sind. Der Datenspeicher kann eine Vielzahl Einträge und zugeordnete Geometrien umfassen. Optionally, an optical marking 155 is attached to the disk 145, which is preferably one-dimensional or two-dimensional. The marker 155 may be binary encoded, comprising light and dark portions, the arrangement and extents of which may be automatically processed to decode a message encoded thereby. The message can indicate a geometry of the disk 145. The geometry can in particular relate to a size or shape of the disk 145. In a further embodiment, the message 155 includes a reference to an entry in a data memory, with the entry being associated with information about the geometry of the disk 145. The data storage may include a variety of entries and associated geometries.
Bevorzugt umfasst das System 100 ferner einen Empfänger 160 für Signale eines globalen satellitengestützten Navigationssystems (GNSS). Auf der Basis empfangener Signale kann der Empfänger 160 eine geografische Position des Kraftfahrzeugs 105 sowie optional eine Bewegungsrichtung und Bewegungsgeschwindigkeit des Kraftfahrzeugs 105 bestimmen. Preferably, the system 100 further includes a receiver 160 for signals from a global satellite-based navigation system (GNSS). Based on received signals, the receiver 160 can determine a geographical position of the motor vehicle 105 and optionally a direction of movement and speed of movement of the motor vehicle 105.
Ein Beschleunigungssensor 165 kann vorgesehen sein, um eine Beschleunigung oder Drehbeschleunigung des Kraftfahrzeugs 105 um eine oder mehrere Raum- achsen zu bestimmen. Bevorzugt ist der Beschleunigungssensor 165 zur Bestimmung bezüglich einer Längsachse, einer Hochachse und einer Querachse des Kraftfahrzeugs 105 eingerichtet. Dabei kann eine Beschleunigung entlang einer der Achsen (Translation) oder um eine der Achsen (Rotation) bestimmt werden. Ein entsprechender Beschleunigungssensor 165 kann auch am Headset 115 angebracht und mit der Verarbeitungseinrichtung 110 verbunden sein. An acceleration sensor 165 may be provided to detect an acceleration or rotational acceleration of the motor vehicle 105 by one or more spatial axes. Preferably, the acceleration sensor 165 is set up for determination with respect to a longitudinal axis, a vertical axis and a transverse axis of the motor vehicle 105. In this case, an acceleration along one of the axes (translation) or about one of the axes (rotation) can be determined. A corresponding acceleration sensor 165 can also be attached to the headset 115 and connected to the processing device 110.
Das System 100 umfasst ferner ein Modell 170, das dazu eingerichtet ist, eine virtuelle Umgebung nachzustellen. Die virtuelle Umgebung ist auf die reale Umgebung des Kraftfahrzeugs 105 abgestimmt. Dazu ist eine Lage der virtuellen Umgebung bezüglich der realen Umgebung vorbestimmt. Bewegt sich das Kraftfahrzeug 105 in der realen Umgebung, so bewegt es sich in derselben Weise in der virtuellen Umgebung. Folgt das Kraftfahrzeug 105 einer vorbestimmten Trajektorie, so nimmt es eine Serie von Posen ein, bezüglich denen jeweils Ansichten der virtuellen Umgebung mittels des Modells 170 bestimmt werden können. Die Serie der bereitgestellten Ansicht entspricht dem Eindruck einer Fahrt entlang der Trajektorie durch die virtuelle Umgebung. The system 100 further includes a model 170 configured to recreate a virtual environment. The virtual environment is matched to the real environment of the motor vehicle 105. For this purpose, a position of the virtual environment with respect to the real environment is predetermined. If the motor vehicle 105 moves in the real environment, it moves in the virtual environment in the same way. If the motor vehicle 105 follows a predetermined trajectory, it assumes a series of poses, with respect to which views of the virtual environment can be determined using the model 170. The series of views provided corresponds to the impression of a journey along the trajectory through the virtual environment.
Der Verlauf eines Untergrunds der realen Umgebung des Kraftfahrzeugs 105 ist bevorzugt in der virtuellen Umgebung nachempfunden. So kann insbesondere ein Gefälle, eine Straße, ein Objekt oder eine Landmarke der realen Umgebung in der virtuellen Umgebung reflektiert sein. The course of a subsurface in the real environment of the motor vehicle 105 is preferably modeled in the virtual environment. In particular, a gradient, a road, an object or a landmark in the real environment can be reflected in the virtual environment.
Weiter bevorzugt ist eine Schnittstelle 175 zur Verbindung mit einer Einrichtung an Bord des Kraftfahrzeugs 105 vorgesehen. Über die Schnittstelle 175 kann insbesondere ein Positions-, Ausrichtungs- oder Bewegungsparameter des Kraftfahrzeugs 105 bezogen werden. Beispielhafte Einrichtungen an Bord des Kraftfahrzeugs 105, die solche Informationen bereitstellen können, umfassen ein ABS-System, eine elektronische Fahrwerkssteuerung, eine Motorsteuerung für einen Antriebsmotor oder ein Navigationssystem. Optional kann auch ein Sensor an Bord des Kraftfahrzeugs 105 für das System 100 genutzt werden. Beispielsweise kann eine bereits vorhandene Innenraumkamera 130 zur Abtastung des Headsets 115 benutzt werden. Optional ist eine drahtlose Kommunikationseinrichtung 180 vorgesehen, die dazu eingerichtet sein kann, mit einer zentralen Stelle oder einem anderen System 100 an Bord eines weiteren Kraftfahrzeugs 105 zu kommunizieren. More preferably, an interface 175 is provided for connection to a device on board the motor vehicle 105. In particular, a position, orientation or movement parameter of the motor vehicle 105 can be obtained via the interface 175. Example devices onboard the motor vehicle 105 that may provide such information include an ABS system, an electronic chassis control, an engine controller for a drive motor, or a navigation system. Optionally, a sensor on board the motor vehicle 105 can also be used for the system 100. For example, an existing interior camera 130 can be used to scan the headset 115. Optionally, a wireless communication device 180 is provided, which can be set up to communicate with a central location or another system 100 on board another motor vehicle 105.
Figur 2 zeigt eine Überlagerung 200, die sich einem Fahrer 120 an Bord eines Kraftfahrzeugs 105 beim Blick durch ein Headset 115 darstellen kann. Die Überlagerung 200 umfasst Abschnitte einer ersten Ansicht 205 und einer zweiten Ansicht 210. Die erste Ansicht 205 ist mittels einer am Headset 115 des Fahrers 120 angebrachten Kamera 130 bereitgestellt. Die zweite Ansicht 210 ist bezüglich einer Ansicht der virtuellen Umgebung des Kraftfahrzeugs 105 bezüglich einer Pose des Kopfs des Fahrers 120 bestimmt. Figure 2 shows an overlay 200 that can be displayed to a driver 120 on board a motor vehicle 105 when looking through a headset 115. The overlay 200 comprises portions of a first view 205 and a second view 210. The first view 205 is provided by means of a camera 130 attached to the headset 115 of the driver 120. The second view 210 is determined with respect to a view of the virtual environment of the motor vehicle 105 with respect to a pose of the head of the driver 120.
Die erste Ansicht 205 betrifft den Innenraum des Kraftfahrzeugs 105 und reflektiert, was der Fahrer 120 ohne das Headset 115 bei entsprechender Kopfhaltung ebenfalls sehen könnte. Dazu zählen alle Ausstattungs- und Funktionsbestandteile des Kraftfahrzeugs 105, insbesondere ein Lenkrad und ein Cockpit. Der Fahrer 120 sieht auch sich selbst, wie in Figur 2 beispielhaft durch die Hände des Fahrers 120 am Lenkrad erkennbar ist. The first view 205 relates to the interior of the motor vehicle 105 and reflects what the driver 120 could also see without the headset 115 with the appropriate head position. This includes all equipment and functional components of the motor vehicle 105, in particular a steering wheel and a cockpit. The driver 120 also sees himself, as can be seen, for example, in FIG. 2 by the hands of the driver 120 on the steering wheel.
Ein Abschnitt der zweiten Ansicht 210 ist in die erste Ansicht 205 dort eingeblendet, wo der Innenraum des Kraftfahrzeugs 105 durch eine Scheibe 145 begrenzt ist. Ein Übergang zwischen der ersten Ansicht 205 und der zweiten Ansicht 210 ist in Figur 2 durch unterbrochene Linien hervorgehoben. Diese Linien sind in der Regel nicht Teil der Ansichten 205, 210 und vom Fahrer 120 nicht erkennbar. A section of the second view 210 is superimposed on the first view 205 where the interior of the motor vehicle 105 is delimited by a window 145. A transition between the first view 205 and the second view 210 is highlighted in Figure 2 by broken lines. These lines are generally not part of the views 205, 210 and are not recognizable by the driver 120.
In der Darstellung von Figur 2 sind eine Frontscheibe und eine Seitenscheibe vorgesehen, wobei durch die Seitenscheibe ein Außenspiegel 215 erkennbar ist. Optional kann auf einer Spiegelfläche des Außenspiegels 215 ein Abschnitt einer dritten Ansicht 220 dargestellt werden, die mittels des Modells 170 in der virtuellen Umgebung bezüglich einer Pose des Außenspiegels 215 bestimmt ist. In entsprechender Weise kann ein gegenüber liegender Außenspiegel oder ein Innenspiegel behandelt werden. In the illustration in Figure 2, a windshield and a side window are provided, with an outside mirror 215 being visible through the side window. Optionally, a section of a third view 220 can be shown on a mirror surface of the outside mirror 215, which is determined by means of the model 170 in the virtual environment with respect to a pose of the outside mirror 215. An opposite outside mirror or an inside mirror can be treated in a corresponding manner.
Zur Illustration einer möglichen Funktionsweise des Systems 100 sind in Figur 2 in der virtuellen Umgebung des Kraftfahrzeugs 105 zwei nebeneinanderliegende Tore 225 dargestellt. Der Fahrer 120 kann die Aufgabe haben, durch dasjenige Tor 225 zu fahren, das ihm in einer bestimmten Weise angezeigt wird, beispielsweise in einer vorbestimmten Farbe, und das andere, das ihm in einer anderen vorbestimmten Farbe angezeigt werden kann, zu meiden. Die Farben der Tore 225 können beispielsweise nach einem vorbestimmten Muster oder auch zufällig wechseln. Insbesondere können die Farben in Abhängigkeit einer Fahrgeschwindigkeit und eines Abstands des Kraftfahrzeugs 105 von den Toren 225 erst spät eingeblendet werden. Eine Reaktionsfähigkeit und eine Fähigkeit des Fahrers 120, das Kraftfahrzeug 105 auch bei hoher Geschwindigkeit kontrolliert durch das richtige Tor 225 zu fahren, können so trainiert werden. To illustrate a possible mode of operation of the system 100, two adjacent gates 225 are shown in Figure 2 in the virtual environment of the motor vehicle 105. The driver 120 may have the task of driving through the gate 225 that is displayed to him in a certain way, for example in a predetermined color, and avoiding the other one that can be displayed to him in a different predetermined color. The colors of the gates 225 can change, for example, according to a predetermined pattern or randomly. In particular, the colors can only be displayed late depending on a driving speed and a distance of the motor vehicle 105 from the gates 225. The driver 120's ability to react and drive the motor vehicle 105 through the correct gate 225 in a controlled manner, even at high speed, can be trained in this way.
Figur 3 zeigt eine beispielhafte Ansicht eines Fahrers 120 an Bord eines Kraftfahrzeugs 105 mit einem System 100. Am Kopf des Fahrers 120 ist das Headset 115 angebracht. Dabei ist das Headset 115 bevorzugt relativ klein und leicht, sodass es den Fahrer 120 nicht behindert und eine Bewegung seines Kopfes nicht stört. In einem Bereich, der nahe vor den Augen des Fahrers 120 liegt, sind zwei Kameras 130 angebracht. An einem Rahmen des Headsets 115 sind Elemente eines Markers 135 verteilt. Figure 3 shows an example view of a driver 120 on board a motor vehicle 105 with a system 100. The headset 115 is attached to the head of the driver 120. The headset 115 is preferably relatively small and light so that it does not hinder the driver 120 and does not interfere with the movement of his head. Two cameras 130 are attached in an area that is close to the eyes of the driver 120. Elements of a marker 135 are distributed on a frame of the headset 115.
Durch eine Seitenscheibe und eine Heckscheibe sind Abschnitte einer realen Umgebung des Kraftfahrzeugs 105 erkennbar. Der Fahrer 120 kann die reale Umgebung nicht sehen und über das Headset 115 werden ihm im Bereich der Scheiben 145 Ausschnitte der virtuellen Umgebung des Kraftfahrzeugs 105 eingeblendet. Sections of a real environment of the motor vehicle 105 can be seen through a side window and a rear window. The driver 120 cannot see the real environment and sections of the virtual environment of the motor vehicle 105 are displayed to him via the headset 115 in the area of the windows 145.
Figur 4 zeigt ein Ablaufdiagramm eines Verfahrens 400. Das Verfahren 400 kann insbesondere mittels eines Systems 100 ausgeführt werden. Figure 4 shows a flow chart of a method 400. The method 400 can be carried out in particular by means of a system 100.
In einem Schritt 405 kann das Headset 115 vom Fahrzeug 105 aus erfasst werden. Dazu kann das Headset 115 mittels einer fest angebrachten Kamera 130 abgetastet werden. In a step 405, the headset 115 can be captured from the vehicle 105. For this purpose, the headset 115 can be scanned using a permanently attached camera 130.
In einem Schritt 410 kann eine Pose des Kopfs des Fahrers 120 im Fahrzeug 105 bestimmt werden. Dazu kann die Pose des Headsets 115 bestimmt werden, beispielsweise bezüglich der Lage des Markers 135 auf der optischen Abtastung. In einem Schritt 415 kann der Innenraum des Fahrzeugs 105 vom Headset 115 aus abgetastet werden. Dazu kann die am Headset 115 angebrachte Kamera 130 eingesetzt werden. Optional kann die Pose des Kopfs des Fahrers 120 auch auf der Basis dieser Abtastung bestimmt werden. Dazu kann insbesondere die Lage eines Markers 135, der fest am Kraftfahrzeug 105 angebracht ist, in der Abtastung bestimmt werden. In a step 410, a pose of the head of the driver 120 in the vehicle 105 can be determined. For this purpose, the pose of the headset 115 can be determined, for example with regard to the position of the marker 135 on the optical scan. In a step 415, the interior of the vehicle 105 can be scanned from the headset 115. The camera 130 attached to the headset 115 can be used for this purpose. Optionally, the pose of the head of the driver 120 can also be determined on the basis of this scanning. For this purpose, in particular the position of a marker 135, which is permanently attached to the motor vehicle 105, can be determined in the scanning.
Zur Bestimmung der Pose des Kraftfahrzeugs 105 in der realen Umgebung kann in einem Schritt 420 eine absolute Position des Kraftfahrzeugs 105 bestimmt werden. Dazu kann beispielsweise der GNSS-Empfänger 160 oder eine kamerabasierte Positionserkennung verwendet werden, die mittels der Schnittstelle 175 an das System 100 angeschlossen sein kann. To determine the pose of the motor vehicle 105 in the real environment, an absolute position of the motor vehicle 105 can be determined in a step 420. For this purpose, for example, the GNSS receiver 160 or a camera-based position detection can be used, which can be connected to the system 100 via the interface 175.
In einem Schritt 425 kann eine Beschleunigung des Kraftfahrzeugs 105 bestimmt werden. Die Beschleunigung kann mittels eines Beschleunigungssensors 165 oder auf der Basis eines Systems an Bord des Kraftfahrzeugs 105 bestimmt werden, beispielsweise eines Antriebs- oder Bremssystems. In a step 425, an acceleration of the motor vehicle 105 can be determined. The acceleration can be determined by means of an acceleration sensor 165 or on the basis of a system on board the motor vehicle 105, for example a drive or braking system.
Eine relative Position des Kraftfahrzeugs 105 kann in einem Schritt 430 bestimmt werden. Die relative Position kann insbesondere bezüglich Bewegungs- beziehungsweise Geschwindigkeitsinformationen des Kraftfahrzeugs 105 bestimmt werden. Dazu können insbesondere Signale eines Odometers des Kraftfahrzeugs 105 ausgewertet werden, die über die Schnittstelle 175 bezogen werden können. A relative position of the motor vehicle 105 can be determined in a step 430. The relative position can be determined in particular with regard to movement or speed information of the motor vehicle 105. For this purpose, in particular signals from an odometer of the motor vehicle 105 can be evaluated, which can be obtained via the interface 175.
Auf der Basis von in den Schritten 420 bis 430 gesammelten Informationen kann die Pose des Kraftfahrzeugs 105 in der realen Umgebung in einem Schritt 435 bestimmt werden. Based on information collected in steps 420 to 430, the pose of the motor vehicle 105 in the real environment can be determined in a step 435.
In einem Schritt 440 kann die Pose des Kopfs des Fahrers 120 in der realen Umgebung auf der Basis der Pose seines Kopfs im Kraftfahrzeug 105 und der Pose des Kraftfahrzeugs 105 in der realen Umgebung bestimmt werden. Für optimale Ergebnisse sollte die Pose des Kopfs im Schritt 440 mit möglichst hoher Genauigkeit und im dynamischen Fall mit möglichst geringer zeitlicher Verzögerung be- stimmt werden. Zwischenergebnisse können auf der Basis weiterer Informationen verbessert werden. In a step 440, the pose of the head of the driver 120 in the real environment can be determined based on the pose of his head in the motor vehicle 105 and the pose of the motor vehicle 105 in the real environment. For optimal results, the pose of the head in step 440 should be determined with the highest possible accuracy and, in the dynamic case, with the lowest possible time delay. Intermediate results can be improved on the basis of further information.
In einem Schritt 445 kann auf der Basis der bestimmten Pose eine Ansicht der virtuellen Umgebung bestimmt werden. Diese Ansicht ist hierin auch als zweite Ansicht bezeichnet. In a step 445, a view of the virtual environment can be determined on the basis of the determined pose. This view is also referred to herein as the second view.
Auf der Basis der Abtastung des Innenraums im Schritt 415 kann eine Ansicht des Innenraums bestimmt sein, die hierin auch als erste Ansicht bezeichnet ist. In einem optionalen Schritt 450 kann in der ersten Ansicht die Lage einer Scheibe 145 bestimmt werden. Dazu kann eine Begrenzung der Scheibe 145 in der ersten Ansicht bestimmt werden, oder geometrische Informationen über die Form oder Ausdehnung der Scheibe 145 können entsprechend angewendet werden. Based on the scanning of the interior in step 415, a view of the interior may be determined, also referred to herein as the first view. In an optional step 450, the position of a disk 145 can be determined in the first view. For this purpose, a boundary of the disk 145 can be determined in the first view, or geometric information about the shape or extent of the disk 145 can be applied accordingly.
In einem Schritt 455 können die erste und die zweite Ansicht überlagert werden. Dabei werden bevorzugt Abschnitte der ersten Ansicht, die im Bereich einer Scheibe 145 liegen, durch entsprechende Abschnitte der zweiten Ansicht ersetzt. In a step 455, the first and second views can be superimposed. In this case, sections of the first view that lie in the area of a disk 145 are preferably replaced by corresponding sections of the second view.
In einem Schritt 460 kann die Überlagerung an den Fahrer 120 über die wenigstens eine Anzeige 125 des Headsets 115 ausgegeben werden. In a step 460, the overlay can be output to the driver 120 via the at least one display 125 of the headset 115.
Bezugszeichen Reference symbols
100 System 100 Systems
105 Kraftfahrzeug 105 motor vehicle
110 Verarbeitungseinrichtung 110 processing facility
115 Headset 115 Headset
120 Fahrer 120 drivers
125 Anzeige 125 display
130 Kamera 130 camera
135 Marker 135 markers
140 Rahmen 140 frames
145 Scheibe 145 disc
150 Innenspiegel 150 interior mirrors
155 Markierung 155 mark
160 GNSS Empfänger 160 GNSS receivers
165 Beschleunigungssensor 165 Accelerometer
170 Modell 170 Model
175 Schnittstelle 175 Interface
180 Kommunikationseinrichtung 180 communication facility
200 Überlagerung 200 Overlay
205 erste Ansicht 205 first view
210 zweite Ansicht 210 second view
215 Außenspiegel 215 exterior mirrors
220 dritte Ansicht 220 third view
225 Tor 225 Goal
400 Verfahren 400 procedures
405 Headset vom Fahrzeug aus erfassen 405 Capture headset from vehicle
410 Pose des Kopfs des Fahrers im Fahrzeug bestimmen410 Determine the pose of the driver's head in the vehicle
415 Innenraum des Fahrzeugs vom Headset aus abtasten415 Scan the interior of the vehicle from the headset
420 absolute Position bestimmen 420 determine absolute position
425 Beschleunigung bestimmen 430 relative Position bestimmen 425 Determine acceleration 430 determine relative position
435 Pose des Fahrzeugs in der realen Umgebung bestimmen435 Determine the pose of the vehicle in the real environment
440 Pose des Kopfs des Fahrers in der realen Umgebung bestimmen440 Determine the pose of the driver's head in the real environment
445 Ansicht der virtuellen Umgebung bestimmen 450 Scheibe bestimmen 445 Determine view of virtual environment 450 Determine disk
455 Ansichten Überlagern 455 Views Overlay
460 an den Fahrer ausgeben 460 to the driver

Claims

Ansprüche Expectations
1. System (100), wobei das System (100) folgendes umfasst: ein Headset, das dazu eingerichtet ist, an einem Kopf eines Fahrers (120) eines Kraftfahrzeugs (105) angebracht zu werden, wobei das Headset eine Kamera (130) zur Bereitstellung einer ersten Ansicht (205) eines Innenraums des Kraftfahrzeugs (105) und eine optische Anzeige für den Fahrer (120) umfasst; ein Modell (170) zur Bereitstellung einer Ansicht einer virtuellen Umgebung des Kraftfahrzeugs (105) bezüglich einer vorbestimmten Pose; eine Einrichtung zur Bestimmung einer Pose des Kopfs des Fahrers (120) bezüglich der realen Umgebung des Kraftfahrzeugs (105); eine Verarbeitungseinrichtung (110), die dazu eingerichtet ist, die erste Ansicht (205) des Innenraums mit einer zweiten Ansicht (210) der virtuellen Umgebung bezüglich der bestimmten Pose zu überlagern und dem Fahrer (120) bereitzustellen. 1. System (100), wherein the system (100) comprises: a headset that is designed to be attached to a head of a driver (120) of a motor vehicle (105), the headset having a camera (130). Providing a first view (205) of an interior of the motor vehicle (105) and a visual display for the driver (120); a model (170) for providing a view of a virtual environment of the motor vehicle (105) with respect to a predetermined pose; a device for determining a pose of the driver's head (120) with respect to the real surroundings of the motor vehicle (105); a processing device (110) which is set up to overlay the first view (205) of the interior with a second view (210) of the virtual environment with respect to the specific pose and to provide it to the driver (120).
2. System (100) nach Anspruch 1 , wobei der Innenraum des Kraftfahrzeugs (105) durch eine Scheibe begrenzt ist; wobei die Überlagerung derart bereitgestellt wird, dass die virtuelle Umgebung für den Fahrer (120) nur im Bereich der Scheibe sichtbar ist. 2. System (100) according to claim 1, wherein the interior of the motor vehicle (105) is limited by a pane; wherein the overlay is provided such that the virtual environment is only visible to the driver (120) in the area of the window.
3. System (100) nach Anspruch 2, wobei eine vorbestimmte optische Markierung an der Scheibe angebracht ist und wobei die Verarbeitungseinrichtung (110) dazu eingerichtet ist, die Lage der Scheibe in der ersten Ansicht (205) des Innenraums bezüglich der Markierung zu bestimmen. 3. The system (100) according to claim 2, wherein a predetermined optical marking is attached to the window and wherein the processing device (110) is adapted to determine the position of the window in the first view (205) of the interior with respect to the marking.
4. System (100) nach Anspruch 3, wobei der Markierung eine Form der Scheibe zugeordnet ist. 4. The system (100) of claim 3, wherein the marking is associated with a shape of the disk.
5. System (100) nach einem der vorangehenden Ansprüche, wobei die Einrichtung einen ersten Sensor (160, 165, 175) zur Bestimmung einer Pose des Kraftfahrzeugs (105) in der realen Umgebung und einen zweiten Sensor (130) zur Bestimmung einer Pose des Kopfs des Fahrers (120) im Kraftfahrzeug (105) umfasst. System (100) nach Anspruch 5, wobei die Einrichtung eine absolute Positioniereinrichtung (160) umfasst. System (100) nach Anspruch 5 oder 6, wobei die Einrichtung eine relative Positioniereinrichtung (175) umfasst. System (100) nach einem der Ansprüche 5 bis 7, wobei die Einrichtung einen Beschleunigungssensor (165) umfasst. System (100) nach einem der vorangehenden Ansprüche, ferner umfassend eine Einrichtung zur Begrenzung einer Position des Kraftfahrzeugs (105) auf einen vorbestimmten Bereich der realen Umgebung. System (100) nach einem der vorangehenden Ansprüche, wobei der Innenraum des Kraftfahrzeugs (105) durch eine Scheibe (145) begrenzt ist, auf dessen Außenseite ein Rückspiegel (215) angebracht ist; wobei eine weitere Ansicht (215) der virtuellen Umgebung bezüglich des Rückspiegels (215) bestimmt und derart mit der ersten Ansicht (205) überlagert wird, dass sie für den Fahrer (120) im Rückspiegel (215) sichtbar ist. Kraftfahrzeug (105), umfassend ein System (100) nach einem der vorangehenden Ansprüche. Verfahren (400) mit folgenden Schritten: 5. System (100) according to one of the preceding claims, wherein the device comprises a first sensor (160, 165, 175) for determining a pose of the motor vehicle (105) in the real environment and a second sensor (130) for determining a pose of the head of the driver (120) in the motor vehicle (105). System (100) according to claim 5, wherein the device comprises an absolute positioning device (160). System (100) according to claim 5 or 6, wherein the device comprises a relative positioning device (175). System (100) according to one of claims 5 to 7, wherein the device comprises an acceleration sensor (165). System (100) according to one of the preceding claims, further comprising a device for limiting a position of the motor vehicle (105) to a predetermined region of the real environment. System (100) according to one of the preceding claims, wherein the interior of the motor vehicle (105) is delimited by a window (145), on the outside of which a rear-view mirror (215) is attached; wherein a further view (215) of the virtual environment is determined with respect to the rearview mirror (215) and is superimposed on the first view (205) such that it is visible to the driver (120) in the rearview mirror (215). Motor vehicle (105) comprising a system (100) according to one of the preceding claims. Method (400) with the following steps:
Bestimmen (440) einer Pose eines Kopfs eines Fahrers (120) eines Kraftfahrzeugs (105) bezüglich einer realen Umgebung des Kraftfahrzeugs (105); determining (440) a pose of a head of a driver (120) of a motor vehicle (105) with respect to a real environment of the motor vehicle (105);
Bestimmen (415) einer ersten Ansicht (205) eines Innenraums des Kraftfahrzeugs (105) vom Kopf des Fahrers (120) aus; Determining (415) a first view (205) of an interior of the motor vehicle (105) from the head of the driver (120);
Bestimmen (445) einer zweiten Ansicht (210) einer virtuellen Umgebung des Kraftfahrzeugs (105) bezüglich der bestimmten Pose; Überlagern (455) der ersten Ansicht (205) des Innenraums mit der zweiten Ansicht (210) der virtuellen Umgebung; und Bereitstellen der Überlagerung an den Fahrer (120). 13. Verfahren (400) nach Anspruch 12, wobei die virtuelle Umgebung in Abhängigkeit einer Bewegung des Kraftfahrzeugs (105) angepasst wird. Determining (445) a second view (210) of a virtual environment of the motor vehicle (105) with respect to the determined pose; Overlaying (455) the first view (205) of the interior with the second view (210) of the virtual environment; and providing the overlay to the driver (120). 13. The method (400) according to claim 12, wherein the virtual environment is adapted depending on a movement of the motor vehicle (105).
14. Verfahren (400) nach Anspruch 12 oder 13, wobei Systeme (100) an Bord von zwei Kraftfahrzeugen (105) in zwei realen, voneinander getrennten Um- gebungen vorgesehen sind, wobei für die Systeme (100) nur eine gemeinsame virtuelle Umgebung verwendet wird. 14. Method (400) according to claim 12 or 13, wherein systems (100) are provided on board two motor vehicles (105) in two real, separate environments, wherein only one common virtual environment is used for the systems (100).
PCT/EP2023/075826 2022-09-26 2023-09-19 Driving a motor vehicle in virtual surroundings WO2024068367A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022124717.1 2022-09-26
DE102022124717.1A DE102022124717A1 (en) 2022-09-26 2022-09-26 Driving a motor vehicle in a virtual environment

Publications (1)

Publication Number Publication Date
WO2024068367A1 true WO2024068367A1 (en) 2024-04-04

Family

ID=88143914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/075826 WO2024068367A1 (en) 2022-09-26 2023-09-19 Driving a motor vehicle in virtual surroundings

Country Status (2)

Country Link
DE (1) DE102022124717A1 (en)
WO (1) WO2024068367A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008042397A1 (en) * 2008-09-26 2010-04-01 Robert Bosch Gmbh Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image
DE102014202712A1 (en) * 2014-02-14 2015-08-20 Bayerische Motoren Werke Aktiengesellschaft Image adjustment for contact-analogous representations on data glasses
DE102014213020A1 (en) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Takeover request for highly automated driving on data glasses
DE102017221317A1 (en) * 2017-11-28 2019-05-29 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a data glasses in a motor vehicle
DE102018201509A1 (en) * 2018-02-01 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with data glasses
WO2022133219A1 (en) * 2020-12-20 2022-06-23 Wael Zohni Mixed-reality visor for in-situ vehicular operations training

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008042397A1 (en) * 2008-09-26 2010-04-01 Robert Bosch Gmbh Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image
DE102014202712A1 (en) * 2014-02-14 2015-08-20 Bayerische Motoren Werke Aktiengesellschaft Image adjustment for contact-analogous representations on data glasses
DE102014213020A1 (en) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Takeover request for highly automated driving on data glasses
DE102017221317A1 (en) * 2017-11-28 2019-05-29 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a data glasses in a motor vehicle
DE102018201509A1 (en) * 2018-02-01 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with data glasses
WO2022133219A1 (en) * 2020-12-20 2022-06-23 Wael Zohni Mixed-reality visor for in-situ vehicular operations training

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUY BERG: "Das Vehicle in the Loop - Ein Werkzeug für die Entwicklung und Evaluation von sicherheitskritischen Fahrerassistenzsystemen", 10 April 2014 (2014-04-10), XP055694645, Retrieved from the Internet <URL:http://athene-forschung.unibw.de/download/97267/97267.pdf> [retrieved on 20200513] *

Also Published As

Publication number Publication date
DE102022124717A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
DE102017200149B4 (en) Method for learning and checking driving behavior of a vehicle driver and vehicle
DE102012015002B4 (en) Method and device for assisted parking
WO2019120381A1 (en) System and method for reducing kinetosis symptoms
DE102004057947B4 (en) Method for functional testing of a driver assistance system integrated on the vehicle side
DE112017007631B4 (en) Display system and display method
WO2014161691A1 (en) Method and apparatus for guiding a vehicle in the surroundings of an object
DE10256612B3 (en) Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations
DE102009016562A1 (en) Method for identifying objects in periphery of vehicle, involves recording image of periphery of vehicle at vehicle position, and another image of periphery of vehicle at another vehicle position by camera arranged on vehicle
DE102016014712B4 (en) Vehicle and method for outputting information to a vehicle environment
DE102008059269A1 (en) Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image
DE102016224122A1 (en) Method for operating a VR glasses in an interior of a motor vehicle and control device and motor vehicle
EP3123450A2 (en) Method and device for displaying objects on a vehicle display
EP3318441A1 (en) Device for supporting a driver of a vehicle with a projection device
DE102017211748A1 (en) Method for operating an output device of a motor vehicle, driver assistance device, and motor vehicle
DE10309934B4 (en) Driving simulator and method for simulating the driving condition of a vehicle
DE102015207337A1 (en) Method and device for maintaining at least one occupant of a motor vehicle
EP3566925B1 (en) (partially) autonomous motor vehicle and method for operating the same
EP2936473A1 (en) Apparatus for extended presentation of a surrounding area of a vehicle
DE19938266A1 (en) Method and equipment for visual recognition of traffic signs, electronically identifies obscure traffic signs by comparison with known signs
DE102015007246B4 (en) A method of operating a display system and display system for a motor vehicle
WO2024068367A1 (en) Driving a motor vehicle in virtual surroundings
DE102017006231A1 (en) Non-rail driving device provided with a virtual reality device
DE102006030278A1 (en) Motor vehicle traffic monitoring system, with sensors, has a computer to generate a report on traffic in the environment for display in real time
WO2020030312A1 (en) Method and system for operating at least two display devices carried by respective vehicle occupants on the head
DE202018005409U1 (en) Automatic vehicle rearview mirror control system