WO2023001700A1 - Monitorsystem für ein fahrzeug - Google Patents

Monitorsystem für ein fahrzeug Download PDF

Info

Publication number
WO2023001700A1
WO2023001700A1 PCT/EP2022/069803 EP2022069803W WO2023001700A1 WO 2023001700 A1 WO2023001700 A1 WO 2023001700A1 EP 2022069803 W EP2022069803 W EP 2022069803W WO 2023001700 A1 WO2023001700 A1 WO 2023001700A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
monitor system
time
scanning
display device
Prior art date
Application number
PCT/EP2022/069803
Other languages
English (en)
French (fr)
Inventor
Philipp Hoffmann
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2023001700A1 publication Critical patent/WO2023001700A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot

Definitions

  • the present invention relates to a monitor system for a vehicle.
  • the invention relates to a monitor system for providing improved information to a driver of the vehicle.
  • a motor vehicle can be controlled by a driver seated in a predetermined seat in the interior of the vehicle.
  • the driver can visually perceive the surroundings of the vehicle through viewing windows.
  • An area behind the vehicle pillar can be created for the driver so that he cannot take note of an event that may be relevant to the control of the vehicle that is taking place there.
  • a vehicle includes an opaque member that provides a portion of an environment of the vehicle from a predetermined position in the interior of the vehicle.
  • a monitor system for such a vehicle includes a camera for optical scanning of the environment in a predetermined scanning area; a display device for attachment to the opaque element; and a controller.
  • the control device is set up to determine an object moving relative to the vehicle in the scanning area and to display a portion of the object that is shaded from the predetermined position on the display device.
  • a predetermined latency time elapses between the scanning and the display, with the control device being set up to correct the displayed section by the latency time.
  • the section of the object shown on the display device can correspond to the actually shaded section of the object behind it.
  • the section of the object that is visible on the display device can better match a directly visible section of the object that adjoins it laterally. From the predetermined position, the impression that the element is actually transparent can be given in an improved manner. A perception of the object lying outside the vehicle can thus be facilitated.
  • a person on board the vehicle can control the vehicle in an improved manner depending on the object and its movement.
  • the portion shaded by the element is predicted based on the movement of the object relative to the vehicle at a point in time that is in the future by the latency time from the point in time of sampling. If the latency time is 50 ms, for example, it can be determined which path the object travels in the latency time. In relation to a currently shadowed section of the object, a section can be determined which is this distance in the direction of movement of the object. Displaying this section can then require just enough time for the displayed section and the shaded section of the object, which has been shifted in the meantime, to fit together at the time of display.
  • the predetermined position is occupied by a person on board the vehicle.
  • the person can relate in particular to a driver of the vehicle. More preferably, the position relates to the person's head or one eye.
  • a device for determining the position of the person is provided. In particular, the position of the head or an eye of the person can be determined. In this way, it can be taken into account that the person is moving or that people of different heights can use the monitor system in different postures.
  • the scanning area of the camera is preferably larger than the section of the environment that is shaded from the position.
  • a horizontal opening angle of the scanning area can be larger than the shaded section of the surroundings in the horizontal direction.
  • the scanning range extends on both sides of the shadowed portion in the environment.
  • control device is set up to determine the movement of the object on the basis of a plurality of time-delayed scans of the environment.
  • a graphics-based analysis can be carried out for this purpose, or the object can be recognized on the scans and its movement can be derived from this.
  • an additional device for determining a movement of the object may not be required.
  • the movement can include a direction, a distance, and/or a speed. Components of the movement are preferably expressed in terms of the vehicle. If the movement of the object relative to the vehicle is determined purely graphically, it may be sufficient to predict which image content is moved in a scanning range of the camera and in what manner due to the movement of the object.
  • the object moves in relation to the surroundings of the vehicle.
  • a stationary object such as a traffic sign
  • the object may include another road user that can be identified based on the scan.
  • different road users can be identified, and the display of the covered section can be matched to the identified road user.
  • a section of a recognized road user can be assumed to be invariant.
  • a visible rotation of a wheel of a vehicle can be excluded from the display.
  • moving extremities of a pedestrian cannot be represented, so that no unnatural views result.
  • only the specific portion of the object may be output on the display device. Other scanned elements of the environment cannot be represented. In this way, the risk of incorrect image content being displayed or artifacts being generated can be reduced.
  • a vehicle includes a monitor system as described herein.
  • the vehicle can in particular comprise a motor vehicle, more preferably a passenger car, a truck or a bus.
  • a method includes the steps of scanning an image of an area surrounding a vehicle; wherein an object is moving in the environment relative to the vehicle; wherein a portion of the surroundings is shaded by an opaque member of the vehicle from a predetermined position in an interior of the vehicle; wherein the element is shadowed from the position by a display device; determining a portion of the object that is shadowed from the position after a predetermined time has elapsed; and presenting the portion on the display device.
  • the time includes a latency time that elapses between the scanning of the image and the display of the section on the display device.
  • the method can be carried out in part or in whole by means of a monitoring system described herein.
  • the method can be carried out using a control device of a monitor system.
  • the control device can include a programmable microcomputer or microcontroller, and the method can be in the form of a computer program product with program code means.
  • the computer program product can be stored on a computer-readable data medium.
  • FIG. 1 shows a monitor system on board a vehicle
  • FIG. 2 shows a flow chart of a method
  • FIG. 3 illustrates a visualization of a representation with a monitor system.
  • FIG. 1 shows a monitor system 100 on board a vehicle 105.
  • a person 110 On board the vehicle 105 there is a person 110 at a predetermined position.
  • the person 110 can in particular include a driver of the vehicle 105 .
  • the vehicle 105 includes a front window 115 and a side window 120 through which the person 110 can visually capture the surroundings of the vehicle 105 .
  • a vehicle pillar 125 which is opaque, is provided between the panes 115, 120.
  • the monitor system 100 comprises a control device 130, a camera 135 and a display device 140.
  • the display device 140 is preferably attached in relation to the person 110 in such a way that it shades the vehicle pillar 125 for the person 110. In particular, the display device 140 can be attached directly to the vehicle pillar 125 .
  • the camera 135 is preferably mounted on an outside of the vehicle pillar 125 . A distance between the camera 135 and the display device 140 is preferably as small as possible.
  • Control device 130 is set up to scan surroundings of vehicle 105 using camera 135 and to display a section of the scan on display device 140 .
  • the display should be such that the displayed image content corresponds as well as possible to an object in the vicinity of the vehicle 105 that can be seen directly through one of the panes 115, 120 matches.
  • the display device 140 can extend through one of the panes 115, 120 into a viewing area.
  • a scanning device 145 can be provided, which is set up to determine a position of person 110 in the interior of vehicle 105 .
  • the scanning device 145 may comprise a camera, a depth camera, a stereo camera or a LiDAR sensor.
  • a specific position of person 110 preferably refers to a head or an eye of person 110.
  • An object 150 is moving in relation to the vehicle 105 in an environment.
  • a movement 155 of the object 150 is symbolized by a broken arrow.
  • the object 150 is shown at two different points in time t1 and t2, with the point in time t2 being after the point in time t1.
  • a scanning range 160 of the camera 135 is large enough to scan the object 150 at both times t1, t2. Within the scan range 160 is a portion 165 that is shadowed by the vehicle pillar 125 from the position of the person 110 . A section 170 of object 150 lies in this area at time t2.
  • the section 170 can be determined from an image provided by the camera 135 with regard to the position of the person 110 and displayed on the display device 140 .
  • the process of scanning object 150 using camera 135, processing using control device 130, and displaying using display device 140 requires a predetermined latency time, which can be approximately 50 ms, for example. Within the latency period, the object 150 moves a specific distance relative to the vehicle 105 .
  • the control device 130 can be set up both to recognize an object 150 , in particular by distinguishing it from another object 150 or a background, and to determine a movement of the object 150 with respect to the vehicle 105 .
  • the control device 130 can be wholly or partly accommodated in the camera 135 .
  • control device 130 is connected directly to a light-sensitive sensor of the camera 135 and can carry out the detection and/or movement determination on the basis of raw data.
  • Machine learning methods in particular artificial intelligence, can be used for this.
  • an object can be recognized by means of an appropriately trained neural network.
  • a result of the determination can be attached to image data of the sensor.
  • An image from the camera 135 can take up several Mbytes of storage space, while metadata, which includes one or more objects 150 seen in the image and their movement information, can only comprise a few Kbytes. This information can be further processed by means of a control device 130 external to the camera 135 .
  • FIG. 2 shows a flow chart of a method 200.
  • the method 200 can be carried out in particular by means of a monitor system 100 on board a vehicle 105.
  • an area surrounding vehicle 105 can be scanned.
  • a result of the scanning can include a camera image that can be stored.
  • the camera image is preferably stored in a ring memory, which can be cyclically filled with new camera images.
  • a moving object 150 in the area surrounding vehicle 105 can be determined.
  • time-delayed camera images of the object 150 can be analyzed.
  • the object 150 on a camera image can be recognized.
  • the recognition can be based on machine learning, for example by means of a neural network.
  • a movement 155 of the object 150 with respect to the vehicle 105 can be determined.
  • the movement 155 is preferably determined on the basis of the stored camera images and can be extrapolated into the future. For this purpose, an observed acceleration or change in direction of the object 150 can be taken into account.
  • a step 220 it can be determined which portion 170 of the object 150 will be in the shadowed portion 165 at a future point in time from the position of the person 110 .
  • a view of section 170 can be determined in one of the camera images that have already been scanned.
  • the section 170 determined from a past camera image can be displayed on the display device 140 at the end of the latency period, so that it fits together correctly in terms of time and space with a directly observable part of the object 150 at the position of the person 110.
  • the method 200 may return to the beginning and cycle through.
  • FIG. 3 shows a visualization of a representation with a monitor system 100.
  • FIGS. 3A to 3E are shown, which follow one another in time.
  • An axis x is shown in the horizontal direction, along which the movement 155 of the object 150 takes place.
  • the object 150 is shown as a vehicle by way of example.
  • the object 150 moves from left to right in FIGS. 3A to 3E over a display area which corresponds to the scanning area 160 of the camera 135.
  • FIGS. 3C to 3E continue the principle described for the following points in time. In the present representation is only a displacement of the section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Ein Fahrzeug umfasst ein intransparentes Element (125), das einen Abschnitt eines Umfelds des Fahrzeugs (105) von einer vorbestimmten Position im Innenraum des Fahrzeugs (105) aus verschattet. Ein Monitorsystem (100) für ein solches Fahrzeug (105) umfasst eine Kamera (135) zur optischen Abtastung des Umfelds in einem vorbestimmten Abtastbereich (160); eine Anzeigevorrichtung (140) zur Anbringung an dem intransparenten Element (125); und eine Steuervorrichtung (130). Die Steuervorrichtung (130) ist dazu eingerichtet, ein sich bezüglich des Fahrzeugs (105) bewegendes Objekt im Abtastbereich (160) zu bestimmen und einen Abschnitt des Objekts, der von der vorbestimmten Position aus verschattet ist, auf der Anzeigevorrichtung (140) darzustellen. Zwischen der Abtastung und der Darstellung verstreicht eine vorbestimmte Latenzzeit und die Steuervorrichtung (130) ist dazu eingerichtet ist, den dargestellten Abschnitt um die Latenzzeit zu korrigieren.

Description

Monitorsystem für ein Fahrzeug
Die vorliegende Erfindung betrifft ein Monitorsystem für ein Fahrzeug. Insbesondere betrifft die Erfindung ein Monitorsystem zur verbesserten Information eines Fahrers des Fahrzeugs.
Ein Kraftfahrzeug kann durch einen Fahrer gesteuert werden, der sich auf einem vorbestimmten Sitzplatz im Innenraum des Fahrzeugs befindet. Durch Sichtscheiben kann der Fahrer ein Umfeld des Fahrzeugs optisch wahrnehmen. Zwischen den Sichtscheiben kann jedoch eine Fahrzeugsäule stehen, die seine Sicht nach draußen einschränkt. Ein für den Fahrer hinter der Fahrzeugsäule liegender Bereich kann für ihn verschaffet sein, sodass er ein dort stattfindendes, möglicherweise für die Steuerung des Fahrzeugs relevantes Ereignis nicht zur Kenntnis nehmen kann.
Es wurde vorgeschlagen, eine Anzeigeeinrichtung auf einer dem Fahrer zugewandten Seite der Fahrzeugsäule anzubringen und auf dieser ein Bild darzustellen, das mittels einer auf der anderen Seit der Fahrzeugsäule liegenden Kamera im Umfeld aufgenommen wurde. Eine sich dabei ergebende Schwierigkeit betrifft eine zeitliche Verzögerung, die unweigerlich zwischen dem Aufnehmen eines Bilds mittels der Kamera und der Wiedergabe des Bilds verstreicht. Insbesondere dann, wenn sich das Fahrzeug gegenüber dem Umfeld bewegt, kann das auf der Anzeige dargebotene Bild nicht zu optischen Informationen passen, die der Fahrer durch eine der Sichtscheiben wahrnehmen kann.
Eine der vorliegenden Erfindung zugrunde liegende Aufgabe besteht in der Angabe eines verbesserten Monitorsystems, um ein intransparentes Element an Bord eines Fahrzeugs virtuell transparent zu gestalten. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.
Ein Fahrzeug umfasst ein intransparentes Element, das einen Abschnitt eines Umfelds des Fahrzeugs von einer vorbestimmten Position im Innenraum des Fahrzeugs aus verschaffet. Ein Monitorsystem für ein solches Fahrzeug umfasst eine Kamera zur optischen Abtastung des Umfelds in einem vorbestimmten Abtastbereich; eine Anzeigevorrichtung zur Anbringung an dem intransparenten Element; und eine Steuervorrichtung. Die Steuervorrichtung ist dazu eingerichtet, ein sich bezüglich des Fahrzeugs bewegendes Objekt im Abtastbereich zu bestimmen und einen Abschnitt des Objekts, der von der vorbestimmten Position aus verschattet ist, auf der Anzeigevorrichtung darzustellen. Zwischen der Abtastung und der Darstellung verstreicht eine vorbestimmte Latenzzeit, wobei die Steuervorrichtung dazu eingerichtet ist, den dargestellten Abschnitt um die Latenzzeit zu korrigieren.
Dadurch kann der auf der Anzeigevorrichtung dargestellte Abschnitt des Objekts dem tatsächlich verschatteten Abschnitt des dahinterliegenden Objekts entsprechen. Der auf der Anzeigevorrichtung sichtbare Abschnitt des Objekts kann mit einem direkt sichtbaren Abschnitt des Objekts, der sich seitlich daran anschließt, verbessert zusammenpassen. Von der vorbestimmten Position aus kann sich in verbesserterWeise der Eindruck ergeben, dass das Element tatsächlich transparent ist. Eine Wahrnehmung des außerhalb des Fahrzeugs liegenden Objekts kann so erleichtert sein. Eine Person an Bord des Fahrzeugs kann das Fahrzeug verbessert in Abhängigkeit des Objekts und seiner Bewegung steuern.
Es ist bevorzugt, dass der durch das Element verschattete Abschnitt auf der Basis der Bewegung des Objekts bezüglich des Fahrzeugs für einen Zeitpunkt vorhergesagt wird, der vom Zeitpunkt der Abtastung um die Latenzzeit in der Zukunft liegt. Beträgt die Latenzzeit beispielsweise 50 ms, so kann bestimmt werden, welchen Weg das Objekt in der Latenzzeit zurücklegt. Gegenüber einem aktuell verschatteten Abschnitt des Objekts kann ein Abschnitt bestimmt werden, der um diese Distanz in Bewegungsrichtung des Objekts liegt. Das Darstellen dieses Abschnitts kann dann gerade so viel Zeit erfordern, dass zum Darstellungszeitpunkt der dargestellte Abschnitt und der inzwischen verschobene, verschattete Abschnitt des Objekts zusammenpassen.
Es ist besonders bevorzugt, dass die die vorbestimmte Position von einer Person an Bord des Fahrzeugs eingenommen ist. Die Person kann insbesondere einen Fahrer des Fahrzeugs betreffen. Weiter bevorzugt betrifft die Position den Kopf oder ein Auge der Person. In einerweiter bevorzugten Ausführungsform ist eine Vorrichtung zur Bestimmung der Position der Person vorgesehen. Insbesondere kann die Position des Kopfs oder eines Auges der Person bestimmt werden. So kann berücksichtigt werden, dass sich die Person bewegt oder dass unterschiedlich große Personen in unterschiedlichen Haltungen das Monitorsystem benutzen können.
Der Abtastbereich der Kamera ist bevorzugt größer als der von der Position aus verschattete Abschnitt des Umfelds. Insbesondere kann ein horizontaler Öffnungswinkel des Abtastbereichs größer als der verschattete Abschnitt des Umfelds in horizontaler Richtung sein. Es ist weiterhin bevorzugt, dass sich der Abtastbereich zu beiden Seiten des verschatteten Abschnitts im Umfeld erstreckt. So kann ein Objekt abgetastet werden, das sich von einer beliebigen Seite dem verschatteten Abschnitt nähert.
Es ist weiterhin bevorzugt, dass die Steuervorrichtung dazu eingerichtet ist, die Bewegung des Objekts auf der Basis mehrerer zeitversetzter Abtastungen des Umfelds zu bestimmen. Dazu kann eine grafikbasierte Analyse erfolgen oder das Objekt kann auf den Abtastungen erkannt und seine Bewegung daraus abgeleitet werden. Eine zusätzliche Vorrichtung zur Bestimmung einer Bewegung des Objekts kann dadurch nicht erforderlich sein.
Die Bewegung kann eine Richtung, eine Entfernung und/oder eine Geschwindigkeit umfassen. Komponenten der Bewegung sind bevorzugt bezüglich des Fahrzeugs ausgedrückt. Erfolgt eine rein grafische Bestimmung der Bewegung des Objekts bezüglich des Fahrzeugs, so kann es ausreichen, vorherzusagen, welcher Bildinhalt aufgrund der Bewegung des Objekts in welcher Weise in einem Abtastbereich der Kamera bewegt wird.
Es ist weiterhin bevorzugt, dass sich das Objekt gegenüber einem Umfeld des Fahrzeugs bewegt. Ein stillstehendes Objekt, beispielsweise ein Verkehrsschild, kann einem Hintergrund zugerechnet und vernachlässigt werden. Das Objekt kann einen anderen Verkehrsteilnehmer umfassen, der auf der Basis der Abtastung erkannt werden kann. Insbesondere können unterschiedliche Verkehrsteilnehmer erkannt werden, wobei die Darstellung des verdeckten Abschnitts auf den erkannten Verkehrsteilnehmer abgestimmt sein kann. Beispielsweise kann ein Abschnitt eines erkannten Verkehrsteilnehmers als invariant angenommen werden. So kann beispielsweise eine sichtbare Drehung eines Rads eines Fahrzeugs von der Darstellung ausgenommen werden. In einem weiteren Beispiel können sich bewegende Extremitäten eines Fußgängers nicht dargestellt werden, sodass sich keine unnatürlichen Ansichten ergeben.
In noch einerweiteren Ausführungsform kann auf der Anzeigevorrichtung ausschließlich der bestimmte Abschnitt des Objekts ausgegeben werden. Andere abgetastete Elemente des Umfelds können nicht dargestellt werden. So kann eine Gefahr einer Darstellung von inkorrekten Bildinhalten oder der Erzeugung von Artefakten verringert sein.
Nach einem zweiten Aspekt der vorliegenden Erfindung umfasst ein Fahrzeug ein hierin beschriebenes Monitorsystem. Das Fahrzeug kann insbesondere ein Kraftfahrzeug umfassen, weiter bevorzugt einen Personenkraftwagen, einen Lastkraftwagen oder einen Bus.
Nach noch einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren Schritte des Abtastens eines Bilds eines Umfelds eines Fahrzeugs; wobei sich im Umfeld ein Objekt bezüglich des Fahrzeugs bewegt; wobei ein Abschnitt des Umfelds von einer vorbestimmten Position in einem Innenraum des Fahrzeugs aus durch ein intransparentes Element des Fahrzeugs verschattet ist; wobei das Element von der Position aus durch eine Anzeigevorrichtung verschattet ist; des Bestimmens eines Abschnitts des Objekts, der nach Verstreichen einer vorbestimmten Zeit von der Position aus verschattet ist; und des Darstellens des Abschnitts auf der Anzeigevorrichtung. Dabei umfasst die Zeit eine Latenzzeit, die zwischen dem Abtasten des Bilds und der Darstellung des Abschnitts auf der Anzeigevorrichtung verstreicht.
Das Verfahren kann teilweise oder ganz mittels eines hierin beschriebenen Monitorsystems ausgeführt werden. Insbesondere kann das Verfahren mittels einer Steuervorrichtung eines Monitorsystems ausgeführt werden. Dazu kann die Steuervorrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.
Die Erfindung wird nun mit Bezug auf die beigefügten Zeichnungen genauer beschrieben, in denen:
Figur 1 ein Monitorsystem an Bord eines Fahrzeugs;
Figur 2 ein Ablaufdiagramm eines Verfahrens; und
Figur 3 eine Visualisierung einer Darstellung mit einem Monitorsystem illustriert.
Figur 1 zeigt ein Monitorsystem 100 an Bord eines Fahrzeugs 105. An Bord des Fahrzeugs 105 befindet sich eine Person 110 an einer vorbestimmten Position. Die Person 110 kann insbesondere einen Fahrer des Fahrzeugs 105 umfassen. Das Fahrzeug 105 umfasst eine Frontscheibe 115 und eine Seitenscheibe 120, durch die die Person 110 ein Umfeld des Fahrzeugs 105 optisch erfassen kann. Zwischen den Scheiben 115, 120 ist eine Fahrzeugsäule 125 vorgesehen, die intransparent ist.
Das Monitorsystem 100 umfasst eine Steuervorrichtung 130, eine Kamera 135 und eine Anzeigevorrichtung 140. Die Anzeigevorrichtung 140 ist bevorzugt derart bezüglich der Person 110 angebracht, dass sie die Fahrzeugsäule 125 für die Person 110 verschattet. Insbesondere kann die Anzeigevorrichtung 140 unmittelbar an der Fahrzeugsäule 125 angebracht sein. Die Kamera 135 ist bevorzugt auf einer Außenseite der Fahrzeugsäule 125 angebracht. Ein Abstand zwischen der Kamera 135 und der Anzeigevorrichtung 140 ist bevorzugt möglichst klein.
Die Steuervorrichtung 130 ist dazu eingerichtet, ein Umfeld des Fahrzeugs 105 mittels der Kamera 135 abzutasten und einen Abschnitt der Abtastung auf der Anzeigevorrichtung 140 darzustellen. Dabei soll die Darstellung derart erfolgen, dass der dargestellte Bildinhalt mit einem unmittelbar durch eine der Scheiben 115, 120 erkennbaren Objekt im Umfeld des Fahrzeugs 105 möglichst gut zusammenpasst. Dazu kann sich die Anzeigevorrichtung 140 bis in einen Sichtbereich durch eine der Scheiben 115, 120 erstrecken.
Um eine lagerichtige Darstellung eines Bilds auf der Anzeigevorrichtung 140 sicherzustellen, kann eine Abtastvorrichtung 145 vorgesehen sein, die dazu eingerichtet ist, eine Position der Person 110 im Innenraum des Fahrzeugs 105 zu bestimmen. Die Abtastvorrichtung 145 kann insbesondere eine Kamera, eine Tiefenkamera, eine Stereokamera odereinen LiDAR-Sensor umfassen. Eine bestimmte Position der Person 110 bezieht sich bevorzugt auf einen Kopf oder ein Auge der Person 110.
In einem Umfeld bewegt sich ein Objekt 150 bezüglich des Fahrzeugs 105. Eine Bewegung 155 des Objekts 150 ist durch einen unterbrochenen Pfeil symbolisiert. Das Objekt 150 ist zu zwei unterschiedlichen Zeitpunkten t1 und t2 dargestellt, wobei der Zeitpunkt t2 nach dem Zeitpunkt t1 liegt.
Ein Abtastbereich 160 der Kamera 135 ist ausreichend groß, um das Objekt 150 zu beiden Zeitpunkten t1, t2 abzutasten. Innerhalb des Abtastbereichs 160 liegt ein Abschnitt 165, der von der Position der Person 110 aus durch die Fahrzeugsäule 125 verschattet ist. In diesem Bereich liegt ein Abschnitt 170 des Objekts 150 zum Zeitpunkt t2.
Da die Kamera 135 den Abschnitt 170 im Umfeld erfassen kann, kann aus einem mittels der Kamera 135 bereitgestellten Bild bezüglich der Position der Person 110 der Abschnitt 170 bestimmt und auf der Anzeigevorrichtung 140 dargestellt werden. Allerdings benötigt der Prozess des Abtastens des Objekts 150 mittels der Kamera 135, des Verarbeitens mittels der Steuervorrichtung 130 und des Darstellens mittels der Anzeigevorrichtung 140 eine vorbestimmte Latenzzeit, die beispielsweise ca. 50 ms betragen kann. Innerhalb der Latenzzeit bewegt sich das Objekt 150 bezüglich des Fahrzeugs 105 um eine bestimmte Strecke.
Es wird daher vorgeschlagen, zum Zeitpunkt t2 nicht denjenigen Abschnitt 170 des Objekts 150 auf der Anzeigevorrichtung 140 darzustellen, der zu diesem Zeitpunkt mittels der Kamera 135 im verschatteten Abschnitt 165 erfasst werden kann, sondern ein korrespondierender Abschnitt 170, der zu einem um die Latenzzeit früheren Zeitpunkt mittels der Kamera 135 abgetastet wurde. In Kenntnis der Latenzzeit und der Bewegung 155 des Objekts 150 kann bestimmt werden, welcher Abschnitt eines zu einem früheren Zeitpunkt abgetasteten Bildes den Abschnitt 170 des Objekts 150 zeigt.
Die Steuervorrichtung 130 kann dazu eingerichtet sein, sowohl ein Objekt 150 zu erkennen, insbesondere indem es von einem anderen Objekt 150 oder einem Hintergrund unterschieden wird, als auch dazu, eine Bewegung des Objekts 150 bezüglich des Fahrzeugs 105 zu bestimmen. Dazu kann die Steuervorrichtung 130 ganz oder teilweise in der Kamera 135 aufgenommen sein.
In einer Ausführungsform ist die Steuervorrichtung 130 unmittelbar an einen lichtempfindlichen Sensor der Kamera 135 angeschlossen und kann die Erkennung und/oder Bewegungsbestimmung auf der Basis von Rohdaten durchführen. Dazu können Methoden des maschinellen Lernens verwendet werden, insbesondere der künstlichen Intelligenz. Beispielsweise kann ein Objekt mittels eines entsprechend trainierten neuronalen Netzwerks erkannt werden. Ein Resultat der Bestimmung kann Bilddaten des Sensors beigefügt werden. Ein Bild der Kamera 135 kann mehrere MByte an Speicherplatz beanspruchen, während Metadaten, die eines oder mehrere auf dem Bild zu sehende Objekte 150 und deren Bewegungsinformationen umfassen, nur wenige KByte umfassen können. Diese Informationen können mittels einer zur Kamera 135 externen Steuervorrichtung 130 weiterverarbeitet werden.
Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens 200. Das Verfahren 200 kann insbesondere mittels eines Monitorsystems 100 an Bord eines Fahrzeugs 105 ausgeführt werden.
In einem Schritt 205 kann ein Umfeld des Fahrzeugs 105 abgetastet werden. Ein Ergebnis der Abtastung kann ein Kamerabild umfassen, das abgespeichert werden kann. Bevorzugt wird das Kamerabild in einem Ringspeicher abgelegt, der zyklisch neu mit Kamerabilder gefüllt werden kann.
In einem Schritt 210 kann ein sich bewegendes Objekt 150 im Umfeld des Fahrzeugs 105 bestimmt werden. Dazu können zeitversetzte Kamerabilder des Objekts 150 analysiert werden. Optional kann das Objekt 150 auf einem Kamerabild erkannt werden. Die Erkennung kann beispielsweise auf der Basis maschinellen Lernens, etwa mittels eines neuronalen Netzwerks erfolgen.
In einem Schritt 215 kann eine Bewegung 155 des Objekts 150 bezüglich des Fahrzeugs 105 bestimmt werden. Die Bewegung 155 wird bevorzugt auf der Basis der abgespeicherten Kamerabilder bestimmt und kann in die Zukunft extrapoliert werden. Dazu kann eine beobachtete Beschleunigung oder Richtungsänderung des Objekts 150 berücksichtigt werden.
In einem Schritt 220 kann bestimmt werden, welcher Abschnitt 170 des Objekts 150 zu einem zukünftigen Zeitpunkt von der Position der Person 110 aus im verschatteten Abschnitt 165 liegen wird. Eine Ansicht des Abschnitts 170 kann in einem der Kamerabilder bestimmt werden, die bereits abgetastet wurden.
In einem Schritt 225 kann der aus einem vergangenen Kamerabild bestimmte Abschnitt 170 am Ende der Latenzzeit auf der Anzeigevorrichtung 140 dargestellt werden, sodass er zeitlich und räumlich korrekt mit einem direkt beobachtbaren Teil des Objekts 150 an der Position der Person 110 zusammenpasst.
Das Verfahren 200 kann zum Anfang zurückkehren und zyklisch durchlaufen.
Figur 3 zeigt eine Visualisierung einer Darstellung mit einem Monitorsystem 100. In vertikaler Richtung sind Figuren 3A bis 3E dargestellt, die zeitlich aufeinander folgen. In horizontaler Richtung ist eine Achse x dargestellt, entlang der die Bewegung 155 des Objekts 150 erfolgt. Das Objekt 150 ist beispielhaft als Fahrzeug dargestellt.
Das Objekt 150 bewegt sich in den Figuren 3A bis 3E von links nach rechts über einen Anzeigebereich, der dem Abtastbereich 160 der Kamera 135 entspricht. Dabei passiert das Objekt 150 den durch die Fahrzeugsäule 125 verschatteten Abschnitt 165, der in Figur 3 als schraffierte Fläche dargestellt ist.
Um beispielsweise in Figur 3B den Abschnitt 170 des Objekts 150 auf der Anzeigevorrichtung 140 darzustellen, der sich zu diesem Zeitpunkt im verschatteten Abschnitt 165 befindet, kann der korrekte Abschnitt 170 in der zuvor erfolgten Abtastung von Figur 3A verwendet werden. Eine Strecke Dc, die zwischen den Abschnitten 170 und 165 liegt, hängt von einer Relativgeschwindigkeit des Objekts 150 bezüglich des Fahrzeugs 105 und einer Latenzzeit zwischen Zeitpunkten von Aufnahmen der Figuren 3A und 3D ab. Je schneller sich das Objekt 150 bewegt oder je kürzer die Latenzzeit ist, desto näher können die Abschnitte 170 und 165 aneinander liegen. Es ist zu beachten, dass die Abschnitte 170 und 165 einander auch überlappen können. Die weiteren Figuren 3C bis 3E führen das beschriebene Prinzip für folgende Zeitpunkte fort. In der vorliegenden Darstellung ist lediglich eine Verschiebung des Abschnitts
170 in horizontaler Richtung erforderlich. Es ist jedoch zu beachten, dass auch eine Verschiebung in vertikaler Richtung erforderlich sein kann. Sollte sich ein Abstand des Objekts 150 vom Fahrzeug 105 innerhalb des Vorhersagezeitraums verändern, kann auch eine Größe des Abschnitts 170 angepasst werden.
Bezugszeichen
100 Monitorsystem
105 Fahrzeug
110 Person
115 Frontscheibe
120 Seitenscheibe
125 Fahrzeugsäule
130 Steuervorrichtung
135 Kamera
140 Anzeigevorrichtung
145 Abtastvorrichtung
150 Objekt
155 Bewegung
160 Abtastbereich
165 verschatteter Abschnitt von der Position der Person aus
170 Abschnitt des Objekts
200 Verfahren
205 Umfeld abtasten
210 sich bewegendes Objekt im Umfeld bestimmen
215 Bewegung des Objekts relativ zum Fahrzeug bestimmen 220 verschatteten Abschnitt um Latenzzeit Vorhersagen
225 Abschnitt darstellen

Claims

Ansprüche
1. Monitorsystem (100) für ein Fahrzeug (105), wobei das Monitorsystem (100) folgende Elemente umfasst: eine Kamera (135) zur optischen Abtastung eines Umfelds des Fahrzeugs (105) in einem vorbestimmten Abtastbereich (160); wobei das Fahrzeug (105) ein intransparentes Element (125) umfasst, das einen Abschnitt des Umfelds von einer vorbestimmten Position (110) im Innenraum des Fahrzeugs (105) aus verschattet; eine Anzeigevorrichtung (140) zur Anbringung an dem intransparenten Element (125); eine Steuervorrichtung (130), die dazu eingerichtet ist, ein sich bezüglich des Fahrzeugs (105) bewegendes Objekt (150) im Abtastbereich (160) zu bestimmen; und einen Abschnitt (170) des Objekts (150), der von der vorbestimmten Position (110) aus verschattet ist, auf der Anzeigevorrichtung (140) darzustellen; wobei zwischen der Abtastung und der Darstellung eine vorbestimmte Latenzzeit verstreicht und die Steuervorrichtung (130) dazu eingerichtet ist, den dargestellten Abschnitt (170) um die Latenzzeit zu korrigieren.
2. Monitorsystem (100) nach Anspruch 1, wobei der durch das Element (125) verschattete Abschnitt (165) auf der Basis der Bewegung (155) des Objekts (150) bezüglich des Fahrzeugs (105) für einen Zeitpunkt vorhergesagt wird, der vom Zeitpunkt der Abtastung um die Latenzzeit in der Zukunft liegt.
3. Monitorsystem (100) nach Anspruch 1 oder 2, wobei die vorbestimmte Position (110) von einer Person an Bord des Fahrzeugs (105) eingenommen ist.
4. Monitorsystem (100) nach Anspruch 3, ferner umfassend eine Vorrichtung (145) zur Bestimmung der Position (110) der Person.
5. Monitorsystem (100) nach einem der vorangehenden Ansprüche, wobei der Abtastbereich (160) der Kamera (135) größer als der von der Position (110) aus verschattete Abschnitt (165) des Umfelds ist.
6. Monitorsystem (100) nach einem der vorangehenden Ansprüche, wobei die Steuervorrichtung (130) dazu eingerichtet ist, die Bewegung (155) des Objekts (150) auf der Basis mehrerer zeitversetzter Abtastungen des Umfelds zu bestimmen.
7. Monitorsystem (100) nach einem der vorangehenden Ansprüche, wobei die Bewegung (155) eine Richtung, eine Entfernung und/odereine Geschwindigkeit umfasst.
8. Monitorsystem (100) nach einem der vorangehenden Ansprüche, wobei sich das Objekt (150) gegenüber einem Umfeld des Fahrzeugs (105) bewegt.
9. Fahrzeug (105), umfassend ein Monitorsystem (100) nach einem der vorangehenden Ansprüche.
10. Verfahren (200) mit folgenden Schritten:
Abtasten (205) eines Bilds eines Umfelds eines Fahrzeugs (105); wobei sich im Umfeld ein Objekt (150) bezüglich des Fahrzeugs (105) bewegt; wobei ein Abschnitt (165) des Umfelds von einer vorbestimmten Position (110) in einem Innenraum des Fahrzeugs (105) aus durch ein intransparentes Element (125) des Fahrzeugs (105) verschattet ist; wobei das Element (125) von der Position (110) aus durch eine Anzeigevorrichtung (140) verschattet ist;
Bestimmen (220) eines Abschnitts (170) des Objekts (150), der nach Verstreichen einer vorbestimmten Zeit von der Position (110) aus verschattet ist; und
Darstellen (225) des Abschnitts (170) auf der Anzeigevorrichtung (140); wobei die Zeit eine Latenzzeit umfasst, die zwischen dem Abtasten des Bilds und der Darstellung des Abschnitts auf der Anzeigevorrichtung (140) verstreicht.
PCT/EP2022/069803 2021-07-20 2022-07-14 Monitorsystem für ein fahrzeug WO2023001700A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021118730.3 2021-07-20
DE102021118730.3A DE102021118730A1 (de) 2021-07-20 2021-07-20 Monitorsystem für ein Fahrzeug

Publications (1)

Publication Number Publication Date
WO2023001700A1 true WO2023001700A1 (de) 2023-01-26

Family

ID=82851735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/069803 WO2023001700A1 (de) 2021-07-20 2022-07-14 Monitorsystem für ein fahrzeug

Country Status (2)

Country Link
DE (1) DE102021118730A1 (de)
WO (1) WO2023001700A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004038822A1 (de) * 2004-08-04 2006-03-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Säule, Fahrzeug und Verfahren zur Sichtbarmachung eines vor einer Säule liegenden Bereichs
DE102008057534A1 (de) * 2008-11-08 2009-06-18 Daimler Ag Kraftfahrzeug mit optisch aktiver Fahrzeugsäule
DE102017125470A1 (de) * 2016-11-03 2018-05-03 GM Global Technology Operations LLC Verfahren und vorrichtung zur warnung vor objekten
DE102019122729A1 (de) * 2019-08-23 2021-02-25 Bayerische Motoren Werke Aktiengesellschaft Außensicht-Darstellung auf einer Interieurfläche eines Kraftfahrzeugs

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10340496A1 (de) 2003-09-03 2005-03-31 Daimlerchrysler Ag Visualisierung des toten Winkels hinter einer A-Säule eines Fahrzeugs
WO2009157446A1 (ja) 2008-06-24 2009-12-30 トヨタ自動車株式会社 死角表示装置及び運転支援装置
CN112896045A (zh) 2021-01-26 2021-06-04 安信通科技（澳门）有限公司 一种车辆a柱盲区透视方法、系统及车辆

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004038822A1 (de) * 2004-08-04 2006-03-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Säule, Fahrzeug und Verfahren zur Sichtbarmachung eines vor einer Säule liegenden Bereichs
DE102008057534A1 (de) * 2008-11-08 2009-06-18 Daimler Ag Kraftfahrzeug mit optisch aktiver Fahrzeugsäule
DE102017125470A1 (de) * 2016-11-03 2018-05-03 GM Global Technology Operations LLC Verfahren und vorrichtung zur warnung vor objekten
DE102019122729A1 (de) * 2019-08-23 2021-02-25 Bayerische Motoren Werke Aktiengesellschaft Außensicht-Darstellung auf einer Interieurfläche eines Kraftfahrzeugs

Also Published As

Publication number Publication date
DE102021118730A1 (de) 2023-01-26

Similar Documents

Publication Publication Date Title
EP2753533B1 (de) Bestimmung der stellung von bauelementen eines fahrzeugs
DE112014007249T5 (de) Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE112014000591T5 (de) Aufmerksamkeitsgrad-Erfassungsgerät und Aufmerksamkeitsgrad-Erfassungsverfahren
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
WO2018206213A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102016215115A1 (de) Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
DE102016014712B4 (de) Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
CN110807352A (zh) 一种用于危险驾驶行为预警的车内外场景视觉分析方法
DE102004034532B4 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
DE102016210088B3 (de) Verfahren und Vorrichtung zur Darstellung einer Umgebung eines Kraftfahrzeugs
EP3583488B1 (de) Automatisierte aktivierung eines sichtunterstützungssystems
DE102008017833A1 (de) Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine Bildaufnahmevorrichtung
WO2023001700A1 (de) Monitorsystem für ein fahrzeug
WO2019072570A1 (de) Verbesserte ansicht eines kraftfahrzeugumfelds
WO2016096446A1 (de) Vordergrund-hintergrund differenzierung im fahrzeug
WO2014202496A1 (de) Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug
DE102012214720A1 (de) Objekterkennungssystem und Verfahren zu seinem Betrieb
DE102017206585B4 (de) Insassenunterstützungsverfahren, Insassenunterstützungssystem und Fahrzeug
DE102019105778A1 (de) Verfahren zur Klassifizierung von Objekten innerhalb eines Kraftfahrzeugs
DE102018212171B4 (de) Verfahren und Vorrichtung zur Erkennung von Verkehrsteilnehmern in der Umgebung eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22754009

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE