WO2019015876A1 - Verfahren und vorrichtung zum bereitstellen von umgebungsinformationen - Google Patents

Verfahren und vorrichtung zum bereitstellen von umgebungsinformationen Download PDF

Info

Publication number
WO2019015876A1
WO2019015876A1 PCT/EP2018/065314 EP2018065314W WO2019015876A1 WO 2019015876 A1 WO2019015876 A1 WO 2019015876A1 EP 2018065314 W EP2018065314 W EP 2018065314W WO 2019015876 A1 WO2019015876 A1 WO 2019015876A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
terminal
latency
environmental information
environment
Prior art date
Application number
PCT/EP2018/065314
Other languages
English (en)
French (fr)
Inventor
Alfred Kuttenberger
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2019015876A1 publication Critical patent/WO2019015876A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—

Definitions

  • the invention relates to a method and a device for providing environment information.
  • Disabling the respective functions prevents a user from misjudging a situation due to latencies.
  • Environmental information describing a vehicle environment of a vehicle includes acquiring environmental information by means of a sensor disposed on the vehicle that maps the vehicle surroundings of the vehicle, determining a latency that is a delay between acquiring the environmental information and possibly presenting the environmental information on the vehicle Terminal describes, determining a prospective trajectory of the vehicle, a calculation of corrected environmental information from the detected
  • Environment information will be provided when the vehicle is moving along the expected trajectory for the duration of the determined latency, and providing the corrected environmental information for the terminal.
  • Environmental information describing a vehicle environment of a vehicle includes a sensor configured to
  • an electronic computing unit which uses an electronic computing unit to capture environmental information that maps the vehicle environment of the vehicle.
  • a latency which describes a delay between a detection of the environment information and a possible presentation of the environment information on a terminal, a probable
  • the detected environmental information is corrected based on the latency and trajectory of the vehicle to map the vehicle environment of the vehicle as anticipated by the environmental information sensed by the sensor when the vehicle moves along the expected trajectory for the duration of the determined latency, and an interface adapted to provide the corrected environmental information to the terminal.
  • An environment information is information describing a vehicle environment of the vehicle. So is an environment information in particular one
  • This environmental information is detected by a sensor arranged on the vehicle. So the sensor is an environment sensor.
  • the environment information maps the vehicle surroundings of the vehicle.
  • the vehicle environment is not necessarily visually displayed, but is at least described by the environment information. So can the environmental information may be either visual information or may be formed from a variety of location data.
  • a latency is determined, which is a delay between a detection of the environment information and a possible representation of the
  • the terminal is in particular a device which is coupled via a radio link to the vehicle, in particular to an electronic computing unit of the vehicle.
  • determining the latency it is determined which delay time between detection of the environment information and a representation of the
  • environment information on the terminal would be lost if the environment information were provided by the existing hardware and transmission channel to the terminal.
  • the determination of the latency does not necessarily include an actual transmission of environmental information from the sensor to the terminal. An estimate of a delay that would be present in such a transmission is sufficient.
  • Determining the anticipated trajectory of the vehicle is preferably based on information provided by a vehicle electronics. So, for determining the probable
  • Trajectory of the vehicle used in particular information relating to a movement speed of the vehicle, a steering angle of the vehicle and a direction of movement of the vehicle. It is thus set atecsstrajektone for the vehicle.
  • Trajectory of the vehicle can also be provided by a driver assistance system.
  • the movement path is in particular a movement trajectory calculated by a parking assistance system for the vehicle, which has been calculated, for example, for a parking operation of the vehicle.
  • the corrected environment information is information detected by the arranged sensor and processed such that this one in the future covered by the sensor
  • Environmental information predicts.
  • the environmental information changes with a position of the vehicle in the real world.
  • a future position of the vehicle in the real world is determined based on the anticipated trajectory of the vehicle.
  • the vehicle is at the prospective trajectory at a future time is calculated based on the determined latency time.
  • the already acquired environmental information is changed to represent future environmental information, here referred to as corrected environmental information.
  • the corrected environment information is provided to the terminal.
  • they are provided by means of an interface, in particular by means of a radio interface.
  • the corrected environment information is displayed on the terminal.
  • the inventive method is carried out.
  • the device according to the invention preferably also includes the terminal for which the corrected environment information
  • this estimated latency is minimized by pre-calculating the scenario to increase the availability of functions based on providing the acquired environmental information.
  • the latency is preferably a complete delay time between the detection of the environment information and a representation of the corrected one
  • Latency A time component that describes a portion of an elapsed time between acquiring the environmental information and presenting the corrected environmental information on the terminal. The more components of a signal path between the sensor and the terminal are described by the latency, the better it can be compensated for a distortion of environmental information in their representation.
  • the dependent claims show preferred developments of the invention.
  • the senor comprises a camera and the detected
  • Environmental information includes camera images, wherein in computing corrected environmental information, a view of the vehicle environment is computed as viewed by the camera, which represents the vehicle environment from the camera's perspective after the vehicle has moved along the anticipated trajectory for the duration of the determined latency. It is thus calculated a view of the camera, which will provide them in the future, so the vehicle actually moves for the duration of the latency along the expected trajectory. It is thus looked into the future for the duration of the latency.
  • An accuracy of the corrected environmental information a view of the vehicle environment is computed as viewed by the camera, which represents the vehicle environment from the camera's perspective after the vehicle has moved along the anticipated trajectory for the duration of the determined latency. It is thus calculated a view of the camera, which will provide them in the future, so the vehicle actually moves for the duration of the latency along the expected trajectory. It is thus looked into the future for the duration of the latency.
  • Object trajectory of an object in the vehicle environment of the vehicle and the calculation of the corrected environmental information is based on the latency, the trajectory of the vehicle and the object trajectory. In this way, a proper movement of
  • the determined latency is represented by an indicator on the terminal.
  • a value is provided which is a
  • the indicator is for example a scale on which a value for the determined latency is displayed, a color display of green, yellow and red or a selection of different smileys, which are displayed according to the determined latency.
  • An indicator is provided optical or acoustic information.
  • the request can also include detected environmental information. It is thus a signal path between the sensor and terminal at least partially through in the double direction.
  • the latency period is determined from the entire runtime. This is advantageous since there is no common time base on the side of the vehicle, that is to say on the side of the electronic arithmetic unit, and on the side of the terminal.
  • a response is sent from the terminal to the electronic processing unit of the vehicle, which includes a time, which a second time describes to which the
  • the method preferably comprises a Synchronticiansschntt for synchronizing the time bases of the electronic
  • Terminal measured. It can thus be a particularly accurate determination of the latency. It is also advantageous if the terminal is a mobile terminal, in particular a mobile phone. Such mobile devices are often used in combination with assistance systems for autonomous or automatic parking. Also, by such mobile devices often a remote control of
  • Radio connection is implemented over a mobile network.
  • Such latencies could be compensated according to the invention, which enables a precise representation of the vehicle environment of the vehicle on the mobile terminal.
  • Foreign vehicle or a control unit of a parking guidance system is. Such systems often interact with the systems of the vehicle providing the environment information. It can thus be done, for example, an external control of the vehicle, for example in a valet parking system.
  • the latency comprises a predetermined component which describes a system inherent delay.
  • Transmission process is constant.
  • the rest of the signal processing can also cause a constant amount of delay.
  • This constant value can be added to a variable value to determine the total latency.
  • the variable value is, for example, a delay, which by the radio transmission path per se or, for example, by an increased system load of the terminal is caused.
  • the inherent delay time is adjustable, whereby a calibration of the latency is made possible.
  • Figure 1 is an illustration of a vehicle with a device for
  • FIG. 2 is an illustration of the vehicle in a vehicle environment with an associated prospective trajectory
  • Figure 3 is a representation of the vehicle, after this the
  • Figure 4 is an exemplary illustration of a detected
  • Figure 5 is an exemplary illustration of the corrected
  • FIG. 1 shows a device for providing environmental information which describes a vehicle environment of a vehicle 1.
  • a sensor 2 Arranged on the vehicle 1 is a sensor 2, which is set up to detect environmental information 10 which depicts the vehicle surroundings of the vehicle 1.
  • the sensor 2 is a camera which is arranged on a vehicle front of the vehicle 1. Sensor 2 captures camera images. The camera images are detected environmental information 10, as these map the vehicle environment of the vehicle.
  • the sensor 2 is coupled to an electronic computing unit 6, which is arranged in the vehicle 1.
  • Terminal 3 is likewise shown by way of example in FIG. 1 and, in this embodiment, is a mobile terminal, here a mobile telephone.
  • a user on the terminal 3 can view the camera image captured by the sensor 2, that is, by the camera.
  • a determination of a latency which describes a delay between a detection of the environmental information 10 and a possible representation of the environmental information 10 on the terminal 3.
  • the request is any data packet, but may also include exemplary environment information 10 acquired by the sensor 2.
  • This data packet ie the request, is received by the terminal 3.
  • the terminal 3 sends a response to the electronic processing unit 6 of the computer
  • the electronic processing unit 6 measures a time difference that elapsed between the transmission of the request and the receipt of the response to the request. From this time difference, the latency is determined. Thus, for example, the measured time is halved if it is assumed that a transmission path from the electronic processing unit to the terminal 3 takes exactly as much time as a transmission from the terminal 3 to the electronic processing unit 6.
  • the determination of the latency takes place in that of the
  • the electronic calculation unit 6 of the vehicle at a first time a request is sent to the terminal 3, is sent from the terminal 3, a response to the electronic processing unit 6 of the vehicle, which includes a time, which describes a second time at which receive the request was determined, and from a time difference between the first time and the second time, the latency is determined.
  • the first time is a time at which the request is sent to the terminal 3.
  • the terminal 3 returns the second time to the electronic processing unit 6.
  • the second time is a time at which the answer was received by the terminal 3.
  • the electronic processing unit 6 is thus a time known to which the request was sent and it is the electronic processing unit 6 is known a time at which the request was received. From the time elapsed between the first time and the second time, the latency is determined, the latency corresponds, for example, exactly this elapsed period.
  • a latency time which results from the radio transmission, is primarily calculated by the methods for determining the latency described above. This can also be considered as a proportional latency. To determine the latency, then becomes a system inherent Delays added, for example, from the transmission of the detected environmental information 10 from the sensor 2 to the electronic
  • Arithmetic unit 6 results. Alternatively or additionally, it is advantageous if the latency time is also acted upon by a factor which enables a calibration of the system.
  • an estimated movement path 4 of the vehicle 1 is determined.
  • the electronic computing unit 6 accesses a vehicle sensor system which provides a movement speed and a steering angle of the vehicle 1. Assume, by way of example, that there is no steering lock, the vehicle 1 is thus traveling straight ahead, and the vehicle is moving forward at a constant speed. The expected
  • Trajectory 4 of the vehicle 1 is then a rectilinear trajectory, which lies in front of the vehicle 1.
  • Driver assistance system calculated and provided. For example, it is necessary to calculate a trajectory anyway for an autonomous parking process. In a further method step, a calculation of corrected takes place
  • the detected environment information 10 is modified to provide the corrected environment information 11.
  • a camera image captured by the sensor 2 is changed to provide the corrected environmental information 11.
  • Environmental information 10 are thereby corrected so that they map the vehicle environment of the vehicle 1, as this is expected to be done by the detected by the sensor 2 environmental information 10 when the vehicle 1 moves for the duration of the determined latency along the expected trajectory 4.
  • FIG. 2 illustrates the vehicle 1 in an exemplary vehicle environment.
  • a tree 8 which represents any object in the vehicle environment.
  • the sensor 2 is a camera, a camera image which corresponds to the acquired environmental information 10 is thus detected by the tree 8.
  • This camera image and thus the environmental information 10 is shown by way of example in FIG.
  • FIG. 2 shows the previously described exemplary prospective trajectory 4 of the vehicle 1.
  • the probable trajectory 4 is a linear trajectory, which lies in front of the vehicle 1.
  • Trajectory 4 of the vehicle 1 is known, this can calculate the corrected environmental information 1 1. In the example shown, this can thus compute a view of the vehicle surroundings from the perspective of the sensor 2, which represents the vehicle surroundings from the perspective of the sensor 2, after the vehicle 1 has moved along the expected trajectory 4 for the duration of the determined latency. This is shown by way of example in FIG. Since the probable trajectory 4 suggests that the vehicle 1 is approaching the tree 8, it is also known that the
  • Tree 8 in the corrected environment information 1 1 must be displayed larger than in the detected environment information 10. Thus, a corrected camera image is created, which is the corrected
  • Environment information 1 1 corresponds, wherein the tree 8 is mapped as if the vehicle 1 had actually approached the tree 8. It is irrelevant whether the vehicle 1 has actually approached the tree 8 or not.
  • the corrected environment information 11 is detected
  • Environment information 1 1 an image section from the captured
  • Vehicle environment of the vehicle 1 is ready on the terminal 3.
  • a distance sensor is arranged on the vehicle 1, which is a distance between the vehicle 1 and the adjacent Object, so the tree 8, detected.
  • the environment information 10 in this case would be a combination of camera images and
  • the environmental information 10 may additionally include directional information that further defines the location of objects relative to the vehicle 1. Based on this
  • Environment information 10 defines a 3D model of the vehicle environment. From the corrected environment information 1 1, a correspondingly adapted 3D model of the vehicle environment can then be calculated, which can be used by the terminal 3 to the
  • Vehicle 1 is determined.
  • This object movement path can be used as a further basis for calculating the corrected environment information 11.
  • a position and / or extent of the object in the image could be adjusted according to the object trajectory.
  • Dependency between detected environment information 10 and the corrected environment information 1 1 must be present. Thus, it may be necessary to distort the camera images captured by the sensor 2 or to reassemble image portions to provide the corrected environmental information 11. Also, to calculate the corrected environment information
  • corrected environmental information for example, can also be provided when the vehicle 1 is moved in such a way that the prospective trajectory 4 comprises a change of direction of the vehicle 1.
  • the environmental information 10 does not necessarily include camera images.
  • the sensor 2 is, for example, a distance sensor. This includes distance information, which
  • the corrected environment information 11 is provided for display on the terminal 3.
  • the camera image of the sensor 2 which has been corrected according to the invention, is shown on a display of the mobile terminal 3 shown in FIG.
  • the camera image represented on the terminal 3, that is to say the corrected environmental information 11 corresponds to an image which is theoretically detected by the sensor 2 at exactly this point in time. It is understood that in practice, of course, a deviation between an actual situation in the vehicle environment of the vehicle 1 and at that time on the
  • Terminal 3 shown corrected environmental information 1 1 may come because the correction of the environmental information 1 1 based on assumptions, which does not necessarily have to occur.
  • an indicator is displayed on the terminal 3, which represents the determined latency.
  • the determined latency of the electronic processing unit 6 to the terminal 3 transfer.
  • the determined latency for example, color, or as shown in Figure 1, represented by an indicator bar.
  • a presentation by a selection of so-called smileys or emoticons is also advantageous.
  • the computing of the corrected environment information 11 is performed by the terminal and not by the electronic processing unit 6.
  • the detected environment information 10 is transmitted unchanged to the terminal 3 and the necessary correction of the environmental information 10 takes place on the terminal 3.
  • the terminal 3 is a mobile terminal.
  • the invention is not limited to that the terminal 3 is a mobile terminal.
  • the terminal 3 is a control unit of a
  • the foreign vehicle or a control unit of a parking guidance system. If the terminal 3 is a control unit of a foreign vehicle, then the foreign vehicle
  • a parking guidance system could control the vehicle 1 and thereby correct the
  • Use environment information 1 1 as the basis for the control process.
  • Procedure to be determined A simple method is to measure the time required from the time the controller sends out a signal in the vehicle 1 until when it receives a response from the mobile is received, which is triggered after receiving the signal from the control unit on the mobile phone of this and is sent back to the control unit.
  • the time with which the mobile has received the signal from the ECU can also be transferred back (is the relevant latency for the following function).
  • both partners ie the ECU and the mobile phone, work on a defined time basis.
  • This time base can z. B. be the time base of a GPS signal. Is the
  • Latency known which exists between the ECU in the vehicle and the phone, it can be considered as follows in the image transmission.
  • An algorithm is located on the ECU 1 located in the vehicle 1, which uses the movement parameters of the vehicle 1 and the objects detected in the surroundings to calculate the movement of the vehicle 1 and of the other objects in the vicinity around the latency time and then transmit this to the mobile phone ,
  • the image from the past is not displayed on the mobile phone, but the pre-calculated image, which is much closer to reality than the image from the past.
  • the advantage of this is that the user gets the current scene displayed, which is important in parking scenarios, since this is about
  • a further advantageous feature may be that the end user is displayed on the mobile phone whether the latency is within the tolerable range or he should turn off other applications.
  • the display may consist, for example, of a color display green, yellow, red or smileys.
  • the latency determination and correction can also be extended to other functions in which the vehicle 1 communicates with the environment.
  • Another example of this is the valet parking function, in which the vehicle 1 autonomously parks in the parking garage and communicates with the parking garage.
  • the function of measurement and correction can also be applied to the vehicle vehicle Communication, which is a key parameter in the development of autonomous driving.
  • the invention has been described with reference to a parking system with near range camera (NRC), but can be extended to all control units.
  • NRC near range camera

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges (1) beschreiben. Dabei erfolgt ein Erfassen von Umgebungsinformationen(10) mittels eines an dem Fahrzeug (1) angeordneten Sensors (2), welche die Fahrzeugumgebung des Fahrzeuges (1) abbilden, -Ermitteln einer Latenzzeit, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen und einem möglichen Darstellen der Umgebungsinformationen auf einem Endgerät (3) beschreibt, ein Ermitteln einer voraussichtlichen Bewegungsbahn (4) des Fahrzeuges (1), ein Errechnen von korrigierten Umgebungsinformationen (11) aus den erfassten Umgebungsinformationen (10), wobei die erfassten Umgebungsinformationen (10) basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges (4) derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges (1) so abbilden, wie dies voraussichtlich durch die von dem Sensor (2) erfassten Umgebungsinformationen (10) erfolgen wird, wenn das Fahrzeug (1) sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn (4) bewegt, und ein Bereitstellen der korrigierten Umgebungsinformationen (11) für das Endgerät.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen Stand der Technik
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen von Umgebungsinformationen.
Bei Systemen aus dem Umfeld des automatischen Parkens gibt es bereits erste Anwendungen, bei denen Bilder und Daten von einem Fahrzeug an andere Geräte übertragen werden. Dies erfolgt beispielsweise über Bluetooth oder WiFi. Hierbei kommt zu Latenzen, die ermittelt werden. Bei hohen Latenzzeiten wird eine entsprechende Funktion des Systems gegebenenfalls deaktiviert.
Durch das Deaktivieren der jeweiligen Funktionen wird vermieden, dass ein Anwender zu einer Fehleinschätzung einer Situation aufgrund der Latenzen kommt. Es ist jedoch erstrebenswert, dass die im Bereich des automatischen Parkens bereitgestellten Funktionen mit hoher Verfügbarkeit bereitstehen.
Offenbarung der Erfindung
Ein erfindungsgemäßes Verfahren zum Bereitstellen von
Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeugs beschreiben, umfasst ein Erfassen von Umgebungsinformationen mittels eines an dem Fahrzeug angeordneten Sensors, welche die Fahrzeugumgebung des Fahrzeuges abbilden, ein Ermitteln einer Latenzzeit, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen und einem möglichen Darstellen der Umgebungsinformation auf dem Endgerät beschreibt, ein Ermitteln einer voraussichtlichen Bewegungsbahn des Fahrzeuges, ein Rechnen von korrigierten Umgebungsinformationen aus den erfassten
Umgebungsinformationen, wobei die erfassten Umgebungsinformationen basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges so abbilden, wie dies voraussichtlich durch die von dem Sensor erfassten
Umgebungsinformationen erfolgen wird, wenn das Fahrzeug sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt, und ein Bereitstellen der korrigierten Umgebungsinformationen für das Endgerät.
Eine erfindungsgemäße Vorrichtung zum Bereitstellen von
Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges beschreiben, umfasst einen Sensor, welcher dazu eingerichtet ist,
Umgebungsinformationen zu erfassen, welche die Fahrzeugumgebung des Fahrzeuges abbilden, eine elektronische Recheneinheit, welche dazu
eingerichtet ist, eine Latenzzeit zu ermitteln, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformation und einem möglichen Darstellen der Umgebungsinformationen auf einem Endgerät beschreibt, eine voraussichtliche
Bewegungsbahn des Fahrzeuges zu ermitteln, und korrigierte
Umgebungsinformationen aus den erfassten Umgebungsinformationen zu errechnen, wobei die erfassten Umgebungsinformationen basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges so abbilden, wie dies voraussichtlich durch die von dem Sensor erfassten Umgebungsinformationen erfolgen wird, wenn das Fahrzeug sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt und eine Schnittstelle, welche dazu eingerichtet ist, die korrigierten Umgebungsinformationen für das Endgerät bereitzustellen.
Durch das Verfahren und die Vorrichtung werden dabei insbesondere
Umgebungsinformationen für ein Parkassistenzsystem bereitgestellt. Eine Umgebungsinformation ist eine Information, welche eine Fahrzeugumgebung des Fahrzeuges beschreibt. So ist eine Umgebungsinformation insbesondere eine
Information, welche eine relative Lage von Objekten zu dem Fahrzeug beschreibt. Diese Umgebungsinformationen werden von einem an dem Fahrzeug angeordneten Sensor erfasst. So ist der Sensor ein Umgebungssensor. Durch die Umgebungsinformation wird die Fahrzeugumgebung des Fahrzeuges abgebildet. Dabei wird die Fahrzeugumgebung nicht zwingend visuell abgebildet, wird aber durch die Umgebungsinformation zumindest beschrieben. So können die Umgebungsinformationen entweder visuelle Informationen sein oder auch aus einer Vielzahl von Positionsdaten gebildet werden.
Es wird eine Latenzzeit ermittelt, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformation und einem möglichen Darstellen der
Umgebungsinformation auf einem Endgerät beschreibt. Die erfassten
Umgebungsinformationen werden dazu nicht zwingend auf dem Endgerät tatsächlich dargestellt oder diesen bereitgestellt. So kann die Latenzzeit auch unabhängig von den Umgebungsinformation gemessen, errechnet oder abgeschätzt werden. Das Endgerät ist insbesondere ein Gerät, welches über eine Funkverbindung mit dem Fahrzeug, insbesondere mit einer elektronischen Recheneinheit des Fahrzeuges, gekoppelt ist.
Bei dem Ermitteln der Latenzzeit wird festgestellt, welche Verzögerungszeit zwischen einem Erfassen der Umgebungsinformation und einem Darstellen der
Umgebungsinformation auf dem Endgerät theoretisch vergehen würde, wenn die Umgebungsinformation durch die vorhandene Hardware und einem vorliegenden Übertragungskanal dem Endgerät bereitgestellt werden würde. Das Ermitteln der Latenzzeit umfasst dabei nicht zwingend ein tatsächliches Übertragen von Umgebungsinformationen von dem Sensor zu dem Endgerät. Eine Abschätzung einer Verzögerung, die bei einer solchen Übertragung vorliegen würde, ist ausreichend.
Das Ermitteln der voraussichtlichen Bewegungsbahn des Fahrzeuges erfolgt bevorzugt basierend auf Informationen, welche von einer Fahrzeugelektronik bereitgestellt werden. So werden für das Ermitteln der voraussichtlichen
Bewegungsbahn des Fahrzeuges insbesondere Informationen bezüglich einer Bewegungsgeschwindigkeit des Fahrzeuges, eines Lenkeinschlages des Fahrzeuges und einer Bewegungsrichtung des Fahrzeuges genutzt. Es wird somit eine Bewegungstrajektone für das Fahrzeug festgelegt. Die
Bewegungsbahn des Fahrzeuges kann auch durch ein Fahrassistenzsystem bereitgestellt werden. So ist die Bewegungsbahn insbesondere eine von einem Parkassistenzsystem für das Fahrzeug berechnete Bewegungstrajektone, welche beispielsweise für einen Einparkvorgang des Fahrzeugs berechnet wurde.
Die korrigierten Umgebungsinformationen sind solche Informationen, welche von dem angeordneten Sensor erfasst wurden und derart verarbeitet wurden, dass diese eine in der Zukunft liegende von dem Sensor erfasste
Umgebungsinformation voraussagt. Die Umgebungsinformationen ändern sich mit einer Position des Fahrzeuges in der realen Welt. Eine zukünftige Position des Fahrzeuges in der realen Welt wird basierend auf der voraussichtlichen Bewegungsbahn des Fahrzeuges ermittelt. An welcher Stelle das Fahrzeug sich zu einem zukünftigen Zeitpunkt auf der voraussichtlichen Bewegungsbahn befindet, wird basierend auf der ermittelten Latenzzeit errechnet. Die bereits erfassten Umgebungsinformationen werden derart verändert, dass diese zukünftige Umgebungsinformationen, hier als korrigierte Umgebungsinformation bezeichnet, darstellen.
Die korrigierten Umgebungsinformationen werden für das Endgerät bereitgestellt. So werden diese beispielsweise mittels einer Schnittstelle bereitgestellt, insbesondere mittels einer Funkschnittstelle. Weiter bevorzugt werden die korrigierten Umgebungsinformationen auf dem Endgerät dargestellt.
Durch die erfindungsgemäße Vorrichtung wird das erfindungsgemäße Verfahren ausgeführt. Dabei umfasst die erfindungsgemäße Vorrichtung bevorzugt auch das Endgerät, für welches die korrigierten Umgebungsinformationen
bereitgestellt werden.
Es wird somit eine Latenz zwischen einer ECU, das bedeutet einer
elektronischen Steuereinheit, in dem Fahrzeug und einem Endgerät außerhalb des eigentlichen Fahrzeugkommunikationssystems ermittelt. Mittels eines geeigneten Algorithmus wird diese ermittelte Latenz durch Vorausberechnung des Szenarios minimiert, um die Verfügbarkeit von Funktionen, welche auf dem Bereitstellen der erfassten Umgebungsinformationen basieren, zu erhöhen.
Die Latenzzeit ist bevorzugt eine vollständige Verzögerungszeit zwischen dem Erfassen der Umgebungsinformation und einem Darstellen der korrigierten
Umgebungsinformationen auf dem Endgerät. Ebenfalls bevorzugt ist die
Latenzzeit eine Zeitkomponente, welche einen Anteil einer verstrichenen Zeit zwischen einem Erfassen der Umgebungsinformationen und einem Darstellen der korrigierten Umgebungsinformationen auf dem Endgerät beschreibt. Je mehr Komponenten eines Signalpfades zwischen dem Sensor und dem Endgerät durch die Latenzzeit beschreiben werden, desto besser kann eine Verzerrung von Umgebungsinformationen bei deren Darstellung kompensiert werden. Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
Bevorzugt umfasst der Sensor eine Kamera und die erfassten
Umgebungsinformationen umfassen Kamerabilder, wobei bei dem Errechnen von korrigierten Umgebungsinformationen eine Ansicht der Fahrzeugumgebung aus Sicht der Kamera errechnet wird, welche die Fahrzeugumgebung aus Sicht der Kamera darstellt, nachdem das Fahrzeug sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt hat. Es wird somit eine Ansicht der Kamera errechnet, welche diese in Zukunft bereitstellen wird, so sich das Fahrzeug tatsächlich für die Dauer der Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt. Es wird somit für die Dauer der Latenzzeit in die Zukunft geblickt. Eine Genauigkeit der korrigierten
Umgebungsinformationen ist dabei abhängig davon, wie genau die Latenzzeit und wie genau die voraussichtliche Bewegungsbahn des Fahrzeuges
vorhergesagt wird.
Bevorzugt erfolgt ferner ein Ermitteln einer voraussichtlichen
Objektbewegungsbahn von einem Objekt in der Fahrzeugumgebung des Fahrzeuges und das Errechnen der korrigierten Umgebungsinformationen erfolgt basierend auf der Latenzzeit, der Bewegungsbahn des Fahrzeuges und der Objektbewegungsbahn. Auf diese Weise kann eine Eigenbewegung von
Objekten in die korrigierten Umgebungsinformationen einfließen. Bevorzugt wird die ermittelte Latenzzeit durch einen Indikator auf dem Endgerät dargestellt. Auf diese Weise wird ein Wert bereitgestellt, welcher eine
Zuverlässigkeit der korrigierten Umgebungsinformationen anzeigt. Es wird somit einem Anwender ermöglicht zu entscheiden, ob den korrigierten
Umgebungsinformationen, welche gegebenenfalls auf dem Endgerät dargestellt werden, vertraut werden kann. Der Indikator ist beispielsweise eine Skala, auf welcher ein Wert für die ermittelte Latenzzeit angezeigt wird, eine Farbanzeige aus grün, gelb und rot oder eine Auswahl unterschiedlicher Smileys, welche entsprechend der ermittelten Latenzzeit angezeigt werden. Ein Indikator ist dabei eine bereitgestellte optische oder akustische Information.
Auch ist es vorteilhaft, wenn das Errechnen der korrigierten
Umgebungsinformationen durch das Endgerät oder durch eine elektronische Recheneinheit des Fahrzeuges erfolgt. So kann das Korrigieren der
Umgebungsinformationen entweder auf Seiten des Fahrzeuges oder auf Seiten des Endgerätes erfolgen. Erfolgt das Korrigieren der Umgebungsinformationen auf Seiten des Endgerätes, so wird es insbesondere ermöglicht, dass für unterschiedliche Endgeräte eine unterschiedliche Korrektur der
Umgebungsinformationen, insbesondere basierend auf unterschiedlichen Latenzzeiten, erfolgt. Erfolgt die Korrektur der Umgebungsinformationen auf Seiten des Fahrzeuges durch eine elektronische Recheneinheit, so können die bereits korrigierten Umgebungsinformationen für das Endgerät bereitgestellt werden und eine notwendige Rechenleistung des Endgerätes wird minimiert.
Auch ist es vorteilhaft, wenn bei dem Ermitteln der Latenzzeit von einer elektronischen Recheneinheit des Fahrzeuges eine Anfrage an das Endgerät gesendet wird, von dem Endgerät in Reaktion auf ein Empfangen der Anfrage eine Antwort an die elektronische Recheneinheit des Fahrzeuges gesendet wird, und aus einer Zeitdifferenz zwischen dem Senden der Anfrage und einem Empfangen der Antwort die Latenzzeit ermittelt wird. Es wird somit ein
Challenge-Response-Verfahren implementiert. Die Anfrage kann dabei auch erfasste Umgebungsinformationen umfassen. Es wird somit ein Signalpfad zwischen Sensor und Endgerät zumindest anteilig in doppelter Richtung durchlaufen. Aus der gesamten Laufzeit wird die Latenzzeit ermittelt. Dies ist vorteilhaft, da keine gemeinsame Zeitbasis auf Seiten des Fahrzeuges, also auf Seiten der elektronischen Recheneinheit, und auf Seiten des Endgerätes vorliegen muss.
Auch ist es vorteilhaft, wenn bei dem Ermitteln der Latenzzeit von einer elektronischen Recheneinheit des Fahrzeuges zu einem ersten Zeitpunkt eine Anfrage an das Endgerät gesendet wird, von dem Endgerät eine Antwort an die elektronische Recheneinheit des Fahrzeuges gesendet wird, welche eine Zeitangabe umfasst, welche einen zweiten Zeitpunkt beschreibt, zu welchem die
Anfrage empfangen wurde, und aus einer Zeitdifferenz zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt die Latenzzeit ermittelt wird. Dabei ist es notwendig, dass die elektronische Recheneinheit und das Endgerät eine gemeinsame Zeitbasis nutzen. Dazu umfasst das Verfahren bevorzugt einen Synchronisierungsschntt zur Synchronisierung der Zeitbasen der elektronischen
Recheneinheit und des Endgerätes. Wird die Latenzzeit auf diese Weise ermittelt, so wird lediglich eine Zeitverzögerung bei einer Übertragung der Umgebungsinformationen ausgehend von dem Sensor in Richtung des
Endgerätes gemessen. Es kann somit eine besonders genaue Bestimmung der Latenzzeit erfolgen. Auch ist es vorteilhaft, wenn das Endgerät ein mobiles Endgerät, insbesondere ein Mobiltelefon ist. Solche mobile Endgeräte werden oftmals in Kombination mit Assistenzsystemen für autonomes oder automatisches Parken genutzt. Auch wird durch solche mobilen Endgeräte oftmals eine Fernsteuerung von
Fahrzeugen ermöglicht. Die Funkanbindung mobiler Endgeräte führt zu variablen Latenzzeiten. Diese Latenzzeiten können besonders groß sein, falls die
Funkanbindung über ein Mobilfunknetz implementiert ist. Solche Latenzzeiten könne erfindungsgemäß kompensiert werden, wodurch auf dem mobilen Endgerät eine präzise Darstellung der Fahrzeugumgebung des Fahrzeuges ermöglicht wird.
Ebenso ist es vorteilhaft, wenn das Endgerät ein Steuergerät eines
Fremdfahrzeuges oder ein Steuergerät eines Parkleitsystems ist. Solche Systeme interagieren oftmals mit den Systemen des Fahrzeuges, welches die Umgebungsinformationen bereitstellt. Es kann somit beispielsweise eine externe Kontrolle des Fahrzeuges, beispielsweise bei einem Valet-Parking-System erfolgen.
Ferner ist es vorteilhaft, wenn die Latenzzeit eine vorgegebene Komponente umfasst, welche eine systeminhärente Verzögerung beschreibt. So weisen der Sensor und die mit dem Sensor gekoppelten Systeme und auch das Endgerät
Systemeigenschaften auf, welche unabhängig von einer Systemauslastung oder einem verfügbaren Übertragungskanal zu einer Latenzzeit führen. Diese werden als systeminhärente Verzögerungen bezeichnet. So kann beispielsweise ein Codieren der erfassten Umgebungsinformationen, um diese per Funk an das Endgerät zu senden, zu einer Verzögerung führen, welche für jeden
Sendevorgang konstant ist. Auch die übrige Signalverarbeitung kann einen konstanten Wert einer Verzögerung verursachen. Dieser konstante Wert, also diese systeminhärente Verzögerung, kann auf einen variablen Wert addiert werden, um die gesamte Latenzzeit zu ermitteln. Der variable Wert ist dabei beispielsweise eine Verzögerung, welche durch die Funkübertragungsstrecke an sich oder beispielsweise durch eine erhöhte Systemauslastung des Endgerätes verursacht wird. Besonders bevorzugt ist die systeminhärente Verzögerungszeit einstellbar, wodurch eine Kalibrierung der Latenzzeit ermöglicht wird.
Kurze Beschreibung der Zeichnungen
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:
Figur 1 eine Darstellung eines Fahrzeuges mit einer Vorrichtung zum
Bereitstellen von Umgebungsinformationen,
Figur 2 eine Darstellung des Fahrzeuges in einer Fahrzeugumgebung mit einer zugehörigen voraussichtlichen Bewegungsbahn,
Figur 3 eine Darstellung des Fahrzeuges, nachdem dieses die
voraussichtliche Bewegungsbahn abgefahren ist,
Figur 4 eine beispielhafte Abbildung einer erfasste
Umgebungsinformation in Form eines ersten Kamerabildes, und
Figur 5 eine beispielhafte Abbildung der korrigierten
Umgebungsinformationen in Form eines aus dem ersten Kamerabild errechneten Bildes.
Ausführungsformen der Erfindung
Figur 1 zeigt eine Vorrichtung zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges 1 beschreiben.
An dem Fahrzeug 1 ist ein Sensor 2 angeordnet, welcher dazu eingerichtet ist, Umgebungsinformationen 10 zu erfassen, welche die Fahrzeugumgebung des Fahrzeugs 1 abbilden. Der Sensor 2 ist dabei eine Kamera, welche an einer Fahrzeugfront des Fahrzeuges 1 angeordnet ist. Durch den Sensor 2 werden Kamerabilder erfasst. Die Kamerabilder sind erfasste Umgebungsinformationen 10, da diese die Fahrzeugumgebung des Fahrzeuges abbilden. Der Sensor 2 ist mit einer elektronischen Recheneinheit 6 gekoppelt, welche in dem Fahrzeug 1 angeordnet ist. An der elektronischen Recheneinheit 6 ist eine Antenne 7 angeordnet, welche dazu eingerichtet ist, eine Funkverbindung zu einem Endgerät 3 bereitzustellen. Über die Funkverbindung wird ein
Datenaustausch zwischen dem Endgerät 3 und dem Fahrzeug 1 ermöglicht. Das
Endgerät 3 ist ebenfalls beispielhaft in Figur 1 dargestellt und ist in dieser Ausführungsform ein mobiles Endgerät, hier ein Mobiltelefon.
Durch das Endgerät 3 kann eine Bewegung des Fahrzeuges 1 überwacht werden. Dazu werden von dem Sensor 2 erfasste Bildinformationen über die
Funkverbindung zu dem Endgerät 3 übertragen und auf diesem dargestellt. So kann ein Anwender auf dem Endgerät 3 das von dem Sensor 2, also von der Kamera, erfasste Kamerabild betrachten.
Würde die von dem Sensor 2 erfasste Umgebungsinformation 10 nach einer Übertragung ohne eine Korrektur auf dem Endgerät 3 dargestellt werden, so würde eine Latenzzeit zwischen dem Erfassen der Umgebungsinformationen 10 und dem Darstellen der Umgebungsinformationen 10 auf dem Endgerät liegen. Das bedeutet mit anderen Worten, dass ein Anwender ein Kamerabild betrachten würde, welches nicht mehr aktuell ist. Die von dem Sensor 2 erfasste
Umgebungsinformation 10 würde also mit einer Verzögerung dargestellt werden. Wird das Endgerät 3 beispielsweise für eine Überwachung einer autonomen Bewegung des Fahrzeuges 1 genutzt, so könnte dies dazu führen, dass der Anwender beispielsweise einen Not-Stopp des Fahrzeuges 1 erst verspätet anfordert.
Erfindungsgemäß erfolgt ein Ermitteln einer Latenzzeit, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen 10 und einem möglichen Darstellen der Umgebungsinformationen 10 auf dem Endgerät 3 beschreibt. Dazu wird von der elektronischen Recheneinheit 6 des Fahrzeuges 1 eine
Anfrage an das Endgerät 3 gesendet. Die Anfrage ist ein beliebiges Datenpaket, kann aber auch beispielhafte Umgebungsinformationen 10 umfassen, welche von dem Sensor 2 erfasst wurden. Dieses Datenpaket, also die Anfrage, wird von dem Endgerät 3 empfangen. In Reaktion auf das Empfangen der Anfrage wird von dem Endgerät 3 eine Antwort an die elektronische Recheneinheit 6 des
Fahrzeuges 1 gesendet. Sowohl das Senden der Anfrage als auch das Senden der Antwort auf die Anfrage erfolgt über die Funkverbindung. Umfasst die Anfrage beispielhafte erfasste Umgebungsinformationen 10, so erfolgt eine Verarbeitung der Umgebungsinformationen 10 auf dem Endgerät, bevor die Antwort auf die Anfrage an die Recheneinheit 6 des Fahrzeuges gesendet wird. Auf diese Weise kann ein Einfluss einer Verarbeitungszeit für die Darstellung der Umgebungsinformationen 10 in das Ermitteln der Latenzzeit einfließen. Durch die elektronische Recheneinheit 6 wird eine Zeitdifferenz gemessen, die zwischen dem Senden der Anfrage und dem Empfangen der Antwort auf die Anfrage verstrichen ist. Aus dieser Zeitdifferenz wird die Latenzzeit ermittelt. So wird die gemessene Zeit beispielsweise halbiert, wenn davon ausgegangen wird, dass ein Übertragungsweg von der elektronischen Recheneinheit zum dem Endgerät 3 genau so viel Zeit in Anspruch nimmt, wie eine Übertragung von dem Endgerät 3 zu der elektronischen Recheneinheit 6.
Alternativ erfolgt das Ermitteln der Latenzzeit dadurch, dass von der
elektronischen Recheneinheit 6 des Fahrzeuges zu einem ersten Zeitpunkt eine Anfrage an das Endgerät 3 gesendet wird, von dem Endgerät 3 eine Antwort an die elektronische Recheneinheit 6 des Fahrzeuges gesendet wird, welche eine Zeitangabe umfasst, welche einen zweiten Zeitpunkt beschreibt, zu welchem die Anfrage empfangen wurde, und aus einer Zeitdifferenz zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt die Latenzzeit ermittelt wird. So ist der erste Zeitpunkt beispielsweise eine Uhrzeit, zu der die Anfrage an das Endgerät 3 gesendet wird. In Reaktion auf das Empfangen der Anfrage sendet das Endgerät 3 den zweiten Zeitpunkt an die elektronische Recheneinheit 6 zurück. Der zweite Zeitpunkt ist dabei eine Uhrzeit, zu der die Antwort von dem Endgerät 3 empfangen wurde. Der elektronischen Recheneinheit 6 ist somit eine Uhrzeit bekannt, zu der die Anfrage ausgesandt wurde und es ist der elektronischen Recheneinheit 6 eine Uhrzeit bekannt, zu der die Anfrage empfangen wurde. Aus der zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt verstrichenen Zeit wird die Latenzzeit ermittelt, wobei die Latenzzeit beispielsweise genau diesem verstrichenen Zeitraum entspricht.
Dabei ist es in allen Ausführungsformen der Erfindung vorteilhaft, wenn auf einem variablen Anteil der Latenzzeit eine zusätzliche systeminhärente
Verzögerung addiert wird. So wird durch die zuvor beschriebenen Verfahren zum Ermitteln der Latenzzeit primär eine Latenzzeit errechnet, welche sich durch die Funkübertragung ergibt. Diese kann auch als eine anteilige Latenzzeit betrachtet werden. Um die Latenzzeit zu ermitteln, wird dann eine systeminhärente Verzögerung addiert, die beispielsweise sich aus dem Übermitteln der erfassten Umgebungsinformationen 10 von dem Sensor 2 zu der elektronischen
Recheneinheit 6 ergibt. Alternativ oder zusätzlich ist es vorteilhaft, wenn die Latenzzeit zudem mit einem Faktor beaufschlagt wird, welcher eine Kalibrierung des Systems ermöglicht.
In einem weiteren Verfahrensschritt erfolgt ein Ermitteln einer voraussichtlichen Bewegungsbahn 4 des Fahrzeuges 1 . So wird beispielsweise von der elektronischen Recheneinheit 6 auf eine Fahrzeugsensorik zugegriffen, welche eine Bewegungsgeschwindigkeit und einen Lenkeinschlag des Fahrzeuges 1 bereitstellt. Es sei beispielhaft angenommen, dass kein Lenkeinschlag vorliegt, das Fahrzeug 1 somit geradeaus fährt, und das Fahrzeug sich mit einer konstanten Geschwindigkeit vorwärts bewegt. Die voraussichtliche
Bewegungsbahn 4 des Fahrzeuges 1 ist dann eine geradlinige Bewegungsbahn, welche vor dem Fahrzeug 1 liegt. Alternativ wird die Bewegungsbahn von einem
Fahrassistenzsystem berechnet und bereitgestellt. So ist es beispielsweise für einen autonomen Einparkvorgang ohnehin notwendig eine Bewegungsbahn zu berechnen. In einem weiteren Verfahrensschritt erfolgt ein Errechnen von korrigierten
Umgebungsinformationen 1 1 aus den erfassten Umgebungsinformationen 10. Dies bedeutet, dass die erfassten Umgebungsinformationen 10 modifiziert werden, um die korrigierten Umgebungsinformationen 1 1 zu schaffen. So wird beispielsweise ein von dem Sensor 2 erfasstes Kamerabild verändert, um die korrigierte Umgebungsinformation 1 1 zu schaffen. Dabei werden die erfassten
Umgebungsinformationen 10 basierend auf der Latenzzeit und der
Bewegungsbahn des Fahrzeuges 4 korrigiert. Die erfassten
Umgebungsinformationen 10 werden dabei derart korrigiert, dass diese die Fahrzeugumgebung des Fahrzeuges 1 so abbilden, wie diese voraussichtlich durch die von dem Sensor 2 erfassten Umgebungsinformationen 10 erfolgen wird, wenn das Fahrzeug 1 sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn 4 bewegt.
Das Errechnen der korrigierten Umgebungsinformationen 1 1 anhand der Figuren 2 bis 5 beispielhaft beschrieben. Das anhand der Figuren 2 bis 5 beschriebene Beispiel ist eine besonders einfache Ausführungsform. Figur 2 stellt das Fahrzeug 1 in einer beispielhaften Fahrzeugumgebung dar. So befindet sich beispielsweise vor dem Fahrzeug 1 ein Baum 8, welcher ein beliebiges Objekt in der Fahrzeugumgebung repräsentiert. Durch den Sensor 2 wird der Baum 8 erfasst. Da der Sensor 2 eine Kamera ist, wird somit von dem Baum 8 ein Kamerabild erfasst, welches der erfassten Umgebungsinformation 10 entspricht. Dieses Kamerabild und somit die Umgebungsinformation 10 ist in Figur 4 beispielhaft dargestellt. Es ist ersichtlich, dass in dem in Figur 4 dargestellten Kamerabild der Baum 8 abgebildet ist. Ferner ist in Figur 2 die zuvor beschriebene beispielhafte voraussichtliche Bewegungsbahn 4 des Fahrzeuges 1 dargestellt. Die voraussichtliche Bewegungsbahn 4 ist dabei eine geradlinige Bewegungsbahn, welche vor dem Fahrzeug 1 liegt.
Es wird davon ausgegangen, dass das Fahrzeug 1 sich für die Dauer der Latenzzeit entlang der voraussichtlichen Bewegungsbahn 4 vorwärts bewegt, so dass dieses sich an den Baum 8 annähert. Dies ist in Figur 3 dargestellt.
Zwischen den in Figur 2 und Figur 3 dargestellten Situationen ist somit die Latenzzeit verstrichen. Dabei wurde die voraussichtliche Bewegungsbahn 4 durch das Fahrzeug 1 abgefahren. Es wird darauf hingewiesen, dass die in Figur 3 dargestellte Situation nicht tatsächlich eintreten muss, dies aber eine Situation ist, welche mit hoher Wahrscheinlichkeit eintritt.
Dadurch, dass der elektronischen Recheneinheit 6 die voraussichtliche
Bewegungsbahn 4 des Fahrzeuges 1 bekannt ist, kann diese die korrigierten Umgebungsinformationen 1 1 errechnen. Diese kann somit in dem gezeigten Beispiel eine Ansicht der Fahrzeugumgebung aus Sicht des Sensors 2 errechnen, welche die Fahrzeugumgebung aus Sicht des Sensors 2 darstellt, nachdem das Fahrzeug 1 sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn 4 bewegt hat. Dies ist beispielhaft in Figur 4 gezeigt. Da die voraussichtliche Bewegungsbahn 4 darauf schließen lässt, dass das Fahrzeug 1 sich an den Baum 8 annähert, ist auch bekannt, dass der
Baum 8 in der korrigierten Umgebungsinformation 1 1 größer dargestellt sein muss, als in der erfassten Umgebungsinformation 10. Es wird somit ein korrigiertes Kamerabild geschaffen, welches der korrigierten
Umgebungsinformation 1 1 entspricht, wobei der Baum 8 derart abgebildet wird, als ob das Fahrzeug 1 sich tatsächlich dem Baum 8 angenähert hätte. Dabei ist es unerheblich, ob das Fahrzeug 1 sich tatsächlich dem Baum 8 angenähert hat oder nicht. Die korrigierte Umgebungsinformationen 1 1 werden aus der erfassten
Umgebungsinformationen 10 ermittelt. Dies ist in Figur 3 mit einem gestrichelten Quadrat angedeutet. So ist in diesem einfachen Beispiel die korrigierte
Umgebungsinformation 1 1 ein Bildausschnitt aus der erfassten
Umgebungsinformation 10.
Wie bereits erwähnt ist das mit den Figuren 2 bis 5 beschriebene Beispiel als eine besonders einfache Ausführungsform zu verstehen. Es erschließt sich für den Fachmann, dass weitere Berechnungen notwendig sind, um die
Umgebungsinformationen 10 so zu korrigieren, dass mit den korrigierten
Umgebungsinformationen 1 1 ein annähernd realistisches Abbild der
Fahrzeugumgebung des Fahrzeuges 1 auf dem Endgerät 3 bereitsteht.
So ist es beispielsweise in komplexeren Ausführungsformen vorteilhaft, wenn unterschiedliche Informationen von unterschiedlichen Sensortypen kombiniert werden. So ist es bei dem mit den Figuren 2 bis 4 beschriebenen Beispiel vorteilhaft, wenn zusätzlich zu dem Sensor 2, welcher in dem beschriebenen Beispiel eine Kamera ist, ein Abstandssensor an dem Fahrzeug 1 angeordnet ist, welcher einen Abstand zwischen dem Fahrzeug 1 und dem angrenzenden Objekt, also dem Baum 8, erfasst. Die Umgebungsinformationen 10 würden in diesem Fall aus einer Kombination von Kamerabildern und
Abstandsinformationen gebildet. Auch können die Umgebungsinformationen 10 zusätzlich Richtungsinformationen umfassen, welche die Lage von Objekten gegenüber dem Fahrzeug 1 weiter definieren. Basierend auf diesen
Umgebungsinformationen 10 wird ein 3D-Modell der Fahrzeugumgebung definiert. Aus den korrigierten Umgebungsinformationen 1 1 kann dann ein entsprechend angepasstes 3D-Modell der Fahrzeugumgebung errechnet werden, welches durch das Endgerät 3 genutzt werden kann, um die
Fahrzeugumgebung abzubilden.
Dabei ist es vorteilhaft, wenn Eigenbewegungen von Objekten in der
Fahrzeugumgebung erfasst werden und eine voraussichtliche
Objektbewegungsbahn eines Objektes in der Fahrzeugumgebung des
Fahrzeuges 1 ermittelt wird. Diese Objektbewegungsbahn kann als weitere Basis für das Errechnen der korrigierten Umgebungsinformationen 1 1 genutzt werden. So könnte eine Position und/oder Ausdehnung des Objektes in dem Bild entsprechend der Objektbewegungsbahn angepasst werden.
Ferner wird darauf hingewiesen, dass insbesondere dann, wenn die von dem Sensor erfassten Informationen Kamerabilder sind, nicht zwingend eine lineare
Abhängigkeit zwischen erfassten Umgebungsinformationen 10 und den korrigierten Umgebungsinformationen 1 1 vorliegen muss. So kann es notwendig sein, die von dem Sensor 2 erfassten Kamerabilder zu verzerren oder Bildanteile neu zusammenzusetzen, um die korrigierten Umgebungsinformationen 1 1 zu schaffen. Auch kann zum Errechnen der korrigierten Umgebungsinformationen
1 1 auf Kamerabilder zurückgegriffen werden, welche von dem Sensor 2 zu unterschiedlichen Zeitpunkten erfasst wurden. Auf diese Weise können beispielsweise auch dann korrigierte Umgebungsinformationen 1 1 bereitgestellt werden, wenn das Fahrzeug 1 derart bewegt wird, dass die voraussichtliche Bewegungsbahn 4 einen Richtungswechsel des Fahrzeuges 1 umfasst.
Die Umgebungsinformationen 10 umfasst nicht zwingend Kamerabilder. So ist der Sensor 2 in einer alternativen Ausführungsform der Erfindung beispielsweise ein Abstandssensor. Dieser umfasst Abstandsinformationen, welche
beispielsweise die Lage des Baumes 8 beschreiben.
Die korrigierten Umgebungsinformationen 1 1 werden für eine Darstellung auf dem Endgerät 3 bereitgestellt. So wird beispielsweise auf einem Display des in Figur 1 dargestellten mobilen Endgerätes 3 das Kamerabild des Sensors 2 dargestellt, welches erfindungsgemäß korrigiert wurde. Auf diese Weise entspricht das auf dem Endgerät 3 dargestellte Kamerabild, also die korrigierte Umgebungsinformation 1 1 , einem Bild, welches theoretisch genau zu diesem Zeitpunkt von dem Sensor 2 erfasst wird. Es versteht sich, dass es in der Praxis selbstverständlich zu einer Abweichung zwischen einer tatsächlichen Situation in der Fahrzeugumgebung des Fahrzeugs 1 und den für diesen Zeitpunkt auf dem
Endgerät 3 dargestellten korrigierten Umgebungsinformationen 1 1 kommen kann, da die Korrektur der Umgebungsinformation 1 1 auf Annahmen basiert, welche nicht zwingend eintreten müssen.
Neben den korrigierten Umgebungsinformationen 1 1 wird auf dem Endgerät 3 ein Indikator dargestellt, welcher die ermittelte Latenzzeit darstellt. Dazu wird die ermittelte Latenzzeit von der elektronischen Recheneinheit 6 an das Endgerät 3 übertragen. Dort wird die ermittelte Latenzzeit beispielsweise farblich, oder wie in Figur 1 gezeigt, durch einen Indikatorbalken dargestellt. Auch eine Darstellung durch eine Auswahl von sogenannten Smileys oder Emoticons ist vorteilhaft. In einer alternativen Ausführungsform der Erfindung, welcher der zuvor beschriebenen Ausführungsform der Erfindung im Wesentlichen entspricht, erfolgt das Errechnen der korrigierten Umgebungsinformationen 1 1 durch das Endgerät und nicht durch die elektronische Recheneinheit 6. Dazu werden die erfassten Umgebungsinformationen 10 unverändert an das Endgerät 3 übertragen und die notwendige Korrektur der Umgebungsinformationen 10 erfolgt auf dem Endgerät 3.
In den zuvor beschriebenen Ausführungsformen ist das Endgerät 3 ein mobiles Endgerät. Die Erfindung ist jedoch nicht darauf beschränkt, dass das Endgerät 3 ein mobiles Endgerät ist. Alternativ ist das Endgerät 3 ein Steuergerät eines
Fremdfahrzeuges oder ein Steuergerät eines Parkleitsystems. Ist das Endgerät 3 ein Steuergerät eines Fremdfahrzeuges, so kann das Fremdfahrzeug
beispielsweise auf eine Bewegung des Fahrzuges 1 reagieren, wobei dieses die korrigierten Umgebungsinformationen 1 1 als Entscheidungsbasis nutzt. Auch könnte ein Parkleitsystem das Fahrzeug 1 steuern und dabei die korrigierten
Umgebungsinformationen 1 1 als Basis für den Steuervorgang nutzen.
Zusammenfassend kann gesagt werden, dass bei Funktionen des automatischen Parkens derzeit bereits Daten an einen speziellen Schlüssel, oder z. B. ein Mobiltelefon übertragen (z. B. Bluetooth, WiFi) werden. Diese Übertragung ist mit
Latenzen verbunden, welche zum Teil großen Schwankungen unterworfen sind. Als Beispiel wurde hier die Übertragung der mit einer Kamera (beispielsweise einer NRC-Kamera) aufgenommenen Bilder an ein Mobiltelefon erläutert. Bei der Übertragung wird zum Mobiltelefon eine Funkstrecke mittels Bluetooth
Und/oder Wifi aufgebaut, über welche die Bilddaten der Kamera übermittelt werden. Bei der Übertragung kommt es zu Latenzen, da die Funkverbindung nicht zeitgesteuert ist, oder auf dem Mobiltelefon noch andere Applikationen gleichzeitig laufen. Diese Latenz kann mittels eines Challenge-Response
Verfahrens bestimmt werden. Ein einfaches Verfahren ist die Zeit zu messen, die benötigt wird vom Zeitpunkt als das Steuergerät im Fahrzeug 1 ein Signal aussendet, bis zu dem Zeitpunkt wenn von dem Mobiltelefon eine Antwort erhalten wird, welche nach dem Empfangen des Signals vom Steuergerät auf dem Mobiltelefon von diesem ausgelöst wird und an das Steuergerät zurück gesendet wird.
Alternativ kann auch zusätzlich noch die Zeit mit zurück übertragen werden zu welcher das Handy das Signal von der ECU empfangen hat (ist für die folgenden Funktion die relevante Latenz). Hierbei muß jedoch vorausgesetzt werden, dass beide Partner, also ECU und Handy, auf einer definierten Zeitbasis arbeiten. Diese Zeitbasis kann z. B. die Zeitbasis eines GPS-Signals sein. Ist die
Latenzzeit bekannt, welche zwischen der ECU im Fahrzeug und dem Handy besteht, so kann diese wie folgt bei der Bildübertragung berücksichtigt werden.
Auf der im Fahrzeug 1 befindlichen ECU befindet sich ein Algorithmus, der anhand der Bewegungsparameter des Fahrzeugs 1 und der in der Umgebung detektierten Objekte die Bewegung des Fahrzeugs 1 , sowie der anderen Objekte in der Umgebung um die Latenzzeit vorausberechnet und dieses dann an das Handy übermittelt. Somit wird dann auf dem Handy nicht das Bild aus der Vergangenheit angezeigt, sondern das vorausberechnete Bild, welches der Wirklichkeit deutlich näher ist als das Bild aus der Vergangenheit. Der Vorteil, der sich daraus ergibt ist, dass der Benutzer die aktuelle Szene angezeigt bekommt, welche bei Parkszenarien wichtig ist, da es sich hier um
Situationen handelt, bei welchen der Abstand zwischen dem eigenen
Fahrzeug und den umgebenden Objekten sehr gering ist. Es kann somit die Verfügbarkeit der Funktion trotzt größere Latenzzeiten erhöht
werden.
Ein weiteres vorteilhaftes Merkmal kann sein, dass dem Endnutzer auf dem Mobiltelefon angezeigt wird, ob die Latenzzeit im tolerierbaren Bereich ist oder er andere Applikationen ausschalten soll. Die Anzeige kann beispielsweise aus einer Farbanzeige Grün, Gelb, Rot oder Smileys bestehen.
Die Latenzzeitermittlung und Korrektur, kann auch auf andere Funktionen ausgeweitet werden, bei denen das Fahrzeug 1 mit der Umgebung kommuniziert. Ein weiteres Beispiel hierfür ist die Funktion Valet-Parking, bei der das Fahrzeug 1 im Parkhaus autonom einparkt und mit dem Parkhaus kommuniziert. Weiter kann die Funktion zur Messung und Korrektur auch bei der Fahrzeug-Fahrzeug Kommunikation eingesetzt werden, welche im Zuge der Entwicklung zum autonomen Fahren ein entscheidender Parameter ist.
Die Erfindung wurde anhand eines Einparksystems mit Near Range Kamera (NRC) beschrieben, kann jedoch auf alle Steuergeräte ausgeweitet werden.
Neben der obigen schriftlichen Offenbarung wird explizit auf die Offenbarung der Figuren 1 bis 5 verwiesen.

Claims

Ansprüche
1 . Verfahren zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges (1 ) beschreiben, umfassend:
Erfassen von Umgebungsinformationen (10) mittels eines an dem Fahrzeug (1 ) angeordneten Sensors (2), welche die
Fahrzeugumgebung des Fahrzeuges (1 ) abbilden,
Ermitteln einer Latenzzeit, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen und einem möglichen Darstellen der Umgebungsinformationen auf einem Endgerät (3) beschreibt,
Ermitteln einer voraussichtlichen Bewegungsbahn (4) des Fahrzeuges (1 ),
Errechnen von korrigierten Umgebungsinformationen (1 1 ) aus den erfassten Umgebungsinformationen (10), wobei die erfassten Umgebungsinformationen (10) basierend auf der Latenzzeit und der Bewegungsbahn des Fahrzeuges (4) derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges (1 ) so abbilden, wie dies voraussichtlich durch die von dem Sensor (2) erfassten
Umgebungsinformationen (10) erfolgen wird, wenn das Fahrzeug (1 ) sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn (4) bewegt, und
Bereitstellen der korrigierten Umgebungsinformationen (1 1 ) für das Endgerät.
2. Verfahren gemäß Anspruch 1 , dadurch gekennzeichnet, dass der Sensor (2) eine Kamera umfasst und die erfassten Umgebungsinformationen (10) Kamerabilder umfassen, wobei bei dem Errechnen von korrigierten Umgebungsinformationen (1 1 ) eine Ansicht der Fahrzeugumgebung aus Sicht der Kamera errechnet wird, welche die Fahrzeugumgebung aus Sicht der Kamera darstellt, nachdem das Fahrzeug (1 ) sich für die Dauer der ermittelten Latenzzeit entlang der voraussichtlichen Bewegungsbahn bewegt hat.
Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass ferner ein Ermitteln einer voraussichtlichen
Objektbewegungsbahn von einem Objekt in der Fahrzeugumgebung des Fahrzeuges (1 ) erfolgt und das Errechnen der korrigierten
Umgebungsinformationen (1 1 ) basierend auf der Latenzzeit, der
Bewegungsbahn des Fahrzeuges (4) und der Objektbewegungsbahn erfolgt.
Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die ermittelte Latenzzeit durch einen Indikator (5) auf dem Endgerät (3) dargestellt wird.
Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das Errechnen der korrigierten
Umgebungsinformationen (1 1 ) durch das Endgerät oder durch eine elektronische Recheneinheit (6) des Fahrzeuges (1 ) erfolgt.
Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Ermitteln der Latenzzeit:
von einer elektronischen Recheneinheit (6) des Fahrzeuges (1 ) eine
Anfrage an das Endgerät (3) gesendet wird,
von dem Endgerät (3) in Reaktion auf ein Empfangen der Anfrage eine Antwort an die elektronische Recheneinheit (6) des Fahrzeuges
(1 ) gesendet wird, und
aus einer Zeitdifferenz zwischen dem Senden der Anfrage und einem Empfangen der Antwort die Latenzzeit ermittelt wird.
Verfahren gemäß einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, - dass bei dem Ermitteln der Latenzzeit:
von einer elektronischen Recheneinheit (6) des Fahrzeuges (1 ) zu einem ersten Zeitpunkt eine Anfrage an das Endgerät (3) gesendet wird, von dem Endgerät (3) eine Antwort an die elektronische
Recheneinheit (6) des Fahrzeuges (1 ) gesendet wird, welche eine Zeitangabe umfasst, welche einen zweiten Zeitpunkt beschreibt, zu welchem die Anfrage empfangen wurde, und
aus einer Zeitdifferenz zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt die Latenzzeit ermittelt wird.
Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das Endgerät (3) ein mobiles Endgerät,
insbesondere ein Mobiltelefon, ein Steuergerät eines Fremdfahrzeuges oder ein Steuergerät eines Parkleitsystems ist.
Verfahren gemäß einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Latenzzeit eine vorgegebene Komponente umfasst, welche eine systeminhärente Verzögerung beschreibt.
Vorrichtung zum Bereitstellen von Umgebungsinformationen, welche eine Fahrzeugumgebung eines Fahrzeuges (1 ) beschreiben, umfassend: einen Sensor (2), welcher dazu eingerichtet ist
Umgebungsinformationen (10) zu erfassen, welche die
Fahrzeugumgebung des Fahrzeuges (1 ) abbilden, eine elektronische Recheneinheit (6), welche dazu eingerichtet ist,
• eine Latenzzeit zu ermitteln, welche eine Verzögerung zwischen einem Erfassen der Umgebungsinformationen (10) und einem möglichen Darstellen der Umgebungsinformationen (10) auf einem Endgerät beschreibt,
• eine voraussichtliche Bewegungsbahn (4) des Fahrzeuges (1 ) zu ermitteln,
• korrigierte Umgebungsinformationen (1 1 ) aus den erfassten
Umgebungsinformationen (10) zu errechnen, wobei die erfassten Umgebungsinformationen (10) basierend auf der Latenzzeit und der Bewegungsbahn (4) des Fahrzeuges (1 ) derart korrigiert werden, dass diese die Fahrzeugumgebung des Fahrzeuges (1 ) so abbilden, wie diese voraussichtlich durch die von dem Sensor (2) erfassten Umgebungsinformationen (10) erfolgen wird, wenn das Fahrzeug (1 ) sich für die Dauer der ermittelten Latenzzeit entlang der
voraussichtlichen Bewegungsbahn (4) bewegt, und eine Schnittstelle (7), welche dazu eingerichtet ist, die korrigierten Umgebungsinformationen für das Endgerät bereitzustellen.
PCT/EP2018/065314 2017-07-19 2018-06-11 Verfahren und vorrichtung zum bereitstellen von umgebungsinformationen WO2019015876A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017212343.5 2017-07-19
DE102017212343.5A DE102017212343A1 (de) 2017-07-19 2017-07-19 Verfahren und Vorrichtung zum Bereitstellen von Umgebungsinformationen

Publications (1)

Publication Number Publication Date
WO2019015876A1 true WO2019015876A1 (de) 2019-01-24

Family

ID=62748923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/065314 WO2019015876A1 (de) 2017-07-19 2018-06-11 Verfahren und vorrichtung zum bereitstellen von umgebungsinformationen

Country Status (2)

Country Link
DE (1) DE102017212343A1 (de)
WO (1) WO2019015876A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110843768A (zh) * 2019-11-29 2020-02-28 安徽江淮汽车集团股份有限公司 汽车自动泊车控制方法、装置、设备及存储介质
EP3702864A1 (de) * 2019-02-27 2020-09-02 Ree Technology GmbH Berechnung der latenz beim telebetriebenen fernfahren

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114228701B (zh) * 2021-11-30 2023-10-20 岚图汽车科技有限公司 一种基于传感器数据融合的泊车控制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5904724A (en) * 1996-01-19 1999-05-18 Margolin; Jed Method and apparatus for remotely piloting an aircraft
US20100259614A1 (en) * 2009-04-14 2010-10-14 Honeywell International Inc. Delay Compensated Feature Target System
US20110066262A1 (en) * 2008-01-22 2011-03-17 Carnegie Mellon University Apparatuses, Systems, and Methods for Apparatus Operation and Remote Sensing
DE112013004341T5 (de) * 2013-03-15 2015-05-21 Hitachi, Ltd. Fernbetätigungssystem
US20170192423A1 (en) * 2016-01-04 2017-07-06 Cruise Automation, Inc. System and method for remotely assisting autonomous vehicle operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5904724A (en) * 1996-01-19 1999-05-18 Margolin; Jed Method and apparatus for remotely piloting an aircraft
US20110066262A1 (en) * 2008-01-22 2011-03-17 Carnegie Mellon University Apparatuses, Systems, and Methods for Apparatus Operation and Remote Sensing
US20100259614A1 (en) * 2009-04-14 2010-10-14 Honeywell International Inc. Delay Compensated Feature Target System
DE112013004341T5 (de) * 2013-03-15 2015-05-21 Hitachi, Ltd. Fernbetätigungssystem
US20170192423A1 (en) * 2016-01-04 2017-07-06 Cruise Automation, Inc. System and method for remotely assisting autonomous vehicle operation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3702864A1 (de) * 2019-02-27 2020-09-02 Ree Technology GmbH Berechnung der latenz beim telebetriebenen fernfahren
CN110843768A (zh) * 2019-11-29 2020-02-28 安徽江淮汽车集团股份有限公司 汽车自动泊车控制方法、装置、设备及存储介质
CN110843768B (zh) * 2019-11-29 2021-06-08 安徽江淮汽车集团股份有限公司 汽车自动泊车控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
DE102017212343A1 (de) 2019-01-24

Similar Documents

Publication Publication Date Title
DE102012020297B4 (de) Verfahren zur Zuordnung eines Senders zu einem detektierten Objekt in der Kraftfahrzeug-zu-Kraftfahrzeug-Kommunikation und Kraftfahrzeug
EP2700566B1 (de) Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Kopforientierung und/oder Blickrichtung eines Bedieners mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
EP2885780B1 (de) Verfahren und system zum ausgleichen einer zeitabweichung in einem fahrzeug-zu-x-kommunikationssystem
EP2766881A1 (de) Verfahren und vorrichtung zum kalibrieren eines umfeldsensors
WO2019015876A1 (de) Verfahren und vorrichtung zum bereitstellen von umgebungsinformationen
DE102016223422A1 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE102016121928A1 (de) Fahrzeugnavigationssystem mit Positionsunterstützung von Nachbarfahrzeugen
EP2994770A1 (de) Verfahren und vorrichtungen zum bestimmen der position einer beweglichen kommunikationseinrichtung
DE102012203037A1 (de) Verfahren zur Ermittlung der Geschwindigkeit und/oder Position eines Fahrzeuges
DE102017107396A1 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
DE102018101105A1 (de) Diagnose für eine kamera und reinigungssprühvorrichtung
DE102016218934A1 (de) Verfahren zum Datenaustausch und Datenfusionierung von Umfelddaten
DE102017108130B4 (de) Verfahren zur Datenfusion eines Datensatzes, entsprechende Recheneinheit und Fahrzeug welches mit einer entsprechenden Recheneinheit ausgestattet ist sowie Computerprogramm
DE102011083965A1 (de) Vorrichtung und Verfahren zum geometrischen Kalibrieren von mittels eines Sensorsystems eines Fahrzeugs gebildeten Sensordaten
WO2021047923A1 (de) Verfahren und elektronische vorrichtung zur ermittlung einer ego-position
DE102011075674A1 (de) Abstandsbestimmung mittels eines Kamerasensors
WO2020114778A1 (de) Verfahren und vorrichtung zum ermitteln eines kollisionsrisikos eines fortbewegungsmittels
DE102016220581A1 (de) Verfahren und vorrichtung zur bestimmung eines umfeldmodells
DE102019217648A1 (de) Graph-basiertes Verfahren zur holistischen Fusion von Messdaten
WO2020011440A1 (de) Verfahren und vorrichtung zum bestimmen einer position eines fahrzeugs
WO2019038185A1 (de) Mobiles gerät, server und verfahren zum aktualisieren und bereitstellen einer hochgenauen karte
WO2019037940A1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position und zum betreiben eines automatisierten fahrzeugs
DE102012018427A1 (de) Verfahren und Vorrichtung zur Ortung eines Mobilteils
DE102021214580A1 (de) Systeme und Verfahren zur Unterstützung von Fahrern und Fahrgästen, sich gegenseitig zu lokalisieren
DE102019131640A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18734111

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18734111

Country of ref document: EP

Kind code of ref document: A1