WO2014029738A1 - Verfahren zum ergänzen einer einem objekt zugeordneten objektinformation und verfahren zum selektieren von objekten in einem umfeld eines fahrzeugs - Google Patents

Verfahren zum ergänzen einer einem objekt zugeordneten objektinformation und verfahren zum selektieren von objekten in einem umfeld eines fahrzeugs Download PDF

Info

Publication number
WO2014029738A1
WO2014029738A1 PCT/EP2013/067244 EP2013067244W WO2014029738A1 WO 2014029738 A1 WO2014029738 A1 WO 2014029738A1 EP 2013067244 W EP2013067244 W EP 2013067244W WO 2014029738 A1 WO2014029738 A1 WO 2014029738A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
information
recognition
vehicle
objects
Prior art date
Application number
PCT/EP2013/067244
Other languages
English (en)
French (fr)
Inventor
Andreas Offenhaeuser
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201380044450.4A priority Critical patent/CN104584102B/zh
Priority to US14/420,293 priority patent/US10009580B2/en
Publication of WO2014029738A1 publication Critical patent/WO2014029738A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload

Definitions

  • the present invention relates to a method for supplementing an object information associated with an object and to a method for the
  • Information in a vehicle The presentation of information is displayed from different data sources in a field of view of the driver.
  • the present invention provides a method for supplementing object information associated with an object, a method for selecting objects in an environment of a vehicle
  • An object located in the vicinity of the vehicle in particular an object located in the front of the vehicle, may possibly be subject to the
  • a failure to recognize an object can be different Have reasons. For example, the object itself may be difficult to recognize, for example because of adverse weather conditions or the driver may be distracted or overtired. But even an attentive driver can overlook an object, for example, because he is particularly challenged by a current driving situation.
  • a detection information determined with respect to the object which indicates whether or not the driver recognizes the object, can be used, for example, by a driver assistance system of the vehicle. For example, a relevant object that is assumed to be unrecognized by the driver may be particularly highlighted.
  • a method for supplementing object information associated with an object located in an environment of a vehicle comprises the following steps:
  • Vehicle represents on the located in a viewing direction of the driver object
  • the object may be, for example, an obstacle, another road user, a traffic sign, an animal, a pedestrian or a child.
  • the object may represent an object detected by an environment detection device of the vehicle. For example, using a
  • Object recognition means object information relating to the object can be determined and assigned to the object. Under one
  • Object information can be understood as a collection of attributes about an object.
  • the object information can be a data record.
  • the object information may include information about a
  • the object information can thus represent various properties of the object.
  • the sensor information may be information provided by a sensor, such as an image sensor, configured to detect the driver.
  • the reaction may be, for example, a line of sight, a gaze, a movement, such as a head movement or an arm or leg movement.
  • a reaction can also be a
  • the reaction may relate to a driver's line of sight.
  • the reaction may be characteristic for the recognition of the
  • the recognition information may be added to the object information or an existing recognition information may be replaced.
  • the recognition information may represent a likelihood of the driver recognizing the object.
  • the recognition information can therefore be a probability that the driver has recognized the object or has not recognized it. If a reaction is classified as strong, it can be concluded with a high probability that the driver has recognized the object. If the reaction is considered to be low, it can be concluded with little probability that the driver has recognized the object. For example, a long duration of observation may represent a higher probability of recognition than a short duration
  • the sensor information may represent a spatial location of a fixation axis of an eye area of the driver.
  • the eye area can be
  • a dwell time can be evaluated, during which the fixation axis is directed to the object.
  • Fixation can be understood as a targeted viewing (fixation) of an object
  • a fixation axis or fixation direction can be understood as a straight line between the retinal site highest resolution and the fixation (facial line) or as the physiological main direction of the eye. If the Fixation axis cuts a visible surface of an object and there lingering, it can be assumed with high probability that the driver sees the object.
  • the fixation axis can by means of a
  • Sight line detection device are detected.
  • the recognition information can not indicate recognition of the object if the fixation axis is aimed at the object shorter than a recognition duration.
  • the recognition information may indicate recognition of the object if the fixation axis is longer than that
  • Detection period is directed to the object. If, for example, it is detected in the step of the evaluation that the fixation axis sweeps over an object without delay, then it can be assumed that the driver has not detected the object. In this case, the recognition information may be determined or assigned such that it does not indicate recognition, that is, non-recognition of the object. To recognize the object, the driver fixes more typical
  • the recognition information indicating the recognition of the object by the driver can be set to the state of no recognition of the object when the fixation axis is longer than one
  • Detection information may thus be determined to be "unrecognized” if, after the driver has recognized the object, the fixation axis is longer than the fixation axis
  • Attention span is not aimed at the object. If the driver has not looked at the object for longer than the attention span, then the object can again be classified as unrecognized. As a result, it can be taken into account, for example, that the driver has forgotten the object after recognition.
  • the recognition information may indicate recognition of the object, that is, the recognition information may be determined to be "unrecognized" when a position of the object relative to the vehicle changes by more than a predetermined value and the fixation axis does not touch the object within a response time Object is directed.
  • the look of the driver will generally attracted by a movement of the object. Especially under difficult visual conditions, the movement of the object can enable recognition. If the object is moving and the driver does not respond, the driver has most likely not recognized the object.
  • the driver assistance system may be, for example, a
  • Display device or to be a safety device, such as a brake assist system.
  • a collection for a driver of the vehicle For example, a collection for a driver of the vehicle
  • Vehicle be provided when the objects within a
  • Display area of the display device are arranged.
  • a display device may be a driver's view of the vehicle.
  • the display device may also be a monitor in the vehicle.
  • a presentation area can be a section of the surroundings of the vehicle.
  • the objects and / or object information within the excerpt can be displayed on the display device.
  • Information overload for the driver can be reduced, because only unrecognized objects need a highlighting on the display device.
  • Highlighting detected objects can be annoying since a parallax error can exist between an image of the object and the real object in the environment.
  • the object information of the objects selected based on the degree of danger, which is extended by the recognition information, can be provided for the special highlighting of these objects on the display device.
  • such objects may blink in conjunction with a
  • the step of selecting dangerous objects can be selected that are unrecognized by the driver and where there is a risk of collision.
  • the degree of danger of the objects can be read, the
  • Danger level represents a probability of a collision of the object with the vehicle. It can be selected dangerous objects that are unrecognized by the driver and where there is a risk of collision, that is, for example, have a degree of danger that is greater than a threshold. It may be a collision signal for a security system of the
  • Vehicle can be provided using the object information of the dangerous objects.
  • a hazard level may be calculated using pre-calculated trajectories of the vehicle and the objects.
  • the threshold value can be exceeded, for example, if a collision threatens.
  • a pedestrian can be highlighted who will walk in front of the vehicle if he does not stop. When the driver recognizes the pedestrian, there is no need to further highlight the pedestrian. However, if the driver does not recognize the pedestrian, an autonomous braking operation may be initiated based on, for example, the collision signal.
  • the present approach can be used in the field of driver assistance systems.
  • recognition In the field of driver assistance systems, recognition,
  • Role Depending on the condition of the driver, his own reaction may be different and his response to a system intervention may vary.
  • the approach presented here can be an object recognition by environment sensor, z.
  • an accurate recognition of the pupil and thus the targeted point and not only the general direction of the driver can be used for the approach proposed here.
  • the present invention further provides an apparatus which is designed to implement the steps of at least one of the inventive methods in
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • An advantage is also a computer program product with program code, which on a machine-readable carrier such as a semiconductor memory, a
  • Hard disk space or an optical storage can be stored and used to carry out the method according to one of the embodiments described above, when the program product is executed on a computer or a device.
  • the invention will now be described by way of example with reference to the accompanying drawings. Show it: 1 is a representation of a vehicle with a device for supplementing an object information associated with an object and a
  • FIG. 2 is a flow chart of a method for supplementing a
  • FIG. 3 is an illustration of a vehicle having a system for additional object classification by a driver's line of sight according to an embodiment of the present invention
  • FIG. 4 shows a flow chart of a method for supplementing an object information associated with an object according to an exemplary embodiment of the present invention.
  • FIG. 5 is a flowchart of a method for selecting objects in an environment of a vehicle according to an embodiment of the present invention.
  • FIG. 1 shows an illustration of a vehicle 100 having a device 102 for supplementing object information associated with an object 104 and a device 106 for selecting objects 104 in an environment 108 of the vehicle 100 according to an embodiment of the present invention.
  • the vehicle 100 for example a motor vehicle traveling on a road, has a surroundings detection device 110, a display device 112 for a driver 14 of the vehicle 100 and a driver detection device 16 on.
  • the surroundings detection device 110 and the driver detection device 16 are connected to the device 102 for supplementing.
  • Surrounding detection device 1 10 is designed to provide object information on objects 104 in the environment 108 of the vehicle 100.
  • Driver detection device 16 is configured to provide sensor information that represents a reaction of driver 1 14 of vehicle 100 to object 104 located in a viewing direction of driver 1 14.
  • the driver detection device 1 16 may be designed as a measuring system for driver's eye direction detection.
  • the driver detection device 16 can have, for example, an image capture device and a suitable image evaluation device.
  • the supplementing device 102 has a device 1 18 for reading in the sensor information, a device 120 for evaluating the sensor information, and a device 122 for expanding the object information.
  • Device 1 18 for reading in is designed to read in the sensor information from driver detection device 16.
  • the means 120 for evaluation is designed to evaluate the sensor information in order to obtain recognition information.
  • the recognition information represents a result of the evaluation as to whether the driver 1 14 has recognized the object 104 or has not recognized it.
  • the means 122 for expanding is configured to expand or supplement the object information received from the environment detection means 110 for the detection information.
  • the select device 106 comprises a read-in means 124, a means 126 for selecting, and a means 128 for providing.
  • the device 124 for reading is designed to receive the object information from the device 102 for supplementing.
  • Select is designed to select the objects whose
  • Recognition information represents that the driver 1 14 has not recognized the object to obtain an object group.
  • the provisioning device 128 is configured to provide the object information of the object group for display to the driver 1 14. This will be the driver 1 14 in particular objects shown on the display device 1 12, he has not yet recognized. Objects 104, which have already been detected by the driver 14, are no longer displayed so as not to distract the driver from the environment 108.
  • the provisioning device 128 may further or alternatively be designed to supplement the identification information
  • the device 102 for selecting objects 104 is optional. If no device 102 is provided for selection, the object information supplemented by the device 102 for supplementing with the recognition information can be provided, for example, directly to a driver assistance system or the display device 12.
  • the display device can be designed, for example, as a screen or as a projection device, for example a head-up display.
  • FIG. 2 shows a flow diagram of a method 200 for supplementing object information associated with an object in accordance with FIG. 2
  • Embodiment of the present invention is arranged in an environment of a vehicle.
  • the steps of the method may be performed on devices of the augmenting apparatus shown in FIG.
  • the method includes a step 202 of reading in, a step 204 of evaluating, and a step 206 of expanding.
  • Reading in a sensor information from a driver detection sensor, as shown in Fig. 1 is read.
  • the sensor information represents a reaction of a driver of the vehicle to the object located in a viewing direction of the driver.
  • step 204 of the evaluation the
  • the recognition information represents a result of the evaluation as to whether the driver has recognized the object.
  • the object information provided by an environment detection means becomes the object information
  • FIG 3 shows an illustration of a vehicle 100 with a system 300 for additional object classification by a line of sight of the driver according to FIG an embodiment of the present invention.
  • the system 300 includes a radar sensor 302, a driver detection device with a measuring system 304 directed toward a driver 14 of the vehicle 100
  • Driver's eye direction detection and a device 102 for supplementing as shown for example in Fig. 1.
  • the radar sensor 302 has a detection region 306, which extends in a wedge shape in front of the vehicle 100 according to this exemplary embodiment.
  • a detection region 306 which extends in a wedge shape in front of the vehicle 100 according to this exemplary embodiment.
  • four objects 01, 02, 03, 04 are arranged in this embodiment, which are detected by the radar sensor 302.
  • the 01 is classified as a human using object information associated with the object 01 and arranged in the detection area 306.
  • a corresponding position indication may be stored in the object information associated with the object 01.
  • the object 01 is more than a vehicle length in front of the vehicle 100.
  • the object 02 is at the left edge of the vehicle
  • the object 02 is not further classified.
  • the object 03 is located centrally in the detection area 306 and is further away than the object 01 from the vehicle 100. Also object 03 is not further classified.
  • the object 04 is located on a right edge of the
  • Detection area 306 is unclassified and further from the vehicle
  • the object 03 is located at a left edge of a prospective driving path of the vehicle 100.
  • the measuring system 304 directed to the driver 1 14 is arranged in front of the driver 1 14 and is designed to detect a head position of the driver 1 14 and a viewing direction 308 of the eyes of the driver 1 14 as long as the head of the driver 1 14 is within a detection range 310 of the measuring system 304 is arranged.
  • the detection area 310 is here conically aligned with an average position of the head.
  • the viewing direction 308 is shown in this embodiment as a "tunnel", starting from a
  • a cross-sectional area of the "tunnel" corresponds to the area occupied by the driver
  • the fixation axis 312 connects directly and in a straight line a center of the area with the eye.
  • the measuring system 304 may determine the position of the eyes due to a position of the eyes and an alignment of the eyes at the position
  • the object 03 is located in the direction 308 of the driver 1 14. Die
  • Device 102 is designed to use an interface from radar sensor 302 to determine the positions of objects 01, 02, 03, 04, for example as a distance from radar sensor 302 and as an angle relative to a center axis of vehicle 100 as objects 01, 02, 03, 04 to receive associated object information. Furthermore, the device 102 is designed to provide additional object information about the objects 01, 02, 03, 04, for example the recognized class "human" in the object 01 and an area of the objects 01, 02, 03 visible from the perspective of the driver 1 14 To receive 04.
  • the device 102 is further configured to be separate from the measurement system 304
  • the device 102 is designed to determine via spatial observation whether one or more of the objects 01, 02, 03, 04 lie in the viewing direction 308.
  • the viewing direction 308 is directed to a right edge of the object 03. If the viewing direction 308 remains long enough on the edge of the object 03, a probability that the driver 1 14 has recognized the object 03 is large.
  • the object 03 can therefore be assigned an attribute "recognized" and as recognition information in a
  • FIG. 3 shows an exemplary implementation of the approach proposed here.
  • the surrounding objects O n are detected and an object recognition (eg ACC) is carried out.
  • the further measuring system 304 is directed to the driver 1 14 and recognizes its head and pupil position and calculates therefrom the line of sight 308 of the driver 1 14.
  • the approach presented here relates in each case to the information obtained from both systems 302, 304 and the combination of these data.
  • the goal here is to determine whether the driver 1 14 has already seen the object O n, which was detected by the radar 302, or not.
  • This additional Information about the object O n allows installed assistance systems to respond more specifically to objects O n .
  • Even human-machine-interface systems (HMI systems) can thus selectively display only information that is relevant to the driver 1 14, ie the driver 1 14 are not yet aware.
  • HMI systems human-machine-interface systems
  • FIG. 4 shows a flow chart of a method 200 for supplementing an object information associated with an object according to an exemplary embodiment of the present invention.
  • the steps of the method may be performed on devices of the augmenting apparatus shown in FIG.
  • the flowchart depicts a decision loop for each one object O n , as shown in FIG. 3.
  • the decision loop is performed for each of the objects O n .
  • an intersection of object O n and viewing direction v G is calculated in an action 404 for each object O n .
  • it is examined whether the line of sight hits the object. This is followed by a query 406.
  • the query 406 queries whether the object O n has common points with v G , that is, the intersection is greater than zero. If the query 406 is answered with "yes” 408, the object O n is in the driver's view vector v G. If the query 406 is answered with "no" 410, the driver does not see the object O n .
  • the combination of the object data O n from the radar and the viewing direction G of the driver can proceed as described in FIG. 4.
  • a cyclic function call calculates for each object O n whether it is in the driver's field of view and derives therefrom a probability with which the driver perceived the object (cognitively).
  • Objects O n which are newly detected by the radar, are included initialized to a probability of 0%.
  • the radar objects O n are known with [X N , Y N , Z N ] coordinates and dimension.
  • the driver's line of sight can be determined as a direction vector v G with a base [X G , YG, Z g ].
  • Fig. 4 shows an approach to additional
  • Space can be calculated around the vehicle. From existing sensors and their connected algorithms, information about objects in the environment as well as their classification can be taken over. Become the
  • Information from both systems - viewing direction and surrounding objects - networked, can be recognized by which objects are currently in the view of the
  • Object classification take place, which indicates the likelihood that the driver has completely recognized this object and is aware of the danger.
  • the driver becomes aware of the situation and thus actively takes control.
  • a fully autonomous braking process can be initiated so as to prevent an accident.
  • the possibility of a misjudgment of the driver can be excluded or minimized. For example, a
  • HUD inserts head-up display flashes
  • the driver may be alerted to his negligence by a signal tone. This allows the driver to return to the Turn to traffic.
  • the information for a display of information in the HUD which were not recognized by the driver or with low probability can be used. For example, at one
  • Speed limits, overtaking bans, etc. are displayed in the HUD until the driver's gaze captures the information in the HUD.
  • FIG. 5 shows a flowchart of a method 500 for selecting objects in an environment of a vehicle according to an embodiment of the present invention.
  • An object recognition of the vehicle as described in FIGS. 1 and 3, provides object information about relevant objects. With a described method, the object information is supplemented by recognition information.
  • the method 500 includes a step 502 of reading, a step 504 of selecting, and a step 506 of providing.
  • step 502 the object information about detected objects is read.
  • step 504 of selecting some or all of the detected objects are selected to form a collection. In the process, objects are selected whose
  • Recognition information represents that the driver has not recognized the object.
  • the object information of the object group
  • the object information of the object group can be used for

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (200) zum Ergänzen einer, einem Objekt (104) zugeordneten Objektinformation, wobei das Objekt (104) in einem Umfeld (108) eines Fahrzeugs (100) angeordnet ist, wobei das Verfahren (200) einen Schritt (202) des Einlesens, einen Schritt (204) des Auswertens und einen Schritt (206) des Erweiterns aufweist. Im Schritt des Einlesens (202) wird eine Sensorinformation eingelesen, die eine Reaktion eines Fahrers (114) des Fahrzeugs (100) auf das sich in einer Blickrichtung (308) des Fahrers (114) befindliche Objekt (104) repräsentiert. Im Schritt des Auswertens (204) wird die Sensorinformation ausgewertet, um eine Erkennungsinformation zu erhalten, wobei die Erkennungsinformation ein Ergebnis der Auswertung repräsentiert, ob der Fahrer (114) das Objekt (104) erkannt hat. Im Schritt des Erweiterns (206) wird die Objektinformation um die Erkennungsinformation erweitert.

Description

Beschreibung Titel
VERFAHREN ZUM ERGÄNZEN EINER EINEM OBJEKT ZUGEORDNETEN OBJEKTINFORMATION UND VERFAHREN ZUM SELEKTIEREN VON OBJEKTEN IN EINEM
UMFELD EINES FAHRZEUGS
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Ergänzen einer, einem Objekt zugeordneten Objektinformation sowie auf ein Verfahren zum
Selektieren von Objekten in einem Umfeld eines Fahrzeugs, auf eine
entsprechende Vorrichtung und auf ein entsprechendes
Computerprogrammprodukt.
Die DE 199 51 001 A1 beschreibt eine Vorrichtung zur Darstellung von
Informationen in einem Fahrzeug. Die Darstellung von Informationen wird aus verschiedenen Datenquellen in ein Blickfeld des Fahrers eingeblendet.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Ergänzen einer, einem Objekt zugeordneten Objektinformation, ein Verfahren zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs, eine
entsprechende Vorrichtung und ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Ein sich im Umfeld des Fahrzeugs befindliches Objekt, insbesondere ein sich im Vorfeld des Fahrzeugs befindliches Objekt kann unter Umständen durch den
Fahrer eines Fahrzeugs nicht erkannt werden oder nicht bewusst
wahrgenommen werden. Ein Nichterkennen eines Objekts kann unterschiedliche Gründe haben. Beispielsweise kann das Objekt an sich schwer erkennbar sein, beispielsweise aufgrund von widrigen Witterungsbedingungen oder der Fahrer kann abgelenkt oder übermüdet sein. Aber auch ein aufmerksamer Fahrer kann ein Objekt übersehen, beispielsweise weil er durch eine aktuelle Fahrsituation besonders gefordert ist. Durch den erfindungsgemäßen Ansatz kann ermittelt werden, ob der Fahrer ein Objekt erkannt hat oder ein Objekt nicht erkannt hat. Eine bezüglich des Objekts ermittelte Erkennungsinformation, die anzeigt, ob ein Erkennen des Objekts durch den Fahrer vorliegt oder nicht, kann beispielsweise von einem Fahrassistenzsystem des Fahrzeugs genutzt werden. Beispielsweise kann ein relevantes Objekt, von dem angenommen wird, dass es vom Fahrer nicht erkannt wurde, besonders hervorgehoben werden.
Ein Verfahren zum Ergänzen einer Objektinformation, die einem in einem Umfeld eines Fahrzeugs angeordnet Objekt zugeordnet ist, umfasst die folgenden Schritte:
Einlesen einer Sensorinformation, die eine Reaktion eines Fahrers des
Fahrzeugs auf das sich in einer Blickrichtung des Fahrers befindliche Objekt repräsentiert;
Auswerten der Sensorinformation, um eine Erkennungsinformation zu erhalten, wobei die Erkennungsinformation Erkennen des Objekts durch den Fahrer anzeigt; und
Erweitern der Objektinformation um die Erkennungsinformation.
Das Objekt kann beispielsweise ein Hindernis, ein anderer Verkehrsteilnehmer, ein Verkehrsschild, ein Tier, ein Fu ßgänger oder ein Kind sein. Das Objekt kann ein von einer Umfelderfassungseinrichtung des Fahrzeugs erfasstes Objekt repräsentieren. Beispielsweise unter Verwendung einer
Objekterkennungseinrichtung kann eine Objektinformation bezüglich des Objekts ermittelt werden und dem Objekt zugeordnet werden. Unter einer
Objektinformation kann eine Sammlung von Attributen zu einem Objekt verstanden werden. Die Objektinformation kann ein Datensatz sein.
Beispielsweise kann die Objektinformation eine Information über eine
Objektklasse des Objekts, eine Position des Objekts in Bezug zu dem Fahrzeug, einen Blickwinkel des Fahrers in Richtung des Objekts und/oder eine Information über eine Kollisionsgefahr des Fahrzeugs mit dem Objekt umfassen. Durch die Objektinformation können somit verschiedene Eigenschaften des Objekts repräsentiert werden. Die Sensorinformation kann eine Information sein, die von einem Sensor, beispielsweise einem Bildsensor, bereitgestellt wird, der ausgebildet ist, um den Fahrer zu erfassen. Die Reaktion kann beispielsweise eine Blickrichtung, eine Blickdauer, eine Bewegung, wie eine Kopfbewegung oder eine Arm- oder Beinbewegung sein. Eine Reaktion kann auch eine
Unterbrechung der Bewegung sein. Die Reaktion kann sich auf eine Blickrichtung des Fahrers beziehen. Die Reaktion kann charakteristisch für das Erkennen des
Objekts sein. Wenn der Fahrer das Objekt nicht erkennt, wird der Fahrer bezüglich des Objekts keine Reaktion oder eine von einer auf das Erkennen hindeutenden Reaktion abweichende Reaktion zeigen. Im Schritt des Erweiterns kann die Erkennungsinformation der Objektinformation hinzugefügt werden oder eine bestehende Erkennungsinformation ersetzt werden.
Die Erkennungsinformation kann eine Wahrscheinlichkeit des Erkennens des Objekts durch den Fahrer repräsentieren. Die Erkennungsinformation kann also eine Wahrscheinlichkeit dafür sein, dass der Fahrer das Objekt erkannt hat oder aber nicht erkannt hat. Bei einer als stark eingestuften Reaktion kann mit einer hohen Wahrscheinlichkeit darauf geschlossen werden, dass der Fahrer das Objekt erkannt hat. Bei einer als gering eingestuften Reaktion kann mit geringer Wahrscheinlichkeit darauf geschlossen werden, dass der Fahrer das Objekt erkannt hat. Beispielsweise kann eine lange Betrachtungsdauer eine höhere Wahrscheinlichkeit des Erkennens repräsentieren, als eine kurze
Betrachtungsdauer.
Die Sensorinformation kann eine räumliche Lage einer Fixationsachse eines Augenbereichs des Fahrers repräsentieren. Der Augenbereich kann
beispielsweise die Position des Gesichts oder eines der Augen des Fahrers darstellen. Im Schritt des Auswertens kann eine Verweildauer ausgewertet werden kann, während der die Fixationsachse auf das Objekt gerichtet ist.
Fixation kann als ein gezieltes Betrachten (Fixieren) eines Objektes verstanden werden, eine Fixationsachse oder Fixationsrichtung kann als Gerade zwischen der Netzhautstelle höchster Auflösung und dem Fixierobjekt (Gesichtslinie) bzw. als physiologische Hauptsehrichtung des Auges verstanden werden. Wenn die Fixationsachse eine sichtbare Fläche eines Objekts schneidet und dort verweilt, kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass der Fahrer das Objekt sieht. Die Fixationsachse kann mittels eines
Blickrichtungserfassungsgeräts erfasst werden.
Im Schritt des Auswertens kann die Erkennungsinformation kein Erkennen des Objekts anzeigen, wenn die Fixationsachse kürzer als eine Erkennungsdauer auf das Objekt gerichtet ist. Andererseits kann die Erkennungsinformation ein Erkennen des Objekts anzeigen, wenn die Fixationsachse länger als die
Erkennungsdauer auf das Objekt gerichtet ist. Wenn im Schritt des Auswertens beispielsweise erkannt wird, dass die Fixationsachse ohne Verzögerung über ein Objekt hinweg streicht, dann kann davon ausgegangen werden, dass der Fahrer das Objekt nicht erfasst hat. In diesem Fall kann die Erkennungsinformation so bestimmt oder belegt werden, dass sie kein Erkennen, also ein Nicht-Erkennen des Objekts anzeigt. Um das Objekt zu erkennen, fixiert der Fahrer typischer
Weise markante Punkte auf dem Objekt und versucht die Punkte dem Objekt zuzuordnen. Dafür benötigt der Fahrer eine kurze Zeitspanne, die
Erkennungsdauer. Im Schritt des Auswertens kann die Erkennungsinformation, die das Erkennen des Objekts durch den Fahrer anzeigt, auf den Zustand kein Erkennen des Objekts gesetzt werden, wenn die Fixationsachse länger als eine
Aufmerksamkeitsspanne nicht auf das Objekt gerichtet ist. Die
Erkennungsinformation kann somit als "unerkannt" bestimmt werden, wenn die Fixationsachse, nachdem der Fahrer das Objekt erkannt hat, länger als die
Aufmerksamkeitsspanne nicht auf das Objekt gerichtet ist. Wenn der Fahrer länger als die Aufmerksamkeitsspanne nicht auf das Objekt geblickt hat, dann kann das Objekt wieder als unerkannt klassifiziert werden. Dadurch kann beispielsweise berücksichtigt werden, dass der Fahrer das Objekt nach dem Erkennen vergessen hat.
Im Schritt des Auswertens kann die Erkennungsinformation ein Erkennen des Objekts anzeigen, d. h., die Erkennungsinformation kann als "unerkannt" bestimmt werden, wenn sich eine Position des Objekts relativ zum Fahrzeug um mehr als einen vorbestimmten Wert verändert und die Fixationsachse innerhalb einer Reaktionszeit nicht auf das Objekt gerichtet ist. Der Blick des Fahrers wird im Allgemeinen durch eine Bewegung des Objekts angezogen. Insbesondere unter schwierigen Sichtbedingungen kann die Bewegung des Objekts das Erkennen erst ermöglichen. Wenn sich das Objekt bewegt und der Fahrer reagiert nicht darauf, hat der Fahrer mit hoher Wahrscheinlichkeit das Objekt nicht erkannt.
Ein Verfahren zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs, wobei eine Objekterkennung des Fahrzeugs ausgebildet ist, um
Objektinformationen zu den Objekten bereitzustellen, umfasst die folgenden Schritte:
Erweitern der Objektinformationen um Erkennungsinformationen gemäß einem genannten Verfahren zum Ergänzen; Auswählen derjenigen der Objekte, deren Erkennungsinformation anzeigt, dass der Fahrer das jeweilige Objekt nicht erkannt hat, um eine Objektgruppe zu erhalten; und
Bereitstellen der Objektinformationen der Objektgruppe an eine Schnittstelle zu einem Fahrerassistenzsystem des Fahrzeugs.
Bei dem Fahrerassistenzsystem kann es sich beispielsweise um eine
Anzeigevorrichtung oder um eine Sicherheitsvorrichtung, beispielsweise ein Bremsassistenzsystem sein. Die Objektinformationen der Objekte der
Objektgruppe können beispielsweise für ein Anzeigegerät für einen Fahrer des
Fahrzeugs bereitgestellt werden, wenn die Objekte innerhalb eines
Darstellungsbereichs des Anzeigegeräts angeordnet sind. Ein Anzeigegerät kann eine Fahrersichtfeldanzeige des Fahrzeugs sein. Das Anzeigegerät kann auch ein Monitor im Fahrzeug sein. Ein Darstellungsbereich kann ein Ausschnitt aus dem Umfeld des Fahrzeugs sein. Die Objekte und/oder Objektinformationen innerhalb des Ausschnitts können auf dem Anzeigegerät dargestellt werden. Durch das Darstellen lediglich der unerkannten Objekte kann eine
Informationsflut für den Fahrer reduziert werden, denn nur unerkannte Objekte benötigen ein Hervorheben auf dem Anzeigegerät. Ein Hervorheben von erkannten Objekten kann störend wirken, da zwischen einem Bild des Objekts und dem realen Objekt in der Umgebung ein Parallaxenfehler bestehen kann. Die um die Erkennungsinformationen erweiterten Objektinformationen der aufgrund des Gefährdungsgrads ausgewählten Objekte können zum besonderen Hervorheben dieser Objekte auf dem Anzeigegerät bereitgestellt werden.
Beispielsweise können solche Objekte blinkend, in Verbindung mit einem
Piktogramm und/oder mit Signalfarbe dargestellt werden.
Im Schritt des Auswählens können gefährliche Objekte ausgewählt werden, die von dem Fahrer unerkannt sind und bei denen eine Kollisionsgefahr besteht. Dazu kann je ein Gefährdungsgrad der Objekte eingelesen werden, wobei der
Gefährdungsgrad eine Wahrscheinlichkeit einer Kollision des Objekts mit dem Fahrzeug repräsentiert. Es können gefährliche Objekte ausgewählt werden, die von dem Fahrer unerkannt sind und bei denen eine Kollisionsgefahr besteht, die also beispielsweise einen Gefährdungsgrad aufweisen, der größer als ein Schwellenwert ist. Es kann ein Kollisionssignal für ein Sicherheitssystem des
Fahrzeugs unter Verwendung der Objektinformationen der gefährlichen Objekte bereitgestellt werden. Ein Gefährdungsgrad kann unter Verwendung von vorausberechneten Trajektorien des Fahrzeugs und der Objekte berechnet werden. Der Schwellenwert kann beispielsweise überschritten werden, wenn eine Kollision droht. Beispielsweise kann unter Verwendung des Anzeigegeräts ein Fußgänger hervorgehoben werden, der vor das Fahrzeug laufen wird, wenn er nicht stehen bleibt. Wenn der Fahrer den Fu ßgänger erkennt, besteht keine Notwendigkeit mehr, den Fußgänger weiter hervorzuheben. Wenn der Fahrer den Fu ßgänger jedoch nicht erkennt, kann beispielsweise basierend auf dem Kollisionssignal ein autonomer Bremsvorgang eingeleitet werden.
Der vorliegende Ansatz kann im Bereich der Fahrerassistenzsysteme eingesetzt werden. Im Bereich der Fahrerassistenzsysteme nimmt die Erkennung,
Klassifikation und (semi)-autonome Beeinflussung des Fahrzeugs abhängig von der Situation, die sich im Umfeld des Fahrzeugs darstellt, eine immer größere
Rolle ein. Je nach Zustand des Fahrers kann seine eigene Reaktion anders ausfallen und auch seine Reaktion auf einen Systemeingriff kann unterschiedlich ausfallen. Die Information, ob ein Fahrer sich der aktuellen Situation bewusst ist, z. B. das ein Fu ßgänger auf die Straße zu läuft, kann die Fehlauslöserate von Fahrerassistenzsystemen vermindern. Der hier vorgestellte Ansatz kann eine Objekterkennung durch Umfeldsensorik, z. B. Radar, Lidar, Video oder Ultraschall, eine Objektklassifizierung durch Algorithmen, eine Unterscheidung zwischen Fußgänger, Fahrzeug, stehendem Objekt und sonstigen Objekten, eine Einschätzung der Gefahr für das aktuelle Fahrzeug und eine Erkennung der Fahrer-Blickrichtung und seiner Kopfposition vereinen. Insbesondere eine genaue Erkennung der Pupille und damit des anvisierten Punktes und nicht nur die allgemeine Blickrichtung des Fahrers können für den hier vorgeschlagenen Ansatz genutzt werden.
Die vorliegende Erfindung schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte zumindest eines der erfindungsgemäßen Verfahren in
entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem MikroController neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem
Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird. Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: Fig. 1 eine Darstellung eines Fahrzeugs mit einer Vorrichtung zum Ergänzen einer, einem Objekt zugeordneten Objektinformation und einer
Vorrichtung zum Selektieren von Objekten in einem Umfeld des
Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden
Erfindung;
Fig. 2 ein Ablaufdiagramm eines Verfahrens zum Ergänzen einer, einem
Objekt zugeordneten Objektinformation gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 3 eine Darstellung eines Fahrzeugs mit einem System zum zusätzlichen Objektklassifizieren durch eine Blickrichtung des Fahrers gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 4 ein Flussdiagramm eines Verfahrens zum Ergänzen einer, einem Objekt zugeordneten Objektinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 5 ein Ablaufdiagramm eines Verfahrens zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren
dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche
Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt eine Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 zum Ergänzen einer einem Objekt 104 zugeordneten Objektinformation und einer Vorrichtung 106 zum Selektieren von Objekten 104 in einem Umfeld 108 des Fahrzeugs 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100, beispielsweise ein auf einer Straße fahrendes Kraftfahrzeug, weist eine Umfelderfassungseinrichtung 1 10, eine Anzeigeeinrichtung 1 12 für einen Fahrer 1 14 des Fahrzeugs 100 und eine Fahrererfassungseinrichtung 1 16 auf. Die Umfelderfassungseinrichtung 1 10 und die Fahrererfassungseinrichtung 1 16 sind mit der Vorrichtung 102 zum Ergänzen verbunden. Die
Umfelderfassungseinrichtung 1 10 ist ausgebildet, um Objektinformationen zu Objekten 104 im Umfeld 108 des Fahrzeugs 100 bereitzustellen. Die
Fahrererfassungseinrichtung 1 16 ist ausgebildet, um eine Sensorinformation bereitzustellen, die eine Reaktion eines Fahrers 1 14 des Fahrzeugs 100 auf das sich in einer Blickrichtung des Fahrers 1 14 befindliche Objekt 104 repräsentiert. Beispielsweise kann die Fahrererfassungseinrichtung 1 16 als ein Messsystem zur Fahreraugenblickrichtungserkennung ausgeführt sein. Dazu kann die Fahrererfassungseinrichtung 1 16 beispielsweise eine Bilderfassungseinrichtung und eine geeignete Bildauswerteeinrichtung aufweisen.
Die Vorrichtung 102 zum Ergänzen weist eine Einrichtung 1 18 zum Einlesen der Sensorinformation, eine Einrichtung 120 zum Auswerten der Sensorinformation und eine Einrichtung 122 zum Erweitern der Objektinformation auf. Die
Einrichtung 1 18 zum Einlesen ist dazu ausgebildet, die Sensorinformation von der Fahrererfassungseinrichtung 1 16 einzulesen. Die Einrichtung 120 zum Auswerten ist dazu ausgebildet, die Sensorinformation auszuwerten, um eine Erkennungsinformation zu erhalten. Die Erkennungsinformation repräsentiert ein Ergebnis der Auswertung, ob der Fahrer 1 14 das Objekt 104 erkannt hat oder nicht erkannt hat. Die Einrichtung 122 zum Erweitern ist dazu ausgebildet, die Objektinformation, die von der Umfelderfassungseinrichtung 1 10 empfangen wird, um die Erkennungsinformation zu erweitern oder zu ergänzen. Die Vorrichtung 102 zum Ergänzen der dem Objekt 104 zugeordneten
Objektinformation ist mit der Vorrichtung 106 zum Selektieren verbunden. Die Vorrichtung 106 zum Selektieren weist eine Einrichtung 124 zum Einlesen, eine Einrichtung 126 zum Auswählen und eine Einrichtung 128 zum Bereitstellen auf. Die Einrichtung 124 zum Einlesen ist dazu ausgebildet, die Objektinformationen von der Vorrichtung 102 zum Ergänzen zu empfangen. Die Einrichtung 126 zum
Auswählen ist dazu ausgebildet, die Objekte auszuwählen, deren
Erkennungsinformation repräsentiert, dass der Fahrer 1 14 das Objekt nicht erkannt hat, um eine Objektgruppe zu erhalten. Die Einrichtung 128 zum
Bereitstellen ist mit der Anzeigeeinrichtung 1 12 verbunden. Die Einrichtung 128 zum Bereitstellen ist dazu ausgebildet, die Objektinformationen der Objektgruppe zum Anzeigen für den Fahrer 1 14 bereitzustellen. Damit werden dem Fahrer 1 14 insbesondere Objekte über die Anzeigeeinrichtung 1 12 dargestellt, die er noch nicht erkannt hat. Objekte 104, die der Fahrer 1 14 bereits erkannt hat, werden nicht mehr dargestellt, um den Fahrer nicht vom Umfeld 108 abzulenken.
Die Einrichtung 128 zum Bereitstellen kann ferner oder alternativ dazu ausgebildet sein, die um die Erkennungsinformationen ergänzten
Objektinformationen an ein anderes Fahrerassistenzsystem bereitzustellen. Die Die Vorrichtung 102 zum Selektieren von Objekten 104 ist optional. Ist keine Vorrichtung 102 zum Selektieren vorgesehen, so kann die von der Vorrichtung 102 zum Ergänzen mit den Erkennungsinformationen ergänzte Objektinformation beispielsweise direkt an ein Fahrerassistenzsystem oder die Anzeigeeinrichtung 1 12 bereitgestellt werden. Die Anzeigeeinrichtung kann beispielsweise als ein Bildschirm oder als eine Projektionseinrichtung, beispielsweise ein Head-up Display ausgeführt sein.
Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Ergänzen einer, einem Objekt zugeordneten Objektinformation gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Das Objekt ist in einem Umfeld eines Fahrzeugs angeordnet. Beispielsweise können die Schritte des Verfahrens auf Einrichtungen der in Fig. 1 gezeigten Vorrichtung zum Ergänzen ausgeführt werden.
Das Verfahren weist einen Schritt 202 des Einlesens, einen Schritt 204 des Auswertens und einen Schritt 206 des Erweiterns auf. Im Schritt 202 des
Einlesens wird eine Sensorinformation von einem Fahrererfassungssensor, wie er in Fig. 1 dargestellt ist eingelesen. Die Sensorinformation repräsentiert eine Reaktion eines Fahrers des Fahrzeugs auf das sich in einer Blickrichtung des Fahrers befindliche Objekt. Im Schritt 204 des Auswertens wird die
Sensorinformation ausgewertet, um eine Erkennungsinformation zu erhalten. Die Erkennungsinformation repräsentiert ein Ergebnis der Auswertung, ob der Fahrer das Objekt erkannt hat. Im Schritt 206 des Erweiterns wird die Objektinformation, die von einer Umfelderfassungseinrichtung bereitgestellt wird, um die
Erkennungsinformation erweitert.
Fig. 3 zeigt eine Darstellung eines Fahrzeugs 100 mit einem System 300 zum zusätzlichen Objektklassifizieren durch eine Blickrichtung des Fahrers gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das System 300 weist einen Radarsensor 302, eine Fahrererfassungseinrichtung mit einem auf einen Fahrer 1 14 des Fahrzeugs 100 gerichteten Messsystem 304 zur
Fahreraugenblickrichtungserkennung und eine Vorrichtung 102 zum Ergänzen auf, wie sie beispielsweise in Fig. 1 gezeigt ist.
Der Radarsensor 302 weist einen Erfassungsbereich 306 auf, der sich gemäß diesem Ausführungsbeispiel keilförmig vor dem Fahrzeug 100 erstreckt. In dem Erfassungsbereich 306 sind in diesem Ausführungsbeispiel vier Objekte 01 , 02, 03, 04 angeordnet, die von dem Radarsensor 302 erfasst werden. Das Objekt
01 ist unter Verwendung einer dem Objekt 01 zugeordneten Objektinformation als Mensch klassifiziert und in dem Erfassungsbereich 306 angeordnet. Eine entsprechende Positionsangabe kann in der dem Objekt 01 zugeordneten Objektinformation gespeichert sein. Das Objekt 01 befindet sich mehr als eine Fahrzeuglänge vor dem Fahrzeug 100. Das Objekt 02 ist am linken Rand des
Erfassungsbereichs angeordnet. Das Objekt 02 ist nicht weiter klassifiziert. Das Objekt 03 befindet sich zentral im Erfassungsbereich 306 und ist weiter als das Objekt 01 vom Fahrzeug 100 entfernt. Auch das Objekt 03 ist nicht weiter klassifiziert. Das Objekt 04 befindet sich an einem rechten Rand des
Erfassungsbereichs 306, ist nicht klassifiziert und ist weiter von dem Fahrzeug
100 entfernt, als das Objekt 02 und näher am Fahrzeug 100, als das Objekt 01 . Zwischen den Objekten 03, 04 ist genügend Platz, um mit dem Fahrzeug 100 hindurchzufahren. Das Objekt 03 befindet sich an einem linken Rand eines voraussichtlichen Fahrpfads des Fahrzeugs 100.
Das auf den Fahrer 1 14 gerichtete Messsystem 304 ist vor dem Fahrer 1 14 angeordnet und ist ausgebildet, um eine Kopfposition des Fahrers 1 14 sowie eine Blickrichtung 308 der Augen des Fahrers 1 14 zu erfassen, solange der Kopf des Fahrers 1 14 innerhalb eines Erfassungsbereichs 310 des Messsystems 304 angeordnet ist. Der Erfassungsbereich 310 ist hier kegelförmig auf eine gemittelte Position des Kopfs ausgerichtet. Die Blickrichtung 308 ist in diesem Ausführungsbeispiel als„Tunnel" dargestellt, der ausgehend von einem
Augenbereich des Fahrers 1 14 um eine Fixationsachse 312 zumindest eines der Augen, beziehungsweise des dominanten Auges des Fahrers 1 14 angeordnet ist. Eine Querschnittsfläche des„Tunnels" entspricht der Fläche, die der Fahrer
1 14 ohne Augenbewegung und/oder Kopfbewegung vollständig wahrnehmen kann. Die Fixationsachse 312 verbindet dabei direkt und gradlinig ein Zentrum der Fläche mit dem Auge. Das Messsystem 304 kann aufgrund einer Position der Augen und einer Ausrichtung der Augen an der Position die Lage der
Fixationsachse 312 im Raum ermitteln.
Das Objekt 03 befindet sich in Blickrichtung 308 des Fahrers 1 14. Die
Vorrichtung 102 ist ausgebildet, um über eine Schnittstelle von dem Radarsensor 302 die Positionen der Objekte 01 , 02, 03, 04, beispielsweise als Abstand vom Radarsensor 302 und als Winkel bezogen auf eine Mittelachse des Fahrzeugs 100 als den Objekten 01 , 02, 03, 04 zugeordnete Objektinformationen zu empfangen. Des weiteren ist die Vorrichtung 102 ausgebildet, um zusätzliche Objektinformationen über die Objekte 01 , 02, 03, 04, beispielsweise die erkannte Klasse„Mensch" bei dem Objekt 01 und eine aus Sicht des Fahrers 1 14 sichtbare Fläche der Objekte 01 , 02, 03, 04 zu empfangen.
Die Vorrichtung 102 ist ferner ausgebildet, um von dem Messsystem 304
Informationen über die Blickrichtung 308 des Fahrers zu empfangen,
beispielsweise als Vektor mit Koordinaten zumindest eines Auges als Stützpunkt. Die Vorrichtung 102 ist ausgebildet, um über räumliche Betrachtung zu ermitteln, ob eines oder mehrere der Objekte 01 , 02, 03, 04 in der Blickrichtung 308 liegen. In diesem Ausführungsbeispiel ist die Blickrichtung 308 auf einen rechten Rand des Objekts 03 gerichtet. Wenn die Blickrichtung 308 lange genug auf dem Rand des Objekts 03 verharrt, ist eine Wahrscheinlichkeit, dass der Fahrer 1 14 das Objekt 03 erkannt hat, groß. Dem Objekt 03 kann deshalb ein Attribut „erkannt" zugeordnet werden und als Erkennungsinformation in einer
Objektinformation zu dem Objekt 03 vermerkt werden.
Mit anderen Worten zeigt Fig. 3 eine beispielhafte Umsetzung des hier vorgeschlagenen Ansatzes. Mithilfe des Radar-Sensors 302 werden die umliegenden Objekte On erkannt und eine Objekterkennung (z. B. ACC) durchgeführt. Das weitere Messsystem 304 ist auf den Fahrer 1 14 gerichtet und erkennt seine Kopf und Pupillenposition und errechnet hieraus die Blickrichtung 308 des Fahrers 1 14. Der hier vorgestellte Ansatz bezieht sich jeweils auf die gewonnenen Informationen beider Systeme 302, 304 und der Kombination dieser Daten. Ziel ist es hierbei festzustellen ob der Fahrer 1 14 das Objekt On, welches vom Radar 302 erkannt wurde schon erblickt hat, oder nicht. Diese zusätzliche Information über das Objekt On erlaubt es verbauten Assistenzsystemen gezielter auf Objekte On zu reagieren. Auch Mensch-Maschine-Schnittstellen Systeme (HMI-Systeme) können so gezielt nur Informationen einblenden, die für den Fahrer 1 14 relevant, also dem Fahrer 1 14 noch nicht bewusst sind.
Fig. 4 zeigt ein Flussdiagramm eines Verfahrens 200 zum Ergänzen einer, einem Objekt zugeordneten Objektinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Beispielsweise können die Schritte des Verfahrens auf Einrichtungen der in Fig. 1 gezeigten Vorrichtung zum Ergänzen ausgeführt werden.
Das Flussdiagramm bildet eine Entscheidungsschleife für ein je ein Objekt On, wie sie in Fig. 3 dargestellt sind, ab. Die Entscheidungsschleife wird für jedes der Objekte On durchgeführt. Nach einem Beginn 400 der Entscheidungsschleife wird in einer Aktion 404 für jedes Objekt On eine Schnittmenge von Objekt On und Blickrichtung vG berechnet. Dafür wird untersucht, ob die Blickrichtung das Objekt trifft. Anschließend erfolgt eine Abfrage 406. In der Abfrage 406 wird abgefragt, ob das Objekt On gemeinsame Punkte mit vG aufweist, also die Schnittmenge größer null ist. Wenn die Abfrage 406 mit„Ja" 408 beantwortet wird, liegt das Objekt On im Blickvektor vG des Fahrers. Wenn die Abfrage 406 mit„Nein" 410 beantwortet wird, erblickt der Fahrer das Objekt On nicht. Im Fall von„Ja" 408 erfolgt eine Aktion 412. In der Aktion 412 wird eine Verweildauer tn des Blickes auf dem Objekt On gemessen. Unter Verwendung der Verweildauer tn wird in einer folgenden Aktion 414 eine Wahrscheinlichkeit pn, dass das Objekt kognitiv wahrgenommen wurde berechnet. Beispielsweise unter Verwendung einer Verarbeitungsvorschrift, wie. pn neu= 10 * tn- Im Fall von„Nein" 410 wird in einer Aktion 416 eine zuvor berechnete bzw. eine zuvor zugewiesene
Erkennungswahrscheinlichkeit von 0% beibehalten. Pn neu = Pn alt. Mit dem Zuweisen der neuen Erkennungswahrscheinlichkeit pn neu erreicht die Schleife ihr Ende 402.
Die Kombination der Objektdaten On aus dem Radar und der Blickrichtung G des Fahrers kann wie in Fig. 4 beschrieben ablaufen. Ein zyklischer Funktionsaufruf errechnet für jedes Objekt On, ob es im Blickbereich des Fahrers ist, und leitet hieraus eine Wahrscheinlichkeit ab, mit der der Fahrer das Objekt (kognitiv) wahrgenommen hat. Objekte On, die neu vom Radar erkannt werden, werden mit einer Wahrscheinlichkeit von 0% initialisiert. Die Radarobjekte On sind mit [XN , YN , ZN ] Koordinaten und Dimension bekannt. Die Blickrichtung des Fahrers kann als Richtungsvektor vG mit Stützpunkt [XG , YG , Zg] ermittelt werden. Mit anderen Worten zeigt Fig. 4 einen Ansatz zur zusätzlichen
Objektklassifizierung durch die Blickrichtung des Fahrers oder eine Sichtachse eines Fahrers des Fahrzeugs.
Mithilfe der Informationen über Kopfposition und Blickrichtung des Fahrers sowie Einbauposition der verwendeten Sensoren kann der Blick des Fahrers im 3-D-
Raum um das Fahrzeug errechnet werden. Aus bereits vorhandenen Sensoren und ihrer angeschlossenen Algorithmen können Informationen über Objekte im Umfeld sowie ihre Klassifikation übernommen werden. Werden nun die
Informationen beider Systeme - Blickrichtung und Umgebungsobjekte - vernetzt, kann dadurch erkannt werden welche Objekte sich momentan im Blick des
Fahrers befinden. Durch Algorithmen kann nun eine zusätzliche
Objektklassifizierung stattfinden, die angibt, wie hoch die Wahrscheinlichkeit ist, dass der Fahrer dieses Objekt komplett erkannt hat und sich der Gefahr bewusst ist.
Diese Information kann mehrere Einsatzgebiete finden. Beispielsweise für eine Anpassung von Eingriffsschwellen aktiver Sicherheitssysteme, z. B.
Notbremsassistent oder autonome Ausweichfunktionen. Ist beispielsweise bekannt, dass der Fahrer in der Gefahrensituation das gefährdende Objekt nicht im Blick hat, kann frühzeitig ein sanftes Anbremsen eingeleitet werden, damit der
Fahrer sich der Situation bewusst wird und so aktiv die Kontrolle übernimmt. Im Fall, dass der Fahrer sich der Situation bewusst ist und dennoch nicht bremst, kann ein vollständig autonomer Bremsvorgang eingeleitet werden, um so einen Unfall zu verhindern. Hierdurch kann die Möglichkeit einer Fehleinschätzung des Fahrers ausgeschlossen bzw. minimiert werden. Beispielsweise kann eine
Lenkung der Aufmerksamkeit des Fahrers z. B. durch Signaltöne, Blinklicht, HUD-Einblendungen (Head-up Display-Einblendungen) auf die auftretende, nicht erkannte Gefahr erfolgen. Bei einer Aufmerksamkeitsüberwachung kann, wenn sich der Fahrer längere Zeit vom Verkehrsgeschehen abwendet, (Blick im Fahrzeuginneren) der Fahrer durch einen Signalton auf seine Fahrlässigkeit aufmerksam gemacht werden. Dadurch kann sich der Fahrer wieder dem Verkehrsgeschehen zuwenden. Beispielsweise kann die Information für eine Einblendung von Informationen im HUD, die vom Fahrer nicht bzw. mit geringer Wahrscheinlichkeit erkannt wurden verwendet werden. Z. B. bei einer
Schildererkennung. Übersieht der Fahrer ein Verkehrsschild, so kann die von dem Verkehrsschild angezeigte Information, beispielsweise
Geschwindigkeitslimits, Überholverbote, etc. im HUD eingeblendet werden, bis der Blick des Fahrers die Information im HUD erfasst.
Fig. 5 zeigt ein Ablaufdiagramm eines Verfahrens 500 zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Eine Objekterkennung des Fahrzeugs stellt, wie in den Figuren 1 und 3 beschrieben, Objektinformationen zu relevanten Objekten bereit. Mit einem beschriebenen Verfahren werden die Objektinformationen um Erkennungsinformation ergänzt.
Das Verfahren 500 weist einen Schritt 502 des Einlesens, einen Schritt 504 des Auswählens und einen Schritt 506 des Bereitstellens auf. Im Schritt 502 werden die Objektinformationen zu erkannten Objekten eingelesen. Im Schritt 504 des Auswählens werden einige oder alle der erkannten Objekte ausgewählt, um eine Objektgruppe zu bilden. Dabei werden solche Objekte ausgewählt, deren
Erkennungsinformation repräsentiert, dass der Fahrer das Objekt nicht erkannt hat. Im Schritt 506 werden die Objektinformationen der Objektgruppe
bereitgestellt. Die Objektinformationen der Objektgruppe können für
Risikoabschätzungen und zur Fahrerinformation verwendet werden.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Ansprüche
1 . Verfahren (200) zum Ergänzen einer Objektinformation, die einem in einem Umfeld (108) eines Fahrzeugs (100) angeordneten Objekt (104) zugeordnet ist, wobei das Verfahren (200) die folgenden Schritte umfasst:
Einlesen (202) einer Sensorinformation, die eine Reaktion eines Fahrers (1 14) des Fahrzeugs (100) auf das sich in einer Blickrichtung (308) des Fahrers (1 14) befindliche Objekt (104) repräsentiert;
Auswerten (204) der Sensorinformation, um eine Erkennungsinformation zu erhalten, wobei die Erkennungsinformation ein Erkennen des Objekts (1 14) durch den Fahrer (1 14) anzeigt; und
Erweitern (206) der Objektinformation um die Erkennungsinformation.
2. Verfahren (200) gemäß Anspruch 1 , bei dem im Schritt (204) des
Auswertens die Erkennungsinformation eine Wahrscheinlichkeit des
Erkennens des Objekts (1 14) durch den Fahrer (1 14) repräsentiert.
3. Verfahren (200) gemäß einem der vorhergehenden Ansprüche, bei dem im Schritt (202) des Einlesens die Sensorinformation eine räumliche Lage einer Fixationsachse (312) eines Augenbereichs des Fahrers (1 14) repräsentiert, und wobei im Schritt (204) des Auswertens eine Verweildauer ausgewertet wird, während der die Fixationsachse (312) auf das Objekt (104) gerichtet ist.
4. Verfahren (200) gemäß Anspruch 3, bei dem im Schritt (204) des
Auswertens die Erkennungsinformation kein Erkennen des Objekts (1 14) anzeigt, wenn die Fixationsachse (312) kürzer als eine Erkennungsdauer auf das Objekt (104) gerichtet ist und/oder die Erkennungsinformation ein Erkennen des Objekts (1 14) anzeigt, wenn die die Fixationsachse (312) länger als die Erkennungsdauer auf das Objekt (104) gerichtet ist.
Verfahren (200) gemäß einem der Ansprüche 3 bis 4, bei dem im Schritt (204) des Auswertens die Erkennungsinformation, die das Erkennen des Objekts (104) durch den Fahrer (1 14) anzeigt auf den Zustand kein
Erkennen des Objekts (1 14) gesetzt wird, wenn die Fixationsachse (312) länger als eine Aufmerksamkeitsspanne nicht auf das Objekt (104) gerichtet ist.
Verfahren (200) gemäß einem der Ansprüche 3 bis 5, bei dem im Schritt (204) des Auswertens die Erkennungsinformation ein Erkennen des Objekts (1 14) anzeigt, wenn sich eine Position des Objekts (104) relativ zum
Fahrzeug (100) um mehr als einen vorbestimmten Wert verändert und die Fixationsachse (312) innerhalb einer Reaktionszeit nicht auf das Objekt (104) gerichtet ist.
Verfahren (500) zum Selektieren von Objekten (01 , 02, 03, 04) in einem Umfeld (108) eines Fahrzeugs (100), wobei eine Objekterkennung des Fahrzeugs (100) ausgebildet ist, um Objektinformationen zu den Objekten (01 , 02, 03, 04) bereitzustellen, und wobei das Verfahren (500) die folgenden Schritte umfasst:
Erweitern der Objektinformationen um Erkennungsinformationen gemäß einem Verfahren (200) zum Ergänzen gemäß einem der Ansprüche 1 bis 6;
Auswählen (504) derjenigen der Objekte (01 , 02, 04), deren
Erkennungsinformation anzeigt, dass der Fahrer (1 14) das jeweilige Objekt (01 , 02, 04) nicht erkannt hat, um eine Objektgruppe zu erhalten; und
Bereitstellen (506) der Objektinformationen der Objektgruppe an eine Schnittstelle zu einem Fahrerassistenzsystem des Fahrzeugs.
Verfahren (500) gemäß Anspruch 7, bei dem im Schritt (504) des
Auswählens gefährliche Objekte ausgewählt werden, die von dem Fahrer (1 14) unerkannt sind und bei denen eine Kollisionsgefahr besteht, wobei im Schritt (506) des Bereitstellens ein Kollisionssignal für ein Fahrerassistenzsystem des Fahrzeugs (100) unter Verwendung der Objektinformationen der gefährlichen Objekte bereitgestellt wird.
9. Vorrichtung (102, 106), die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen.
10. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programmprodukt auf einer Vorrichtung ausgeführt wird.
PCT/EP2013/067244 2012-08-21 2013-08-19 Verfahren zum ergänzen einer einem objekt zugeordneten objektinformation und verfahren zum selektieren von objekten in einem umfeld eines fahrzeugs WO2014029738A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380044450.4A CN104584102B (zh) 2012-08-21 2013-08-19 用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法
US14/420,293 US10009580B2 (en) 2012-08-21 2013-08-19 Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012214852.3A DE102012214852B4 (de) 2012-08-21 2012-08-21 Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
DE102012214852.3 2012-08-21

Publications (1)

Publication Number Publication Date
WO2014029738A1 true WO2014029738A1 (de) 2014-02-27

Family

ID=49084977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/067244 WO2014029738A1 (de) 2012-08-21 2013-08-19 Verfahren zum ergänzen einer einem objekt zugeordneten objektinformation und verfahren zum selektieren von objekten in einem umfeld eines fahrzeugs

Country Status (4)

Country Link
US (1) US10009580B2 (de)
CN (1) CN104584102B (de)
DE (1) DE102012214852B4 (de)
WO (1) WO2014029738A1 (de)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786178B1 (en) * 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10223479B1 (en) 2014-05-20 2019-03-05 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature evaluation
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10540723B1 (en) 2014-07-21 2020-01-21 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and usage-based insurance
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US20160063761A1 (en) * 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of spatial information based on driver attention assessment
US20160063332A1 (en) * 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of external sourced information to a driver
EP2993083B1 (de) * 2014-09-04 2023-11-22 Nokia Technologies Oy Vorrichtung, Verfahren und Computerprogramm zur Erkennung von Verkehrsteilnehmern
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9472023B2 (en) 2014-10-06 2016-10-18 Toyota Jidosha Kabushiki Kaisha Safety system for augmenting roadway objects on a heads-up display
US20210118249A1 (en) 2014-11-13 2021-04-22 State Farm Mutual Automobile Insurance Company Autonomous vehicle salvage and repair
KR102327044B1 (ko) 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9805601B1 (en) 2015-08-28 2017-10-31 State Farm Mutual Automobile Insurance Company Vehicular traffic alerts for avoidance of abnormal traffic conditions
US11040725B2 (en) 2015-09-04 2021-06-22 Inrix Inc. Manual vehicle control notification
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10308246B1 (en) 2016-01-22 2019-06-04 State Farm Mutual Automobile Insurance Company Autonomous vehicle signal control
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
DE102016201373A1 (de) * 2016-01-29 2017-08-03 Robert Bosch Gmbh Verfahren zu einer Erkennung von Objekten, insbesondere von dreidimensionalen Objekten
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
CN109478369A (zh) 2016-07-22 2019-03-15 三菱电机株式会社 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序
BR112019002648B1 (pt) * 2016-08-09 2023-01-17 Nissan Motor Co., Ltd Método de controle e dispositivo de controle de veículo de condução automática
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
DE102017206585B4 (de) * 2017-04-19 2023-05-04 Bayerische Motoren Werke Aktiengesellschaft Insassenunterstützungsverfahren, Insassenunterstützungssystem und Fahrzeug
JP6638701B2 (ja) 2017-06-08 2020-01-29 トヨタ自動車株式会社 運転意識推定装置
US10654453B2 (en) * 2017-08-23 2020-05-19 Uatc Llc Systems and methods for low-latency braking action for an autonomous vehicle
DE102018213230A1 (de) 2018-08-07 2020-02-13 Volkswagen Aktiengesellschaft Verfahren und Steuervorrichtung zum Warnen eines Fahrers eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer derartigen Steuervorrichtung
US20210139048A1 (en) * 2018-12-05 2021-05-13 Waymo Llc Tree policy planning for autonomous vehicle driving solutions
US11192545B1 (en) 2018-12-05 2021-12-07 Waymo Llc Risk mitigation in speed planning
DE102019214004A1 (de) * 2019-09-13 2021-03-18 Robert Bosch Gmbh Verfahren zum Steuern einer Vorrichtung in einer Umgebung eines ungeschützten Verkehrsteilnehmers auf Basis eines ermittelten Aufmerksamkeitsgrads des ungeschützten Verkehrsteilnehmers
DE102021210571A1 (de) 2021-09-23 2023-03-23 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Vorrichtung zum Assistieren eines Fahrers eines Fahrzeugs, sowie Fahrzeug mit einer solchen Vorrichtung
DE102021214286B3 (de) 2021-12-14 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Kollisionswarnsystems eines Fahrzeugs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951001A1 (de) 1999-10-22 2001-05-31 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
EP1484014A1 (de) * 2003-06-02 2004-12-08 Delphi Technologies, Inc. Verfahren und System zur Bestimmung der Aufmerksamkeit auf einem Objekt
DE102008043200A1 (de) * 2008-03-31 2009-10-15 Hyundai Motor Co. Warnmeldungsanlage zum Warnen eines Fahrers vor dem Vorhandensein von Gegenständen
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
US20120089321A1 (en) * 2010-10-11 2012-04-12 Hyundai Motor Company System and method for alarming front impact danger coupled with driver viewing direction and vehicle using the same
DE102011084367A1 (de) * 2011-10-12 2013-04-18 Bayerische Motoren Werke Aktiengesellschaft Feststellen der fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US7899616B2 (en) * 1997-10-22 2011-03-01 Intelligent Technologies International, Inc. Method for obtaining information about objects outside of a vehicle
JP2001199296A (ja) * 2000-01-17 2001-07-24 Matsushita Electric Ind Co Ltd 警報装置、振動体を有する運転座席、警報装置を車両に搭載した移動体
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
JP2005231450A (ja) * 2004-02-18 2005-09-02 Honda Motor Co Ltd 車両用障害物検出装置
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2006327527A (ja) * 2005-05-30 2006-12-07 Honda Motor Co Ltd 車両の走行安全装置
JP4353162B2 (ja) * 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP4926437B2 (ja) * 2005-09-28 2012-05-09 富士重工業株式会社 車両の運転支援装置
US7884705B2 (en) 2005-12-12 2011-02-08 Panasonic Corporation Safety-drive assistance device
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
JP4231884B2 (ja) * 2006-09-27 2009-03-04 株式会社デンソーアイティーラボラトリ 注視対象物検出装置および注視対象物検出方法
EP2095351B1 (de) * 2006-10-13 2014-06-25 Continental Teves AG & Co. oHG System zur bestimmung von objekten
GB0625912D0 (en) * 2006-12-22 2007-02-07 Bid Instr Ltd Method for visual field testing
JP2009237776A (ja) 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
US9702966B2 (en) * 2013-09-16 2017-07-11 Appareo Systems, Llc Synthetic underwater visualization system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951001A1 (de) 1999-10-22 2001-05-31 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
EP1484014A1 (de) * 2003-06-02 2004-12-08 Delphi Technologies, Inc. Verfahren und System zur Bestimmung der Aufmerksamkeit auf einem Objekt
DE102008043200A1 (de) * 2008-03-31 2009-10-15 Hyundai Motor Co. Warnmeldungsanlage zum Warnen eines Fahrers vor dem Vorhandensein von Gegenständen
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
US20120307059A1 (en) * 2009-11-30 2012-12-06 Fujitsu Limited Diagnosis apparatus and diagnosis method
US20120089321A1 (en) * 2010-10-11 2012-04-12 Hyundai Motor Company System and method for alarming front impact danger coupled with driver viewing direction and vehicle using the same
DE102011084367A1 (de) * 2011-10-12 2013-04-18 Bayerische Motoren Werke Aktiengesellschaft Feststellen der fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes

Also Published As

Publication number Publication date
CN104584102B (zh) 2017-07-11
CN104584102A (zh) 2015-04-29
DE102012214852B4 (de) 2024-01-18
DE102012214852A1 (de) 2014-02-27
US20150229885A1 (en) 2015-08-13
US10009580B2 (en) 2018-06-26

Similar Documents

Publication Publication Date Title
DE102012214852B4 (de) Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
DE102013210050B4 (de) Neurokognitive Verarbeitung eines Fahrerzustands
DE112015002948B4 (de) Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers
EP3292510B1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen
DE102012216112A1 (de) Verfahren und Informationssystem zur Ermittlung eines vom Fahrer beabsichtigen oder nicht beabsichtigten Fahrspurwechsels bei einer Fahrt eines Fahrzeugs
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE102014207802B3 (de) Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
DE102018118419B4 (de) Verfahren und System zum Unterscheiden eines Fahrspurwechsels und dem Abbiegen eines Fahrzeugs als eine beabsichtigte Bewegung des Fahrzeugs
DE102007037610A1 (de) Verfahren zum Bestimmen eines wahrscheinlichen Bewegungs-Aufenthaltsbereichs eines Lebewesens
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102014112797A1 (de) Fahrzeugaußenumgebungerkennungsvorrichtung
DE102016219503A1 (de) Verfahren und Fahrerassistenzsystem zur Erkennung der Intention eines Fußgängers zur Querung einer Ego-Fahrspur
DE102016201939A1 (de) Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102014105374B4 (de) Fahrerassistenzsystem
DE102016205661A1 (de) Verfahren zum Vermeiden einer Kollision und Fahrzeug
EP3622709A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
DE102019201407A1 (de) Verfahren und Vorrichtung zum Steuern der Aufmerksamkeit eines Fahrers
DE102014212216A1 (de) Verfahren und Fahrerassistenzsystem zur Erfassung eines Fahrzeugumfel-des
DE102019103368A1 (de) Erkennung durch fusion mehrerer sensoren
EP3673475A1 (de) Verfahren zum betreiben eines assistenzsystems für ein fahrzeug und assistenzsystem
WO2014032903A1 (de) Verfahren und informationssystem zum filtern von objektinformationen
DE102007052093B4 (de) Erkennung von spontanen Bewegungsänderungen von Fußgängern
DE102008062915B4 (de) Erkennung von Personen, insbesondere von Fußgängern
DE112017006982T5 (de) Bedienungseignungsbeurteilungsvorrichtung,bedienungseignungsbeurteilungsverfahren undbedienungseignungsbeurteilungsprogramm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13755987

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14420293

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13755987

Country of ref document: EP

Kind code of ref document: A1