WO2019048623A1 - Assistenzsystem für ein fahrzeug - Google Patents

Assistenzsystem für ein fahrzeug Download PDF

Info

Publication number
WO2019048623A1
WO2019048623A1 PCT/EP2018/074173 EP2018074173W WO2019048623A1 WO 2019048623 A1 WO2019048623 A1 WO 2019048623A1 EP 2018074173 W EP2018074173 W EP 2018074173W WO 2019048623 A1 WO2019048623 A1 WO 2019048623A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
control unit
assistance system
video stream
occupant
Prior art date
Application number
PCT/EP2018/074173
Other languages
English (en)
French (fr)
Inventor
Jürgen LERZER
Matthijs Paffen
Hans-Georg Gruber
Francesco BACCO
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Priority to US16/637,004 priority Critical patent/US11390215B2/en
Publication of WO2019048623A1 publication Critical patent/WO2019048623A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Definitions

  • the invention relates to a vehicle assistance system having at least one exterior camera, a control unit, at least one display unit, an occupant identification unit and a human-machine interface (HMI). Furthermore, the invention relates to a
  • parking aids are known in which a video stream is generated by means of a rear-facing outdoor camera, which continuously images the surrounding area behind the vehicle.
  • This video stream is visualized on a screen arranged in the driver's field of vision which is convenient, i.e. H. can be observed without turning the head.
  • H. the driver can easily and reliably recognize the position and direction of the vehicle, for example, relative to an external vehicle parked behind the parking space.
  • Parking aids can also be a distance sensor and / or a
  • Steering angle sensor whose data in the video stream in the form of an optical or audible warning and / or due to the
  • Such a brake assist recognizes by means of a distance sensor and / or one after front-facing outdoor camera vehicles in front, more
  • EP 1 826 648 B1 discloses an environment device for detecting an environmental area of a vehicle having an outside camera, a control unit and a display unit.
  • the imaging device is configured to trap fog or rain in the environmental region of the environment
  • Vehicle and raindrops or dirt on lenses or glass panes in the optical axis of the outdoor camera by means of a contour comparison between stored shape information and optically detected shapes of certain detected in the surrounding area objects to accurately determine and compensate.
  • DE 10 2015 009 849 A1 discloses a radar system for a vehicle with an exterior camera, a radar unit, a sensor unit, a control unit and a display unit.
  • the radar system is used for recognizing and displaying further vehicles detected by the radar unit, which advance on the track of the vehicle recorded by the external camera or intersect the track of the vehicle.
  • the radar detection interfering snowflakes, hailstones or raindrops are excluded from the vehicle detection and display.
  • Even conventional navigation systems are widespread
  • Driver assistance systems They assist the driver of a vehicle in choosing and following an optimal route to a particular destination.
  • a navigation system In a navigation system, the current position and
  • the steering angle and speed of the vehicle are determined in real time. From digital road maps stored in the navigation system, a relevant map section is continuously determined to match the vehicle position and direction and displayed on a screen in the driver's field of view. In the map section vehicle position and direction and the optimal route are displayed graphically and usually by specific direction instructions to the driver and more
  • the driver's attention is focused on a point in the surrounding area of the vehicle on the basis of a human-machine-interface different in time
  • the invention is therefore based on the object, a novel
  • Assistance system for a vehicle to provide, which directs the attention of a particular occupant of the vehicle individually and interest-dependent.
  • An object of the present invention is a learning
  • An in-vehicle digital scout system for a vehicle in which an utterance of a particular occupant of the vehicle as
  • the assistance system is able to represent the interests of the particular occupant regarding persons, objects, landscapes and / or
  • the assistance system according to the invention comprises at least one
  • the outdoor camera generates a video stream which continuously images an ambient area of the vehicle.
  • the assistance system comprises a control unit connected to the outside camera.
  • the control unit is configured to
  • Image sequences of the video stream and / or marking information corresponding to the entities detected in the video stream.
  • the assistance system further comprises a display unit connected to the control unit, by means of which the marking information generated by the control unit is displayed graphically.
  • the assistance system comprises one with the
  • Control unit connected human-machine interface (HMI), by means of which an utterance of the particular occupant is detected. The recorded utterance is then by the HMI
  • control unit interpreted as expression of interest.
  • the assistance system comprises one with the
  • Control unit connected identification unit.
  • Identification unit is used to recognize a specific occupant of the vehicle. This makes it possible to capture utterances
  • control unit is further configured such that it associates the detected utterance with both a displayed marker information and the particular occupant and stores this assignment in the data memory.
  • the configuration of the control unit may be based on driver input or learned configuration parameters. In addition, different configurations can be combined to selectable profiles.
  • control unit for learning the interests of the particular occupant has a specialized learning module with a machine learning algorithm that may be monitored or semi-supervised.
  • assistance system will enable the interests of the certain inmates and learned interests
  • Marking information, the assistance system during operation can form an interest profile of the particular occupant.
  • the learning module can evaluate the educated interest profile to new ones
  • Marker information to predict an interest of the particular occupant may be confirmed, modified or rejected by the particular occupant to speed up and further improve the learning of the assistance system.
  • the utterances required to form the interest profile may be sent to the assistance system by the particular occupant after a request
  • Unsolicited utterances are assigned to single images or image sequences of the video stream.
  • the controller may estimate distances to detected entities.
  • the assistance system comprises a further sensor, in particular a radar sensor, which provides the control unit with distance data for entities to be detected.
  • Tag information a contour of a detected entity, a
  • the assistance system can mark a recognized entity in a positionally stable manner based on its two-dimensional contour within the video stream. The marking can be made by appropriate graphic
  • a question mark may be designed to be understood by the particular occupant as an invitation to express their interest in the marked entity.
  • the particular occupant may be designed to be understood by the particular occupant as an invitation to express their interest in the marked entity.
  • the marking entity may be designed to be understood by the particular occupant as an invitation to express their interest in the marked entity.
  • the marker may include one or more additional information that the control unit downloads from a list and / or database retrieved online from the vehicle or retrieved online from an external server.
  • additional information may be factual and / or commercial.
  • Additional information also includes advertisements and / or current offers from providers in the surrounding area of the vehicle.
  • the assistance system includes one with the
  • Video stream manipulation unit for merging the video stream with the marker information into an augmented reality stream
  • Video stream manipulation unit connected.
  • Video stream manipulation units can transfer the marking information generated by the control unit into that from the outside camera
  • the video stream manipulation unit provides one of real frames of the Surrounding area and corresponding to these
  • Video stream manipulation units may be zooming in, duplicating, or otherwise manipulating portions of the video stream with detected entities of interest.
  • the display unit is designed as a screen, in particular as a liquid crystal display (LCD), and makes visible the extended reality stream for the particular occupant.
  • LCD liquid crystal display
  • Screens are proven and widely used display units for digitized information. However, existing or future alternative display units are within the scope of the present invention.
  • the display unit is integrated into a glass pane, in particular the windshield (head-up display, HUD) of the vehicle, and is controlled by the control unit in such a way that the illustrated marking information relative to the gaze perspective of the particular occupant corresponds to the one indicated by Glass pane correspond to visible entities.
  • the illustrated marking information relative to the gaze perspective of the particular occupant corresponds to the one indicated by Glass pane correspond to visible entities.
  • the surrounding area of the vehicle is visually visually perceived by the glass pane.
  • This variant offers the advantage that the driver does not have to direct his gaze away from the glass pane to a screen arranged next to the glass pane.
  • a combination of several display units for example, a head-up display and a screen is possible.
  • the human-machine interface is arranged and configured such that it
  • one or more man-machine interfaces and display units may be provided, which are assigned separately to any or even each occupant.
  • the man-machine interface and / or the identification unit is as a button integrated in particular in a steering wheel of the vehicle, as voice control, as
  • the human-machine interface and the identification unit can be designed as any combination of the mentioned interaction variants.
  • An utterance of the particular occupant for expressing interest regarding a suitably marked entity may be, for example, by means of a button, voice-activated, by touching a touch-sensitive screen or by optically detecting a gesture or a gesture
  • Interaction systems posing as human-machine interface or as Identification unit are suitable, not outside the scope of the present invention.
  • the human-machine interface is in the form of an interest button and a disinterest button - for example, on opposite portions of the steering wheel of the vehicle or in the form of corresponding buttons on a touch-sensitive screen - the particular occupant may choose the strength of his or her interest.
  • buttons in rapid succession d. H. expressing normal interest or disinterest by simple and strong interest or disinterest by double pressing the corresponding button.
  • the human-machine interface is designed such that it determines a viewing direction of the particular occupant.
  • the particular occupant may be interested in a tagged entity
  • the determined viewing direction of the particular occupant can also be used, in conjunction with geographical location information, to calculate the distance of the marked entity from the vehicle.
  • control unit is designed to associate detected entity with geographical location information.
  • Geographical location information can, for example, from a present in the vehicle navigation system in the
  • Assistance system be transferred.
  • the assistance system also retrieve geographical location information directly from a satellite receiver (GPS).
  • GPS satellite receiver
  • Vehicle-mounted navigation system also has the advantage that tagged entities can be identified due to the data contained in the digital maps, so that the tagging information may include corresponding names and / or names of the entities.
  • the navigation system can provide information about the route and / or the orientation of the vehicle to the assistance system, which can further enrich and improve the generated marking information and also allow calculation of the distance to marked entities.
  • the assistance system comprises a plurality of display units and / or a plurality of exterior cameras, which are directed with respect to the vehicle to the front and in particular additionally to the right, to the left and / or to the rear.
  • a plurality of display units a plurality of specific occupants of the vehicle may each receive individual tag information displayed.
  • a plurality of outdoor cameras can be alternatively or additionally simulate several different directions of view, so that different specific occupants depending on the glass, through which they in the
  • the present invention relates to a method for directing attention of a particular occupant of a vehicle.
  • the vehicle includes at least
  • Vehicle imaging video stream a control unit connected to the external camera for detecting entities, in particular persons, objects, landscapes and / or traffic situations, in the video stream and generating individual frames and / or image sequences of the
  • Video streams and / or marking information corresponding to the entities detected in the video stream
  • a display unit connected to the control unit for graphically representing the marking information generated by the control unit
  • an identification unit connected to the control unit for recognizing a specific occupant of the vehicle
  • HMI human-machine interface
  • a data store for storing detected utterances.
  • an utterance of an occupant is detected by the man-machine interface, the detected utterance from the control unit is assigned to a specific occupant and a displayed marking information, and the assignment in the person
  • an outline of a recognized entity, a request to the particular occupant for an utterance regarding a recognized entity, a highlighting of a recognized entity as being of interest to the particular occupant, and / or additional information to a recognized information are used as marker information.
  • Videostromanipulationshim of the vehicle which with the Outdoor camera, the control unit and the display unit is connected to an augmented reality (AR)
  • AR augmented reality
  • a screen particularly a liquid crystal display (LCD)
  • LCD liquid crystal display
  • a display unit integrated in a glass pane of the vehicle, in particular in the windshield is controlled by the control unit such that the illustrated marking information relates to the perspective of the particular occupant correspond to the visible through the glass entity.
  • a button, a voice control, a touch control, a gesture control, a facial expression control and / or a fingerprint reader in particular integrated into a steering wheel of the vehicle, is used as a human-machine interface and / or as an identification unit.
  • a line of sight of the particular occupant is determined by the man-machine interface.
  • detected entities it is possible for detected entities to be assigned geographical location information by the control unit.
  • a plurality of display units of the vehicle and / or a plurality of exterior cameras of the vehicle are used, which are directed forward and, in particular, additionally to the right, to the left and / or to the rear with respect to the vehicle.
  • FIG. 1 shows a schematic block diagram of an embodiment of the assistance system according to the invention.
  • FIG. 1 shows in a schematic block diagram an embodiment of the assistance system according to the invention for a non-illustrated system
  • the vehicle is equipped with a highly automatic (level 3) or fully automatic (level 4) self-drive functionality.
  • an assistance system according to the invention can also be installed in a vehicle without self-driving functionality or with low self-driving functionality.
  • the assistance system according to the invention the driver of the Vehicle supported.
  • the assistance system can support every other specific occupant of the vehicle, thus the front passenger or other passengers in the vehicle, also several occupants at the same time.
  • the assistance system comprises a plurality of exterior cameras 10, 11, 12, of which only three are shown for reasons of clarity.
  • One of the exterior cameras 10, 11, 12 is arranged and aligned so as to detect a front surrounding area with respect to the vehicle.
  • Further external cameras 10, 11, 12 are provided for detecting a left, right and / or rear surrounding area of the vehicle.
  • the assistance system comprises a central control unit 20, with which the external cameras 10, 1 1, 12 are connected. These are the
  • Outdoor cameras 10, 1 1, 12 connected to corresponding interfaces 21, 22, 23 of the control unit 20.
  • the assistance system comprises a video signal manipulation unit 50, with which the external cameras 10, 11, 12 are also connected.
  • the external cameras 10, 11, 12 are connected to corresponding interfaces 51, 52, 53 of the video stream manipulation unit 50.
  • Videostrommanipulationshim 50 is also via corresponding interfaces 26, 54 of the control unit 20 and the
  • Video stream manipulation unit 50 is connected to the control unit 20.
  • the assistance system further comprises two display units 60, 61 connected to the video stream manipulation unit 50.
  • the display units 60, 61 at interfaces 55, 56 of the
  • Video stream manipulation unit 50 is connected.
  • a display unit 60 is designed as a head-up display, while the other display unit 61 is formed as an LCD screen.
  • the assistance system comprises an identification unit 30, which is connected to the control unit 20 via an interface 24 of the control unit 20, and a human-machine interface 40 (Human Machine Interface, HMI), which is connected to an interface 25 of the control unit 20.
  • the control unit 20 also has a data storage interface 27, to which a data memory 70 of the assistance system is connected, and a navigation system interface 28, to which a navigation system 80 of the vehicle is connected.
  • Satellite receiver (e.g., GPS) may be connected to the navigation system interface 28.
  • Assistance system required components already present in the vehicle and connected to each other in the manner described, it may be sufficient to install in the control unit 20 additional software modules to provide an inventive assistance system.
  • each exterior camera 10, 11, 12 acquires a specific surrounding area of the vehicle and generates a video stream which maps the respective surrounding area of the vehicle.
  • control unit 20 analyzes the video streams generated by the external cameras 10, 11, 12 and detects therein certain entities, such as persons, objects,
  • control unit 20 To entities recognized in the video stream, but with appropriate configuration also to certain frames and image sequences of the video stream, the control unit 20 generates corresponding marking information.
  • the tag information is the contours of entities detected in the video streams that are designed to prompt a particular occupant to make an utterance regarding the particular entity or to highlight the entity as being of interest to the particular occupant.
  • the tag information also includes names and labels of the detected entities. These are assigned by assigning geographic location information and digital
  • Map information determined which are passed from the navigation system 80 to the control unit 20 are passed from the navigation system 80 to the control unit 20. Furthermore, include
  • Tag information Additional information about the detected entities.
  • the control unit 20 loads the additional information in each case from a list or database which is arranged on a central server but may also be stored in the vehicle.
  • the additional information is both factual and commercial.
  • the additional commercial information also includes advertisements and current offers from providers in the surrounding area of the vehicle.
  • the video stream manipulation unit 50 the video streams of the outdoor cameras 10, 11, 12 are displayed with the marker information of the
  • Control unit 20 combined to augmented reality streams (AR).
  • AR augmented reality streams
  • Control unit 20 graphically displayed marking information on a built-in glass of the vehicle head-up display 60.
  • the illustrated marking information relating to the driver's perspective corresponds to the entities visible through the glass.
  • the Identifkationsussi 30 is presently provided as a facial expression control.
  • a facial expression of the driver is detected to recognize the driver on his face. Less complicated, but a little more complicated for the driver is the detection by means of a
  • the human-machine interface 40 is designed as a gesture control and comprises an unillustrated interior camera of the vehicle, which is directed for example on the upper body of the driver so that they can accommodate in particular hand movements of the driver.
  • a button may be provided which is arranged on the steering wheel. Without removing the hand from the steering wheel, the driver is thus able to express his interest in sequences or marked entities of the video stream in a differentiated manner by simple or double pressing in rapid succession.
  • the control unit 20 is configured to detect
  • Generate marker information about the video streams according to interest i. H. highlighting entities of interest to the driver by marking and producing no or subtle marking for entities uninteresting to the driver.
  • the learning process can take place while the vehicle is moving in real time or in a special training mode of the assistance system. For example, for training purposes, during the parking of the vehicle, portions of video streams recorded on earlier trips may be played back and provided with appropriate utterances by the driver.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Navigation (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Fahrzeugassistenzsystem mit mindestens einer Außenkamera, einer Steuerungseinheit, mindestens einer Anzeigeeinheit, einer Insassenidentifikationseinheit und einer Mensch-Maschine-Schnittstelle (Human Machine Interface, HMI).

Description

Assistenzsystem für ein Fahrzeug
Die Erfindung betrifft ein Fahrzeugassistenzsystem mit mindestens einer Außenkamera, einer Steuerungseinheit, mindestens einer Anzeigeeinheit, einer Insassenidentifikationseinheit und einer Mensch-Maschine-Schnittstelle (Human Machine Interface, HMI). Ferner betrifft die Erfindung ein
entsprechendes Verfahren.
Gängige Assistenzsysteme für ein Fahrzeug sind überwiegend als
Fahrerassistenzsysteme ausgestaltet und unterstützen den Fahrer beim
Steuern des Fahrzeugs. Diesen Assistenzsystemen ist gemeinsam, dass sie ihren Nutzen für den Fahrer während der Fahrt des Fahrzeugs entfalten.
Beispielsweise sind Einparkhilfen bekannt, bei denen mittels einer nach hinten gerichteten Außenkamera ein Videostrom erzeugt wird, welcher kontinuierlich den Umgebungsbereich hinter dem Fahrzeug abbildet. Dieser Videostrom wird auf einem im Blickfeld des Fahrers angeordneten Bildschirm sichtbar gemacht, der bequem, d. h. ohne Wenden des Kopfes beobachtet werden kann. Auf diese Weise kann der Fahrer die Position und Richtung des Fahrzeugs beispielsweise relativ zu einem hinter dem Parkplatz parkenden fremden Fahrzeug einfach und sicher erkennen. Solche
Einparkhilfen können auch einen Abstandssensor und/oder einen
Lenkwinkelsensor aufweisen, deren Daten in den Videostrom in Form einer optischen oder akustischen Warnung und/oder eines aufgrund der
Sensordaten vorausberechneten Fahrwegs eingeblendet werden.
Ein weiteres Beispiel derartiger Fahrerassistenzsysteme stellen
Bremsassistenten dar, die während der Fahrt eines Fahrzeugs das
Kollisionsrisiko mit vorausfahrenden Fahrzeugen verringern. Ein solcher Bremsassistent erkennt mittels eines Abstandssensors und/oder einer nach vorne gerichteten Außenkamera vorausfahrende Fahrzeuge, weitere
Verkehrsteilnehmer, wie Radfahrer oder Fußgänger, sowie sonstige
Hindernisse und bremst das Fahrzeug automatisch und angemessen ab, wenn der Fahrer beispielsweise wegen Unaufmerksamkeit nicht oder zu spät reagiert.
Bei Fahrerassistenzsystemen mit einer oder mehreren Außenkameras, insbesondere bei den vorgenannten Bremsassistenten, muss ein
einwandfreies Funktionieren auch bei widrigen Wetterbedingungen sichergestellt sein.
So offenbart die EP 1 826 648 B1 eine Biidgebungsvorrichtung zum Erfassen eines Umgebungsbereichs eines Fahrzeugs mit einer Außenkamera, einer Steuerungseinheit und einer Anzeigeeinheit. Die Biidgebungsvorrichtung ist dazu ausgelegt, Nebel oder Regen in dem Umgebungsbereich des
Fahrzeugs sowie Regentropfen oder Schmutz auf Linsen oder Glasscheiben in der optischen Achse der Außenkamera mittels eines Konturvergleichs zwischen gespeicherten Forminformationen und optisch erfassten Formen bestimmter in dem Umgebungsbereich erfasster Objekte präzise zu bestimmen und zu kompensieren.
Alternativ ist aus der DE 10 2015 009 849 A1 ein Radarsystem für ein Fahrzeug mit einer Außenkamera, einer Radareinheit, einer Sensoreinheit, einer Steuerungseinheit und einer Anzeigeeinheit bekannt. Das Radarsystem dient dem Erkennen und Anzeigen von mittels der Radareinheit erfassten weiteren Fahrzeugen, die auf der von der Außenkamera aufgenommenen Spur des Fahrzeugs vorausfahren oder die Spur des Fahrzeugs kreuzen. Anhand der von der Sensoreinheit erfassten Wetterbedingungen werden die Radarerfassung störende Schneeflocken, Hagelkörner oder Regentropfen von der Fahrzeugerkennung und -anzeige ausgeschlossen. Auch herkömmliche Navigationssysteme sind weit verbreitete
Fahrerassistenzsysteme. Sie unterstützen den Fahrer eines Fahrzeugs beim Wählen und Verfolgen einer optimalen Fahrtroute zu einem bestimmten Fahrtziel. Bei einem Navigationssystem wird die aktuelle Position und
Richtung des Fahrzeugs mittels Satelliten (z.B. GPS), im Falle von deren vorübergehender Abschattung beispielsweise in Tunnels auch mittels
Lenkwinkel und Geschwindigkeit des Fahrzeugs in Echtzeit ermittelt. Aus in dem Navigationssystem gespeicherten digitalen Straßenkarten wird passend zu der Fahrzeugposition und -richtung kontinuierlich ein relevanter Kartenausschnitt ermittelt und auf einem Bildschirm im Blickfeld des Fahrers angezeigt. In den Kartenausschnitt werden Fahrzeugposition und -richtung sowie die optimale Fahrtroute graphisch eingeblendet und zumeist durch konkrete Richtungsanweisungen an den Fahrer sowie weitere
Fahrtinformationen, wie verbleibende Reststrecke oder -zeit bis zum
Fahrtziel, ergänzt. Auf diese Weise wird ein Mehrwert für den Fahrer geschaffen, und die umständliche Handhabung zumeist kompliziert gefalteter Straßenkarten auf Papier während des Fahrens kann entfallen.
Die DE 10 2015 101 358 A1 offenbart ein weiteres Fahrerassistenzsystem, welches dem Erfassen und Lenken einer Fahreraufmerksamkeit dient.
Während der Fahrt wird die Fahreraufmerksamkeit auf einen Punkt in dem Umgebungsbereich des Fahrzeugs anhand zeitlich aufeinanderfolgender verschiedener mittels einer Mensch-Maschine-Schnittstelle erfasster
Blickvektoren des Fahrers bestimmt. Wenn die Fahreraufmerksamkeit von einem relevanten Punkt in dem Umgebungsbereich, der beispielsweise mittels eines Navigationsgeräts in das Fahrzeug übertragen wird, etwa einem Verkehrsschild, abweicht, wird der Fahrer des Fahrzeugs gewarnt und aufgefordert, die Aufmerksamkeit auf den gewünschten Punkt zu lenken. Aktuelle Entwicklungen gehen allerdings dahin, Fahrzeuge stufenweise mit immer weiter reichender Selbstfahrfunktionalität auszustatten, um die allgemeine Sicherheit im Straßenverkehr zu erhöhen und den Fahrer weitgehend zu entlasten. Bereits bekannt sind beispielsweise Fahrzeuge, die ohne ein Eingreifen des Fahrers selbständig rückwärts einparken.
Noch deutlich weitergehend ist die Entwicklung von Fahrzeugen, die eine hochautomatische Selbstfahrfunktionalität (Stufe 3) oder eine
vollautomatische Selbstfahrfunktionalität (Stufe 4) unterstützen. Letztere kommen - abgesehen von einer Eingabe des Fahrtziels - ohne manuelles Eingreifen eines Fahrers während der Fahrt aus.
In zunehmend selbstfahrenden Fahrzeugen muss der Fahrer eine immer geringere oder schließlich gar keine Aufmerksamkeit mehr für das
Verkehrsgeschehen in dem Umgebungsbereich des Fahrzeugs aufbringen.
Demnach wird er künftig einem einfachen Insassen des Fahrzeugs immer ähnlicher und schließlich im Wesentlichen gleichgestellt. Entsprechend werden seine Möglichkeiten vergrößert, während der Fahrt nach
interessanten Sehenswürdigkeiten entlang der Fahrtroute Ausschau zu halten, um beispielsweise die Fahrt für eine Besichtigung vorübergehend zu unterbrechen.
Allerdings würden einem Insassen eines Fahrzeugs ohne Weiteres zwangsläufig viele interessante Sehenswürdigkeiten, wie beispielsweise Gebäude oder schöne Landschaften entlang der Fahrtroute entgehen, da sein räumlicher Aufmerksamkeitsbereich physiologisch bedingt auf einen geringen Ausschnitt seines Blickfelds beschränkt ist. Zudem sind die
Sehenswürdigkeiten entlang einer Fahrtroute naturgemäß äußerst zahlreich und vielfältig. Menge und Vielfalt der Sehenswürdigkeiten können daher die Aufmerksamkeit des Insassen überfordern.
Der Erfindung liegt daher die Aufgabe zugrunde, ein neuartiges
Assistenzsystem für ein Fahrzeug zur Verfügung zu stellen, welches die Aufmerksamkeit eines bestimmten Insassen des Fahrzeugs individuell und interessenabhängig lenkt.
Ein Gegenstand der vorliegenden Erfindung ist ein lernendes
Assistenzsystem („In-Vehicle Digital Scout") für ein Fahrzeug, bei dem eine Äußerung eines bestimmten Insassen des Fahrzeugs als
Interessenbekundung für eine Entität in einem Umgebungsbereich des Fahrzeugs interpretiert und gespeichert wird. Auf diese Weise ist das Assistenzsystem in der Lage, die Interessen des bestimmten Insassen betreffend Personen, Gegenstände, Landschaften und/oder
Verkehrssituationen im Laufe der Zeit zu erlernen und die Aufmerksamkeit des bestimmten Insassen auf für ihn interessante Entitäten zu lenken.
Das erfindungsgemäße Assistenzsystem umfasst mindestens eine
Außenkamera. Die Außenkamera erzeugt einen Videostrom, welcher kontinuierlich einen Umgebungsbereich des Fahrzeugs abbildet.
Ferner umfasst das Assistenzsystem eine mit der Außenkamera verbundene Steuerungseinheit. Die Steuerungseinheit ist dazu konfiguriert, den
Videostrom zu analysieren und Entitäten, wie Personen, Gegenstände, Landschaften und/oder Verkehrssituationen, in dem Videostrom zu erkennen. Darüber hinaus erzeugt sie zu Einzelbildern und/oder
Bildsequenzen des Videostroms und/oder zu den in dem Videostrom erkannten Entitäten korrespondierende Markierungsinformationen. Je nach Anwendungsfall kann der Analyse des Videostroms eine Vorverarbeitung
(„Pre-Processing") vorausgehen .
Das Assistenzsystem umfasst weiterhin eine mit der Steuerungseinheit verbundene Anzeigeeinheit, mittels derer die von der Steuerungseinheit erzeugten Markierungsinformationen graphisch dargestellt werden.
Erfindungsgemäß umfasst das Assistenzsystem eine mit der
Steuerungseinheit verbundene Mensch-Maschine-Schnittstelle (Human Machine Interface, HMI), mittels derer eine Äußerung des bestimmten Insassen erfasst wird. Die erfasste Äußerung wird dann von der
Steuerungseinheit als Interessenbekundung interpretiert. In einer weiteren Ausführungsform umfasst das Assistenzsystem eine mit der
Steuerungseinheit verbundene Identifikationseinheit. Die
Identifikationseinheit dient dem Erkennen eines bestimmten Insassen des Fahrzeugs. Dadurch wird es möglich, erfasste Äußerungen einem
bestimmten Insassen zuzuordnen.
Erfindungsgemäß ist die Steuerungseinheit weiterhin derart konfiguriert, dass sie die erfasste Äußerung sowohl einer dargestellten Markierungsinformation als auch dem bestimmten Insassen zuordnet und diese Zuordnung in dem Datenspeicher speichert. Die Konfiguration der Steuerungseinheit kann auf von dem Fahrer eingegebenen oder erlernten Konfigurationsparametern beruhen. Zudem können unterschiedliche Konfigurationen zu auswählbaren Profilen zusammengefasst sein.
Bevorzugt weist die Steuerungseinheit zum Erlernen der Interessen des bestimmten Insassen ein spezielles Lernmodul mit einem Algorithmus zum maschinellen Lernen auf, der überwacht oder halbüberwacht sein kann. Dadurch wird das Assistenzsystem in die Lage versetzt, die Interessen des bestimmten Insassen zu erlernen und den erlernten Interessen
entsprechende Markierungsinformationen zu erzeugen.
Durch ein kontinuierliches und dauerhaftes Abspeichern von Zuordnungen zwischen Äußerungen des bestimmten Insassen und
Markierungsinformationen kann das Assistenzsystem während des Betriebs ein Interessenprofil des bestimmten Insassen bilden. Das Lernmodul kann das gebildete Interessenprofil auswerten, um für neue
Markierungsinformationen ein Interesse des bestimmten Insassen zu prognostizieren. Ein prognostiziertes Interesse kann durch den bestimmten Insassen bestätigt, modifiziert oder abgelehnt werden, um das Lernen des Assistenzsystems zu beschleunigen und weiter zu verbessern.
Die zum Bilden des Interessenprofils erforderlichen Äußerungen können dem Assistenzsystem durch den bestimmten Insassen nach einer
entsprechenden Aufforderung des Assistenzsystems oder unaufgefordert während einer Fahrt oder in einem speziellen Trainingsmodus mitgeteilt werden. Dabei werden unaufgeforderte Äußerungen Einzelbildern oder Bildsequenzen des Videostroms zugeordnet.
Auf der Grundlage des Videostroms kann die Steuerungseinheit Abstände zu erkannten Entitäten schätzen. Gemäß einer weiteren Ausführungsform umfasst das Assistenzsystem einen weiteren Sensor, insbesondere einen Radar-Sensor, welcher der Steuerungseinheit Abstandsdaten zu erkannten Entitäten zur Verfügung stellt.
In einer Ausführungsform des Assistenzsystems umfasst eine
Markierungsinformation eine Kontur einer erkannten Entität, eine
Aufforderung an den bestimmten Insassen zu einer Äußerung betreffend eine erkannte Entität und/oder eine Hervorhebung einer erkannten Entität als für den bestimmten Insassen interessant und/oder eine Zusatzinformation. Mit anderen Worten kann das Assistenzsystem eine erkannte Entität anhand ihrer zweidimensionalen Kontur innerhalb des Videostroms positionstreu markieren. Die Markierung kann durch entsprechende graphische
Darstellung und/oder Ergänzung mit einem intuitiven Symbol, wie
beispielsweise einem Fragezeichen, derart gestaltet sein, dass sie von dem bestimmten Insassen als Aufforderung verstanden wird, sein Interesse an der markierten Entität zu äußern. Alternativ oder zusätzlich kann die
Markierung aber auch durch entsprechende graphische Darstellung und/oder Ergänzung mit einem intuitiven Symbol, wie beispielsweise einem
Ausrufezeichen, derart gestaltet sein, dass die Aufmerksamkeit des bestimmten Insassen auf die als interessant markierte Entität gelenkt wird. Zudem kann die Markierung eine oder mehrere Zusatzinformationen umfassen, welche die Steuerungseinheit aus einer in dem Fahrzeug gespeicherten oder von einem externen Server online abgerufenen Liste und/oder Datenbank hinzulädt. Derartige Zusatzinformationen können sachlicher und/oder kommerzieller Art sein. Unter die kommerziellen
Zusatzinformationen fallen auch Werbeanzeigen und/oder aktuelle Angebote von Anbietern in dem Umgebungsbereich des Fahrzeugs.
In einer Ausführungsform umfasst das Assistenzsystem eine mit der
Außenkamera und der Steuerungseinheit verbundene
Videostrommanipulationseinheit zum Zusammenführen des Videostroms mit den Markierungsinformationen zu einem erweiterten Realitätsstrom
(Augmented Reality, AR) und ist die Anzeigeeinheit mit der
Videostrommanipulationseinheit verbunden. Mittels einer
Videostrommanipulationseinheit können die von der Steuerungseinheit erzeugten Markierungsinformationen in den von der Außenkamera
aufgenommenen Videostrom eingeblendet werden („Overlay"), d. h. die Videostrommanipulationseinheit stellt einen aus realen Einzelbildern des Umgebungsbereichs und zu diesen korrespondierenden,
Markierungsinformationen enthaltenden Einzelbildern kombinierten
Videostrom zur Verfügung. Weitere Funktionen der
Videostrommanipulationseinheit können das Vergrößern („Zooming-In"), das Duplizieren („Duplicating") oder sonstige Manipulationen von Ausschnitten des Videostroms mit erkannten interessanten Entitäten sein.
In einer weiteren Ausführungsform ist alternativ oder zusätzlich bei dem Assistenzsystem die Anzeigeeinheit als Bildschirm, insbesondere als Flüssigkristallanzeige (Liquid Crystal Display, LCD) ausgebildet und macht den erweiterten Realitätsstrom für den bestimmten Insassen sichtbar.
Bildschirme sind bewährte und weit verbreitete Anzeigeeinheiten für digitalisierte Informationen. Aber auch vorhandene oder künftige alternative Anzeigeeinheiten liegen innerhalb des Schutzbereichs der vorliegenden Erfindung.
In einer Ausführungsform des Assistenzsystems ist die Anzeigeeinheit in eine Glasscheibe, insbesondere die Windschutzscheibe (Head-Up Display, HUD), des Fahrzeugs integriert und wird von der Steuerungseinheit derart angesteuert, dass die dargestellten Markierungsinformationen bezogen auf die Blickperspektive des bestimmten Insassen zu den durch die Glasscheibe sichtbaren Entitäten korrespondieren. In die Glasscheibe werden also lediglich die Markierungsinformationen bezogen auf den Blickwinkel des bestimmten Fahrzeuginsassen positionsgerecht eingeblendet, während der Umgebungsbereich des Fahrzeugs durch die Glasscheibe unmittelbar optisch wahrgenommen wird. Diese Variante bietet den Vorteil, dass der Fahrer seinen Blick nicht von der Glasscheibe weg zu einem neben der Glasscheibe angeordneten Bildschirm richten muss. Selbstverständlich ist auch eine Kombination mehrerer Anzeigeeinheiten, beispielsweise aus einem Head-Up-Display und einem Bildschirm möglich. In einer weiteren Ausführungsform des Assistenzsystems ist die Mensch- Maschine-Schnittstelle derart angeordnet und ausgebildet, dass sie
Äußerungen eines Fahrers des Fahrzeugs und/oder eines Mitfahrers im Fahrzeug erfasst. Bei derzeit gebräuchlichen Fahrzeugen ist in erster Linie ein Erfassen von Äußerungen des Fahrers wünschenswert. Bei einer hochautomatischen oder vollautomatischen Selbstfahrfunktion des
Fahrzeugs besteht aber kein wesentlicher Unterschied mehr zwischen dem Fahrer und den weiteren Insassen des Fahrzeugs. Entsprechend können in solchen Fahrzeugen eine oder mehrere Mensch-Maschine-Schnittstellen sowie Anzeigeeinheiten vorgesehen sein, die einem beliebigen oder auch jedem Insassen separat zugeordnet sind.
In einer Ausführungsform des Assistenzsystems ist die Mensch-Maschine- Schnittstelle und/oder die Identifikationseinheit als ein insbesondere in ein Lenkrad des Fahrzeugs integrierter Knopf, als Sprachsteuerung, als
Berührungssteuerung, als Gestiksteuerung und/oder als Mimiksteuerung und/oder als Fingerabdruckieser ausgebildet. Mit anderen Worten können die Mensch-Maschine-Schnittstelle und die Identifikationseinheit als eine beliebige Kombination der genannten Interaktionsvarianten ausgebildet sein. Eine Äußerung des bestimmten Insassen zur Interessenbekundung betreffend eine entsprechend markierte Entität kann etwa mittels eines Knopfes, sprachgesteuert, durch Berühren eines berührungsempfindlichen Bildschirms oder durch optisches Erfassen einer Geste oder eines
Gesichtsausdrucks erfolgen. Zur Identifikation des bestimmten Insassen eignet sich besonders ein Fingerabdruckieser, während naturgemäß eine Gestiksteuerung eher ungeeignet ist. Die beispielhaft genannten übrigen Varianten kommen auch als Identifikationseinheit in Betracht.
Selbstverständlich liegen weitere vorhandene oder künftige
Interaktionssysteme, die sich als Mensch-Maschine-Schnittstelle oder als Identifikationseinheit eignen, nicht außerhalb des Schutzbereichs der vorliegenden Erfindung.
Wenn die Mensch-Maschine-Schnittstelle in Form eines Interesse-Knopfes und eines Desinteresse-Knopfes - beispielsweise an gegenüberliegenden Abschnitten des Lenkrads des Fahrzeugs oder in Form entsprechender Buttons auf einem berührungsempfindlichen Bildschirm - ausgebildet ist, kann der bestimmte Insasse die Stärke seines Interesses bzw.
Desinteresses an einer markierten Entität durch die Häufigkeit des
Knopfdrückens in schneller Abfolge differenzieren, d. h. normales Interesse bzw. Desinteresse durch einfaches und starkes Interesse bzw. Desinteresse durch doppeltes Drücken des entsprechenden Knopfes äußern.
In einer Ausführungsform des Assistenzsystems ist die Mensch-Maschine- Schnittstelle derart ausgebildet, dass sie eine Blickrichtung des bestimmten Insassen ermittelt. Mit einer derartigen Mensch-Maschine-Schnittstelle kann der bestimmte Insasse sein Interesse an einer markierten Entität
beispielsweise dadurch äußern, dass er die markierte Entität für eine bestimmte Mindestdauer fixiert. Umgekehrt wird ein nur kurzes Fixieren des markierten Objekts bis zu einer bestimmten geringeren Maximaldauer als Desinteresse an der markierten Entität gewertet. Die ermittelte Blickrichtung des bestimmten Insassen kann ferner - in Verbindung mit geographischen Ortsinformationen - zu einer Berechnung des Abstands der markierten Entität von dem Fahrzeug herangezogen werden.
In einer Ausführungsform des Assistenzsystems ist die Steuerungseinheit dazu ausgebildet, erkannten Entitäten geographische Ortsinformationen zuzuordnen. Geographische Ortsinformationen können beispielsweise von einem in dem Fahrzeug vorhandenen Navigationssystem in das
Assistenzsystem übertragen werden. Alternativ kann das Assistenzsystem geographische Ortsinformationen auch direkt von einem Satellitenempfänger (GPS) abrufen. Eine Kopplung des Assistenzsystems an ein in dem
Fahrzeug verbautes Navigationssystem bietet darüber hinaus den Vorteil, dass markierte Entitäten aufgrund der in den digitalen Karten enthaltenen Daten identifiziert werden können, so dass die Markierungsinformationen entsprechende Namen und/oder Bezeichnungen der Entitäten umfassen können. Zudem kann das Navigationssystem Informationen zur Fahrtroute und/oder zu der Ausrichtung des Fahrzeugs an das Assistenzsystem liefern, welche die erzeugten Markierungsinformationen weiter anreichern und verbessern können und ebenfalls eine Berechnung des Abstands zu markierten Entitäten erlauben.
In einer Ausführungsform umfasst das Assistenzsystem eine Mehrzahl von Anzeigeeinheiten und/oder eine Mehrzahl von Außenkameras, welche bezogen auf das Fahrzeug nach vorne und insbesondere zusätzlich nach rechts, nach links und/oder nach hinten gerichtet sind. Mit einer Mehrzahl von Anzeigeeinheiten können mehrere bestimmte Insassen des Fahrzeugs jeweils individuelle Markierungsinformationen angezeigt erhalten. Durch eine Mehrzahl von Außenkameras lassen sich alternativ oder zusätzlich mehrere verschiedene Blickrichtungen simulieren, so dass unterschiedliche bestimmte Insassen je nach der Glasscheibe, durch welche sie in den
Umgebungsbereich blicken, unterschiedliche Markierungsinformationen angezeigt erhalten.
Ferner betrifft die vorliegende Erfindung ein Verfahren zum Lenken einer Aufmerksamkeit eines bestimmten Insassen eines Fahrzeugs. Dabei umfasst das Fahrzeug mindestens
eine Außenkamera zum Erzeugen eines einen Umgebungsbereich des
Fahrzeugs abbildenden Videostroms, eine mit der Außenkamera verbundene Steuerungseinheit zum Erkennen von Entitäten, insbesondere Personen, Gegenständen, Landschaften und/oder Verkehrssituationen, in dem Videostrom und Erzeugen von zu Einzelbildern und/oder Bildsequenzen des
Videostroms und/oder den in dem Videostrom erkannten Entitäten korrespondierenden Markierungsinformationen,
eine mit der Steuerungseinheit verbundene Anzeigeeinheit zum graphischen Darstellen der von der Steuerungseinheit erzeugten Markierungsinformationen,
eine mit der Steuerungseinheit verbundene Identifikationseinheit zum Erkennen eines bestimmten Insassen des Fahrzeugs,
eine mit der Steuerungseinheit verbundene Mensch-Maschine- Schnittstelle (Human Machine Interface, HMI) zum Erfassen einer Äußerung des bestimmten Insassen und
einen Datenspeicher zum Speichern von erfassten Äußerungen. Bei dem erfindungsgemäßen Verfahren wird eine Äußerung eines Insassen von der Mensch-Maschine-Schnittstelle erfasst, die erfasste Äußerung von der Steuerungseinheit einem bestimmten Insassen und einer dargestellten Markierungsinformation zugeordnet und die Zuordnung in dem
Datenspeicher gespeichert.
In möglicher Ausgestaltung wird eine Kontur einer erkannten Entität, eine Aufforderung an den bestimmten Insassen zu einer Äußerung betreffend eine erkannte Entität, eine Hervorhebung einer erkannten Entität als für den bestimmten Insassen interessant und/oder eine Zusatzinformation zu einer erkannten Information als Markierungsinformation verwendet.
In weiterer Ausgestaltung des erfindungsgemäßen Verfahrens werden der Videostrom und die Markierungsinformationen von einer
Videostrommanipulationseinheit des Fahrzeugs, welche mit der Außenkamera, der Steuerungseinheit und der Anzeigeeinheit verbunden ist, zu einem erweiterten Realitätsstrom (Augmented Reality, AR)
zusammengeführt. In noch weiterer Ausgestaltung wird ein Bildschirm, insbesondere eine Flüssigkristallanzeige (Liquid Crystal Display, LCD), als Anzeigeeinheit verwendet, um den erweiterten Realitätsstrom für den bestimmten Insassen sichtbar zu machen. Ferner wird gemäß einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens eine in eine Glasscheibe des Fahrzeugs, insbesondere in die Windschutzscheibe (Head-Up Display, HUD), integrierte Anzeigeeinheit verwendet und von der Steuerungseinheit derart angesteuert, dass die dargestellten Markierungsinformationen bezogen auf die Blickperspektive des bestimmten Insassen zu den durch die Glasscheibe sichtbaren Entitäten korrespondieren.
Ferner werden gemäß einer anderen Ausführungsform des
erfindunsgemäßen Verfahrens Äußerungen eines Fahrers des Fahrzeugs und/oder eines Mitfahrers im Fahrzeug von der Mensch-Maschine- Schnittstelle erfasst.
Es ist denkbar, dass ein, insbesondere in ein Lenkrad des Fahrzeugs integrierter, Knopf, eine Sprachsteuerung, eine Berührungssteuerung, eine Gestiksteuerung, eine Mimiksteuerung und/oder ein Fingerabdruckleser als Mensch-Maschine-Schnittstelle und/oder als Identifikationseinheit verwendet wird. In noch weiterer Ausgestaltung des erfindungsgemäßen Verfahrens wird eine Blickrichtung des bestimmten Insassen von der Mensch-Maschine- Schnittstelle ermittelt. Ferner ist es erfindungsgemäß möglich, dass erkannten Entitäten von der Steuerungseinheit geographische Ortsinformationen zugeordnet werden.
Gemäß einer noch anderen Ausführungsform des erfindungsgemäßen Verfahrens wird eine Mehrzahl von Anzeigeeinheiten des Fahrzeugs und/oder eine Mehrzahl von Außenkameras des Fahrzeugs verwendet, welche bezogen auf das Fahrzeug nach vorne und, insbesondere zusätzlich nach rechts, nach links und/oder nach hinten gerichtet sind.
Die Erfindung ist anhand einer Ausführungsform in der Zeichnung
schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung weiter beschrieben. Es zeigt:
Figur 1 in einem schematischen Blockschaltbild eine Ausführungsform des erfindungsgemäßen Assistenzsystems.
Figur 1 zeigt in einem schematischen Blockschaltbild eine Ausführungsform des erfindungsgemäßen Assistenzsystems für ein nicht dargestelltes
Fahrzeug. Das Fahrzeug ist mit einer hochautomatischen (Stufe 3) oder vollautomatischen (Stufe 4) Selbstfahrfunktionalität ausgestattet. Jedoch kann ein erfindungsgemäßes Assistenzsystem auch in ein Fahrzeug ohne Selbstfahrfunktionalität oder mit geringer Selbstfahrfunktionalität eingebaut sein.
Im Folgenden wird lediglich beispielhaft, nicht einschränkend davon ausgegangen, dass das erfindungsgemäße Assistenzsystem den Fahrer des Fahrzeugs unterstützt. Alternativ oder zusätzlich kann das Assistenzsystem jeden weiteren bestimmten Insassen des Fahrzeugs, also den Beifahrer oder sonstige Mitfahrer im Fahrzeug unterstützen, auch mehrere Insassen gleichzeitig.
Das Assistenzsystem umfasst eine Mehrzahl von Außenkameras 10, 1 1 , 12, von denen aus Gründen der Übersichtlichkeit lediglich drei dargestellt sind. Eine der Außenkameras 10, 1 1 , 12 ist derart angeordnet und ausgerichtet, dass sie bezogen auf das Fahrzeug einen vorderen Umgebungsbereich erfasst. Weitere Außenkameras 10, 1 1 , 12 sind zum Erfassen eines linken, rechten und/oder hinteren Umgebungsbereichs des Fahrzeugs vorgesehen.
Ferner umfasst das Assistenzsystem eine zentrale Steuerungseinheit 20, mit welcher die Außenkameras 10, 1 1 , 12 verbunden sind. Dazu sind die
Außenkameras 10, 1 1 , 12 an entsprechende Schnittstellen 21 , 22, 23 der Steuerungseinheit 20 angeschlossen.
Zudem umfasst das Assistenzsystem eine Videostrommanipulationseinheit 50, mit welcher die Außenkameras 10, 1 1 , 12 ebenfalls verbunden sind. Dazu sind die Außenkameras 10, 1 1 , 12 an entsprechende Schnittstellen 51 , 52, 53 der Videostrommanipulationseinheit 50 angeschlossen. Die
Videostrommanipulationseinheit 50 ist zudem über korrespondierende Schnittstellen 26, 54 der Steuerungseinheit 20 bzw. der
Videostrommanipulationseinheit 50 mit der Steuerungseinheit 20 verbunden.
Das Assistenzsystem umfasst weiterhin zwei Anzeigeeinheiten 60, 61 , die mit der Videostrommanipulationseinheit 50 verbunden sind. Dazu sind die Anzeigeeinheiten 60, 61 an Schnittstellen 55, 56 der
Videostrommanipulationseinheit 50 angeschlossen. Eine Anzeigeeinheit 60 ist als Head-Up-Display ausgestaltet, während die andere Anzeigeeinheit 61 als LCD-Bildschirm ausgebildet ist.
Das Assistenzsystem umfasst eine Identifikationseinheit 30, die mit der Steuerungseinheit 20 über eine Schnittstelle 24 der Steuerungseinheit 20 verbunden ist, sowie eine Mensch-Maschine-Schnittstelle 40 (Human Machine Interface, HMI), die an eine Schnittstelle 25 der Steuerungseinheit 20 angeschlossen ist. Die Steuerungseinheit 20 weist überdies eine Datenspeicher-Schnittstelle 27 auf, an die ein Datenspeicher 70 des Assistenzsystems angeschlossen ist, sowie eine Navigationssystem-Schnittstelle 28, an die ein Navigationssystem 80 des Fahrzeugs angeschlossen ist. Alternativ kann auch ein
Satellitenempfänger (z.B. GPS) mit der Navigationssystem-Schnittstelle 28 verbunden sein.
In einem Fahrzeug mit hoch- oder vollautomatischer Selbstfahrfunktionalität können Außenkameras 10, 1 1 , 12, eine zentrale Steuerungseinheit 20, eine Identifikationseinheit 30, eine Mensch-Maschine-Schnittstelle 40, eine Videostrommanipulationseinheit 50, Anzeigeeinheiten 60, 61 und/oder ein Datenspeicher 70 bereits zur Realisierung der Selbstfahrfunktionalität verbaut sein. In diesem Fall müssen für das erfindungsgemäße
Assistenzsystem ggf. lediglich fehlende Komponenten ergänzend
vorgesehen werden. Falls sämtliche für das erfindungsgemäße
Assistenzsystem erforderlichen Komponenten bereits in dem Fahrzeug vorhanden und auf die beschriebene Weise miteinander verbunden sind, kann es genügen, in der Steuerungseinheit 20 zusätzliche Softwaremodule zu installieren, um ein erfindungsgemäßes Assistenzsystem zu schaffen. Während des Betriebs des Assistenzsystems erfasst jede Außenkamera 10, 1 1 , 12 einen bestimmten Umgebungsbereich des Fahrzeugs und erzeugt einen den jeweiligen Umgebungsbereich des Fahrzeugs abbildenden Videostrom.
Mittels spezieller Softwaremodule analysiert die Steuerungseinheit 20 die von den Außenkameras 10, 1 1 , 12 erzeugten Videoströme und erkennt darin bestimmte Entitäten, wie beispielsweise Personen, Gegenstände,
Landschaften und/oder Verkehrssituationen. Zu in dem Videostrom erkannten Entitäten, aber bei entsprechender Konfiguration auch zu bestimmten Einzelbildern und Bildsequenzen des Videostroms generiert die Steuerungseinheit 20 korrespondierende Markierungsinformationen.
Bei den Markierungsinformation handelt es sich um Konturen von in den Videoströmen erkannten Entitäten, welche als Aufforderung an einen bestimmten Insassen zu einer Äußerung betreffend die jeweilige Entität oder als Hervorhebung der jeweiligen Entität als für den bestimmten Insassen interessant gestaltet sind. Die Markierungsinformationen umfassen auch Namen und Bezeichnungen der erkannten Entitäten. Diese werden durch Zuordnen geographischer Ortsinformationen und digitaler
Karteninformationen ermittelt, welche von dem Navigationssystem 80 an die Steuerungseinheit 20 übergeben werden. Weiterhin umfassen die
Markierungsinformationen Zusatzinformationen zu den erkannten Entitäten. Die Steuerungseinheit 20 lädt die Zusatzinformationen jeweils aus einer Liste oder Datenbank hinzu, die auf einem zentralen Server angeordnet ist, aber auch in dem Fahrzeug gespeichert sein kann. Die Zusatzinformationen sind sowohl sachlicher als auch kommerzieller Art. Unter die kommerziellen Zusatzinformationen fallen auch Werbeanzeigen und aktuelle Angebote von Anbietern in dem Umgebungsbereich des Fahrzeugs. In der Videostrommanipulationseinheit 50 werden die Videoströme der Außenkameras 10, 1 1 , 12 mit den Markierungsinformationen der
Steuerungseinheit 20 zu erweiterten Realitätsströmen (Augmented Reality, AR) zusammengeführt. Derart erweiterte Realitätsströme werden auf dem LCD-Bildschirm 61 sichtbar gemacht. Zusätzlich werden die von der
Steuerungseinheit 20 erzeugten Markierungsinformationen auf einem in eine Glasscheibe des Fahrzeugs integrierten Head-Up-Display 60 graphisch dargestellt. In dem Head-Up-Display (HUD) 60 korrespondieren die dargestellten Markierungsinformationen bezogen auf die Blickperspektive des Fahrers zu den durch die Glasscheibe sichtbaren Entitäten.
Die Identifkationseinheit 30 ist vorliegend als Mimiksteuerung vorgesehen. Mittels einer nicht dargestellten auf das Gesicht des Fahrers gerichteten Innenkamera des Fahrzeugs wird ein Gesichtsausdruck des Fahrers erfasst, um den Fahrer an seinem Gesicht zu erkennen. Weniger aufwändig, dafür etwas umständlicher für den Fahrer ist die Erkennung mittels eines
Fingerabdrucklesers, der alternativ oder zusätzlich zu der Mimiksteuerung vorgesehen sein kann. Durch die Mensch-Maschine-Einheit 40 werden Äußerungen des Fahrers erfasst. Dazu ist die Mensch-Maschine-Schnittstelle 40 als Gestiksteuerung ausgebildet und umfasst eine nicht dargestellte Innenkamera des Fahrzeugs, die beispielsweise auf den Oberkörper des Fahrers derart gerichtet ist, dass sie insbesondere Handbewegungen des Fahrers aufnehmen kann.
Darüber hinaus wird ausgehend von den mit der Innenkamera
aufgenommenen Bildsequenzen die Blickrichtung des Fahrers ermittelt.
Wenn der Blick des Fahrers länger als eine bestimmte Minimaldauer auf einer Entität verweilt, wird diese Äußerung als Interessenbekundung ausgelegt. Streift der Blick eine Entität jedoch nur flüchtig und verweilt auf dieser kürzer als eine bestimmte Maximaldauer, die kleiner als die
vorgenannte Minimaldauer ist, wird diese Äußerung als Ausdruck des
Desinteresses interpretiert. Zusätzlich oder alternativ zu der Gestiksteuerung kann ein Knopf vorgesehen sein, der am Lenkrad angeordnet ist. Ohne die Hand vom Lenkrad zu entfernen ist der Fahrer damit in der Lage, sein Interesse an Sequenzen oder markierten Entitäten des Videostroms durch einfaches oder doppeltes Drücken in schneller Abfolge differenziert zu äußern.
Die Steuerungseinheit 20 ist derart konfiguriert, dass sie erfasste
Äußerungen dem Fahrer sowie einem Einzelbild, einer Bildsequenz oder einer dargestellten Markierungsinformation zuordnet und diese Zuordnung in dem Datenspeicher 70 speichert. Auf diese Weise erlernt das
Assistenzsystem allmählich die Interessen des Fahrers und kann die
Markierungsinformationen zu den Videoströmen entsprechend dem Interesse generieren, d. h. für den Fahrer interessante Entitäten durch eine Markierung hervorheben und für für den Fahrer uninteressante Entitäten keine oder eine unauffällige Markierung erzeugen. Dabei kann der Lernvorgang während der Fahrt des Fahrzeugs in Echtzeit oder in einem speziellen Trainingsmodus des Assistenzsystems erfolgen. Beispielsweise können zu Trainingszwecken während des Parkens des Fahrzeugs Ausschnitte von bei früheren Fahrten aufgenommenen Videoströmen abgespielt und von dem Fahrer mit entsprechenden Äußerungen versehen werden.
Das erfindungsgemäße Assistenzsystem bietet den Vorteil, die
Aufmerksamkeit eines bestimmten Insassen eines Fahrzeugs entsprechend seinen Interessen individuell auf Entitäten außerhalb des Fahrzeugs zu lenken. Ausgehend von für den bestimmten Insassen interessanten Entitäten können dem Insassen später auch Zusatzinformationen betreffend die interessanten Entitäten gegeben oder zu den interessanten Entitäten passende Dienste angeboten werden. Abgesehen davon können erlernte Interessen eines bestimmten Insassen mit anderen Insassen in demselben Fahrzeug, aber auch in anderen Fahrzeugen geteilt werden. Zudem ist - nach einer Anonymisierung - auch ein Handel mit derartigen
Interessenprofilen denkbar. Nicht zuletzt sollte bei hochautomatisch oder vollautomatisch selbstfahrenden Fahrzeugen lediglich ein zusätzliches Software-Modul erforderlich sein, da die für das erfindungsgemäße
Assistenzsystem benötigten Komponenten in dem selbstfahrenden Fahrzeug bereits vorhanden sind und eine Mehrfachnutzung ohne Weiteres möglich ist.
Bezuqszeichenliste
10 Außenkamera
1 1 Außenkamera
12 Außenkamera
20 Steuerungseinheit
21 Außenkamera-Schnittstelle
22 Außenkamera-Schnittstelle
23 Außenkamera-Schnittstelle
24 Identifikationseinheit-Schnittstelle
25 HMI-Schnittstelle
26 Markierungsinformation-Schnittstelle
27 Datenspeicher-Schnittstelle
28 Navigationssystem-Schnittstelle
30 Identifikationseinheit
40 Mensch-Maschine-Schnittstelle (HM!)
50 Videostrommanipulationseinheit
51 Außenkamera-Schnittstelle
52 Außenkamera-Schnittstelle
53 Außenkamera-Schnittstelle
54 Markierungsinformation-Schnittstelle
55 Anzeigeeinheit-Schnittstelle
56 Anzeigeeinheit-Schnittstelle
60 Anzeigeeinheit
61 Anzeigeeinheit
70 Datenspeicher
80 Navigationssystem

Claims

Patentansprüche
1 . Assistenzsystem für ein Fahrzeug, das mindestens
eine Außenkamera (10, 1 1 , 12), die dazu konfiguriert ist, einen einen Umgebungsbereich des Fahrzeugs abbildenden Videostrom zu erzeugen,
eine mit der Außenkamera (10, 1 1 , 12) verbundene Steuerungseinheit (20), die dazu konfiguriert ist, Entitäten, insbesondere Personen, Gegenständen, Landschaften und/oder Verkehrssituationen, in dem Videostrom zu erkennen und zu Einzelbildern und/oder Bildsequenzen des Videostroms und/oder zu den in dem Videostrom erkannten Entitäten korrespondierende Markierungsinformationen zu erzeugen, eine mit der Steuerungseinheit (20) verbundene Anzeigeeinheit (60, 61 ), die dazu konfiguriert ist, die von der Steuerungseinheit (20) erzeugten Markierungsinformationen graphisch darzustellen, eine mit der Steuerungseinheit (20) verbundene Identifikationseinheit (30), die dazu konfiguriert ist, einen bestimmten Insassen des
Fahrzeugs zu erkennen,
eine mit der Steuerungseinheit (20) verbundene Mensch-Maschine- Schnittstelle (40), die dazu konfiguriert ist, eine Äußerung des bestimmten Insassen zu erfassen und
einen Datenspeicher (70), der dazu konfiguriert ist, erfasste
Äußerungen zu speichern,
umfasst und bei dem die Steuerungseinheit (20) dazu konfiguriert ist, die erfasste Äußerung des bestimmten Insassen einer dargestellten
Markierungsinformation und dem bestimmten Insassen zuzuordnen und diese Zuordnung in dem Datenspeicher (70) zu speichern.
2. Assistenzsystem nach Anspruch 1 , bei dem eine
Markierungsinformation eine Kontur einer erkannten Entität, eine Aufforderung an den bestimmten Insassen zu einer Äußerung betreffend eine erkannte Entität und/oder eine Hervorhebung einer erkannten Entität als für den bestimmten Insassen interessant und/oder eine Zusatzinformation zu einer erkannten Information umfasst.
3. Assistenzsystem nach einem der Ansprüche 1 oder 2, welches eine mit der Außenkamera (10, 1 1 , 12) und der Steuerungseinheit (20)
verbundene Videostrommanipulationseinheit (50), die dazu konfiguriert ist, den Videostrom mit den Markierungsinformationen zu einem erweiterten Realitätsstrom zusammenzuführen, umfasst und bei dem die Anzeigeeinheit (60, 61 ) mit der Videostrommanipulationseinheit (50) verbunden ist.
4. Assistenzsystem nach einem der voranstehenden Ansprüche, bei dem die Anzeigeeinheit als Bildschirm, insbesondere als Flüssigkristallanzeige ausgebildet und dazu konfiguriert ist, den erweiterten Realitätsstrom für den bestimmten Insassen sichtbar zu machen.
5. Assistenzsystem nach einem der voranstehenden Ansprüche, bei dem die Anzeigeeinheit (60, 61 ) in eine Glasscheibe des Fahrzeugs, insbesondere in die Windschutzscheibe integriert ist und von der
Steuerungseinheit (20) derart ansteuerbar ist, dass die dargestellten
Markierungsinformationen bezogen auf die Blickperspektive des bestimmten Insassen zu den durch die Glasscheibe sichtbaren Entitäten
korrespondieren.
6. Assistenzsystem nach einem der voranstehenden Ansprüche, bei dem die Mensch-Maschine-Schnittstelle (40) angeordnet und ausgebildet ist, Äußerungen eines Fahrers des Fahrzeugs und/oder eines Mitfahrers im Fahrzeug zu erfassen.
7. Assistenzsystem nach einem der voranstehenden Ansprüche, bei dem die Mensch-Maschine-Schnittstelle (40) und/oder die Identifikationseinheit (30) als ein, insbesondere in ein Lenkrad des Fahrzeugs integrierter, Knopf, als Sprachsteuerung, als Berührungssteuerung, als Gestiksteuerung und/oder als Mimiksteuerung und/oder als Fingerabdruckleser ausgebildet ist.
8. Assistenzsystem nach einem der voranstehenden Ansprüche, bei dem die Mensch-Maschine-Schnittstelle (40) dazu ausgebildet ist, eine
Blickrichtung des bestimmten Insassen zu ermitteln.
9. Assistenzsystem nach einem der voranstehenden Ansprüche, welches eine Mehrzahl von Anzeigeeinheiten (60, 61 ) umfasst und/oder eine
Mehrzahl von Außenkameras (10, 1 1 , 12) umfasst, die bezogen auf das Fahrzeug nach vorne und, insbesondere zusätzlich, nach rechts, nach links und/oder nach hinten gerichtet sind.
10. Verfahren zum Lenken einer Aufmerksamkeit eines bestimmten Insassen eines Fahrzeugs mit mindestens
- einer Außenkamera (10, 1 1 , 12) zum Erzeugen eines einen
Umgebungsbereich des Fahrzeugs abbildenden Videostroms, einer mit der Außenkamera (10, 1 1 , 12) verbundenen
Steuerungseinheit (20) zum Erkennen von Entitäten, insbesondere Personen, Gegenständen, Landschaften und/oder
Verkehrssituationen, in dem Videostrom und Erzeugen von zu
Einzelbildern und/oder Bildsequenzen des Videostroms und/oder zu den in dem Videostrom erkannten Entitäten korrespondierenden Markierungsinformationen, einer mit der Steuerungseinheit (20) verbundenen Anzeigeeinheit (60, 61 ) zum graphischen Darsteilen der von der Steuerungseinheit (20) erzeugten Markierungsinformationen,
einer mit der Steuerungseinheit (20) verbundenen Identifikationseinheit (30) zum Erkennen eines bestimmten Insassen des Fahrzeugs, einer mit der Steuerungseinheit (20) verbundenen Mensch-Maschine- Schnittstelle (40) zum Erfassen einer Äußerung des bestimmten Insassen und
einem Datenspeicher (70) zum Speichern von erfassten Äußerungen, bei dem eine Äußerung eines Insassen von der Mensch-Maschine- Schnittstelle (40) erfasst wird, die erfasste Äußerung von der
Steuerungseinheit (20) einem bestimmten Insassen und einer dargestellten Markierungsinformation zugeordnet wird und die Zuordnung in dem
Datenspeicher (70) gespeichert wird.
PCT/EP2018/074173 2017-09-08 2018-09-07 Assistenzsystem für ein fahrzeug WO2019048623A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/637,004 US11390215B2 (en) 2017-09-08 2018-09-07 Assistance system for a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017215901.4 2017-09-08
DE102017215901.4A DE102017215901A1 (de) 2017-09-08 2017-09-08 Assistenzsystem für ein Fahrzeug

Publications (1)

Publication Number Publication Date
WO2019048623A1 true WO2019048623A1 (de) 2019-03-14

Family

ID=63637871

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/074173 WO2019048623A1 (de) 2017-09-08 2018-09-07 Assistenzsystem für ein fahrzeug

Country Status (3)

Country Link
US (1) US11390215B2 (de)
DE (1) DE102017215901A1 (de)
WO (1) WO2019048623A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019111512B4 (de) * 2019-05-03 2022-09-01 Mekra Lang Gmbh & Co. Kg Sichtsystem und Spiegelersatzsystem für ein Fahrzeug
DE102021119757A1 (de) 2021-07-29 2023-02-02 Audi Aktiengesellschaft Verfahren zum Darstellen eines Anzeigeinhalts

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1826648B1 (de) 2006-02-27 2011-09-07 Hitachi, Ltd. Abbildungsumgebungserkennungsvorrichtung
US20130158778A1 (en) * 2011-12-14 2013-06-20 General Motors Llc Method of providing information to a vehicle
DE102015101358A1 (de) 2014-02-14 2015-08-20 Gm Global Technology Operations, Llc Verfahren und Systeme zum Erfassen einer Fahreraufmerksamkeit gegenüber Objekten
DE102015009849A1 (de) 2015-07-30 2017-02-02 Mando Corporation Radarsystem vom Typ für ein Fahrzeug und Verfahren zum Entfernen eines nicht interessierenden Ziels
WO2017095852A1 (en) * 2015-11-30 2017-06-08 Faraday & Future Inc. Infotainment based on vehicle navigation data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
US10257582B2 (en) * 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1826648B1 (de) 2006-02-27 2011-09-07 Hitachi, Ltd. Abbildungsumgebungserkennungsvorrichtung
US20130158778A1 (en) * 2011-12-14 2013-06-20 General Motors Llc Method of providing information to a vehicle
DE102015101358A1 (de) 2014-02-14 2015-08-20 Gm Global Technology Operations, Llc Verfahren und Systeme zum Erfassen einer Fahreraufmerksamkeit gegenüber Objekten
DE102015009849A1 (de) 2015-07-30 2017-02-02 Mando Corporation Radarsystem vom Typ für ein Fahrzeug und Verfahren zum Entfernen eines nicht interessierenden Ziels
WO2017095852A1 (en) * 2015-11-30 2017-06-08 Faraday & Future Inc. Infotainment based on vehicle navigation data

Also Published As

Publication number Publication date
US20200167969A1 (en) 2020-05-28
US11390215B2 (en) 2022-07-19
DE102017215901A1 (de) 2019-03-14

Similar Documents

Publication Publication Date Title
EP3401166B1 (de) Spiegelersatzsystem als kamera-monitor-system (kms) eines kraftfahrzeugs, insbesondere eines nutzfahrzeugs
DE102013110332B4 (de) Visuelles leitsystem
DE102013110339B4 (de) Visuelles leitsystem
EP3454013A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
EP3661796B1 (de) Verfahren zum betreiben eines bildschirms eines kraftfahrzeugs sowie kraftfahrzeug
DE102012015002B4 (de) Verfahren und Vorrichtung zum unterstützten Einparken
DE102011088738B4 (de) Kraftfahrzeuganzeigevorrichtung für empfohlenen Fahrbetrieb
WO2003005102A1 (de) Head-up display system und verfahren zur ortskorrrekten darstellung eines objekts im aussenraum eines fahrzeugs in bezug auf die fahrerposition
EP3762684A1 (de) Einblendung von zusatzinformationen auf einer anzeigeeinheit
WO2012172077A1 (de) Verfahren und vorrichtung zur unterstützung eines fahrers bei einer spurführung eines fahrzeugs auf einer fahrbahn
DE102013011311B4 (de) Verfahren zum Betreiben eines Informationssystems eines Kraftwagens und Informationssystem für einen Kraftwagen
WO2013113500A1 (de) Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
DE102008059269A1 (de) Verfahren zur Verbesserung der Rundumsicht bei einem Fahrzeug sowie Fahrzeug mit verbesserter Rundumsicht
EP3695266A1 (de) Verfahren zum betrieb einer anzeigeeinrichtung in einem kraftfahrzeug
DE102020128224A1 (de) Anzeigesystem
DE102016014712A1 (de) Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung
DE102012020568A1 (de) Verfahren zum Betreiben einer Navigationseinrichtung und zur Erfassung einer wahrnehmbaren Umwelt
WO2019048623A1 (de) Assistenzsystem für ein fahrzeug
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE112019007195T5 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
EP1898381B1 (de) Vorrichtung und Verfahren zur Fahrerinformation
EP3898369A1 (de) Vorrichtung und verfahren steuerung der ausgabe von fahrerinformation und zur aufrechterhaltung der aufmerksamkeit eines fahrers eines automatisierten fahrzeugs
DE102020106850A1 (de) Verfahren zum Unterstützen eines Insassen bei einem Aussteigen aus einem Fahrzeug durch Anpassung einer Anzeige, Fahrerassistenzsystem sowie Fahrzeug
DE102018222666A1 (de) Autonom fahrendes Taxi
DE102023003828A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems und Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772763

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
122 Ep: pct application non-entry in european phase

Ref document number: 18772763

Country of ref document: EP

Kind code of ref document: A1