WO2020074565A1 - Fahrerassistenzsystem für ein fahrzeug - Google Patents

Fahrerassistenzsystem für ein fahrzeug Download PDF

Info

Publication number
WO2020074565A1
WO2020074565A1 PCT/EP2019/077316 EP2019077316W WO2020074565A1 WO 2020074565 A1 WO2020074565 A1 WO 2020074565A1 EP 2019077316 W EP2019077316 W EP 2019077316W WO 2020074565 A1 WO2020074565 A1 WO 2020074565A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
control unit
driver assistance
assistance system
vehicle
Prior art date
Application number
PCT/EP2019/077316
Other languages
English (en)
French (fr)
Inventor
Hongjun - c/o Continental Automotive GmbH PU
Stefan - c/o Continental Automotive GmbH BIEGER
Gerhard - c/o Continental Automotive GmbH DOCHOW
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Publication of WO2020074565A1 publication Critical patent/WO2020074565A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Definitions

  • the invention relates to a driver assistance system for a vehicle, a vehicle with such a driver assistance system, a method for providing information to a user, a computer program element and a computer-readable storage medium.
  • Driver assistance systems are increasingly being installed in modern vehicles to support the driver while driving. Furthermore, driver assistance systems can perform functions of the passenger, e.g. route guidance. Additional information relating to the vehicle environment can be helpful for the driver and / or a user of the vehicle, such as a passenger, especially in an unknown environment.
  • a first aspect of the invention relates to a driver assistance system for a vehicle.
  • the driver assistance system has a sensor arrangement and a control unit.
  • the sensor arrangement is set up to acquire image data of a user of the vehicle and audio data of the user.
  • Control unit is set up to gesture, body posture and / or facial expressions of the user based on the Recognize the user's image data. Furthermore, the control unit is set up to recognize a voice command from the user in the recorded audio data. Furthermore, the control unit is set up to determine a context on the basis of the recognized gestures, posture and / or facial expressions, and on the basis of the recognized voice command, and to provide the user with information based on the determined context.
  • the user of a vehicle e.g. a driver, a front passenger and / or a passenger, questions arise which are particularly related to the current vehicle environment. For example, the user looks briefly at an object in the area and says "What kind of old building is this?". A local passenger would probably answer “do you mean the yellow building on the right side? This is the castle xyz" or "Which building do you mean? The yellow building on the right side or the white building in front of it? ".
  • This task or interaction can be carried out by the driver assistance system described above and below. This can serve as an intelligent driving companion with whom a natural dialogue (via language and gestures) is possible .
  • the driver assistance system can have a sensor arrangement and a control unit.
  • the sensor arrangement can capture image data and audio data of the user and pass them on to the control unit for evaluation.
  • the control unit can recognize a gesture, such as a finger movement, a body posture, for example the head position, and / or a facial expression, for example a direction of view.
  • the control unit can recognize a voice command, such as "What is this for an old building?".
  • the user can also use natural language Driver information related to traffic and driving, e.g. B.
  • the control unit can identify an object that is meant by the user. Furthermore, the control unit can provide information for the user with regard to the object, specifically request further information from the user and / or have the recognized object confirmed. The control unit can output the information to the user visually, for example via a display unit such as a screen, and / or acoustically via the infotainment system of the vehicle. The information can come, for example, from a digital road map or a database in connection with the current position of the vehicle. Alternatively or additionally, the control unit can combine image data of the vehicle environment with the viewing direction and recognize objects in the image data of the vehicle environment.
  • the sensor arrangement can have a plurality of sensor units on and in the vehicle. These can already be present in the vehicle.
  • An interior camera can observe the user and thus capture the gestures, posture and / or facial expressions of the user.
  • a microphone can capture the user's audio data, which can include a voice command related to the environment.
  • the viewing direction and the head / body posture of the user can be recognized at the time at which the audio data were acquired.
  • additional gestures e.g. B. a finger, can be detected by the sensor arrangement. From the viewing direction, head / body posture and gestures of the user, an angle or a viewing angle (in the vehicle coordinates) can be determined, which corresponds to the viewing direction of the user.
  • a focused area in the surroundings can be determined, which the user could have meant with his voice command and his gesture.
  • the sensor arrangement can furthermore have an external camera which captures image data of the vehicle surroundings.
  • This image data can also be analyzed by the control unit in order to recognize objects in it which correspond to the gesture recognized by the user and the voice command.
  • objects can be recognized which correspond to the gesture, posture and / or facial expressions and the user's voice command.
  • the focused area of the user can be used for this. This can in turn be projected into the image data captured by the external camera and shown to the user on a display unit, such as a display.
  • an image section can be adapted until the user gives the driver his confirmation.
  • the adaptation of the image section can also take place via a natural dialog with the user, for example like "A little further to the left?" (Right / up / down) or "Is the building now in the marked area?".
  • the user can use a touch or key input, e.g. by
  • Swipe gesture select or mark the appropriate image section.
  • the user can be asked by the control unit to display the object which he meant in the voice command confirm, e.g. by tapping or confirming.
  • the viewing angle with which the user views the object on the display unit can be used to identify the object in question. This enables the object to be determined automatically.
  • the object to be confirmed can be highlighted in color on the display unit, for example with an object frame or by coloring the object.
  • an audio output can take place, which the object name can be known from a database.
  • the control unit can obtain the information relating to the selected object from a database (stored locally), from a cloud (protected remote access) or from the Internet.
  • the driver assistance system can be a digital assistant that uses different technologies to provide information to the user.
  • Driver monitoring, gesture recognition, intensity recognition, for example via the user's appointment calendar, natural voice recognition and / or a location-based information service can be used here.
  • information for points of interest (POIs) such as historical or striking buildings, famous museums, streets and squares, but also about traffic signs and dynamic traffic events can be provided.
  • control unit can be an electronic circuit, a circuit, an arithmetic unit, an arithmetic unit, a processor or a control unit. Furthermore, the control unit can also have a storage unit which stores the data required and / or generated by the control unit.
  • the information or context relates to an element of the vehicle environment.
  • information relating to points of interest that are in the vicinity of the vehicle can be provided.
  • the sensor arrangement is set up to acquire image data of a vehicle environment and the control unit is set up to recognize a current environmental situation based on the image data of the vehicle environment and to take this into account in determining the context.
  • the sensor arrangement can also have an external camera, which captures image data of the vehicle surroundings.
  • the recognized gesture, posture or facial expressions and the voice command can be provided with additional context.
  • an object in question can be recognized in the image data of the vehicle surroundings via an object recognition.
  • the user can be shown the image data of the external camera with the object in question.
  • control unit is set up to use an artificial neural network to identify the gestures, posture and / or facial expressions, the surrounding situation and the voice command when determining the context.
  • the control unit can use an artificial neural network for fast, reliable and more reliable evaluation or analysis of the audio and image data of the sensor arrangement. This can be explicitly trained to recognize the gestures, facial expressions or posture, as well as the user's voice command in the sensor data.
  • a recurrent neural network RNN
  • CNN convolutional neural network
  • methods for pattern recognition for example neural networks, known forms, such as the eyes or the whole face. These known shapes can be found again in the image data by pattern recognition and the geometric position can be optimally estimated. This can be further improved if a kinematic model of a person whose two-dimensional projections correspond to the image taken by the camera system is estimated. Kalman filters can be used as optimal estimators, for example, which determine optimal values for the two-dimensional camera projection for the kinematic angles of the model in question. From the geometrical position and the size of the known shapes, e.g. of the pupil centers, the tip of the nose and / or the corner of the mouth, the parameters of interest for viewing angle or pointer direction can thus be determined.
  • the parameters of interest for viewing angle or pointer direction can thus be determined.
  • the driver assistance system also has a display device.
  • the control unit is set up to instruct the display device to display an image and / or to mark a part of an image which corresponds to the specific context.
  • the control unit can display an image, preferably the camera image of the external camera, on a display unit and mark in this image the object for which the user is interested.
  • the display unit can be, for example, a display or a monitor inside the vehicle.
  • the user can thus be visually shown the object for which the information is provided by the driver assistance system.
  • a picture can also be made the database, the Internet, or the digital road map to help determine the context.
  • the driver assistance system can thus enter into a dialog with the user.
  • the control unit of the driver assistance system can make a preselection based on the specific context and make it available to the user. The user can then select from this selection.
  • the control unit can access past image data of the vehicle environment and identify objects in question and provide the user with a selection.
  • the displayed image and / or the marked part of the image can be adapted by a voice command or by input from the user.
  • the user can move the image section and continue to provide the driver assistance system with specific information about a specific object in the vehicle environment.
  • the displayed image and / or the marked part of the image can be identified and confirmed by the user, preferably by tapping on the display device.
  • the user can view a selection made by the driver assistance system regarding an object, identify it and confirm it with the system.
  • the confirmation can also take place acoustically or by pressing a key.
  • the driver assistance system also has a positioning device.
  • the positioning device is set up to determine the current position of the vehicle.
  • the control unit is there set up to take into account the current position in order to provide the user with the information.
  • the voice command and the gesture can be associated with information from the digital map or the database.
  • the position can be, for example, via a global positioning system, e.g. GPS, Galileo, Baidou or GLONASS, or via cell positioning with the help of mobile networks.
  • control unit is set up to determine the context at the beginning of the gesture, posture and / or facial expression.
  • the driver assistance system can already begin to determine the context and accordingly analyze image data when the user shows a reaction for the first time and not only after the voice command has ended. This means that even a rapidly changing vehicle environment, e.g. be taken into account during the journey.
  • the image data of the external camera and / or the interior camera can be stored and the image data at the time of the user's reaction can be used to determine the context or to determine the object in question.
  • the sensor arrangement has a microphone, an interior camera, an exterior camera, a radar sensor, a lidar sensor, an infrared sensor, an ultrasonic sensor and / or a combination thereof. Furthermore, sensors or sensor data already in the vehicle can be used by the sensor arrangement. According to one embodiment of the invention, the gestures, the posture and / or the facial expressions of the user have a viewing angle, a viewing direction, a head posture, a facial expression, a hand movement, a finger movement and / or a focused area.
  • control unit is set up to refrain from interacting with the user (3) if it is determined based on the gestures, the posture and / or the facial expressions and / or the surrounding situation that a dangerous driving situation is present.
  • control unit can determine whether interaction with the user is currently possible or sensible. For example, an interaction between the driver assistance system and the user can be avoided during a strenuous or risky driving situation. Alternatively or additionally, the interaction with the user can be interrupted and taken up again at a later time. It should be noted that the driving situation or the criticality of this can be determined from telematics data and data relating to the traffic situation. In particular, the traffic density, via an external camera, the average speed and the complexity of the road network can be included in determining the criticality of the driving situation.
  • Another aspect of the invention relates to a vehicle with a driver assistance system described above and below.
  • the vehicle is, for example, a
  • Motor vehicle such as car, bus or truck, or else a rail vehicle, a ship, an aircraft such as a helicopter or plane, or a bicycle, for example.
  • Another aspect of the invention relates to a method for providing information to a user of a vehicle, comprising the following steps:
  • control unit Recognizing, by the control unit, a voice command from the user based on the acquired audio data
  • steps of the method can also be carried out in a different order or simultaneously. Furthermore, there can be a longer period of time between individual steps.
  • Another aspect of the invention relates to a program element which, when executed on a control unit of a driver assistance system, guides the driver assistance system to carry out the method described above and below.
  • Another aspect of the invention relates to a computer-readable medium on which a program element is stored which, when it is executed on a control unit of a driver assistance system, is guided, the driver assistance system instructs to carry out the method described above and below.
  • FIG. 1 shows a block diagram of a driver assistance system according to an embodiment of the invention.
  • Fig. 2 shows another block diagram of a driver assistance system according to an embodiment of the invention.
  • FIG 3 shows a vehicle with a driver assistance system according to an embodiment of the invention.
  • FIG. 4 shows a flowchart for a method for providing information to a user according to an embodiment of the invention.
  • FIG. 5 shows a flowchart for a method for providing information to a user according to an embodiment of the invention.
  • This driver assistance system 1 has a control unit 10, a sensor arrangement 20, a positioning device 40 and a display unit 50.
  • the sensor arrangement 20 detects sensor data of a user and in particular image data and audio data of the user. Furthermore, the sensor arrangement 20 can also Capture image data of a vehicle environment, for example of buildings or a place.
  • the sensor arrangement 20 may have, for example, an interior camera, an exterior camera, a microphone, a radar sensor, an infrared sensor, an ultrasound sensor or a lidar sensor, or use sensors already present in the vehicle.
  • the control unit 10 receives the sensor data acquired by the sensor arrangement 20 and evaluates it or analyzes it.
  • the control unit 10 can also recognize a gesture, a posture and / or facial expressions by the user in the image data of the sensor arrangement.
  • the recognized gesture, posture and / or facial expressions can be, for example, a wave, a hand gesture
  • Hand signals a head movement, a direction of view, a
  • the voice command can in particular be a question of the user.
  • the control unit 10 can have an artificial neural network which evaluates or analyzes the sensor data detected by the sensor arrangement 20.
  • the control unit 10 can determine a context and, in accordance with this context, output information 30 to the user which relates to the recognized gesture, posture and / or facial expressions, as well as the voice command. This output can be done visually via the display unit 50, for example. Alternatively or additionally, acoustic output of information 30 to the user is also possible.
  • Control unit 10 may provide information 30 to the user based on the gesture, posture, and / or facial expressions associated with the voice command.
  • information 30 relates to an object of the direct vehicle environment.
  • the positioning device 40 transfers the current vehicle position to the control unit 10 on the basis of which the detection of the environmental Situation can be improved by means of the map data around the current vehicle position.
  • control unit 10 can determine the current environmental situation, e.g. Traffic jams, driving in the city, driving on the highway, driving in a 30 zone or driving in a construction site.
  • the control unit 10 can use this environmental situation in order to place the verified gesture, the recognized posture, the recognized facial expressions and the voice command in a further context and to verify, check or plausibility check them.
  • FIG. 2 shows a detailed view of the driver assistance system 1 from FIG. 1.
  • the sensor arrangement 20 can have an interior camera 21 and a microphone 22, which capture image or audio data of the user 3. This data can be forwarded to the control unit 10.
  • the positioning device 40 can determine the current position of the vehicle and communicate it to the control unit 10 to determine the context and / or to provide information.
  • the driver assistance system 1 can have an external camera which generates image data of a vehicle environment.
  • the control unit 10 can display the object to which the user 3 relates for confirmation by the user 3 on a display unit 50. If the confirmation is given by the user 3, the control unit 10 can output the information 30 desired by the user 3. This output can be done visually via a display unit 50 but also acoustically via a loudspeaker 51.
  • the driver assistance system 1 can thus enter into a dialog with the user 3.
  • the control unit 10 can make a preselection based on the specific context and display it to the user 3 or
  • control unit 10 can interrupt or postpone the dialog with the driver if the driver determines from the environmental situation that there is currently no interaction with the user.
  • the vehicle 3 shows a vehicle 2 with a driver assistance system 1.
  • the driver assistance system 1 can use sensors and a control unit already present in the vehicle 2, so that the driver assistance system 1 can be implemented simply, quickly and inexpensively.
  • step S20 the user is observed, for example by an interior camera, and the image data of the user is acquired.
  • step S21 audio data of the user are acquired and a voice command is determined therein.
  • the voice command is analyzed in step S22. If the voice command concerns the vehicle environment, the method continues in step S23, if not, the method starts again in step S20.
  • step S23 the gesture, posture and / or facial expressions are recognized in the image data of the user.
  • Step S24 can take place as part of step S23 (facial expression recognition) or can be carried out as a separate step in which the user's perspective is determined.
  • step S25 a focused area in the vehicle surroundings, which the user is looking at, can be determined by means of the viewing direction and image data of an external camera.
  • step S26 it is checked whether an interaction or a dialogue with the user is currently possible. If this is not possible, it starts Procedure again at step S20. If interaction with the user is possible, the process can continue with step S27.
  • step S27 it is checked whether an object has been clearly recognized by the driver assistance system based on the voice command and the gestures, the posture and / or the facial expressions. If the object was clearly recognized, the requested information is output to the user in step S30.
  • step S28 the user can be shown an image or an image area on a display unit in step S28, in which the object intended by the user can be located.
  • step S29 a dialog can take place with the user, in which the user defines and / or confirms the object he is referring to. If this has happened, the method can be continued again in step S27.
  • step S1 image and audio data of a user of the vehicle are recorded by a sensor arrangement.
  • step S2 image data from a vehicle environment are acquired.
  • step S3 a gesture, a posture and / or facial expressions of the user are recognized by a control unit based on the captured image data of the user.
  • step S4 based on the recorded audio data, a voice command from the user is recognized by the control unit.
  • step S5 the control unit recognizes an environmental situation based on the captured image data of the vehicle environment.
  • step S6 a context is determined on the basis of the recognized gesture, posture and / or facial expressions, on the basis of the recognized voice command and on the basis of the recognized surrounding situation.
  • step S7 information is provided to the user based on the specific context. This information can be related in particular to the current vehicle environment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Fahrerassistenzsystem (1) für ein Fahrzeug (2). Das Fahrerassistenzsystem (1) weist eine Sensoranordnung (20) und eine Steuereinheit (10) auf. Die Sensoranordnung (20) ist dazu eingerichtet, Bilddaten eines Benutzers des Fahrzeugs und Audiodaten des Benutzers zu erfassen. Die Steuereinheit (10) ist dazu eingerichtet ist, eine Gestik, eine Körperhaltung und/oder eine Mimik des Benutzers basierend auf den Bilddaten des Benutzers zu erkennen. Des Weiteren ist die Steuereinheit dazu eingerichtet, in den erfassten Audiodaten einen Sprachbefehl des Benutzers zu erkennen. Ferner ist die Steuereinheit dazu eingerichtet, anhand der erkennten Gestik, Körperhaltung und/oder Mimik, sowie anhand des erkannten Sprachbefehls einen Kontext zu bestimmen und dem Benutzer eine Information basierend auf dem bestimmten Kontext bereitzustellen.

Description

Beschreibung
- Fahrerassistenzsystem für ein Fahrzeug -
Die Erfindung betrifft ein Fahrerassistenzsystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Fahrerassistenzsystem, ein Verfahren zur Bereitstellung von Informationen für einen Benutzer, ein Computerprogrammelement und ein computerlesbares Speichermedium.
In modernen Fahrzeugen werden zunehmend Fahrerassistenzsysteme verbaut, um den Fahrer während des Fahrens zu unterstützen. Ferner können Fahrerassistenzsysteme Funktionen des Beifahrers, wie z.B. die Routenführung, übernehmen. Für den Fahrer und/oder einen Benutzer des Fahrzeugs, wie einen Passagier, können, insbesondere in einer unbekannten Umgebung, zusätzliche In formationen hilfreich sein, welche die Fahrzeugumgebung be treffen .
Es ist eine Aufgabe der Erfindung, dem Benutzer eines Fahrzeugs Informationen bereitzustellen.
Diese Aufgabe wird durch den Gegenstand der unabhängigen An sprüche gelöst. Ausführungsformen und Weiterbildungen sind den abhängigen Ansprüchen, der Beschreibung und den Figuren zu entnehmen .
Ein erster Aspekt der Erfindung betrifft ein Fahrerassis tenzsystem für ein Fahrzeug. Das Fahrerassistenzsystem weist eine Sensoranordnung und eine Steuereinheit auf. Die Senso ranordnung ist dazu eingerichtet, Bilddaten eines Benutzers des Fahrzeugs und Audiodaten des Benutzers zu erfassen. Die
Steuereinheit ist dazu eingerichtet, eine Gestik, eine Kör perhaltung und/oder eine Mimik des Benutzers basierend auf den Bilddaten des Benutzers zu erkennen. Des Weiteren ist die Steuereinheit dazu eingerichtet, in den erfassten Audiodaten einen Sprachbefehl des Benutzers zu erkennen. Ferner ist die Steuereinheit dazu eingerichtet, anhand der erkennten Gestik, Körperhaltung und/oder Mimik, sowie anhand des erkannten Sprachbefehls einen Kontext zu bestimmen und dem Benutzer eine Information basierend auf dem bestimmten Kontext bereitzu stellen .
Während einer Fahrt kann es Vorkommen, dass dem Benutzer eines Fahrzeugs, z.B. einem Fahrer, einem Beifahrer und/oder einem Passagier, Fragen aufkommen, welche insbesondere einen Bezug zu der aktuellen Fahrzeugumgebung haben. Beispielsweise richtet der Benutzer seinen Blick kurz auf ein Objekt in der Umgebung und sagt „Was ist das für ein altes Gebäude?". Ein ortskundiger Beifahrer würde wohl Antworten „meinst du das gelbe Gebäude auf der rechten Seite? Das ist das Schloss xyz" oder „Welches Gebäude meinst du? Das gelbe Gebäude auf der rechten Seite oder das weiße Gebäude davor?". Diese Aufgäbe bzw . Interaktion kann das vorhergehend und nachfolgend beschriebene Fahrerassistenzsystem übernehmen. Dieses kann als ein intelligenter Fahrbegleiter dienen, mit welchem ein natürlicher Dialog (über Sprache und Gestik) möglich ist .
Hierfür kann das Fahrerassistenzsystem eine Sensoranordnung und eine Steuereinheit aufweisen. Die Sensoranordnung kann Bilddaten und Audiodaten des Benutzers erfassen und an die Steuereinheit zur Auswertung weitergeben. Die Steuereinheit kann basierend auf den Bilddaten des Benutzers eine Gestik, wie beispielweise eine Fingerbewegung, eine Körperhaltung, z.B. die KopfStellung, und/oder eine Mimik, beispielsweise eine Blickrichtung, er kennen. In den erfassten Audiodaten des Benutzers kann die Steuereinheit einen Sprachbefehl erkennen, wie z.B. „Was ist das für ein altes Gebäude?". Ferner kann der Benutzer natursprachige Fahrerinformation im Zusammenhang mit dem Verkehr und dem Fahren, z. B. „gilt das Tempolimit 80 für mich?", „kann ich dort drüben einfahren?", „Buche mir bitte einen Platz in dem Restaurant dort drüben" oder „was ist das für eine Automarke dort drüben?" an das Fahrerassistenzsystem richten. Basierend auf der erkannten Mimik, Gestik und/oder Körperhaltung und basierend auf dem Sprachbefehl kann die Steuereinheit ein Objekt identifizieren, welches von dem Benutzer gemeint ist. Ferner kann die Steu ereinheit Informationen für den Benutzer bezüglich des Objekts bereitstellen, gezielt weitere Informationen bei dem Benutzer nachfragen und/oder sich das erkannte Objekt bestätigen lassen. Die Steuereinheit kann die Informationen visuell, beispielsweise über eine Anzeigeeinheit wie ein Bildschirm, und/oder akustisch, über das Infotainmentsystem des Fahrzeugs, an den Benutzer ausgeben. Die Information können beispielsweise aus einer digitalen Straßenkarte bzw. einer Datenbank in Verbindung mit der aktuellen Position des Fahrzeugs stammen. Alternativ oder zusätzlich kann die Steuereinheit Bilddaten der Fahrzeugumgebung mit der Blickrichtung kombinieren und Objekte in den Bilddaten der Fahrzeugumgebung erkennen.
Die Sensoranordnung kann mehrere Sensoreinheiten am und im Fahrzeug aufweisen. Diese können auch bereits im Fahrzeug vorhanden sein. Eine Innenraumkamera kann den Benutzer be obachten und somit die Gestik, die Körperhaltung und/oder die Mimik des Benutzers erfassen. Ein Mikrofon kann die Audiodaten des Benutzers erfassen, welche einen Sprachbefehl bezüglich der Umgebung aufweisen können. Des Weiteren kann die Blickrichtung und die Kopf-/Körperhaltung des Benutzers zum Zeitpunkt, indem welchem die Audiodaten erfasst wurden, erkannt werden. Auch zusätzliche Gesten, z. B. ein Fingerzeig, können von der Sensoranordnung erfasst werden. Aus der Blickrichtung, Kopf-/Körperhaltung und Gesten des Benutzers kann ein Winkel bzw. ein Blickwinkel (in den Fahr zeugkoordinaten) ermittelt werden, welcher mit der Blickrichtung des Benutzers korrespondiert. Ausgehend von der Position des Fahrzeugs und entlang dem zuvor ermittelten Blickwinkel des Benutzers kann ein fokussierter Bereich in der Umgebung (in reellen Koordinaten) bestimmt werden, welchen der Benutzer mit seinem Sprachbefehl und seiner Geste gemeint haben könnte. Die Sensoranordnung kann ferner eine Außenkamera aufweisen, welche Bilddaten der Fahrzeugumgebung erfasst. Diese Bilddaten können ebenfalls durch die Steuereinheit analysiert werden, um darin Objekte zu erkennen, welche mit dem vom Benutzer erkannten Geste und dem Sprachbefehl korrespondieren. Zum Beispiel können Objekte erkannt werden, welche mit der Geste, der Körperhaltung und/oder der Mimik und mit dem Sprachbefehl des Benutzers korrespondieren. Hierzu kann der fokussierte Bereich des Be nutzers genutzt werden. Dieser kann wiederum in die durch die Außenkamera erfassten Bilddaten projiziert und dem Benutzer auf einer Anzeigeeinheit, wie beispielsweise einem Display, an gezeigt werden.
Sollte auf den Bilddaten der Fahrzeugumgebung kein Objekt existieren, welches direkt mit der Frage des Fahrers verknüpft werden kann, kann ein Bildausschnitt adaptiert werden, bis der Benutzer Fahrer seine Bestätigung gibt. Die Adaptierung des Bildabschnittes kann ebenfalls über einen natürlichen Dialog mit dem Benutzer erfolgen, beispielsweise wie „Bisschen weiter nach links?" (rechts/oben/unter) oder „Ist das Gebäude nun im markierten Bereich?". Alternativ oder zusätzlich kann der Benutzer durch eine Touch- oder Tasteneingabe, z.B. per
Wischgeste, den entsprechenden Bildausschnitt wählen bzw. markieren. Nach dem Erfolgen der Adaption, kann der Benutzer durch die Steuereinheit aufgefordert werden das Objekt, welches er in dem Sprachbefehl gemeint hat auf der Anzeigeeinheit zu bestätigen, z.B. über Antippen oder Bestätigen. Alternativ oder zusätzlich kann der Blickwinkel, mit welcher der Benutzer das Objekt auf der Anzeigeeinheit betrachtet, zur Identifizierung des in Frage kommenden Objektes genutzt werden. Dadurch kann eine automatische Feststellung des Objektes erfolgen. Es sei an gemerkt, dass das zu bestätigende Objekt auf der Anzeigeeinheit farbig hervorgehoben werden kann, beispielsweise mit einem Objektrahmen oder durch Einfärben des Objektes. Alternativ oder zusätzlich kann eine Audioausgabe erfolgen, welcher der Ob jektname aus einer Datenbank bekannt sein kann. Die Information bezüglich des ausgewählten Objekts kann die Steuereinheit aus einer Datenbank (lokal gespeichert) , von einer Cloud (ge schützter Fernzugriff) oder aus dem Internet beziehen. Bei spielsweise kann das Fahrerassistenzsystem ein digitaler As sistent sein, welcher verschiedene Technologien verwendet, um eine Information für den Benutzer bereitzustellen. Hierbei kann eine Fahrerbeobachtung, eine Gestenerkennung, eine Inten tionserkennung, beispielsweise über den Terminkalender des Benutzers, eine natürliche Spracherkennung und/oder ein lo- cation-based Informationsdienst zum Einsatz kommen. Insbe sondere können Informationen für Points of Interest (POIs) , wie beispielsweise historische oder markante Gebäude, berühmte Museen, Straßen und Plätze aber auch über Verkehrszeichen sowie dynamische Verkehrsereignisse bereitgestellt werden.
Es sei angemerkt, dass die Steuereinheit eine elektronische Schaltung, ein Schaltkreis, ein Rechenwerk, eine Recheneinheit, ein Prozessor oder ein Steuergerät sein kann. Ferner kann die Steuereinheit auch eine Speichereinheit aufweisen, welche die durch die Steuereinheit benötigten und/oder erzeugten Daten speichert .
Gemäß einer Ausführungsform der Erfindung betrifft die In formation oder der Kontext ein Element der Fahrzeugumgebung. Insbesondere können Informationen bezüglich Points of Interest, welche sich in der Nähe zum Fahrzeug befinden bereitgestellt werden .
Gemäß einer Ausführungsform der Erfindung ist die Sensoran ordnung dazu eingerichtet, Bilddaten einer Fahrzeugumgebung zu erfassen und die Steuereinheit ist dazu eingerichtet, basierend auf den Bilddaten der Fahrzeugumgebung eine aktuelle Umge bungssituation zu erkennen und diese in der Bestimmung des Kontextes zu berücksichtigen.
Zum Beispiel kann die Sensoranordnung auch eine Außenkamera aufweisen, welche Bilddaten der Fahrzeugumgebung erfasst. Durch das Bestimmen der aktuellen Umgebungssituation kann die erkannte Geste, Körperhaltung oder Mimik und sowie der Sprachbefehl mit zusätzlichen Kontext versehen werden. Des Weiteren kann so über eine Objekterkennung ein in Frage kommendes Objekt in den Bilddaten der Fahrzeugumgebung erkannt werden. Ferner können dem Benutzer die Bilddaten der Außenkamera mit dem in Frage kommenden Objekt dargestellt werden.
Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, zur Erkennung der Gestik, der Körperhaltung und/oder der Mimik, der Umgebungssituation und des Sprachbefehls bei der Bestimmung des Kontextes ein künstliches neuronales Netz zu verwenden.
Zur schnellen, verlässlichen und sichereren Auswertung bzw. Analyse der Audio- und Bilddaten der Sensoranordnung kann durch die Steuereinheit ein künstliches neuronales Netz verwendet werden. Dieses kann explizit darauf trainiert sein, die Gestik, die Mimik oder die Körperhaltung, sowie den Sprachbefehl des Benutzers in den Sensordaten zu erkennen. Hierbei kann ein rekurrentes neuronales Netz (RNN) oder ein convolutional neural Network (CNN) eingesetzt werden.
Dazu können Verfahren zur Mustererkennung, beispielsweise neuronaler Netze, bekannte Formen, wie z.B. die Augen oder das ganzen Gesicht, herangezogen werden. Diese bekannten Formen können in den Bilddaten durch die Mustererkennung wieder aufgefunden werden und die geometrische Position optimal ge schätzt werden. Dies kann weiter verbessert werden, wenn ein kinematisches Modell eines Menschen geschätzt wird, dessen zweidimensionalen Projektionen des vom Kamerasystem aufge nommenen Bildes entspricht. Als Optimalschätzer können bei spielsweise Kalman-Filter herangezogen werden, die für die in Frage kommenden kinematischen Winkel des Models optimale Werte für die zweidimensionale Kameraprojektion bestimmen. Aus der geometrischen Lage und der Größe der bekannten Formen, z.B. der Pupillenmittelpunkte, der Nasenspitze und/oder der Mundwinkel lassen sich somit die interessierenden Größen für Blickwinkel oder Zeigerichtunq bestimmt werden.
Gemäß einer Ausführungsform der Erfindung weist das Fahrer assistenzsystem ferner einer Anzeigeeinrichtung auf. Die Steuereinheit ist dazu eingerichtet, die Anzeigeeinrichtung anzuleiten ein Bild anzuzeigen und/oder einen Teil eines Bildes zu markieren, welches mit dem bestimmten Kontext korrespondiert .
Beispielsweise kann die Steuereinheit ein Bild, vorzugsweise das Kamerabild der Außenkamera auf einer Anzeigeeinheit anzeigen und in diesem Bild das Objekt, für welches sich der Benutzer in teressiert, markieren. Die Anzeigeeinheit kann beispielsweise ein Display oder ein Monitor innerhalb des Fahrzeugs sein. Somit kann dem Benutzer visuell dargestellt werden, zu welchem Objekt die Informationen durch das Fahrerassistenzsystem bereitge stellt werden. Alternativ oder zusätzlich kann auch ein Bild aus der Datenbank, dem Internet oder der digitalen Straßenkarte angezeigt werden, um den Kontext genauer zu bestimmen. Somit kann das Fahrerassistenzsystem mit dem Benutzer in einen Dialog treten. Alternativ oder zusätzlich kann die Steuereinheit des Fahrerassistenzsystems basierend auf dem bestimmten Kontext eine Vorauswahl treffen und diese dem Benutzer zur Verfügung stellen. Aus dieser Auswahl kann anschließend der Benutzer auswählen. Alternativ oder zusätzlich kann die Steuereinheit auf bereits vergangene Bilddaten der Fahrzeugumgebung zugreifen und darin in Frage kommende Objekte identifizieren und dem Benutzer zur Auswahl stellen.
Gemäß einer Ausführungsform der Erfindung ist das angezeigte Bild und/oder der markierte Teil des Bildes durch einen Sprachbefehl oder durch eine Eingabe des Benutzers anpassbar. Somit kann der Benutzer den Bildausschnitt verschieben und weiter gezielt Informationen zu einem bestimmten Objekt in der Fahrzeugumgebung dem Fahrerassistenzsystem mitteilen.
Gemäß einer Ausführungsform der Erfindung ist das angezeigte Bild und/oder der markierte Teil des Bildes durch den Benutzer identifizierbar und bestätigbar, vorzugsweise mittels eines Antippens auf der Anzeigeeinrichtung.
Beispielsweise kann der Benutzer eine durch das Fahrerassis tenzsystem getroffene Auswahl bezüglich eines Objekts ansehen, identifizieren und dem System gegenüber bestätigen. Alternativ oder zusätzlich kann die Bestätigung auch akustisch oder durch einen Tastendruck erfolgen.
Gemäß einer Ausführungsform der Erfindung weist das Fahrer assistenzsystem ferner eine Positionierungseinrichtung auf. Die Positionierungseinrichtung ist dazu eingerichtet, die aktuelle Position des Fahrzeugs zu bestimmen. Die Steuereinheit ist dazu eingerichtet, die aktuelle Position zu berücksichtigen, um dem Benutzer die Information bereitzustellen.
Dadurch, dass die Position des Fahrzeugs bekannt ist, können die in Frage kommenden Objekte eingeschränkt werden. Ferner können der Sprachbefehl und die Geste mit Informationen der digitalen Karte oder der Datenbank in Verbindung gebracht werden. Die Position kann beispielsweise über ein globales Positionie rungssystem, z.B. GPS, Galileo, Baidou oder GLONASS, oder aber über eine Zellpositionierung mit Hilfe von Mobilfunknetzen bestimmt werden.
Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, den Kontext mit Beginn der Gestik, der Körperhaltung und/oder der Mimik zu bestimmen.
Beispielsweise kann das Fahrerassistenzsystem bereits mit der Bestimmung des Kontextes beginnen und demensprechend Bilddaten analysieren, wenn der Benutzer das erste Mal eine Reaktion zeigt und nicht erst nach dem Beenden des Sprachbefehls . Somit kann auch einem sich schnell veränderten Fahrzeugumfeld, z.B. während der Fahrt, Rechnung getragen werden. Hierfür können die Bilddaten der Außenkamera und/oder der Innenraumkamera gespeichert werden und die Bilddaten zum Zeitpunkt der Reaktion des Benutzers können zur Bestimmung des Kontextes bzw. zur Bestimmung des in Frage kommenden Objekts herangezogen werden.
Gemäß einer Ausführungsform der Erfindung weist die Senso ranordnung ein Mikrofon, eine Innenraumkamera, eine Außenkamera, einen Radarsensor, einen Lidarsensor, einen Infrarotsensor, einen Ultraschallsensor und/oder eine Kombination hieraus auf. Ferner können bereits im Fahrzeug befindliche Sensoren oder Sensordaten durch die Sensoranordnung verwendet werden. Gemäß einer Ausführungsform der Erfindung weist die Gestik, die Körperhaltung und/oder die Mimik des Benutzers einen Blick winkel, eine Blickrichtung, eine Kopfhaltung, einen Ge- sichtsausdruck, eine Handbewegung, eine Fingerbewegung und/oder einen fokussierten Bereich auf.
Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, eine Interaktion mit dem Benutzer (3) zu unterlassen, wenn basierend auf der Gestik, der Körperhaltung und/oder der Mimik und/oder der Umgebungssituation festgestellt wird, dass eine gefährliche Fahrsituation vorliegt.
Beispielweise kann die Steuereinheit feststellen, ob aktuell eine Interaktion mit dem Benutzer möglich bzw. sinnvoll ist. Beispielsweise kann während einer anstrengenden oder risiko reicheren Fahrsituation eine Interaktion zwischen dem Fah rerassistenzsystem und dem Benutzer unterbleiben. Alternativ oder zusätzlich kann die Interaktion mit dem Benutzer unter brochen werden und zu einem späteren Zeitpunkt wieder aufge griffen werden. Es sei angemerkt, dass die Fahrsituation bzw. die Kritikalität dieser aus Telematik-Daten und über Daten in Bezug auf die Verkehrslage ermittelt werden kann. Insbesondere können die Verkehrsdichte, über eine Außenkamera, die Durchschnitt geschwindigkeit und die Komplexität des Straßennetzes in die Bestimmung der Kritikalität der Fahrsituation mit einbezogen werden .
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem vorhergehend und nachfolgend beschriebenen Fahrerassistenz system.
Bei dem Fahrzeug handelt es sich beispielsweise um ein
Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen, oder aber auch um ein Schienenfahrzeug, ein Schiff, ein Luftfahrzeug, wie Helikopter oder Flugzeug, oder beispielsweise um ein Fahrrad.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Bereitstellung von Informationen für einen Benutzer eines Fahrzeugs, die folgenden Schritte aufweisend:
Erfassen von Bild- und Audiodaten eines Benutzers des Fahrzeugs ;
Erfassen von Bilddaten einer Fahrzeugumgebung;
Erkennen, durch eine Steuereinheit, einer Gestik, einer Körperhaltung und/oder einer Mimik des Benutzers basierend auf den erfassten Bilddaten des Benutzers;
Erkennen, durch die Steuereinheit, eines Sprachbefehls des Benutzers basierend auf den erfassten Audiodaten;
Bestimmen, durch die Steuereinheit, eines Kontextes anhand der erkannten Gestik, der Körperhaltung und/oder der Mimik und anhand des erkannten Sprachbefehls ; und
Bereitstellen einer Information basierend auf dem be stimmten Kontext.
Es sei angemerkt, dass die Schritte des Verfahrens auch in einer anderen Reihenfolge oder gleichzeitig ausgeführt werden können. Ferner kann zwischen einzelnen Schritten auch eine längere Zeitspanne liegen.
Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, das, wenn es auf einer Steuereinheit eines Fahrerassistenz systems ausgeführt werden, das Fahrerassistenzsystem anleitet, das vorhergehend und nachfolgend beschriebene Verfahren durchzuführen .
Ein weiterer Aspekt der Erfindung betrifft ein computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf einer Steuereinheit eines Fahrerassistenzsystems aus- geführt wird, das Fahrerassistenzsystem anleitet, das vor hergehend und nachfolgend beschriebene Verfahren durchzuführen.
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele und der Figuren.
Die Figuren sind schematisch und nicht maßstabsgetreu. Sind in der nachfolgenden Beschreibung der Figuren gleiche Bezugszeichen angegeben, so bezeichnen diese gleiche oder ähnliche Elemente.
Fig. 1 zeigt ein Blockdiagramm eines Fahrerassistenzsystems gemäß einer Ausführungsform der Erfindung.
Fig. 2 zeigt ein weiteres Blockdiagramm eines Fahrerassis tenzsystems gemäß einer Ausführungsform der Erfindung.
Fig. 3 zeigt ein Fahrzeug mit einem Fahrerassistenzsystem gemäß einer Ausführungsform der Erfindung.
Fig. 4 zeigt Ablaufdiagramm für ein Verfahren zur Bereitstellung von Informationen für einen Benutzer gemäß einer Ausführungsform der Erfindung.
Fig. 5 zeigt ein Flussdiagramm für ein Verfahren zur Bereit stellung von Informationen für einen Benutzer gemäß einer Ausführungsform der Erfindung.
Fig. 1 zeigt eine Fahrerassistenzsystem 1. Dieses Fahreras sistenzsystem 1 weist eine Steuereinheit 10, eine Sensoran ordnung 20, eine Positionierungseinrichtung 40 und eine An zeigeeinheit 50 auf. Die Sensoranordnung 20 erfasst Sensordaten eines Benutzers und insbesondere Bilddaten und Audiodaten des Benutzers. Des Weiteren kann die Sensoranordnung 20 auch Bilddaten einer Fahrzeugumgebung erfassen, beispielsweise von Gebäuden oder einem Platz. Die Sensoranordnung 20 kann bei spielsweise eine Innenraumkamera, eine Außenkamera, ein Mik rofon, einen Radarsensor, einen Infrarotsensor, einen Ultra schallsensor oder einen Lidarsensor aufweisen oder auf bereits im Fahrzeug vorhandene Sensoren zurückgreifen. Die Steuereinheit 10 erhält die von der Sensoranordnung 20 erfassten Sensordaten und wertet diese aus bzw. analysiert diese. Ferner kann die Steuereinheit 10 eine Geste, eine Körperhaltung und/oder eine Mimik von dem Benutzer in den Bilddaten der Sensoranordnung erkennen. Die erkannte Geste, Körperhaltung und/oder Mimik kann beispielsweise ein Winken, ein Zeigen mit der Hand, ein
Handzeichen, eine Kopfbewegung, eine Blickrichtung, ein
Blickwinkel, ein Gesichtsausduck oder ein fokussierter Bereich sein. Der Sprachbefehl kann insbesondere eine Frage des Benutzers sein. Zur Erkennung der Geste, der Körperhaltung und/oder der Mimik, sowie des Sprachbefehls kann die Steuereinheit 10 ein künstliches neuronales Netz aufweisen, welches die von der Sensoranordnung 20 erfassten Sensordaten auswertet bzw. ana lysiert. Sobald die Steuereinheit 10 die Geste, die Körperhaltung und/oder die Mimik, sowie den Sprachbefehl des Benutzers erkannt hat, kann die Steuereinheit 10 einen Kontext bestimmen und entsprechend dieses Kontextes eine Information 30 an den Benutzer ausgeben, welche mit der erkannten Geste, Körperhaltung und/oder Mimik, sowie dem Sprachbefehl korrespondiert. Diese Ausgabe kann beispielsweise visuell über die Anzeigeeinheit 50 geschehen. Alternativ oder zusätzlich ist auch eine akustische Ausgabe der Information 30 an den Benutzer möglich. Die Steuereinheit 10 kann basierend auf der Geste, der Körperhaltung und/oder der Mimik in Verbindung mit dem Sprachbefehl die Information 30 an den Benutzer bereitstellen . Insbesondere betrifft die Information 30 ein Objekt der direkten Fahrzeugumgebung. Die Positionie rungseinrichtung 40 übergibt die aktuelle Fahrzeugposition an die Steuereinheit 10 anhand der die Erfassung der Umgebungs- Situation mittels der Kartendaten um die aktuelle Fahrzeug position verbessert werden kann.
Alternativ oder zusätzlich kann die Steuereinheit 10 die aktuelle Umgebungssituation bestimmen, z.B. Stau, fahren in der Stadt, fahren auf der Autobahn, fahren in einer 30er Zone oder fahren in einer Baustelle. Diese Umgebungssituation kann die Steu ereinheit 10 dazu verwenden, um die erkannte Geste, die erkannte Körperhaltung, die erkannte Mimik und den Sprachbefehl in einen weiteren Kontext zu rücken und zu verifizieren, zu überprüfen oder zu plausibilisieren .
Fig. 2 zeigt eine detaillierte Ansicht des Fahrerassistenz systems 1 aus Fig. 1. Die Sensoranordnung 20 kann eine In nenraumkamera 21 und ein Mikrofon 22 aufweisen, welche Bild- bzw. Audiodaten des Benutzers 3 erfassen. Diese Daten können an die Steuereinheit 10 weitergeleitet werden. Ferner kann die Po sitionierungseinrichtung 40 die aktuelle Position des Fahrzeugs bestimmen und der Steuereinheit 10 zur Ermittlung des Kontextes und/oder zur Informationsbereitstellung mitteilen. Ferner kann das Fahrerassistenzsystem 1 eine Außenkamera aufweisen, welche Bilddaten einer Fahrzeugumgebung erzeugt. Die Steuereinheit 10 kann das Objekt, auf welches sich der Benutzer 3 bezieht zur Bestätigung durch den Benutzer 3 auf einer Anzeigeeinheit 50 darstellen. Erfolgt durch den Benutzer 3 die Bestätigung, kann die Steuereinheit 10 die durch den Benutzer 3 gewünschte In formation 30 ausgegeben werden. Diese Ausgabe kann visuell über eine Anzeigeeinheit 50 aber auch akustisch über einen Laut sprecher 51 erfolgen. Somit kann das Fahrerassistenzsystem 1 mit dem Benutzer 3 in einen Dialog treten. Des Weiteren kann die Steuereinheit 10 basierend auf dem bestimmten Kontext eine Vorauswahl treffen und diese dem Benutzer 3 anzeigen bzw.
ausgeben. Somit kann auf einfache und schnelle Weise der genaue Kontext bestimmt werden. Des Weiteren kann die Bestimmung des Kontextes bereits mit der Erkennung der Gestik, Körperhaltung und/oder Mimik erfolgen und nicht erst mit Ende des Sprach- befehls. Somit kann auch auf schnelle Ereignisse während der Fahrt reagiert werden. Alternativ oder zusätzlich kann die Steuereinheit 10 den Dialog mit dem Fahrer unterbrechen bzw. verschieben, wenn diese anhand der Umgebungssituation fest stellt, dass zurzeit keine Interaktion mit dem Benutzer zu erfolgen hat.
Fig. 3 zeigt ein Fahrzeug 2 mit einem Fahrerassistenzsystem 1. Das Fahrerassistenzsystem 1 kann hierbei auf bereits im Fahrzeug 2 vorhandene Sensoren und eine Steuereinheit zurückgreifen, sodass eine einfache, schnelle und kostengünstige Realisierung des Fahrerassistenzsystems 1 möglich ist.
Fig. 4 zeigt ein Ablaufplan für ein Verfahren zur Bereitstellung von Informationen für einen Benutzer. In einem ersten Schritt S20 erfolgt die Beobachtung des Benutzers, beispielsweise durch eine Innenraumkamera, und die Erfassung von Bilddaten des Benutzers. In Schritt S21 werden Audiodaten des Benutzers erfasst und darin ein Sprachbefehl bestimmt. In Schritt S22 wird der Sprachbefehl analysiert. Wenn der Sprachbefehl die Fahrzeugumgebung betrifft, wird das Verfahren in Schritt S23 fortgesetzt, wenn nicht, beginnt das Verfahren wieder in Schritt S20. In dem Schritt S23 wird die Geste, die Körperhaltung und/oder die Mimik in den Bilddaten des Benutzers erkannt. Schritt S24 kann als Teil von Schritt S23 (Mimikerkennung) erfolgen oder aber als separater Schritt durchgeführt werden, in welchem der Blickwinkel des Benutzers bestimmt wird. Im Anschließenden Schritt S25 kann mittels der Blickrichtung und von Bilddaten einer Außenkamera ein fokussierter Bereich in der Fahrzeugumgebung bestimmt werden, welchen der Benutzer gerade ansieht. In Schritt S26 wird überprüft, ob eine Interaktion bzw. ob ein Dialog mit dem Benutzer zurzeit möglich ist. Ist dies nicht möglich so beginnt das Verfahren wieder bei Schritt S20. Ist eine Interaktion mit dem Benutzer möglich, so kann mit Schritt S27 fortgefahren werden. In Schritt S27 wird überprüft, ob ein Objekt durch das Fah rerassistenzsystem basierend auf dem Sprachbefehl und der Gestik, der Körperhaltung und/oder der Mimik eindeutig erkannt wurde. Wurde das Objekt eindeutig erkannt, werden die angefragten Informationen in Schritt S30 an den Benutzer ausgegeben. Wurde das Objekt nicht eindeutig erkannt, kann in Schritt S28 dem Benutzer ein Bild bzw. ein Bildbereich auf einer Anzeigeeinheit angezeigt werden, in welchem sich das vom Benutzer gemeinte Objekt befinden kann. In Schritt S29 kann ein Dialog mit dem Benutzer erfolgen, in welchem dieser das von ihm gemeinte Objekt näher definiert und/oder bestätigt. Ist dies geschehen kann das Verfahren wieder in Schritt S27 fortgesetzt werden.
Fig. 5 zeigt ein Flussdiagramm für ein Verfahren zur Bereit stellung von Informationen für einen Benutzer eines Fahrzeugs. In einem Schritt S1 werden Bild- und Audiodaten eines Benutzers des Fahrzeugs durch eine Sensoranordnung erfasst. In Schritt S2 werden Bilddaten von einer Fahrzeugumgebung erfasst. In einem Schritt S3 wird, durch eine Steuereinheit, eine Gestik, eine Körperhaltung und/oder eine Mimik des Benutzers basierend auf den erfassten Bilddaten des Benutzers erkannt. In Schritt S4 wird, basierend auf den erfassten Audiodaten, durch die Steuereinheit ein Sprachbefehl des Benutzers erkannt. In Schritt S5 wird durch die Steuereinheit eine Umgebungssituation basierend auf den erfassten Bilddaten der Fahrzeugumgebung erkannt. In Schritt S6 wird ein Kontext anhand der erkannten Gestik, der Körperhaltung und/oder der Mimik, anhand des erkannten Sprachbefehls sowie anhand der erkannten Umgebungssituation bestimmt. In einem Schritt S7 wird eine Information dem Benutzer basierend auf dem bestimmten Kontext bereitgestellt. Diese Information kann insbesondere mit der aktuellen Fahrzeugumgebung in Zusammenhang stehen .

Claims

Patentansprüche
1. Fahrerassistenzsystem (1) für ein Fahrzeug (2), aufweisend:
- eine Sensoranordnung (20); und
- eine Steuereinheit (10),
wobei die Sensoranordnung (20) dazu eingerichtet ist, Bilddaten (21) eines Benutzers (3) des Fahrzeugs (2) und Au- diodaten (22) des Benutzers (3) zu erfassen,
wobei die Steuereinheit (10) dazu eingerichtet ist, eine Gestik, eine Körperhaltung und/oder eine Mimik des Benutzers (3) basierend auf den Bilddaten (21) des Benutzers (3) zu erkennen, wobei die Steuereinheit (10) ferner dazu eingerichtet ist, in den erfassten Audiodaten (22) einen Sprachbefehl des Benutzers (3) zu erkennen, und
wobei die Steuereinheit (10) dazu eingerichtet ist, anhand der erkennten Gestik, Körperhaltung und/oder Mimik, sowie anhand des erkannten Sprachbefehls einen Kontext zu bestimmen und dem Benutzer (3) eine Information (30) basierend auf dem bestimmten Kontext bereitzustellen.
2. Fahrerassistenzsystem (1) gemäß Anspruch 1,
wobei der Kontext ein Element der Fahrzeugumgebung be trifft .
3. Fahrerassistenzsystem (1) gemäß Anspruch 1 oder 2,
wobei die Sensoranordnung (20) ferner dazu eingerichtet ist, Bilddaten einer Fahrzeugumgebung zu erfassen und wobei die Steuereinheit (10) dazu eingerichtet ist, basierend auf den Bilddaten der Fahrzeugumgebung eine aktuelle Umgebungssituation zu erkennen und diese in der Bestimmung des Kontextes zu be rücksichtigen .
4. Fahrerassistenzsystem (1) gemäß einem der vorhergehenden
Ansprüche, wobei die Steuereinheit (10) dazu eingerichtet ist, zur Erkennung der Gestik, der Körperhaltung und/oder der Mimik, der Umgebungssituation und des Sprachbefehls und bei der Bestimmung des Kontextes ein künstliches neuronales Netz zu verwenden.
5. Fahrerassistenzsystem (1) gemäß einem der vorhergehenden Ansprüche, ferner eine Anzeigeeinrichtung aufweisend,
wobei die Steuereinheit (10) dazu eingerichtet ist, die Anzeigeeinrichtung (50) anzuleiten ein Bild anzuzeigen und/oder einen Teil eines Bildes zu markieren, welches mit dem bestimmten Kontext korrespondiert.
6. Fahrerassistenzsystem (1) gemäß Anspruch 5,
wobei das angezeigte Bild und/oder der markierte Teil des Bildes durch eine Eingabe des Benutzers (3) anpassbar ist.
7. Fahrerassistenzsystem (1) gemäß Anspruch 5 oder 6,
wobei das angezeigte Bild und/oder der markierte Teil des
Bildes durch den Benutzer (3) identifizierbar und bestätigbar ist, vorzugsweise mittels eines Antippens auf der Anzeige einrichtung (50).
8. Fahrerassistenzsystem (1) gemäß einem der vorhergehenden Ansprüche, ferner eine Positionierungseinrichtung (40) auf weisend, welche dazu eingerichtet ist, die aktuelle Position des Fahrzeugs (2) zu bestimmen,
wobei die Steuereinheit (10) dazu eingerichtet ist, die aktuelle Position bei der Bestimmung des Kontextes zu be rücksichtigen, um dem Benutzer (3) die Information (30) be reitzustellen.
9. Fahrerassistenzsystem (1) gemäß einem der vorhergehenden Ansprüche, wobei die Steuereinheit (10) dazu eingerichtet ist, den Kontext mit Beginn der Gestik, der Körperhaltung und/oder der Mimik zu bestimmen.
10. Fahrerassistenzsystem (1) gemäß einem der vorhergehenden Ansprüche,
wobei die Gestik, die Körperhaltung und/oder die Mimik des Benutzers (3) einen Blickwinkel, eine Blickrichtung, eine Kopfhaltung, einen Gesichtsausdruck, eine Handbewegung, eine Fingerbewegung und/oder einen fokussierten Bereich aufweist.
11. Fahrerassistenzsystem (1) gemäß einem der vorhergehenden Ansprüche, wobei die Steuereinheit (10) dazu eingerichtet ist, eine Interaktion mit dem Benutzer (3) zu unterlassen, wenn basierend auf der Gestik, der Körperhaltung und/oder der Mimik und/oder der Umgebungssituation festgestellt wird, dass eine gefährliche Fahrsituation vorliegt.
12. Fahrzeug (2) mit einem Fahrerassistenzsystem (1) gemäß einem der vorhergehenden Ansprüche.
13. Verfahren zur Bereitstellung von Informationen für einen Benutzer eines Fahrzeugs, die folgenden Schritte aufweisend:
Erfassen (Sl) von Bild- und Audiodaten eines Benutzers des Fahrzeugs ;
Erfassen (S2) von Bilddaten einer Fahrzeugumgebung;
Erkennen (S3) , durch eine Steuereinheit, einer Gestik, einer Körperhaltung und/oder einer Mimik des Benutzers basierend auf den erfassten Bilddaten des Benutzers;
Erkennen (S4), durch die Steuereinheit, eines Sprachbefehls des Benutzers basierend auf den erfassten Audiodaten;
Bestimmen (S5) , durch die Steuereinheit, eines Kontextes anhand der erkannten Gestik, der Körperhaltung und/oder der Mimik und anhand des erkannten Sprachbefehls ; und Bereitstellen (S6) einer Information basierend auf dem bestimmten Kontext.
14. Computerprogrammelement, das, wenn es auf einer Steuer- einheit eines Fahrerassistenzsystems ausgeführt wird, das
Fahrerassistenzsystem anleitet, das Verfahren gemäß Anspruch 13 durchzuführen .
15. Computerlesbares Speichermedium, auf welchem das Compu- terprogrammelement gemäß Anspruch 14 gespeichert ist.
PCT/EP2019/077316 2018-10-11 2019-10-09 Fahrerassistenzsystem für ein fahrzeug WO2020074565A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018217425.3A DE102018217425A1 (de) 2018-10-11 2018-10-11 Fahrerassistenzsystem für ein Fahrzeug
DE102018217425.3 2018-10-11

Publications (1)

Publication Number Publication Date
WO2020074565A1 true WO2020074565A1 (de) 2020-04-16

Family

ID=68240720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/077316 WO2020074565A1 (de) 2018-10-11 2019-10-09 Fahrerassistenzsystem für ein fahrzeug

Country Status (2)

Country Link
DE (1) DE102018217425A1 (de)
WO (1) WO2020074565A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360241A (zh) * 2021-12-10 2022-04-15 斑马网络技术有限公司 一种车辆交互方法、车辆交互装置及存储介质
DE102022128277A1 (de) 2022-10-25 2024-04-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Anzeigen einer Textmeldung in einem Fahrzeug

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021124060A1 (de) 2021-09-17 2023-03-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines digitalen Assistenten eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug
CN114312818A (zh) * 2022-01-29 2022-04-12 中国第一汽车股份有限公司 一种车辆控制方法、装置、车辆及介质
DE102022116925A1 (de) 2022-07-07 2024-01-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugnutzers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360241A (zh) * 2021-12-10 2022-04-15 斑马网络技术有限公司 一种车辆交互方法、车辆交互装置及存储介质
DE102022128277A1 (de) 2022-10-25 2024-04-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Anzeigen einer Textmeldung in einem Fahrzeug

Also Published As

Publication number Publication date
DE102018217425A1 (de) 2020-04-16

Similar Documents

Publication Publication Date Title
WO2020074565A1 (de) Fahrerassistenzsystem für ein fahrzeug
DE112016002612B4 (de) Fahrzeugsteuervorrichtung, Fahrzeugsteuerverfahren und Fahrzeugsteuerprogramm
DE102017200149B4 (de) Verfahren zum Erlernen und Überprüfen eines Fahrverhaltens eines Fahrzeugführers sowie Fahrzeug
DE112017002235T5 (de) Assistenzsystem, tragbares Terminal und fahrzeugtechnische Vorrichtung
DE102018002963A1 (de) Fahrerüberwachungsapparat und fahrerüberwachungsverfahren
DE112017003677T5 (de) Parkassistenzeinrichtung
DE102016212422A1 (de) System zum automatischen fahren
DE102020123137A1 (de) Fahrzeugfernanweisungssystem
EP2753532A1 (de) Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers
DE102018128195A1 (de) Fahrempfehlungsvorrichtung und Fahrempfehlungsverfahren
DE112016007059T5 (de) Fahrassistenzvorrichtung
EP2700566A2 (de) Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Kopforientierung und/oder Blickrichtung eines Bedieners mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
DE102018002962A1 (de) Fahrerüberwachungsapparat undfahrerüberwachungsverfahren
EP3826897A1 (de) Verfahren und vorrichtung zur unterstützung einer aufmerksamkeit und/oder fahrbereitschaft eines fahrers bei einem automatisierten fahrvorgang eines fahrzeugs
DE102010048273A1 (de) Verfahren zum aufmerksamkeitsabhängigen Initiieren einer Fahrzeugaktion und Fahrerassistenzsystem zur Durchführung des Verfahrens
DE102018105163A1 (de) System zum automatisierten Fahren
DE102018213230A1 (de) Verfahren und Steuervorrichtung zum Warnen eines Fahrers eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer derartigen Steuervorrichtung
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102020124633A1 (de) Kontextsensitive anpassung einer geländeblickzeit
WO2020002479A1 (de) Fahrerassistenzsystem, fahrzeug, verfahren zum betreiben des fahrerassistenzsystems, computerprogramm und computerlesbares speichermedium
DE112019006302T5 (de) Fahrzeugsteuerungsvorrichtung, fahrzeugsteuerungsverfahren, fahrzeug, informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102019208788A1 (de) Kraftfahrzeug
DE102018213600A1 (de) - Gestenerkennungsvorrichtung für ein Fahrzeug -
DE102014110172A1 (de) Verfahren zum Unterstützen eines Fahrers beim Einparken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016211034A1 (de) Informationsbereitstellungsvorrichtung für ein Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19786932

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19786932

Country of ref document: EP

Kind code of ref document: A1