WO2022238169A1 - Verfahren, vorrichtung, computerprogramm und computerlesbares speichermedium zur automatisierten erzeugung einer nachricht in einem fahrzeug - Google Patents

Verfahren, vorrichtung, computerprogramm und computerlesbares speichermedium zur automatisierten erzeugung einer nachricht in einem fahrzeug Download PDF

Info

Publication number
WO2022238169A1
WO2022238169A1 PCT/EP2022/061771 EP2022061771W WO2022238169A1 WO 2022238169 A1 WO2022238169 A1 WO 2022238169A1 EP 2022061771 W EP2022061771 W EP 2022061771W WO 2022238169 A1 WO2022238169 A1 WO 2022238169A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
emotion data
data
emotion
message
Prior art date
Application number
PCT/EP2022/061771
Other languages
English (en)
French (fr)
Inventor
Christian Suess
Markus Strassberger
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2022238169A1 publication Critical patent/WO2022238169A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Definitions

  • the invention relates to a method for automatically generating a message in a vehicle.
  • the invention also relates to a device for automatically generating a message in a vehicle.
  • the invention also relates to a computer program and a computer-readable storage medium for automatically generating a message in a vehicle.
  • Vehicles can have sensors for detecting measurement signals. Furthermore, modern vehicles can be used to generate and transmit a message.
  • An object on which the invention is based is to create a method that contributes to the safe, convenient and automated generation of a message in a vehicle.
  • a corresponding device, a corresponding computer program and a computer-readable storage medium are to be created.
  • the invention is characterized by a method for automatically generating a message in a vehicle.
  • a measurement signal from a sensor of the vehicle is provided.
  • first emotion data are determined.
  • the first emotion data is representative of an emotional state of a vehicle occupant of the vehicle.
  • context data is provided.
  • the context data is representative of a situational context of the vehicle occupant.
  • Second emotion data is determined as a function of the first emotion data and the context data.
  • the second emotion data is representative of a predicted emotional state of the vehicle occupant with respect to the situational context.
  • the message is automatically generated depending on the first emotion data and the second emotion data. 2
  • the message is part of a dialog.
  • the message includes in particular a digital representation in the form of a so-called “emoji” or “emoticon”, which is automatically inserted into the message.
  • the digital representation is determined as a function of the first emotion data and the second emotion data and automatically integrated into the message when the message is generated.
  • the insertion of the digital representation can be rule-based and/or direct, for example, depending on the data described above. For example, rule-based insertion includes a case where the emotional state of the vehicle occupant is "upset,” and as a result, an "upset emoji" is inserted into the message.
  • the method according to the first aspect makes it possible to generate the message automatically, for example when operating the vehicle. As a result, traffic safety when operating the vehicle can be increased. Furthermore, the message can be generated conveniently and automatically using the method according to the first aspect. Using the digital representation, it is possible to add a predicted context-related emotion component to the message. Furthermore, it is possible to use the second emotion data to determine how and why a specific emotional state of the vehicle occupant was determined.
  • the vehicle has a communication interface that is designed to provide the message externally to the vehicle.
  • the message generated is automatically sent in the method using the communication interface.
  • the emotional state of the vehicle occupant or the predicted emotional state of the vehicle occupant is, for example, representative of whether the vehicle occupant is “impatient”, “pleased”, “stressed”, “aggressive” or the like.
  • the aforementioned emotional state can be representative of a so-called “basic emotion” and/or several of these basic emotions or the like.
  • the first emotion data and/or the second emotion data can include additional information relating to the respective emotional state of the vehicle occupant, such as an expression of the emotional state, for example how stressed the vehicle occupant is or the like.
  • the emotional state is recorded or the first emotion data is determined as a function of the measurement signal from the sensor. This can also depend on the respective 3
  • Measurement signals of several sensors of the vehicle take place.
  • the sensor or the multiple sensors includes or include, for example, a camera of the vehicle and/or a microphone of the vehicle and/or any sensor for monitoring the interior of the vehicle and/or any sensor for detecting vital signs of the vehicle occupant, such as a pulse of the vehicle occupant and/or a cognitive load on the vehicle occupant or the like, and/or any sensor of the vehicle, such as a sensor for evaluating the steering angle and/or a sensor to detect the acceleration or braking behavior of the vehicle occupant when operating the vehicle, or the like.
  • a word choice and/or a speech melody and/or an articulation of the vehicle occupant can be recorded and used to determine the first emotional state or to determine the first emotion data.
  • the occupant can be any occupant of the vehicle.
  • the context data includes, for example, data regarding
  • the context data may also include any other data that is available in the vehicle and is representative of the situational context of the vehicle occupant.
  • the situational context is in particular a situational context when operating the vehicle.
  • the second emotion data is configured similarly to the first emotion data described above.
  • the second emotion data includes information about the reason or context in which the vehicle occupant has the predicted emotional state.
  • the predicted emotional state is a fictitious emotional state that the vehicle occupant is statistically likely to have.
  • the second emotion data can be used to determine or understand whether the emotional state of the vehicle occupant represented by the first emotion data has to do with the dialog or with the situational context. 4
  • history data is provided.
  • the second emotion data is determined depending on the first emotion data, the context data and the history data.
  • the history data includes, in particular, driving history data and/or conversation history data.
  • the history data relate in particular to a predetermined, completed period of time.
  • the specified period of time is determined as a function of a user input and/or specified by a development engineer.
  • the conversation history data is representative of a history of previous dialogs in which the vehicle occupant was involved and include, for example, a corresponding chat log and/or previous first emotion data associated with the chat log.
  • the driving history data is representative of a history of previous data that was determined or recorded during the operation of the vehicle in the specified period.
  • the driving history data includes information on one or more previous driving events when the vehicle is operated by the vehicle occupant, and previous first emotion data associated with the previous driving events.
  • the vehicle occupant is a driver of the vehicle.
  • third emotion data is ascertained as a function of the measurement signal.
  • the third emotion data is representative of an emotional state of another vehicle occupant of the vehicle.
  • the second emotion data is determined as a function of the first emotion data, the third emotion data and the context data. 5
  • the third emotion data is designed like the first emotion data described above.
  • the multiple vehicle occupants can thus communicate with a person arranged externally to the vehicle.
  • a number of third emotion data items can also be determined in this way, each of which is representative of the emotional states of a number of other vehicle occupants of the vehicle.
  • the context data is representative of a situational context of the vehicle occupant and the other vehicle occupants
  • the second emotion data is representative of a predicted emotional state of the vehicle occupant and the other vehicle occupants with regard to the situational context.
  • the vehicle occupant for example the driver
  • the digital representation is then determined in such a way that the emotional state of the driver is weighted higher than the emotional state of the other vehicle occupants.
  • this also makes it possible to prioritize by means of a majority decision.
  • three of the vehicle occupants have a first emotional state and the fourth vehicle occupant has a different second emotional state.
  • the digital representation is determined such that an emoji representative of the first emotional state is inserted into the message.
  • this also makes it possible to make an average prediction of the emotional state represented by the second emotion data. 6
  • the second emotion data includes a probability parameter.
  • the probability index is representative of a statistically expected predicted emotional state of the vehicle occupant with respect to the situational context. Additionally or alternatively, the second emotion data includes a confidence value with regard to the
  • the message is generated depending on the first emotion data and the probability index and/or the confidence index.
  • This statistical probability indicates how far the emotional state deviates from the predicted emotional state, for example including the confidence index.
  • the probability parameter is determined depending on the first emotion data and/or the context data and/or the history data and/or the third emotion data.
  • the confidence index is representative of a confidence range around the ascertained probability index.
  • the determination of the first emotion data and/or the determination of the second emotion data and/or the determination of the third emotion data takes place as a function of a neural network.
  • the neural network can be any neural network.
  • the neural network is appropriately pre-trained depending on pre-training data.
  • the pre-training includes training and/or validation and/or testing of the neural network, it being possible for the pre-training data to be divided accordingly.
  • the pre-training data is representative of one or more observed situations.
  • the vehicle occupant is monitored in a situation that corresponds to the situational context, without the vehicle occupant taking part in the dialog. Corresponding correlations can then be derived from this and a behavior of the vehicle occupant can be determined in the situational context. 7
  • the various emotion data are determined as a function of a plurality of neural networks, with a respective neural network being used for a respective emotion data determination.
  • the determination of the first emotion data and/or the determination of the second emotion data and/or the determination of the third emotion data takes place depending on an early fusion method or a late fusion method.
  • the early fusion process includes one or more processes or methods of a so-called “early fusion”, in particular in connection with the first neural network and/or the second neural network and/or the third neural network.
  • the late fusion process includes one or more processes or methods of a so-called “late fusion”, in particular in connection with the first neural network and/or the second neural network and/or the third neural network. This makes it possible to determine the first emotion data and/or the second emotion data and/or the third emotion data precisely and efficiently. Furthermore, this makes it possible to combine different input variables, such as the measurement signal and/or the context data and/or the history data, early or late in order to determine the message or the emotional state or the predicted emotional state.
  • the invention is distinguished by a device for automatically generating a message in a vehicle.
  • the device is designed to carry out the method for automatically generating a message in a vehicle according to the first aspect.
  • the device is arranged in the vehicle.
  • the invention is characterized by a computer program, the computer program comprising instructions which, when the computer program is executed by a computer, cause the computer to carry out the method for 8 to carry out automated generation of a message in a vehicle according to the first aspect.
  • the invention is distinguished by a computer-readable storage medium on which the computer program according to the third aspect is stored.
  • FIG. 1 shows a flow chart of a program for the automated generation of a message in a vehicle.
  • FIG. 1 shows a flow chart of a program for the automated generation of a message in a vehicle.
  • the program can be executed by a device.
  • the device has in particular a computing unit, a program and data memory and, for example, one or more communication interfaces.
  • the program and data memory and/or the arithmetic unit and/or the communication interfaces can be embodied in one structural unit and/or distributed over a number of structural units.
  • the device can be referred to as a device for automatically generating a message in a vehicle.
  • the program in particular is stored in the program and data memory of the device.
  • step S101 The program is started in step S101, in which variables can be initialized if necessary.
  • a measurement signal from a sensor of the vehicle is provided.
  • the vehicle includes any number of sensors and in step S103 measurement signals from the number of sensors are used.
  • the large number of sensors include one or more of the following: a camera in the vehicle and/or a microphone in the vehicle and/or any sensor for monitoring the interior of the vehicle and/or any sensor for recording vital signs of the vehicle occupant, such as a heart rate Vehicle occupants and/or a cognitive load on the vehicle occupants or the like, and/or any sensor of the vehicle, such as a sensor for evaluating the steering angle and/or a sensor to detect an acceleration or braking behavior of the vehicle occupants when operating the vehicle, or the like .
  • first emotion data is determined as a function of the measurement signal.
  • the first emotion data is representative of an emotional state of a vehicle occupant of the vehicle.
  • the vehicle occupant is a driver of the vehicle.
  • the first emotion data is determined in such a way that the emotional state of the vehicle occupant is representative of the fact that the driver is “tense”.
  • step S105 the first emotion data is determined as a function of a first neural network, which is correspondingly pre-trained.
  • third emotion data is determined as a function of the measurement signal.
  • the third emotion data is representative of an emotional state of another vehicle occupant of the vehicle.
  • a number of third emotion data items can also be determined, which are each representative of the emotional states of a number of other vehicle occupants of the vehicle.
  • the third emotion data is ascertained in such a way that the emotional state of three other vehicle occupants is representative of the fact that these vehicle occupants are “happy”.
  • the third emotion data is determined as a function of a third neural network, which is correspondingly pre-trained.
  • the third neural network is the first neural network.
  • context data is provided.
  • the context data is representative of a situational context of the vehicle occupant.
  • the context data includes, for example, data regarding
  • step S111 history data is provided.
  • the history data includes, in particular, driving history data and/or conversation history data.
  • the history data relate in particular to a predetermined, completed period of time.
  • the specified period of time is determined as a function of a user input and/or specified by a development engineer.
  • the conversation history data is representative of a history of previous dialogs in which the vehicle occupant was involved and include, for example, a corresponding chat log and/or previous first emotion data associated with the chat log.
  • the driving history data is representative of a history of previous data that was determined or recorded during the operation of the vehicle in the specified period.
  • the driving history data includes information about one or more previous driving events when operating the vehicle by the 11
  • Vehicle occupants and previous first emotion data associated with the previous driving events Vehicle occupants and previous first emotion data associated with the previous driving events.
  • second emotion data is determined.
  • the second emotion data is representative of a predicted emotional state of the vehicle occupant with respect to the situational context.
  • the second emotion data is determined depending on the first emotion data and the context data.
  • the second emotion data is additionally determined as a function of the history data.
  • the second emotion data is additionally determined as a function of the third emotion data.
  • the second emotion data includes a probability score.
  • the probability parameter is representative of a statistically expected, predicted emotional state of the vehicle occupant and/or the other vehicle occupant(s) with regard to the situational context.
  • the second emotion data includes a confidence value with regard to the
  • the message is generated depending on the first emotion data and the probability index and/or the confidence index. For example, both the driver and the other vehicle occupants take part in a dialogue with a person who is external to the vehicle. As part of the dialogue, messages are generated, transmitted and exchanged.
  • the second emotion data is determined in such a way that the predicted emotional state of the vehicle occupant is representative of the fact that the driver is “tense” because of a current traffic situation, but not because of the dialog.
  • the second emotion data is determined as a function of a second neural network that is correspondingly pre-trained.
  • the second neural network is the first neural network or the third neural network. 12
  • the second emotion data is determined depending on an early fusion method or a late fusion method.
  • the aforementioned neural networks can be used for this purpose.
  • the second emotion data is determined as a function of what is known as an “early fusion” method.
  • an “early fusion” method raw data from a first camera of the vehicle, which is designed to record the vehicle occupants, and raw data from a second camera of the vehicle, which is designed to record the area around the vehicle, are one or more of the aforementioned neural networks provided as input variables.
  • a step S115 the message is automatically generated depending on the first emotion data and the second emotion data.
  • step S115 the message is optionally provided externally to the vehicle depending on a communication interface of the vehicle.
  • the message is part of the dialogue.
  • the message includes in particular a digital representation in the form of a so-called “emoji” or “emoticon”, which is automatically inserted into the message.
  • the driver of the vehicle manually sends a first message with the following text: "There are four of us on the road here. You can imagine the mood in the car.”
  • the first emotion data is representative of the driver's emotional state being “neutral”.
  • the third emotion data is representative of the fact that the emotional states of the three other vehicle occupants are "happy”. An automated second message is thus generated and, if necessary, sent automatically, in which a "neutral" emoji is inserted.
  • the first emotion data is representative of the driver's emotional state being “happy”.
  • the third emotion data is representative of the fact that the emotional states of the three other vehicle occupants are "happy”.
  • the first emotion data is representative of the driver's emotional state being “angry”.
  • the third emotion data is representative of the fact that the emotional states of the three other vehicle occupants are "happy”.
  • An automated second message is thus generated and, if necessary, sent automatically, in which a "neutral" emoji is inserted.
  • the first emotion data and the third emotion data are representative of the fact that the emotional states of all vehicle occupants are “surprised”.
  • An automated fourth message is thus generated and, if necessary, sent automatically, in which a "surprised" emoji is inserted.
  • the first emotion data and the third emotion data are representative of the emotional states of all vehicle occupants being “upset”.
  • an automated fourth message is generated and, if necessary, sent automatically, in which an "angry" emoji is inserted.
  • this can also be used to determine the second emotion data or to determine the message, depending on the conversation history data.
  • the program is ended in step S117 and can optionally be started again in step S101.
  • the program can be repeated (iteratively).

Abstract

Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug Bei einem Verfahren wird ein Messsignal eines Sensors des Fahrzeuges bereitgestellt. Abhängig von dem Messsignal werden erste Emotionsdaten ermittelt. Die ersten Emotionsdaten sind repräsentativ für einen emotionalen Zustand eines Fahrzeuginsassen des Fahrzeuges. Des Weiteren werden Kontextdaten bereitgestellt. Die Kontextdaten sind repräsentativ für einen situativen Kontext des Fahrzeuginsassen. Abhängig von den ersten Emotionsdaten und den Kontextdaten werden zweite Emotionsdaten ermittelt. Die zweiten Emotionsdaten sind repräsentativ für einen prädizierten emotionalen Zustand des Fahrzeuginsassen bezüglich des situativen Kontexts. Abhängig von den ersten Emotionsdaten und den zweiten Emotionsdaten wird die Nachricht automatisiert erzeugt.

Description

1
Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug
Die Erfindung betrifft ein Verfahren zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug. Die Erfindung betrifft des Weiteren eine Vorrichtung zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug. Die Erfindung betrifft des Weiteren ein Computerprogramm und ein computerlesbares Speichermedium zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug.
Fahrzeuge können Sensoren zur Erfassung von Messsignalen aufweisen. Des Weiteren können moderne Fahrzeuge zur Erzeugung, sowie zur Übertragung einer Nachricht benutzt werden.
Eine Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren zu schaffen, das zu einer verkehrssicheren sowie komfortablen und automatisierten Erzeugung einer Nachricht in einem Fahrzeug beiträgt. Darüber hinaus sollen eine korrespondierende Vorrichtung, ein korrespondierendes Computerprogramm sowie computerlesbares Speichermedium geschaffen werden.
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug.
Gemäß dem ersten Aspekt wird ein Messsignal eines Sensors des Fahrzeuges bereitgestellt. Abhängig von dem Messsignal werden erste Emotionsdaten ermittelt. Die ersten Emotionsdaten sind repräsentativ für einen emotionalen Zustand eines Fahrzeuginsassen des Fahrzeuges. Des Weiteren werden Kontextdaten bereitgestellt. Die Kontextdaten sind repräsentativ für einen situativen Kontext des Fahrzeuginsassen. Abhängig von den ersten Emotionsdaten und den Kontextdaten werden zweite Emotionsdaten ermittelt. Die zweiten Emotionsdaten sind repräsentativ für einen prädizierten emotionalen Zustand des Fahrzeuginsassen bezüglich des situativen Kontexts. Abhängig von den ersten Emotionsdaten und den zweiten Emotionsdaten wird die Nachricht automatisiert erzeugt. 2
Beispielsweise ist die Nachricht Teil eines Dialogs. Die Nachricht umfasst insbesondere eine digitale Repräsentation in Form eines sogenannten „Emoji“ bzw. „Emoticons“, das automatisiert in die Nachricht eingefügt wird. Die digitale Repräsentation wird abhängig von den ersten Emotionsdaten und den zweiten Emotionsdaten ermittelt, und automatisiert, beim Erzeugen der Nachricht, in die Nachricht integriert. Das Einfügen der digitalen Repräsentation kann abhängig von den oben beschriebenen Daten beispielsweise regelbasiert und/oder direkt erfolgen. Ein regelbasiertes Einfügen umfasst beispielsweise einen Fall, bei dem der emotionale Zustand des Fahrzeuginsassen „verärgert“ ist, und in Folge dessen ein „verärgertes Emoji“ in die Nachricht eingefügt wird.
Durch das Verfahren gemäß dem ersten Aspekt ist es möglich, die Nachricht automatisiert, beispielsweise beim Betreiben des Fahrzeuges, zu erzeugen. Hierdurch kann eine Verkehrssicherheit beim Betreiben des Fahrzeuges erhöht werden. Des Weiteren kann die Nachricht mit dem Verfahren gemäß dem ersten Aspekt komfortabel und automatisiert erzeugt werden. Mittels der digitalen Repräsentation ist es möglich, die Nachricht um eine prädizierte kontextbezogene Emotionskomponente zu erweitern. Des Weiteren ist es möglich, mittels der zweiten Emotionsdaten zu ermitteln, wie und warum ein spezifischer emotionaler Zustand des Fahrzeuginsassen ermittelt wurde.
Beispielsweise weist das Fahrzeug eine Kommunikationsschnittstelle auf, die dazu ausgebildet ist, die Nachricht extern zu dem Fahrzeug bereitzustellen. In diesem Fall wird die erzeugte Nachricht bei dem Verfahren mittels der Kommunikationsschnittstelle automatisiert versendet.
Der emotionale Zustand des Fahrzeuginsassen bzw. der prädizierte emotionale Zustand des Fahrzeuginsassen ist beispielsweise repräsentativ dafür, ob der Fahrzeuginsasse "ungeduldig", "erfreut", "gestresst", "aggressiv" oder dergleichen ist. In diesem Zusammenhang kann der vorgenannte emotionale Zustand repräsentativ sein für eine sogenannte „Grundemotion“ und/oder mehrere dieser Grundemotionen oder dergleichen.
Die ersten Emotionsdaten und/oder die zweiten Emotionsdaten können zusätzliche Informationen bezüglich des jeweiligen emotionalen Zustands des Fahrzeuginsassen umfassen, wie einer Ausprägung des emotionalen Zustands, beispielsweise wie gestresst der Fahrzeuginsasse ist oder dergleichen.
Die Erfassung des emotionalen Zustands bzw. die Ermittlung der ersten Emotionsdaten erfolgt abhängig von dem Messsignal des Sensors. Dies kann auch abhängig von jeweiligen 3
Messsignalen mehrerer Sensoren des Fahrzeuges erfolgen. Der Sensor bzw. die mehreren Sensoren umfasst bzw. umfassen beispielsweise eine Kamera des Fahrzeuges und/oder ein Mikrofon des Fahrzeuges und/oder einen beliebigen Sensor zur Innenraumüberwachung des Fahrzeuges und/oder einen beliebigen Sensor zur Erfassung von Vitalwerten des Fahrzeuginsassen, wie beispielsweise einem Puls des Fahrzeuginsassen und/oder einer kognitiven Belastung des Fahrzeuginsassen oder dergleichen, und/oder einen beliebigen Sensor des Fahrzeuges, wie beispielsweise einen Sensor zur Lenkwinkelauswertung und/oder einen Sensor um ein Beschleunigungs- bzw. Bremsverhalten des Fahrzeuginsassen beim Betreiben des Fahrzeuges zu erfassen, oder dergleichen.
Beispielsweise kann abhängig von dem Mikrofon eine Wortwahl und/oder eine Sprachmelodie und/oder eine Artikulation des Fahrzeuginsassen erfasst, und zur Ermittlung des ersten emotionalen Zustands bzw. zur Ermittlung der ersten Emotionsdaten verwendet werden.
Der Fahrzeuginsasse kann ein beliebiger Fahrzeuginsasse des Fahrzeuges sein.
Die Kontextdaten umfassen beispielsweise Daten bezüglich
- einer geographischen Region, in der sich das Fahrzeug befindet, und/oder
- einem Klima bzw. einem Wetter der geographischen Region, und/oder
- einem das Fahrzeug umgebenden Verkehr bzw. einer Verkehrssituation in der sich das Fahrzeug befindet, und/oder
- einer Ampelschaltung bezüglich der Verkehrssituation, und/oder
- einer Routenführung beim Betreiben des Fahrzeuges oder dergleichen.
Die Kontextdaten können auch weitere beliebige Daten umfassen, die in dem Fahrzeug zur Verfügung stehen und repräsentativ sind für den situativen Kontext des Fahrzeuginsassen. Der situative Kontext ist insbesondere ein situativer Kontext beim Betreiben des Fahrzeuges.
Die zweiten Emotionsdaten sind ähnlich ausgestaltet, wie die oben beschriebenen ersten Emotionsdaten. Zusätzlich umfassen die zweiten Emotionsdaten eine Information darüber, aus welchem Grund bzw. in welchem Kontext der Fahrzeuginsasse den prädizierten emotionalen Zustand aufweist. Der prädizierte emotionale Zustand ist ein fiktiver emotionaler Zustand, den der Fahrzeuginsassen statistisch wahrscheinlich aufweist. In anderen Worten kann mithilfe der zweiten Emotionsdaten ermittelt werden bzw. nachvollzogen werden, ob der, durch die ersten Emotionsdaten repräsentierte, emotionale Zustand des Fahrzeuginsassen mit dem Dialog zu tun hat, oder mit dem situativen Kontext. 4
Gemäß einer optionalen Ausgestaltung des ersten Aspekts werden Historiendaten bereitgestellt. Die zweiten Emotionsdaten werden abhängig von den ersten Emotionsdaten, den Kontextdaten und den Historiendaten ermittelt.
Hierdurch ist es möglich, die zweiten Emotionsdaten präzise zu ermitteln.
Die Historiendaten umfassen insbesondere Fahrhistoriendaten und/oder Konversationshistoriendaten. Die Historiendaten beziehen sich insbesondere auf einen vorgegebenen abgeschlossenen Zeitraum. Beispielsweise wird der vorgegebene Zeitraum abhängig von einer Nutzereingabe ermittelt und/oder durch einen Entwicklungsingenieur vorgegeben.
Die Konversationshistoriendaten sind repräsentativ für eine Historie bisheriger Dialoge an denen der Fahrzeuginsasse beteiligt war und umfassen beispielweise ein entsprechendes Chatprotokoll und/oder dem Chatprotokoll zugeordnete bisherige erste Emotionsdaten.
Die Fahrhistoriendaten sind repräsentativ für eine Historie bisheriger Daten, die beim Betreiben des Fahrzeuges in dem vorgegebenen Zeitraum ermittelt bzw. aufgezeichnet wurden. Beispielsweise umfassen die Fahrhistoriendaten Informationen zu einem oder mehreren bisherigen Fahrereignissen beim Betreiben des Fahrzeuges durch den Fahrzeuginsassen, und den bisherigen Fahrereignissen zugeordnete bisherige erste Emotionsdaten.
Gemäß einer weiteren optionalen Ausgestaltung des ersten Aspekts ist der Fahrzeuginsasse ein Fahrer des Fahrzeuges.
Hierdurch ist es möglich, eine die Nachricht automatisiert zu erzeugen und eine Ablenkung durch den Fahrer beim Betreiben des Fahrzeuges zu minimieren. Des Weiteren wird hierdurch die Verkehrssicherheit erhöht.
Gemäß einer weiteren optionalen Ausgestaltung des ersten Aspekts werden abhängig von dem Messsignal dritte Emotionsdaten ermittelt. Die dritten Emotionsdaten sind repräsentativ für einen emotionalen Zustand eines weiteren Fahrzeuginsassen des Fahrzeuges. Abhängig von den ersten Emotionsdaten, den dritten Emotionsdaten und den Kontextdaten, werden die zweiten Emotionsdaten ermittelt. 5
Die dritten Emotionsdaten sind ausgestaltet wie die oben beschriebenen ersten Emotionsdaten.
Hierdurch ist es möglich, das Verfahren gemäß dem ersten Aspekt auf eine Gruppe von Fahrzeuginsassen zu erweitern. Dies ist beispielsweise vorteilhaft, wenn sich mehrere Fahrzeuginsassen in dem Fahrzeug aufhalten, und alle oder eine Teilmenge der Fahrzeuginsassen, an dem Dialog, bzw. Gruppengespräch teilnehmen bzw. an der Erzeugung der Nachricht beteiligt sind.
Beispielsweise können so die mehreren Fahrzeuginsassen mit einer extern zu dem Fahrzeug angeordneten Person kommunizieren.
Beispielsweise können so auch mehrere dritte Emotionsdaten ermittelt werden, die jeweils repräsentativ sind für emotionale Zustände mehrerer weiterer Fahrzeuginsassen des Fahrzeuges.
In diesem Fall sind die Kontextdaten repräsentativ für einen situativen Kontext des Fahrzeuginsassen und des weiteren Fahrzeuginsassen
In diesem Fall sind die zweiten Emotionsdaten repräsentativ für einen prädizierten emotionalen Zustand des Fahrzeuginsassen und des weiteren Fahrzeuginsassen bezüglich des situativen Kontexts.
Beispielsweise ist in diesem Fall eine Priorisierung des Fahrzeuginsassen, beispielsweise dem Fahrer, bei der Erzeugung der Nachricht möglich. Die digitale Repräsentation wird dann derart ermittelt, dass der emotionale Zustand des Fahrers höher gewichtet wird, als der emotionale Zustand des weiteren Fahrzeuginsassen.
Beispielsweise ist hierdurch auch eine Priorisierung mittels eine Mehrheitsentscheidung möglich. In einem beispielhaften Fall umfassend vier Fahrzeuginsassen, weisen drei der Fahrzeuginsassen einen ersten emotionalen Zustand auf und der vierte Fahrzeuginsasse weist einen unterschiedlichen zweiten emotionalen Zustand auf. Die digitale Repräsentation derart ermittelt, dass ein Emoji in die Nachricht eingefügt wird, das repräsentativ ist für den ersten emotionalen Zustand.
Beispielsweise ist hierdurch auch eine gemittelte Prädiktion des, durch die zweiten Emotionsdaten repräsentierten, emotionalen Zustands möglich. 6
Gemäß einer weiteren optionalen Ausgestaltung des ersten Aspekts umfassen die zweiten Emotionsdaten einen Wahrscheinlichkeitskennwert. Der Wahrscheinlichkeitskennwert ist repräsentativ für einen statistisch erwarteten prädizierten emotionalen Zustand des Fahrzeuginsassen bezüglich des situativen Kontexts. Zusätzlich oder alternativ umfassen die zweiten Emotionsdaten einen Konfidenzkennwert bezüglich des
Wahrscheinlichkeitskennwerts. Die Nachricht wird abhängig von den ersten Emotionsdaten und dem Wahrscheinlichkeitskennwert und/oder dem Konfidenzkennwert erzeugt.
Hierdurch ist es möglich, eine personalisierte und bewertete statistische Wahrscheinlichkeit bezüglich des situativen Kontexts zu ermitteln. Diese statistische Wahrscheinlichkeit gibt an, wie weit der emotionale Zustand von dem prädizierten emotionalen Zustand abweicht, beispielsweise inklusive des Konfidenzkennwertes.
Beispielsweise wird der Wahrscheinlichkeitskennwert abhängig von den ersten Emotionsdaten und/oder den Kontextdaten und/oder den Historiendaten und/oder den dritten Emotionsdaten ermittelt.
Der Konfidenzkennwert ist repräsentativ für einen Konfidenzbereich um den ermittelten Wahrscheinlichkeitskennwert.
Gemäß einer weiteren optionalen Ausgestaltung des ersten Aspekts erfolgt die Ermittlung der ersten Emotionsdaten und/oder die Ermittlung der zweiten Emotionsdaten und/oder die Ermittlung der dritten Emotionsdaten abhängig von einem neuronalen Netz.
Das neuronale Netz kann ein beliebiges neuronales Netz sein.
Beispielsweise ist das neuronale Netz abhängig von Vortrainingsdaten entsprechend vortrainiert. Beispielsweise umfasst das Vortraining ein Training und/oder eine Validierung und/oder ein Testen des neuronalen Netzes, wobei die Vortrainingsdaten entsprechend aufgeteilt werden können.
Beispielsweise sind die Vortrainingsdaten repräsentativ für eine oder mehrere beobachtete Situationen. Beispielsweise wird der Fahrzeuginsasse in einer dem situativen Kontext entsprechenden Situation überwacht, ohne dass der Fahrzeuginsasse an dem Dialog teilnimmt. Hieraus kann bzw. können dann entsprechende Korrelationen abgeleitet werden und ein Verhalten des Fahrzeuginsassen in dem situativen Kontext ermittelt werden. 7
Hierdurch ist es möglich, die ersten Emotionsdaten und/oder die zweiten Emotionsdaten und/oder die dritten Emotionsdaten effizient und automatisiert zu ermitteln.
Beispielsweise erfolgt die Ermittlung der verschiedenen Emotionsdaten abhängig von mehreren neuronalen Netzen, wobei ein jeweiliges neuronales Netz für eine jeweilige Emotionsdatenermittlung verwendet wird.
Gemäß einer weiteren optionalen Ausgestaltung des ersten Aspekts erfolgt die Ermittlung der ersten Emotionsdaten und/oder die Ermittlung der zweiten Emotionsdaten und/oder die Ermittlung der dritten Emotionsdaten abhängig von einem Frühfusionsverfahren oder einem Spätfusionsverfahren.
Das Frühfusionsverfahren umfasst ein oder mehrere Verfahren bzw. Methoden einer sogenannten „early-fusion“, insbesondere im Zusammenhang mit dem ersten neuronalen Netz und/oder dem zweiten neuronalen Netz und/oder dem dritten neuronalen Netz.
Das Spätfusionsverfahren umfasst ein oder mehrere Verfahren bzw. Methoden einer sogenannten „late-fusion“, insbesondere im Zusammenhang mit dem ersten neuronalen Netz und/oder dem zweiten neuronalen Netz und/oder dem dritten neuronalen Netz. Hierdurch ist es möglich, die ersten Emotionsdaten und/oder die zweiten Emotionsdaten und/oder die dritten Emotionsdaten präzise und effizient zu ermitteln. Des Weiteren ist es hierdurch möglich, verschiedene Eingangsgrößen, wie beispielsweise das Messsignal und/oder die Kontextdaten und/oder die Historiendaten, früh bzw. spät zu fusionieren, um die Nachricht bzw. den emotionalen Zustand bzw. den prädizierten emotionalen Zustand, zu ermitteln.
Gemäß einem zweiten Aspekt zeichnet sich die Erfindung aus durch eine Vorrichtung zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug. Die Vorrichtung ist dazu ausgebildet, das Verfahren zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug gemäß dem ersten Aspekt durchzuführen.
Beispielsweise ist die Vorrichtung in dem Fahrzeug angeordnet.
Gemäß einem dritten Aspekt zeichnet sich die Erfindung aus durch ein Computerprogramm, wobei das Computerprogramm Anweisungen umfasst, die, wenn das Computerprogramm von einem Computer ausgeführt wird, den Computer dazu veranlassen das Verfahren zur 8 automatisierten Erzeugung einer Nachricht in einem Fahrzeug gemäß dem ersten Aspekt durchzuführen.
Gemäß einem vierten Aspekt zeichnet sich die Erfindung aus durch ein computerlesbares Speichermedium, auf dem das Computerprogramm gemäß dem dritten Aspekt gespeichert ist.
Optionale Ausgestaltungen des ersten Aspekts können auch entsprechend bei den weiteren Aspekten vorhanden sein und entsprechende Wirkungen aufweisen.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnung näher erläutert.
Es zeigt:
Figur 1 ein Ablaufdiagramm eines Programms zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug.
Die Figur 1 zeigt ein Ablaufdiagramm eines Programms zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug.
Das Programm kann insbesondere von einer Vorrichtung ausgeführt werden. Die Vorrichtung weist hierfür insbesondere eine Recheneinheit, einen Programm- und Datenspeicher, sowie beispielsweise eine oder mehrere Kommunikationsschnittstellen auf. Der Programm- und Datenspeicher und/oder die Recheneinheit und/oder die Kommunikationsschnittstellen können in einer Baueinheit und/oder verteilt auf mehrere Baueinheiten ausgebildet sein.
Beispielsweise kann die Vorrichtung als Vorrichtung zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug bezeichnet werden.
Auf dem Programm- und Datenspeicher der Vorrichtung ist hierfür insbesondere das Programm gespeichert.
Das Programm wird in einem Schritt S101 gestartet, in dem gegebenenfalls Variablen initialisiert werden können. 9
In einem Schritt S103 wird ein Messsignal eines Sensors des Fahrzeuges bereitgestellt.
Beispielsweise umfasst das Fahrzeug eine Vielzahl beliebiger Sensoren und in dem Schritt S103 werden Messsignale der Vielzahl der Sensoren verwendet. Die Vielzahl von Sensoren umfassen einen oder mehreren der Folgenden: eine Kamera des Fahrzeuges und/oder ein Mikrofon des Fahrzeuges und/oder einen beliebigen Sensor zur Innenraumüberwachung des Fahrzeuges und/oder einen beliebigen Sensor zur Erfassung von Vitalwerten des Fahrzeuginsassen, wie beispielsweise einen Puls des Fahrzeuginsassen und/oder eine kognitive Belastung des Fahrzeuginsassen oder dergleichen, und/oder einen beliebigen Sensor des Fahrzeuges, wie beispielsweise einen Sensor zur Lenkwinkelauswertung und/oder einen Sensor um ein Beschleunigungs- bzw. Bremsverhalten des Fahrzeuginsassen beim Betreiben des Fahrzeuges zu erfassen, oder dergleichen.
In einem Schritt S105 werden abhängig von dem Messsignal erste Emotionsdaten ermittelt. Die ersten Emotionsdaten sind repräsentativ für einen emotionalen Zustand eines Fahrzeuginsassen des Fahrzeuges.
Beispielsweise ist der Fahrzeuginsasse ein Fahrer des Fahrzeuges.
Beispielsweise werden die ersten Emotionsdaten derart ermittelt, dass der emotionale Zustand des Fahrzeuginsassen repräsentativ dafür ist, dass der Fahrer „angespannt“ ist.
Beispielsweise werden in dem Schritt S105 die ersten Emotionsdaten abhängig von einem ersten neuronalen Netz ermittelt, das entsprechend vortrainiert ist.
In einem optionalen Schritt S107 werden abhängig von dem Messsignal dritte Emotionsdaten ermittelt. Die dritten Emotionsdaten sind repräsentativ für einen emotionalen Zustand eines weiteren Fahrzeuginsassen des Fahrzeuges.
Beispielsweise können auch mehrere dritte Emotionsdaten ermittelt werden, die jeweils repräsentativ sind für emotionale Zustände mehrerer weiterer Fahrzeuginsassen des Fahrzeuges.
Beispielsweise werden die dritten Emotionsdaten derart ermittelt, dass der emotionale Zustand von drei weiteren Fahrzeuginsassen repräsentativ dafür ist, dass diese Fahrzeuginsassen „fröhlich“ sind. 10
Hierdurch ist es beispielsweise möglich, Rückschlüsse auf den emotionalen Zustand des Fahrers zu ziehen. Wenn die weiteren Fahrzeuginsassen „fröhlich“ sind, und der Fahrer „schlecht gelaunt“ ist, kann eine statistische Wahrscheinlichkeit dafür ermittelt werden, dass der emotionale Zustand des Fahrers auf einen Einfluss des Verkehrs zurückzuführen ist. Dies kann bei der Weiteren Ausführung des Programms berücksichtigt werden.
Beispielsweise werden in dem optionalen Schritt S107 die dritten Emotionsdaten abhängig von einem dritten neuronalen Netz ermittelt, das entsprechend vortrainiert ist.
Beispielsweise ist das dritte neuronale Netz das erste neuronale Netz.
In einem Schritt S109 werden Kontextdaten bereitgestellt. Die Kontextdaten sind repräsentativ für einen situativen Kontext des Fahrzeuginsassen.
Die Kontextdaten umfassen beispielsweise Daten bezüglich
- einer geographischen Region, in der sich das Fahrzeug befindet, und/oder
- einem Klima bzw. einem Wetter in der geographischen Region, und/oder
- einem Verkehr bzw. einer Verkehrssituation in der sich das Fahrzeug befindet, und/oder
- einer Ampelschaltung bezüglich der Verkehrssituation, und/oder
- einer Routenführung beim Betreiben des Fahrzeuges oder dergleichen.
In einem optionalen Schritt S111 werden Historiendaten bereitgestellt.
Die Historiendaten umfassen insbesondere Fahrhistoriendaten und/oder Konversationshistoriendaten. Die Historiendaten beziehen sich insbesondere auf einen vorgegebenen abgeschlossenen Zeitraum. Beispielsweise wird der vorgegebene Zeitraum abhängig von einer Nutzereingabe ermittelt und/oder durch einen Entwicklungsingenieur vorgegeben.
Die Konversationshistoriendaten sind repräsentativ für eine Historie bisheriger Dialoge an denen der Fahrzeuginsasse beteiligt war und umfassen beispielweise ein entsprechendes Chatprotokoll und/oder dem Chatprotokoll zugeordnete bisherige erste Emotionsdaten.
Die Fahrhistoriendaten sind repräsentativ für eine Historie bisheriger Daten, die beim Betreiben des Fahrzeuges in dem vorgegebenen Zeitraum ermittelt bzw. aufgezeichnet wurden. Beispielsweise umfassen die Fahrhistoriendaten Informationen zu einem oder mehreren bisherigen Fahrereignissen beim Betreiben des Fahrzeuges durch den 11
Fahrzeuginsassen und den bisherigen Fahrereignissen zugeordnete bisherige erste Emotionsdaten.
In einem Schritt S113 werden zweite Emotionsdaten ermittelt. Die zweiten Emotionsdaten sind repräsentativ für einen prädizierten emotionalen Zustand des Fahrzeuginsassen bezüglich des situativen Kontexts.
Die zweiten Emotionsdaten werden abhängig von den ersten Emotionsdaten und den Kontextdaten ermittelt.
Optional werden die zweiten Emotionsdaten zusätzlich abhängig von den Historiendaten ermittelt.
Optional werden die zweiten Emotionsdaten zusätzlich abhängig von den dritten Emotionsdaten ermittelt.
Optional umfassen die zweiten Emotionsdaten einen Wahrscheinlichkeitskennwert. Der Wahrscheinlichkeitskennwert ist repräsentativ für einen statistisch erwarteten prädizierten emotionalen Zustand des Fahrzeuginsassen und/oder des bzw. der weiteren Fahrzeuginsassen bezüglich des situativen Kontexts. Zusätzlich oder alternativ umfassen die zweiten Emotionsdaten einen Konfidenzkennwert bezüglich des
Wahrscheinlichkeitskennwerts. Die Nachricht wird abhängig von den ersten Emotionsdaten und dem Wahrscheinlichkeitskennwert und/oder dem Konfidenzkennwert erzeugt. Beispielsweise nehmen sowohl der Fahrer, als auch die weiteren Fahrzeuginsassen an einem Dialog mit einer extern zu dem Fahrzeug angeordneten Person teil. Im Rahmen des Dialogs, werden Nachrichten erzeugt, übertragen und ausgetauscht.
Beispielsweise werden die zweiten Emotionsdaten derart ermittelt, dass der prädizierte emotionale Zustand des Fahrzeuginsassen repräsentativ ist dafür, dass der Fahrer aufgrund einer aktuellen Verkehrssituation „angespannt“ ist, nicht jedoch aufgrund des Dialogs.
Beispielsweise werden in dem Schritt S113 die zweiten Emotionsdaten abhängig von einem zweiten neuronalen Netz ermittelt, das entsprechend vortrainiert ist.
Beispielsweise ist das zweite neuronale Netz das erste neuronale Netz oder das dritte neuronale Netz. 12
Beispielsweise erfolgt die Ermittlung der zweiten Emotionsdaten abhängig von einem Frühfusionsverfahren oder einem Spätfusionsverfahren. Dazu kann bzw. können insbesondere die vorgenannten neuronalen Netze verwendet werden.
Beispielsweise erfolgt die Ermittlung der zweiten Emotionsdaten abhängig von einem sogenannten „early-fusion“-Verfahren. Im Rahmen des „early-fusion“-Verfahrens, werden Rohdaten einer ersten Kamera des Fahrzeuges, die zur Aufzeichnung der Fahrzeuginsassen ausgebildet ist, und Rohdaten einer zweiten Kamera des Fahrzeuges, die zur Aufzeichnung eines Umfeldes des Fahrzeuges ausgebildet ist, einem oder mehreren der vorgenannten neuronalen Netze als Eingangsgrößen bereitgestellt.
In einem Schritt S115 wird abhängig von den ersten Emotionsdaten und den zweiten Emotionsdaten, die Nachricht automatisiert erzeugt.
Optional wird in dem Schritt S115 die Nachricht abhängig von einer Kommunikationsschnittstelle des Fahrzeuges extern zu dem Fahrzeug bereitgestellt.
Beispielsweise ist die Nachricht Teil des Dialogs. Die Nachricht umfasst insbesondere eine digitale Repräsentation in Form eines sogenannten „Emoji“ bzw. „Emoticons“, das automatisiert in die Nachricht eingefügt wird.
Beispielsweise versendet der Fahrer des Fahrzeuges manuell eine erste Nachricht mit folgendem Text: „Wir sind hier ja zu viert unterwegs. Die Stimmung im Auto kannst du dir ja vorstellen“.
Gemäß einem ersten Beispiel sind die ersten Emotionsdaten repräsentativ dafür, dass der emotionale Zustand des Fahrers „neutral“ ist. Die dritten Emotionsdaten sind repräsentativ dafür, dass die emotionalen Zustände der drei weiteren Fahrzeuginsassen „fröhlich“ sind. Somit wird eine automatisierte zweite Nachricht erzeugt und ggf. automatisiert gesendet, in die ein „neutrales“ Emoji eingefügt wird.
Gemäß einem zweiten Beispiel sind die ersten Emotionsdaten repräsentativ dafür, dass der emotionale Zustand des Fahrers „fröhlich“ ist. Die dritten Emotionsdaten sind repräsentativ dafür, dass die emotionalen Zustände der drei weiteren Fahrzeuginsassen „fröhlich“ sind. Somit wird eine automatisierte zweite Nachricht erzeugt und ggf. automatisiert gesendet, in die ein „fröhliches“ Emoji eingefügt wird. 13
Gemäß einem dritten Beispiel sind die ersten Emotionsdaten repräsentativ dafür, dass der emotionale Zustand des Fahrers „verärgert“ ist. Die dritten Emotionsdaten sind repräsentativ dafür, dass die emotionalen Zustände der drei weiteren Fahrzeuginsassen „fröhlich“ sind. Somit wird eine automatisierte zweite Nachricht erzeugt und ggf. automatisiert gesendet, in die ein „neutrales“ Emoji eingefügt wird.
Beispielsweise sind alle Fahrzeuginsassen des Fahrzeuges mittels der Kommunikationsschnittstelle an dem Dialog mit der extern zu dem Fahrzeug angeordneten Person beteiligt. Sie versenden manuell eine dritte Nachricht mit folgendem Text: „Echt jetzt?“.
Gemäß einem vierten Beispiel sind die ersten Emotionsdaten und die dritten Emotionsdaten repräsentativ dafür, dass die emotionalen Zustände aller Fahrzeuginsassen „überrascht“ sind. Somit wird eine automatisierte vierte Nachricht erzeugt und ggf. automatisiert gesendet, in die ein „überraschtes“ Emoji eingefügt wird.
Gemäß einem fünften Beispiel sind die ersten Emotionsdaten und die dritten Emotionsdaten repräsentativ dafür, dass die emotionalen Zustände aller Fahrzeuginsassen „verärgert“ sind. Somit wird eine automatisierte vierte Nachricht erzeugt und ggf. automatisiert gesendet, in die ein „verärgertes“ Emoji eingefügt wird.
Wenn der Fahrer in bisherigen Dialogen auf ähnliche Nachrichten, wie beispielsweise auf eine Terminabsage, ähnlich reagiert hat, so ist kann dies abhängig von den Konversationshistoriendaten für die Ermittlung der zweiten Emotionsdaten bzw. die Ermittlung der Nachricht ebenfalls herangezogen werden.
In einem Schritt S117 wird das Programm beendet und kann gegebenenfalls wieder in dem Schritt S101 gestartet werden.
Beispielsweise kann das Programm (iterativ) wiederholt werden.

Claims

14 Patentansprüche
1. Verfahren zur automatisierten Erzeugung einer Nachricht in einem Fahrzeug, bei dem
- ein Messsignal eines Sensors des Fahrzeuges bereitgestellt wird,
- abhängig von dem Messsignal erste Emotionsdaten ermittelt werden, die repräsentativ sind für einen emotionalen Zustand eines Fahrzeuginsassen des Fahrzeuges,
- Kontextdaten bereitgestellt werden, die repräsentativ sind für einen situativen Kontext des Fahrzeuginsassen,
- abhängig von den ersten Emotionsdaten und den Kontextdaten zweite Emotionsdaten ermittelt werden, wobei die zweiten Emotionsdaten repräsentativ sind für einen prädizierten emotionalen Zustand des Fahrzeuginsassen bezüglich des situativen Kontexts, und
- abhängig von den ersten Emotionsdaten und den zweiten Emotionsdaten die Nachricht automatisiert erzeugt wird.
2. Verfahren nach Anspruch 1 , bei dem
- Historiendaten bereitgestellt werden,
- die zweiten Emotionsdaten abhängig von den ersten Emotionsdaten, den Kontextdaten und den Historiendaten ermittelt werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Fahrzeuginsasse ein Fahrer des Fahrzeuges ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem
- abhängig von dem Messsignal dritte Emotionsdaten ermittelt werden, die repräsentativ sind für einen emotionalen Zustand eines weiteren Fahrzeuginsassen des Fahrzeuges,
- abhängig von den ersten Emotionsdaten, den dritten Emotionsdaten und den Kontextdaten die zweite Emotionsdaten ermittelt werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zweiten Emotionsdaten einen Wahrscheinlichkeitskennwert, der repräsentativ ist für einen statistisch erwarteten prädizierten emotionalen Zustand des Fahrzeuginsassen bezüglich des situativen Kontexts, und/oder einen Konfidenzkennwert bezüglich des Wahrscheinlichkeitskennwerts umfassen, und bei dem Verfahren wird die Nachricht abhängig von den ersten Emotionsdaten und dem Wahrscheinlichkeitskennwert und/oder dem Konfidenzkennwert erzeugt. 15
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Ermittlung der ersten Emotionsdaten und/oder die Ermittlung der zweiten Emotionsdaten und/oder die Ermittlung der dritten Emotionsdaten abhängig von einem neuronalen Netz erfolgt.
7. Verfahren nach Anspruch 6, wobei die Ermittlung der ersten Emotionsdaten und/oder die
Ermittlung der zweiten Emotionsdaten und/oder die Ermittlung der dritten Emotionsdaten abhängig von einem Frühfusionsverfahren oder einem Spätfusionsverfahren erfolgt.
8. Vorrichtung, die dazu ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen.
9. Computerprogramm, wobei das Computerprogramm Anweisungen umfasst, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen das Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen.
10. Computerlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 9 gespeichert ist.
PCT/EP2022/061771 2021-05-08 2022-05-03 Verfahren, vorrichtung, computerprogramm und computerlesbares speichermedium zur automatisierten erzeugung einer nachricht in einem fahrzeug WO2022238169A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021112062.4 2021-05-08
DE102021112062.4A DE102021112062A1 (de) 2021-05-08 2021-05-08 Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zur Ermittlung einer automatisierten Erzeugung einer Nachricht in einem Fahrzeug

Publications (1)

Publication Number Publication Date
WO2022238169A1 true WO2022238169A1 (de) 2022-11-17

Family

ID=81927520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/061771 WO2022238169A1 (de) 2021-05-08 2022-05-03 Verfahren, vorrichtung, computerprogramm und computerlesbares speichermedium zur automatisierten erzeugung einer nachricht in einem fahrzeug

Country Status (2)

Country Link
DE (1) DE102021112062A1 (de)
WO (1) WO2022238169A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007008815A1 (de) * 2007-02-22 2008-08-28 Volkswagen Ag Verfahren und Vorrichtung zum akustischen Ausgeben von Systeminformationen in einem Fahrzeug
US20130054090A1 (en) * 2011-08-29 2013-02-28 Electronics And Telecommunications Research Institute Emotion-based vehicle service system, emotion cognition processing apparatus, safe driving service apparatus, and emotion-based safe driving service method
DE102019201695A1 (de) * 2018-04-26 2019-10-31 Lear Corporation Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen
DE102019127457A1 (de) * 2019-10-11 2021-04-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Fahrzeug, Computerprogramm und computerlesbares Speichermedium zur Verarbeitung von Sprachbefehlen
DE102019128805A1 (de) * 2019-10-25 2021-04-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zur Einstellung einer Fahrzeugfunktion eines Fahrzeuges durch einen extern zu dem Fahrzeug angeordneten Server

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060080317A (ko) 2005-01-05 2006-07-10 현대자동차주식회사 감성기반을 갖는 자동차용 소프트웨어 로봇
US20170011640A1 (en) 2015-07-08 2017-01-12 Genaro Rebolledo-Mendez System For Monitoring, Processing, Analyses And Storage Of Physiological Signals For Emotion Recognition
US10168859B2 (en) 2016-04-26 2019-01-01 International Business Machines Corporation Contextual determination of emotion icons
DE102018215626A1 (de) 2017-09-14 2019-03-14 SUSI & James GmbH System, Fahrzeug und Verfahren zur Wiedergabe der Emotion eines Fahrzeugfahrers
US11186241B2 (en) 2019-01-30 2021-11-30 Cobalt Industries Inc. Automated emotion detection and environmental response

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007008815A1 (de) * 2007-02-22 2008-08-28 Volkswagen Ag Verfahren und Vorrichtung zum akustischen Ausgeben von Systeminformationen in einem Fahrzeug
US20130054090A1 (en) * 2011-08-29 2013-02-28 Electronics And Telecommunications Research Institute Emotion-based vehicle service system, emotion cognition processing apparatus, safe driving service apparatus, and emotion-based safe driving service method
DE102019201695A1 (de) * 2018-04-26 2019-10-31 Lear Corporation Biometriksensorfusion für die Klassifizierung des Zustands eines Fahrzeuginsassen
DE102019127457A1 (de) * 2019-10-11 2021-04-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Fahrzeug, Computerprogramm und computerlesbares Speichermedium zur Verarbeitung von Sprachbefehlen
DE102019128805A1 (de) * 2019-10-25 2021-04-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zur Einstellung einer Fahrzeugfunktion eines Fahrzeuges durch einen extern zu dem Fahrzeug angeordneten Server

Also Published As

Publication number Publication date
DE102021112062A1 (de) 2022-11-10

Similar Documents

Publication Publication Date Title
DE102005058227A1 (de) Emotions-basierter Softwareroboter für Automobile
EP2442281A1 (de) Verfahren und Vorrichtung zur Bewertung der Fahrweise eines Fahrzeugführers von Kraftfahrzeugen, insbesondere Nutzfahrzeugen
AT521832A1 (de) Testterminal zur Unterstützung einer ausführenden Person
DE102021003489A1 (de) Verfahren zur Erkennung einer graduell abnehmenden fahrerischen Leistungsfähigkeit eines Fahrzeugführers
DE102019204892A1 (de) Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug
WO2019206513A1 (de) Verfahren zur fahrmanöverassistenz eines fahrzeuges, vorrichtung, computerprogramm und computerprogrammprodukt
DE102018133670A1 (de) Verfahren und Vorrichtung zum Erzeugen von Steuersignalen zum Unterstützen von Insassen eines Fahrzeugs
WO2022238169A1 (de) Verfahren, vorrichtung, computerprogramm und computerlesbares speichermedium zur automatisierten erzeugung einer nachricht in einem fahrzeug
EP3690827A1 (de) Verfahren, steuerung und kraftfahrzeug
DE102016100968A1 (de) Verfahren und Vorrichtung zum Überwachen eines Fahrzeugführers
DE102021003597A1 (de) Verfahren zur Beeinflussung eines Verhaltens mindestens eines lnsassen in einem Fahrzeug
DE102015214987B4 (de) Bestimmung eines defekten Bauteils eines Fahrzeugs
DE102021003598A1 (de) Verfahren zum automatischen Erkennen von fahrsicherheitsrelevanten Handlungen von Fahrzeuginsassen mindestens eines Kraftfahrzeugs sowie Kraftfahrzeug zur Durchführung dieses Verfahrens
EP4004518A1 (de) Verfahren zum testen eines kraftfahrzeugs
DE102020101357A1 (de) Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum energieeffizienten Betreiben eines Fahrzeuges
DE102005014308A1 (de) Verfahren und Anordnung zur Nutzerführung bei der Diagnose komplexer Systeme sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE102020128497A1 (de) Computerimplementiertes Verfahren und System zur dialogunterstützten Ferndiagnose eines Defekts an einem technischen Bauteil und/oder System eines Fahrzeugs und Trainingsverfahren
DE102020116054A1 (de) Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Ermitteln eines neuronalen Netzes und zum Betreiben eines Fahrzeuges
EP3674147A1 (de) Verfahren und vorrichtung zum erzeugen von steuersignalen zum unterstützen von insassen eines fahrzeugs
WO2020114724A1 (de) Verfahren zum überprüfen wenigstens eines fahrzeugs sowie elektronische recheneinrichtung
DE102019127457A1 (de) Verfahren, Vorrichtung, Fahrzeug, Computerprogramm und computerlesbares Speichermedium zur Verarbeitung von Sprachbefehlen
DE102018103517A1 (de) Verfahren und Vorrichtung zum Beeinflussen eines Fahrzeugprofils eines Elektrofahrzeugs
DE102020001426A1 (de) Verfahren und Vorrichtung zur individuellen Einstellung von Komponenten eines Fahrzeuges in Abhängigkeit einer Technikaffinität eines Nutzers
DE102023003243A1 (de) Verfahren zur individuellen Erzeugung und Ausgabe von Sound-Signaturen in einem Fahrzeug
DE102008013249A1 (de) Verfahren zum Bestimmen einer Komfortgröße

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22727282

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE