WO2023222373A1 - Spracherkennungssystem - Google Patents

Spracherkennungssystem Download PDF

Info

Publication number
WO2023222373A1
WO2023222373A1 PCT/EP2023/061543 EP2023061543W WO2023222373A1 WO 2023222373 A1 WO2023222373 A1 WO 2023222373A1 EP 2023061543 W EP2023061543 W EP 2023061543W WO 2023222373 A1 WO2023222373 A1 WO 2023222373A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
trajectory
orientation
recognition system
voice input
Prior art date
Application number
PCT/EP2023/061543
Other languages
English (en)
French (fr)
Inventor
Daniel Kuelzer
Victor ORLINSKIY
Matthias Findeis
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2023222373A1 publication Critical patent/WO2023222373A1/de

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Definitions

  • the present invention relates to a voice recognition system for a vehicle according to the preamble of patent claim 1. Furthermore, the present invention relates to a method for recognizing voice input for a vehicle according to the preamble of patent claim 10.
  • Voice recognition systems can be used for various purposes, in vehicles for example to control various functions both inside and outside the vehicle.
  • a voice command from a user is received by the voice recognition system, which is initiated with a so-called wake word.
  • a wake word is used to inform the voice recognition system that a command now follows.
  • the acoustic input i.e. the user's voice command, is recorded for a certain time.
  • This voice command is analyzed by a language model and in the end an intention is derived from the voice command and a corresponding action is implemented. Due to many external influencing factors, especially outside of a vehicle, i.e. road noise, other vehicles, variable speaker position, etc., it is a challenge to implement robust voice control outside of a vehicle.
  • the present invention is therefore based on the object of enabling both fast and robust speech recognition for a vehicle.
  • This task is achieved by a voice recognition system according to claim 1 and a method for recognizing voice input for a vehicle Claim 10 solved.
  • the proposed voice recognition system for a vehicle has at least one receiving unit for receiving voice input from a user.
  • the receiving unit is designed so that it can detect a voice input from a user outside the vehicle.
  • the voice recognition system can be used to give any commands to the vehicle, which can relate, for example, to vehicle access functions. This includes, among other things, opening/closing a vehicle door or opening/closing the trunk.
  • the voice input can optionally begin with a wake word to inform the voice recognition system that voice input is now being made. This has the advantage that any noises and conversations around the vehicle are not processed by the voice recognition system, but only actual voice input.
  • the speech recognition system has at least one detection unit that detects a trajectory, i.e. a path over time, of the user.
  • the detection unit detects a position and an orientation of the user. The detection unit can therefore detect a movement of the user in relation to the vehicle and/or a stationary position in combination with the orientation of the user in relation to the vehicle.
  • the speech recognition system can have one or more capture units or the capture unit can have multiple subunits.
  • these multiple detection units or multiple subunits can be provided at different positions in or on the vehicle.
  • a trajectory is understood to mean a movement path, which can also extend to an area, of the user, which is represented by a temporal sequence of coordinates.
  • the trajectory includes a path the user has actually traveled and an estimate of a future path the user will take in relation to the vehicle.
  • the currently recorded trajectory can be compared with predefined trajectories, which can be stored in a database. The predefined trajectory that has the highest correspondence with the currently recorded trajectory can be used to estimate the user's path and thus to determine the future course of the currently recorded trajectory.
  • the speech recognition system has a processing unit which is designed to at least partially process the received speech input.
  • the voice input can in particular have one or more keywords that can be recognized by the processing unit.
  • keywords are words that contain meaning and are not just filler words.
  • an algorithm for natural language processing can be used to process the voice input, for example using neural networks.
  • Such an algorithm uses a model that interprets the voice input and outputs possible (recognized) commands with a probability of occurrence calculated by the model. If the probability of occurrence is above a predefined minimum threshold, the recognized command is executed.
  • the processing unit can therefore, in addition to processing the voice input, be designed to process the voice input based on at least a first of the keywords and based on the captured position and orientation of the user and/or the captured Interpret the user's trajectory and carry out an action corresponding to the voice input.
  • voice input and the user's position and orientation and/or trajectory it is possible to achieve a more robust interpretation of the pure voice command, as the processing unit uses further information from the user's movement, position and orientation in relation to the vehicle.
  • An imprecise e.g.
  • this interpreted part can only be determined as a speech command with a low probability of occurrence, which is below the minimum probability of occurrence become.
  • the voice command can be verified using the additional information from the user's position and orientation and/or trajectory in relation to the vehicle, thereby increasing the probability of occurrence. For example, if the voice input is interpreted as “open”, this may refer to the trunk or any door or other part of the vehicle that can be opened. The probability of occurrence for each part of the vehicle is therefore too low to carry out a corresponding action.
  • the area in which an interpretation is possible is determined by the additional information from Po- position and orientation and/or trajectory enlarged. This means that a user's voice command can be processed quickly and reliably and the corresponding action can be carried out. In comparison to existing systems in which an interpretation is carried out without such additional information, a user's intention can therefore be determined very precisely at the beginning of the voice input or based on a smaller part of the voice input and the information from position and orientation and/or trajectory be recognized.
  • the detection unit is designed to determine the position and orientation of the user and/or the trajectory of the user by determining a position and orientation and/or a trajectory of a user terminal associated with the user.
  • the detection unit can scan the surroundings of the vehicle, e.g. via Bluetooth or other communication of a wireless personal area network (WPAN), in order to recognize such a user terminal.
  • the user terminal may generally be a device capable of wireless communication.
  • the user terminal can be a mobile device that is suitable for being carried by the user.
  • the user terminal can be, for example, a mobile phone, such as a smartphone, or another type of mobile communication device, such as a smartwatch, a laptop, a tablet computer, etc., but also a vehicle key.
  • the user terminal can contain a digital key that can be used for communication between the user terminal and the vehicle. Such a digital key can ensure that communication between the user terminal and the vehicle is secured.
  • the detection unit can determine the trajectory and/or position and orientation of the user terminal.
  • the detection unit and the user terminal can both have a short-range communication unit, in particular an ultra-wideband communication unit (UWB).
  • UWB ultra-wideband communication unit
  • the speech recognition system can have one or more detection units, that is, in this embodiment, one or more short-range communication units. th, or the detection unit can contain several communication units. Via the communication between the detection unit and the user terminal, it is possible to determine and track the position of the user terminal, that is, to determine a trajectory.
  • the user terminal can either determine its position itself and communicate it to the detection unit, or the detection unit can determine the position of the user terminal (over time) based on the received communication data, for example by means of triangulation.
  • the detection unit can have a camera to determine the user's orientation. Based on the user's orientation with respect to the vehicle, in addition to movement or position, it can be recognized which part of the vehicle the user is facing. This information can be used in addition to a trajectory or position to interpret the voice input.
  • the detection unit can be designed to also determine the position and/or trajectory using a camera, without a communication unit as described above.
  • the speech recognition system can have one or more detection units, i.e. in this embodiment one or more cameras, or the detection units can contain several cameras.
  • the receiving unit has a plurality of microphones which are arranged at different positions of the vehicle.
  • the different microphone positions allow the detection unit to determine a position of the user based on receiving the microphones.
  • microphone arrays can be used for this purpose, which consist of an arrangement of two or more microphones in a specific geometric configuration. Depending on which of the microphones receives the user's voice input first, a position of the user can be determined based on this. The volume at which a voice input is received can also be used to determine the position.
  • the processing unit is designed to interpret the voice input and verify it using the position and orientation of the user and/or the user's trajectory.
  • the processing unit can first recognize a voice command in the voice input and determine a probability of occurrence. If the probability is below a predefined threshold, the position and orientation of the user and/or the trajectory of the user can be used to verify the recognized voice command or to increase the probability of occurrence.
  • the processing unit is designed to determine a recognition level, i.e. a probability of occurrence, of the voice input after interpreting the first keyword using the position and orientation of the user and/or the user's trajectory. If the degree of recognition is less than a predefined threshold value, i.e. less than the minimum probability of occurrence, the processing unit is designed to interpret a second keyword and to determine the degree of recognition of the speech input.
  • a recognition level i.e. a probability of occurrence
  • the threshold can be, for example, 90% or higher. If, after interpreting the first keyword in combination with the position and orientation of the user and/or the user's trajectory, the processing unit determines that there is a certain probability that it is a specific command, and this probability is, for example, greater than 90%, can the voice input is interpreted accordingly and the corresponding action is carried out.
  • the processing of additional keywords can be repeated until the recognition level is greater than the predefined threshold. This means that the processing unit continues to interpret keywords from the voice input until it determines that there is sufficient probability that a specific command will be recognized. If there are not enough keywords to be able to interpret the voice input, the processing unit can, for example, output a signal to the user so that they can hears another voice input or further specifies the voice input.
  • the processing unit can stop interpreting the keywords after a predetermined period of time. This means that the processing unit can abort the interpretation (even if there are additional keywords in the voice input) if the time required for this exceeds a predetermined period of time. In this way, the user can assume that the voice command could not be interpreted after a period of time that is understandable to him, which is preferably always the same.
  • the processing unit can be designed to select possible control points of the vehicle based on the detected position and orientation and/or the detected trajectory and, in particular, to display possible control points to the user.
  • the user's position and orientation and/or the user's trajectory may be used to simplify the operation for the user.
  • the processing unit may use the position and orientation or path to determine where the user is and which control points are within the user's reach. These control points can then be identified, for example, by visual or auditory signals, e.g. vehicle lights or pictograms on the user terminal. This has the advantage that the voice input can be shorter in this way, since the voice input can only refer to the control points displayed and no further information is required.
  • a method for recognizing voice input for a vehicle includes the following steps: receiving voice input from a user, detecting a position and orientation of the user and/or a trajectory of the user, at least partially processing the voice input that includes one or more keywords, interpreting the voice input based on at least one first of the keywords and the captured position and orientation and/or the captured trajectory, and executing an action corresponding to the voice input.
  • a computer program product which has a program code which is designed to cause the method explained above to be carried out on a computer.
  • a computer program product such as a computer program means
  • Fig. 1 a schematic view of a vehicle with a voice recognition system
  • Fig. 2 a schematic block diagram of the speech recognition system of Fig. 1;
  • Fig. 3 a schematic flowchart of a speech recognition performed by the speech recognition system of Fig. 2.
  • the voice recognition system 10 can be used, for example, to control various functions of the vehicle 1.
  • the voice recognition system 10 has a receiving unit, which may contain various microphones M1 to M3.
  • the microphones M1 to M3 are shown here only as examples. They can also be arranged at other positions of the vehicle 1 and there can be more or fewer than three microphones M1 to M3.
  • the microphone M2 can be designed as a microphone array with two separate microphones.
  • the other microphones M1, M3 can also be designed as a microphone array.
  • the microphones M1 to M3 can also be implemented in combination as a microphone array.
  • Such an array can, on the one hand, enable a precise determination of the position of a user due to the specific geometric configuration relative to one another and, on the other hand, can improve the accuracy of the detection of the voice input, since even when a microphone is covered, the other microphones in the array can detect the voice input can still capture.
  • a microphone array can be used to filter out noise from other directions.
  • the microphone array can access the user's position determined via UWB, for example, and thus increase the quality of the speech capture.
  • the speech recognition system 10 has a receiving unit 12, as shown in FIG. 2.
  • the receiving unit 12 can, for example, have the microphones M1 to M3 in order to receive the voice input 2.
  • the receiving unit 12 may have additional microphones (not shown) or may be implemented in a user terminal, such as a mobile phone, which transmits the voice input to the vehicle 1.
  • the speech recognition system 10 further has a detection unit 14, which can detect a trajectory T of the user.
  • the trajectory represents a path over the user's time.
  • the recording unit 14 calculates time of flight or distance values that are used to determine the trajectory.
  • the detection unit 14 detects a position and an orientation of the user.
  • the detection unit 14 therefore detects a movement of the user in relation to the vehicle 1 and/or a stationary position in combination with an orientation of the user in relation to the vehicle 1.
  • the detection unit 14 may have a camera and/or may determine the trajectory T, position and/or orientation of the user through communication with a user terminal.
  • the position of the user can also be determined using the microphones M1 to M3, in that the receiving unit 12, in cooperation with the detection unit 14, determines which of the microphones M1 to M3 receives the voice input 2 loudest and/or fastest.
  • a processing unit 16 of the speech recognition system 10 may, based on the user's position and orientation and/or trajectory T, as well as one or more keywords contained in the speech input, Interpret the voice input and carry out an action 4 corresponding to the voice input.
  • the voice input consists of an (optional) wake word W as well as a first keyword A2 and a second keyword B3.
  • the voice input can be: “Hello car, open the trunk”.
  • “hello car” corresponds to the wake word W
  • “open” corresponds to the first keyword A2
  • “trunk” corresponds to the second keyword B3.
  • the processing unit 16 detects the wake word W and then searches a first data set A of keywords A1, A2, A3, A4... for the first keyword A2. In particular, the processing unit 16 can decide with what probability the first keyword corresponds to which of the keywords A1, A2, A3, A4... and select the keyword with the highest probability, in this case A2, as a hit for the first keyword.
  • the processing unit 16 If the processing unit 16 has identified the first keyword A2, the processing unit 16 additionally uses the acquired trajectory T to verify or interpret the first keyword. In this case, after the first keyword “open”, the processing unit 16 determines that the trajectory indicates a movement path of the user towards the trunk. The word “open” alone does not provide sufficient information to perform a corresponding action 4. In combination with the path to the trunk, however, the processing unit 16 can already carry out the voice command “open the trunk”.
  • the processing unit 16 can Further process voice input 2 by interpreting the second keyword B3 “trunk”.
  • the various keywords A1, A2, A3, A4... can be contained in a first data set and can be linked to a second data set B.
  • the keywords A1 (e.g. close) and A2 (e.g. open) can be linked to the second data set B, which contains parts of the vehicle that can be opened or closed.
  • the processing unit 16 When searching the data record B, the processing unit 16 recognizes that the second keyword “trunk” is the keyword B3. The processing unit 16 can first verify the combination of the keywords A2 and B3 (i.e. “open” plus “trunk”) through the detected trajectory T and then carry out the corresponding action 4, i.e. open the trunk.
  • the action 4 can already be carried out after the interpretation of the keyword A2 if the processing unit 16 already recognizes after the interpretation of the first keyword A2 in combination with the detected trajectory that the element to be opened is only the trunk can act. An interpretation of further keywords is then not necessary.
  • the speech recognition system described here therefore makes it possible to carry out fast and robust speech recognition, since the speech input can be interpreted by using just a few keywords in combination with a position and orientation of the user and/or a trajectory of the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

Es wird ein Spracherkennungssystem für ein Fahrzeug vorgeschlagen, wobei das Spracherkennungssystem zumindest eine Empfangseinheit zum Empfangen einer Spracheingabe von einem Benutzer und zumindest eine Erfassungseinheit zum Erfassen einer Position und Orientierung des Benutzers und/oder einer Trajektorie des Benutzers aufweist, wobei das Spracherkennungssystem des Weiteren eine Verarbeitungseinheit aufweist, die dazu ausgebildet ist, die Spracheingabe, die ein oder mehrere Schlüsselwörter aufweist, zumindest teilweise zu verarbeiten, wobei die Verarbeitungseinheit des Weiteren dazu ausgebildet ist, basierend auf zumindest einem ersten der Schlüsselwörter und der erfassten Position und Orientierung und/oder der erfassten Trajektorie die Spracheingabe zu interpretieren und eine der Spracheingabe entsprechende Aktion auszuführen.

Description

Spracherkennungssystem
Beschreibung
Die vorliegende Erfindung betrifft ein Spracherkennungssystem für ein Fahrzeug gemäß dem Oberbegriff von Patentanspruch 1 . Des Weiteren betrifft die vorliegende Erfindung ein Verfahren zum Erkennen einer Spracheingabe für ein Fahrzeug gemäß dem Oberbegriff von Patentanspruch 10.
Spracherkennungssysteme können für verschiedene Zwecke verwendet werden, in Fahrzeugen beispielsweise zur Steuerung verschiedener Funktionen sowohl innerhalb als auch außerhalb des Fahrzeugs. Hierfür wird ein Sprachbefehl eines Benutzers von dem Spracherkennungssystem empfangen, der mit einem sogenannten Wake-Wort eingeleitet wird. Ein solches Wake-Wort dient dazu, dem Spracherkennungssystem mitzuteilen, dass nun ein Befehl folgt. Nach der Erkennung des Wake-Worts wird für eine bestimmte Zeit die akustische Eingabe, d.h. der Sprachbefehl des Benutzers, aufgenommen.
Dieser Sprachbefehl wird durch ein Sprachmodell analysiert und am Ende wird aus dem Sprachbefehl eine Intention abgeleitet und eine entsprechende Aktion umgesetzt. Durch viele äußere Einflussfaktoren, insbesondere außerhalb eines Fahrzeugs, d.h. Straßengeräusche, andere Fahrzeuge, variable Sprecherposition etc., ist es eine Herausforderung, eine robuste Sprachsteuerung außerhalb eines Fahrzeugs umzusetzen.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, eine sowohl schnelle als auch robuste Spracherkennung für ein Fahrzeug zu ermöglichen.
Diese Aufgabe wird durch ein Spracherkennungssystem gemäß Patentanspruch 1 sowie ein Verfahren zum Erkennen einer Spracheingabe für ein Fahrzeug gemäß Patentanspruch 10 gelöst.
Das vorgeschlagene Spracherkennungssystem für ein Fahrzeug weist zumindest eine Empfangseinheit zum Empfangen einer Spracheingabe von einem Benutzer auf. Insbesondere ist die Empfangseinheit so ausgebildet, dass sie eine Spracheingabe von einem Benutzer im Außenraum des Fahrzeugs erfassen kann. Durch das Spracherkennungssystem können beliebige Befehle an das Fahrzeug gegeben werden, die sich beispielsweise auf Fahrzeugzugangsfunktionen beziehen können. Hierzu zählen unter anderem das Öffnen/Schließen einer Fahrzeugtür o- der das Öffnen/Schließen des Kofferraums.
Die Spracheingabe kann optional mit einem Wake-Wort beginnen, um dem Spracherkennungssystem mitzuteilen, dass nun eine Spracheingabe erfolgt. Dies hat den Vorteil, dass beliebige Geräusche und Unterhaltungen um das Fahrzeug herum durch das Spracherkennungssystem nicht verarbeitet werden, sondern nur tatsächliche Spracheingaben.
Des Weiteren weist das Spracherkennungssystem zumindest eine Erfassungseinheit auf, die eine Trajektorie, d.h. einen Weg über die Zeit, des Benutzers erfasst. Alternativ oder zusätzlich erfasst die Erfassungseinheit eine Position und eine Orientierung des Benutzers. Durch die Erfassungseinheit kann also eine Bewegung des Benutzers in Bezug auf das Fahrzeug und/oder eine stationäre Position in Kombination mit der Orientierung des Benutzers in Bezug auf das Fahrzeug erfasst werden.
Das Spracherkennungssystem kann eine oder mehrere Erfassungseinheiten aufweisen oder die Erfassungseinheit kann mehrere Untereinheiten aufweisen. Insbesondere können diese mehreren Erfassungseinheiten oder mehrere Untereinheiten an verschiedenen Positionen in oder an dem Fahrzeug vorgesehen sein.
Unter einer Trajektorie wird in diesem Zusammenhang ein Bewegungspfad, der sich auch auf einen Bereich erstrecken kann, des Benutzers verstanden, der durch eine zeitliche Sequenz von Koordinaten dargestellt wird. Zur Erfassung ei- ner solchen Trajektorie stehen verschiedene Möglichkeiten zu Verfügung, wie weiter unten noch näher erläutert wird. Insbesondere beinhaltet die Trajektorie einen bereits tatsächlich zurückgelegten Weg des Benutzers sowie eine Schätzung über einen zukünftigen Weg des Benutzers in Bezug auf das Fahrzeug. Zur Schätzung des zukünftigen Wegs kann die aktuell erfasste Trajektorie mit vordefinierten Trajektorien verglichen werden, die in einer Datenbank abgelegt sein können. Diejenige vordefinierte Trajektorie, die die höchste Übereinstimmung mit der aktuell erfassten Trajektorie hat, kann zur Schätzung des Wegs des Benutzers und damit zur Bestimmung des zukünftigen Verlaufs der aktuell erfassten Trajektorie herangezogen werden.
Um nun eine schnelle und gleichzeitig robuste Spracherkennung zu ermöglichen, weist das Spracherkennungssystem eine Verarbeitungseinheit auf, die dazu ausgebildet ist, die empfangene Spracheingabe zumindest teilweise zu verarbeiten. Die Spracheingabe kann insbesondere ein oder mehrere Schlüsselwörter aufweisen, die durch die Verarbeitungseinheit erkannt werden können. Unter Schlüsselwörtern werden in diesem Zusammenhang Worte verstanden, die einen Sinn enthalten und keine reinen Füllwörter darstellen. Beispielsweise bei dem Sprachbefehl „öffne den Kofferraum“ können die Worte „öffne“ und „Kofferraum“ als Schlüsselwörter angesehen werden. Zur Verarbeitung der Spracheingabe kann insbesondere ein Algorithmus zur Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) verwendet werden, beispielsweise unter Einsatz neuronaler Netze. Bei einem solchen Algorithmus wird ein Modell verwendet, das die Spracheingabe interpretiert und mögliche (erkannte) Befehle mit einer vom Modell berechneten Eintrittswahrscheinlichkeit ausgibt. Liegt die Eintrittswahrscheinlichkeit über einem vordefinierten Minimalschwellwert, wird der erkannte Befehl ausgeführt.
Um die Spracheingabe zuverlässig interpretieren zu können, und beispielsweise einen Befehl auch dann auszuführen, wenn die Eintrittswahrscheinlichkeit unter dem vordefinierten Minimalschwellwert liegt, kann die Verarbeitungseinheit daher zusätzlich zur Verarbeitung der Spracheingabe dazu ausgebildet sein, die Spracheingabe basierend auf zumindest einem ersten der Schlüsselwörter und basierend auf der erfassten Position und Orientierung des Benutzers und/oder der erfassten Trajektorie des Benutzers zu interpretieren und eine der Spracheingabe entsprechende Aktion auszuführen. Durch die Kombination aus Spracheingabe und Position und Orientierung und/oder Trajektorie des Benutzers ist es möglich, eine robustere Interpretation des reinen Sprachbefehls zu erreichen, da die Verarbeitungseinheit weitere Informationen durch die Bewegung, Position und Orientierung des Benutzers in Bezug auf das Fahrzeug verwendet. Eine ungenaue (z.B. nur „öffne“ statt „öffne den Kofferraum“) oder eine durch die Empfangseinheit nur schlecht oder teilweise empfangene Spracheingabe (z.B. aufgrund von Umgebungsgeräuschen) kann durch die zusätzliche Information interpretiert oder verfeinert werden. Auf diese Weise ist es möglich, einen Sprachbefehl, der eine Eintrittswahrscheinlichkeit unter der Minimaleintrittswahrscheinlichkeit hat, über die Zusatzinformation zu verifizieren.
Wenn die Verarbeitungseinheit beispielsweise nur einen Teil der Spracheingabe interpretiert oder nur einen Teil der Spracheingabe interpretieren kann (da nur teilweise empfangen oder zu viele Störgeräusche), kann dieser interpretierte Teil zwar nur als Sprachbefehl mit einer geringen Eintrittswahrscheinlichkeit, die unter der der Minimaleintrittswahrscheinlichkeit liegt, bestimmt werden. Über die zusätzliche Information aus Position und Orientierung und/oder Trajektorie des Benutzers in Bezug auf das Fahrzeug kann jedoch der Sprachbefehl verifiziert und damit die Eintrittswahrscheinlichkeit erhöht werden. Wird z.B. die Spracheingabe als „öffne“ interpretiert, kann sich dies auf den Kofferraum oder irgendeine Tür oder ein sonstiges Teil des Fahrzeugs beziehen, das sich öffnen lässt. Die Eintrittswahrscheinlichkeit für jedes Teil des Fahrzeugs ist damit zu gering, um eine entsprechende Aktion durchzuführen. Befindet sich jedoch der Benutzer auf einer Trajektorie, die zum Kofferraum führt, oder steht vor dem Kofferraum und ist diesem zugewandt (Position und Orientierung), kann dies als Zusatzinformation verwendet werden, um die Eintrittswahrscheinlichkeit für den Sprachbefehl „öffne den Kofferraum“ zu erhöhen und damit eine Aktion durchführen zu können.
Es ist somit nicht mehr erforderlich, dass der reine Sprachbefehl mit einer ausreichenden Wahrscheinlichkeit interpretiert werden kann, sondern der Bereich, in dem eine Interpretation möglich ist, wird durch die zusätzliche Information aus Po- sition und Orientierung und/oder Trajektorie vergrößert. Somit kann ein Sprachbefehl eines Benutzers schnell und zuverlässig verarbeitet und die entsprechende Aktion durchgeführt werden. Im Vergleich zu existierenden Systemen, bei denen eine Interpretation ohne eine solche Zusatzinformationen durchgeführt wird, kann somit sehr genau eine Intention des Benutzers bereits zu Beginn der Spracheingabe bzw. basierend auf einem kleineren Teil der Spracheingabe und der Information aus Position und Orientierung und/oder Trajektorie erkannt werden.
Gemäß einer weiteren Ausführungsform ist die Erfassungseinheit dazu ausgebildet, die Position und Orientierung des Benutzers und/oder die Trajektorie des Benutzers durch Bestimmen einer Position und Orientierung und/oder einer Trajektorie eines mit dem Benutzer assoziierten Benutzerendgeräts zu bestimmen. Die Erfassungseinheit kann die Umgebung des Fahrzeugs scannen, z.B. via Bluetooth oder einer anderen Kommunikation eines Wireless Personal Area Networks (WPAN), um ein solches Benutzerendgerät zu erkennen. Das Benutzerendgerät kann im Allgemeinen ein Gerät sein, das in der Lage ist, drahtlos zu kommunizieren. Insbesondere kann das Benutzerendgerät ein mobiles Gerät sein, das geeignet ist, von dem Benutzer mitgeführt zu werden. Bei dem Benutzerendgerät kann es sich beispielsweise um ein Mobiltelefon, wie ein Smartphone, oder eine andere Art von mobilem Kommunikationsgerät, wie eine Smartwatch, einen Laptop, einen Tablet-Computer, etc., aber auch einen Fahrzeugschlüssel handeln. Insbesondere kann das Benutzerendgerät einen digitalen Schlüssel enthalten, der zur Kommunikation zwischen dem Benutzerendgerät und dem Fahrzeug verwendet werden kann. Durch einen solchen digitalen Schlüssel kann sichergestellt werden, dass eine Kommunikation zwischen Benutzerendgerät und Fahrzeug abgesichert ist.
Sobald die Erfassungseinheit das Benutzerendgerät erkannt hat, kann sie die Trajektorie und/oder Position und Orientierung des Benutzerendgeräts bestimmen. Hierzu können die Erfassungseinheit und das Benutzerendgerät in einer Ausführungsform beide eine Nahbereichskommunikationseinheit, insbesondere eine Ultrabreitband-Kommunikationseinheit (UWB) aufweisen. Wie bereits oben erläutert, kann das Spracherkennungssystem eine oder mehrere Erfassungseinheiten, d.h. in dieser Ausführungsform ein oder mehrere Nahbereichskommunikationseinhei- ten, aufweisen oder die Erfassungseinheit kann mehrere Kommunikationseinheiten enthalten. Über die Kommunikation zwischen der Erfassungseinheit und dem Benutzerendgerät ist es möglich, die Position des Benutzerendgeräts zu bestimmen und nachzuverfolgen, d.h. eine Trajektorie zu bestimmen. Hierbei kann das Benutzerendgerät entweder selbst seine Position bestimmen und der Erfassungseinheit mitteilen, oder die Erfassungseinheit kann basierend auf den empfangenen Kommunikationsdaten, z.B. mittels Triangulation, die Position des Benutzerendgeräts (über die Zeit) bestimmen.
Zusätzlich kann die Erfassungseinheit eine Kamera aufweisen, um die Orientierung des Benutzers zu bestimmen. Basierend auf der Ausrichtung des Benutzers in Bezug auf das Fahrzeug kann, zusätzlich zu einer Bewegung oder einer Position, erkannt werden, welchem Teil des Fahrzeugs der Benutzer zugewandt ist. Diese Information kann zusätzlich zu einer Trajektorie oder einer Position verwendet werden, um die Spracheingabe zu interpretieren. Alternativ kann die Erfassungseinheit dazu ausgebildet sein, auch die Position und/oder Trajektorie durch eine Kamera, ohne eine wie oben beschriebene Kommunikationseinheit, zu bestimmen. Wie bereits oben erläutert, kann das Spracherkennungssystem eine o- der mehrere Erfassungseinheiten, d.h. in dieser Ausführungsform ein oder mehrere Kameras, aufweisen oder die Erfassungseinheiten kann mehrere Kameras enthalten.
Gemäß einer weiteren Ausführungsform weist die Empfangseinheit mehrere Mikrofone auf, die an verschiedenen Positionen des Fahrzeugs angeordnet sind. Durch die verschiedenen Mikrofonpositionen kann die Erfassungseinheit basierend auf einem Empfangen der Mikrofone eine Position des Benutzers bestimmen. Insbesondere können hierzu Mikrofon-Arrays verwendet werden, die aus einer Anordnung von zwei oder mehr Mikrofonen in einer bestimmten geometrischen Konfiguration bestehen. Je nachdem, welches der Mikrofone zuerst die Spracheingabe des Benutzers empfängt, kann basierend darauf eine Position des Benutzers bestimmt werden. Ebenfalls kann die Lautstärke, mit der eine Spracheingabe empfangen wird, zur Bestimmung der Position verwendet werden. Gemäß einer weiteren Ausführungsform ist die Verarbeitungseinheit dazu ausgebildet, die Spracheingabe zu interpretieren und unter Verwendung der Position und Orientierung des Benutzers und/oder der Trajektorie des Benutzers zu verifizieren. Wie bereits oben erläutert, kann die Verarbeitungseinheit zunächst einen Sprachbefehl in der Spracheingabe erkennen und eine Eintrittswahrscheinlichkeit bestimmen. Liegt die Wahrscheinlichkeit unter einem vordefinierten Schwellwert, kann die Position und Orientierung des Benutzers und/oder die Trajektorie des Benutzers verwendet werden, um den erkannten Sprachbefehl zu verifizieren bzw. die Eintrittswahrscheinlichkeit zu erhöhen.
Gemäß einer weiteren Ausführungsform ist die Verarbeitungseinheit dazu ausgebildet, einen Erkennungsgrad, d.h. eine Eintrittswahrscheinlichkeit, der Spracheingabe nach Interpretation des ersten Schlüsselworts unter Verwendung der Position und Orientierung des Benutzers und/oder der Trajektorie des Benutzers zu bestimmen. Wenn der Erkennungsgrad kleiner als ein vordefinierter Schwellwert ist, d.h. kleiner als die Minimaleintrittswahrscheinlichkeit, ist die Verarbeitungseinheit dazu ausgebildet, ein zweites Schlüsselwort zu interpretieren und den Erkennungsgrad der Spracheingabe zu bestimmen.
Der Schwellwert kann beispielsweise 90 % oder höher sein. Wenn die Verarbeitungseinheit nach Interpretation des ersten Schlüsselworts in Kombination mit der Position und Orientierung des Benutzers und/oder der Trajektorie des Benutzers feststellt, dass es sich mit einer gewissen Wahrscheinlichkeit um einen bestimmten Befehl handelt, und diese Wahrscheinlichkeit beispielsweise größer als 90 % ist, kann die Spracheingabe entsprechend interpretiert und die korrespondierende Aktion ausgeführt werden.
Die Verarbeitung von weiteren Schlüsselwörtern kann so lange wiederholt werden, bis der Erkennungsgrad größer als der vordefinierte Schwellwert ist. Das bedeutet, dass die Verarbeitungseinheit so lange weitere Schlüsselwörter der Spracheingabe interpretiert, bis sie feststellt, das mit einer ausreichenden Wahrscheinlichkeit ein bestimmter Befehl erkannt wird. Sollten nicht genug Schlüsselwörter vorhanden sein, um die Spracheingabe interpretieren zu können, kann die Verarbeitungseinheit beispielsweise ein Signal an den Benutzer ausgegeben, damit dieser eine erneute Spracheingabe vernimmt oder die Spracheingabe weiter spezifiziert.
Alternativ kann die Verarbeitungseinheit die Interpretation der Schlüsselwörter nach einer vorgegebenen Zeitdauer abbrechen. Das bedeutet, dass die Verarbeitungseinheit (auch für den Fall, dass noch weitere Schlüsselwörter in der Spracheingabe enthalten sind) die Interpretation abbrechen kann, wenn die dafür benötigte Zeit eine vorgegebene Zeitdauer überschreitet. Auf diese Weise kann der Benutzer nach einer für ihn nachvollziehbaren Zeitspanne, die vorzugsweise immer gleich ist, davon ausgehen, dass der Sprachbefehl nicht interpretiert werden konnte.
Gemäß einer weiteren Ausführungsform kann die Verarbeitungseinheit dazu ausgebildet sein, basierend auf der erfassten Position und Orientierung und/oder der erfassten Trajektorie mögliche Bedienstellen des Fahrzeugs auszuwählen und insbesondere mögliche Bedienstellen dem Benutzer anzuzeigen. Zusätzlich zu einer Verbesserung der Verarbeitung der Spracheingabe kann in dieser Ausführungsform die Position und Orientierung des Benutzers und/oder die Trajektorie des Benutzers verwendet werden, um die Bedienung für den Benutzer zu vereinfachen. Die Verarbeitungseinheit kann die Position und Orientierung oder den Weg verwenden, um zu bestimmen, wo sich der Benutzer befindet und welche Bedienstellen in seiner Reichweite sind. Diese Bedienstellen können dann, beispielsweise durch visuelle oder auditive Signale, z.B. Fahrzeugleuchten oder Piktogramme auf dem Benutzerendgerät, kenntlich gemacht werden. Dies hat den Vorteil, dass die Spracheingabe auf diese Weise kürzer ausfallen kann, da sich die Spracheingabe nur auf die angezeigten Bedienstellen beziehen kann und weitere Informationen nicht erforderlich sind.
Gemäß einem weiteren Aspekt wird ein Verfahren zum Erkennen einer Spracheingabe für ein Fahrzeug vorgeschlagen. Das Verfahren weist die folgenden Schritte auf: Empfangen einer Spracheingabe von einem Benutzer, Erfassen einer Position und Orientierung des Benutzers und/oder einer Trajektorie des Benutzers, zumindest teilweises Verarbeiten der Spracheingabe, die ein oder mehrere Schlüsselwörter aufweist, Interpretieren der Spracheingabe basierend auf zumindest einem ersten der Schlüsselwörter und der erfassten Position und Orientierung und/oder der erfassten Trajektorie, und Ausführen einer der Spracheingabe entsprechenden Aktion.
Die für das vorgeschlagene Spracherkennungssystem beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Verfahren entsprechend.
Weiterhin wird ein Computerprogrammprodukt vorgeschlagen, welches einen Programmcode aufweist, der dazu ausgebildet ist, auf einem Computer die Durchführung des wie oben erläuterten Verfahrens zu veranlassen.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann z.B. in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere Vorteile und vorteilhafte Ausführungsformen sind in der Beschreibung, den Zeichnungen und den Ansprüchen angegeben. Dabei sind insbesondere die in der Beschreibung und in den Zeichnungen angegebenen Kombinationen der Merkmale rein exemplarisch, so dass die Merkmale auch einzeln oder anders kombiniert vorliegen können.
Im Folgenden soll die Erfindung anhand von in den Zeichnungen dargestellten Ausführungsbeispielen näher beschrieben werden. Dabei sind die Ausführungsbeispiele und die in den Ausführungsbeispielen gezeigten Kombinationen rein exemplarisch und sollen nicht den Schutzbereich der Erfindung festlegen. Dieser wird allein durch die anhängigen Ansprüche definiert.
Es zeigen:
Fig. 1 : eine schematische Ansicht eines Fahrzeugs mit einem Spracherkennungssystem;
Fig. 2: ein schematisches Blockdiagramm des Spracherkennungssystems von Fig. 1 ; und
Fig. 3: ein schematisches Ablaufdiagramm einer Spracherkennung, die durch das Spracherkennungssystem von Fig. 2 durchgeführt wird.
Im Folgenden werden gleiche oder funktionell gleichwirkende Elemente mit denselben Bezugszeichen gekennzeichnet.
Fig. 1 zeigt ein Fahrzeug 1 , das ein Spracherkennungssystems 10 aufweist. Das Spracherkennungssystem 10 kann beispielsweise dazu verwendet werden, verschiedene Funktionen des Fahrzeugs 1 zu steuern. Um eine Spracheingabe eines Benutzers zu empfangen, weist das Spracherkennungssystem 10 eine Empfangseinheit auf, die verschiedene Mikrofone M1 bis M3 enthalten kann.
Die Mikrofone M1 bis M3 sind hier nur beispielhaft gezeigt. Sie können auch an anderen Positionen des Fahrzeugs 1 angeordnet sein und es können mehr oder weniger als drei Mikrofone M1 bis M3 sein.
Wie in Fig. 1 gezeigt ist, kann das Mikrofon M2 als Mikrofonarray mit zwei getrennten Mikrofonen ausgebildet sein. Die anderen Mikrofone M1 , M3 können ebenfalls als Mikrofonarray ausgebildet sein. Die Mikrofone M1 bis M3 können ebenfalls in Kombination als Mikrofonarray realisiert werden. Ein solches Array kann zum einen aufgrund der spezifischen geometrischen Konfiguration zueinander eine genaue Bestimmung der Position eines Benutzers ermöglichen und kann zum anderen die Genauigkeit der Erfassung der Spracheingabe verbessern, da auch bei Abdeckung eines Mikrofons die anderen Mikrofone des Arrays die Spracheingabe noch erfassen können. Des Weiteren lassen sich durch ein solches Mikrofonarray Störgeräusche aus anderen Richtungen filtern. Das Mikrofonarray kann auf die über beispielsweise über UWB bestimmte Position des Nutzers zurückgreifen, und somit die Qualität der Spracherfassung erhöhen.
Das Spracherkennungssystem 10 weist eine Empfangseinheit 12 auf, wie in Fig. 2 gezeigt ist. Die Empfangseinheit 12 kann beispielsweise die Mikrofone M1 bis M3 aufweisen, um die Spracheingabe 2 zu empfangen. Die Empfangseinheit 12 kann weitere Mikrofone (nicht gezeigt) aufweisen oder kann in einem Benutzerendgerät, wie beispielsweise einem Mobiltelefon, implementiert sein, welches die Spracheingabe an das Fahrzeug 1 überträgt.
Das Spracherkennungssystem 10 weist des Weiteren eine Erfassungseinheit 14 auf, die eine Trajektorie T des Benutzers erfassen kann. Die Trajektorie stellt einen Weg über die Zeit des Benutzers dar. Insbesondere werden über die Erfassungseinheit 14 Time of Flight bzw. Abstandswerte berechnet, die zur Bestimmung der Trajektorie verwendet werden.
Alternativ oder zusätzlich erfasst die Erfassungseinheit 14 eine Position und eine Orientierung des Benutzers. Durch die Erfassungseinheit 14 wird also eine Bewegung des Benutzers in Bezug auf das Fahrzeug 1 und/oder eine stationäre Position in Kombination mit einer Orientierung des Benutzers in Bezug auf das Fahrzeug 1 erfasst. Die Erfassungseinheit 14 kann eine Kamera aufweisen und/oder kann die Trajektorie T, Position und/oder Orientierung des Benutzers durch Kommunikation mit einem Benutzerendgerät bestimmen.
Die Position des Benutzers kann auch unter Verwendung der Mikrofone M1 bis M3 bestimmt werden, indem die Empfangseinheit 12 in Zusammenwirkung mit der Erfassungseinheit 14 ermittelt, welches der Mikrofone M1 bis M3 die Spracheingabe 2 am lautesten und/oder am schnellsten empfängt.
Eine Verarbeitungseinheit 16 des Spracherkennungssystems 10 kann basierend auf der Position und Orientierung und/oder Trajektorie T des Benutzers sowie auf einem oder mehreren Schlüsselwörtern, die in der Spracheingabe enthalten sind, die Spracheingabe interpretieren und eine der Spracheingabe entsprechende Aktion 4 ausführen.
Eine Interpretation der Spracheingabe ist beispielhaft in Figur 3 gezeigt.
In Fig. 3 besteht die Spracheingabe aus einem (optionalen) Wake-Wort W sowie einem ersten Schlüsselwort A2 und einem zweiten Schlüsselwort B3. Beispielsweise kann die Spracheingabe also lauten: „Hallo Auto, öffne den Kofferraum“. „Hallo Auto“ entspricht in diesem Fall dem Wake-Wort W, „öffne“ entspricht dem ersten Schlüsselwort A2 und „Kofferraum“ entspricht dem zweiten Schlüsselwort B3.
Die Verarbeitungseinheit 16 erfasst das Wake-Wort W und durchsucht anschließend einen ersten Datensatz A von Schlüsselwörtern A1 , A2, A3, A4... nach dem ersten Schlüsselwort A2. Insbesondere kann die Verarbeitungseinheit 16 entscheiden, mit welcher Wahrscheinlichkeit das erste Schlüsselwort welchem der Schlüsselwörtern A1 , A2, A3, A4... entspricht, und das Schlüsselwort mit der höchsten Wahrscheinlichkeit, in diesem Fall A2, als Treffer für das erste Schlüsselwort auswählen.
Wenn die Verarbeitungseinheit 16 das erste Schlüsselwort A2 identifiziert hat, verwendet die Verarbeitungseinheit 16 zusätzlich die erfasste Trajektorie T, um das erste Schlüsselwort zu verifizieren oder zu interpretieren. Nach dem ersten Schlüsselwort „öffne“ stellt die Verarbeitungseinheit 16 in diesem Fall fest, dass die Trajektorie einen Bewegungspfad des Benutzers zu dem Kofferraum hin angibt. Das Wort „öffne“ alleine stellt keine ausreichende Information bereit, um eine entsprechende Aktion 4 durchzuführen. In Kombination mit dem Weg zum Kofferraum hingegen, kann die Verarbeitungseinheit 16 bereits den Sprachbefehl „öffne den Kofferraum“ durchführen.
Wenn durch die Kombination aus dem ersten Schlüsselwort A2 und der Trajektorie T (oder alternativ der Position und Orientierung des Benutzers) kein ausreichender Erkennungsgrad der Spracheingabe 2 vorliegt bzw. der Erkennungsgrad unter einem vordefinierten Schwellwert liegt, kann die Verarbeitungseinheit 16 die Spracheingabe 2 weiter verarbeiten, indem das zweite Schlüsselwort B3 „Kofferraum“ interpretiert wird. Die verschiedenen Schlüsselwörter A1 , A2, A3, A4... können in einem ersten Datensatz enthalten sein und können mit einem zweiten Datensatz B verknüpft sein. Beispielsweise können die Schlüsselwörter A1 (z.B. schließe) und A2 (z.B. öffne) mit dem zweiten Datensatz B verknüpft sein, der Teile des Fahrzeugs enthält, die geöffnet oder geschlossen werden können.
Bei Durchsuchen des Datensatzes B erkennt die Verarbeitungseinheit 16, dass es sich bei dem zweiten Schlüsselwort „Kofferraum“ um das Schlüsselwort B3 handelt. Die Kombination der Schlüsselwörter A2 und B3 (d.h. „öffne“ plus „Kofferraum“) kann die Verarbeitungseinheit 16 zunächst durch die erfasste Trajektorie T verifizieren und anschließend die entsprechende Aktion 4 durchführen, d.h. den Kofferraum öffnen.
Wie bereits erläutert, kann die Aktion 4 bereits nach der Interpretation des Schlüsselworts A2 durchgeführt werden, wenn die Verarbeitungseinheit 16 bereits nach der Interpretation des ersten Schlüsselworts A2 in Kombination mit der erfassten Trajektorie erkennt, dass es sich bei dem zu öffnenden Element nur um den Kofferraum handeln kann. Eine Interpretation weiterer Schlüsselwörter ist dann nicht erforderlich.
Durch das hier beschriebene Spracherkennungssystem ist es somit möglich, eine schnelle und robuste Spracherkennung durchzuführen, da die Spracheingabe durch Verwendung von bereits wenigen Schlüsselwörtern in Kombination mit einer Position und Orientierung des Benutzers und/oder einer Trajektorie des Benutzers interpretiert werden kann. Bezugszeichen
1 Fahrzeug
2 Spracheingabe
4 Aktion
10 Spracherkennungssystem
12 Empfangseinheit
14 Erfassungseinheit
16 Verarbeitungseinheit
A, B, C, D, E Datensätze M1 , M2, M3 Mikrofone T Trajektorie
W Wake-Wort

Claims

Ansprüche:
1 . Spracherkennungssystem (10) für ein Fahrzeug (1 ), wobei das Spracherkennungssystem (10) zumindest eine Empfangseinheit (12) zum Empfangen einer Spracheingabe (2) von einem Benutzer und zumindest eine Erfassungseinheit zum Erfassen einer Position und Orientierung des Benutzers und/oder einer Trajektorie des Benutzers aufweist, dadurch gekennzeichnet, dass das Spracherkennungssystem (10) eine Verarbeitungseinheit (16) aufweist, die dazu ausgebildet ist, die Spracheingabe (2), die ein oder mehrere Schlüsselwörter aufweist, zumindest teilweise zu verarbeiten, wobei die Verarbeitungseinheit (16) des Weiteren dazu ausgebildet ist, basierend auf zumindest einem ersten der Schlüsselwörter und der erfassten Position und Orientierung und/oder der erfassten Trajektorie die Spracheingabe (2) zu interpretieren und eine der Spracheingabe (2) entsprechende Aktion (4) auszuführen.
2. Spracherkennungssystem gemäß Anspruch 1 , wobei die Erfassungseinheit dazu ausgebildet ist, die Position und Orientierung des Benutzers und/oder die Trajektorie des Benutzers durch Bestimmen einer Position und Orientierung und/oder einer Trajektorie eines mit dem Benutzer assoziierten Benutzerendgeräts zu bestimmen.
3. Spracherkennungssystem gemäß Anspruch 2, wobei das Benutzerendgerät und die Erfassungseinheit jeweils eine Nahbereichskommunikationseinheit, insbesondere eine Ultrabreitband-Kommunikationseinheit, aufweisen.
4. Spracherkennungssystem gemäß einem der vorhergehenden Ansprüche, wobei die Erfassungseinheit zumindest eine Kamera aufweist und dazu ausgebildet ist, basierend auf einem erfassten Bild die Position und Orientierung des Benutzers und/oder die Trajektorie des Benutzers zu erfassen.
5. Spracherkennungssystem gemäß einem der vorhergehenden Ansprüche, wobei die Empfangseinheit (12) mehrere Mikrofone (M1 , M2, M3) aufweist, die an verschiedenen Positionen des Fahrzeugs (1 ) angeordnet sind, wobei die Erfassungseinheit (14) dazu ausgebildet ist, basierend auf einem Empfang der Mikrofone (M1 , M2, M3) die Position des Benutzers und/oder die Trajektorie des Benutzers zu bestimmen.
6. Spracherkennungssystem gemäß einem der vorhergehenden Ansprüche, wobei die Verarbeitungseinheit dazu ausgebildet ist, die Spracheingabe (2) zu interpretieren und unter Verwendung der Position und Orientierung des Benutzers und/oder der Trajektorie des Benutzers zu verifizieren.
7. Spracherkennungssystem gemäß einem der vorhergehenden Ansprüche, wobei die Verarbeitungseinheit (16) dazu ausgebildet ist, einen Erkennungsgrad der Spracheingabe (2) nach Interpretation des ersten Schlüsselworts unter Verwendung der Position und Orientierung des Benutzers und/oder der Trajektorie des Benutzers zu bestimmen, und wenn der Erkennungsgrad kleiner als ein vordefinierter Schwellwert ist, ein zweites Schlüsselwort zu interpretieren und einen Erkennungsgrad der Spracheingabe zu bestimmen.
8. Spracherkennungssystem gemäß Anspruch 7, wobei die Verarbeitungseinheit (16) dazu ausgebildet ist, so lange weitere Schlüsselwörter der Spracheingabe (2) unter Verwendung der Position und Orientierung des Benutzers und/oder der Trajektorie des Benutzers zu interpretieren, bis der Erkennungsgrad größer als der vordefinierte Schwellwert ist, und/oder bis eine vorgegebene Zeitdauer überschritten ist.
9. Spracherkennungssystem gemäß einem der vorhergehenden Ansprüche, wobei die Verarbeitungseinheit dazu ausgebildet ist, basierend auf der erfassten Position und Orientierung des Benutzers und/oder der erfassten Trajektorie des Benutzers mögliche Bedienstellen des Fahrzeugs auszuwählen und insbesondere die möglichen Bedienstellen dem Benutzer anzuzeigen.
10. Verfahren zum Erkennen einer Spracheingabe (2) für ein Fahrzeug (1 ), wobei das Verfahren ein Empfangen einer Spracheingabe (2) von einem Benutzer und ein Erfassen einer Position und Orientierung des Benutzers und/oder einer Trajektorie des Benutzers aufweist, dadurch gekennzeichnet, dass das Verfahren des Weiteren aufweist: zumindest teilweises Verarbeiten der Spracheingabe (2), die ein oder mehrere Schlüsselwörter aufweist, Interpretieren der Spracheingabe (2) basierend auf zumindest einem ersten der Schlüsselwörter und der erfassten Position und Orientierung und/oder der erfassten Trajektorie und Ausführen einer der Spracheingabe (2) entsprechenden Aktion (4).
PCT/EP2023/061543 2022-05-18 2023-05-02 Spracherkennungssystem WO2023222373A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022112444.4 2022-05-18
DE102022112444.4A DE102022112444A1 (de) 2022-05-18 2022-05-18 Spracherkennungssystem

Publications (1)

Publication Number Publication Date
WO2023222373A1 true WO2023222373A1 (de) 2023-11-23

Family

ID=86382736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/061543 WO2023222373A1 (de) 2022-05-18 2023-05-02 Spracherkennungssystem

Country Status (2)

Country Link
DE (1) DE102022112444A1 (de)
WO (1) WO2023222373A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154613A1 (en) * 2006-08-04 2008-06-26 Harman Becker Automotive Systems Gmbh Voice command processing system in a vehicle environment
DE102016209991A1 (de) * 2016-06-07 2017-12-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Nicht-Mechanischen Betätigen einer Fahrzeugtür sowie Fahrzeug
DE102017219234A1 (de) * 2017-10-26 2019-05-02 Audi Ag Verfahren zum Erfassen einer Spracheingabe eines Benutzers in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug
US20200047687A1 (en) * 2018-08-10 2020-02-13 SF Motors Inc. Exterior speech interface for vehicle
DE102018007582A1 (de) * 2018-09-25 2020-03-26 Daimler Ag Kraftfahrzeug und Verfahren zur Verarbeitung von Schalleinwirkung von außerhalb des Kraftfahrzeugs
US20210335342A1 (en) * 2019-10-15 2021-10-28 Google Llc Detection and/or enrollment of hot commands to trigger responsive action by automated assistant

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2575128A3 (de) 2011-09-30 2013-08-14 Apple Inc. Benutzung von Kontextinformation um die Verarbeitung von Kommandos in einem virtuellen Assistenten zu ermöglichen
US9020825B1 (en) 2012-09-25 2015-04-28 Rawles Llc Voice gestures
DE102017011498B4 (de) 2017-12-13 2022-08-18 Mercedes-Benz Group AG Verfahren zum Betreiben eines Assistenzsystems und ein Assistenzsystem für einen Kraftwagen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154613A1 (en) * 2006-08-04 2008-06-26 Harman Becker Automotive Systems Gmbh Voice command processing system in a vehicle environment
DE102016209991A1 (de) * 2016-06-07 2017-12-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Nicht-Mechanischen Betätigen einer Fahrzeugtür sowie Fahrzeug
DE102017219234A1 (de) * 2017-10-26 2019-05-02 Audi Ag Verfahren zum Erfassen einer Spracheingabe eines Benutzers in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug
US20200047687A1 (en) * 2018-08-10 2020-02-13 SF Motors Inc. Exterior speech interface for vehicle
DE102018007582A1 (de) * 2018-09-25 2020-03-26 Daimler Ag Kraftfahrzeug und Verfahren zur Verarbeitung von Schalleinwirkung von außerhalb des Kraftfahrzeugs
US20210335342A1 (en) * 2019-10-15 2021-10-28 Google Llc Detection and/or enrollment of hot commands to trigger responsive action by automated assistant

Also Published As

Publication number Publication date
DE102022112444A1 (de) 2023-11-23

Similar Documents

Publication Publication Date Title
DE10132013B4 (de) Multimodale Biometrie
DE102019106204A1 (de) Dekompression von Ultraschallsignalen die mittels Signalobjektklassen komprimiert wurden
DE60024506T2 (de) Verfahren zur mehrstufigen Spracherkennung und Funkübertragungsvorrichtung zur Steuerung durch Sprache
DE102015116832A1 (de) Adaptive Fahreridentifikationsverschmelzung
DE112010003914T5 (de) Verfahren und Vorrichtung zur Erkennung von Müdigkeit am Steuer sowie ein Fahrzeug
DE3235279C2 (de) Spracherkennungseinrichtung
DE102019009242B3 (de) Sensor mit Ultraschallsignalkompression auf Basis eines Annäherungsverfahrens mittels Signalobjektklassen
DE102017218542A1 (de) Verfahren zur Sprachsteuerung von Fahrzeugfunktionen eines Kraftfahrzeugs von außerhalb des Kraftfahrzeugs, Dachantennenelement für ein Kraftfahrzeug sowie Kraftfahrzeug mit einem Dachantennenelement
EP0964390A2 (de) Vorrichtung zur Verifizierung von Signalen
DE102018107326A1 (de) Adaptives Insassengespräch-Frühwarnsystem
DE102019200956A1 (de) Signalverarbeitungseinrichtung, System und Verfahren zur Verarbeitung von Audiosignalen
EP3337189A1 (de) Verfahren zum bestimmen einer richtung einer nutzsignalquelle
EP3337187A1 (de) Verfahren zum betrieb eines hörgerätes
DE102022106036A1 (de) Kontextabhängige signalaufbereitung für den sprachassistenten im fahrzeug
EP1456837A1 (de) Verfahren und vorrichtung zur spracherkennung
EP3857822A1 (de) Verfahren und vorrichtung zum ermitteln eines ansteuersignals
DE102019108075A1 (de) Verfahren und Steuervorrichtung zum Betreiben eines Sensorsystems eines Geräts sowie Kraftfahrzeug
WO1993002448A1 (de) Verfahren und anordnung zum erkennen von einzelwörtern gesprochener sprache
DE102019218058B4 (de) Vorrichtung und Verfahren zum Erkennen von Rückwärtsfahrmanövern
WO2023222373A1 (de) Spracherkennungssystem
DE102004017486A1 (de) Verfahren zur Geräuschreduktion bei einem Sprach-Eingangssignal
WO2011113741A1 (de) Verfahren zum test von hörhilfegeräten
WO2023011769A1 (de) Spracherkennungssystem
DE102009027253A1 (de) Anordnung und Verfahren zur Bedienung eines Media-Gerätes
DE102019213697A1 (de) Verfahren zum Erkennen einer Annäherung und/oder Entfernung eines Einsatzfahrzeugs relativ zu einem Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23723913

Country of ref document: EP

Kind code of ref document: A1