WO2015176986A1 - Method for operating a voice dialogue system for a motor vehicle - Google Patents

Method for operating a voice dialogue system for a motor vehicle Download PDF

Info

Publication number
WO2015176986A1
WO2015176986A1 PCT/EP2015/060361 EP2015060361W WO2015176986A1 WO 2015176986 A1 WO2015176986 A1 WO 2015176986A1 EP 2015060361 W EP2015060361 W EP 2015060361W WO 2015176986 A1 WO2015176986 A1 WO 2015176986A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
input
asi
determined
acoustic signals
Prior art date
Application number
PCT/EP2015/060361
Other languages
German (de)
French (fr)
Inventor
Thomas Rosenstock
Alexander Stege
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Publication of WO2015176986A1 publication Critical patent/WO2015176986A1/en

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Definitions

  • the present invention relates to a method for Operator Op ben ⁇ a speech dialogue system for a motor vehicle, in which an input state of an input process is determined and is output in the condition information as a function of the input state determined.
  • Voice control system comprehensible pronunciation of Quillor ⁇ tes so that, for example, controls a crash and not done too late.
  • a cancellation of a voice dialogue leads not only to cancel the current input, especially for longer dialogues, but also, for example, to reject an already partially completed complex ⁇ xeren process.
  • the user must then repeat entries already carried out or at least only re-enter the current state of the current language dialogue, to continue your voice ⁇ dialogue at the appropriate place.
  • the user is, for example, due to a handenen before ⁇ disturbing influence by the speech dialogue system up ⁇ prompted to repeat his entry so that a performance ⁇ rich input can be made.
  • a procedural ren for operating a speech dialogue system for a motor ⁇ vehicle receiving acoustic signals, which are incorporated within the framework ⁇ men of an input process and include the voice ⁇ signals of a user in the motor vehicle. Furthermore, the method comprises determining an input status of the input process as a function of the received acoustic signals. In addition, the method includes from ⁇ give status information depending on the erstoff ⁇ th input state to inform the user of the determined input state.
  • Speech dialogue system for a motor vehicle which informs the user how a current input state of an input process.
  • the user is, for example, on notice that the entry process was successful ⁇ rich or whether for example an interference effect is present, the gege- the entry process for the speech dialogue system if necessary adversely affected.
  • the user is, for example, a multimedia unit in the motor vehicle informed whether interference influence to be ⁇ be raised to ermögli ⁇ chen a successful entry.
  • Such instructions are then preferably communicated acoustically and / or visually to the user by means of the multimedia unit.
  • the output of the state information is in this to ⁇ connection for example, after or during the input of the input process by the multimedia unit, which the user, for example, acoustically notifies "It's too noisy for speech recognition.” Or "Please spre ⁇ chen him prompting louder ".
  • the status information of ⁇ for example in a simple form of a text on a displa capable to or even in the form of colors, symbols or pictures.
  • Runaway ⁇ converted by means of the speech dialog system in the determination of the input state which is, for example, less computationally intensive than egg ⁇ ne full speech recognition.
  • Such audio analysis runs for example in the background and monitors an on ⁇ occurred or disappearance of interference. This can be done for example by means of a vasesserkenners which continues ⁇ continuously performs fault detection of the acoustic signals during the input process.
  • the speech dialogue system the entranc ⁇ be automatically paused as part of the entry process to ensure that the user is only required to speak on ⁇ if there are no disturbances or the probability of a speech recognition high enough is.
  • This status information to the user then communicated to the In ⁇ play analogous to the situation described above, except that this time the SDS system ⁇ play as "Please! Just a moment" asks the user for the words to be patient. If a proceeding of the entry process promising rich, the user is, for example, by means of a akusti ⁇ rule tone indicated that a resumption of dialogue is possible.
  • Ver ⁇ drive controlling the input process in response to the input state determined.
  • Controlling the input process is made possible by user interaction with the voice dialogue system and so leads inter alia to an improved Sensham ⁇ tion and recognition quality and, consequently, to a higher likelihood that the desired control operation is ⁇ passes.
  • determining the input state comprises performing a
  • determining the input state comprises determining a loudness strength and / or dynamics of the acoustic signals, in particular the voice signals of the user.
  • a volume and / or dynamics of ambient noise is determined, which optionally prevent a disturbing background successful speech recognition.
  • the volume and / or dynamics of the ambient noise for example, higher than a predetermined threshold value is notified to the user by means of the multimedia unit so that a risk of Starbucksken ⁇ voltage exists and the detection quality for a successful introduction of the desired control operation is deteriorated.
  • the user must be counteracted because of the dialogue with the speech dialogue system ⁇ able already during the input process, a failure of speech recognition and the introduction of ge ⁇ desired operating procedure.
  • the acceptance of the speech dialogue system is increased and the user's frustration is prevented or at least reduced, because the output of the status information and the dialogue of the speech dialogue system with the user significantly increase the probability of a successful input process.
  • the determination of the input state in the context of the method comprises determining a location of the acoustic signals.
  • determining the input state comprises determining a ⁇ To article of the user.
  • the outputting of status information comprises the reproduction of the recorded acoustic signals.
  • the user is capable of outputting the Crusinformatio ⁇ nen in the form of a playback of the recorded acoustic signals to the ground and the input state determined by the Sendia ⁇ logging system of Comprehend input process.
  • the user is, for example Dine on ⁇ tively clear which interference influence the voice input has influenced nega- tively, although he formulated his voice signals clear and understandable, and perhaps thought to have done everything right.
  • determining the input state includes performing a Stö ⁇ approximately detection, determining a disturbing influence in the context of fault detection of the entry process and filtering the received acoustic signals as a function of he ⁇ mediated disturbing influence.
  • a disturbance ⁇ flow is determined, which prevents a successful input process or this affects at least adversely.
  • the interference effect determined is then detected, for example, during the input process by the speech dialogue system and au tomatically ⁇ filtered out or cut away, so as to make the speech recognition of the speech signals of the user and successfully perform the desired control operation.
  • the risk of false identifications is reduced, thereby contributing to an increased probability of successful entry.
  • a disturbing influence for example, a background noise, which is present by a driving operation of the motor vehicle, or other speech signals of other persons in the
  • the method comprises determining a location of the determined interference influence.
  • the location of the disturbing influence determined is determined the user for example by means of the multimedia unit.
  • these are speech signals of one or more intervening persuasive those playing sitting at ⁇ on the rear seat of the motor vehicle, so that the user the state information is output to the interference influence determined was located in a rear region of the motor vehicle.
  • the user can be a bit quieter ask the person or persons to the recognition quality and the probability of successful entry of the entry process to raised stabili ⁇ hen.
  • a plurality of microphones or a microphone array are arranged in the motor vehicle to enable acoustic localization.
  • the method comprises identifying the user and / or the detected interference in dependence on the received acoustic signals. With regard to the detected interference, it is thus possible, for example, not further to the user
  • the user is, for example, audible and / or visual output state information "It WUR recognized the several people that influence the input ⁇ ".
  • audio signals of a radio in the motor vehicle are detected, which in the background music ⁇ again and thus is the source of the detected interference.
  • the user is, for example, it executed ⁇ reported that music was recognized that influenced the current default volume input process adversely.
  • the Audioana ⁇ analysis under the procedure comprises an analysis of the frequency spectrum to assign as the received acoustic signals distinct frequency ranges, and for example in a comparison with stored data and the user or other persons identify by means of the speech signals.
  • FIG. 1 shows a flowchart of a program for operating a voice dialogue system for a motor vehicle
  • FIG. 2 is another flowchart of a program for
  • FIG. 1 is a flow chart for a program for
  • the control unit ST ⁇ summarizes, for example, a data and program memory and a computing unit and is signally coupled to at least ei ⁇ nem acoustic sensor ASE and a multimedia unit MME, which are arranged in the motor vehicle car.
  • the control unit is adapted to receive acoustic signals ASI, which were recorded by means of the acoustic sensor ASE, and to determine an input state EAC function of the received acoustically ⁇ tables signals ASI and in the further course in dependence of the determined input ⁇ state EAC state information ZIN provide.
  • the state information ZIN are output acoustically and / or visually by means of the Multimediaein ⁇ integrated MME to inform a user Be ⁇ the speech dialogue system in the motor vehicle on the determined input state EAC.
  • the acoustic sensor ASE is for example a microphone which is arranged, for example, in the region of a steering wheel of the motor vehicle.
  • a plurality of microphones or a microphone array are arranged in the motor vehicle, wel ⁇ che signal technology coupled to the control unit ST.
  • the multimedia unit MME is configured to output the state information ⁇ ZIN acoustically and / or visually. It includes, for example, a speaker and a display as a graphical user interface.
  • the loudspeaker and the display need not necessarily form a common multimedia unit MME, but may also be arranged as separate units in the motor vehicle.
  • the loudspeakers are arranged as acoustic unit and the display unit as gra ⁇ fish separated from each other in the vehicle arrival, for example, instead of the multimedia unit MME which are signally connected to the control unit ST gekop ⁇ pelt.
  • the control unit ST includes, for example, a dialog control ⁇ DST, a recognizer control EST and a Fault- serkenner SE, the control under the program Eingabepro- a process to perform an audio analysis of the received acoustic signals ASI.
  • the fault detector SE leads to Example continuously during the input process by a disorder ⁇ recognition of the received acoustic signals ASI by and thus determines, for example, a disturbing influence SEF, which can adversely affect the input process.
  • the Dialogsteue- tion DST, the recognizer control EST and the disturbance identifier SE here may also be separate components of the speech dialogue system ⁇ .
  • a first step S1 the program is started and variables are initialized if necessary.
  • the start of the program for example, take place promptly to an engine start of the motor vehicle or be initiated by pressing a Tas ⁇ te by the user.
  • the control unit ST of the Di ⁇ alogêtung DST and the Erkenner horrung EST signals that an input process begins and an input phase takes place.
  • the user is pointed out in the vehicle that a voice recognition in the context of the input process now starts and the detection phase is grisge ⁇ give.
  • This information may be communicated to the user visually, either acoustically ⁇ table and / or, for example by means of the multimedia unit MME a sound and / or a light ⁇ signal is output in the form of a flashing light.
  • a step S5 under the entry process by means of the at least one acoustic sensor ASE added akusti ⁇ specific signals ASI and received by the control unit ST.
  • an input ⁇ EAC state is detected the input process by the control unit ST in depen ⁇ dependence of the received acoustic signals ASI.
  • the determined input state EGZ of the input process in this context includes information about a success of the input by the user.
  • a recognition quality which is represented for example by a numerical value. Is this numerical value, for example, less than a pre-admit ⁇ ner threshold, the input is considered unsuccessful, and it is initiated no operation. If the numerical value equal to or greater than the predetermined smoldering ⁇ real value that the user input is classified as successful and introduced the desired operating process.
  • a place LO_ASI or volume and / or dynamics LD_ASI the acoustic signals ASI is ermit ⁇ telt, for example, in the context of determining the input state EAC, which includes a volume and / or dynamics of voice signals of the user.
  • an interference influence SEF is also determined by means of the acoustic sensor ASE and the control unit ST, wel ⁇ cher adversely affect the input process. It is also possible to determine several interference effects SEF whose
  • the disturbance identifier SE of the control unit ST interrupts the input phase, or releases, if a disturbing influence has been determined or a disturbing influence was istschal ⁇ tet.
  • This control of the input process by the Dia ⁇ log control DST the control unit ST is also at this Po ⁇ tion of the program by a backward arrow indicated ⁇ indicates, which leads to the step S3 after completion of step S9.
  • a location LO_SEF of the determined disturbing influence is determined as a function of the determined input state EGZ and the determined disturbing influence SEF so that the user of the speech dialog system can concretely refer to the disturbing influence SEF in the further course and find the disturbing influence SEF to support ⁇ .
  • the output of the state information ZIN takes place in this connection, for example after or even during the input of the input process by means of the multimedia unit MME.
  • the step S9 when determining the Lautstär ⁇ ke and / or dynamics of the audio signals ASI LD_ASI from a low volume and / or dynamics of the speech signals of the user is determined it is, for example, by means of the
  • Multimedia unit MME acoustically prompted by the speech dialogue system "Please speak louder! In this way, the user is informed that he should adjust his volume ⁇ ke, so that a desired operation can be started.
  • the user is as follows, for example, about the following: "It is too noisy for speech recognition.” In this In connection with this, the user is consequently outputting the state information ZIN that the volume and / or dynamics surrounding noise and possible interference influences prevent or at least hinder a successful input process.
  • the user can simulate the received acoustic signal ASI of the last input by means of the multimedia unit MME during the input process, so that the user himself has the opportunity to recognize how and why the last input was impaired, for example the desired operation has not been performed.
  • the status information ZIN is also displayed visually, for example in the simple form of a text on the display of the multimedia unit MME or else in the form of colors, symbols or images. If user input has already been successful in the course of the program in step S7, this will be the user's zer displayed for example by a green screen of the display of the multimedia unit MME.
  • a step S13 the program and the input process are ended. This is done, for example, manually by the Be ⁇ user by pressing a button or automatically after successful completion of a desired operation or after completing a drive cycle.
  • Figure 2 shows a further embodiment of the Pro ⁇ program for operating the speech dialog system. A sequence of the described program in which no disturbance of the input ⁇ process is determined, then can be done for example as follows:
  • - Sl The user starts the speech dialogue system, for example by pressing a key.
  • the dialogue control DST signals to the recognizer ⁇ control EST that a detection phase should begin.
  • the recognizer control EST informs the fault detector SE about the request of the recognition phase.
  • the fault detector SE releases the detection phase, if no disturbances speak contrary or for example ⁇ no disturbing influence SEF was determined in the context of the acoustic signals ASI.
  • the dialogue control DST now starts the Erkennungspha ⁇ se, which includes the speech recognition.
  • the acoustic signals ASI including voice ⁇ signals of the user are recorded and analyzed.
  • the voice control ASR reports a recognition result.
  • the recognizer control EST informs the aimsser ⁇ kenner SE about the end of the detection phase and speech recognition.
  • the fault detector SE reports the trouble-free execution of the recognition to the control unit ST, which can also be called a dialog.
  • the dialog gives by means of an acoustic output unit AAE and / or by means of the multimedia unit MME acoustically feedback to the user on the erkann ⁇ te and successful input.
  • the dialog displays additional information in ei ⁇ ner visual output unit UAE and / or by the multimedia unit MME on a graphical user interface ⁇ .
  • a sequence of the described program, in which a fault is determined, for example, at the beginning of the input process, can take place for example as follows:
  • - Sl The user starts the speech dialogue system, for example by pressing a key.
  • the dialogue control DST signals to the recognizer ⁇ control EST that a detection phase should begin.
  • - S3 The Erkenner horrung EST informs the aimsser ⁇ Kenner SE about the request of the detection phase.
  • - S4 The fault detector SE determines, for example, a
  • Disturbing effect SEF in the context of the acoustic signals ASIund reports this to the dialogue control DST.
  • the Di ⁇ alog horrung DST acoustically and / or visually with ⁇ means of the acoustic output unit AAE and / or the visual output unit UAE and / or the multimedia ⁇ unit MME feedback to the user, for example on the determined interference SEF.
  • the Eingabepro- process and the recognition phase will be altered in this together ⁇ menhang by means of the dialogue control DST, by for example, delaying the speech recognition or suppressed.
  • the input process is entspre ⁇ accordingly conducted to the first example of a trouble-free running of the program.
  • a sequence of the described program, in which a disturbance is determined, for example, during the input process, can take place for example as follows:
  • - Sl The user starts the speech dialogue system, for example by pressing a key.
  • the dialogue control DST signals to the Erkenner ⁇ control EST that a detection phase begins.
  • the recognizer control EST informs the fault detector SE about the request of the recognition phase.
  • the fault recognizer SE releases the detection phase, since no disturbances speak contrary and, for example, no disturbance SEF was determined in the context of the acoustic signal ASI.
  • the dialogue control DST now starts the Erkennungspha ⁇ se, which includes the speech recognition.
  • the acoustic signals ASI including voice ⁇ signals of the user are recorded and analyzed.
  • the Stö ⁇ rungserkenner SE continuously monitors the appearance and disappearance of Ver ⁇ disorders and determined so as a disturbing influence SEF as part of the acoustic Sig ⁇ tional ASI.
  • the fault detector SE reports this to the dialogue control DST.
  • the dialogue control DST are acoustically and / or visually by means of the acoustic output unit AAE and / or the visual Ausgabeein ⁇ integrated UAE, and / or the multimedia unit MME rubmel ⁇ dung to the user for example via the determined interference influence SEF.
  • the input process and the Erken ⁇ opening phase in this connection by means of the Dialog control DST modified, for example, by the speech recognition is delayed or prevented.
  • the input process is used for In ⁇ play at the interrupted position of the program fortge ⁇ sets and performed according to the first example of a disturbance ⁇ free running of the program ,
  • ⁇ menhang ei ⁇ ner address by the user input process was, for example, on an acoustic input underbro ⁇ chen, is so divided on resumption of the entry process the Be ⁇ user via the multimedia unit MME example, ⁇ "Please repeat the number ".
  • the flow of the program described forms an execution ⁇ example of a method of operating a speech dialogue ⁇ system for a motor vehicle, which also informs the user in ⁇ as a current input state EAC is an input ⁇ process.
  • EAC is an input ⁇ process.

Abstract

A method for operating a voice dialogue system for a motor vehicle involves receiving acoustic signals (ASI) which are recorded during an input process and comprise voice signals of a user in the motor vehicle. The method also involves determining an input state (EGZ) of the input process on the basis of the received acoustic signals (ASI). The method also involves outputting state information (ZIN) on the basis of the determined input state (EGZ) in order to inform the user of the determined input state (EGZ).

Description

Beschreibung description
Verfahren zum Betreiben eines Sprachdialogsystems für ein Kraftfahrzeug Method for operating a voice dialogue system for a motor vehicle
Die vorliegende Erfindung betrifft ein Verfahren zum Betrei¬ ben eines Sprachdialogsystems für ein Kraftfahrzeug, bei dem ein Eingabezustand eines Eingabeprozesses ermittelt wird und bei dem Zustandsinformationen in Abhängigkeit des ermittelten Eingabezustands ausgegeben werden. The present invention relates to a method for Operator Op ben ¬ a speech dialogue system for a motor vehicle, in which an input state of an input process is determined and is output in the condition information as a function of the input state determined.
In einigen Kraftfahrzeugen sind Sprachdialogsysteme angeord¬ net, die basierend auf akustische Befehle gewünschte Bedien¬ vorgänge ausführen sollen. Ihre Akzeptanz ist aber teilweise immer noch relativ gering. Das liegt unter anderem an der Ge¬ fahr von Fehlerkennungen des Sprachdialogsystems und damit verbundenen unerwünschten Bedienvorgängen während eines Ein¬ gabeprozesses. Diese können zum Beispiel durch Umgebungsge¬ räusche, insbesondere dazwischenredende Dritte, Versprecher oder unbeabsichtigte Äußerungen verursacht werden. In some motor vehicles speech dialog systems are angeord ¬ net that should run based on acoustic commands required operating ¬ processes. But their acceptance is still relatively low. This is due to the Ge ¬ driving of erroneous detections of the speech dialogue system and undesirable operating procedures associated during a ¬ A handover process. This can be caused for example by Umgebungsge ¬ noises, especially dazwischenredende Third, slip or inadvertent utterances.
In diesem Zusammenhang bieten aktuelle Sprachdialogsysteme die Möglichkeit, zum Beispiel über ein Schlüsselwort, wie „Abbrechen", oder das Drücken einer Taste eine Spracheingabe zu beenden. Voraussetzung dabei ist aber die Kenntnis des Schlüsselwortes für den Benutzer und auch eine für das In this context, current speech dialogue systems offer the possibility, for example via a keyword, such as "cancel", or pressing a key to end a voice input, provided, however, the knowledge of the keyword for the user and one for the
Sprachdialogsystem verständliche Aussprache des Schlüsselwor¬ tes, so dass zum Beispiel ein Abbruch kontrolliert und nicht zu spät erfolgt. Darüber hinaus führt ein Abbrechen eines Sprachdialogs insbesondere bei längeren Dialogen nicht nur zum Abbruch der aktuellen Eingabe, sondern zum Beispiel auch zum Verwerfen eines bereits teilweise abgeschlossenen komple¬ xeren Vorgangs. Der Benutzer muss daraufhin bereits erfolgte Eingaben wiederholen oder zumindest den gegenwärtigen Stand des aktuellen Sprachdialogs erst neu erfassen, um den Sprach¬ dialog an entsprechender Stelle fortzusetzen. Außerdem wird der Benutzer zum Beispiel aufgrund eines vor¬ handenen Störeinflusses durch das Sprachdialogsystem aufge¬ fordert, seine Eingabe zu wiederholen, so dass eine erfolg¬ reiche Eingabe erfolgen kann. In diesem Zusammenhang wird aber in der Regel nicht überprüft, ob der vorhandene Störein- fluss weiterhin existent ist, sodass auch die wiederholte Eingabe mit hoher Wahrscheinlichkeit wieder zum Scheitern verurteilt ist. Dies kann bisher zu einer geringen Akzeptanz vorhandener Sprachdialogsysteme in Kraftfahrzeugen führen und zur Frustration des Benutzers, der gegebenenfalls der Meinung ist, alles richtig gemacht zu haben. Voice control system comprehensible pronunciation of Schlüsselwor ¬ tes so that, for example, controls a crash and not done too late. In addition, a cancellation of a voice dialogue leads not only to cancel the current input, especially for longer dialogues, but also, for example, to reject an already partially completed complex ¬ xeren process. The user must then repeat entries already carried out or at least only re-enter the current state of the current language dialogue, to continue your voice ¬ dialogue at the appropriate place. In addition, the user is, for example, due to a handenen before ¬ disturbing influence by the speech dialogue system up ¬ prompted to repeat his entry so that a performance ¬ rich input can be made. In this context, however, as a rule, it is not checked whether the existing disturbing influence still exists, so that the repeated input is very likely to fail again. So far, this can lead to a low acceptance of existing speech dialogue systems in motor vehicles and to the frustration of the user, who may feel that he has done everything right.
Es ist eine Aufgabe, ein Verfahren zum Betreiben eines It is a task, a procedure for operating a
Sprachdialogsystems für ein Kraftfahrzeug zu schaffen, das dazu geeignet ist, einem Benutzer hilfreiche Hinweise in Form von Zustandsinformationen auszugeben und so auf einfache Wei¬ se einen Sprachdialog erfolgreicher zu gestalten. To provide voice control system for a motor vehicle that is capable of outputting a user helpful hints in the form of state information and to make a simple Wei ¬ se a speech dialogue successful.
Gemäß eines ersten Aspekts der Erfindung umfasst ein Verfah- ren zum Betreiben eines Sprachdialogsystems für ein Kraft¬ fahrzeug ein Empfangen von akustischen Signalen, die im Rah¬ men eines Eingabeprozesses aufgenommen werden und die Sprach¬ signale eines Benutzers in dem Kraftfahrzeug umfassen. Des Weiteren umfasst das Verfahren ein Ermitteln eines Eingabezu- Stands des Eingabeprozesses in Abhängigkeit der empfangenen akustischen Signale. Außerdem umfasst das Verfahren ein Aus¬ geben von Zustandsinformationen in Abhängigkeit des ermittel¬ ten Eingabezustands, um den Benutzer über den ermittelten Eingabezustand zu informieren. According to a first aspect of the invention includes a procedural ren for operating a speech dialogue system for a motor ¬ vehicle receiving acoustic signals, which are incorporated within the framework ¬ men of an input process and include the voice ¬ signals of a user in the motor vehicle. Furthermore, the method comprises determining an input status of the input process as a function of the received acoustic signals. In addition, the method includes from ¬ give status information depending on the ermittel ¬ th input state to inform the user of the determined input state.
Auf diese Weise wird ein Verfahren zum Betreiben eines In this way, a method for operating a
Sprachdialogsystems für ein Kraftfahrzeug geschaffen, das den Benutzer darüber informiert, wie ein aktueller Eingabezustand eines Eingabeprozesses ist. Der Benutzer wird zum Beispiel darüber in Kenntnis gesetzt, ob der Eingabeprozess erfolg¬ reich war oder ob beispielsweise ein Störeinfluss vorhandenen ist, der den Eingabeprozess für das Sprachdialogsystem gege- benenfalls nachteilig beeinflusst. In diesem Zusammenhang wird der Benutzer zum Beispiel durch eine Multimediaeinheit in dem Kraftfahrzeug darüber informiert, ob Störeinfluss be¬ hoben werden soll, um eine erfolgreiche Eingabe zu ermögli¬ chen. Solche Hinweise werden dem Benutzer dann mittels der Multimediaeinheit vorzugweise akustisch und/oder visuell mit geteilt . Speech dialogue system for a motor vehicle provided, which informs the user how a current input state of an input process. The user is, for example, on notice that the entry process was successful ¬ rich or whether for example an interference effect is present, the gege- the entry process for the speech dialogue system if necessary adversely affected. In this connection, the user is, for example, a multimedia unit in the motor vehicle informed whether interference influence to be ¬ be raised to ermögli ¬ chen a successful entry. Such instructions are then preferably communicated acoustically and / or visually to the user by means of the multimedia unit.
Dadurch, dass der Benutzer in einem Dialog mit dem Sprachdia logsystem steht und über den ermittelten Eingabezustand in¬ formiert wird, steigt die Akzeptanz des Benutzers für das Sprachdialogsystem, da er begründet durch die Ausgabe der Zu standsinformationen zum Beispiel erfährt, warum ein Eingabe- prozess pausiert oder abgebrochen wurde. In diesem Zusammen¬ hang wird dem Benutzer zum Beispiel die Zustandsinformation ausgegeben, dass die Umgebungslautstärke reduziert werden soll, damit ein erfolgreicher Eingabeprozess und eine erfolg reiche Spracherkennung durchführbar ist. Ebenso ist es mög¬ lich, dass der Benutzer beispielsweise darüber informiert, dass er bitte seine Lautstärke anpassen soll, damit ein ge¬ wünschter Bedienvorgang gestartet werden kann. The fact that the user is in a dialogue with the Sprachdia logsystem and is formed on the determined input state in ¬ increases the acceptance of the user for the speech dialogue system, as he founds justified by the output of the status information, for example, why an input process paused or canceled. In this context ¬ hang the user, for example, issued the status information that the ambient noise is to be reduced in order for a successful entry process and a performance-rich speech recognition can be performed. It is also mög ¬ lich that the user, for example, informed that he should adjust its volume, please, so that a ge ¬ wünschter operating procedure can be started.
Die Ausgabe der Zustandsinformationen erfolgt in diesem Zu¬ sammenhang zum Beispiel nach oder auch während der Eingabe des Eingabeprozesses mittels der Multimediaeinheit, die dem Benutzer beispielsweise akustisch mitteilt „Es ist zu laut für eine Spracherkennung." oder ihn auffordert „Bitte spre¬ chen Sie lauter!". Alternativ oder zusätzlich werden die Zu¬ standsinformationen auch visuell angezeigt, zum Beispiel in einfacher Form eines Textes auf einem dazu befähigten Displa oder auch in Form von Farben, Symbolen oder Bildern. The output of the state information is in this to ¬ connexion for example, after or during the input of the input process by the multimedia unit, which the user, for example, acoustically notifies "It's too noisy for speech recognition." Or "Please spre ¬ chen him prompting louder ". Alternatively or additionally also be displayed visually the status information of ¬, for example in a simple form of a text on a displa capable to or even in the form of colors, symbols or pictures.
Darüber hinaus ist es auch möglich, dem Benutzer im Rahmen des Eingabeprozesses das empfangene akustische Signal der letzten Eingabe vorzuspielen, so dass dieser selbst die Mög¬ lichkeit hat zu erkennen, wie und warum die letzte Eingabe zum Beispiel beeinträchtigt wurde und der gewünschte Bedien¬ vorgang nicht durchgeführt werden kann. In addition, it is also possible to play to the user as part of the entry process the received acoustic signal of the last entry, so that it even Mög ¬ friendliness has to see how and why the last entry has been affected, for example, and the desired operation ¬ process can not be performed.
Im Rahmen des Eingabeprozesses ist es zum Beispiel auch rea¬ lisierbar, den Dialog mit dem Sprachdialogsystem zu unterbre¬ chen oder manuell zu pausieren, indem der Benutzer zum Bei¬ spiel mit den Worten "Moment bitte!" eine Eingabe unter¬ bricht, worauf das Sprachdialogsystem beispielsweise antwor¬ tet "Wenn Sie bereit sind, können Sie die Eingabe mit Ansage fortfahren" . In diesem Zusammenhang wird zum Beispiel situa¬ tionsbedingt eine Eingabe einer Adresse durch den Benutzer unterbrochen, worauf das Sprachdialogsystem mittels der Mul¬ timediaeinheit dem Benutzer beispielsweise antwortet: „Wenn Sie bereit sind, können Sie die Eingabe der Hausnummer durch Drücken der Sprach-Taste fortsetzen". As part of the entry process, it is, for example, rea ¬ lisierbar to pause the dialogue with the voice control system to interrup ¬ chen or manually by the user to ¬ When playing with the words "Please wait!" an input unter ¬ breaks, whereupon the voice dialogue system, for example, antwor ¬ tet "When you are ready, you can continue the input with announcement". In this context, for example, situational ¬ tion due to an input of an address is interrupted by the user, and then the voice control system by means of the Mul ¬ timediaeinheit responds to the user, for example: "When you are ready, you can continue writing the house number by pressing the language button ".
Im Rahmen des Verfahrens wird mittels des Sprachdialogsystems beim Ermitteln des Eingabezustands eine Audioanalyse der emp¬ fangenen akustischen Signale des Eingabeprozesses durchge¬ führt, welche zum Beispiel weniger rechenintensiv ist als ei¬ ne vollständige Spracherkennung. Eine solche Audioanalyse läuft zum Beispiel im Hintergrund mit und überwacht ein Auf¬ treten oder Verschwinden von Störeinflüssen. Dies kann zum Beispiel mittels eines Störungserkenners erfolgen, der fort¬ laufend während des Eingabeprozesses eine Störungserkennung der akustischen Signale durchführt. Auf diese Weise ist es unter anderem möglich, dass das Sprachdialogsystem die Einga¬ be im Rahmen des Eingabeprozesses automatisch pausiert, um sicherzustellen, dass der Benutzer nur dann zum Sprechen auf¬ gefordert wird, wenn keine Störeinflüsse vorliegen oder die Wahrscheinlichkeit für eine Spracherkennung hoch genug ist. In the process of an audio analysis of the emp ¬ captured acoustic signals of the input process is Runaway ¬ converted by means of the speech dialog system in the determination of the input state which is, for example, less computationally intensive than egg ¬ ne full speech recognition. Such audio analysis runs for example in the background and monitors an on ¬ occurred or disappearance of interference. This can be done for example by means of a Störungserkenners which continues ¬ continuously performs fault detection of the acoustic signals during the input process. In this way it is possible, among other things, that the speech dialogue system, the entranc ¬ be automatically paused as part of the entry process to ensure that the user is only required to speak on ¬ if there are no disturbances or the probability of a speech recognition high enough is.
Diese Zustandsinformationen werden dem Benutzer dann zum Bei¬ spiel analog zu der zuvor beschriebenen Situation mitgeteilt, nur dass diesmal das Sprachdialogsystem den Benutzer bei¬ spielsweise mit den Worten „Einen Moment bitte!" um Geduld bittet. Ist ein Fortfahren des Eingabeprozesses aussichts- reich, wird der Benutzer zum Beispiel mittels eines akusti¬ schen Tons darauf hingewiesen, dass eine Wiederaufnahme des Dialogs möglich ist. This status information to the user then communicated to the In ¬ play analogous to the situation described above, except that this time the SDS system ¬ play as "Please! Just a moment" asks the user for the words to be patient. If a proceeding of the entry process promising rich, the user is, for example, by means of a akusti ¬ rule tone indicated that a resumption of dialogue is possible.
Gemäß einer Ausgestaltung des ersten Aspekts umfasst das Ver¬ fahren ein Steuern des Eingabeprozesses in Abhängigkeit des ermittelten Eingabezustands. According to one embodiment of the first aspect comprises Ver ¬ drive controlling the input process in response to the input state determined.
Einige Möglichkeiten des Steuerns des Eingabeprozesses in Ab¬ hängigkeit des ermittelten Eingabezustands wurden bereits be¬ schrieben, so dass dem Benutzer zum Beispiel Zustandsinforma¬ tionen über eine Lautstärke von Umgebungsgeräuschen oder auch über seine eigene Lautstärke bei der Spracheingabe ausgegeben werden und dadurch den Eingabeprozess im weiteren Verlauf be¬ einflussen. Das Steuern des Eingabeprozesses wird durch den Dialog des Benutzers mit dem Sprachdialogsystem möglich und führt so unter anderem zu einer verbesserten Sprachdialogfüh¬ rung und Erkennungsqualität und folglich zu einer höheren Wahrscheinlichkeit, dass der gewünschte Bedienvorgang einge¬ leitet wird. Some ways of controlling the input process in From ¬ dependence of the input state determined already be ¬ written so that the user is output as state Informa ¬ tions over a volume of ambient noise or via its own volume in the voice input and thus the input process in the other Course influence ¬ . Controlling the input process is made possible by user interaction with the voice dialogue system and so leads inter alia to an improved Sprachdialogfüh ¬ tion and recognition quality and, consequently, to a higher likelihood that the desired control operation is ¬ passes.
Gemäß einer weiteren Ausgestaltung des ersten Aspekts umfasst das Ermitteln des Eingabezustands ein Durchführen einer According to a further embodiment of the first aspect, determining the input state comprises performing a
Spracherkennung und ein Steuern der Spracherkennung im Rahmen des Eingabeprozesses in Abhängigkeit des ermittelten Eingabe¬ zustands . Speech recognition and controlling the speech recognition in the context of the input process as a function of the determined input ¬ state.
Gemäß einer weiteren Ausgestaltung des ersten Aspekts umfasst das Ermitteln des Eingabezustands ein Ermitteln einer Laut¬ stärke und/oder Dynamik der akustischen Signale, insbesondere der Sprachsignale des Benutzers. According to a further embodiment of the first aspect, determining the input state comprises determining a loudness strength and / or dynamics of the acoustic signals, in particular the voice signals of the user.
Auf diese Weise wird zum Beispiel eine Lautstärke und/oder Dynamik von Umgebungsgeräuschen ermittelt, die gegebenenfalls als störender Hintergrund eine erfolgreiche Spracherkennung verhindern. Sind in diesem Zusammenhang die Lautstärke und/ oder Dynamik der Umgebungsgeräusche zum Beispiel höher als ein vorgegebener Schwellenwert, wird dem Benutzer mittels der Multimediaeinheit mitgeteilt, dass eine Gefahr der Fehlerken¬ nung besteht und die Erkennungsqualität für ein erfolgreiches Einleiten des gewünschten Bedienvorgangs beeinträchtigt ist. Der Benutzer ist aufgrund des Dialogs mit dem Sprachdialog¬ system in der Lage, schon während des Eingabeprozesses einem Scheitern der Spracherkennung und der Einleitung des ge¬ wünschten Bedienvorgangs entgegenzuwirken. Somit wird unter anderem die Akzeptanz für das Sprachdialogsystem erhöht und einer Frustration des Benutzers verhindert oder zumindest verringert, weil durch die Ausgabe der Zustandsinformationen und den Dialog des Sprachdialogsystems mit dem Benutzer die Wahrscheinlichkeit für einen erfolgreichen Eingabeprozess deutlich erhöht werden. In this way, for example, a volume and / or dynamics of ambient noise is determined, which optionally prevent a disturbing background successful speech recognition. Are in this context the volume and / or dynamics of the ambient noise, for example, higher than a predetermined threshold value is notified to the user by means of the multimedia unit so that a risk of Fehlerken ¬ voltage exists and the detection quality for a successful introduction of the desired control operation is deteriorated. The user must be counteracted because of the dialogue with the speech dialogue system ¬ able already during the input process, a failure of speech recognition and the introduction of ge ¬ desired operating procedure. Thus, amongst other things, the acceptance of the speech dialogue system is increased and the user's frustration is prevented or at least reduced, because the output of the status information and the dialogue of the speech dialogue system with the user significantly increase the probability of a successful input process.
Gemäß einer weiteren Ausgestaltung des ersten Aspekts umfasst das Ermitteln des Eingabezustands im Rahmen des Verfahrens ein Ermitteln eines Ortes der akustischen Signale. According to a further embodiment of the first aspect, the determination of the input state in the context of the method comprises determining a location of the acoustic signals.
Wie ansatzweise bereits ausgeführt, ist es in diesem Zusam¬ menhang im Rahmen des Verfahrens möglich, einen Ort der akus¬ tischen Signale zu ermitteln, um so beispielsweise den Benut¬ zer darüber zu informieren, dass die Eingabe vermutlich durch Umgebungsgeräusche außerhalb des Kraftfahrzeugs beeinflusst wird. Auf diese Weise wird der Benutzer durch die Ausgabe dieser beispielhaften Zusatzinformation in die Lage versetzt, die störenden Umgebungsgeräusche zu reduzieren, indem er zum Beispiel mit einem kurzen Blick überprüft, ob ein oder mehre¬ re Fenster des Kraftfahrzeugs geöffnet sind. Daraufhin werden zum Beispiel die geöffneten Fenster oder ein geöffnetes As rudimentary already stated, it is in this together ¬ in connec under the procedure possible to determine a place of acoustically ¬-Nazi signals so as for example to inform the Benut ¬ zer about the fact that the entry is probably influenced by ambient noise outside the motor vehicle , In this way, the user is enabled by issuing this exemplary additional information in a position to reduce the unwanted ambient noise by checking, for example, with a quick glance, whether one or several ¬ re window of the motor vehicle are open. Then, for example, the open window or an open
Schiebedach durch den Benutzer geschlossen, um so die Sprach¬ erkennung im Rahmen des Eingabeprozesses erfolgreicher zu gestalten und den gewünschten Bedienvorgang zu initiieren. Gemäß einer weiteren Ausgestaltung des ersten Aspekts umfasst das Ermitteln des Eingabezustands ein Ermitteln eines Zu¬ Stands des Benutzers. Sunroof closed by the user, so as to make the speech ¬ recognition in the context of the input process successful and to initiate the desired operation. According to another embodiment of the first aspect, determining the input state comprises determining a ¬ To article of the user.
Auf diese Weise ist es zum Beispiel möglich, eine Stimmlage oder eine Klangfarbe des Benutzers oder genauer der Sprach¬ signale des Benutzers zu ermitteln, um so auf einen Zustand des Benutzers zu schließen. Beispielsweise ist es so möglich, eine erhöhte Emotion des Benutzers zu ermitteln und ihn fol¬ gend darauf hinzuweisen, dass er bitte langsamer und/oder deutlicher sprechen soll. In diesem Zusammenhang ist es zum Beispiel auch möglich, dass beim Ermitteln des Zustande des Benutzers eine Gefühlsäußerung, wie beispielsweise ein La¬ chen, erkannt wird und der Eingabeprozess durch das Sprachdi¬ alogsystem automatisch pausiert wird. Der Benutzer wird dem¬ entsprechend mittels der Multimediaeinheit auf den pausierten Eingabeprozess hingewiesen, indem ihm ein Symbol, beispiels¬ weise ein lachender Smiley, angezeigt wird. Wenn eine solche Situation beendet ist, nimmt das Sprachdialogsystem den Ein¬ gabeprozess zum Beispiel wieder automatisch auf und das ange¬ zeigte Symbol verschwindet. Alternativ wird der Eingabepro¬ zess durch den Benutzer mittels Drücken einer Taste manuell fortgeführt . In this way it is possible for example to determine a pitch or timbre of the user, or more precisely the language ¬ signals of the user, so as to close to a state of the user. For example, it is possible to detect an increased emotion of the user and it should be pointed fol ¬ quietly that he should please speak more slowly and / or clearer. In this context, it is also possible for example, that in determining the user's state of one expression of emotion, such as a La ¬ chen, is detected and the input process is automatically paused by the Sprachdi ¬ alogsystem. The user is the pointed ¬ accordingly by means of the multimedia unit to the paused input process by a symbol, example ¬, a laughing smiley appears to him. If such a situation is finished, the voice control system receives the A ¬ reproducing process, for example, again automatically and the symbol is revealed ¬ disappears. Alternatively, the Eingabepro ¬ process is continued manually by the user by pressing a button.
Gemäß einer weiteren Ausgestaltung des ersten Aspekts umfasst das Ausgeben von Zustandsinformationen die Wiedergabe der aufgenommenen akustischen Signale. According to a further embodiment of the first aspect, the outputting of status information comprises the reproduction of the recorded acoustic signals.
Im Rahmen des Verfahrens werden dem Benutzer so zum Beispiel bei einer nicht erfolgreichen Spracherkennung des Eingabepro¬ zesses die zuletzt aufgenommenen akustischen Signale mittels der Multimediaeinheit vorgespielt. Auf diese Weise kann der Benutzer eventuell selber erkennen, warum die letzte Eingabe gescheitert ist und was beispielsweise der Grund für eine zu geringe Erkennungsqualität war. Der Benutzer entwickelt in diesem Zusammenhang eventuell Ver¬ ständnis für die gescheiterte Eingabe, weil er die empfange¬ nen akustischen Signale des Sprachdialogsystems selber beur¬ teilen kann. Infolgedessen baut der Benutzer zum Beispiel keine Frustration auf, wie es möglicherweise der Fall wäre, wenn der Benutzer nur über die Tatsache des Scheiterns der Eingabe und nicht über den Grund des Scheiterns informiert wird. Auch wenn dem Benutzer durch das Sprachdialogsystem ein möglicher Grund für die erfolglose Eingabe mitgeteilt wird, wird der Benutzer durch das Ausgeben der Zustandsinformatio¬ nen in Form einer Wiedergabe der aufgenommenen akustischen Signale dazu befähigt, den Grund und den durch das Sprachdia¬ logsystem ermittelten Eingabezustand des Eingabeprozesses nachzuvollziehen . Somit wird dem Benutzer zum Beispiel intui¬ tiv klar, welcher Störeinfluss die Spracheingabe negativ be- einflusst hat, obwohl er seine Sprachsignale deutlich und verständlich formuliert hat und vielleicht der Meinung war, alles richtig gemacht zu haben. In the process of the user such as an unsuccessful speech recognition of Eingabepro ¬ zesses played to the last recorded acoustic signals by means of the multimedia unit. In this way, the user may even recognize why the last input failed and what was the reason for a low recognition quality, for example. Users develop in this context may Ver ¬ standing of the failed command because he can beur ¬ ¬ nen share the receive acoustic signals of the speech dialogue system itself. As a result, for example, the user does not create frustration, as it might do if the user is only informed of the fact of the failure of the input and not the cause of the failure. Even if the user is informed, a possible reason for the unsuccessful input by the speech dialog system, the user is capable of outputting the Zustandsinformatio ¬ nen in the form of a playback of the recorded acoustic signals to the ground and the input state determined by the Sprachdia ¬ logging system of Comprehend input process. Thus, the user is, for example Dine on ¬ tively clear which interference influence the voice input has influenced nega- tively, although he formulated his voice signals clear and understandable, and perhaps thought to have done everything right.
Gemäß einer weiteren Ausgestaltung des ersten Aspekts umfasst das Ermitteln des Eingabezustands ein Durchführen einer Stö¬ rungserkennung, ein Ermitteln eines Störeinflusses im Rahmen der Störungserkennung des Eingabeprozesses und ein Filtern der aufgenommenen akustischen Signale in Abhängigkeit des er¬ mittelten Störeinflusses. According to another embodiment of the first aspect, determining the input state includes performing a Stö ¬ approximately detection, determining a disturbing influence in the context of fault detection of the entry process and filtering the received acoustic signals as a function of he ¬ mediated disturbing influence.
Auf diese Weise wird im Rahmen des Verfahrens ein Störein¬ fluss ermittelt, welcher einen erfolgreichen Eingabeprozess verhindert oder diesen zumindest nachteilig beeinflusst. Der ermittelte Störeinfluss wird dann zum Beispiel während des Eingabeprozesses durch das Sprachdialogsystem erkannt und au¬ tomatisch herausgefiltert oder weggeschnitten, um so die Spracherkennung der Sprachsignale des Benutzers erfolgreicher zu gestalten und den gewünschten Bedienvorgang auszuführen. Folglich wird so die Gefahr von Fehlerkennungen reduziert und dadurch ein Beitrag für eine erhöhte Wahrscheinlichkeit einer erfolgreichen Eingabe geleistet. In diesem Zusammenhang ist ein Störeinfluss zum Beispiel ein Hintergrundrauschen, das durch einen Fahrbetrieb des Kraftfahrzeugs vorhanden ist, oder auch weitere Sprachsignale anderer Personen in dem In this way, as part of the method, a disturbance ¬ flow is determined, which prevents a successful input process or this affects at least adversely. The interference effect determined is then detected, for example, during the input process by the speech dialogue system and au tomatically ¬ filtered out or cut away, so as to make the speech recognition of the speech signals of the user and successfully perform the desired control operation. As a result, the risk of false identifications is reduced, thereby contributing to an increased probability of successful entry. In this context is a disturbing influence, for example, a background noise, which is present by a driving operation of the motor vehicle, or other speech signals of other persons in the
Kraftfahrzeug, die durch die Audioanalyse im Rahmen des Ver- fahren von den Sprachsignalen des Benutzers differenziert wurden. Darüber hinaus ist es im Rahmen des Verfahrens auch möglich nicht nur einen, sondern mehrere Störeinflüsse zu er¬ mitteln, die den Eingabeprozess beeinflussen. Gemäß einer weiteren Ausgestaltung des ersten Aspekts umfasst das Verfahren ein Ermitteln eines Ortes des ermittelten Stör¬ einflusses . Motor vehicles that have been differentiated from the user's voice signals by the audio analysis as part of the method. In addition, it is possible not only in the process, but more interference to ¬ he convey that affect the entry process. According to a further embodiment of the first aspect, the method comprises determining a location of the determined interference influence.
Der ermittelte Ort des ermittelten Störeinflusses wird dem Benutzer zum Beispiel mittels der Multimediaeinheit ausgege¬ ben, so dass der Benutzer gezielt auf den ermittelten Stör- einfluss reagieren kann. Zum Beispiel sind dies Sprachsignale einer oder mehrerer dazwischenredender Personen, die bei¬ spielsweise auf der Rückbank des Kraftfahrzeugs sitzen, so dass dem Benutzer die Zustandsinformation ausgegeben wird, dass der ermittelte Störeinfluss in einem hinteren Bereich des Kraftfahrzeugs lokalisiert wurde. Infolgedessen kann der Benutzer die Person oder Personen bitten, etwas ruhiger zu sein, um die Erkennungsqualität und die Wahrscheinlichkeit für eine erfolgreiche Eingabe des Eingabeprozesses zu erhö¬ hen. In diesem Kontext sind zum Beispiel mehrere Mikrofone oder ein Mikrofonarray in dem Kraftfahrzeug angeordnet, um eine akustische Lokalisierung zu ermöglichen. Gemäß einer weiteren Ausgestaltung des ersten Aspekts umfasst das Verfahren ein Identifizieren des Benutzers und/oder des ermittelten Störeinflusses in Abhängigkeit der empfangenen akustischen Signale. In Bezug auf den ermittelten Störeinfluss ist es somit zum Beispiel möglich, weitere dem Benutzer nicht zugehörige The location of the disturbing influence determined is determined the user for example by means of the multimedia unit ausgege ¬ ben, can react so that the user selectively influential to the detected fault. For example, these are speech signals of one or more intervening persuasive those playing sitting at ¬ on the rear seat of the motor vehicle, so that the user the state information is output to the interference influence determined was located in a rear region of the motor vehicle. As a result, the user can be a bit quieter ask the person or persons to the recognition quality and the probability of successful entry of the entry process to raised stabili ¬ hen. In this context, for example, a plurality of microphones or a microphone array are arranged in the motor vehicle to enable acoustic localization. According to a further embodiment of the first aspect, the method comprises identifying the user and / or the detected interference in dependence on the received acoustic signals. With regard to the detected interference, it is thus possible, for example, not further to the user
Sprachsignale zu identifizieren, um so den Benutzer gezielt darauf hinzuweisen, dass der Eingabeprozess beispielsweise durch weitere Personen auf der Rückbank nachteilig beein- flusst wird. Dabei wird dem Benutzer zum Beispiel akustisch und/oder visuell die Zustandsinformation ausgegeben „Es wur¬ den mehrere Personen erkannt, die die Eingabe beeinflussen". Identify voice signals to target the user to point out that the entry process is adversely affected by, for example, other persons in the back seat. Here, the user is, for example, audible and / or visual output state information "It WUR recognized the several people that influence the input ¬".
Beispielsweise werden auch Audiosignale eines Radios in dem Kraftfahrzeug erkannt, welches im Hintergrund Musik wieder¬ gibt und somit die Quelle des ermittelten Störeinflusses ist. In diesem Fall wird der Benutzer zum Beispiel darauf hinge¬ wiesen, dass eine Musik erkannt wurde, die mit der aktuell eingestellten Lautstärke den Eingabeprozess nachteilig beein- flusst . For example, audio signals of a radio in the motor vehicle are detected, which in the background music ¬ again and thus is the source of the detected interference. In this case, the user is, for example, it executed ¬ reported that music was recognized that influenced the current default volume input process adversely.
Um die beschriebenen beispielhaften Identifikationen mittels des Sprachdialogsystems zu realisieren, umfasst die Audioana¬ lyse im Rahmen des Verfahrens zum Beispiel eine Analyse des Frequenzspektrums, um so den empfangenen akustischen Signalen eindeutige Frequenzbereiche zuzuordnen und beispielsweise in einem Abgleich mit hinterlegten Daten auch den Benutzer oder weitere Personen anhand der Sprachsignale zu identifizieren. In order to realize the exemplary identifications described by means of the speech dialog system, the Audioana ¬ analysis under the procedure, for example, comprises an analysis of the frequency spectrum to assign as the received acoustic signals distinct frequency ranges, and for example in a comparison with stored data and the user or other persons identify by means of the speech signals.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen: Embodiments of the invention are explained in more detail below with reference to the schematic drawings. Show it:
Figur 1 ein Ablaufdiagramm eines Programms zum Betreiben eines Sprachdialogsystems für ein Kraftfahrzeug, FIG. 1 shows a flowchart of a program for operating a voice dialogue system for a motor vehicle,
Figur 2 ein weiteres Ablaufdiagramm eines Programms zum Figure 2 is another flowchart of a program for
Betreiben eines Sprachdialogsystems für ein Kraft¬ fahrzeug . Operating a voice dialogue system for a motor vehicle ¬ .
In Figur 1 ist ein Ablaufdiagramm für ein Programm zum FIG. 1 is a flow chart for a program for
Betreiben eines Sprachdialogsystems für ein Kraftfahrzeug dargestellt, das zum Beispiel in einer Steuereinheit ST des Kraftfahrzeugs abgearbeitet wird. Die Steuereinheit ST um¬ fasst zum Beispiel einen Daten- und Programmspeicher sowie eine Recheneinheit und ist signaltechnisch mit mindestens ei¬ nem akustischen Sensor ASE und einer Multimediaeinheit MME gekoppelt, welche in dem Kraftfahrzeug KFZ angeordnet sind. Die Steuereinheit ist dazu ausgebildet, akustische Signale ASI zu empfangen, die mittels des akustischen Sensors ASE aufgenommen wurden, und in Abhängigkeit der empfangenen akus¬ tischen Signale ASI einen Eingabezustand EGZ zu ermitteln und im weiteren Verlauf in Abhängigkeit des ermittelten Eingabe¬ zustands EGZ Zustandsinformationen ZIN bereitzustellen. Die Zustandsinformationen ZIN werden mittels der Multimediaein¬ heit MME akustisch und/oder visuell ausgegeben, um einen Be¬ nutzer des Sprachdialogsystems in dem Kraftfahrzeug über den ermittelten Eingabezustand EGZ zu informieren. Der akustische Sensor ASE ist zum Beispiel ein Mikrofon, das beispielsweise im Bereich eines Lenkrades des Kraftfahrzeugs angeordnet ist. Beispielsweise sind auch mehrere Mikrofone oder ein Mikrofonarray in dem Kraftfahrzeug angeordnet, wel¬ che signaltechnisch mit der Steuereinheit ST gekoppelt sind. Die Multimediaeinheit MME ist dazu ausgebildet, die Zustands¬ informationen ZIN akustisch und/oder visuell auszugeben. Sie umfasst zum Beispiel einen Lautsprecher und ein Display als graphische Benutzeroberfläche. Dabei müssen der Lautsprecher und das Display auch nicht zwangsläufig eine gemeinsame Mul- timediaeinheit MME bilden, sondern können auch als separate Einheiten in dem Kraftfahrzeug angeordnet sein. In dem Fall sind zum Beispiel anstelle der Multimediaeinheit MME der Lautsprecher als akustische Einheit und das Display als gra¬ fische Einheit getrennt voneinander in dem Kraftfahrzeug an- geordnet, die signaltechnisch mit der Steuereinheit ST gekop¬ pelt sind. Operating a voice dialogue system for a motor vehicle shown, which is processed, for example, in a control unit ST of the motor vehicle. The control unit ST ¬ summarizes, for example, a data and program memory and a computing unit and is signally coupled to at least ei ¬ nem acoustic sensor ASE and a multimedia unit MME, which are arranged in the motor vehicle car. The control unit is adapted to receive acoustic signals ASI, which were recorded by means of the acoustic sensor ASE, and to determine an input state EAC function of the received acoustically ¬ tables signals ASI and in the further course in dependence of the determined input ¬ state EAC state information ZIN provide. The state information ZIN are output acoustically and / or visually by means of the Multimediaein ¬ integrated MME to inform a user Be ¬ the speech dialogue system in the motor vehicle on the determined input state EAC. The acoustic sensor ASE is for example a microphone which is arranged, for example, in the region of a steering wheel of the motor vehicle. For example, a plurality of microphones or a microphone array are arranged in the motor vehicle, wel ¬ che signal technology coupled to the control unit ST. The multimedia unit MME is configured to output the state information ¬ ZIN acoustically and / or visually. It includes, for example, a speaker and a display as a graphical user interface. In this case, the loudspeaker and the display need not necessarily form a common multimedia unit MME, but may also be arranged as separate units in the motor vehicle. In the case of the loudspeakers are arranged as acoustic unit and the display unit as gra ¬ fish separated from each other in the vehicle arrival, for example, instead of the multimedia unit MME which are signally connected to the control unit ST gekop ¬ pelt.
Die Steuereinheit ST umfasst zum Beispiel auch eine Dialog¬ steuerung DST, eine Erkennersteuerung EST und einen Störung- serkenner SE, die im Rahmen des Programms einen Eingabepro- zess steuern, eine Audioanalyse der empfangenen akustischen Signale ASI durchführen. Der Störungserkenner SE führt zum Beispiel fortlaufend während des Eingabeprozesses eine Stö¬ rungserkennung der empfangenen akustischen Signale ASI durch und ermittelt so zum Beispiel einen Störeinfluss SEF, der den Eingabeprozess nachteilig beeinflussen kann. Die Dialogsteue- rung DST, die Erkennersteuerung EST und der Störungserkenner SE können dabei auch separate Komponenten des Sprachdialog¬ systems sein. The control unit ST includes, for example, a dialog control ¬ DST, a recognizer control EST and a Fault- serkenner SE, the control under the program Eingabepro- a process to perform an audio analysis of the received acoustic signals ASI. The fault detector SE leads to Example continuously during the input process by a disorder ¬ recognition of the received acoustic signals ASI by and thus determines, for example, a disturbing influence SEF, which can adversely affect the input process. The Dialogsteue- tion DST, the recognizer control EST and the disturbance identifier SE here may also be separate components of the speech dialogue system ¬.
In einem ersten Schritt Sl wird das Programm gestartet, und es werden gegebenenfalls Variablen initialisiert. Der Start des Programms kann beispielsweise zeitnah zu einem Motorstart des Kraftfahrzeugs erfolgen oder mittels Betätigen einer Tas¬ te durch den Benutzer initiiert werden. In einem Schritt S3 signalisiert die Steuereinheit ST der Di¬ alogsteuerung DST und der Erkennersteuerung EST, dass ein Eingabeprozess beginnt und eine Eingabephase erfolgt. Bei¬ spielsweise wird daraufhin der Benutzer in dem Kraftfahrzeug darauf hingewiesen, dass eine Spracherkennung im Rahmen des Eingabeprozesses nun startet und die Erkennungsphase freige¬ geben ist. Diese Information kann dem Benutzer entweder akus¬ tisch und/oder visuell mitgeteilt werden, indem zum Beispiel mittels der Multimediaeinheit MME ein Ton und/oder ein Licht¬ signal in Form eines blinkenden Lichtes ausgegeben wird. In a first step S1, the program is started and variables are initialized if necessary. The start of the program, for example, take place promptly to an engine start of the motor vehicle or be initiated by pressing a Tas ¬ te by the user. In a step S3, the control unit ST of the Di ¬ alogsteuerung DST and the Erkennersteuerung EST signals that an input process begins and an input phase takes place. In ¬ example, then the user is pointed out in the vehicle that a voice recognition in the context of the input process now starts and the detection phase is freige ¬ give. This information may be communicated to the user visually, either acoustically ¬ table and / or, for example by means of the multimedia unit MME a sound and / or a light ¬ signal is output in the form of a flashing light.
In einem Schritt S5 werden im Rahmen des Eingabeprozesses mittels des mindestens einen akustischen Sensors ASE akusti¬ sche Signale ASI aufgenommen und von der Steuereinheit ST empfangen . In a step S5, under the entry process by means of the at least one acoustic sensor ASE added akusti ¬ specific signals ASI and received by the control unit ST.
In einem Schritt S7 wird durch die Steuereinheit ST in Abhän¬ gigkeit der empfangenen akustischen Signale ASI ein Eingabe¬ zustand EGZ des Eingabeprozesses ermittelt. Der ermittelte Eingabezustand EGZ des Eingabeprozesses beinhaltet in diesem Zusammenhang Informationen über einen Erfolg der Eingabe durch den Benutzer. So werden mittels der Steuereinheit ST eine Audioanalyse der empfangenen akustischen Signale ASI durchgeführt und es wird eine Erkennungsqualität ermittelt, die zum Beispiel durch einen Zahlenwert repräsentiert wird. Ist dieser Zahlenwert zum Beispiel kleiner als ein vorgegebe¬ ner Schwellenwert, wird die Eingabe als nicht erfolgreich eingestuft, und es wird kein Bedienvorgang eingeleitet. Ist der Zahlenwert gleich oder größer als der vorgegebene Schwel¬ lenwert, wird die Eingabe durch den Benutzer als erfolgreich eingestuft und der gewünschte Bedienvorgang eingeleitet. Un¬ abhängig von dem Ergebnis des ermittelten Eingabezustands EGZ werden durch die Steuereinheit ST stets Informationen an die Dialogsteuerung DST und die Erkennersteuerung EST gesendet, so dass der Eingabeprozess in Abhängigkeit des ermittelten Eingabezustands EGZ gesteuert wird. In Figur 1 ist dies durch Pfeile angedeutet, die sich von den entsprechenden Positionen innerhalb des Programms jeweils auf den Schritt S3 rückbezie¬ hen, so auch von dem Schritt S7. Das Programm wird schlie߬ lich in einem Schritt S9 fortgesetzt, in dem verschiedene Pa¬ rameter in Abhängigkeit des ermittelten Zustande EGZ ermit¬ telt werden. In a step S7, an input ¬ EAC state is detected the input process by the control unit ST in depen ¬ dependence of the received acoustic signals ASI. The determined input state EGZ of the input process in this context includes information about a success of the input by the user. Thus, by means of the control unit ST an audio analysis of the received acoustic signals ASI performed and it is determined a recognition quality, which is represented for example by a numerical value. Is this numerical value, for example, less than a pre-admit ¬ ner threshold, the input is considered unsuccessful, and it is initiated no operation. If the numerical value equal to or greater than the predetermined smoldering ¬ real value that the user input is classified as successful and introduced the desired operating process. Un ¬ depending on the result of the determined input state EAC information to the dialog control DST and the recognizer control EST is sent by the control unit ST constantly, so that the input process is controlled in dependence of the determined input state EAC. In Figure 1 this is indicated by arrows that extend rückbezie ¬ hen from the respective positions within the program on each of the step S3, so also in the step S7. The program is continued closing ¬ Lich in a step S9 are ermit ¬ telt in which various parameters Pa ¬ a function of the determined state of EAC.
In dem Schritt S9 wird zum Beispiel im Rahmen des Ermitteins des Eingabezustands EGZ ein Ort LO_ASI oder eine Lautstärke und/oder Dynamik LD_ASI der akustischen Signale ASI ermit¬ telt, die auch eine Lautstärke und/oder Dynamik von Sprach- Signalen des Benutzers umfasst. In step S9, a place LO_ASI or volume and / or dynamics LD_ASI the acoustic signals ASI is ermit ¬ telt, for example, in the context of determining the input state EAC, which includes a volume and / or dynamics of voice signals of the user.
Beispielsweise wird auch mittels des akustischen Sensors ASE und der Steuereinheit ST ein Störeinfluss SEF ermittelt, wel¬ cher den Eingabeprozess nachteilig beeinflusst. Es ist auch möglich, mehrere Störungseinflüsse SEF zu ermitteln, derenFor example, an interference influence SEF is also determined by means of the acoustic sensor ASE and the control unit ST, wel ¬ cher adversely affect the input process. It is also possible to determine several interference effects SEF whose
Ursache zum Beispiel Umgebungsgeräusche, Musik aus einem Ra¬ dio des Kraftfahrzeugs oder Sprachsignale weiterer Personen außer denen des Benutzers sind. Ein weiterer möglicher Parameter ist zum Beispiel ein Zustand ZSB des Benutzers, der im Rahmen des Ermitteins des Eingabe¬ prozesses ermittelt wird. Darüber hinaus ist es auch möglich, die empfangenen akustischen Signale ASI hinsichtlich des er¬ mittelten Störeinflusses SEF im Rahmen der Audioanalyse zu identifizieren, um so zum Beispiel den ermittelten Störein- fluss SEF weiter einzugrenzen und zu konkretisieren. Cause, for example, ambient noise, music from a Ra ¬ dio of the motor vehicle or voice signals of other people except those of the user. Another possible parameter is, for example, a state ZSB is determined in the context of determining the input ¬ process of the user. In addition, it is also possible To identify the received acoustic signals ASI in terms of the he ¬ mediated interference SEF in the context of audio analysis, so as to further limit and concretise, for example, the detected interference SEF.
Im Rahmen des Programms wird so zum Beispiel der Eingabepro- zess in Abhängigkeit dieser ermittelten Parameter gesteuert, sodass zum Beispiel der Störungserkenner SE der Steuereinheit ST die Eingabephase unterbricht oder freigibt, sofern ein Störeinfluss ermittelt wurde oder ein Störeinfluss abgeschal¬ tet wurde. Dieses Steuern des Eingabeprozesses durch die Dia¬ logsteuerung DST der Steuereinheit ST ist auch an dieser Po¬ sition des Programms durch einen rückbeziehenden Pfeil ange¬ deutet, der nach Beendigung des Schrittes S9 wieder zu dem Schritt S3 führt. In the context of the program is controlled in dependence on these determined parameters such as the Eingabepro- process, so for example, the disturbance identifier SE of the control unit ST interrupts the input phase, or releases, if a disturbing influence has been determined or a disturbing influence was abgeschal ¬ tet. This control of the input process by the Dia ¬ log control DST the control unit ST is also at this Po ¬ tion of the program by a backward arrow indicated ¬ indicates, which leads to the step S3 after completion of step S9.
In einem Schritt S10 werden in Abhängigkeit des ermittelten Eingabezustands EGZ und des ermittelten Störeinflusses SEF ein Ort LO_SEF des ermittelten Störeinflusses ermittelt, um so im weiteren Verlauf den Benutzer des Sprachdialogsystems zum Beispiel konkret auf den Störeinfluss SEF hinweisen zu können und ihm bei der Suche des Störeinflusses SEF zu unter¬ stützen . In a step S10, a location LO_SEF of the determined disturbing influence is determined as a function of the determined input state EGZ and the determined disturbing influence SEF so that the user of the speech dialog system can concretely refer to the disturbing influence SEF in the further course and find the disturbing influence SEF to support ¬ .
Im weiteren Verlauf des Programms werden in einem Schritt Sil ausgehend von dem ermittelten Eingabezustand EGZ des Eingabe¬ prozesses Zustandsinformationen ZIN generiert, die den Benut¬ zer über den ermittelten Eingabezustand EGZ und über einen Erfolg seiner Eingabe informieren. Die Zustandsinformationen ZIN werden dem Benutzer mittels der Multimediaeinheit MME akustisch und/oder visuell ausgegeben, so dass der Benutzer über den aktuellen Eingabezustand EGZ und einen oder mehrere der zuvor beschriebenen ermittelten Parameter unterrichtet wird . In the further course of the program of ¬ process input ZIN state information are generated in a step S on the basis of the determined input state EAC that inform the Benut ¬ zer on the determined input state EGZ and a result of his input. The status information ZIN is acoustically and / or visually output to the user by means of the multimedia unit MME, so that the user is informed about the current input state EGZ and one or more of the parameters previously described.
Die Ausgabe der Zustandsinformationen ZIN erfolgt in diesem Zusammenhang zum Beispiel nach oder auch während der Eingabe des Eingabeprozesses mittels der Multimediaeinheit MME. Wurde beispielsweise in dem Schritt S9 beim Ermitteln der Lautstär¬ ke und/oder Dynamik LD_ASI der akustischen Signale ASI eine zu geringe Lautstärke und/oder Dynamik der Sprachsignale des Benutzers ermittelt, wird dieser zum Beispiel mittels derThe output of the state information ZIN takes place in this connection, for example after or even during the input of the input process by means of the multimedia unit MME. For example, if in the step S9 when determining the Lautstär ¬ ke and / or dynamics of the audio signals ASI LD_ASI from a low volume and / or dynamics of the speech signals of the user is determined, it is, for example, by means of the
Multimediaeinheit MME durch das Sprachdialogsystem akustisch aufgefordert „Bitte sprechen Sie lauter!". Auf diese Weise wird der Benutzer darüber informiert, dass er seine Lautstär¬ ke anpassen soll, damit ein gewünschter Bedienvorgang gestar- tet werden kann. Multimedia unit MME acoustically prompted by the speech dialogue system "Please speak louder!" In this way, the user is informed that he should adjust his volume ¬ ke, so that a desired operation can be started.
Wurde alternativ oder zusätzlich ermittelt, dass die Laut¬ stärke und/oder Dynamik LD_ASI der akustischen Signale ASI in Bezug auf Umgebungsgeräusche zu hoch ist, wird der Benutzer zum Beispiel darüber wie folgt informiert: „Es ist zu laut für eine Spracherkennung." In diesem Zusammenhang wird dem Benutzer folglich die Zustandsinformation ZIN ausgegeben, dass die Lautstärke und/oder Dynamik Umgebungsgeräusche und eventuellen Störeinflüssen einen erfolgreichen Eingabeprozess verhindert oder zumindest erschwert. Was determined alternatively or additionally that the strength According ¬ and / or dynamic LD_ASI the acoustic signals ASI regarding ambient noise is too high, the user is as follows, for example, about the following: "It is too noisy for speech recognition." In this In connection with this, the user is consequently outputting the state information ZIN that the volume and / or dynamics surrounding noise and possible interference influences prevent or at least hinder a successful input process.
Darüber hinaus ist es auch möglich, dem Benutzer im Rahmen des Eingabeprozesses das empfangene akustische Signal ASI der letzten Eingabe mittels der Multimediaeinheit MME vorzuspie- len, so dass dieser selbst die Möglichkeit hat zu erkennen, wie und warum die letzte Eingabe zum Beispiel beeinträchtigt wurde und der gewünschte Bedienvorgang nicht durchgeführt wurde . Alternativ oder zusätzlich werden die Zustandsinformationen ZIN auch visuell angezeigt, zum Beispiel in einfacher Form eines Textes auf dem Display der Multimediaeinheit MME oder auch in Form von Farben, Symbolen oder Bildern. War im Verlauf des Programms in dem Schritt S7 die Eingabe durch den Benutzer bereits erfolgreich, wird dies dem Benut- zer zum Beispiel durch einen grünen Bildschirm des Displays der Multimediaeinheit MME angezeigt. In addition, it is also possible for the user to simulate the received acoustic signal ASI of the last input by means of the multimedia unit MME during the input process, so that the user himself has the opportunity to recognize how and why the last input was impaired, for example the desired operation has not been performed. Alternatively or additionally, the status information ZIN is also displayed visually, for example in the simple form of a text on the display of the multimedia unit MME or else in the form of colors, symbols or images. If user input has already been successful in the course of the program in step S7, this will be the user's zer displayed for example by a green screen of the display of the multimedia unit MME.
In einem Schritt S13 werden das Programm und der Eingabepro- zess beendet. Dies erfolgt zum Beispiel manuell durch den Be¬ nutzer mittels Drücken einer Taste oder auch automatisch nach erfolgreicher Beendigung eines gewünschten Bedienvorgangs oder nach Beenden eines Fahrzyklus. Figur 2 zeigt ein weiteres Ausführungsbeispiel für das Pro¬ gramm zum Betreiben des Sprachdialogsystems. Ein Ablauf des beschriebenen Programms, bei dem keine Störung des Eingabe¬ prozesses ermittelt wird, kann dann zum Beispiel so erfolgen:In a step S13, the program and the input process are ended. This is done, for example, manually by the Be ¬ user by pressing a button or automatically after successful completion of a desired operation or after completing a drive cycle. Figure 2 shows a further embodiment of the Pro ¬ program for operating the speech dialog system. A sequence of the described program in which no disturbance of the input ¬ process is determined, then can be done for example as follows:
- Sl: Der Benutzer startet das Sprachdialogsystem, zum Bei- spiel durch Drücken einer Taste. - Sl: The user starts the speech dialogue system, for example by pressing a key.
- S2 : Die Dialogsteuerung DST signalisiert an die Erkenner¬ steuerung EST, dass eine Erkennungsphase beginnen soll . - S2: The dialogue control DST signals to the recognizer ¬ control EST that a detection phase should begin.
- S3: Die Erkennersteuerung EST informiert den Störungser- kenner SE über die Anforderung der Erkennungsphase. S3: The recognizer control EST informs the fault detector SE about the request of the recognition phase.
- S4: Der Störungserkenner SE gibt die Erkennungsphase frei, wenn keine Störungen entgegen sprechen oder zum Bei¬ spiel kein Störeinfluss SEF im Rahmen der akustischen Signale ASI ermittelt wurde. - S4: The fault detector SE releases the detection phase, if no disturbances speak contrary or for example ¬ no disturbing influence SEF was determined in the context of the acoustic signals ASI.
- S5: Die Dialogsteuerung DST startet nun die Erkennungspha¬ se, die die Spracherkennung umfasst. - S5: The dialogue control DST now starts the Erkennungspha ¬ se, which includes the speech recognition.
- S6: Die Erkennersteuerung EST startet eine Sprachsteuerung  - S6: The recognizer control EST starts a voice control
ASR. Die akustischen Signale ASI inklusive der Sprach¬ signale des Benutzers werden aufgenommen und analy- siert. ASR. The acoustic signals ASI including voice ¬ signals of the user are recorded and analyzed.
- S7: Die Sprachsteuerung ASR meldet ein Erkennungsergebnis. - S7: The voice control ASR reports a recognition result.
- S8: Die Sprachsteuerung ASR meldet das Ende der Erkennung.- S8: The voice control ASR reports the end of detection.
- S9: Die Erkennersteuerung EST informiert den Störungser¬ kenner SE über das Ende der Erkennungsphase und der Spracherkennung. - S10: Der Störungserkenner SE meldet den störungsfreien Ab¬ lauf der Erkennung an die Steuereinheit ST, die auch Dialog genannt werden kann. - S9: The recognizer control EST informs the Störungser ¬ kenner SE about the end of the detection phase and speech recognition. - S10: The fault detector SE reports the trouble-free execution of the recognition to the control unit ST, which can also be called a dialog.
- Sil: Der Dialog gibt mittels einer akustischen Ausgabeein- heit AAE und/oder mittels der Multimediaeinheit MME akustisch Rückmeldung an den Benutzer über die erkann¬ te und erfolgreiche Eingabe. - Sil: The dialog gives by means of an acoustic output unit AAE and / or by means of the multimedia unit MME acoustically feedback to the user on the erkann ¬ te and successful input.
- S12: Der Dialog zeigt zusätzliche Informationen mittels ei¬ ner visuellen Ausgabeeinheit VAE und/oder mittels der Multimediaeinheit MME auf einer graphischen Benutzer¬ schnittstelle an. - S12: The dialog displays additional information in ei ¬ ner visual output unit UAE and / or by the multimedia unit MME on a graphical user interface ¬.
- S13: Der Benutzer beendet das Sprachdialogsystem, zum Bei¬ spiel durch Drücken einer Taste. Ein Ablauf des beschriebenen Programms, bei dem eine Störung zum Beispiel zu Beginn des Eingabeprozesses ermittelt wird, kann zum Beispiel so erfolgen: - S13: The user terminates the voice dialogue system, for example by pressing a key. A sequence of the described program, in which a fault is determined, for example, at the beginning of the input process, can take place for example as follows:
- Sl: Der Benutzer startet das Sprachdialogsystem, zum Bei¬ spiel durch Drücken einer Taste. - Sl: The user starts the speech dialogue system, for example by pressing a key.
- S2 : Die Dialogsteuerung DST signalisiert an die Erkenner¬ steuerung EST, dass eine Erkennungsphase beginnen soll . - S2: The dialogue control DST signals to the recognizer ¬ control EST that a detection phase should begin.
- S3: Die Erkennersteuerung EST informiert den Störungser¬ kenner SE über die Anforderung der Erkennungsphase. - S4: Der Störungserkenner SE ermittelt zum Beispiel einen - S3: The Erkennersteuerung EST informs the Störungser ¬ Kenner SE about the request of the detection phase. - S4: The fault detector SE determines, for example, a
Störeinfluss SEF im Rahmen der akustischen Signale ASIund meldet dies an die Dialogsteuerung DST. Die Di¬ alogsteuerung DST gibt akustisch und/oder visuell mit¬ tels der akustischen Ausgabeeinheit AAE und/oder der visuellen Ausgabeeinheit VAE und/oder der Multimedia¬ einheit MME Rückmeldung an den Benutzer zum Beispiel über den ermittelten Störeinfluss SEF. Der Eingabepro- zess und die Erkennungsphase werden in diesem Zusam¬ menhang mittels der Dialogsteuerung DST abgeändert, indem zum Beispiel die Spracherkennung verzögert oder unterbunden wird. Nachdem der Benutzer auf den ermittelten Storemfluss SEF hingewiesen wurde und dieser den ermittelten Störeinfluss zum Beispiel behoben hat, wird der Eingabeprozess entspre¬ chend dem ersten Beispiel eines störungsfreien Ablaufs des Programms durchgeführt. Disturbing effect SEF in the context of the acoustic signals ASIund reports this to the dialogue control DST. The Di ¬ alogsteuerung DST acoustically and / or visually with ¬ means of the acoustic output unit AAE and / or the visual output unit UAE and / or the multimedia ¬ unit MME feedback to the user, for example on the determined interference SEF. The Eingabepro- process and the recognition phase will be altered in this together ¬ menhang by means of the dialogue control DST, by for example, delaying the speech recognition or suppressed. After the user is pointed to the determined Storemfluss SEF and this has corrected the determined interference influence, for example, the input process is entspre ¬ accordingly conducted to the first example of a trouble-free running of the program.
Ein Ablauf des beschriebenen Programms, bei dem eine Störung zum Beispiel während des Eingabeprozesses ermittelt wird, kann zum Beispiel so erfolgen: A sequence of the described program, in which a disturbance is determined, for example, during the input process, can take place for example as follows:
- Sl: Der Benutzer startet das Sprachdialogsystem, zum Bei¬ spiel durch Drücken einer Taste. - Sl: The user starts the speech dialogue system, for example by pressing a key.
- S2 : Die Dialogsteuerung DST signalisiert an die Erkenner¬ steuerung EST, dass eine Erkennungsphase beginnt. - S2: The dialogue control DST signals to the Erkenner ¬ control EST that a detection phase begins.
- S3: Die Erkennersteuerung EST informiert den Störungser- kenner SE über die Anforderung der Erkennungsphase. S3: The recognizer control EST informs the fault detector SE about the request of the recognition phase.
- S4: Der Störungserkenner SE gibt die Erkennungsphase frei, da keine Störungen entgegen sprechen und zum Beispiel kein Störeinfluss SEF im Rahmen der akustischen Signa¬ le ASI ermittelt wurde. - S4: The fault recognizer SE releases the detection phase, since no disturbances speak contrary and, for example, no disturbance SEF was determined in the context of the acoustic signal ASI.
- S5: Die Dialogsteuerung DST startet nun die Erkennungspha¬ se, die die Spracherkennung umfasst. - S5: The dialogue control DST now starts the Erkennungspha ¬ se, which includes the speech recognition.
- S6: Die Erkennersteuerung EST startet eine Sprachsteuerung  - S6: The recognizer control EST starts a voice control
ASR. Die akustischen Signale ASI inklusive der Sprach¬ signale des Benutzers werden aufgenommen und analy- siert. Während des Eingabeprozesses überwacht der Stö¬ rungserkenner SE fortlaufend das Auftauchen und Ver¬ schwinden von Störungen und ermittelt so zum Beispiel einen Störeinfluss SEF im Rahmen der akustischen Sig¬ nale ASI. Der Störungserkenner SE meldet dies an die Dialogsteuerung DST. Die Dialogsteuerung DST gibt akustisch und/oder visuell mittels der akustischen Ausgabeeinheit AAE und/oder der visuellen Ausgabeein¬ heit VAE und/oder der Multimediaeinheit MME Rückmel¬ dung an den Benutzer zum Beispiel über den ermittelten Störeinfluss SEF. Der Eingabeprozess und die Erken¬ nungsphase werden in diesem Zusammenhang mittels der Dialogsteuerung DST abgeändert, indem zum Beispiel die Spracherkennung verzögert oder unterbunden wird. ASR. The acoustic signals ASI including voice ¬ signals of the user are recorded and analyzed. During the submission process, the Stö ¬ rungserkenner SE continuously monitors the appearance and disappearance of Ver ¬ disorders and determined so as a disturbing influence SEF as part of the acoustic Sig ¬ tional ASI. The fault detector SE reports this to the dialogue control DST. The dialogue control DST are acoustically and / or visually by means of the acoustic output unit AAE and / or the visual Ausgabeein ¬ integrated UAE, and / or the multimedia unit MME Rückmel ¬ dung to the user for example via the determined interference influence SEF. The input process and the Erken ¬ opening phase in this connection by means of the Dialog control DST modified, for example, by the speech recognition is delayed or prevented.
Nachdem der Benutzer auf den ermittelten Störeinfluss SEF hingewiesen wurde und dieser den ermittelten Störeinfluss SEF zum Beispiel behoben hat, wird der Eingabeprozess zum Bei¬ spiel an der unterbrochenen Position des Programms fortge¬ setzt und entsprechend dem ersten Beispiel eines störungs¬ freien Ablaufs des Programms durchgeführt. In diesem Zusam¬ menhang wurde zum Beispiel bei einer akustischen Eingabe ei¬ ner Adresse durch den Benutzer der Eingabeprozess unterbro¬ chen, so dass bei Wiederaufnahme des Eingabeprozesses dem Be¬ nutzer mittels der Multimediaeinheit MME beispielsweise mit¬ geteilt wird „Bitte wiederholen Sie die Hausnummer!". After the user is pointed to the determined interference influence SEF and this has corrected the determined interference influence SEF for example, the input process is used for In ¬ play at the interrupted position of the program fortge ¬ sets and performed according to the first example of a disturbance ¬ free running of the program , In this together ¬ menhang ei ¬ ner address by the user input process was, for example, on an acoustic input unterbro ¬ chen, is so divided on resumption of the entry process the Be ¬ user via the multimedia unit MME example, ¬ "Please repeat the number ".
Der beschriebene Ablauf des Programms bildet ein Ausführungs¬ beispiel für ein Verfahren zum Betreiben eines Sprachdialog¬ systems für ein Kraftfahrzeug, das den Benutzer darüber in¬ formiert, wie ein aktueller Eingabezustand EGZ eines Eingabe¬ prozesses ist. Dadurch, dass der Benutzer in einem Dialog mit dem Sprachdialogsystem steht und über den ermittelten Einga¬ bezustand EGZ informiert wird, steigt die Akzeptanz des Be¬ nutzers für das Sprachdialogsystem, da er begründet durch die Ausgabe der Zustandsinformationen ZIN zum Beispiel erfährt, warum der Eingabeprozess pausiert oder abgebrochen wurde. The flow of the program described forms an execution ¬ example of a method of operating a speech dialogue ¬ system for a motor vehicle, which also informs the user in ¬ as a current input state EAC is an input ¬ process. The fact that the user is in a dialogue with the voice control system and is informed of the determined entranc ¬ bezustand AEC, acceptance of the Be ¬ user for the voice control system increases as it attributable to the issue of the status information ZIN as learn why the entry process paused or canceled.

Claims

Verfahren zum Betreiben eines Sprachdialogsystems für ein Kraftfahrzeug, umfassend A method of operating a speech dialogue system for a motor vehicle, comprising
- Empfangen von akustischen Signalen (ASI), die im Rah¬ men eines Eingabeprozesses aufgenommen werden und die Sprachsignale eines Benutzers in dem Kraftfahrzeug um¬ fassen, - receiving acoustic signals (ASI), which are incorporated within the framework ¬ men of an input process and the voice signals of a user in the motor vehicle to hold ¬,
- Ermitteln eines Eingabezustands (EGZ) des Eingabepro¬ zesses in Abhängigkeit der empfangenen akustischen Signale (ASI), und - determining an input state (EAC) of the Eingabepro ¬ zesses in dependence of the received acoustic signals (ASI), and
- Ausgeben von Zustandsinformationen (ZIN) in Abhängig¬ keit des ermittelten Eingabezustands (EGZ) , um den Be¬ nutzer über den ermittelten Eingabezustand (EGZ) zu informieren . - Output of state information (ZIN) as a function of the determined input state ¬ (EGZ) to inform the Be ¬ user about the determined input state (EGZ).
Verfahren nach Anspruch 1, umfassend The method of claim 1, comprising
- Steuern des Eingabeprozesses in Abhängigkeit des er¬ mittelten Eingabezustands (EGZ) . - controlling the input process in dependence of he ¬ mediated condition input (EAC).
Verfahren nach Anspruch 1 oder 2, bei dem das Ermitteln des Eingabezustands (EGZ) umfasst, Method according to Claim 1 or 2, in which the determination of the input state comprises (EGZ)
- Durchführen einer Spracherkennung,  Performing speech recognition,
- Steuern der Spracherkennung im Rahmen des Eingabepro¬ zesses in Abhängigkeit des ermittelten Eingabezustands (EGZ) . - controlling the voice recognition function of the input state determined in the context of the Eingabepro ¬ zesses (EAC).
Verfahren nach einem der Ansprüche 1 bis 3, bei dem das Ermitteln des Eingabezustands (EGZ) umfasst, Method according to one of Claims 1 to 3, in which the determination of the input state comprises (EGZ),
- Ermitteln einer Lautstärke und/oder Dynamik (LD_ASI) der akustischen Signale (ASI), insbesondere der  Determining a volume and / or dynamics (LD_ASI) of the acoustic signals (ASI), in particular the
Sprachsignale des Benutzers.  Voice signals of the user.
Verfahren nach einem der Ansprüche 1 bis 4, bei dem das Ermitteln des Eingabezustands (EGZ) umfasst, Method according to one of Claims 1 to 4, in which the determination of the input state comprises (EGZ)
- Ermitteln eines Ortes (LO_ASI) der akustischen Signale (ASI) . Verfahren nach einem der Ansprüche 1 bis 5, bei dem das Ermitteln des Eingabezustands (EGZ) umfasst, - Determining a location (LO_ASI) of the acoustic signals (ASI). Method according to one of Claims 1 to 5, in which the determination of the input state (EGZ) comprises
- Ermitteln eines Zustande (ZSB) des Benutzers.  - Determining a state (ZSB) of the user.
Verfahren nach einem der Ansprüche 1 bis 6, bei dem das Ausgeben von Zustandsinformationen (ZIN) umfasst, Method according to one of Claims 1 to 6, in which the outputting of state information (ZIN) comprises
- Wiedergabe der aufgenommenen akustischen Signale  - Play the recorded acoustic signals
(ASI) .  (ASI).
8. Verfahren nach einem der Ansprüche 1 bis 7, bei dem das Ermitteln des Eingabezustands (EGZ) umfasst, 8. The method according to any one of claims 1 to 7, wherein the determining of the input state comprises (EGZ),
- Durchführen einer Störungserkennung,  Performing a fault detection,
- Ermitteln eines Störeinflusses (SEF) im Rahmen der Störungserkennung des Eingabeprozesses, und  - Determining a disturbing influence (SEF) as part of the fault detection of the input process, and
- Filtern der aufgenommenen akustischen Signale (ASI) in Abhängigkeit des ermittelten Störeinflusses (SEF) .  - Filter the recorded acoustic signals (ASI) as a function of the determined interference (SEF).
9. Verfahren nach Anspruch 8, umfassend 9. The method of claim 8, comprising
- Ermitteln eines Ortes (LO_SEF) des ermittelten Stör¬ einflusses (SEF) . - Determining a location (LO_SEF) of the determined interference ¬ influence (SEF).
Verfahren nach einem der vorstehenden Ansprüche, umfas¬ send Method according to one of the preceding claims, comprising ¬ send
- Identifizieren des Benutzers und/oder des ermittelten Störeinflusses (SEF) in Abhängigkeit der empfangenen akustischen Signale (ASI).  - Identifying the user and / or the detected interference (SEF) depending on the received acoustic signals (ASI).
PCT/EP2015/060361 2014-05-20 2015-05-11 Method for operating a voice dialogue system for a motor vehicle WO2015176986A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014209499.2A DE102014209499A1 (en) 2014-05-20 2014-05-20 Method for operating a voice dialogue system for a motor vehicle
DE102014209499.2 2014-05-20

Publications (1)

Publication Number Publication Date
WO2015176986A1 true WO2015176986A1 (en) 2015-11-26

Family

ID=53199960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/060361 WO2015176986A1 (en) 2014-05-20 2015-05-11 Method for operating a voice dialogue system for a motor vehicle

Country Status (2)

Country Link
DE (1) DE102014209499A1 (en)
WO (1) WO2015176986A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047501A (en) * 2019-04-04 2019-07-23 南京邮电大学 Multi-to-multi phonetics transfer method based on beta-VAE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003105125A1 (en) * 2002-06-05 2003-12-18 Philips Intellectual Property & Standards Gmbh Mobile unit and method of controlling a mobile unit
US20040176953A1 (en) * 2002-10-24 2004-09-09 International Business Machines Corporation Method and apparatus for a interactive voice response system
US20070078652A1 (en) * 2005-10-04 2007-04-05 Sen-Chia Chang System and method for detecting the recognizability of input speech signals
US20080101556A1 (en) * 2006-10-31 2008-05-01 Samsung Electronics Co., Ltd. Apparatus and method for reporting speech recognition failures

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006002132D1 (en) * 2006-12-14 2008-09-18 Harman Becker Automotive Sys processing
JP2008256802A (en) * 2007-04-02 2008-10-23 Fujitsu Ten Ltd Voice recognition device and voice recognition method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003105125A1 (en) * 2002-06-05 2003-12-18 Philips Intellectual Property & Standards Gmbh Mobile unit and method of controlling a mobile unit
US20040176953A1 (en) * 2002-10-24 2004-09-09 International Business Machines Corporation Method and apparatus for a interactive voice response system
US20070078652A1 (en) * 2005-10-04 2007-04-05 Sen-Chia Chang System and method for detecting the recognizability of input speech signals
US20080101556A1 (en) * 2006-10-31 2008-05-01 Samsung Electronics Co., Ltd. Apparatus and method for reporting speech recognition failures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KENICHI KUMATANI ET AL: "Microphone Array Post-filter based on Spatially-Correlated Noise Measurements for Distant Speech Recognition", PROC. INTERSPEECH, 13 September 2012 (2012-09-13), XP055201855, Retrieved from the Internet <URL:http://www.isca-speech.org/archive/archive_papers/interspeech_2012/i12_0298.pdf> [retrieved on 20150713] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047501A (en) * 2019-04-04 2019-07-23 南京邮电大学 Multi-to-multi phonetics transfer method based on beta-VAE

Also Published As

Publication number Publication date
DE102014209499A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
DE102009051508B4 (en) Device, system and method for voice dialog activation and guidance
DE60207742T2 (en) CORRECTION OF A TEXT RECOGNIZED BY A LANGUAGE RECOGNITION BY COMPARING THE PHONES OF THE RECOGNIZED TEXT WITH A PHONETIC TRANSCRIPTION OF A MANUALLY ENTERED CORRECTION WRITING
DE102015118553A1 (en) Systems and methods for selecting audio filter methods
DE102019200954A1 (en) Signal processing device, system and method for processing audio signals
EP3661797B1 (en) Method, device, mobile user apparatus and computer program for controlling an audio system of a vehicle
DE102010040818A1 (en) Acoustic environment of an appealing guidance system
DE60032982T2 (en) Speech recognition for controlling a device
DE10338512A1 (en) Support procedure for speech dialogues for the operation of motor vehicle functions
WO2002043049A1 (en) Method for control of a unit comprising an acoustic output device
DE112007003024T5 (en) Vehicle mounted speech recognition device
DE102019200956A1 (en) Signal processing device, system and method for processing audio signals
DE102016217026A1 (en) Voice control of a motor vehicle
DE102019102090A1 (en) VEHICLE INTERNAL MEDIA TUNING SUPPRESSION
DE102016204315A1 (en) Means of transport, system and method for adjusting a length of a permitted speech break in the context of a voice input
EP0966100B1 (en) Method and means for influencing the volume of audio reproducing devices in motor vehicles
DE102015014916A1 (en) Method for outputting audio signals
WO2015176986A1 (en) Method for operating a voice dialogue system for a motor vehicle
WO2020221865A1 (en) Method, computer program product, system and device for modifying acoustic interaction signals, which are produced by at least one interaction partner, in respect of an interaction target
DE102017210688A1 (en) Sound generating device for a motor vehicle and method for operating such and motor vehicle with such
DE102014210760B4 (en) operation of a communication system
DE102013013695B4 (en) Motor vehicle with voice recognition
DE102019218630A1 (en) ACTIVE CONTROL SYSTEM OF A DOUBLE VEHICLE MICROPHONE AND A CONTROL METHOD THEREFOR
EP3836567B1 (en) Hearing device and method for operating a hearing device
DE60022269T2 (en) Voice-based manipulation method and device
DE102004035988A1 (en) Emergency call system for a passenger transport system, in particular for a motor vehicle, and method for the automatic transmission of an emergency call

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15723883

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15723883

Country of ref document: EP

Kind code of ref document: A1