WO2017090115A1 - 音声対話装置および音声対話方法 - Google Patents

音声対話装置および音声対話方法 Download PDF

Info

Publication number
WO2017090115A1
WO2017090115A1 PCT/JP2015/083049 JP2015083049W WO2017090115A1 WO 2017090115 A1 WO2017090115 A1 WO 2017090115A1 JP 2015083049 W JP2015083049 W JP 2015083049W WO 2017090115 A1 WO2017090115 A1 WO 2017090115A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
response
unit
response mode
recognition
Prior art date
Application number
PCT/JP2015/083049
Other languages
English (en)
French (fr)
Inventor
直哉 馬場
友紀 古本
政信 大沢
匠 武井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112015007147.4T priority Critical patent/DE112015007147T5/de
Priority to PCT/JP2015/083049 priority patent/WO2017090115A1/ja
Priority to US15/763,322 priority patent/US10706853B2/en
Priority to CN201580084731.1A priority patent/CN108292502A/zh
Priority to JP2017552580A priority patent/JP6570651B2/ja
Publication of WO2017090115A1 publication Critical patent/WO2017090115A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to a voice dialogue apparatus and a voice dialogue method for operating a target device according to a result of recognizing a user's utterance.
  • a voice interaction device mounted on a conventional car navigation device or the like has received an instruction to start voice recognition from the user in order to prevent erroneous recognition due to noise other than the user's speech.
  • a button for instructing the start of voice recognition (hereinafter referred to as “voice recognition start instruction button”) is provided on the handle or the like.
  • voice recognition start instruction button a button for instructing the start of voice recognition
  • the user presses the voice recognition start instruction button the user speaks a command or the like (hereinafter referred to as “device operation command or the like”) for operating the device that is the operation target.
  • the voice interactive device starts recognition when the pressing of the voice recognition start instruction button is detected, and recognizes a device operation command or the like from the spoken voice.
  • Patent Document 1 describes a technique for changing a system response including guidance regarding contents to which a user should respond in accordance with the proficiency level of the user's voice conversation.
  • a conventional voice interaction device starts a voice recognition of a device operation command or the like by pressing a voice recognition start instruction button, and changes a system response mode when the number of guidance outputs exceeds a predetermined threshold.
  • the response mode was changed while proceeding. Therefore, it took time to change the response mode.
  • the response mode can be changed instantaneously when the speaker changes. Can not.
  • a button with a predefined response mode (hereinafter referred to as “preset button”) is displayed on the screen, and the preset button pressed by the user is displayed. It is possible to start a voice conversation in a response mode.
  • the user when there is a case where the user is shared and used by a plurality of users having different proficiency levels in voice conversation, such as an in-vehicle device such as a car navigation device, the user can select from a plurality of preset buttons each time the speaker changes. It is necessary to select and press a preset button in which a desired response mode is defined, which is troublesome. In addition, it is difficult to display a plurality of preset buttons in an apparatus with display restrictions such as an in-vehicle device.
  • the conventional voice dialogue apparatus Since the conventional voice dialogue apparatus has the above-described configuration, there is a problem that the response mode cannot be changed instantaneously and easily in the voice dialogue.
  • the present invention has been made to solve the above-described problems, and an object thereof is to instantaneously and easily change a response mode in a voice dialogue.
  • the speech recognition apparatus uses a speech recognition unit that recognizes an uttered speech and a response mode correspondence table in which a correspondence relationship between a keyword that instructs the start of a voice conversation and a response mode is defined.
  • a response mode selection unit that selects a response mode corresponding to the keyword included in the recognition result of the voice recognition unit, and a voice conversation is started when the keyword is included in the recognition result of the voice recognition unit.
  • a dialogue control unit that determines a response according to the recognition result, controls the mode of the response to the mode selected by the response mode selection unit, and voice that generates voice data from the response controlled by the dialogue control unit and outputs it to the speaker And an output control unit.
  • the voice dialogue apparatus can perform the voice operation by speaking the keyword instructing the start of the voice dialogue. Start conversation and switch response mode. Therefore, the response mode can be changed instantaneously and easily in the voice conversation.
  • FIG. 1 is a block diagram illustrating a configuration example of a voice interaction device according to Embodiment 1.
  • FIG. It is a figure which shows the example of the response mode corresponding
  • FIG. It is a figure which shows the example of the response mode database in the voice interactive apparatus which concerns on Embodiment 1.
  • FIG. 4 is a flowchart showing an operation when waiting for an instruction to start a voice dialogue in the voice dialogue apparatus according to Embodiment 1; 4 is a flowchart showing an operation at the time of voice recognition after the start of a voice dialogue in the voice dialogue apparatus according to the first embodiment.
  • 5 is a response display example with a large amount of information for beginners in the voice interaction apparatus according to Embodiment 1.
  • FIG. 1 a response display example with a normal amount of information for intermediate users is shown.
  • it is an example of a response display with a small amount of information for advanced users.
  • It is a block diagram which shows the structural example of the voice interactive apparatus which concerns on Embodiment 2 of this invention.
  • 6 is a flowchart showing an operation when registering a user ID in the voice interaction apparatus 1 according to the second embodiment.
  • 7 is a flowchart showing an operation when a user ID and a response mode ID are registered in association with each other in the voice interaction apparatus 1 according to the second embodiment.
  • 6 is a flowchart showing an operation when a button for instructing the start of a voice dialogue is pressed in the voice dialogue apparatus 1 according to the second embodiment.
  • 1 is a hardware configuration diagram of a voice dialogue system to which a voice dialogue apparatus according to each embodiment of the present invention is applied.
  • FIG. 1 is a block diagram showing an overall configuration of a voice dialogue system to which a voice dialogue apparatus 1 according to Embodiment 1 of the present invention is applied.
  • the voice dialogue device 1 performs voice dialogue with the user, and operates the target device 6 according to the result of recognizing the user's uttered voice.
  • a microphone 2, a voice input unit 3, a speaker 4, a display 5, and a target device 6 are connected to the voice interactive apparatus 1.
  • the first embodiment will be described using a case where the voice interaction system is mounted on a vehicle as an example.
  • the voice interaction apparatus 1 is a personal information terminal such as a PC (Personal Computer), a tablet PC, or a smartphone.
  • the voice interaction device 1 may be incorporated in a car navigation device or a car audio device that is the target device 6.
  • the function which the voice interactive apparatus 1 has may be disperse
  • FIG. 2 is a block diagram illustrating a configuration example of the voice interaction apparatus 1 according to the first embodiment.
  • the voice interaction device 1 includes a voice recognition unit 10, a dictionary selection unit 11, a local voice recognition dictionary 12, a response mode selection unit 13, a response mode correspondence table 14, a dialog control unit 15, a response mode DB (Database) 16, and voice output control.
  • a unit 17 and a display output control unit 18 are provided.
  • the microphone 2 captures the voice uttered by the user and outputs it to the voice input unit 3.
  • the voice input unit 3 performs A / D (Analog / Digital) conversion of the voice from the microphone 2 by, for example, PCM (Pulse Code Modulation) and inputs the voice to the voice dialogue apparatus 1.
  • a / D Analog / Digital
  • PCM Pulse Code Modulation
  • the voice recognition unit 10 includes a local recognition unit 10a and a server recognition unit 10b.
  • the server recognition unit 10b is not an essential configuration.
  • the voice recognition unit 10 receives digitized voice data from the voice input unit 3.
  • the voice recognition unit 10 detects a voice section (hereinafter referred to as “speech section”) corresponding to the content uttered by the user from the voice data, and outputs the voice section to the local recognition unit 10a or the server recognition unit 10b.
  • the local recognition unit 10a extracts a feature amount from the voice data of the input utterance section. Then, based on the feature amount, the local recognition unit 10a performs recognition processing using the standby dictionary 12a or the voice interaction dictionary 12b of the local speech recognition dictionary 12, and the recognition result is sent to the response mode selection unit 13 or the interaction control. To the unit 15.
  • a method of recognition processing in the local recognition unit 10a for example, a general method such as an HMM (Hidden Markov Model) method may be used, and detailed description thereof is omitted.
  • the server recognition unit 10b outputs the input speech data of the utterance section to the voice recognition server 7 on the network, and receives the recognition result from the voice recognition server 7.
  • the speech recognition server 7 includes a speech recognition dictionary (not shown), performs speech data recognition processing received from the server recognition unit 10b, and outputs a recognition result to the server recognition unit 10b.
  • the voice interaction device 1 has a memory capacity limitation
  • the voice recognition server 7 has no memory capacity limitation. Therefore, the voice recognition server 7 is more than the local speech recognition dictionary 12 stored in the voice interaction device 1. High-performance recognition processing can be performed using a large-scale speech recognition dictionary.
  • the voice recognition unit 10 receives the voice recognition unit 10 from the voice input unit 3 during a preset period even if there is no instruction for starting a voice conversation by the user.
  • the speech section is detected for the voice data, and the above-described recognition process is performed.
  • the “preset period” includes, for example, a period from when the voice interactive device 1 is activated or resumed until it is terminated or stopped, or while the voice recognition unit 10 is activated. .
  • the voice recognition unit 10 outputs the recognition result to the response mode selection unit 13 when the dictionary selection unit 11 selects the standby dictionary 12a, and recognizes when the voice dialog dictionary 12b is selected.
  • the result is output to the dialogue control unit 15.
  • the recognition result output from the voice recognition unit 10 will be described as a specific character string such as a command. However, it is sufficient that the command can be distinguished from each other, for example, an ID represented by a number.
  • the local recognition unit 10a or the server recognition unit 10b may perform the recognition process.
  • the dictionary selection unit 11 selects the standby dictionary 12a
  • the local recognition unit When the recognition process using the standby dictionary 12a is performed by 10a and the voice interaction dictionary 12b is selected, the recognition process using the speech interaction dictionary 12b by the local recognition unit 10a or the sound by the server recognition unit 10b is performed. A recognition process using the recognition server 7 is performed.
  • the voice interaction dictionary 12b is selected, an instruction as to whether the local recognition unit 10a or the server recognition unit 10b performs the recognition process is notified from the interaction control unit 15 described later.
  • the dictionary selection unit 11 selects the standby dictionary 12a or the voice interaction dictionary 12b of the local speech recognition dictionary 12 in accordance with an instruction from the interaction control unit 15.
  • the dictionary selection unit 11 selects the standby dictionary 12a when the voice interaction device 1 is activated or restarted or when the voice recognition unit 10 is activated. Then, when the user instructs the start of the voice dialogue and the dialogue control unit 15 instructs the dictionary switching, the dictionary selection unit 11 selects the dictionary selection unit 11b.
  • the local voice recognition dictionary 12 is stored in the voice interaction device 1 and includes a standby dictionary 12a and a voice interaction dictionary 12b.
  • the standby dictionary 12a “keywords” for the user to instruct the start of voice conversation are defined in advance.
  • the keyword clearly indicates the start of the voice conversation when the user speaks a command or the like (hereinafter referred to as “device operation command or the like”) for operating the target device 6 with respect to the voice interaction device 1. Is for.
  • the utterance of the keyword by the user corresponds to an instruction to start a voice conversation.
  • the keyword may be defined by the user so that the standby dictionary 12a can be appropriately changed.
  • the voice dialogue dictionary 12b is a dictionary used by the voice recognition unit 10 after the voice dialogue is started. Device operation commands and the like are defined in advance in the voice interaction dictionary 12b. Since the content of the voice interaction dictionary 12b depends on the target device 6, a detailed description thereof will be omitted. For example, when the target device 6 is a car navigation device, the voice interaction dictionary 12b includes “map expansion” or the like. Commands, facility names, addresses, etc. are defined as recognition vocabulary.
  • the response mode selection unit 13 receives the recognition result from the voice recognition unit 10. Then, the response mode selection unit 13 refers to the response mode correspondence table 14, selects the response mode ID corresponding to the keyword included in the recognition result, and outputs the response mode ID to the dialogue control unit 15.
  • FIG. 3 shows an example of the response state correspondence table 14.
  • a response mode ID is associated with a keyword that is an instruction to start a voice conversation.
  • the response mode ID defined in the response mode correspondence table 14 is an alphabet, but any response mode ID such as an ID expressed by a character string or a number can be used. .
  • the response mode DB 16 stores a response mode for each response mode ID.
  • FIG. 4 shows an example of the response mode DB 16.
  • the response mode DB 16 at least one of a speech type, a language type, a recognition type, a proficiency level, or an output type is associated with the response mode ID.
  • the voice type indicates at least one of the speed, gender, age group, volume, or pitch of the response voice output from the speaker 4.
  • the language type indicates at least one of a response voice output from the speaker 4, a language of response display displayed on the display 5, or a dialect within each language.
  • the recognition type indicates whether the recognition result of the local recognition unit 10a or the recognition result of the server recognition unit 10b is used as the recognition result.
  • the proficiency level indicates the amount of response information corresponding to the proficiency level for beginners, intermediate users, and advanced users.
  • the amount of response information is increased to perform a polite voice response or display response, and the amount of response information increases as the proficiency level of spoken dialogue with intermediate and advanced users increases.
  • a simple voice response or display response is made with a small number.
  • the output type indicates either one or both of an output form for outputting a response sound from the speaker 4 and an output form for displaying a response display on the display 5.
  • the response mode may be defined by the user, and the response mode DB 16 may be appropriately changed.
  • the dialogue control unit 15 first receives a response mode ID corresponding to a keyword instructing to start a voice dialogue after the voice dialogue device 1 is activated or restarted or after the voice recognition unit 10 is activated. Then, the dialog control unit 15 refers to the response mode DB 16 to obtain a response mode corresponding to the response mode ID, and sets a voice dialog scenario according to the response mode.
  • the scenario indicates, for example, a rule of the response of the voice interaction apparatus 1 to the user's utterance from the start of the voice conversation with the user until the operation of the target device 6 is completed.
  • a response for causing the user to speak the search range such as an address
  • a response for causing the facility name to be spoken and the facility name
  • a response that presents a list of search results and allows the user to select a desired facility name is included.
  • the dialog control unit 15 may dynamically generate a scenario based on the response mode acquired from the response mode DB 16 or may select a scenario defined in advance for each response mode. Good.
  • a scenario is set in which the user searches for the search range and facility name necessary for the peripheral facility search described above, while the response mode is for advanced users.
  • a scenario is set so that the user can freely speak the search range and facility name required for the peripheral facility search.
  • the dialogue control unit 15 instructs the dictionary selection unit 11 to switch from the standby dictionary 12a to the voice dialogue dictionary 12b.
  • the dialogue control unit 15 instructs the voice recognition unit 10 to start voice recognition of device operation commands and the like. If the recognition type is set in the response mode acquired from the response mode DB 16, the dialogue control unit 15 instructs the voice recognition unit 10 to switch between the local recognition unit 10a and the server recognition unit 10b.
  • the dialogue control unit 15 receives the recognition result from the voice recognition unit 10, and determines a response according to the recognition result according to the scenario.
  • the dialogue control unit 15 performs a voice dialogue according to the scenario, and when receiving a recognition result such as a device operation command from the voice recognition unit 10, notifies the target device 6 of the device operation command. For example, when the recognition result of the device operation command or the like is “map enlargement”, the dialogue control unit 15 instructs the target device 6 to enlarge the map screen.
  • the voice output control unit 17 generates a synthesized voice based on the response and mode received from the dialogue control unit 15 and outputs the generated synthesized voice data to the speaker 4. Description of the voice synthesis is omitted because a known technique may be used.
  • the speaker 4 receives the synthesized voice data from the voice output control unit 17 and outputs the voice.
  • the display output control unit 18 generates display data based on the response and mode received from the dialogue control unit 15, and outputs the generated display data to the display 5.
  • the display 5 receives display data from the display output control unit 18 and displays it.
  • the display 5 is a liquid crystal display, an organic EL (Electroluminescence) display, a head-up display, or the like.
  • the input from the user during the voice dialogue is not limited to voice input using voice recognition, and may be input by manual operation using an input device such as a touch panel or a hard key.
  • an input device such as a touch panel or a hard key.
  • the user may utter a desired facility name from the facility list or operate the input device.
  • a desired facility may be selected.
  • the dialogue control unit 15 receives a facility name recognition result or an input from an input device.
  • FIG. 5A is a flowchart showing the operation of the voice interaction apparatus 1 when waiting for an instruction to start a voice conversation.
  • FIG. 5B is a flowchart showing the operation of the voice interaction apparatus 1 during voice recognition after the start of the voice conversation.
  • step ST001 the dictionary selection unit 11 selects the standby dictionary 12a.
  • step ST002 the voice recognition unit 10 starts capturing voice data via the microphone 2 and the voice input unit 3. In this state, for example, when the user utters the keyword “simple voice operation start” shown in FIG. 3, the voice data of this utterance is input to the voice recognition unit 10.
  • step ST003 the speech recognition unit 10 detects the speech section of the speech data received from the speech input unit 3, and outputs the speech data of the speech section to the local recognition unit 10a.
  • step ST004 the local recognition unit 10a extracts a feature amount from the speech data of the utterance section. Then, the local recognition unit 10a performs recognition processing using the standby dictionary 12a based on the feature amount, and detects a keyword that is an instruction to start a voice conversation.
  • step ST005 “YES” when the local recognition unit 10a detects a keyword that is an instruction to start a voice conversation.
  • step ST006 the local recognition unit 10a outputs the detected keyword to the response state selection unit 13.
  • the response mode selection unit 13 selects a response mode ID corresponding to the keyword from the local recognition unit 10 a from the response mode correspondence table 14 and outputs the response mode ID to the dialogue control unit 15.
  • the response mode ID “A” is selected.
  • step ST007 the dialogue control unit 15 acquires a response mode such as a voice type corresponding to the response mode ID from the response mode selection unit 13 from the response mode DB 16. Then, the dialogue control unit 15 sets a scenario according to the response mode acquired from the response mode DB 16. In this example, since the response mode ID “A” is selected, as shown in FIG. 4, the response mode is a slow speed and the voice of a young female speaker, Japanese language, local speech recognition , The amount of information for beginners, response by voice and display.
  • a response mode such as a voice type corresponding to the response mode ID from the response mode selection unit 13 from the response mode DB 16.
  • the dialogue control unit 15 sets a scenario according to the response mode acquired from the response mode DB 16.
  • the response mode ID “A” is selected, as shown in FIG. 4, the response mode is a slow speed and the voice of a young female speaker, Japanese language, local speech recognition , The amount of information for beginners, response by voice and display.
  • the dialogue control unit 15 sets a voice dialogue scenario in step ST007 in FIG. 5A, and then proceeds to step ST008 in FIG. 5B.
  • the dialogue control unit 15 instructs the dictionary selection unit 11 to switch from the standby dictionary 12a to the voice dialogue dictionary 12b.
  • the dictionary selection unit 11 selects the voice interaction dictionary 12b in accordance with an instruction from the interaction control unit 15.
  • the recognition type is set as the response mode
  • the dialogue control unit 15 instructs the voice recognition unit 10 to switch to the local recognition unit 10a or the server recognition unit 10b according to the setting.
  • the voice recognition unit 10 since the local speech recognition is set as the response mode of the response mode ID “A”, the voice recognition unit 10 switches to the local recognition unit 10 a according to the instruction from the dialogue control unit 15.
  • step ST009 the speech recognition unit 10 starts capturing audio data via the microphone 2 and the audio input unit 3. In this state, for example, when the user utters “surrounding facility search”, voice data of the utterance is input to the voice recognition unit 10.
  • step ST010 the speech recognition unit 10 detects the speech section of the speech data received from the speech input unit 3, and outputs the speech data of the speech section to the local recognition unit 10a.
  • step ST011 the local recognition unit 10a extracts a feature amount from the speech data of the utterance section. Then, the local recognition unit 10 a performs a recognition process using the voice interaction dictionary 12 b based on the feature amount, acquires a recognition result such as a device operation command, and outputs the recognition result to the interaction control unit 15.
  • step ST012 the dialogue control unit 15 performs processing according to the recognition result from the local recognition unit 10a according to the scenario.
  • the dialogue control unit 15 receives the recognition result “surrounding facility search”, the Japanese language having a large amount of information such as “Start the surrounding facility search.
  • the voice output control unit 17 is instructed to output the voice response at the low speed and the voice of the young female.
  • the dialogue control unit 15 instructs the display output control unit 18 to display a Japanese response with a large amount of information as shown in FIG.
  • the voice output control unit 17 causes the speaker 4 to output a response voice in response to an instruction from the dialogue control unit 15.
  • the display output control unit 18 displays a response display on the display 5 in response to an instruction from the dialogue control unit 15.
  • step ST013 the dialogue control unit 15 returns to step ST001 if the voice dialogue according to the scenario is completed (step ST013 “YES”), and returns to step ST009 if not completed (step ST013 “NO”). .
  • the dialogue control unit 15 receives a user's input, for example, by voice input using voice recognition or manual operation using an input device. Even when an end instruction is received, it may be determined that the voice conversation is completed.
  • FIG. 6, FIG. 7 and FIG. 8 show examples of response display according to the recognition result “surrounding facility search”.
  • FIG. 6 is a response display example with a large amount of information for beginners.
  • the display 5 displays a polite sentence and an utterance example “Please say the name of the facility“ clearly ”when it comes to a beep.”
  • guidance for ending the “surrounding facility search” is also displayed.
  • a response voice with a large amount of information for beginners for example, a synthesized voice with a polite content such as “Start searching for nearby facilities. Is done.
  • FIG. 7 is an example of a response display with a normal amount of information for intermediate users.
  • a simple sentence “Please tell me the name of the facility.” And an utterance example are displayed.
  • the display of guidance for ending the “surrounding facility search” is omitted.
  • a response voice with a normal amount of information for intermediate users for example, a synthesized voice having a simple content “Please tell me the name of the facility” is output from the speaker 4.
  • FIG. 8 is an example of a response display with a small amount of information for advanced users.
  • a simple sentence “Please tell me the name of the facility.” Is displayed small so as not to hide the map screen that was originally displayed.
  • the utterance example of “search for nearby facilities” and the display of the termination guidance are omitted.
  • a response voice with a small amount of information for advanced users for example, no synthesized voice is output from the speaker 4 and only a sound informing the start of utterance is output.
  • the voice interaction apparatus 1 has the voice recognition unit 10 that recognizes the uttered voice and the response mode correspondence in which the correspondence relationship between the keyword that instructs the start of the voice dialogue and the response mode is defined.
  • the table 14 is used to select a response mode selection unit 13 that selects a response mode corresponding to the keyword included in the recognition result of the voice recognition unit 10, and the voice when the keyword is included in the recognition result of the voice recognition unit 10.
  • a dialogue control unit 15 that starts a dialogue, determines a response according to the recognition result from the subsequent speech recognition unit 10, and controls the mode of the response to the mode selected by the response mode selection unit 13, and the dialogue control unit 15 Is configured to include a sound output control unit 17 that generates sound data based on a response and a mode controlled by the device and outputs the sound data to the speaker 4.
  • a voice conversation start instruction can be given by the user's utterance, and the response mode can be changed according to the utterance content of the voice dialog start instruction. Therefore, it is possible to change the response mode instantaneously and easily in the voice conversation.
  • the voice interaction device 1 when the voice interaction device 1 is mounted on a vehicle, the voice interaction device 1 is shared by a plurality of people, such as a driver seat user and a passenger seat user, and the proficiency level of the voice conversation for each user When the preferences and the like are different, it is effective because frequent response modes can be switched.
  • the response mode selection unit 13 is configured to select the speed, gender, age, volume, or pitch of the response voice as the response mode. Moreover, the response mode selection unit 13 may be configured to select a language of response or a dialect in each language as a response mode. Moreover, the response mode selection unit 13 may be configured to select either one or both of a voice response by the speaker 4 and a display response by the display 5 as a response mode. Thereby, switching to the response mode according to the user's preference is possible.
  • the voice recognition unit 10 uses the local recognition unit 10 a that recognizes the uttered voice using the local voice recognition dictionary 12 in the voice interaction device 1 and the external voice recognition server 7. And a server recognition unit 10b that recognizes the uttered voice and acquires the recognition result.
  • the dialog control unit 15 is configured to determine a response using the recognition result of the local recognition unit 10a or the recognition result of the server recognition unit 10b. Thereby, the user can use high-performance voice recognition by the voice recognition server 7.
  • the response mode selection unit 13 is configured to select a response information amount according to the proficiency level of the user's voice conversation as a response mode. As a result, it is possible to switch to a response mode in accordance with the user's proficiency level.
  • Embodiment 2 an instruction to start a voice conversation is given by the user's utterance.
  • FIG. 9 is a block diagram showing a configuration example of the voice interaction apparatus 1 according to the second embodiment of the present invention.
  • a button 21 for instructing voice dialogue start In the voice dialogue system to which the voice dialogue apparatus 1 according to the second embodiment is applied, a button 21 for instructing voice dialogue start, a camera 22 and an image information input unit 23 are added.
  • the voice interaction apparatus 1 includes a personal identification unit 31 that identifies a user who has operated the button 21 that instructs to start a voice conversation, a personal identification data management unit 32 that manages data necessary for user identification, a user, A user response mode correspondence table 33 in which a correspondence relationship with the response mode is defined is added.
  • FIG. 9 the same or corresponding parts as those in FIGS. 1 and 2 are denoted by the same reference numerals, and description thereof is omitted.
  • the microphone 2 is a microphone array.
  • the voice input unit 3 specifies the sound source direction of the utterance based on the phase difference of the received sound signal of the microphone array, generates utterance direction information indicating from which side the driver seat or the passenger seat uttered, and personal identification To the unit 31.
  • the button 21 is an input device such as a touch panel or a hard key.
  • the camera 22 images the interior of the vehicle and outputs image information to the image information input unit 23.
  • the camera 22 images the upper body of each user in the driver seat and the passenger seat.
  • the image information input unit 23 receives image information from the camera 22 and outputs it to the personal identification unit 31.
  • FIG. 10 is a flowchart showing an operation when registering a user ID in the voice interaction apparatus 1 according to the second embodiment.
  • the personal identification unit 31 receives image information via the camera 22 and the image information input unit 23 when receiving a user ID registration instruction from the user by voice input or input to an input device (not shown). And a face image is acquired from the image information.
  • the personal identification unit 31 associates the face image of the user with an arbitrary ID, and registers it in the personal identification data management unit 32. For example, when the user is sitting in both the driver's seat and the passenger seat, the personal identification unit 31 uses the user ID “001” as the face image of the user sitting in the driver seat, and the face image of the user sitting in the passenger seat. Is registered as the user ID “002”.
  • FIG. 11 is a flowchart showing an operation when registering the user ID and the response mode ID in association with each other in the voice interaction apparatus 1 according to the second embodiment.
  • the second embodiment when a keyword serving as an instruction to start a voice conversation is uttered, not only the response mode corresponding to the keyword is controlled as in the first embodiment, but also the user who uttered the keyword is identified. And the process which matches and registers the said user and a response mode is also performed.
  • the personal identification unit 31 receives image information from the image information input unit 23 in step ST201.
  • the personal identification unit 31 receives the speech direction information from the voice input unit 3 in parallel with step ST201.
  • the personal identification unit 31 detects the face image of each user sitting in the driver seat and the passenger seat from the image information received from the image information input unit 23, and is managed by the personal identification data management unit 32. Personal identification is performed by collating with a face image, and a user ID is acquired. As a collation method, for example, a general method such as a Fourier spectrum KL (Karhunen-Loeve) expansion method may be used, and thus the description thereof is omitted. Then, the personal identification unit 31 determines whether the user sitting in the driver seat or the user sitting in the passenger seat is speaking based on the utterance direction information received from the voice input unit 3, and the user speaking Are output to the response mode selection unit 13. The user ID output from the personal identification unit 31 to the response mode selection unit 13 is a user ID indicating a user who is currently speaking.
  • KL Kerhunen-Loeve
  • steps ST204 to ST208 Since the processing in steps ST204 to ST208 is the same as the processing in steps ST001 to ST005 shown in FIG. 5A in the first embodiment, description thereof is omitted. Note that the processing of steps ST204 to ST208 is performed in parallel with the processing of steps ST201 to ST203.
  • the response mode selection unit 13 When the response mode selection unit 13 receives from the voice recognition unit 10 a keyword that is an instruction to start voice conversation, the response mode selection unit 13 selects a response mode ID corresponding to the keyword from the response mode correspondence table 14 in step ST209. In step ST210, the response state selection unit 13 associates the user ID received from the personal identification unit 31 at the timing of receiving the keyword from the speech recognition unit 10 with the response state ID selected from the response state correspondence table 14, It is registered in the response mode correspondence table 33. Thereby, the user ID of the user who uttered the keyword is associated with the application mode ID instructed by the user speaking the keyword.
  • step ST211 the response mode selection unit 13 outputs the response mode ID selected in step ST209 to the dialogue control unit 15.
  • the dialogue control unit 15 acquires a response mode such as a voice type corresponding to the response mode ID from the response mode selection unit 13 from the response mode DB 16. Then, the dialogue control unit 15 sets a scenario according to the response mode acquired from the response mode DB 16, and then proceeds to steps ST008 to ST013 shown in FIG. 5B of the first embodiment.
  • the user response state correspondence table 33 may be registered by associating only one latest response state ID with one user ID. For example, when a certain user performs an operation with a keyword a plurality of times A plurality of response status IDs may be registered in association with one user ID indicating the user. If the response mode selection unit 13 registers the plurality of response mode IDs so that the number of times of response mode IDs or the order of registration is known, the response mode ID corresponding to a certain user ID is stored in the user response mode correspondence table. When acquiring from 33, the latest response mode ID associated with the user ID can be acquired, or the response mode ID most frequently associated with the user ID can be acquired.
  • FIG. 12 is a flowchart showing an operation when the button 21 for instructing the start of the voice dialogue is pressed in the voice dialogue apparatus 1 according to the second embodiment.
  • the personal identification unit 31 starts receiving image information from the image information input unit 23 in step ST301.
  • step ST302 when the button 21 for instructing the start of the voice dialogue is pressed, an instruction to start the voice dialogue is output from the button 21 to the dialogue control unit 15 and the personal identification unit 31.
  • step ST303 when the personal identification unit 31 receives an instruction to start a voice conversation from the button 21, the exercise model when the previously learned button 21 is pressed using a pattern recognition method such as SVM (Support Vector Machine), for example.
  • SVM Small Vector Machine
  • the user movement similar to the above is detected from the image information.
  • the exercise model learned in advance is an operation model when the user sitting in the driver's seat presses the button 21 and an operation when the user sitting in the passenger seat presses the button 21.
  • the personal identification unit 31 identifies which side of the driver's seat or the passenger's seat has pressed the button 21, and generates button pressing direction information.
  • the personal identification unit 31 performs personal identification by comparing the face image of each user sitting in the driver's seat and the passenger seat with the face image managed by the personal identification data management unit 32. Get the user ID of the user. And the personal identification part 31 identifies the user who pressed the button 21 using the identification result and button pressing direction information of each user sitting in the driver's seat and the passenger seat, and is associated with the user. The user ID is output to the response mode selection unit 13. For example, when the user sitting in the driver's seat presses the button 21 instructing the start of the voice dialogue, the user ID “001” corresponding to the user is output from the personal identification unit 31 to the response mode selection unit 13.
  • step ST305 the response mode selection unit 13 selects a response mode ID corresponding to the user ID from the personal identification unit 31 from the user response mode correspondence table 33, and outputs the response mode ID to the dialogue control unit 15.
  • the response mode ID “A” is stored in association with the user ID “001”, the response mode ID “A” is interactively controlled from the response mode selection unit 13. Is output to the unit 15.
  • steps ST306 to ST311 is the same as the processing in steps ST008 to ST013 shown in FIG.
  • the processing in steps ST306 to ST311 is the same as the processing in steps ST008 to ST013 shown in FIG.
  • the voice interaction apparatus 1 performs either the keyword utterance or the button 21 press by performing the operation shown in the flowchart of FIG. 11 and the operation shown in the flowchart of FIG. 12 in parallel. In some cases, a voice dialogue can be started.
  • the voice interaction apparatus 1 is configured to include the personal identification unit 31 that identifies the user who has operated the button 21 instructing the start of the voice conversation. Then, the response mode selection unit 13 selects a response mode corresponding to the user identified by the personal identification unit 31 using the user response mode correspondence table 33 in which the correspondence relationship between the user and the response mode is defined.
  • the dialogue control unit 15 starts a voice dialogue when the button 21 is operated, determines a response according to the recognition result from the subsequent voice recognition unit 10, and the response mode selection unit 13 selects the response mode. Control in the manner you did.
  • a voice conversation start instruction can be performed by operating a button, and the response mode can be changed according to the user who operates the button.
  • the personal identification unit 31 identifies a user who has uttered a keyword instructing the start of a voice conversation, and the response mode selection unit 13 assigns the user and the keyword identified by the personal identification unit 31 to each other.
  • corresponding response modes are associated with each other and registered in the user response mode correspondence table 33.
  • the voice interaction system includes a processor 101, a memory 102, a communication device 103, an input device 104, an output device 105, and a target device 6.
  • the function of communicating with the voice recognition server 7 in the server recognition unit 10 b is realized by the communication device 103.
  • the microphone 2, the voice input unit 3, the button 21 that instructs the start of voice dialogue, the camera 22, and the image information input unit 23 are input devices 104.
  • the speaker 4 and the display 5 are the output device 105.
  • the voice recognition unit 10, the dictionary selection unit 11, the response mode selection unit 13, the dialogue control unit 15, the voice output control unit 17, the display output control unit 18, and the personal identification unit 31 in the voice dialogue apparatus 1 are stored in the memory 102. It is the processor 101 which executes the program currently performed.
  • the processor 101 is also referred to as a CPU (Central Processing Unit), a processing device, an arithmetic device, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • the functions of the voice recognition unit 10, the dictionary selection unit 11, the response mode selection unit 13, the dialogue control unit 15, the voice output control unit 17, the display output control unit 18, and the personal identification unit 31 are software, firmware, or software and firmware. It is realized by the combination.
  • Software or firmware is described as a program and stored in the memory 102.
  • the processor 101 reads out and executes the program stored in the memory 102, thereby realizing the function of each unit. That is, the voice interactive apparatus 1 stores a program that, when executed by the processor 101, results in the respective steps shown in FIGS. 5A, 5B, 10, 11, and 12 being executed.
  • the memory 102 is provided. This program can also be said to cause a computer to execute the procedure or method of each part of the voice interactive apparatus 1.
  • the memory 102 may be, for example, a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically EPROM), or the like. Further, it may be a magnetic disk such as a hard disk or a flexible disk, or may be an optical disk such as a mini disk, CD (Compact Disc), or DVD (Digital Versatile Disc).
  • a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically EPROM), or the like. Further, it may be a magnetic disk such as a hard disk or a flexible disk, or may be an optical disk such as a mini disk, CD (Compact Disc), or DVD (Digital Versatile Disc).
  • any combination of each embodiment, any component of each embodiment can be modified, or any component of each embodiment can be omitted.
  • the application in which the voice interaction device 1 is mounted on a vehicle has been described. However, the application may be used for applications other than the vehicle.
  • the voice interaction device changes the response mode in the voice interaction instantly and easily, a plurality of users having different levels of proficiency in the voice interaction like in-vehicle devices such as a car navigation device It is suitable for use in a voice dialogue device that is shared and used in the Internet.
  • 1 voice dialogue device 2 microphone, 3 voice input unit, 4 speaker, 5 display, 6 target device, 7 voice recognition server, 10 voice recognition unit, 10a local recognition unit, 10b server recognition unit, 11 dictionary selection unit, 12 local Voice recognition dictionary, 12a standby dictionary, 12b voice dialogue dictionary, 13 response mode selection unit, 14 response mode correspondence table, 15 dialog control unit, 16 response mode DB, 17 voice output control unit, 18 display output control unit, 21 Button, 22 camera, 23 image information input unit, 31 personal identification unit, 32 personal identification management table, 33 user response state correspondence table, 101 processor, 102 memory, 103 communication device, 104 input device, 105 output device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

応答様態対応テーブル（１４）には、音声対話の開始を指示するキーワードと応答の様態との対応関係が定義されている。応答様態選択部（１３）は、応答様態対応テーブル（１４）を用いて、音声認識部（１０）の認識結果に含まれるキーワードに対応する応答の様態を選択する。対話制御部（１５）は、音声認識部（１０）の認識結果にキーワードが含まれている場合に音声対話を開始し、その後の音声認識部（１０）からの認識結果に応じて応答を決定し、当該応答の様態を応答様態選択部（１３）が選択した様態に制御する。音声出力制御部（１７）は、対話制御部（１５）が制御する応答と様態に基づいて音声データを生成してスピーカ（４）へ出力する。

Description

音声対話装置および音声対話方法
　この発明は、ユーザの発話を認識した結果に応じて対象機器を操作する音声対話装置および音声対話方法に関するものである。
　従来のカーナビゲーション装置等に搭載されている音声対話装置は、ユーザの発話以外の雑音等による誤認識を防ぐため、ユーザから音声認識開始の指示を受け付けていた。そのために、例えば、音声認識の開始を指示するボタン（以下、「音声認識開始指示ボタン」と呼ぶ。）がハンドル等に設けられていた。ユーザは、音声認識開始指示ボタンを押下した後に、操作対象である機器を操作するためのコマンド等（以下、「機器操作コマンド等」と呼ぶ。）を発話する。音声対話装置は、音声認識開始指示ボタンの押下が検出されると認識を開始し、発話された音声から機器操作コマンド等を認識する。
　また、音声対話装置を利用するユーザは、音声対話の慣れに関して初心者から上級者まで様々であるため、音声対話装置は様々な習熟度のユーザに対応する必要がある。そこで、特許文献１には、ユーザの音声対話の習熟度に応じて、ユーザが応答するべき内容に関するガイダンスを含むシステム応答を変更する技術が記載されている。
特開２００４－２５８２３３号公報
　従来の音声対話装置は、音声認識開始指示ボタンの押下によって機器操作コマンド等の音声認識を開始し、ガイダンスの出力回数が所定の閾値を超えた場合にシステム応答の様態を変更する等、対話を進めながら応答様態を変更していた。そのため、応答様態の変更に時間を要していた。特に、カーナビゲーション装置等の車載機器のように、音声対話の習熟度が異なる複数のユーザで共有して使用することがある場合、話者が変わったときに瞬時に応答様態を変更することができない。
　応答様態をすばやく変更するための、音声対話装置の構成として、応答様態が事前に定義されたボタン（以下、「プリセットボタン」と呼ぶ。）を画面に表示し、ユーザに押下されたプリセットボタンに応じた応答様態で音声対話を開始するものが考えられる。しかしながら、カーナビゲーション装置等の車載機器のように、音声対話の習熟度が異なる複数のユーザで共有して使用することがある場合、話者が変わるたびに、ユーザは複数のプリセットボタンの中から所望の応答様態が定義されたプリセットボタンを選択して押下する必要があり、手間がかかる。また、車載機器のような表示制限がある装置においては、プリセットボタンを複数表示するのは困難である。
　従来の音声対話装置は以上のような構成であるため、音声対話において応答の態様を瞬時に、かつ簡易に変更することができないという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、音声対話において応答の様態を瞬時に、かつ簡易に変更することを目的とする。
　この発明に係る音声認識装置は、発話音声を認識する音声認識部と、音声対話の開始を指示するキーワードと応答の様態との対応関係が定義された応答様態対応テーブルを用いて、音声認識部の認識結果に含まれるキーワードに対応する応答の様態を選択する応答様態選択部と、音声認識部の認識結果にキーワードが含まれている場合に音声対話を開始し、その後の音声認識部からの認識結果に応じて応答を決定し、当該応答の様態を応答様態選択部が選択した様態に制御する対話制御部と、対話制御部が制御する応答から音声データを生成してスピーカへ出力する音声出力制御部とを備えるものである。
　この発明によれば、音声対話の開始を指示するキーワードに対応した応答の様態に制御するようにしたので、ユーザが音声対話の開始を指示するキーワードを発話することによって、音声対話装置は、音声対話を開始すると共に応答の様態を切り替える。従って、音声対話において応答の様態を瞬時に、かつ簡易に変更することができる。
この発明の実施の形態１に係る音声対話装置を適用した音声対話システムの全体構成を示すブロック図である。 実施の形態１に係る音声対話装置の構成例を示すブロック図である。 実施の形態１に係る音声対話装置における応答様態対応テーブルの例を示す図である。 実施の形態１に係る音声対話装置における応答様態データベースの例を示す図である。 実施の形態１に係る音声対話装置において、音声対話を開始するための指示を待ち受けているときの動作を示すフローチャートである。 実施の形態１に係る音声対話装置において、音声対話開始後の音声認識時の動作を示すフローチャートである。 実施の形態１に係る音声対話装置において、初心者向けの、情報量が多い応答表示例である。 実施の形態１に係る音声対話装置において、中級者向けの、情報量が普通の応答表示例である。 実施の形態１に係る音声対話装置において、上級者向けの、情報量が少ない応答表示例である。 この発明の実施の形態２に係る音声対話装置の構成例を示すブロック図である。 実施の形態２に係る音声対話装置１において、ユーザＩＤを登録するときの動作を示すフローチャートである。 実施の形態２に係る音声対話装置１において、ユーザＩＤと応答様態ＩＤとを対応付けて登録するときの動作を示すフローチャートである。 実施の形態２に係る音声対話装置１において、音声対話開始を指示するボタンが押下された場合の動作を示すフローチャートである。 この発明の各実施の形態に係る音声対話装置を適用した音声対話システムのハードウェア構成図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る音声対話装置１を適用した音声対話システムの全体構成を示すブロック図である。この音声対話システムは、音声対話装置１がユーザと音声対話を行い、ユーザの発話音声を認識した結果に応じて対象機器６を操作するものである。この音声対話装置１には、マイク２、音声入力部３、スピーカ４、ディスプレイ５および対象機器６が接続されている。以下では、音声対話システムを車両に搭載した場合を例に用いて、実施の形態１を説明する。
　図１の例では、音声対話装置１と対象機器６とが独立した構成を示すが、対象機器６に音声対話装置１を組み込んだ構成にしてもよい。例えば、音声対話装置１は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、またはスマートフォン等の携帯情報端末である。あるいは、音声対話装置１が、対象機器６であるカーナビゲーション装置またはカーオーディオ装置等に組み込まれていてもよい。あるいは、音声対話装置１の有する機能が、ネットワーク上のサーバ、スマートフォン等の携帯情報端末、およびカーナビゲーション装置等の車載機器に分散されていてもよい。
　図２は、実施の形態１に係る音声対話装置１の構成例を示すブロック図である。音声対話装置１は、音声認識部１０、辞書選択部１１、ローカル音声認識辞書１２、応答様態選択部１３、応答様態対応テーブル１４、対話制御部１５、応答様態ＤＢ（Ｄａｔａｂａｓｅ）１６、音声出力制御部１７および表示出力制御部１８を備えている。
　マイク２は、ユーザにより発話された音声を取り込み、音声入力部３へ出力する。音声入力部３は、マイク２からの音声を、例えばＰＣＭ（Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ）によりＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換して、音声対話装置１へ入力する。
　音声認識部１０は、ローカル認識部１０ａおよびサーバ認識部１０ｂを備えている。ただし、サーバ認識部１０ｂは必須の構成ではない。
　音声認識部１０は、デジタル化された音声データを、音声入力部３から受け取る。音声認識部１０は、音声データから、ユーザが発話した内容に該当する音声区間（以下、「発話区間」と呼ぶ。）を検出し、ローカル認識部１０ａまたはサーバ認識部１０ｂへ出力する。
　ローカル認識部１０ａは、入力された発話区間の音声データから、特徴量を抽出する。そして、ローカル認識部１０ａは、当該特徴量に基づいて、ローカル音声認識辞書１２の待ち受け用辞書１２ａまたは音声対話用辞書１２ｂを用いて認識処理を行い、認識結果を応答様態選択部１３または対話制御部１５へ出力する。ローカル認識部１０ａにおける認識処理の方法としては、例えば、ＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）法のような一般的な方法を用いて行えばよいため詳細な説明を省略する。
　サーバ認識部１０ｂは、入力された発話区間の音声データを、ネットワーク上の音声認識サーバ７へ出力し、音声認識サーバ７からの認識結果を受け取る。音声認識サーバ７は、不図示の音声認識辞書を備えており、サーバ認識部１０ｂから受け付けた音声データの認識処理を行い、認識結果をサーバ認識部１０ｂへ出力する。音声対話装置１にはメモリ容量の制限があるが、音声認識サーバ７にはメモリ容量の制限がないため、音声認識サーバ７は、音声対話装置１に格納されているローカル音声認識辞書１２よりも大規模な音声認識辞書を用いて高性能な認識処理を行うことが可能である。
　音声認識部１０は、後述する辞書選択部１１によって待ち受け用辞書１２ａが選択されている場合、予め設定された期間においては、ユーザによる音声対話開始の指示がなくても、音声入力部３から受け取った音声データに対して発話区間を検出し、上述した認識処理を行う。「予め設定された期間」には、例えば音声対話装置１が起動もしくは再開してから終了もしくは停止するまでの間、または音声認識部１０が起動している間等の期間が含まれるものとする。
　また、音声認識部１０は、辞書選択部１１によって待ち受け用辞書１２ａが選択されている場合は、認識結果を応答様態選択部１３へ出力し、音声対話用辞書１２ｂが選択されている場合は認識結果を対話制御部１５へ出力する。
　なお、音声認識部１０から出力される認識結果は、コマンド等の具体的な文字列として説明するが、例えば、数字で表されたＩＤ等、コマンド等同士を区別できるものあればよい。
　また、ローカル認識部１０ａとサーバ認識部１０ｂのどちらにより認識処理を行ってもよいが、本実施の形態１では、辞書選択部１１によって待ち受け用辞書１２ａが選択されている場合は、ローカル認識部１０ａによる待ち受け用辞書１２ａを用いた認識処理を行い、音声対話用辞書１２ｂが選択されている場合は、ローカル認識部１０ａによる音声対話用辞書１２ｂを用いた認識処理、またはサーバ認識部１０ｂによる音声認識サーバ７を利用した認識処理を行うこととする。音声対話用辞書１２ｂが選択されている場合にローカル認識部１０ａまたはサーバ認識部１０ｂのどちらで認識処理を行うかの指示は、後述する対話制御部１５から通知される。
　辞書選択部１１は、対話制御部１５の指示に従い、ローカル音声認識辞書１２の待ち受け用辞書１２ａまたは音声対話用辞書１２ｂを選択する。辞書選択部１１は、音声対話装置１が起動もしくは再開したとき、または音声認識部１０が起動したときは、待ち受け用辞書１２ａを選択する。そして、ユーザが音声対話開始を指示し対話制御部１５が辞書切り替えを指示すると、辞書選択部１１は辞書選択部１１ｂを選択する。
　ローカル音声認識辞書１２は、音声対話装置１内に格納されており、待ち受け用辞書１２ａおよび音声対話用辞書１２ｂを備えている。
　待ち受け用辞書１２ａには、ユーザが音声対話開始を指示するための「キーワード」が予め定義されている。キーワードとは、ユーザが、音声対話装置１に対して対象機器６を操作するためのコマンド等（以下、「機器操作コマンド等」と呼ぶ。）を発話するときに、音声対話の開始を明示するためのものである。そして、本実施の形態１においては、ユーザによるキーワードの発話が、音声対話開始の指示に相当する。
　なお、キーワードは、ユーザが定義できるようにして、待ち受け用辞書１２ａを適宜変更可能にしてもよい。
　音声対話用辞書１２ｂは、音声対話開始後に、音声認識部１０によって用いられる辞書である。音声対話用辞書１２ｂには機器操作コマンド等が予め定義されている。音声対話用辞書１２ｂの内容は対象機器６に依存するため詳細な説明は省略するが、例えば、対象機器６がカーナビゲーション装置である場合、音声対話用辞書１２ｂには、「地図拡大」等のコマンド、施設名、および住所等が認識語彙として定義されている。
　応答様態選択部１３は、音声認識部１０から認識結果を受け取る。そして、応答様態選択部１３は、応答様態対応テーブル１４を参照し、この認識結果に含まれるキーワードに対応する応答様態ＩＤを選択し、応答様態ＩＤを対話制御部１５へ出力する。
　ここで、図３に、応答様態対応テーブル１４の一例を示す。応答様態対応テーブル１４は、例えば図３に示すように、音声対話開始の指示となるキーワードに対して、応答様態ＩＤが対応付けられている。
　なお、図３の例では、応答様態対応テーブル１４に定義されている応答様態ＩＤは、アルファベットであるが、文字列または数字で表されたＩＤ等、応答様態同士を区別できるものであればよい。
　応答様態ＤＢ１６は、応答様態ＩＤごとの応答様態を記憶している。
　ここで、図４に、応答様態ＤＢ１６の一例を示す。応答様態ＤＢ１６には、応答様態ＩＤに対して、音声種別、言語種別、認識種別、習熟度種別または出力種別のうちの少なくとも１つの種別が対応付けられている。
　音声種別は、スピーカ４から出力する応答音声の速度、性別、年齢層、音量、または音程のうちの少なくとも１つを示す。
　言語種別は、スピーカ４から出力する応答音声もしくはディスプレイ５に表示する応答表示の言語、または各言語内の方言のうちの少なくとも１つを示す。
　認識種別は、認識結果として、ローカル認識部１０ａの認識結果またはサーバ認識部１０ｂの認識結果のどちらを使用するかを示す。
　習熟度種別は、初心者向け、中級者向け、または上級者向け等の習熟度に応じた応答の情報量を示す。図４の例では、初心者向けの場合、応答の情報量を多くして丁寧な音声応答もしくは表示応答を行うこととし、中級者、上級者と音声対話の習熟度が上がるほど応答の情報量を少なくして簡易な音声応答もしくは表示応答を行うこととする。
　出力種別は、応答の音声をスピーカ４から出力する出力形態もしくは応答の表示をディスプレイ５に表示する出力形態いずれか一方、または両方を示す。
　なお、応答様態は、ユーザが定義できるようにして、応答様態ＤＢ１６を適宜変更可能にしてもよい。
　対話制御部１５は、まず、音声対話装置１が起動もしくは再開した後、または音声認識部１０が起動した後、音声対話開始を指示するキーワードに対応した応答様態ＩＤを受け取る。そして、対話制御部１５は、応答様態ＤＢ１６を参照して応答様態ＩＤに対応する応答様態を取得し、当該応答様態に応じた音声対話のシナリオを設定する。
　シナリオは、例えば、ユーザとの音声対話を開始してから対象機器６の操作が完了するまでの、ユーザの発話に対する音声対話装置１の応答の規則を示すものである。例えば、対象機器６であるカーナビゲーション装置に周辺施設検索を実行させるシナリオは、ユーザに対して住所等の検索範囲を発話させるための応答、施設名を発話させるための応答、施設名を用いた検索結果の一覧を提示してユーザに所望の施設名を選択させる応答等が含まれている。
　対話制御部１５は、応答様態ＤＢ１６から取得した応答様態をもとに、シナリオを動的に生成するようにしてもよいし、応答様態ごとに予め定義されているシナリオを選択するようにしてもよい。例えば、応答様態が初心者向けの設定である場合、上述した周辺施設検索に必要な検索範囲および施設名等を１つずつユーザに発話させるようなシナリオを設定する一方、応答様態が上級者向けの設定である場合、周辺施設検索に必要な検索範囲および施設名等をユーザに自由に発話させるようなシナリオを設定する。
　そして、対話制御部１５は、シナリオの設定が完了した後、待ち受け用辞書１２ａから音声対話用辞書１２ｂへの切り替えを、辞書選択部１１へ指示する。また、対話制御部１５は、機器操作コマンド等の音声認識を開始するよう音声認識部１０に指示する。なお、応答様態ＤＢ１６から取得した応答様態に認識種別が設定されている場合、対話制御部１５は、ローカル認識部１０ａとサーバ認識部１０ｂの切り替えを、音声認識部１０へ指示する。
　音声認識部１０において音声対話用辞書１２ｂを用いた認識処理が開始された後、対話制御部１５は、音声認識部１０から認識結果を受け取り、シナリオに沿って認識結果に応じた応答を決定し、応答様態ＤＢ１６から取得した様態に制御して、音声出力制御部１７または表示出力制御部１８へ出力する。
　また、対話制御部１５は、シナリオに沿った音声対話を行い、音声認識部１０から機器操作コマンド等の認識結果を受け取ると、この機器操作コマンド等を対象機器６へ通知する。例えば、機器操作コマンド等の認識結果が「地図拡大」である場合、対話制御部１５は地図画面を拡大するように対象機器６に指示する。
　音声出力制御部１７は、対話制御部１５から受け取る応答と様態に基づいて合成音声を生成し、生成した合成音声データをスピーカ４へ出力する。音声合成については公知の技術を用いればよいため説明を省略する。スピーカ４は、音声出力制御部１７から合成音声データを受け取り、音声出力する。
　表示出力制御部１８は、対話制御部１５から受け取る応答と態様に基づいて表示データを生成し、生成した表示データをディスプレイ５へ出力する。ディスプレイ５は、表示出力制御部１８から表示データを受け取り、表示する。ディスプレイ５は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、またはヘッドアップディスプレイなどである。
　なお、音声対話中のユーザからの入力は、音声認識を利用した音声入力に限定されるものではなく、タッチパネルまたはハードキー等の入力装置を利用した手動操作による入力でもよい。例えば、周辺施設検索の実行結果である施設一覧の情報がディスプレイ５に表示されている場合、ユーザは、施設一覧の中から所望の施設名を発話してもよいし、入力装置を操作して所望の施設を選択してもよい。対話制御部１５は、施設名の認識結果または入力装置からの入力を受け取る。
　次に、図５Ａおよび図５Ｂに示すフローチャートと具体例を用いて、実施の形態１に係る音声対話装置１の動作例を説明する。図５Ａは、音声対話を開始するための指示を待ち受けているときの音声対話装置１の動作を示すフローチャートである。図５Ｂは、音声対話開始後の音声認識時の音声対話装置１の動作を示すフローチャートである。
　まず、図５Ａの、音声対話を開始するための指示を待ち受けているときの音声対話装置１の動作を説明する。
　ステップＳＴ００１において、辞書選択部１１は、待ち受け用辞書１２ａを選択する。
　ステップＳＴ００２において、音声認識部１０は、マイク２および音声入力部３を介した音声データの取り込みを開始する。この状態で、例えば図３に示した「簡単音声操作開始」というキーワードをユーザが発話すると、この発話の音声データが音声認識部１０へ入力される。
　ステップＳＴ００３において、音声認識部１０は、音声入力部３から受け取った音声データの発話区間を検出し、発話区間の音声データをローカル認識部１０ａへ出力する。
　ステップＳＴ００４において、ローカル認識部１０ａは、発話区間の音声データから特徴量を抽出する。そして、ローカル認識部１０ａは、特徴量に基づいて、待ち受け用辞書１２ａを用いた認識処理を行い、音声対話開始の指示となるキーワードを検出する。
　ステップＳＴ００５において、ローカル認識部１０ａは、音声対話開始の指示となるキーワードを検出した場合（ステップＳＴ００５“ＹＥＳ”）、ステップＳＴ００６へ進み、当該キーワードを検出していない場合（ステップＳＴ００５“ＮＯ”）、ステップＳＴ００２へ戻る。
　ステップＳＴ００６において、ローカル認識部１０ａは、検出したキーワードを応答様態選択部１３へ出力する。応答様態選択部１３は、ローカル認識部１０ａからのキーワードに対応する応答様態ＩＤを、応答様態対応テーブル１４から選択し、対話制御部１５へ出力する。この例では、図３に示したように、キーワードが「簡単音声操作開始」であるため、応答様態ＩＤ「Ａ」が選択される。
　ステップＳＴ００７において、対話制御部１５は、応答様態選択部１３からの応答様態ＩＤに対応した音声種別等の応答様態を、応答様態ＤＢ１６から取得する。そして、対話制御部１５は、応答様態ＤＢ１６から取得した応答様態に応じたシナリオを設定する。この例では、応答様態ＩＤ「Ａ」が選択されているので、図４に示すように、応答様態は、遅めの速度であって若年層の女性話者の音声、日本語、ローカル音声認識、初心者向けの情報量、音声と表示による応答となる。
　続いて、図５Ｂの、音声対話開始後の音声認識時の音声対話装置１の動作を説明する。
　対話制御部１５は、図５ＡのステップＳＴ００７において音声対話のシナリオを設定した後、図５ＢのステップＳＴ００８へ進む。
　ステップＳＴ００８において、対話制御部１５は、待ち受け用辞書１２ａから音声対話用辞書１２ｂへ切り替えるよう、辞書選択部１１へ指示する。辞書選択部１１は、対話制御部１５からの指示に従い、音声対話用辞書１２ｂを選択する。
　また、対話制御部１５は、応答態様として認識種別が設定されている場合、その設定に従い、ローカル認識部１０ａまたはサーバ認識部１０ｂに切り替えるよう、音声認識部１０へ指示する。この例では、応答様態ＩＤ「Ａ」の応答様態としてローカル音声認識が設定されているので、対話制御部１５からの指示に従い、音声認識部１０はローカル認識部１０ａに切り替える。
　ステップＳＴ００９において、音声認識部１０は、マイク２および音声入力部３を介した音声データの取り込みを開始する。この状態で、例えば、「周辺施設検索」とユーザが発話すると、この発話の音声データが音声認識部１０へ入力される。
　ステップＳＴ０１０において、音声認識部１０は、音声入力部３から受け取った音声データの発話区間を検出し、発話区間の音声データをローカル認識部１０ａへ出力する。
　ステップＳＴ０１１において、ローカル認識部１０ａは、発話区間の音声データから特徴量を抽出する。そして、ローカル認識部１０ａは、特徴量に基づいて、音声対話用辞書１２ｂを用いた認識処理を行い、機器操作コマンド等の認識結果を取得し、対話制御部１５へ出力する。
　ステップＳＴ０１２において、対話制御部１５は、シナリオに沿って、ローカル認識部１０ａからの認識結果に応じた処理を行う。この例では、対話制御部１５は、認識結果「周辺施設検索」を受け取ると、「周辺施設検索を開始します。ピッとなったら施設名をはっきりとお話し下さい。」という情報量の多い日本語の応答を、遅い速度および若年層の女性の音声で音声出力するよう、音声出力制御部１７へ指示する。さらに、対話制御部１５は、例えば図６に示すような情報量の多い日本語の応答を表示するよう、表示出力制御部１８へ指示する。音声出力制御部１７は、対話制御部１５からの指示に応じて応答音声をスピーカ４に出力させる。表示出力制御部１８は、対話制御部１５からの指示に応じて応答表示をディスプレイ５に表示させる。
　ステップＳＴ０１３において、対話制御部１５は、シナリオに沿った音声対話が完了した場合（ステップＳＴ０１３“ＹＥＳ”）、ステップＳＴ００１へ戻り、完了していない場合（ステップＳＴ０１３“ＮＯ”）、ステップＳＴ００９へ戻る。なお、対話制御部１５は、シナリオに沿った音声対話が完了したか否かを判定する以外にも、例えば音声認識を利用した音声入力または入力装置を利用した手動操作による入力等により、ユーザから終了の指示を受け付けた場合も、音声対話の完了と判定してもよい。
　ここで、図６、図７および図８に、認識結果「周辺施設検索」に応じた応答表示の例を示す。
　図６は、初心者向けの、情報量が多い応答表示例である。ディスプレイ５には、「ピッとなったら施設名を“はっきり”とお話し下さい。」という丁寧な文章と発話例が表示されている。さらに、「周辺施設検索」を終了するための案内も表示されている。
　また、初心者向けの、情報量が多い応答音声例として、例えば「周辺施設検索を開始します。ピッとなったら施設名をはっきりとお話し下さい。」という丁寧な内容の合成音声がスピーカ４から出力される。
　図７は、中級者向けの、情報量が普通の応答表示例である。ディスプレイ５には、「施設名をお話し下さい。」という簡易な文章と発話例が表示されている。中級者向けの場合、「周辺施設検索」を終了するための案内の表示は省略されている。
　また、中級者向けの、情報量が普通の応答音声例として、例えば「施設名をお話し下さい。」という簡易な内容の合成音声がスピーカ４から出力される。
　図８は、上級者向けの、情報量が少ない応答表示例である。ディスプレイ５には、「施設名をお話し下さい。」という簡易な文章が、もともと表示されていた地図画面を隠さないよう小さく表示されている。上級者向けの場合、「周辺施設検索」の発話例と終了案内の表示は省略されている。
　また、上級者向けの、情報量が少ない応答音声例として、例えばスピーカ４から合成音声の出力はなく、発話開始を知らせる音だけが出力される。
　以上のとおり、実施の形態１に係る音声対話装置１は、発話音声を認識する音声認識部１０と、音声対話の開始を指示するキーワードと応答の様態との対応関係が定義された応答様態対応テーブル１４を用いて、音声認識部１０の認識結果に含まれるキーワードに対応する応答の様態を選択する応答様態選択部１３と、音声認識部１０の認識結果にキーワードが含まれている場合に音声対話を開始し、その後の音声認識部１０からの認識結果に応じて応答を決定し、当該応答の様態を応答様態選択部１３が選択した様態に制御する対話制御部１５と、対話制御部１５が制御する応答と様態に基づいて音声データを生成してスピーカ４へ出力する音声出力制御部１７とを備える構成である。この構成により、音声対話開始の指示をユーザの発話によって行うことができ、さらに、当該音声対話開始の指示の発話内容に応じて応答様態を変更することができる。そのため、音声対話において応答の様態を瞬時に、かつ簡易に変更することができる。特に、音声対話装置１が車両に搭載された場合、運転席のユーザと助手席のユーザ等、複数人で共有して音声対話装置１を利用し、かつ、ユーザごとに音声対話の習熟度および嗜好等が異なる場合、頻繁な応答様態の切り替えが起こり得るため、効果的である。
　また、実施の形態１によれば、応答様態選択部１３は、応答の様態として、応答の音声の速度、性別、年齢、音量、または音程を選択する構成である。また、応答様態選択部１３は、応答の態様として、応答の言語、または各言語内の方言を選択する構成であってもよい。また、応答様態選択部１３は、応答の様態として、スピーカ４による音声応答もしくはディスプレイ５による表示応答のいずれか一方、または両方を選択する構成であってもよい。これにより、ユーザの嗜好に合わせた応答態様への切り替えが可能である。
　また、実施の形態１によれば、音声認識部１０は、音声対話装置１内のローカル音声認識辞書１２を用いて発話音声を認識するローカル認識部１０ａと、外部の音声認識サーバ７を利用して発話音声を認識させ認識結果を取得するサーバ認識部１０ｂとを有する構成である。そして、対話制御部１５は、ローカル認識部１０ａの認識結果またはサーバ認識部１０ｂの認識結果を用いて応答を決定する構成である。これにより、ユーザは、音声認識サーバ７による高性能な音声認識を利用することが可能である。
　また、実施の形態１によれば、応答様態選択部１３は、応答の様態として、ユーザの音声対話の習熟度に応じた応答の情報量を選択する構成である。これにより、ユーザの習熟度に合わせた応答様態への切り替えが可能である。
実施の形態２．
　上記実施の形態１では、音声対話開始の指示をユーザの発話によって行う構成にした。これに対し、本実施の形態２では、音声対話開始の指示をユーザのボタン押下によって行う構成にする。
　図９は、この発明の実施の形態２に係る音声対話装置１の構成例を示すブロック図である。実施の形態２に係る音声対話装置１を適用した音声対話システムには、音声対話開始を指示するボタン２１と、カメラ２２と、画像情報入力部２３が追加されている。また、音声対話装置１には、音声対話開始を指示するボタン２１を操作したユーザを識別する個人識別部３１と、ユーザの識別に必要なデータを管理する個人識別データ管理部３２と、ユーザと応答の様態との対応関係が定義されたユーザ応答様態対応テーブル３３とが追加されている。
　なお、図９において、図１および図２と同一または相当の部分については同一の符号を付し説明を省略する。
　以下では、音声対話システムを車両に搭載した場合を例に用いて、実施の形態２を説明する。
　実施の形態２においては、マイク２は、マイクアレイである。音声入力部３は、マイクアレイの受音信号の位相差等により、発話の音源方向を特定し、運転席と助手席のどちら側から発話されたかを示す発話方向情報を生成して、個人識別部３１へ出力する。
　音声対話開始を指示するボタン２１は、ユーザにより押下されると、音声対話の開始を対話制御部１５および個人識別部３１へ通知する。このボタン２１は、例えばタッチパネルまたはハードキー等の入力装置である。
　カメラ２２は、車室内を撮像し、画像情報を画像情報入力部２３へ出力する。このカメラ２２は、例えば、運転席と助手席の各ユーザの上半身を撮像する。
　画像情報入力部２３は、カメラ２２から画像情報を受け取り、個人識別部３１へ出力する。
　図１０は、実施の形態２に係る音声対話装置１において、ユーザＩＤを登録するときの動作を示すフローチャートである。
　ステップＳＴ１０１において、個人識別部３１は、音声入力により、または不図示の入力装置への入力により、ユーザからユーザＩＤ登録の指示を受け付けた場合、カメラ２２および画像情報入力部２３を介して画像情報を受け付け、当該画像情報から顔画像を取得する。
　ステップＳＴ１０２において、個人識別部３１は、ユーザの顔画像と任意のＩＤとを対応付けて、個人識別データ管理部３２に登録する。例えば、運転席と助手席の両方にユーザが座っている場合、個人識別部３１は、運転席に座っているユーザの顔画像をユーザＩＤ「００１」、助手席に座っているユーザの顔画像をユーザＩＤ「００２」として登録する。
　図１１は、実施の形態２に係る音声対話装置１において、ユーザＩＤと応答様態ＩＤとを対応付けて登録するときの動作を示すフローチャートである。本実施の形態２では、音声対話開始の指示となるキーワードが発話されたとき、上記実施の形態１と同様に当該キーワードに対応した応答様態に制御するだけでなく、キーワードを発話したユーザを識別して当該ユーザと応答様態とを対応付けて登録する処理も行う。
　音声対話装置１が音声対話を開始するための指示を待ち受けているとき、ステップＳＴ２０１において、個人識別部３１は、画像情報入力部２３から画像情報を受け取る。
　ステップＳＴ２０２において、個人識別部３１は、ステップＳＴ２０１と並行して、音声入力部３から発話方向情報を受け取る。
　ステップＳＴ２０３において、個人識別部３１は、画像情報入力部２３から受け取った画像情報から運転席と助手席に座っている各ユーザの顔画像を検出し、個人識別データ管理部３２で管理されている顔画像とを照合して個人識別を実施し、ユーザＩＤを取得する。照合方法としては、例えば、フーリエスペクトルのＫＬ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ）展開法のような一般的な方法を用いればよいため、説明を省略する。
　そして、個人識別部３１は、音声入力部３から受け取った発話方向情報に基づき、運転席に座っているユーザと助手席に座っているユーザのどちらが発話しているか判定し、発話しているユーザのユーザＩＤを応答様態選択部１３へ出力する。個人識別部３１が応答様態選択部１３へ出力するユーザＩＤは、現在発話中のユーザを示すユーザＩＤである。
　ステップＳＴ２０４～ＳＴ２０８の処理は、上記実施の形態１において図５Ａで示したステップＳＴ００１～ＳＴ００５の処理と同様であるため、説明を省略する。なお、ステップＳＴ２０４～ＳＴ２０８の処理は、ステップＳＴ２０１～ＳＴ２０３の処理と並行して行われる。
　応答様態選択部１３は、音声対話開始の指示となるキーワードを音声認識部１０から受け取ると、ステップＳＴ２０９において、キーワードに対応する応答様態ＩＤを、応答様態対応テーブル１４から選択する。
　ステップＳＴ２１０において、応答様態選択部１３は、音声認識部１０からキーワードを受け取ったタイミングで個人識別部３１から受け取ったユーザＩＤを、応答様態対応テーブル１４から選択した応答様態ＩＤに対応付けて、ユーザ応答様態対応テーブル３３に登録する。これにより、キーワードを発話したユーザのユーザＩＤと、このユーザがキーワードを発話することによって指示した応用様態ＩＤとが対応付けられる。
　ステップＳＴ２１１において、応答様態選択部１３は、ステップＳＴ２０９で選択した応答様態ＩＤを対話制御部１５へ出力する。対話制御部１５は、応答様態選択部１３からの応答様態ＩＤに対応した音声種別等の応答様態を、応答様態ＤＢ１６から取得する。そして、対話制御部１５は、応答様態ＤＢ１６から取得した応答様態に応じたシナリオを設定した後、上記実施の形態１の図５Ｂに示したステップＳＴ００８～ＳＴ０１３へ進む。
　なお、ユーザ応答様態対応テーブル３３は、１つのユーザＩＤに対して最新の１つの応答様態ＩＤのみを対応付けて登録してもよいし、例えばあるユーザによってキーワードによる操作が複数回行われた場合に当該ユーザを示す１つのユーザＩＤに対して複数の応答様態ＩＤを対応付けて登録してもよい。応答様態選択部１３は、複数の応答様態ＩＤを登録する際に応答様態ＩＤごとの回数または登録順等が分かるようにしておけば、あるユーザＩＤに対応する応答様態ＩＤをユーザ応答様態対応テーブル３３から取得するときに、当該ユーザＩＤに対応付けられている最新の応答様態ＩＤを取得すること、あるいは当該ユーザＩＤに最も多く対応付けられている応答様態ＩＤを取得することができる。
　図１２は、実施の形態２に係る音声対話装置１において、音声対話開始を指示するボタン２１が押下された場合の動作を示すフローチャートである。
　音声対話装置１が音声対話を開始するための指示を待ち受けているとき、ステップＳＴ３０１において、個人識別部３１は、画像情報入力部２３から画像情報の受け取りを開始する。
　ステップＳＴ３０２において、音声対話開始を指示するボタン２１が押下されると、ボタン２１から対話制御部１５および個人識別部３１へ、音声対話開始の指示が出力される。
　ステップＳＴ３０３において、個人識別部３１は、ボタン２１から音声対話開始の指示を受け付けると、例えばＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）等のパターン認識方法を用いて、予め学習したボタン２１を押下するときの運動モデルと同様のユーザの動きを、画像情報から検出する。予め学習した運動モデルは、運転席に座っているユーザがボタン２１を押下する際の動作と、助手席に座っているユーザがボタン２１を押下する際の動作のモデルである。個人識別部３１は、運動モデルと同様の動きを検出した場合、運転席または助手席のどちら側のユーザがボタン２１を押下したかを識別し、ボタン押下方向情報を生成する。
　ステップＳＴ３０４において、個人識別部３１は、運転席と助手席に座っている各ユーザの顔画像と個人識別データ管理部３２で管理されている顔画像とを照合して個人識別を実施し、各ユーザのユーザＩＤを取得する。そして、個人識別部３１は、運転席と助手席に座っている各ユーザの識別結果とボタン押下方向情報とを用いて、ボタン２１を押下したユーザを識別し、当該ユーザに対応付けられているユーザＩＤを応答様態選択部１３へ出力する。例えば、運転席に座っているユーザが音声対話開始を指示するボタン２１を押下した場合、当該ユーザに対応するユーザＩＤ「００１」が個人識別部３１から応答様態選択部１３へ出力される。
　ステップＳＴ３０５において、応答様態選択部１３は、個人識別部３１からのユーザＩＤに対応する応答様態ＩＤを、ユーザ応答様態対応テーブル３３から選択し、対話制御部１５へ出力する。この例では、ユーザ応答様態対応テーブル３３において、ユーザＩＤ「００１」に応答様態ＩＤ「Ａ」が対応付けられて記憶されているため、応答様態ＩＤ「Ａ」が応答様態選択部１３から対話制御部１５へ出力される。
　ステップＳＴ３０６～ＳＴ３１１の処理は、上記実施の形態１において図５Ｂで示したステップＳＴ００８～ＳＴ０１３の処理と同様であるため、説明を省略する。
　ユーザＩＤと応答様態ＩＤとの対応付けが行われた後は、音声対話を開始するためのキーワードの発話だけではなく、音声対話開始を指示するボタン２１の押下でも、ユーザの嗜好または習熟度等に合わせた応答様態への切り替えが瞬時に可能であり、よりユーザへの負担が少なくなる。
　なお、音声対話装置１は、図１１のフローチャートに示された動作と、図１２のフローチャートに示された動作とを並行して行うことにより、キーワードの発話およびボタン２１の押下のどちらが行われた場合にも音声対話を開始可能である。
　以上のとおり、実施の形態２に係る音声対話装置１は、音声対話の開始を指示するボタン２１を操作したユーザを識別する個人識別部３１を備える構成である。そして、応答様態選択部１３は、ユーザと応答の様態との対応関係が定義されたユーザ応答様態対応テーブル３３を用いて、個人識別部３１が識別したユーザに対応する応答の様態を選択する。対話制御部１５は、ボタン２１が操作された場合に音声対話を開始し、その後の音声認識部１０からの認識結果に応じて応答を決定し、当該応答の様態を応答様態選択部１３が選択した様態に制御する。この構成により、音声対話開始の指示をボタンの操作によって行うことができ、さらに、当該ボタンを操作したユーザに応じて応答様態を変更することができる。そのため、音声対話において応答の様態を瞬時に、かつ簡易に変更することができる。また、従来は、応答様態が事前に定義された複数のプリセットボタンを画面に表示する必要があったが、本実施の形態２によればボタンは１つだけでよいため、車載機器のような表示制限がある装置に対して効果的である。
　また、実施の形態２によれば、個人識別部３１は、音声対話の開始を指示するキーワードを発話したユーザを識別し、応答様態選択部１３は、個人識別部３１が識別したユーザとキーワードに対応する応答の様態とを対応付けて、ユーザ応答様態対応テーブル３３に登録する構成である。これにより、ユーザがキーワードを発話して音声対話を開始したときに、自動的にユーザＩＤと応答様態ＩＤとの対応付けを行うことができるため、対応付けが行われた後は、音声対話開始を指示するボタン２１の押下でも、ユーザの嗜好または習熟度等に合わせた応答様態への切り替えが瞬時に可能であり、よりユーザへの負担が少なくなる。
　最後に、図１３を参照して、この発明の各実施の形態に係る音声対話システムのハードウェア構成例を説明する。
　図１３において、音声対話システムは、プロセッサ１０１、メモリ１０２、通信装置１０３、入力装置１０４、出力装置１０５および対象機器６を備えている。
　サーバ認識部１０ｂにおいて音声認識サーバ７と通信する機能は、通信装置１０３により実現される。
　マイク２、音声入力部３、音声対話開始を指示するボタン２１、カメラ２２および画像情報入力部２３は、入力装置１０４である。スピーカ４およびディスプレイ５は、出力装置１０５である。
　また、音声対話装置１における音声認識部１０、辞書選択部１１、応答様態選択部１３、対話制御部１５、音声出力制御部１７、表示出力制御部１８および個人識別部３１は、メモリ１０２に格納されているプログラムを実行するプロセッサ１０１である。プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等ともいう。
　音声認識部１０、辞書選択部１１、応答様態選択部１３、対話制御部１５、音声出力制御部１７、表示出力制御部１８および個人識別部３１の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、音声対話装置１は、プロセッサ１０１により実行されるときに図５Ａ、図５Ｂ、図１０、図１１および図１２に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、音声対話装置１の各部の手順または方法をコンピュータに実行させるものであるともいえる。
　また、音声対話装置１におけるローカル音声認識辞書１２、応答様態対応テーブル１４、応答様態ＤＢ１６、個人識別データ管理部３２およびユーザ応答様態対応テーブル３３は、メモリ１０２である。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
　また、実施の形態１，２では、音声対話装置１を車両に搭載した用途を説明したが、車両以外の用途に用いてもよい。
　この発明に係る音声対話装置は、音声対話における応答の様態を瞬時に、かつ簡易に変更するようにしたので、カーナビゲーション装置等の車載機器のように、音声対話の習熟度が異なる複数のユーザで共有して使用する音声対話装置などに用いるのに適している。
　１　音声対話装置、２　マイク、３　音声入力部、４　スピーカ、５　ディスプレイ、６　対象機器、７　音声認識サーバ、１０　音声認識部、１０ａ　ローカル認識部、１０ｂ　サーバ認識部、１１　辞書選択部、１２　ローカル音声認識辞書、１２ａ　待ち受け用辞書、１２ｂ　音声対話用辞書、１３　応答様態選択部、１４　応答様態対応テーブル、１５　対話制御部、１６　応答様態ＤＢ、１７　音声出力制御部、１８　表示出力制御部、２１　ボタン、２２　カメラ、２３　画像情報入力部、３１　個人識別部、３２　個人識別管理テーブル、３３　ユーザ応答様態対応テーブル、１０１　プロセッサ、１０２　メモリ、１０３　通信装置、１０４　入力装置、１０５　出力装置。

Claims (9)

  1. 　発話音声を認識する音声認識部と、
    　音声対話の開始を指示するキーワードと応答の様態との対応関係が定義された応答様態対応テーブルを用いて、前記音声認識部の認識結果に含まれる前記キーワードに対応する応答の様態を選択する応答様態選択部と、
    　前記音声認識部の認識結果に前記キーワードが含まれている場合に音声対話を開始し、その後の前記音声認識部からの認識結果に応じて応答を決定し、当該応答の様態を前記応答様態選択部が選択した様態に制御する対話制御部と、
    　前記対話制御部が制御する応答と様態に基づいて音声データを生成してスピーカへ出力する音声出力制御部とを備える音声対話装置。
  2. 　音声対話の開始を指示するボタンを操作したユーザを識別する個人識別部を備え、
    　前記応答様態選択部は、ユーザと応答の様態との対応関係が定義されたユーザ応答様態対応テーブルを用いて、前記個人識別部が識別した前記ユーザに対応する応答の様態を選択し、
    　前記対話制御部は、前記ボタンが操作された場合に音声対話を開始し、その後の前記音声認識部からの認識結果に応じて応答を決定し、当該応答の様態を前記応答様態選択部が選択した様態に制御することを特徴とする請求項１記載の音声対話装置。
  3. 　前記応答様態選択部は、応答の様態として、応答の音声の速度、性別、年齢、音量、または音程を選択することを特徴とする請求項１記載の音声対話装置。
  4. 　前記応答様態選択部は、応答の様態として、応答の言語、または各言語内の方言を選択することを特徴とする請求項１記載の音声対話装置。
  5. 　前記音声認識部は、音声対話装置内のローカル音声認識辞書を用いて発話音声を認識するローカル認識部と、外部の音声認識サーバを利用して発話音声を認識させ認識結果を取得するサーバ認識部とを有し、
    　前記対話制御部は、前記ローカル認識部の認識結果または前記サーバ認識部の認識結果を用いて応答を決定することを特徴とする請求項１記載の音声対話装置。
  6. 　前記応答様態選択部は、応答の様態として、ユーザの音声対話の習熟度に応じた応答の情報量を選択することを特徴とする請求項１記載の音声対話装置。
  7. 　前記対話制御部が制御する応答に基づいて表示データを生成してディスプレイへ出力する表示出力制御部を備え、
    　前記応答様態選択部は、応答の様態として、前記スピーカによる音声応答もしくは前記ディスプレイによる表示応答のいずれか一方、または両方を選択することを特徴とする請求項１記載の音声対話装置。
  8. 　前記個人識別部は、音声対話の開始を指示するキーワードを発話したユーザを識別し、
    　前記応答態様選択部は、前記個人識別部が識別した前記ユーザと、前記ユーザが発話した前記キーワードに対応する応答の様態とを対応付けて、前記ユーザ応答様態対応テーブルに登録することを特徴とする請求項２記載の音声対話装置。
  9. 　音声認識部が、発話音声を認識するステップと、
    　応答様態選択部が、音声対話の開始を指示するキーワードと応答の様態との対応関係が定義された応答様態対応テーブルを用いて、前記音声認識部の認識結果に含まれる前記キーワードに対応する応答の様態を選択するステップと、
    　対話制御部が、前記音声認識部の認識結果に前記キーワードが含まれている場合に音声対話を開始し、その後の前記音声認識部からの認識結果に応じて応答を決定し、当該応答の様態を前記応答様態選択部が選択した様態に制御するステップと、
    　音声出力制御部が、前記対話制御部が制御する応答と様態に基づいて音声データを生成してスピーカへ出力するステップとを備える音声対話方法。
PCT/JP2015/083049 2015-11-25 2015-11-25 音声対話装置および音声対話方法 WO2017090115A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112015007147.4T DE112015007147T5 (de) 2015-11-25 2015-11-25 Sprachdialogvorrichtung und Sprachdialogverfahren
PCT/JP2015/083049 WO2017090115A1 (ja) 2015-11-25 2015-11-25 音声対話装置および音声対話方法
US15/763,322 US10706853B2 (en) 2015-11-25 2015-11-25 Speech dialogue device and speech dialogue method
CN201580084731.1A CN108292502A (zh) 2015-11-25 2015-11-25 语音对话装置及语音对话方法
JP2017552580A JP6570651B2 (ja) 2015-11-25 2015-11-25 音声対話装置および音声対話方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/083049 WO2017090115A1 (ja) 2015-11-25 2015-11-25 音声対話装置および音声対話方法

Publications (1)

Publication Number Publication Date
WO2017090115A1 true WO2017090115A1 (ja) 2017-06-01

Family

ID=58763331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/083049 WO2017090115A1 (ja) 2015-11-25 2015-11-25 音声対話装置および音声対話方法

Country Status (5)

Country Link
US (1) US10706853B2 (ja)
JP (1) JP6570651B2 (ja)
CN (1) CN108292502A (ja)
DE (1) DE112015007147T5 (ja)
WO (1) WO2017090115A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026617A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、及び情報処理方法
JP2019090944A (ja) * 2017-11-15 2019-06-13 東芝映像ソリューション株式会社 システム、方法、およびプログラム
JP2020012954A (ja) * 2018-07-18 2020-01-23 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
US11264021B2 (en) 2018-03-08 2022-03-01 Samsung Electronics Co., Ltd. Method for intent-based interactive response and electronic device thereof
WO2022059214A1 (ja) * 2020-09-18 2022-03-24 株式会社デンソーテン 車載装置及び車載システム

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10147423B2 (en) * 2016-09-29 2018-12-04 Intel IP Corporation Context-aware query recognition for electronic devices
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10360909B2 (en) * 2017-07-27 2019-07-23 Intel Corporation Natural machine conversing method and apparatus
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10565981B2 (en) * 2017-09-26 2020-02-18 Microsoft Technology Licensing, Llc Computer-assisted conversation using addressible conversation segments
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
JP7192208B2 (ja) * 2017-12-01 2022-12-20 ヤマハ株式会社 機器制御システム、デバイス、プログラム、及び機器制御方法
JP6962158B2 (ja) 2017-12-01 2021-11-05 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
JP7067082B2 (ja) 2018-01-24 2022-05-16 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10573298B2 (en) * 2018-04-16 2020-02-25 Google Llc Automated assistants that accommodate multiple age groups and/or vocabulary levels
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
WO2020175384A1 (en) * 2019-02-25 2020-09-03 Clarion Co., Ltd. Hybrid voice interaction system and hybrid voice interaction method
CN109949723A (zh) * 2019-03-27 2019-06-28 浪潮金融信息技术有限公司 一种通过智能语音对话进行产品推荐的装置及方法
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
KR20210016975A (ko) * 2019-08-06 2021-02-17 현대자동차주식회사 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
CN111883122B (zh) * 2020-07-22 2023-10-27 海尔优家智能科技（北京）有限公司 语音识别方法及装置、存储介质、电子设备
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN113138737B (zh) 2021-04-16 2023-11-03 阿波罗智联(北京)科技有限公司 投屏场景的显示控制方法、装置、设备、介质及程序产品
CN115480888A (zh) * 2021-06-16 2022-12-16 上海博泰悦臻网络技术服务有限公司 语音控制方法、装置、系统、电子设备、存储介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62131298A (ja) * 1985-12-04 1987-06-13 株式会社日立製作所 音声入出力装置
JP2004301875A (ja) * 2003-03-28 2004-10-28 Toyota Central Res & Dev Lab Inc 音声認識装置
WO2008149482A1 (ja) * 2007-06-05 2008-12-11 Mitsubishi Electric Corporation 車両用操作装置
WO2013038440A1 (ja) * 2011-09-13 2013-03-21 三菱電機株式会社 ナビゲーション装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4223832B2 (ja) 2003-02-25 2009-02-12 富士通株式会社 適応型音声対話システム及び方法
JP4260788B2 (ja) * 2005-10-20 2009-04-30 本田技研工業株式会社 音声認識機器制御装置
US20090043583A1 (en) * 2007-08-08 2009-02-12 International Business Machines Corporation Dynamic modification of voice selection based on user specific factors
JP2013529794A (ja) * 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
US8600746B1 (en) * 2012-09-10 2013-12-03 Google Inc. Speech recognition parameter adjustment
WO2014062859A1 (en) * 2012-10-16 2014-04-24 Audiologicall, Ltd. Audio signal manipulation for speech enhancement before sound reproduction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62131298A (ja) * 1985-12-04 1987-06-13 株式会社日立製作所 音声入出力装置
JP2004301875A (ja) * 2003-03-28 2004-10-28 Toyota Central Res & Dev Lab Inc 音声認識装置
WO2008149482A1 (ja) * 2007-06-05 2008-12-11 Mitsubishi Electric Corporation 車両用操作装置
WO2013038440A1 (ja) * 2011-09-13 2013-03-21 三菱電機株式会社 ナビゲーション装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019026617A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 情報処理装置、及び情報処理方法
JPWO2019026617A1 (ja) * 2017-08-01 2020-09-10 ソニー株式会社 情報処理装置、及び情報処理方法
US11430437B2 (en) 2017-08-01 2022-08-30 Sony Corporation Information processor and information processing method
JP7230804B2 (ja) 2017-08-01 2023-03-01 ソニーグループ株式会社 情報処理装置、及び情報処理方法
JP2019090944A (ja) * 2017-11-15 2019-06-13 東芝映像ソリューション株式会社 システム、方法、およびプログラム
US11264021B2 (en) 2018-03-08 2022-03-01 Samsung Electronics Co., Ltd. Method for intent-based interactive response and electronic device thereof
JP2020012954A (ja) * 2018-07-18 2020-01-23 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
JP7000268B2 (ja) 2018-07-18 2022-01-19 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
WO2022059214A1 (ja) * 2020-09-18 2022-03-24 株式会社デンソーテン 車載装置及び車載システム

Also Published As

Publication number Publication date
JP6570651B2 (ja) 2019-09-04
DE112015007147T5 (de) 2018-08-09
JPWO2017090115A1 (ja) 2018-03-15
CN108292502A (zh) 2018-07-17
US20180277119A1 (en) 2018-09-27
US10706853B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
JP6570651B2 (ja) 音声対話装置および音声対話方法
US11887590B2 (en) Voice enablement and disablement of speech processing functionality
US10777193B2 (en) System and device for selecting speech recognition model
US9443527B1 (en) Speech recognition capability generation and control
US20050273337A1 (en) Apparatus and method for synthesized audible response to an utterance in speaker-independent voice recognition
KR20120093597A (ko) 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법
WO2016147342A1 (ja) 情報提供システム
JP2003114698A (ja) コマンド受付装置及びプログラム
US11416593B2 (en) Electronic device, control method for electronic device, and control program for electronic device
US9730073B1 (en) Network credential provisioning using audible commands
JPWO2017175442A1 (ja) 情報処理装置、および情報処理方法
JP6522009B2 (ja) 音声認識システム
JP2007127896A (ja) 音声認識装置及び音声認識方法
CN107545895B (zh) 信息处理方法和电子设备
JP4498906B2 (ja) 音声認識装置
JP2019203998A (ja) 会話装置、ロボット、会話装置制御方法及びプログラム
JP2015172848A (ja) 読唇入力装置、読唇入力方法及び読唇入力プログラム
KR20210098250A (ko) 전자 장치 및 이의 제어 방법
JP2007183516A (ja) 音声対話装置及び音声認識方法
JP2008233009A (ja) カーナビゲーション装置及びカーナビゲーション装置用プログラム
JPWO2019030810A1 (ja) 音声認識装置および音声認識方法
JP7155676B2 (ja) 名付け支援装置、ロボット、名付け支援方法およびプログラム
JP6258002B2 (ja) 音声認識システムおよび音声認識システムの制御方法
JP2015129793A (ja) 音声認識装置
JP2016048338A (ja) 音声認識装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15909234

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017552580

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15763322

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015007147

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15909234

Country of ref document: EP

Kind code of ref document: A1