WO2016103465A1 - 音声認識システム - Google Patents

音声認識システム Download PDF

Info

Publication number
WO2016103465A1
WO2016103465A1 PCT/JP2014/084571 JP2014084571W WO2016103465A1 WO 2016103465 A1 WO2016103465 A1 WO 2016103465A1 JP 2014084571 W JP2014084571 W JP 2014084571W WO 2016103465 A1 WO2016103465 A1 WO 2016103465A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
voice
recognition result
user
recognition
Prior art date
Application number
PCT/JP2014/084571
Other languages
English (en)
French (fr)
Inventor
悠希 住吉
匠 武井
直哉 馬場
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112014007288.5T priority Critical patent/DE112014007288T5/de
Priority to US15/509,981 priority patent/US20170301349A1/en
Priority to PCT/JP2014/084571 priority patent/WO2016103465A1/ja
Priority to CN201480084386.7A priority patent/CN107110660A/zh
Priority to JP2016565813A priority patent/JP6522009B2/ja
Publication of WO2016103465A1 publication Critical patent/WO2016103465A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to a speech recognition system that recognizes a user's utterance.
  • the user needs to consider the content that the system wants to recognize in advance, and then utter after giving a speech recognition start instruction by pressing a PTT (Push To Talk) button or the like.
  • PTT Push To Talk
  • a word that appears in a natural conversation between users cannot be automatically recognized, so the user must speak again after pressing the PTT button or the like to recognize the word. For this reason, there are problems that the operation is troublesome and that the contents to be recognized are forgotten.
  • Patent Document 1 describes an operation control device that always recognizes a voice and generates and displays a shortcut button for executing a function corresponding to the recognition result.
  • Patent Document 1 since the function corresponding to the recognition result is executed only when the user presses the shortcut button, it is possible to prevent the user from operating arbitrarily against the user's intention. However, in the case of Patent Document 1, a part of information displayed on the screen is hidden by the shortcut button, or the display content changes due to the screen update when the shortcut button is displayed. There is a problem of causing uncomfortable feeling or reducing concentration when driving.
  • the present invention has been made to solve the above problems, and presents a function execution button for always recognizing voice and executing a function corresponding to the recognition result at a timing required by the user.
  • An object of the present invention is to provide a voice recognition system capable of performing the above.
  • the speech recognition system includes a speech acquisition unit that acquires speech uttered by a user over a preset speech acquisition period, a speech recognition unit that recognizes speech acquired by the speech acquisition unit, and a user A determination unit that determines whether or not a predetermined operation or operation has been performed, and a function that corresponds to the recognition result of the voice recognition unit when the determination unit determines that the user has performed a predetermined operation or operation And a display control unit that displays on the display unit a function execution button to be executed by the controlled device.
  • the present invention captures voice over a preset voice acquisition period and displays a function execution button based on the utterance content when a predetermined operation or action is performed by the user.
  • a function execution button based on the utterance content when a predetermined operation or action is performed by the user.
  • an operation contrary to the user's intention is not generated, and further, a decrease in concentration due to a screen update when the function execution button is displayed can be suppressed.
  • the user is presented with a function execution button that pre-reads his / her intention to operate, user friendliness and ease of use can be improved.
  • FIG. 1 It is a block diagram which shows an example of the navigation system to which the speech recognition system which concerns on Embodiment 1 of this invention is applied. It is a schematic block diagram which shows the main hardware structures of the navigation system to which the speech recognition system which concerns on Embodiment 1 is applied. 4 is an explanatory diagram for explaining an outline of an operation of the speech recognition system according to Embodiment 1.
  • FIG. It is a figure which shows the example of the recognition result character string and recognition result type contained in a recognition result. It is a figure which shows an example of a response
  • FIG. 5 is a flowchart illustrating processing for holding a recognition result of a user utterance in the voice recognition system according to Embodiment 1.
  • 4 is a flowchart illustrating processing for displaying a function execution button in the voice recognition system according to the first embodiment. It is a figure which shows the example of a display of a function execution button. It is a figure which shows the example of a storage of the recognition result by a recognition result storage part. It is a figure which shows an example of the display mode of a function execution button. It is a block diagram which shows the modification of the speech recognition system which concerns on Embodiment 1. FIG. It is a figure which shows an example of a response
  • FIG. 1 is a block diagram showing an example of a navigation system 1 to which a speech recognition system 2 according to Embodiment 1 of the present invention is applied.
  • the navigation system 1 includes a control unit 3, an input reception unit 5, a navigation unit 6, a voice control unit 7, a voice acquisition unit 10, a voice recognition unit 11, a determination unit 14, and a display control unit 15.
  • the configuration requirements of the navigation system 1 may be distributed to a server on a network, a mobile terminal such as a smartphone, and an in-vehicle device.
  • the voice acquisition unit 10, the voice recognition unit 11, the determination unit 14, and the display control unit 15 constitute the voice recognition system 2.
  • FIG. 2 is a schematic diagram showing main hardware configurations of the navigation system 1 and its peripheral devices in the first embodiment.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • HDD Hard Disk Drive
  • the CPU 101 reads out and executes various programs stored in the ROM 102 or the HDD 104, thereby cooperating with each hardware to control the control unit 3, the input receiving unit 5, the navigation unit 6, and the voice control unit 7 of the navigation system 1.
  • the functions of the voice acquisition unit 10, the voice recognition unit 11, the determination unit 14, and the display control unit 15 are realized.
  • the input device 105 is an instruction input unit 4, an input reception unit 5, and a microphone 9.
  • the output device 106 is the speaker 8 and the display unit 18.
  • the voice recognition system 2 continuously takes the voice collected by the microphone 9 over a preset voice acquisition period, recognizes a predetermined keyword, and holds the recognition result. Then, the voice recognition system 2 determines whether or not a predetermined operation has been performed on the navigation system 1 by the user of the moving body, and when the operation is performed, recognition is performed using the held recognition result. A function execution button for executing a function corresponding to the result is generated, and the generated function execution button is output to the display unit 18.
  • the preset voice acquisition period will be described later.
  • the system 2 displays the “miss child” button SW1, the “restaurant” button SW2, and the “convenience store” button SW3, which are function execution buttons corresponding to the recognition results “mischild”, “restaurant”, and “convenience store” on the display unit 18. .
  • These function execution buttons are software (SW) keys displayed on the menu screen.
  • the “Destination setting” button SW11, “AV” button SW12, “Telephone” button SW13, and “Setting” button SW14 are not function execution buttons but software keys.
  • the navigation unit 6 of the navigation system 1 searches for a convenience store around the current location and displays the search result on the display unit 18.
  • the user B presses the “menu” button HW1 to display the menu screen, for example, Press the “Set Destination” button SW11 to display the destination search screen, press the “Search nearby facilities” button on the destination search screen to display the surrounding facility search screen, and select “Convenience Store” as the search key.
  • Setting and instructing execution of search That is, a function that is normally called and executed by performing a plurality of operations can be called and executed by a single operation of the function execution button.
  • the control unit 3 controls the operation of the entire navigation system 1.
  • the microphone 9 collects the voice spoken by the user.
  • the microphone 9 for example, an omnidirectional (omnidirectional) microphone, an array microphone in which a plurality of omnidirectional (omnidirectional) microphones are arranged in an array shape, and the directivity can be adjusted, or one direction There is a unidirectional microphone that has directivity only and cannot adjust directivity.
  • the display unit 18 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence) display.
  • the display unit 18 may be a display-integrated touch panel that includes an LCD or organic EL display and a touch sensor.
  • the instruction input unit 4 inputs a user's manual instruction.
  • a user's manual instruction For example, a hardware button (key), a switch, a touch sensor, a remote controller installed on a handle or the like, a separate remote controller, a recognition device for recognizing an instruction by a gesture operation, etc. Can be mentioned. Note that any of a pressure-sensitive method, an electromagnetic induction method, a capacitance method, or a combination of these may be used for the touch sensor.
  • the input receiving unit 5 receives the instruction input from the instruction input unit 4 and outputs the instruction to the control unit 3.
  • the navigation unit 6 performs screen transitions according to user operations received by the input reception unit 5 and input via the control unit 3, or performs facility search and address search using map data (not shown). Perform various searches. Further, it calculates the route to the address or facility set by the user, generates voice information and display contents for route guidance, and controls the display control unit 15 and the voice control unit 7 described later to output them. This is instructed via part 3.
  • the navigation unit 6 performs a music search by a music name or an artist name, plays a music, or executes other in-vehicle devices such as an air conditioner according to a user instruction.
  • the voice control unit 7 outputs, from the speaker 8, guidance voice, music, and the like instructed from the navigation unit 6 via the control unit 3.
  • the voice acquisition unit 10 continuously takes in the voice collected by the microphone 9 and performs A / D (Analog / Digital) conversion by PCM (Pulse Code Modulation), for example.
  • a / D Analog / Digital
  • PCM Pulse Code Modulation
  • “continuous” means “over a preset voice acquisition period” and is not limited to “always”.
  • the “voice acquisition period” includes, for example, a period of 5 minutes after the navigation system 1 is activated, 1 minute after the moving body stops, or a period from when the navigation system 1 is activated until it stops. Shall be. In the first embodiment, it is assumed that the voice acquisition unit 10 captures a voice from when the navigation system 1 starts up to when it stops.
  • the microphone 9 and the sound acquisition unit 10 are separate as described above, but the sound acquisition unit 10 may be built in the microphone 9.
  • the voice recognition unit 11 includes a processing unit 12 and a recognition result storage unit 13.
  • the processing unit 12 detects, from the voice data digitized by the voice acquisition unit 10, a voice section corresponding to the content spoken by the user (hereinafter referred to as “speech section”), and the voice data of the speech section A feature amount is extracted, recognition processing is performed using a speech recognition dictionary based on the feature amount, and a recognition result is output to the recognition result storage unit 13.
  • a recognition processing method for example, a general method such as an HMM (Hidden Markov Model) method may be used.
  • the speech recognition unit 11 may include a well-known intention understanding process, and may output a result obtained by estimating or searching for a user's intention from a recognition result obtained by large vocabulary continuous speech recognition as a recognition result.
  • the processing unit 12 outputs at least a recognition result character string and a recognition result type (hereinafter referred to as “recognition result type”) as a recognition result.
  • FIG. 4 shows an example of the recognition result character string and the recognition result type. For example, when the recognition result character string is “convenience store”, the processing unit 12 outputs the recognition result type “facility genre name”.
  • the recognition result type is not limited to a specific character string but may be an ID represented by a number, or a dictionary name used for recognition processing (a dictionary name that includes a recognition result character string as a recognition vocabulary) ).
  • the recognition target vocabulary of the speech recognition unit 11 is described as a facility genre name such as “convenience store” or “restaurant” and an artist name such as “mischild”, but is not limited thereto.
  • the recognition result storage unit 13 stores the recognition result output by the processing unit 12. When receiving an instruction from the determination unit 14 described later, the stored recognition result is output to the generation unit 16.
  • a button for instructing the start of voice recognition (hereinafter referred to as “voice recognition start instruction unit”) is displayed on the touch panel or installed on the handle. Then, the voice uttered after the user presses the voice recognition start instruction unit is recognized. That is, the voice recognition start instruction unit outputs a voice recognition start signal, and when the voice recognition unit receives the signal, it corresponds to the content uttered by the user from the voice data acquired by the voice acquisition unit after receiving the signal.
  • the speech section to be detected is detected, and the above-described recognition process is performed.
  • the voice recognition unit 11 always recognizes the voice data captured by the voice acquisition unit 10 even if there is no voice recognition start instruction from the user as described above. That is, the voice recognition unit 11 detects a speech section corresponding to the content spoken by the user from the voice data acquired by the voice acquisition unit 10 without receiving a voice recognition start signal, and the voice data of the speech section The feature amount is extracted, the recognition process is performed using the speech recognition dictionary based on the feature amount, and the process of outputting the recognition result is repeatedly performed.
  • the determination unit 14 predefines a user operation that causes the display unit 18 to display a function execution button corresponding to the recognition result of the user utterance. That is, a user operation that triggers the determination unit 14 to instruct the recognition result storage unit 13 to output the recognition result stored in the recognition result storage unit 13 to the generation unit 16 described later is defined in advance. ing.
  • a user operation predefined by the determination unit 14 may cause the display unit 18 to display a menu screen showing a function list of the navigation system 1, display a destination search screen, or display an AV screen.
  • the button is, for example, a software key displayed on the display (for example, “Destination Setting” button SW11 in FIG. 3B), a hardware key (for example, illustrated in FIG. 3 (a) "menu" button HW1) or a remote control key.
  • the determination unit 14 acquires the user operation content from the input reception unit 5 through the control unit 3 and determines whether or not the acquired operation content matches a predefined operation. If the acquired operation content matches a predefined operation, the determination unit 14 instructs the recognition result storage unit 13 to output the stored recognition result to the generation unit 16. On the other hand, if they do not match, the determination unit 14 does nothing.
  • the display control unit 15 includes a generation unit 16 and a drawing unit 17.
  • the generation unit 16 acquires a recognition result from the recognition result storage unit 13, and generates a function execution button corresponding to the acquired recognition result.
  • the generation unit 16 associates the recognition result type and the function to be assigned to the function execution button (hereinafter referred to as “assignment function to the function execution button”) with the recognition result type. Is defined. Then, the generation unit 16 determines the function assigned to the function execution button corresponding to the recognition result type included in the recognition result acquired from the recognition result storage unit 13. Further, the generation unit 16 generates a function execution button to which the determined function is assigned. Thereafter, the generation unit 16 instructs the drawing unit 17 to display the generated function execution button on the display unit 18.
  • the generation unit 16 refers to the table of FIG.
  • the function assigned to the function execution button is determined as “surrounding facility search using“ convenience store ”as a search key”.
  • the drawing unit 17 causes the display unit 18 to display the content instructed by the navigation unit 6 via the control unit 3 and the function execution button generated by the generation unit 16.
  • the operation of the speech recognition system 2 according to the first embodiment will be described using the flowcharts and specific examples shown in FIGS.
  • the user's operation that causes the function execution button to be displayed on the display unit 18 is “menu”, which is a hardware key installed on the edge of the display as shown in FIG. It is assumed that the button HW1, the “destination” button HW2, and the “AV” button HW3 are pressed. In order to simplify the description, description of the operation of the control unit 3 is omitted below.
  • the “menu” button HW1 is for displaying a menu screen for presenting various functions to the user as shown in FIG.
  • the “destination” button HW2 is used to display a destination search screen as shown in FIG.
  • the “AV” button HW3 is for displaying an AV screen as shown in FIG. Note that the operations after pressing these hardware keys are examples, and are not limited to these operations.
  • FIG. 6 shows a flowchart for recognizing a user utterance and holding the recognition result.
  • the sound acquisition unit 10 will be described as always capturing sound collected by the microphone 9 during the sound acquisition period from when the navigation system 1 is started to when it is stopped.
  • the voice acquisition unit 10 captures a user utterance collected by the microphone 9, that is, an input voice, and performs A / D conversion using, for example, PCM (step ST01).
  • the processing unit 12 detects an utterance section corresponding to the content uttered by the user from the voice data digitized by the voice acquisition unit 10, extracts the feature amount of the voice data in the utterance section, and the feature Based on the amount, a recognition process is performed using a speech recognition dictionary (step ST02), and the recognition result is stored in the recognition result storage unit 13 (step ST03). As a result, the recognition result is stored in the recognition result storage unit 13 as shown in FIG. If the navigation system 1 is not stopped (step ST04 “NO”), the speech recognition system 2 returns to the process of step ST01, and if it is stopped (step ST04 “YES”), the process ends.
  • FIG. 7 shows a flowchart for displaying a function execution button.
  • the determination unit 14 acquires the user operation content from the input reception unit 5 (step ST11).
  • the determination unit 14 proceeds to the process of step ST13.
  • the determination unit 14 returns to the process in step ST11.
  • the determination unit 14 determines whether or not the operation content acquired from the input reception unit 5 matches a predefined operation. If they match (step ST13 “YES”), the determination unit 14 instructs the recognition result storage unit 13 to output the stored recognition result to the generation unit 16. On the other hand, when the operation content acquired from the input receiving unit 5 does not match the predefined operation (“NO” in step ST13), the determination unit 14 returns to the process in step ST11.
  • the process does not proceed to step ST13. Therefore, the recognition target words “mischild” “restaurant” Even if “Convenience Store” is included in the utterance content, the function execution button is not displayed on the display unit 18.
  • step ST11, step ST12 “YES” Since the pressing operation of the “destination” button HW2 coincides with the operation predefined in the determination unit 14 (“YES” in step ST13), the determination unit 14 stores the result in the recognition result storage unit 13. The generation unit 16 is instructed to output the recognition result. The same applies when the “menu” button HW1 and the “AV” button HW3 are pressed.
  • the recognition result storage unit 13 When receiving the instruction from the determination unit 14, the recognition result storage unit 13 outputs the recognition result stored at the time of receiving the instruction to the generation unit 16 (step ST14). Thereafter, the generation unit 16 generates a function execution button corresponding to the recognition result acquired from the recognition result storage unit 13 (step ST15), and instructs the drawing unit 17 to display the generated function execution button on the display unit 18. Instruct. Finally, the drawing unit 17 displays a function execution button on the display unit 18 (step ST16).
  • the recognition result storage unit 13 outputs the recognition results “mischild”, “convenience store”, and “restaurant” to the generation unit 16 (step ST14).
  • the generation unit 16 executes the function execution to which the function execution button to which the function of “music search using“ mischild ”as a search key” is assigned and the function to perform “search for peripheral facilities using“ convenience store ”as a search key” is assigned.
  • a function execution button to which a button and a function of “search for nearby facilities using“ restaurant ”as a search key” is assigned is generated (step ST15), and the drawing unit 17 is instructed to be displayed on the display unit 18.
  • the drawing unit 17 causes the display unit 18 to display the function execution button generated by the generation unit 16 on the screen instructed to be displayed by the navigation unit 6. For example, when the “menu” button HW1 is pressed by the user, the drawing unit 17 displays the menu screen instructed by the navigation unit 6 and is generated by the generation unit 16 as shown in FIG.
  • the function execution buttons of the “mischild” button SW1, the “restaurant” button SW2, and the “convenience store” button SW3 are displayed.
  • the “destination” button HW2 and “AV” button HW3 are pressed by the user, the screens shown in FIGS. 8C and 8D are displayed.
  • the navigation unit 6 that receives an instruction from the input reception unit 5 executes the function assigned to the function execution button.
  • the voice recognition system 2 acquires the voice uttered by the user over a preset voice acquisition period, and the voice acquisition unit 10 acquires the voice.
  • the voice recognition unit 11 for recognizing the voice, the determination unit 14 that determines whether or not the user has performed a predetermined operation, and the determination unit 14 that determines that the user has performed a predetermined operation
  • a display control unit 15 that causes the display unit 18 to display a function execution button that causes the navigation system 1 to execute a function corresponding to the recognition result of the voice recognition unit 11, and captures voice over a preset voice acquisition period;
  • the function execution button based on the utterance content is displayed. It is possible to eliminate again uttered again complexity later.
  • the generation unit 16 has been described as generating a function execution button in which only the recognition result character string is displayed. However, an icon corresponding to the recognition result character string is defined in advance. As shown in FIG. 10A, a function execution button combining the recognition result character string and the icon or a function execution button only for the icon corresponding to the recognition result character string as shown in FIG. 10B is generated. Also good. In the following second and third embodiments, the display form of the function execution button does not matter.
  • the generation unit 16 may change the display mode of the function execution button according to the recognition result type.
  • the function execution button corresponding to the recognition result type “artist name” is a jacket image of the artist's album
  • the function execution button corresponding to the recognition result type “facility genre name” is an icon. Also good.
  • the speech recognition system 2 includes a priority assigning unit that assigns a priority to the recognition result for each type, and the generation unit 16 performs a function execution button corresponding to the recognition result based on the priority of the recognition result. At least one of the size and the display order may be changed.
  • the voice recognition system 2 includes a priority assigning unit 19.
  • the priority assigning unit 19 acquires user operation contents from the input receiving unit 5 via the control unit 3 and manages them as an operation history. Moreover, the priority provision part 19 monitors the recognition result storage part 13, and if a recognition result is stored in the recognition result storage part 13, the priority based on a user's past operation history will be provided with respect to the recognition result. To do.
  • the recognition result storage unit 13 outputs the recognition result to the generation unit 16, the recognition result storage unit 13 also outputs the priority assigned by the priority assignment unit 19.
  • the priority assigning unit 19 sets the priority of the recognition result whose recognition result type is “facility genre name”. The priority of the recognition result whose recognition result type is “artist name” is set higher. Then, for example, the generation unit 16 generates each function execution button so that the size of the function execution button for the recognition result with high priority is larger than the size of the function execution button for the recognition result with low priority. Also by doing this, it is possible to make the function execution buttons that are likely to be required by the user stand out, improving convenience.
  • the drawing unit 17 displays the function execution button on the display unit 18, the drawing unit 17 displays the function execution button corresponding to the recognition result having a high priority on the upper part of the function execution button corresponding to the recognition result having a low priority. In this way, it is possible to make the function execution buttons that the user may need become conspicuous, and convenience is improved.
  • whether to output the function execution button may be changed based on the priority of the recognition result. For example, when the number of function execution buttons generated by the generation unit 16 exceeds the upper limit of the predetermined display number, the drawing unit 17 gives priority to the function execution button corresponding to the recognition result having a high priority. If the maximum number is exceeded, other function execution buttons may not be displayed. By doing so, it is possible to preferentially display a function execution button that the user is likely to need, thereby improving convenience.
  • the function execution button is displayed when the user operates a button such as a hardware key or software key. However, when the user performs a predetermined operation, the function execution button is displayed. A function execution button may be displayed. Examples of operations performed by the user include speech and gestures.
  • the processing unit 12 includes commands for operating the controlled device such as “telephone” and “audio”, and the subject such as “I want to go”, “I want to hear”, and “Email”.
  • An utterance that is considered to include an intention to operate the control device is set as a recognition target vocabulary. Then, the processing unit 12 outputs the recognition result not only to the recognition result storage unit 13 but also to the determination unit 14.
  • the determination unit 14 defines an utterance that triggers the function execution button to be displayed in advance in addition to the user operation described above. For example, utterances such as “I want to go”, “I want to hear”, and “Audio” are defined. And the determination part 14 acquires the recognition result output by the process part 12, and when the said recognition result corresponds with the speech content defined beforehand, it outputs so that the stored recognition result may be output to the production
  • the voice recognition system 2 may display a function execution button triggered by a user gesture operation of looking around the vehicle or hitting a handle.
  • the determination unit 14 acquires information measured by a visible light camera, an infrared camera, or the like (not shown) installed in the vehicle, and detects the movement of the face from the acquired information. Then, the determination unit 14 determines that the vehicle is looking around the vehicle when the face turns to the front with respect to the camera as 0 degree and the left and right range is 45 degrees in one second.
  • the drawing unit 17 functions so as to overlap the displayed screen without performing a screen transition corresponding to the operation or the like.
  • An execution button may be displayed.
  • the drawing unit 17 transitions to the menu screen of FIG. 3B and displays a function execution button.
  • a function execution button is displayed on the map display screen of FIG.
  • FIG. 1 A block diagram showing an example of a navigation system to which a speech recognition system according to Embodiment 2 of the present invention is applied is the same as FIG. 1 shown in Embodiment 1, and therefore illustration and description thereof are omitted.
  • the second embodiment shown below is different from the first embodiment in that the determination unit 14 stores a user operation and a recognition result type in association with each other as shown in FIG. 12, for example.
  • the hardware keys in FIG. 12 are, for example, a “menu” button HW1, a “destination” button HW2, an “AV” button HW3, and the like installed on the edge of the display as shown in FIG.
  • the software keys in FIG. 12 are, for example, “Destination setting” button SW11, “AV” button SW12, etc. displayed on the display as shown in FIG.
  • the determination unit 14 acquires the operation content of the user from the input reception unit 5, and determines whether or not the acquired operation content matches a predefined operation. If the acquired operation content matches a predefined operation, the determination unit 14 determines a recognition result type corresponding to the operation content. Thereafter, the determination unit 14 instructs the recognition result storage unit 13 to output a recognition result having the determined recognition result type to the generation unit 16. On the other hand, when the acquired operation content does not match the predefined operation, the determination unit 14 does nothing.
  • the recognition result storage unit 13 When the recognition result storage unit 13 receives an instruction from the determination unit 14, the recognition result storage unit 13 outputs a recognition result having a recognition result type that matches the recognition result type specified by the determination unit 14 to the generation unit 16.
  • the operation of the speech recognition system 2 according to the second embodiment will be described using the flowchart shown in FIG. 13 and a specific example.
  • the user operation that causes the function execution button to be displayed on the display unit 18 is the operation defined in FIG.
  • the conversation between users is the same as in the first embodiment.
  • the flowchart for recognizing the user utterance and holding the recognition result is the same as the flowchart in FIG. Further, the processing from step ST21 to step ST23 in the flowchart of FIG. 13 is the same as that from step ST11 to step ST13 in the flowchart of FIG. In the following description, it is assumed that the process of FIG. 6 is executed and the recognition result storage unit 13 stores the recognition result as shown in FIG.
  • the determination unit 14 determines the recognition result type corresponding to the operation content, The recognition result storage unit 13 is instructed to output a recognition result having the determined recognition result type to the generation unit 16 (step ST24).
  • the recognition result storage unit 13 outputs a recognition result having a recognition result type that matches the recognition result type specified by the determination unit 14 to the generation unit 16. (Step ST25).
  • step ST21, step ST22 when the user B wants to search for a convenience store around the current location, and performs a pressing operation of the “destination” button HW2, which is an operation for performing the function (step ST21, step ST22). Since the pressing operation of the “destination” button HW2 coincides with the operation predefined in the determination unit 14 (“YES” in step ST23), the determination unit 14 refers to the table shown in FIG. Then, the recognition result type corresponding to the operation is determined as “facility genre name” (step ST24). Thereafter, the determination unit 14 instructs the recognition result storage unit 13 to output a recognition result having the recognition result type “facility genre name” to the generation unit 16.
  • the recognition result storage unit 13 Upon receiving an instruction from the determination unit 14, the recognition result storage unit 13 generates a recognition result whose recognition result type is “facility genre name”, that is, a recognition result whose recognition result character strings are “convenience store” and “restaurant”. It outputs to the part 16 (step ST25).
  • the generation unit 16 has a function execution button assigned a function of “search for surrounding facilities using“ convenience store ”as a search key” and a function execution button assigned a function of “search for peripheral facilities using“ restaurant ”as a search key”.
  • Generate step ST26.
  • the drawing unit 17 displays function execution buttons of a “convenience store” button SW3 and a “restaurant” button SW2 as shown in FIG. 14A on the display unit 18 (step ST27).
  • a “mischild” button SW1 which is a function execution button to which a function of “music search using“ mischild ”as a search key” is assigned, is displayed. Is displayed on the display unit 18 as shown in FIG.
  • the determination unit 14 stores the user's utterance content or the user's gesture content and the recognition result type in association with each other. Outputs the recognition result type that matches the user's utterance content acquired from the speech recognition unit 11 or the user's gesture content determined based on information acquired from the camera or the touch sensor to the recognition result storage unit 13. do it.
  • the determination unit 14 uses the information indicating the correspondence between the operation or operation performed by the user and the type of the recognition result of the speech recognition unit 11,
  • the display control unit 15 selects a recognition result that matches the type determined by the determination unit 14 from the recognition results of the voice recognition unit 11, and determines the type corresponding to the case where it is determined that the operation has been performed. Since the function execution button for causing the navigation system 1 to execute the function corresponding to the recognition result is configured to be displayed on the display unit 18, the function execution button having high relevance to the content operated by the user is presented. Therefore, for the user, his / her own operation intention is prefetched and presented more accurately, and the user friendliness and ease of use can be further improved.
  • FIG. FIG. 16 is a block diagram showing an example of a navigation system 1 to which the speech recognition system 2 according to Embodiment 3 of the present invention is applied.
  • symbol is attached
  • the speech recognition system 2 does not include the recognition result storage unit 13 as compared with the first embodiment. Instead, the voice recognition system 2 includes a voice data storage unit 20, and the voice acquisition unit 10 continuously captures the voice collected by the microphone 9 and digitizes it by A / D conversion, or one of them. Are stored in the audio data storage unit 20.
  • the voice acquisition unit 10 stores, in the voice data storage unit 20, voice data obtained by digitizing the voice collected by the microphone 9 for one minute after the moving object stops as the voice acquisition period.
  • voice data obtained by digitizing the voice collected by the microphone 9 for one minute after the moving object stops as the voice acquisition period.
  • the voice acquisition unit 10 captures the voice collected by the microphone 9 during the period from the start of the navigation system 1 to the stop as the voice acquisition period, for example, the voice data for the past 30 seconds is voiced.
  • the data is stored in the data storage unit 20.
  • the voice acquisition unit 10 is configured to perform a process of detecting an utterance section from voice data and extracting the section, and the voice acquisition unit 10 stores voice data of the utterance section as a voice data storage unit. 20 may be stored.
  • audio data for a predetermined number of utterance intervals may be stored in the audio data storage unit 20, and audio data exceeding the predetermined number of utterance intervals may be deleted in order from the oldest.
  • the determination unit 14 acquires the user operation content from the input reception unit 5, and outputs a voice recognition start instruction to the processing unit 12 when the acquired operation content matches a predefined operation. .
  • the processing unit 12 receives a voice recognition start instruction from the determination unit 14, the processing unit 12 acquires voice data from the voice data storage unit 20, performs voice recognition processing on the acquired voice data, and generates a recognition result. To the unit 16.
  • the voice acquisition unit 10 captures the voice collected by the microphone 9 from the start to the stop of the navigation system 1 as the voice acquisition period. It is assumed that data is stored in the audio data storage unit 20.
  • FIG. 17 shows a flowchart for capturing and holding user utterances.
  • the voice acquisition unit 10 captures a user utterance collected by the microphone 9, that is, an input voice, and performs A / D conversion by, for example, PCM (step ST31).
  • the voice acquisition unit 10 stores the digitized voice data in the voice data storage unit 20 (step ST32).
  • voice acquisition part 10 returns to the process of step ST31, and when stopped (step ST33 "YES”), a process is complete
  • FIG. 18 shows a flowchart for displaying a function execution button.
  • the processing from step ST41 to step ST43 is the same as step ST11 to step ST13 in the flowchart of FIG.
  • the determination unit 14 outputs a voice recognition start instruction to the processing unit 12 when the user operation content acquired from the input reception unit 5 matches a predefined operation ("YES" in step ST43).
  • the processing unit 12 acquires voice data from the voice data storage unit 20 (step ST44), performs voice recognition processing on the acquired voice data, and obtains a recognition result. It outputs to the production
  • the sound acquisition unit 10 when the determination unit 14 determines that the user has performed a predetermined operation or action, the sound acquisition unit 10 performs the sound acquisition period. Since it has a configuration for recognizing voices acquired over a period of time, resources such as memory can be allocated to other processing such as map screen drawing processing when voice recognition processing is not performed. The response speed to user operations other than voice operations can be improved.
  • the voice recognition system according to the present invention is suitable for use in a voice recognition system that constantly recognizes a user's utterance because the function execution button is presented at a timing required by the user.
  • 1 navigation system (controlled device), 2 voice recognition system, 3 control unit, 4 instruction input unit, 5 input receiving unit, 6 navigation unit, 7 audio control unit, 8 speaker, 9 microphone, 10 audio acquisition unit, 11 audio Recognition unit, 12 processing unit, 13 recognition result storage unit, 14 determination unit, 15 display control unit, 16 generation unit, 17 drawing unit, 18 display unit, 19 priority assignment unit, 20 audio data storage unit, 100 bus, 101 CPU, 102 ROM, 103 RAM, 104 HDD, 105 input device, 106 output device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　音声認識システム（２）は、ユーザが発話した音声を予め設定された音声取得期間に亘って取得する音声取得部（１０）と、音声取得部（１０）が取得した音声を認識する音声認識部（１１）と、ユーザが予め定められた操作または動作を行ったか否かを判定する判定部（１４）と、判定部（１４）においてユーザが予め定められた操作または動作を行ったと判定された場合に音声認識部（１１）の認識結果に対応した機能をナビゲーションシステム（１）に実行させる機能実行ボタンを表示部（１８）に表示させる表示制御部（１５）とを備える。

Description

音声認識システム
　この発明は、ユーザの発話を認識する音声認識システムに関するものである。
　従来の音声認識システムにおいては、ユーザは予めシステムに認識させたい内容を考えておき、ＰＴＴ（Ｐｕｓｈ　Ｔｏ　Ｔａｌｋ）ボタンの押下等による音声認識開始指示を行った後に発話する必要があった。このシステムでは、ユーザ同士の自然な会話中に出現した単語を自動的に認識することができないので、ユーザはその単語を認識させるためにＰＴＴボタン等を押下した後に改めて発話しなければならない。そのため操作が煩わしいという問題および認識させたい内容を忘れてしまうという問題があった。
　これに対し、マイクにより集音された音声を、常時、音声認識する音声認識システムがある。この音声認識システムにおいては、ユーザによる音声認識開始指示が不要であるため、上述した煩わしさを解消することはできる。しかし、ユーザの操作意図の有無に関わらず勝手に認識結果に対応する機能を実行するため、ユーザを混乱させてしまう。
　ここで、特許文献１には、常時音声を認識し、認識結果に対応する機能を実行するためのショートカットボタンを生成して表示する作動制御装置が記載されている。
特開２００８-１４８１８号公報
　上記特許文献１の作動制御装置では、ユーザがショートカットボタンを押下することで初めて、認識結果に対応する機能を実行するので、ユーザの意図に反して勝手に動作することを防止することができる。しかしながら、特許文献１の場合、ショートカットボタンにより画面に表示されている情報の一部が隠されてしまったり、ショートカットボタンを表示する際の画面更新により表示内容の変化が生じたりするため、ユーザに不快感を生じさせたり、運転中の場合等は集中力の低下を生じさせたりするという課題がある。
　この発明は、上記のような問題を解決するためになされたものであり、常時音声を認識し、認識結果に対応する機能を実行するための機能実行ボタンを、ユーザが必要とするタイミングで提示することができる音声認識システムを提供することを目的とする。
　本発明に係る音声認識システムは、ユーザが発話した音声を、予め設定された音声取得期間に亘って取得する音声取得部と、音声取得部が取得した音声を認識する音声認識部と、ユーザが予め定められた操作または動作を行ったか否かを判定する判定部と、判定部においてユーザが予め定められた操作または動作を行ったと判定された場合、音声認識部の認識結果に対応した機能を被制御装置に実行させる機能実行ボタンを表示部に表示させる表示制御部とを備えるものである。
　本発明は、予め設定された音声取得期間に亘って音声を取り込み、かつ、ユーザにより予め定められた操作または動作がなされたときに、発話内容に基づいた機能実行ボタンを表示することとしたので、会話中に出現した単語をＰＴＴボタン押下後に改めて発話し直す煩雑さを解消することができる。また、ユーザの意図に反した動作を生じなくなり、さらには、機能実行ボタン表示時の画面更新による集中力の低下を抑制することができる。その上、ユーザにとっては、自身の操作意図を先読みした機能実行ボタンを提示してくれることになるので、ユーザフレンドリさおよび使い易さを向上させることができる。
この発明の実施の形態１に係る音声認識システムを適用したナビゲーションシステムの一例を示すブロック図である。 実施の形態１に係る音声認識システムを適用したナビゲーションシステムの主なハードウェア構成を示す概略構成図である。 実施の形態１に係る音声認識システムの動作の概略を説明するための説明図である。 認識結果に含まれる認識結果文字列と認識結果種別の例を示す図である。 認識結果種別と機能実行ボタンに割り当てるべき機能との対応の一例を示す図である。 実施の形態１に係る音声認識システムにおいて、ユーザ発話の認識結果の保持についての処理を示したフローチャートである。 実施の形態１に係る音声認識システムにおいて、機能実行ボタンの表示についての処理を示したフローチャートである。 機能実行ボタンの表示例を示す図である。 認識結果格納部による認識結果の格納例を示す図である。 機能実行ボタンの表示態様の一例を示す図である。 実施の形態１に係る音声認識システムの変形例を示すブロック図である。 ユーザの操作と認識結果種別との対応の一例を示す図である。 この発明の実施の形態２に係る音声認識システムにおいて、機能実行ボタンの表示についての処理を示したフローチャートである。 機能実行ボタンの別の表示例を示す図である。 ユーザの発話内容と認識結果種別との対応およびユーザの動作内容と認識結果種別との対応の一例を示す図である。 この発明の実施の形態３に係る音声認識システムを適用したナビゲーションシステムの一例を示すブロック図である。 実施の形態３に係る音声認識システムにおいて、ユーザ発話の取り込みおよび保持についての処理を示したフローチャートである。 実施の形態３に係る音声認識システムにおいて、機能実行ボタンの表示についての処理を示したフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
　なお、以下の実施の形態では、この発明に係る音声認識システムを車両等の移動体用のナビゲーションシステム（被制御装置）に適用した場合を例に挙げて説明するが、音声操作機能を有するシステムであれば、どのようなシステムに適用してもよい。
実施の形態１．
　図１は、この発明の実施の形態１に係る音声認識システム２を適用したナビゲーションシステム１の一例を示すブロック図である。このナビゲーションシステム１は、制御部３、入力受信部５、ナビゲーション部６、音声制御部７、音声取得部１０、音声認識部１１、判定部１４および表示制御部１５を備えている。なお、ナビゲーションシステム１の構成要件は、ネットワーク上のサーバ、スマートフォン等の携帯端末、車載器に分散されていてもよい。
　ここで、音声取得部１０、音声認識部１１、判定部１４および表示制御部１５が、音声認識システム２を構成する。
　図２は、実施の形態１におけるナビゲーションシステム１とその周辺機器の主なハードウェア構成を示す概略図である。バス１００には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１０４、入力装置１０５、および出力装置１０６が接続されている。
　ＣＰＵ１０１は、ＲＯＭ１０２またはＨＤＤ１０４に記憶された各種プログラムを読みだして実行することにより、各ハードウェアと協働してナビゲーションシステム１の制御部３、入力受信部５、ナビゲーション部６、音声制御部７、音声取得部１０、音声認識部１１、判定部１４および表示制御部１５としての機能を実現する。入力装置１０５は、指示入力部４、入力受信部５およびマイク９である。出力装置１０６は、スピーカ８および表示部１８である。
　まず、音声認識システム２の動作概要を説明する。
　音声認識システム２は、マイク９により集音された音声を予め設定された音声取得期間に亘って連続的に取り込んで、予め定められたキーワードを認識し、認識結果を保持する。そして、音声認識システム２は、移動体のユーザによりナビゲーションシステム１に対して予め定められた操作が行われたか否か判定し、当該操作が行われると、保持している認識結果を用いて認識結果に対応する機能を実行するための機能実行ボタンを生成し、生成した機能実行ボタンを表示部１８へ出力する。
　予め設定された音声取得期間については後述する。
　例えば、図３（ａ）のような地図表示画面が表示部１８のディスプレイに表示されているときに、ユーザＡとユーザＢにより以下のような会話が行われたものとする。
　　Ａ：「この曲終わったら次は何再生しよう？」
　　Ｂ：「ミスチャイルドを久しぶりに聞きたいなぁ」
　　Ａ：「いいねー。そういえば、昼食はレストランでいい？」
　　Ｂ：「コンビニで何か買えばいいかなぁ」
　　Ａ：「わかったー」
　ここで、音声認識システム２は、キーワードとしてアーティスト名「ミスチャイルド」と施設ジャンル名「レストラン」「コンビニ」とを認識するが、この段階では、これらの認識結果に対応する機能実行ボタンを表示部１８に表示しない。なお、図３に示す「メニュー」ボタンＨＷ１、「目的地」ボタンＨＷ２、「ＡＶ（Ａｕｄｉｏ　Ｖｉｓｕａｌ）」ボタンＨＷ３および「現在地」ボタンＨＷ４は、表示部１８のディスプレイ筐体に設置されたハードウェア（ＨＷ）キーである。
　その後、ユーザＢが現在地周辺のコンビニを検索するために、メニュー画面を表示するための「メニュー」ボタンＨＷ１を押下し、図３（ｂ）のようなメニュー画面が表示されたときに、音声認識システム２は、認識結果「ミスチャイルド」「レストラン」「コンビニ」に対応する機能実行ボタンである「ミスチャイルド」ボタンＳＷ１、「レストラン」ボタンＳＷ２、および「コンビニ」ボタンＳＷ３を表示部１８に表示する。これらの機能実行ボタンは、メニュー画面に表示されたソフトウェア（ＳＷ）キーである。また、「目的地設定」ボタンＳＷ１１、「ＡＶ」ボタンＳＷ１２、「電話」ボタンＳＷ１３および「設定」ボタンＳＷ１４は、機能実行ボタンではないが、ソフトウェアキーではある。
　続いて、ユーザＢが機能実行ボタンである「コンビニ」ボタンＳＷ３を押下すると、ナビゲーションシステム１のナビゲーション部６は、現在地周辺のコンビニの検索を実行し、検索結果を表示部１８に表示する。なお、音声認識システム２についての詳細な説明は後述する。
　一方、「コンビニ」ボタンＳＷ３を使用せずに現在地周辺のコンビニの検索を実行しようとした場合、ユーザＢは、例えば「メニュー」ボタンＨＷ１を押下操作してメニュー画面を表示させ、メニュー画面の「目的地設定」ボタンＳＷ１１を押下操作して目的地検索画面を表示させ、目的地検索画面の「周辺施設検索」ボタンを押下操作して周辺施設検索画面を表示させ、検索キーとして「コンビニ」を設定して検索実行を指示することになる。つまり、通常であれば複数回の操作を行って呼び出して実行することとなる機能を、機能実行ボタン１回の操作で呼び出して実行することができる。
　制御部３は、ナビゲーションシステム１全体の動作を制御する。
　マイク９は、ユーザが発話した音声を集音する。マイク９には、例えば、全指向性（無指向性）のマイク、複数の全指向性（無指向性）のマイクをアレイ状に配列して指向特性を調整可能としたアレイマイク、または一方向のみに指向性を有しており指向特性を調整できない単一指向性マイクなどがある。
　表示部１８は、例えばＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。また、表示部１８は、ＬＣＤまたは有機ＥＬディスプレイとタッチセンサから構成されている表示一体型のタッチパネルであってもよい。
　指示入力部４は、ユーザの手動による指示を入力するものである。例えばナビゲーションシステム１の筐体などに設けられたハードウェアのボタン（キー）、スイッチ、タッチセンサ、あるいはハンドル等に設置されたリモコンもしくは別体のリモコン、ジェスチャ操作による指示を認識する認識装置等が挙げられる。なお、タッチセンサには、感圧方式、電磁誘導方式、静電容量方式、あるいはこれらを組み合わせた方式などのうち、いずれを用いてもよい。
　入力受信部５は、指示入力部４により入力された指示を受信して、制御部３へ出力する。
　ナビゲーション部６は、入力受信部５により受信され制御部３を介して入力されたユーザの操作に応じて、画面遷移を行ったり、地図データ（図示しない）を用いて施設検索および住所検索等の種々の検索を行ったりする。また、ユーザにより設定された住所または施設への経路を計算し、経路案内のための音声情報および表示内容を生成し、それらを出力するよう後述する表示制御部１５および音声制御部７へ、制御部３を介して指示する。ナビゲーション部６は、さらに上述以外にも楽曲名またはアーティスト名等による楽曲検索を行ったり、楽曲を再生したり、ユーザの指示に応じてエアコン等の他の車載機器の操作を実行したりする。
　音声制御部７は、制御部３を介してナビゲーション部６から指示された案内音声および楽曲等をスピーカ８から出力する。
　次に、音声認識システム２の構成要素について説明する。
　音声取得部１０は、マイク９により集音された音声を連続的に取り込み、例えば、ＰＣＭ（Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ）によりＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換する。
　ここで、「連続的」とは「予め設定された音声取得期間に亘って」という意味であり「常時」という意味に限らない。「音声取得期間」には、例えば、ナビゲーションシステム１が起動してから５分間、移動体が停車してから１分間、またはナビゲーションシステム１が起動してから停止するまでの間等の期間が含まれるものとする。本実施の形態１においては、音声取得部１０はナビゲーションシステム１が起動してから停止するまでの間、音声を取り込むものとして説明する。
　なお、以下の説明においては、上述のとおりマイク９と音声取得部１０が別個のものであるとするが、マイク９に音声取得部１０が内蔵されているものであってもよい。
　音声認識部１１は、処理部１２と認識結果格納部１３から構成されている。
　処理部１２は、音声取得部１０によりデジタル化された音声データから、ユーザが発話した内容に該当する音声区間（以下、「発話区間」と記載する）を検出し、該発話区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書を用いて認識処理を行い、認識結果を認識結果格納部１３へ出力する。認識処理の方法としては、例えばＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）法のような一般的な方法を用いて行えばよいため詳細な説明を省略する。
　ここで、音声認識の手法としては、文法に基づく単語認識、キーワードスポッティング、大語彙連続音声認識、またはその他の周知の手法のいずれを用いてもよい。また、音声認識部１１は、周知の意図理解処理を含むものとし大語彙連続音声認識による認識結果からユーザの意図を推定したり検索したりした結果を、認識結果として出力するものとしてもよい。
　処理部１２は、認識結果として少なくとも認識結果文字列と認識結果の種別（以下、「認識結果種別」と記載する）を出力する。図４は、認識結果文字列と認識結果種別の一例を示したものであり、例えば、認識結果文字列が「コンビニ」の場合、処理部１２は認識結果種別「施設ジャンル名」を出力する。
　なお、認識結果種別は、具体的な文字列に限らず数字で表されたＩＤでもよいし、認識処理をする際に用いた辞書名（認識結果文字列が認識語彙として含まれている辞書名）としてもよい。また、本実施の形態１においては、音声認識部１１の認識対象語彙は「コンビニ」「レストラン」等の施設ジャンル名と「ミスチャイルド」等のアーティスト名として説明するが、これに限らない。
　認識結果格納部１３は、処理部１２により出力された認識結果を格納する。そして、後述する判定部１４から指示を受けると、格納している認識結果を生成部１６へ出力する。
　ところで、カーナビゲーションシステム等に搭載されている音声認識機能においては、ユーザが発話の開始をシステムに対して明示（指示）するのが一般的である。そのために、音声認識開始を指示するボタン（以下、「音声認識開始指示部」と記載する）が、タッチパネルに表示されたりハンドルに設置されたりしている。そして、ユーザにより音声認識開始指示部が押下された後に発話された音声を認識する。すなわち、音声認識開始指示部は音声認識開始信号を出力し、音声認識部は当該信号を受けると、当該信号を受けた後に音声取得部により取得された音声データから、ユーザが発話した内容に該当する発話区間を検出し、上述した認識処理を行う。
　対して、この実施の形態１における音声認識部１１は、上述したようなユーザによる音声認識開始指示がなくても、常に、音声取得部１０により取り込まれた音声データを認識する。すなわち、音声認識部１１は、音声認識開始信号を受けなくても、音声取得部１０により取得された音声データから、ユーザが発話した内容に該当する発話区間を検出し、該発話区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書を用いて認識処理を行い、認識結果を出力する処理を繰り返し行う。
　判定部１４は、ユーザ発話の認識結果に対応する機能実行ボタンを表示部１８に表示するきっかけとなるユーザの操作を、予め定義している。すなわち、認識結果格納部１３が格納している認識結果を後述する生成部１６へ出力するよう、判定部１４から認識結果格納部１３に対して指示するきっかけとなるユーザの操作を、予め定義している。
　判定部１４が予め定義しているユーザの操作は、例えば、表示部１８に、ナビゲーションシステム１の機能一覧を示すメニュー画面を表示させたり、目的地検索画面を表示させたり、ＡＶ画面を表示させたりするための機能を有するボタンの押下等である。ここで、当該ボタンは、例えば、ディスプレイに表示されたソフトウェアキー（例えば、図３（ｂ）の「目的地設定」ボタンＳＷ１１）、ディスプレイ筐体などに設置されているハードウェアキー（例えば、図３（ａ）の「メニュー」ボタンＨＷ１）またはリモコンのキー等である。
　判定部１４は、制御部３を介して入力受信部５からユーザの操作内容を取得し、当該取得した操作内容が予め定義されている操作と一致するか否か判定する。そして、当該取得した操作内容が予め定義されている操作と一致する場合、判定部１４は認識結果格納部１３に対して、格納している認識結果を生成部１６へ出力するよう指示する。一方、一致しない場合、判定部１４は何もしない。
　表示制御部１５は、生成部１６と描画部１７から構成されている。生成部１６は、認識結果格納部１３から認識結果を取得し、取得した認識結果に対応する機能実行ボタンを生成する。
　具体的には、生成部１６は、図５に示すように認識結果種別と機能実行ボタンに割り当てるべき機能（以下、「機能実行ボタンへの割り当て機能」と記載する）を認識結果種別に対応付けて定義している。そして、生成部１６は、認識結果格納部１３から取得した認識結果に含まれる認識結果種別に対応する、機能実行ボタンへの割り当て機能を決定する。さらに生成部１６は、当該決定した機能が割り当てられた機能実行ボタンを生成する。その後、生成部１６は、生成した機能実行ボタンを表示部１８に表示するよう、描画部１７に対して指示する。
　例えば、認識結果格納部１３から取得した認識結果に含まれる認識結果種別が「施設ジャンル名」で、認識結果文字列が「コンビニ」である場合、生成部１６は、図５のテーブルを参照して、機能実行ボタンへの割り当て機能は、「「コンビニ」を検索キーとした周辺施設検索」と決定する。
　描画部１７は、制御部３を介してナビゲーション部６により指示された内容、および生成部１６により生成された機能実行ボタンを表示部１８に表示させる。
　次に、図６と図７に示すフローチャートと具体例を用いて、実施の形態１の音声認識システム２の動作を説明する。なお、ここでは、機能実行ボタンを表示部１８に表示するきっかけとなるユーザの操作は、図３（ａ）に示すようなディスプレイの辺縁に設置されているハードウェアキーである、「メニュー」ボタンＨＷ１、「目的地」ボタンＨＷ２、「ＡＶ」ボタンＨＷ３の押下であるものとする。また、説明を簡単にするために、以下では制御部３の動作の記載を省略する。
　「メニュー」ボタンＨＷ１は、図３（ｂ）に示すような、ユーザに対して様々な機能を提示するメニュー画面を表示するためのものである。また、「目的地」ボタンＨＷ２は、図８（ａ）に示すような目的地検索画面を表示するためのものである。また、「ＡＶ」ボタンＨＷ３は、図８（ｂ）に示すようなＡＶ画面を表示するためのものである。なお、これらのハードウェアキー押下後の動作は一例であり、これらの動作に限られるものではない。
　まず、図３（ａ）の地図表示画面で、ユーザＡとユーザＢにより上述した会話が行われたものとする。
　図６は、ユーザ発話を認識して、認識結果を保持するフローチャートを示している。
　ここでは、音声取得部１０は、ナビゲーションシステム１が起動してから停止するまでの音声取得期間、常に、マイク９により集音された音声を取り込むものとして説明する。まず、音声取得部１０は、マイク９により集音されたユーザ発話、すなわち、入力された音声を取り込み、例えばＰＣＭによりＡ／Ｄ変換する（ステップＳＴ０１）。
　次に、処理部１２は、音声取得部１０によりデジタル化された音声データから、ユーザが発話した内容に該当する発話区間を検出し、該発話区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書を用いて認識処理を行い（ステップＳＴ０２）、認識結果を認識結果格納部１３へ格納する（ステップＳＴ０３）。その結果、図９に示すように認識結果が認識結果格納部１３に格納される。そして、ナビゲーションシステム１が停止されていない場合（ステップＳＴ０４「ＮＯ」）、音声認識システム２はステップＳＴ０１の処理へ戻り、停止されている場合（ステップＳＴ０４「ＹＥＳ」）、処理を終了する。
　図７は、機能実行ボタンを表示するフローチャートを示している。
　まず、判定部１４は、入力受信部５からユーザの操作内容を取得する（ステップＳＴ１１）。操作内容が取得できた場合すなわち何らかのユーザ操作があった場合（ステップＳＴ１２「ＹＥＳ」）、判定部１４はステップＳＴ１３の処理へ進む。一方、操作内容が取得できなかった場合（ステップＳＴ１２「ＮＯ」）、判定部１４はステップＳＴ１１の処理へ戻る。
　次に、判定部１４は、入力受信部５から取得した操作内容が予め定義されている操作と一致するか否か判定する。一致している場合（ステップＳＴ１３「ＹＥＳ」）、判定部１４は認識結果格納部１３に対して、格納している認識結果を生成部１６へ出力するよう指示する。一方、入力受信部５から取得した操作内容が予め定義されている操作と一致しない場合（ステップＳＴ１３「ＮＯ」）、判定部１４はステップＳＴ１１の処理に戻る。
　ここで、上述の会話の後ユーザＡまたはユーザＢにより「メニュー」ボタンＨＷ１等のハードウェアキーが押下されるまで、ステップＳＴ１３の処理へ進まないため、認識対象語である「ミスチャイルド」「レストラン」「コンビニ」が発話内容に含まれていても、表示部１８に機能実行ボタンは表示されない。
　ユーザＢが、現在地周辺のコンビニを検索したいと思い、その機能を実行するためのきっかけとなる操作である「目的地」ボタンＨＷ２の押下操作を行うと（ステップＳＴ１１、ステップＳＴ１２「ＹＥＳ」）、「目的地」ボタンＨＷ２の押下操作は、判定部１４に予め定義されている操作と一致するため（ステップＳＴ１３「ＹＥＳ」）、判定部１４は、認識結果格納部１３に対して、格納している認識結果を生成部１６へ出力するよう指示する。「メニュー」ボタンＨＷ１および「ＡＶ」ボタンＨＷ３が押下された場合も同様である。
　一方、ユーザＢが「現在地」ボタンＨＷ４の押下操作をした場合は、判定部１４に予め定義されている操作と一致しないため（ステップＳＴ１３「ＮＯ」）、ステップＳＴ１４の処理へ進まず、表示部１８に機能実行ボタンは表示されない。
　認識結果格納部１３は、判定部１４からの指示を受けると、当該指示を受けた時点で格納している認識結果を生成部１６へ出力する（ステップＳＴ１４）。
　その後、生成部１６は、認識結果格納部１３から取得した認識結果に対応する機能実行ボタンを生成し（ステップＳＴ１５）、当該生成した機能実行ボタンを表示部１８へ表示するよう描画部１７に対して指示する。最後に、描画部１７は機能実行ボタンを表示部１８に表示させる（ステップＳＴ１６）。
　具体的には、認識結果格納部１３は、認識結果「ミスチャイルド」「コンビニ」「レストラン」を生成部１６へ出力する（ステップＳＴ１４）。その後、生成部１６は、「「ミスチャイルド」を検索キーとした楽曲検索」をする機能を割り当てた機能実行ボタンと「「コンビニ」を検索キーとした周辺施設検索」する機能を割り当てた機能実行ボタンと「「レストラン」を検索キーとした周辺施設検索」する機能を割り当てた機能実行ボタンを生成し（ステップＳＴ１５）、描画部１７に対して表示部１８へ表示するよう指示する。
　描画部１７は、ナビゲーション部６が表示を指示した画面に、生成部１６で生成された機能実行ボタンを重ねて、表示部１８に表示させる。例えば、ユーザにより「メニュー」ボタンＨＷ１が押下されている場合、描画部１７は図３（ｂ）に示すように、ナビゲーション部６が指示したメニュー画面を表示するとともに、生成部１６で生成された「ミスチャイルド」ボタンＳＷ１、「レストラン」ボタンＳＷ２、および「コンビニ」ボタンＳＷ３の機能実行ボタンを表示させる。同様にして、ユーザにより「目的地」ボタンＨＷ２および「ＡＶ」ボタンＨＷ３が押下されている場合は、図８（ｃ）および図８（ｄ）のような画面となる。ユーザにより機能実行ボタンが押下操作されると、入力受信部５から指示を受けたナビゲーション部６が、当該機能実行ボタンに割り当てられた機能を実行する。
　以上のように、この実施の形態１によれば、音声認識システム２は、ユーザが発話した音声を予め設定された音声取得期間に亘って取得する音声取得部１０と、音声取得部１０が取得した音声を認識する音声認識部１１と、ユーザが予め定められた操作を行ったか否かを判定する判定部１４と、判定部１４においてユーザが予め定められた操作を行ったと判定された場合に音声認識部１１の認識結果に対応した機能をナビゲーションシステム１に実行させる機能実行ボタンを表示部１８に表示させる表示制御部１５とを備え、予め設定された音声取得期間に亘って音声を取り込み、かつ、ユーザが予め定められた操作を行ったときに、発話内容に基づいた機能実行ボタンを表示することとしたので、会話中に出現した単語をＰＴＴボタン押下後に改めて発話し直す煩雑さを解消することができる。また、ユーザの意図に反した動作を生じなくなり、さらには、機能実行ボタン表示時の画面更新による集中力の低下を抑制することができる。その上、ユーザにとっては、自身の操作意図を先読みした機能実行ボタンを提示してくれることになるので、ユーザフレンドリさおよび使い易さを向上させることができる。
　なお、この実施の形態１では、生成部１６は、認識結果文字列のみが表示された機能実行ボタンを生成するものとして説明したが、予め、認識結果文字列に対応したアイコンを定義しておき、図１０（ａ）に示すように認識結果文字列とアイコンを組み合わせた機能実行ボタン、または図１０（ｂ）に示すように認識結果文字列に対応するアイコンのみの機能実行ボタンを生成するとしてもよい。以下の実施の形態２，３においても機能実行ボタンの表示形態は問わない。
　このようにすることで、ユーザが直感的に機能実行ボタンの内容を理解することができるようになる。
　また、生成部１６は、認識結果種別に応じて機能実行ボタンの表示態様を変えるとしてもよい。例えば、認識結果種別「アーティスト名」に対応する機能実行ボタンは、そのアーティストのアルバムのジャケット画像にし、認識結果種別「施設ジャンル名」に対応する機能実行ボタンは、アイコンにするというように変えてもよい。
　このようにすることで、ユーザが直感的に機能実行ボタンの内容を理解することができるようになる。
　また、認識結果に対して種別ごとに優先度を付与する優先度付与部を音声認識システム２が備える構成とし、生成部１６は認識結果の優先度に基づいて、認識結果に対応する機能実行ボタンの大きさ、表示順序の少なくとも一方を変化させるとしてもよい。
　例えば、図１１に示すように、音声認識システム２が優先度付与部１９を備える。この優先度付与部１９は、制御部３を介して入力受信部５からユーザの操作内容を取得し、操作履歴として管理する。また、優先度付与部１９は認識結果格納部１３を監視し、認識結果格納部１３に認識結果が格納されると、その認識結果に対して、ユーザの過去の操作履歴に基づく優先度を付与する。認識結果格納部１３は、認識結果を生成部１６へ出力する際、優先度付与部１９が付与した優先度も一緒に出力する。
　具体的には、手動でのジャンル名による施設検索の回数がアーティスト名検索の回数より多い場合は、優先度付与部１９は、認識結果種別が「施設ジャンル名」である認識結果の優先度を、認識結果種別が「アーティスト名」である認識結果の優先度より高くする。そして、生成部１６は、例えば、優先度が高い認識結果に対する機能実行ボタンの大きさが、優先度が低い認識結果に対する機能実行ボタンの大きさより大きくなるように、各機能実行ボタンを生成する。このようにすることでも、ユーザが必要としていそうな機能実行ボタンを目立たせることができるので、利便性が向上する。
　また、描画部１７は、機能実行ボタンを表示部１８に表示する際、優先度が高い認識結果に対応する機能実行ボタンを優先度が低い認識結果に対応する機能実行ボタンの上部に表示する。このようにすることで、ユーザが必要としていそうな機能実行ボタンを目立たせることができるので、利便性が向上する。
　さらに、認識結果の優先度に基づいて、機能実行ボタンを出力するか出力しないかを変化させてもよい。例えば、描画部１７は、生成部１６により生成された機能実行ボタンの個数が、予め定められた表示個数の上限を超えている場合、優先度が高い認識結果に対応する機能実行ボタンを優先して出力し、上限個数を超えた場合は、他の機能実行ボタンを表示しないようにしてもよい。このようにすることで、ユーザが必要としていそうな機能実行ボタンを優先して表示することができるので、利便性が向上する。
　また、この実施の形態１では、ハードウェアキーまたはソフトウェアキー等のボタンをユーザが操作したことをきっかけとして機能実行ボタンを表示するとしたが、予め定められた動作をユーザが行ったことをきっかけとして機能実行ボタンを表示するとしてもよい。ユーザが行う動作の例として発話、ジェスチャなどがある。
　具体的に上述した各構成要素において処理が異なる部分について説明する。処理部１２は、上述したようなジャンル名等に加え、例えば「電話」「オーディオ」等の被制御装置を操作するためのコマンド、および「行きたい」「聞きたい」「メールする」等の被制御装置への操作意図を含むと考えられる発話を認識対象語彙とする。そして、処理部１２は、認識結果を認識結果格納部１３だけでなく判定部１４に対しても出力する。
　判定部１４は、上述したユーザ操作に加えて予め機能実行ボタンを表示させるきっかけとなる発話を定義している。例えば、「行きたい」「聞きたい」「オーディオ」等の発話を定義している。そして、判定部１４は、処理部１２により出力された認識結果を取得し、当該認識結果が予め定義した発話内容と一致する場合は、格納している認識結果を生成部１６へ出力するよう、認識結果格納部１３に対して指示する。
　さらに、音声認識システム２は、自車周辺を見回したりハンドルを叩いたりするユーザのジェスチャ動作をきっかけとして、機能実行ボタンを表示するとしてもよい。例えば、判定部１４は、車内に設置された可視光カメラまたは赤外線カメラ等（図示せず）が測定した情報を取得し、取得した情報から顔の動きを検出する。そして、判定部１４は、顔がカメラに対して正面を向いたときを０度として、１秒間に左右４５度の範囲を往復した場合、自車周辺を見回していると判断する。
　さらに、描画部１７は、機能実行ボタンを表示するきっかけとなるユーザの操作等が行われた場合、当該操作等に対応した画面遷移をすることなしに、表示中の画面の上に重ねて機能実行ボタンを表示するとしてもよい。例えば、図３（ａ）の地図表示画面を表示中にユーザが「メニュー」ボタンＨＷ１を押下した場合、描画部１７は、図３（ｂ）のメニュー画面に遷移して機能実行ボタンを表示するが、ユーザがハンドルを叩く動作を行った場合は図３（ａ）の地図表示画面に機能実行ボタンを表示する。
実施の形態２．
　この発明の実施の形態２による音声認識システムを適用したナビゲーションシステムの一例を示すブロック図は、実施の形態１において示した図１と同じであるため、図示および説明を省略する。以下に示す実施の形態２では、実施の形態１と比べると、判定部１４が、例えば図１２に示すように、ユーザの操作と認識結果種別とを対応付けて記憶している点が異なる。図１２のハードウェアキーとは、例えば図３（ａ）に示すようなディスプレイの辺縁に設置されている「メニュー」ボタンＨＷ１、「目的地」ボタンＨＷ２、「ＡＶ」ボタンＨＷ３などである。また、図１２のソフトウェアキーとは、例えば図３（ｂ）に示すようなディスプレイ上に表示されている「目的地設定」ボタンＳＷ１１、「ＡＶ」ボタンＳＷ１２などである。
　実施の形態２の判定部１４は、入力受信部５からユーザの操作内容を取得し、当該取得した操作内容が予め定義されている操作と一致するか否か判定する。そして、当該取得した操作内容が予め定義されている操作と一致する場合、判定部１４は、当該操作内容に対応する認識結果種別を決定する。その後、判定部１４は認識結果格納部１３に対して、当該決定した認識結果種別を有する認識結果を生成部１６へ出力するよう指示する。一方、当該取得した操作内容が予め定義されている操作と一致しない場合、判定部１４は何もしない。
　認識結果格納部１３は、判定部１４からの指示を受けると、判定部１４から指示された認識結果種別と一致する認識結果種別を有する認識結果を、生成部１６へ出力する。
　次に、図１３に示すフローチャートと具体例を用いて、実施の形態２の音声認識システム２の動作を説明する。なお、ここでは、機能実行ボタンを表示部１８に表示するきっかけとなるユーザの操作は、図１２に定義された操作とする。また、ユーザ同士の会話は実施の形態１と同一であるとする。
　実施の形態２において、ユーザ発話を認識して、認識結果を保持するフローチャートは、図６のフローチャートと同一であるため説明を省略する。また、図１３のフローチャートのステップＳＴ２１からステップＳＴ２３の処理は、図７のフローチャートのステップＳＴ１１からステップＳＴ１３と同一であるため説明を省略する。なお、以降の説明においては、図６の処理が実行され、認識結果格納部１３には、図９に示すように認識結果が格納されているものとする。
　判定部１４は、入力受信部５から取得したユーザの操作内容が、予め定義されている操作と一致する場合（ステップＳＴ２３「ＹＥＳ」）、当該操作内容に対応する認識結果種別を決定した後、認識結果格納部１３に対して、当該決定した認識結果種別を有する認識結果を生成部１６へ出力するよう指示する（ステップＳＴ２４）。
　次に、認識結果格納部１３は、判定部１４からの指示を受けると、判定部１４から指示された認識結果種別と一致する認識結果種別を有する認識結果を、生成部１６に対して出力する（ステップＳＴ２５）。
　具体的には、ユーザＢが、現在地周辺のコンビニを検索したいと思い、その機能を実行するためのきっかけとなる操作である「目的地」ボタンＨＷ２の押下操作を行うと（ステップＳＴ２１、ステップＳＴ２２「ＹＥＳ」）、「目的地」ボタンＨＷ２の押下操作は、判定部１４に予め定義されている操作と一致するため（ステップＳＴ２３「ＹＥＳ」）、判定部１４は、図１２に示すテーブルを参照して、当該操作に対応する認識結果種別を「施設ジャンル名」に決定する（ステップＳＴ２４）。その後、判定部１４は、認識結果格納部１３に対して、認識結果種別「施設ジャンル名」を有する認識結果を生成部１６へ出力するよう指示する。
　認識結果格納部１３は、判定部１４からの指示を受けると、認識結果種別が「施設ジャンル名」である認識結果、すなわち認識結果文字列が「コンビニ」と「レストラン」である認識結果を生成部１６へ出力する（ステップＳＴ２５）。
　その後、生成部１６は「「コンビニ」を検索キーとした周辺施設検索」する機能を割り当てた機能実行ボタンと「「レストラン」を検索キーとした周辺施設検索」する機能を割り当てた機能実行ボタンを生成する（ステップＳＴ２６）。描画部１７は、表示部１８に図１４（ａ）に示すように「コンビニ」ボタンＳＷ３と「レストラン」ボタンＳＷ２の機能実行ボタンを表示する（ステップＳＴ２７）。
　同様にして、ユーザＢが「ＡＶ」ボタンＨＷ３の押下操作を行うと、「「ミスチャイルド」を検索キーとした楽曲検索」をする機能を割り当てた機能実行ボタンである「ミスチャイルド」ボタンＳＷ１が、表示部１８に図１４（ｂ）に示すように表示される。
　なお、ユーザの操作内容だけでなく、ユーザの動作内容（発話、ジェスチャ等）をきっかけとして、当該動作内容と関連性が高い機能実行ボタンを表示するようにしてもよい。この場合、図１５（ａ）と図１５（ｂ）に示すように、判定部１４は、ユーザの発話内容またはユーザのジェスチャ内容と認識結果種別とを対応付けて記憶しており、判定部１４は、音声認識部１１から取得したユーザの発話内容、またはカメラもしくはタッチセンサから取得した情報に基づいて判断したユーザのジェスチャ内容と一致する認識結果種別を、認識結果格納部１３へ出力するようにすればよい。
　以上のように、この実施の形態２によれば、判定部１４は、ユーザが行う操作または動作と音声認識部１１の認識結果の種別との対応関係を示す情報を用いて、ユーザが操作または動作を行ったと判定した場合に対応する種別を判定し、表示制御部１５は、音声認識部１１の認識結果の中から判定部１４が判定した種別に一致する認識結果を選択し、当該選択した認識結果に対応した機能をナビゲーションシステム１に実行させる機能実行ボタンを表示部１８に表示させる構成にしたので、ユーザが操作等した内容と関連性が高い機能実行ボタンが提示されるようになる。従って、ユーザにとっては、より正確に自身の操作意図を先読みして提示してくれることになり、ユーザフレンドリさおよび使い易さをより向上させることができる。
実施の形態３．
　図１６は、この発明の実施の形態３による音声認識システム２を適用したナビゲーションシステム１の一例を示すブロック図である。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。
　以下に示す実施の形態３では、実施の形態１と比べると、音声認識システム２が認識結果格納部１３を備えていない。その代わりに音声認識システム２は音声データ格納部２０を備え、音声取得部１０が、マイク９により集音された音声を連続的に取り込みＡ／Ｄ変換によりデジタル化した音声データのすべて、または一部を音声データ格納部２０に格納する。
　例えば、音声取得部１０は、音声取得期間として移動体が停車してから１分間、マイク９により集音された音声を取り込みデジタル化した音声データを音声データ格納部２０に格納する。また、音声取得部１０は、音声取得期間としてナビゲーションシステム１が起動してから停止するまでの間、マイク９により集音された音声を取り込む場合は、例えば、過去３０秒分の音声データを音声データ格納部２０に格納する。なお、音声取得部１０が、処理部１２の代わりに、音声データから発話区間を検出し当該区間を抽出する処理を行う構成とし、音声取得部１０は、発話区間の音声データを音声データ格納部２０に格納するとしてもよい。また、予め定められた発話区間数分の音声データを音声データ格納部２０に格納するとし、予め定められた発話区間数を超える音声データは古いものから順に削除するとしてもよい。
　さらに、判定部１４は、入力受信部５からユーザの操作内容を取得し、当該取得した操作内容が予め定義されている操作と一致する場合、処理部１２に対して音声認識開始指示を出力する。
　さらに、処理部１２が、判定部１４からの音声認識開始指示を受けると、音声データ格納部２０から音声データを取得し、当該取得した音声データに対して音声認識処理を行い、認識結果を生成部１６へ出力する。
　次に図１７と図１８に示すフローチャートを用いて、実施の形態３の音声認識システム２の動作を説明する。なお、ここでは、音声取得部１０は、音声取得期間としてナビゲーションシステム１が起動してから停止するまでの間、マイク９により集音された音声を取り込むものとし、そのうちの過去３０秒分の音声データが音声データ格納部２０に格納されているものとする。
　図１７は、ユーザ発話を取り込んで保持するフローチャートを示している。まず、音声取得部１０は、マイク９により集音されたユーザ発話、すなわち、入力された音声を取り込み、例えばＰＣＭによりＡ／Ｄ変換する（ステップＳＴ３１）。次に、音声取得部１０は、デジタル化した音声データを音声データ格納部２０に格納する（ステップＳＴ３２）。そして、ナビゲーションシステム１が停止されていない場合（ステップＳＴ３３「ＮＯ」）、音声取得部１０はステップＳＴ３１の処理へ戻り、停止されている場合（ステップＳＴ３３「ＹＥＳ」）、処理を終了する。
　図１８は、機能実行ボタンを表示するフローチャートを示している。なお、ステップＳＴ４１からステップＳＴ４３の処理は、図７のフローチャートのステップＳＴ１１からステップＳＴ１３と同一であるため説明を省略する。
　判定部１４は、入力受信部５から取得したユーザの操作内容が、予め定義されている操作と一致する場合（ステップＳＴ４３「ＹＥＳ」）、処理部１２に対して音声認識開始指示を出力する。処理部１２は、判定部１４から音声認識開始指示を受けると、音声データ格納部２０から音声データを取得し（ステップＳＴ４４）、当該取得した音声データに対して音声認識処理を行い、認識結果を生成部１６へ出力する（ステップＳＴ４５）。
　以上のように、この実施の形態３によれば、音声認識部１１は、判定部１４においてユーザが予め定められた操作または動作を行ったと判定された場合に、音声取得部１０が音声取得期間に亘って取得しておいた音声を認識する構成にしたので、音声認識処理が行われていないときに、地図画面描画処理等の他の処理にメモリ等のリソースを割り当てることができるようになり、音声操作以外のユーザ操作に対する応答速度を向上させることができる。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る音声認識システムは、ユーザが必要とするタイミングで機能実行ボタンを提示するようにしたので、ユーザの発話を常時認識する音声認識システムなどに用いるのに適している。
　１　ナビゲーションシステム（被制御装置）、２　音声認識システム、３　制御部、４　指示入力部、５　入力受信部、６　ナビゲーション部、７　音声制御部、８　スピーカ、９　マイク、１０　音声取得部、１１　音声認識部、１２　処理部、１３　認識結果格納部、１４　判定部、１５　表示制御部、１６　生成部、１７　描画部、１８　表示部、１９　優先度付与部、２０　音声データ格納部、１００　バス、１０１　ＣＰＵ、１０２　ＲＯＭ、１０３　ＲＡＭ、１０４　ＨＤＤ、１０５　入力装置、１０６　出力装置。

Claims (5)

  1. 　ユーザが発話した音声を、予め設定された音声取得期間に亘って取得する音声取得部と、
    　前記音声取得部が取得した音声を認識する音声認識部と、
    　前記ユーザが予め定められた操作または動作を行ったか否かを判定する判定部と、
    　前記判定部において前記ユーザが予め定められた操作または動作を行ったと判定された場合、前記音声認識部の認識結果に対応した機能を被制御装置に実行させる機能実行ボタンを表示部に表示させる表示制御部とを備えることを特徴とする音声認識システム。
  2. 　前記判定部は、前記ユーザが行う操作または動作と前記音声認識部の認識結果の種別との対応関係を示す情報を用いて、前記ユーザが前記操作または前記動作を行ったと判定した場合に対応する種別を判定し、
    　前記表示制御部は、前記音声認識部の認識結果の中から前記判定部が判定した種別に一致する認識結果を選択し、当該選択した認識結果に対応した機能を前記被制御装置に実行させる機能実行ボタンを前記表示部に表示させることを特徴とする請求項１記載の音声認識システム。
  3. 　前記表示制御部は、前記音声認識部の認識結果の種別に応じて、前記機能実行ボタンの表示態様を変更することを特徴とする請求項１記載の音声認識システム。
  4. 　前記音声認識部の認識結果に対して、種別ごとに優先度を付与する優先度付与部を備え、
    　前記表示制御部は、前記優先度付与部が前記音声認識部の認識結果に対して付与した優先度に基づいて、前記機能実行ボタンの表示態様を変更することを特徴とする請求項３記載の音声認識システム。
  5. 　前記音声認識部は、前記判定部において前記ユーザが予め定められた操作または動作を行ったと判定された場合に、前記音声取得部が前記音声取得期間に亘って取得しておいた音声を認識することを特徴とする請求項１記載の音声認識システム。
PCT/JP2014/084571 2014-12-26 2014-12-26 音声認識システム WO2016103465A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112014007288.5T DE112014007288T5 (de) 2014-12-26 2014-12-26 Spracherkennungssystem
US15/509,981 US20170301349A1 (en) 2014-12-26 2014-12-26 Speech recognition system
PCT/JP2014/084571 WO2016103465A1 (ja) 2014-12-26 2014-12-26 音声認識システム
CN201480084386.7A CN107110660A (zh) 2014-12-26 2014-12-26 语音识别系统
JP2016565813A JP6522009B2 (ja) 2014-12-26 2014-12-26 音声認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/084571 WO2016103465A1 (ja) 2014-12-26 2014-12-26 音声認識システム

Publications (1)

Publication Number Publication Date
WO2016103465A1 true WO2016103465A1 (ja) 2016-06-30

Family

ID=56149553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/084571 WO2016103465A1 (ja) 2014-12-26 2014-12-26 音声認識システム

Country Status (5)

Country Link
US (1) US20170301349A1 (ja)
JP (1) JP6522009B2 (ja)
CN (1) CN107110660A (ja)
DE (1) DE112014007288T5 (ja)
WO (1) WO2016103465A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016002406A1 (ja) * 2014-07-04 2017-04-27 クラリオン株式会社 車載対話型システム、及び車載情報機器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176930B1 (en) 2016-03-28 2021-11-16 Amazon Technologies, Inc. Storing audio commands for time-delayed execution
DE102018006480A1 (de) 2018-08-16 2020-02-20 Daimler Ag Schlüsselvorrichtung zum Einstellen eines Fahrzeugparameters
JP2020144209A (ja) * 2019-03-06 2020-09-10 シャープ株式会社 音声処理装置、会議システム、及び音声処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239963A (ja) * 2003-02-03 2004-08-26 Mitsubishi Electric Corp 車載制御装置
JP2011080824A (ja) * 2009-10-06 2011-04-21 Clarion Co Ltd ナビゲーション装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380992B2 (ja) * 1994-12-14 2003-02-24 ソニー株式会社 ナビゲーションシステム
US8768286B2 (en) * 2001-10-24 2014-07-01 Mouhamad Ahmad Naboulsi Hands on steering wheel vehicle safety control system
JP3948357B2 (ja) * 2002-07-02 2007-07-25 株式会社デンソー ナビゲーション支援システム、移動装置、ナビゲーション支援サーバおよびコンピュータプログラム
US20120253823A1 (en) * 2004-09-10 2012-10-04 Thomas Barton Schalk Hybrid Dialog Speech Recognition for In-Vehicle Automated Interaction and In-Vehicle Interfaces Requiring Minimal Driver Processing
JP2010205130A (ja) * 2009-03-05 2010-09-16 Denso Corp 制御装置
US9213466B2 (en) * 2009-07-20 2015-12-15 Apple Inc. Displaying recently used functions in context sensitive menu
JP2011113483A (ja) * 2009-11-30 2011-06-09 Fujitsu Ten Ltd 情報処理装置、オーディオ装置及び情報処理方法
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20180032997A1 (en) * 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
CN103917847B (zh) * 2011-11-10 2017-03-01 三菱电机株式会社 导航装置及方法
KR101992676B1 (ko) * 2012-07-26 2019-06-25 삼성전자주식회사 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
CN105246743B (zh) * 2013-05-21 2017-03-29 三菱电机株式会社 语音识别装置、识别结果显示装置及显示方法
US20150052459A1 (en) * 2013-08-13 2015-02-19 Unisys Corporation Shortcut command button for a hierarchy tree
KR20150025214A (ko) * 2013-08-28 2015-03-10 삼성전자주식회사 동영상에 비주얼 객체를 중첩 표시하는 방법, 저장 매체 및 전자 장치
KR102229356B1 (ko) * 2013-09-05 2021-03-19 삼성전자주식회사 제어 장치
US9383827B1 (en) * 2014-04-07 2016-07-05 Google Inc. Multi-modal command display
US9576575B2 (en) * 2014-10-27 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Providing voice recognition shortcuts based on user verbal input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239963A (ja) * 2003-02-03 2004-08-26 Mitsubishi Electric Corp 車載制御装置
JP2011080824A (ja) * 2009-10-06 2011-04-21 Clarion Co Ltd ナビゲーション装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016002406A1 (ja) * 2014-07-04 2017-04-27 クラリオン株式会社 車載対話型システム、及び車載情報機器

Also Published As

Publication number Publication date
JPWO2016103465A1 (ja) 2017-04-27
US20170301349A1 (en) 2017-10-19
CN107110660A (zh) 2017-08-29
JP6522009B2 (ja) 2019-05-29
DE112014007288T5 (de) 2017-09-07

Similar Documents

Publication Publication Date Title
JP6570651B2 (ja) 音声対話装置および音声対話方法
JP6400109B2 (ja) 音声認識システム
JP5762660B2 (ja) 音声認識装置、認識結果表示装置および表示方法
JP5925313B2 (ja) 音声認識装置
WO2013005248A1 (ja) 音声認識装置およびナビゲーション装置
US20150331665A1 (en) Information provision method using voice recognition function and control method for device
JP6725006B2 (ja) 制御装置および機器制御システム
JP5677650B2 (ja) 音声認識装置
CN105448293B (zh) 语音监听及处理方法和设备
WO2016103465A1 (ja) 音声認識システム
KR20150089145A (ko) 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
US10671343B1 (en) Graphical interface to preview functionality available for speech-enabled processing
JP6214297B2 (ja) ナビゲーション装置および方法
JP2008145693A (ja) 情報処理装置及び情報処理方法
WO2004019197A1 (ja) リズムパターンを用いた制御システム、方法およびプログラム
JP4498906B2 (ja) 音声認識装置
JP3296783B2 (ja) 車載用ナビゲーション装置および音声認識方法
JP5446540B2 (ja) 情報検索装置、制御方法及びプログラム
JP2008233009A (ja) カーナビゲーション装置及びカーナビゲーション装置用プログラム
JP2015129672A (ja) 施設検索装置および方法
WO2015102039A1 (ja) 音声認識装置
JP2017102320A (ja) 音声認識装置
KR20210015986A (ko) 전자 장치 및 이의 음성 인식 방법
JP2017167600A (ja) 端末装置
JPWO2013005248A1 (ja) 音声認識装置およびナビゲーション装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14909069

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016565813

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15509981

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014007288

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14909069

Country of ref document: EP

Kind code of ref document: A1