WO2019098038A1 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2019098038A1
WO2019098038A1 PCT/JP2018/040663 JP2018040663W WO2019098038A1 WO 2019098038 A1 WO2019098038 A1 WO 2019098038A1 JP 2018040663 W JP2018040663 W JP 2018040663W WO 2019098038 A1 WO2019098038 A1 WO 2019098038A1
Authority
WO
WIPO (PCT)
Prior art keywords
result
response
semantic analysis
user
speech
Prior art date
Application number
PCT/JP2018/040663
Other languages
English (en)
French (fr)
Inventor
広 岩瀬
真一 河野
祐平 滝
邦仁 澤井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/472,544 priority Critical patent/US11217230B2/en
Priority to JP2019527257A priority patent/JP7243625B2/ja
Priority to EP18879800.3A priority patent/EP3567585A4/en
Publication of WO2019098038A1 publication Critical patent/WO2019098038A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision

Definitions

  • the present technology relates to an information processing apparatus and an information processing method, and more particularly to an information processing apparatus and an information processing method capable of speeding up the response of a system response to a user's utterance.
  • speech dialog systems that make responses in accordance with user's speech have begun to be used in various fields.
  • the speech dialogue system is required not only to recognize the speech of the user's speech but also to estimate the intention of the user's speech and to make an appropriate response.
  • the duration is independently set in a portion where the utterance may pause halfway in the information that defines the word order of the utterance, and the duration is set longer during the speech recognition.
  • a technique is disclosed that detects completion of a speech and responds when the speech pause has continued.
  • the present technology has been made in view of such a situation, and enables to speed up the response of a system response to the user's speech.
  • An information processing apparatus is an information processing apparatus including a processing unit that determines the presence or absence of a response to an utterance of the user based on a result of semantic analysis obtained from an intermediate result of speech recognition of the user's utterance. is there.
  • the information processing device in the information processing method of an information processing device, the information processing device utters the user based on a result of semantic analysis obtained from an intermediate result of speech recognition of the user's speech. It is an information processing method that determines the presence or absence of a response to.
  • the presence or absence of a response to the user's utterance is determined based on a result of semantic analysis obtained from an intermediate result of speech recognition of the user's utterance.
  • the information processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the speech recognition engine will detect the completion of the user's speech when there is no speech input of the user 2 for about 1 to 2 seconds.
  • the speech dialogue system 90 since the speech by the user 2 is performed before the completion of the user speech is detected, the speech dialogue system 90 according to the conventional speech dialogue system 90 utters “put in a schedule” at time t13 to time t14.
  • the speech recognition process using the above is performed, and the halfway result (ASR halfway result) of the speech recognition (ASR) is updated.
  • the user speech completion is detected at time t15 by further waiting for the user speech completion.
  • semantic analysis processing using the result of speech recognition ASR
  • NLU Natural Language Understanding
  • the system response time (for example, the time from time t14 to time t16 in FIG. ) Takes some time (eg, a few seconds). Therefore, the system response time will be delayed.
  • the turn of the dialogue is delayed, and the user 2 feels stress. Furthermore, the user 2 repeats the experience of waiting for a system response for a few seconds after his / her speech, so that the speech turns like speech without the speech command.
  • the voice command in this case means that the user issues a specific command by voice, not natural speech by the user.
  • the system may determine that the user's speech is complete, and may return a system response different from the user's 2 speech intention.
  • speech recognition processing is performed using the speech U21 that is "a meeting from 9 o'clock tomorrow" from time t21 to time t22, and the speech recognition ( After the intermediate result (ASR intermediate result) of ASR) is updated, the semantic analysis process is performed immediately after waiting for a short waiting time (time from time t22 to time t23).
  • the system response time (time from time t22 to time t23 in FIG. 2) is shortened compared to the system response time (time from time t14 to time t16 in FIG. 1) shown in FIG. , but can not understand the intention of the user 2 and a response R21 of “I did not understand” is performed.
  • the user 2 who receives an unintended response from the system has to speak again from the beginning. Also, in order to avoid such an event, the user 2 has to speak to the system (in a single breath) without leaving a pause, and the user 2's speech burden becomes large. I will.
  • FIG. 3 is a block diagram showing an example of the configuration of a voice dialogue system to which the present technology is applied.
  • the voice dialogue system 1 is installed on the local side such as a user's home, and is installed on the terminal device 10 functioning as a user interface for voice dialogue service, and on the cloud side such as a data center, and processes for realizing the voice dialogue function. It comprises the server 20 to perform. In the voice dialogue system 1, the terminal device 10 and the server 20 are mutually connected via the Internet 30.
  • the terminal device 10 is, for example, a speaker connectable to a network such as a home LAN (Local Area Network), and is also referred to as a smart speaker or a home agent.
  • a speaker connectable to a network such as a home LAN (Local Area Network), and is also referred to as a smart speaker or a home agent.
  • This type of speaker has functions such as voice interaction with the user and voice operation to devices such as lighting fixtures and air conditioners, in addition to reproduction of music.
  • the terminal device 10 is not limited to the speaker, and may be configured as, for example, a game machine, a mobile device such as a smartphone or a mobile phone, or a tablet computer.
  • the terminal device 10 can provide (a user interface of) a voice interactive service to the user by cooperating with the server 20 via the Internet 30.
  • the terminal device 10 picks up the voice (user's speech) emitted from the user, and transmits the voice data to the server 20 via the Internet 30. Further, the terminal device 10 receives the processing data transmitted from the server 20 via the Internet 30, and outputs information such as voice according to the processing data.
  • the server 20 is a server (information processing apparatus) that provides a cloud-based voice interaction service.
  • the server 20 performs processing such as voice recognition processing and semantic analysis processing based on voice data transmitted from the terminal device 10 via the Internet 30, and processing data corresponding to the processing result is transmitted to the Internet 30.
  • processing such as voice recognition processing and semantic analysis processing based on voice data transmitted from the terminal device 10 via the Internet 30, and processing data corresponding to the processing result is transmitted to the Internet 30.
  • FIG. 4 is a block diagram showing an example of a functional configuration of a voice dialogue system to which the present technology is applied.
  • the voice dialogue system 1 includes a voice input unit 101, an image input unit 102, a sensor unit 103, a voice recognition unit 104, an image recognition unit 105, a sensor recognition unit 106, a natural language processing unit 107, semantic analysis and response determination.
  • the voice input unit 101 is composed of, for example, a voice input device such as a microphone.
  • the voice input unit 101 supplies voice data obtained by converting the voice uttered by the user 2 into an electrical signal to the voice recognition unit 104.
  • the image input unit 102 includes, for example, an image input device such as a camera having an image sensor.
  • the image input unit 102 supplies image data obtained by imaging a subject such as the user 2 to the image recognition unit 105.
  • the sensor unit 103 includes, for example, sensor devices such as various sensors.
  • the sensor unit 103 senses the user 2 and its surroundings, and supplies sensor data according to the sensing result to the sensor recognition unit 106.
  • a biological sensor that detects biological information such as breathing, pulse, fingerprint, or iris
  • a magnetic sensor that detects the magnitude or direction of a magnetic field (magnetic field)
  • an acceleration sensor that detects acceleration
  • an angle A gyro sensor that detects (attitude), angular velocity, and angular acceleration
  • a proximity sensor that detects an approaching object, and the like
  • the sensor unit 103 may be an electroencephalogram sensor attached to the head of the user 2 and detecting an electroencephalogram by measuring an electric potential or the like. Furthermore, the sensor unit 103 includes a temperature sensor for detecting temperature, a humidity sensor for detecting humidity, a sensor for measuring the surrounding environment such as an ambient light sensor for detecting the brightness of the surroundings, or GPS (Global Positioning) Sensors can be included to detect position information such as System) signals.
  • a temperature sensor for detecting temperature
  • a humidity sensor for detecting humidity
  • a sensor for measuring the surrounding environment such as an ambient light sensor for detecting the brightness of the surroundings
  • GPS Global Positioning
  • the speech recognition unit 104 performs speech recognition processing based on the speech data supplied from the speech input unit 101, and supplies the result of the speech recognition to the natural language processing unit 107 and the semantic analysis / response judgment processing unit 108. .
  • a process of converting voice data from the voice input unit 101 into text data is performed by referring to a database for voice text conversion.
  • this speech recognition process for example, a process of analyzing (the signal waveform of) speech data from the speech input unit 101 or the like is performed on speech data to extract speech recognition results used in subsequent semantic analysis control processes. Processing is performed.
  • speech recognition for obtaining text data (spoken sentence) of the speech of the user 2 is referred to as "speech recognition (ASR: Automatic Speech Recognition)".
  • ASR Automatic Speech Recognition
  • ASR result the result of speech recognition used to determine the timing of inputting an intermediate result of speech recognition (ASR) (hereinafter also referred to as intermediate ASR result) into semantic analysis processing in the subsequent sequential semantic analysis control processing. To distinguish.
  • the image recognition unit 105 performs image recognition processing based on the image data supplied from the image input unit 102, and supplies the result of the image recognition to the semantic analysis / response determination processing unit 108. In this image recognition process, a process for extracting the result of the image recognition used in the subsequent sequential semantic analysis control process is performed on the image data.
  • the sensor recognition unit 106 performs sensor recognition processing based on the sensor data supplied from the sensor unit 103, and supplies the result of the sensor recognition to the semantic analysis / response determination processing unit 108. In this sensor recognition process, a process for extracting the result of sensor recognition used in the subsequent sequential semantic analysis control process is performed on sensor data.
  • the natural language processing unit 107 performs natural language processing based on the result of speech recognition (ASR) supplied from the speech recognition unit 104, and the result of natural language recognition (natural language analysis) is subjected to semantic analysis and response determination.
  • ASR speech recognition
  • the data is supplied to the processing unit 108.
  • NLP Natural Language Processing
  • processing such as classification of parts of speech of morphemes, analysis of association between segmented morphemes, and the like is performed by morpheme analysis, syntax analysis, and the like.
  • the semantic analysis / response determination processing unit 108 receives the result of speech recognition (ASR) by the speech recognition unit 104 (ASR midway result) and the speech recognition result from the speech recognition unit 104 as well as the image recognition from the image recognition unit 105. As a result, the result of sensor recognition from the sensor recognition unit 106 and the result of natural language recognition from the natural language processing unit 107 are supplied.
  • ASR speech recognition
  • the semantic analysis / response determination processing unit 108 performs a semantic analysis process on the result (ASR halfway result) of speech recognition (ASR) based on the result of speech recognition, the result of image recognition, the result of sensor recognition, and the result of natural language recognition.
  • ASR speech recognition
  • the presence or absence of a response is determined based on the result of the semantic analysis, and the result of the response presence / absence determination is supplied to the response generation unit 109.
  • the semantic analysis / response determination processing unit 108 includes a sequential semantic analysis control unit 121, a semantic analysis unit 122, and a response presence / absence determination unit 123.
  • the sequential semantic analysis control unit 121 performs sequential semantic analysis control processing based on the result of speech recognition, the result of image recognition, the result of sensor recognition, and the result of natural language recognition, and the semantic analysis performed by the semantic analysis unit 122 Control the process.
  • the interval between utterances is small based on the result of at least one of speech recognition result, image recognition result, sensor recognition result, and natural language recognition result.
  • the time of) exceeds a certain time, it is determined that it is the timing of the input to the semantic analysis processing of the ASR intermediate result, and the ASR intermediate result is input to the semantic analysis processing.
  • the semantic analysis unit 122 performs semantic analysis processing based on the ASR intermediate result supplied from the sequential semantic analysis control unit 121, and supplies the result of the semantic analysis (NLU: Natural Language Understanding) to the response presence / absence determination unit 123. Do.
  • the intermediate result (text data) of speech recognition (ASR) which is a natural language is converted into a representation that can be understood by a machine (system) by referring to a database for speech language understanding or the like. Processing is performed.
  • ASR speech recognition
  • NLU semantic analysis
  • the response presence / absence determination unit 123 performs response presence / absence determination processing based on the result of semantic analysis (NLU) supplied from the semantic analysis unit 122, and supplies the result of the response presence / absence determination to the response generation unit 109.
  • NLU semantic analysis
  • this response existence determination processing based on the result (Intent, Entity) of the semantic analysis (NLU) on the ASR intermediate result, for example, whether or not the function of the system conforms to the situation of interaction with the user 2, the function of the system Whether or not a system response (response) is to be made is determined based on whether or not it is the intent (Intent) of a request to be received.
  • the response existence determination process will be described later with reference to FIGS. 7 to 10 and the like.
  • the response generation unit 109 performs a response generation process based on the result of the response presence / absence judgment supplied from (the response presence / absence judgment unit 123) of the semantic analysis / response judgment processing unit 108, and generates the voice synthesis as the result of the response generation. It is supplied to the processing unit 110 or the output image processing unit 111.
  • a system response for example, semantic analysis (NLU) corresponding to the result (Intent, Entity) of the semantic analysis (NLU). Based on the result of), a response according to the function of the system to be executed is generated.
  • NLU semantic analysis
  • the speech synthesis processing unit 110 performs speech synthesis processing based on the result of response generation supplied from the response generation unit 109, and supplies the speech synthesis result to the speech output unit 112.
  • the output image processing unit 111 performs output image processing based on the result of response generation supplied from the response generation unit 109, and supplies the result of the output image to the image output unit 113.
  • the audio output unit 112 includes, for example, an audio output device such as a speaker or a headphone.
  • the voice output unit 112 outputs a sound according to voice data as a system response (response) based on the result of voice synthesis supplied from the voice synthesis processing unit 110.
  • the image output unit 113 includes, for example, an image output device such as a liquid crystal display or an organic EL display. Based on the result of the output image supplied from the output image processing unit 111, the image output unit 113 outputs (displays) an image according to the image data as a system response (response).
  • an image output device such as a liquid crystal display or an organic EL display.
  • the voice dialogue system 1 is configured as described above.
  • the voice dialogue system 1 of FIG. 4 it is optional whether to incorporate the voice input unit 101 to the image output unit 113 into which one of the terminal device 10 (FIG. 1) and the server 20 (FIG. 1).
  • the following configuration can be made.
  • the speech recognition unit 104 the image recognition unit 105, the sensor recognition unit 106, the natural language processing unit 107, the semantic analysis / response determination processing unit 108, the response generation unit 109, the speech synthesis processing unit 110, and the output image processing unit 111.
  • the CPU Central Processing Unit
  • the terminal device 10 and the server 20 each have a communication I / F configured of a communication interface circuit or the like in order to exchange data via the Internet 30.
  • the terminal device 10 and the server 20 communicate via the Internet 30, and on the server 20 side, based on the result of recognition from the terminal device 10, sequential semantic analysis control processing and response Processing such as presence determination processing can be performed.
  • the terminal device 10 is provided with an input unit including, for example, a button, a keyboard, or the like so that an operation signal according to the operation of the user 2 can be obtained, or the image output unit 113
  • the display unit may be configured as a touch panel integrated with the display unit, and an operation signal may be obtained according to an operation by the user 2's finger or a touch pen (stylus pen).
  • This voice interaction process is performed when the user 2 existing near the terminal device 10 starts speaking.
  • An instruction may be given.
  • step S11 the voice input unit 101 receives the speech of the user 2 by collecting the voice emitted from the user 2.
  • step S12 the recognition unit such as the speech recognition unit 104 performs recognition processing during user speech based on data from the input unit on the previous stage such as the speech input unit 101.
  • the speech recognition unit 104 performs speech recognition processing based on the speech data from the speech input unit 101, and obtains the result of speech recognition (ASR) (ASR middle result).
  • ASR speech recognition
  • At least one recognition process is performed among the speech recognition process by the speech recognition unit 104, the image recognition process by the image recognition unit 105, and the sensor recognition process by the sensor recognition unit 106, and the subsequent semantic analysis control process (S13) The result of the recognition used in) is obtained.
  • natural language processing may be performed by the natural language processing unit 107 so that the result of natural language recognition may be obtained.
  • step S13 the sequential semantic analysis control unit 121 performs sequential semantic analysis control processing based on the recognition result (the recognition result of each input unit) obtained in the processing of step S12, and performs speech recognition (ASR) in the middle Input control to the semantic analysis process (S15) of the result (ASR halfway result) is performed.
  • ASR speech recognition
  • semantic analysis of ASR intermediate results for example, when the time between minute intervals of speech exceeds a certain time or when the reliability score exceeds a certain threshold. It is determined that it is the timing of input to the process ("YES" in S14), and the intermediate result (ASR intermediate result) of speech recognition (ASR) is input to the semantic analysis process.
  • step S13 If it is determined that it is not the timing to input the ASR intermediate result into the semantic analysis process by the injection control performed in the process of step S13 ("NO" in S14), the process returns to step S11, and the process described above Repeated. On the other hand, when it is determined that it is the timing of inputting the ASR intermediate result into the semantic analysis process ("YES" in S14), the process proceeds to step S15.
  • step S15 the semantic analysis unit 122 performs a semantic analysis process on the ASR intermediate result input in the process of step S13.
  • step S16 the response presence determination unit 123 determines whether to perform a system response based on the result (Intent, Entity) of the semantic analysis (NLU) obtained in the process of step S15.
  • step S16 If it is determined in step S16 that no system response is to be made, the process returns to step S11, and the above-described processes of steps S11 to S16 are repeated.
  • the system response determination process is repeatedly performed by the response presence / absence determination unit 123 each time the result of semantic analysis (NLU) on the ASR intermediate result is obtained.
  • the system response is to be performed when the result (Intent, Entity) of the semantic analysis (NLU) that can execute the function of the system according to the situation of the dialogue is obtained.
  • step S16 determines whether a system response is to be performed. If it is determined in step S16 that a system response is to be performed, the process proceeds to step S17.
  • step S17 the response generation unit 109 generates a system response according to the result (Intent, Entity) of the semantic analysis (NLU) obtained in the process of step S15.
  • a system response corresponding to a function of the system for example, an electronic mail processing function, a weather confirmation function, etc.
  • NLU semantic analysis
  • step S18 the speech synthesis processing unit 110 performs speech synthesis processing based on the result of the response generation obtained in the process of step S17, and outputs the speech of the system response obtained thereby from the speech output unit 112. Thus, a system response is presented to the user 2.
  • an output image or the like generated by the output image processing unit 111 may be output.
  • the system response may be presented by touch, for example, by vibration of a device (for example, a smartphone, wearable device, etc.) worn by the user 2 as well as voice information and visual information. .
  • the speech of the user 2 is subjected to speech recognition through the speech input unit 101 such as a microphone, and the contents of the speech are converted to text and sequentially It is sent to the analysis control unit 121.
  • This speech recognition process is always performed during the speech of the user 2, and the text data (ASR halfway result) in the middle of the speech that could be recognized is sequentially sent to the semantic analysis control unit 121.
  • the speech recognition process may not only convert the user 2's speech content into text, but also detect prosody of the input speech, such as speech pitch extraction, and sequentially send it to the semantic analysis control unit 121.
  • image data obtained by imaging the user 2 and its surroundings are subjected to image recognition processing through the image input unit 102 such as a camera, etc., in addition to the voice of the user 2's speech, and the face orientation of the user 2 is recognized
  • image recognition processing through the image input unit 102 such as a camera, etc.
  • line-of-sight information of the user 2 may be subjected to sensor recognition processing through the sensor unit 103 so that the line-of-sight direction of the user 2 may be recognized.
  • the speech dialogue process (FIG. 5) executed by the speech dialogue system 1, based on the speech situation (for example, minute intervals of speech, reliability of speech recognition (ASR), etc.) obtained from the recognition result, every time it is judged that the ASR intermediate result is input timing, the ASR intermediate result is input to the semantic analysis processing, whereby the intention (Intent) and the entity information (Entity) obtained as the result of the semantic analysis (NLU) are obtained.
  • the voice dialogue system 1 obtains the intent (Intent) and entity information (Entity) that can execute the function (action) according to the situation of the dialogue, the system response is sent to the user 2. returned.
  • the voice dialogue system for example, when the result (Intent, Entity) of the semantic analysis (NLU) according to the function not conforming to the situation of the dialogue is obtained, the system response is not returned. It will continue speech recognition (ASR) of speech.
  • ASR speech recognition
  • the sequential semantic analysis control unit 121 sequentially determines, based on the recognition result sequentially sent from the speech recognition unit 104, the image recognition unit 105, the sensor recognition unit 106, and the natural language processing unit 107, during the speech of the user 2. By performing the semantic analysis control process, it is possible to determine the injection timing of the ASR intermediate result.
  • A When the time between minute utterances exceeds a certain time (B) When the reliability score exceeds a certain threshold (C) When a predicate clause indicating a request or a question is detected (D) When a specific wording word is detected at the end of the text (E) When an intonation indicating a question in the speech prosody is detected (F) when the user's face faces the device or when the device deviates from the device (G) When the gaze looks at the device or deviates from the device
  • the above-described conditions (A) to (G) exemplify the conditions for detecting the timing of inputting the ASR intermediate result into the semantic analysis process, and the timing of inputting to the semantic analysis process Other conditions may be used as long as they can detect.
  • the speech recognition process using the utterance "Meeting from 9 o'clock tomorrow" is performed from time t31 to time t32, and the ASR intermediate result is updated, but after time t32, the ASR intermediate result Update is stopped, and the ASR interim result is not updated even if the threshold (threshold time) is exceeded. Therefore, when time t33 is reached, it is determined that it is the insertion timing of the ASR intermediate result, and the ASR intermediate result which is "a meeting from 9 o'clock tomorrow" is input to the semantic analysis processing, and the semantic analysis (NLU) The result is obtained.
  • the semantic analysis control unit 121 sequentially determines that it is the insertion timing of the ASR intermediate result, and causes the ASR intermediate result to be subjected to the semantic analysis processing performed by the semantic analysis unit 122. throw into.
  • (B) Second Condition When the second condition of (B) described above is used, for example, based on the result of speech recognition by the speech recognition unit 104, the reliability score attached to the ASR intermediate result is constant. When the threshold value is exceeded (that is, when the ASR intermediate result is reliable contents), the sequential semantic analysis control unit 121 determines that it is the insertion timing of the ASR intermediate result, and the ASR intermediate result is input to the semantic analysis process. Do.
  • (C) Third Condition When the third condition of (C) described above is used, the ASR intermediate result (text) is obtained based on the natural language result obtained by inputting the ASR intermediate result to the natural language processing.
  • the sequential semantic analysis control unit 121 determines that it is the insertion timing of the ASR intermediate result, and inputs the ASR intermediate result to the semantic analysis process.
  • (E) Fifth Condition In the case of using the fifth condition of (E) described above, for example, intonation that indicates a question in speech prosody on the basis of the result of speech recognition by the speech recognition unit 104 (for example, word ending is raised) And so on), the sequential semantic analysis control unit 121 determines that it is the injection timing of the ASR intermediate result, and inputs the ASR intermediate result to the semantic analysis process.
  • (F) Sixth Condition When the sixth condition of (F) described above is used, for example, the face of the user 2 is a terminal during the utterance of the user 2 based on the result of the image recognition by the image recognition unit 105
  • the semantic analysis control unit 121 sequentially determines that it is the timing for entering the ASR interim result, and the ASR interim result is Input to analysis processing.
  • the direction of the face of the user 2 who is speaking may be detected.
  • (G) Seventh Condition When the seventh condition of (G) described above is used, for example, based on the result of the image recognition by the image recognition unit 105, the line of sight of the user 2 is a terminal during the speech of the user 2.
  • the semantic analysis control unit 121 determines that it is the injection timing of the ASR intermediate result, and the ASR intermediate result is Input to analysis processing.
  • the direction of the line of sight of the user 2 who is speaking may be detected based on the result of the sensor recognition by the sensor recognition unit 106.
  • the voice interactive system 1 is ASR based on the result of the recognition. It is also possible to determine the injection timing of the intermediate result.
  • the input of the ASR intermediate result to the semantic analysis processing may be stopped.
  • the start of the conversation between the users can be recognized from, for example, the direction of the face or body of each user, the direction of the line of sight, or the like based on the result of the image recognition.
  • the stop of the input to the semantic analysis process of the ASR intermediate result here means that the speech dialogue system 1 does not respond to the system.
  • the user 2 starts speaking to a target device (for example, the terminal device 10), for example, starts talking with a telephone or an interphone
  • a target device for example, the terminal device 10
  • the input of the ASR intermediate result to the semantic analysis process may be stopped.
  • the cooperation with the external device means, for example, notifying that the external device such as a telephone or an intercom is in a call state via a network such as a home LAN. Also here, stopping the input to the semantic analysis process of the ASR intermediate result means that the system response is not performed.
  • the semantic analysis control unit 121 sequentially determines, for example, one or a plurality of the first to seventh conditions described above. Sequential semantic analysis control processing is performed using a combination of conditions. Further, in the voice dialogue system 1, when it is determined by the sequential semantic analysis control processing that it is the insertion timing of the ASR intermediate result, the ASR intermediate result corresponding to the section from the speech start position to the insertion judgment position of the input timing is , And is input to the semantic analysis processing by the semantic analysis unit 122.
  • the ASR intermediate result input to the semantic analysis process is limited to only the section from the speech start position to the determination target position, when an utterance including a long sentence or a compound sentence is made, the subsequent injection timing For example, the following processing can be performed.
  • the input timing before or before the previous time may be input to the semantic analysis process .
  • the semantic analysis process is performed on the ASR intermediate result which is sequentially input whenever it is determined to be the input timing until the utterance by the user 2 is completed, and the resultant semantic analysis (NLU Based on the result (Intent, Entity), it is judged whether there is a system response.
  • the voice dialogue system 1 when "the speech situation where the speech of the user 2 may be completed may be detected" during the speech of the user 2, it is possible to speculatively respond to the speech at that time. And semantic analysis processing is performed.
  • the time for example, several times faster
  • the conventional method for example, the example in FIG. 1 in which the completion of the utterance is determined by the absence of voice input of about 1 to 2 seconds.
  • NLU semantic analysis
  • the response presence / absence determination unit 123 performs the response presence / absence determination processing based on the result of the semantic analysis (NLU) obtained by the semantic analysis unit 122 sequentially performing the semantic analysis processing. It is determined that the system response is to be performed when the result of semantic analysis (NLU) that can execute the function (action) in accordance with the situation of the dialogue is obtained.
  • NLU semantic analysis
  • FIG. 7 shows a first example of the response presence / absence judgment. However, in this first example, it is assumed that the voice dialogue system 1 has a schedule function of managing the schedule of the user as one of its functions.
  • the voice dialogue system 1 recognizes the activation word issued by the user 2 and waits for a request from the user 2.
  • the voice dialogue system 1 inputs the ASR intermediate result when the ASR intermediate result is not updated beyond the threshold (for example, 300 ms) by the time the speech of “put in the schedule” is started. It is determined that it is timing.
  • the response presence / absence determination unit 123 determines that the result of the semantic analysis (NLU) of the utterance that is “Meeting from 9 o'clock tomorrow” is a function of the speech dialogue system 1 (system). Since it is not the intent (Intent) of the request that can be received, it is determined not to respond. Therefore, at this time, the voice dialogue system 1 becomes unresponsive to the user 2.
  • voice recognition processing using an utterance “I have been put in place” is performed from time t34 to time t35 as in the example of FIG.
  • the update is resumed.
  • time t35 updating of the ASR intermediate result is stopped, and it is determined at time t36 that it is the insertion timing of the ASR intermediate result, and the ASR intermediate result is input to the semantic analysis process, and the semantic analysis (NLU) The result is obtained.
  • FIG. 8 is a diagram showing a second example of the response presence / absence judgment.
  • the voice dialogue system 1 has an electronic mail processing function of controlling transmission / reception, transfer and the like of electronic mail as one of the functions.
  • the voice dialogue system 1 performs the ASR on the way It is determined that it is the input timing of the result.
  • the speech recognition process using the utterance "A, let's start now" is performed from time t41 to time t42, and the ASR intermediate result is updated, but after time t42 Update of ASR result is stopped. Therefore, at time t43, it is determined that it is the injection timing of the ASR intermediate result, and the ASR intermediate result is input to the semantic analysis processing, and the result (Intent, Entity) of the semantic analysis (NLU) is obtained.
  • pouring timing was determined using the 1st conditions of above-mentioned (A), you may make it use another conditions here.
  • the response presence / absence determination unit 123 determines that the result of the semantic analysis (NLU) of the utterance “A, let's start now” as a response to the question R41. Since it is not possible to execute the function of the system in accordance with the situation (because it is not the intent (Intent) regarding the e-mail processing function), it is determined that the response is not made. Therefore, at this time, the voice dialogue system 1 becomes unresponsive to the user 2.
  • Intent “E-mail transfer”
  • Entity “smart phone” is obtained as a result of semantic analysis (NLU) of the utterance “send to smartphone”, and the answer R / N decision section 123 has a question R41. It is determined that the response is to be made because the response to the message is in line with the situation of the dialog and can be executed as an electronic mail processing function.
  • a response R42 of "transfer to the smartphone" is given to the user 2, and the smartphone possessed by the user 2 is received from Mr. xx by the electronic mail processing function. Processing is performed to forward the e-mail.
  • FIG. 9 is a diagram illustrating a third example of the response presence / absence determination.
  • the voice dialogue system 1 is asking the question R41 which is "Do you read mail from Mr. xx?", As in the example of FIG. 8 described above.
  • the user 2 has made an answer U42 of "Ah, I'm going out now, send to the smartphone, and also tell the weather".
  • the voice dialogue system 1 as in the example of FIG. 8 described above, after the utterance “A, let's go from now” is finished, then the utterance “send to smartphone” is started It is determined that it is the injection timing of the ASR intermediate result when the ASR intermediate result is not updated beyond the threshold (for example, 300 ms) until then.
  • FIG. 9 similarly to the example of FIG. 8 described above, it is determined that it is the insertion timing of the ASR intermediate result at time t43, and the ASR intermediate result that is “Oh, I will go out from now” means Although it is input to the analysis processing, it is determined that the response is not to be made because the result of the semantic analysis (NLU) is not an intent (Intent) regarding the electronic mail processing function.
  • NLU semantic analysis
  • the ASR intermediate result is updated after the utterance “That is sent to the smartphone” is finished until the utterance “Teach me the weather” is started,
  • the threshold value for example, 300 ms
  • NLU semantic analysis process Input to As the result of this semantic analysis (NLU)
  • Intent "mail forwarding”
  • Intent "weather confirmation” is obtained as a result of semantic analysis (NLU) of the utterance “Teach me the weather”, and the intention (Intent) is the dialogue
  • intent can also be exceptionally recognized if it is not a context-based email processing function but it is an executable function of the system.
  • the server accessing the information on the weather forecast is accessed via the Internet 30, and the position information of the user 2 (for example, the current position) And information on the weather forecast according to the location of the place to go out, etc., and response according to the weather forecast can be performed.
  • FIG. 10 is a diagram illustrating a fourth example of the response presence / absence determination.
  • the voice dialogue system 1 is asking the question R41 which is "Do you read a mail from Mr. xx?"
  • R41 is "Do you read a mail from Mr. xx?"
  • the speech dialogue system 1 updates the ASR intermediate result threshold value by the time the speech of "Tell me now” is finished and the speech of "Teach me the weather” is started. For example, when it is not updated beyond 300 ms, it is determined that it is the injection timing of the halfway result of ASR.
  • FIG. 10 similarly to FIG. 8 and FIG. 9 described above, it is determined that it is the insertion timing of the ASR intermediate result at time t43, and the ASR intermediate result is “Oh, I will go out from now”. Although it is input to the semantic analysis processing, it is determined that the response is not to be made because the result of the semantic analysis (NLU) is not an intent (Intent) regarding the electronic mail processing function.
  • NLU semantic analysis
  • the ASR intermediate result is updated after the utterance "Teach me the weather” is finished and until the utterance "I send mail to the smartphone" is started.
  • the threshold for example, 300 ms
  • the voice dialogue system 1 since it is in the middle of the response R43 of the weather check function, it is performed after the response R43 of the weather check function is completed without immediately sending the response 42 of the electronic mail processing function. Let's do it. That is, in the fourth example, as in the third example described above, if the previous response (preceding response) is interrupted and the later response (response to the subsequently acquired intent (Intent)) is performed. Since the process ends prematurely before the content of the weather forecast can be transmitted, the response R42, which is the later response, is started after the response R43, which is the earlier response, is completed.
  • the process of transferring the electronic mail by the electronic mail processing function may start after completion of the response R43 to the user 2, or the process may be started before the response R43 ends. .
  • the schedule function for example, registration of a schedule
  • the electronic mail processing function for example, electronic mail transfer
  • the weather confirmation function are taken as examples of voice communication system 1
  • the functions of the voice dialogue system 1 may include other functions as well as those functions.
  • a system response can be determined depending on whether it is executable as a function of the voice interaction system 1 or not.
  • the speech of the user 2 is not in line with the situation of the dialogue, and the voice recognition process is continuously continued without returning a system response, for example, for a predetermined time If there is no voice input for about 2 seconds, and the voice recognition process is completed, for example, a response such as “I did not understand” or “Please say in a different way” will be made. It is also good.
  • the voice interaction system 1 not only immediately responds when the system response (response utterance) can be executed as a function of the system, but also depends on the state of the user 2 such as the user's age or speaking style. It may be changed. More specifically, for example, when the user 2 is an elderly person or a person who speaks slowly, it is not necessary to immediately give a response speech, but to respond slowly, for example, to respond slowly. It is possible.
  • the completion of the utterance of the user 2 is determined based on the absence of voice input at a certain time as in the conventional method (for example, the example of FIG. 1), the completion of the utterance is determined by NLU It is possible to statistically collect and learn whether an input judgment factor or an intention (intent) obtained as a result of semantic analysis (NLU) has occurred.
  • NLU semantic analysis
  • the NLU input determination factor indicates what determination factor (condition) causes the ASR intermediate result to be input to the semantic analysis process when the user 2's utterance is completed.
  • the NLU input determination factor includes, for example, the reliability score associated with the ASR intermediate result, the result of natural language recognition, a specific wording, intonation, the face direction or the line of sight of the user 2, etc. .
  • the adaptation processing may be performed based on the demographic attribute of the user 2. That is, for each user, for example, it is possible to perform classification processing based on information (demographic attribute) such as age, gender, area, etc., and perform processing that is adapted to the result of learning.
  • the demographic attribute for example, when the terminal device 10 is a network device such as a game machine, attribute information can be acquired from login information of the user.
  • FIG. 11 shows an example of adaptive processing using the result of learning.
  • the upper stage shows the learning phase than the horizontal dashed dotted line in the figure, and the lower stage shows the adaptation phase.
  • the speech recognition process using the speech U61 “Who is the weather today?” Is performed from time t61 to time t62, and the ASR intermediate result is updated, but after time t62 The update of the ASR interim result has been stopped.
  • the ASR intermediate result of the utterance U61 is input to the semantic analysis process, and the result of the semantic analysis (NLU) is obtained.
  • the confidence score of the intent (Intent) obtained as a result of semantic analysis (NLU) is low, updating of the ASR intermediate result is stopped even after the result of the semantic analysis (NLU) is obtained. However, it waits until it is determined that the speech of the user 2 is completed.
  • the system response is not performed until the result of speech recognition (ASR) is determined at time t64 and it is determined that the speech of user 2 is completed. .
  • ASR speech recognition
  • the semantic analysis / response determination processing unit 108 although the reliability score of the intent (Intent) obtained as a result of the semantic analysis (NLU) for the utterance U61 of "What is the weather of today?" U61 learns that the utterance has been completed (that is, NLU input determination factor to the semantic analysis process when the utterance of the user 2 is completed) and records it in the database.
  • intent intent obtained as a result of the semantic analysis (NLU) for the utterance U61 of "What is the weather of today?"
  • NLU semantic analysis
  • the semantic analysis / response determination processing unit 108 as an NLU input determination factor to the semantic analysis processing learned in the above-mentioned learning phase, during the ASR of the utterance U61 (utterance U71) which is "What is the weather today?"
  • the result is input to the semantic analysis process, although the confidence score of the intent (Intent) is low, since it is learning that the utterance has been completed, the adaptation is performed and the utterance follows the utterance U71. Determined to be complete.
  • the semantic analysis / response determination processing unit 108 immediately after the result of the semantic analysis (NLU) for the utterance U71 of "What's the weather for today?" Is obtained, the intention (Intent) is "weather question”. Execute the corresponding weather check function so that the system response (for example, "Today's weather is fine”) is performed.
  • NLU semantic analysis
  • the speech of the user 2 is completed at time t74 after the semantic analysis process is completed by performing the adaptive process (response presence / absence determination process) using the result of learning the use situation of the user 2 Since the system response can be performed, it is possible to speed up the response of the system response to the speech of the user 2 as compared with the case where the learning result is not used.
  • the semantic analysis and response judgment processing unit 108 obtains, for example, NLU input judgment factors to the semantic analysis processing when the user 2's speech is completed, and sequential analysis processing. (Intent) is learned statistically on the time axis, and in the adaptation phase, processing (response presence / absence judgment processing) adapted to the learning result (for example, statistical information of the speech completion record) in the subsequent processing. It can be said that it does.
  • the semantic analysis and response determination processing unit 108 may perform the adaptive processing based on the demographic attribute of the user 2 when performing the adaptive processing using the learning result.
  • the voice dialogue system 1 when the terminal device 10 on the local side can use a plurality of communication modes such as sight and hearing, while the user 2 is speaking using the multimodal interface.
  • information that can be presented other than the response utterance may be presented in advance.
  • the system response can be quickly presented to the user 2 who is speaking by displaying information that can be presented in advance prior to the response utterance on the screen.
  • utterance A the utterance from the start of utterance by user 2 to the halfway result of ASR
  • utterance B An utterance from the start of the continuation to the completion
  • the voice dialogue system 1 raises the volume while the speech B is being uttered, and displays the information of the volume meter on the screen of the image output unit 113, and then, when the speech B is completed, Information on the weather of tomorrow can be output as a voice.
  • the voice dialogue system 1 displays a list of representative music titles of the searched artist on the screen of the image output unit 113 up to " ⁇ artist name>" which is the speech A, and then the speech B In the case of "search for song title", playback of the target song is started, and the music is output from the audio output unit 112.
  • the voice interaction system 1 utters “I want to listen” which is the utterance A, Start the player for playing music and display it on the screen of the image output unit 113. After that, for example, when the song title is said as the speech B, start playing the song and sound-output the music It will be output from the part 112.
  • the voice dialogue system 1 performs the map application at the time when the utterance that is “Tokyo” is uttered. Start up and display a map of Tokyo, and then, when the utterance "Minato Ward” is made, expand the map of Tokyo and display a map of Minato Ward. Then, the speech dialogue system 1 further expands the map of the Minato Ward and displays the map of the Konan area when the utterance "Konan” is made. That is, on the screen of the image output unit 113, each time the user 2 issues a place name, the area of the map is enlarged and displayed according to the place name.
  • the voice dialogue system 1 may sequentially display the schedule of the target user on the screen.
  • the voice dialogue system 1 when searching for a plurality of keywords by voice, even when the user 2 issues a keyword, the voice dialogue system 1 sequentially displays the search result narrowed down by the target keyword on the screen. Good (in other words, it can be said that an incremental search function is realized).
  • the result of the semantic analysis (NLU) of the utterance A is not in line with the situation of the dialogue, and the speech dialogue system 1 responds to the result of the semantic analysis (NLU)
  • NLU semantic analysis
  • a voice dialogue is presented to the user 2 by displaying on the screen information such as a mark “?”, An ear image representing that he is listening to an utterance, and an anthropomorphic agent nods. It can be informed that the system 1 continues to listen to speech.
  • the voice dialogue system 1 Information on intent (Intent) can be presented in a weaker expression than usual.
  • the difference between light and dark of the image to be displayed is reduced (the contrast is changed), and the image is displayed faintly on the screen, or the audio output unit 112 outputs You can lower the volume and make a small sound.
  • the voice dialogue system 1 obtains the information on the intent (Intent). It can be presented as a stronger expression (for example, a normal expression or a stronger expression) than the earlier weak expression.
  • a stronger expression for example, a normal expression or a stronger expression
  • the difference between brightness and darkness of the image to be displayed can be increased and the image can be clearly displayed on the screen, or the volume can be raised and a loud sound can be output.
  • the speech dialogue system 1 momentarily displays "the weather of Tokyo” as the present location when speech A is made, and then "the weather of Osaka” as the target area when speech B is made. Display clearly.
  • the target device for example, the terminal device 10
  • the target device is an anthropomorphic agent and there is a face
  • the result of semantic analysis (NLU) at the stage of speech A NLU
  • This anthropomorphic agent may direct the user 2 to look when the confidence score of the Intent) is high and the result is confident.
  • the user 2 receives feedback prompting the speech B by the line of sight, and it becomes easy to emit the speech B following the speech A.
  • the speech A corresponds to the speech A and the volume is raised for listening corresponds to the speech B, for example, the following processing can be performed. That is, since the voice dialogue system 1 is convinced of the result at the stage of the speech A, the gaze of the anthropomorphic agent is directed to the user 2.
  • the user 2 finds that the desired song has been found from the line of sight of the anthropomorphic agent, and requests the volume increase. Then, based on the result of the semantic analysis (NLU) of the speech B, the voice dialogue system 1 raises the volume and starts to play the target song.
  • the anthropomorphic agent described here may be, for example, a communication robot etc., in which the terminal device 10 itself may be anthropomorphic, or displayed as a character etc. on the screen of the image output unit 113. You may do so.
  • the response generation unit 109 when using multimodal, for example, the response generation unit 109 generates the utterance A during the utterance B according to the control from (the presence / absence of response judgment unit 123) of the semantic analysis / response determination processing unit 108.
  • the result of execution of the function according to the result of the semantic analysis (NLU) is displayed on the screen of the image output unit 113 via the output image processing unit 111.
  • the response generation unit 109 performs the result of the semantic analysis (NLU) of the utterance B according to the control from (the response presence / absence determination unit 123) of the semantic analysis / response determination processing unit 108.
  • the voice output unit 112 outputs the result (system response) of the execution of the function according to the voice synthesis processing unit 110.
  • the response presence / absence determination process is included in the process of step S16 in the voice interaction process of FIG.
  • step S31 the response presence / absence determination unit 123 determines whether the result (Intent) of the semantic analysis (NLU) obtained in the process of FIG. 5 (FIG. 5) described above indicates the context information of the user 2. Do.
  • step S31 If it is determined in step S31 that the intent (Intent) indicates the context information of the user 2, the process proceeds to step S32.
  • step S32 the response presence / absence determination unit 123 records the context information of the user 2 included in the intent (Intent) obtained as a result of the semantic analysis (NLU).
  • step S32 When the process of step S32 ends, the process proceeds to step S33.
  • the process of step S32 is skipped, and the process proceeds to step S33.
  • step S33 the response presence / absence determination unit 123 determines whether the intent (Intent) can be executed as a function of the system.
  • step S33 If it is determined in step S33 that the intent (Intent) is executable as a function of the system, the process proceeds to step S34.
  • step S34 the response presence / absence determination unit 123 determines whether the intent (Intent) matches the status of the dialogue.
  • step S34 If it is determined in step S34 that the intent (Intent) matches the state of the dialog, the process proceeds to step S35.
  • step S34 If it is determined in step S34 that the intent (Intent) is not in line with the situation of the dialog, the process proceeds to step S36.
  • step S36 the response presence / absence determination unit 123 determines whether the intent (Intent) matches the context information of the user 2.
  • step S36 If it is determined in step S36 that the intent (Intent) matches the context information of the user 2, the process proceeds to step S37.
  • step S37 the response presence / absence determination unit 123 registers a system response to the currently acquired intent (Intent) as a system response based on the context information of the user 2.
  • the process of step S37 ends, the process proceeds to step S35.
  • step S35 the response determination unit 123 determines whether the system is responding to the preceding user utterance.
  • step S35 If it is determined in step S35 that the system is in response to a preceding user utterance, the process proceeds to step S38.
  • step S38 the response presence / absence determination unit 123 determines whether or not the preceding response is a response based on the context information of the user 2.
  • step S38 If it is determined in step S38 that the preceding response has been answered based on the context information of user 2, the process proceeds to step S39.
  • step S39 the response presence / absence determination unit 123 determines that a response to the currently acquired intent (Intent) is to be executed after the preceding response is completed, and supplies the result of the response presence / absence determination to the response generation unit 109.
  • step S40 the response presence / absence determination unit 123 interrupts the preceding response, determines to immediately execute the response corresponding to the intent (Intent) acquired this time, and supplies the result of the response presence / absence determination to the response generation unit 109. Do.
  • step S41 the response presence / absence determination unit 123 determines to immediately execute the response corresponding to the intention (Intent) acquired this time, and supplies the result of the response presence / absence determination to the response generation unit 109.
  • step S33 the intent (Intent) is not executable as a function of the system, or if the intent (Intent) matches the context information of the user 2 in step S36 described above. If it is determined not, the process proceeds to step S42.
  • step S42 the response presence / absence determination unit 123 determines that the response to the currently acquired intent (Intent) is not performed, and supplies the result of the response presence / absence determination to the response generation unit 109 (here, the result of the response presence / absence determination). You do not have to give notice of
  • the context information of the user 2 is recorded based on the result of the semantic analysis (NLU) obtained according to the utterance of the user 2, but it is other than the intention (Intent) Context information of the user 2 may be obtained from other information.
  • NLU semantic analysis
  • the context information of user 2 is acquired based on the result of image recognition (image information) obtained by performing image recognition processing on image data. can do.
  • context information for example, context information that "goes out” when it is recognized that the user 2 leaves the room as a result of image recognition. Can be recorded.
  • the voice interaction system 1 can determine that the system response is to be performed based on the context information, for example, when the user 2 makes an utterance “Tell the weather”.
  • context information “cooking in the kitchen” can be recorded.
  • the speech dialog system 1 makes an utterance “Teach me a recipe of xx”, for example, it can be determined that the system response is to be performed based on the context information.
  • the ASR intermediate result is sequentially input to the semantic analysis process based on the recognition result obtained during the speech of the user 2, and the result of the semantic analysis (NLU) obtained as a result thereof
  • NLU semantic analysis
  • the completion of the speech of the user 2 is determined by the absence of speech input for a predetermined time (fixed time). Instead, it is judged by the situation of the user's intention understanding of the system side, so it is possible to return the response of the system response in about the same time as the person takes a response action to the other person's speech. it can.
  • the user 2 can communicate with the conventional voice dialogue system 90 even when the time is shortened, for example, by about 0.5 seconds when interacting with the voice dialogue system 1 of the present technology. Can experience the difference between
  • the user 2 can have a mind that natural speech can be made to the system without being aware of the turn of the dialogue.
  • the voice dialogue system 1 for example, when the waiting time for the completion of the user's speech is set to be short, the user 2 intends the timing that he / she intends even if the time is left System response will be returned. Therefore, even if the user 2 does not finish speaking the speech to the system in a single breath, the system response is returned at the intended timing, and it is possible to speak to the system by natural speech that is not a voice command. Become.
  • the voice input unit 101 to the sensor unit 103, the voice output unit 112, and the image output unit 113 are incorporated into the terminal device 10 on the local side, and the voice recognition unit 104 to output image processing
  • the configuration in which the unit 111 is incorporated in the cloud-side server 20 has been described as an example, the voice input unit 101 to the image output unit 113 may be incorporated in either of the terminal device 10 and the server 20. Good.
  • all of the audio input unit 101 to the image output unit 113 may be incorporated in the terminal device 10 side, and the processing may be completed locally.
  • various databases may be managed by the server 20 on the Internet 30.
  • the speech recognition process performed by the speech recognition unit 104 and the semantic analysis process performed by the semantic analysis unit 122 may use speech recognition services and semantic analysis services provided by other services.
  • the server 20 can obtain voice recognition (ASR) results by sending voice data to a voice recognition service provided on the Internet 30.
  • ASR voice recognition
  • the result (Intent, Entity) of the semantic analysis (NLU) of the ASR intermediate result is sent by sending the ASR intermediate result (text data) to the semantic analysis service provided on the Internet 30. You can get it.
  • FIG. 13 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 1001, a read only memory (ROM) 1002, and a random access memory (RAM) 1003 are mutually connected by a bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 includes a speaker, a display, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program stored in the ROM 1002 or the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the program. A series of processing is performed.
  • the program executed by the computer 1000 can be provided by being recorded on, for example, a removable recording medium 1011 as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by attaching the removable recording medium 1011 to the drive 1010. Also, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the recording unit 1008.
  • the processing performed by the computer according to the program does not necessarily have to be performed chronologically in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or separately (for example, parallel processing or processing by an object). Further, the program may be processed by one computer (processor) or may be distributed and processed by a plurality of computers.
  • each step of the voice interaction process shown in FIG. 5 can be executed by one device or in a shared manner by a plurality of devices. Furthermore, in the case where a plurality of processes are included in one step, the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can be configured as follows.
  • An information processing apparatus comprising: a processing unit that determines the presence or absence of a response to an utterance of the user based on a result of semantic analysis obtained from an intermediate result of speech recognition of the user's utterance.
  • the processing unit is A semantic analysis control unit that sequentially inputs intermediate results of the speech recognition to semantic analysis processing based on the recognition result obtained during the user's speech;
  • the information processing apparatus according to (1) further including: a response presence / absence determination unit that determines the presence / absence of the response based on the result of the semantic analysis obtained by sequentially performing the semantic analysis processing.
  • the semantic analysis control unit is configured to recognize sensor data obtained by sensing the user or the periphery thereof as a result of recognition of image data obtained by imaging the user as a result of recognition of voice data of the user's speech.
  • the information processing apparatus according to (2) including at least one recognition result out of a result and a natural language recognition result obtained by performing natural language processing on the result in the middle of the speech recognition.
  • the semantic analysis control unit determines the timing of inputting the intermediate result of the speech recognition to the semantic analysis process based on the situation of the user's speech obtained from the recognition result. (2) or (3) The information processing apparatus according to the above.
  • the response presence / absence determination unit is a point in time when the result of the semantic analysis capable of executing the function according to the dialog with the user is obtained as a result of the semantic analysis obtained by sequentially performing the semantic analysis process.
  • the information processing apparatus according to any one of (2) to (4), which determines that the response is to be made.
  • the response presence / absence determination unit determines that the response is to be performed when an intention that can be executed as a function of the system is obtained based on the result of the semantic analysis obtained by sequentially performing the semantic analysis process.
  • the information processing apparatus according to any one of 2) to 5).
  • the response presence / absence determination unit Recording context information of the user based on the result of the first semantic analysis obtained at a certain point in time; When the result of the second semantic analysis obtained after that matches the content of the recorded context information, it is judged that the response based on the result of the second semantic analysis is performed (6)
  • the first response is based on the context information when the first response is made prior to the second response to be determined. When it is determined that the second response is to be performed after the first response is completed, the information processing apparatus according to (7).
  • the first response is not based on the context information when the first response is made prior to the second response to be determined.
  • the information processing apparatus When it is determined that the first response is interrupted and the second response is immediately performed, the information processing apparatus according to (7) or (8).
  • the response presence / absence determination unit determines the presence / absence of the response based on an intent (Intent) and entity information (Entity) obtained by sequentially performing the semantic analysis process. Any one of (2) to (9) The information processing apparatus according to claim 1.
  • the processing unit is Statistically learning on a time axis the input determination factor to the semantic analysis process when the user's speech is completed or the intent (Intent) obtained by sequentially performing the semantic analysis process,
  • the information processing apparatus according to (11) wherein a process adapted to a result of learning is performed based on a demographic attribute of the user in a process after the next time.
  • the processing unit precedes the first response when a second response preceding the first response can be presented.
  • the information processing apparatus according to (2) wherein the response of is presented by a method other than voice.
  • the semantic analysis control unit determines that a reliability score attached to an intermediate result of the voice recognition is constant when a time between utterances of the user exceeds a certain time.
  • a reliability score attached to an intermediate result of the voice recognition is constant when a time between utterances of the user exceeds a certain time.
  • the information processing apparatus which is input to analysis processing.
  • the semantic analysis control unit based on the result of recognition of the sensor data, indicates the intermediate result of the speech recognition when the line of sight of the user is directed to a predetermined target or deviates from the predetermined target.
  • the information processing apparatus which is input to analysis processing.
  • the semantic analysis control unit detects a clause of a predicate indicating a request or a question based on the natural language recognition result
  • the semantic analysis control unit inputs an intermediate result of the speech recognition to the semantic analysis process.
  • the information processing apparatus according to (4).
  • the information processing apparatus according to any one of (2) to (17), further including: a response generation unit that generates a system response based on a result of the presence / absence determination of the response by the response presence / absence determination unit.
  • a voice recognition unit that performs voice recognition processing for obtaining an intermediate result of the voice recognition from the user's speech;
  • the information processing apparatus according to any one of (2) to (18), further including: a semantic analysis unit that performs the semantic analysis process.
  • the information processing method determines the presence or absence of the response with respect to the said user's speech based on the result of the semantic analysis obtained from the middle result of the speech recognition of a user's speech.
  • Reference Signs List 1 voice dialogue system 10 terminal devices, 20 servers, 90 Internet, 101 voice input units, 102 image input units, 103 sensors, 104 voice recognition units, 105 image recognition units, 106 sensor recognition units, 107 natural language processing units, 108 semantic analysis / response determination processing unit, 109 response generation unit, 110 speech synthesis processing unit, 111 output image processing unit, 112 speech output unit, 113 image output unit, 121 sequential semantic analysis control unit, 122 semantic analysis unit, 123 response Presence judgment unit, 1000 computers, 1001 CPUs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、ユーザの発話に対し、システム応答のレスポンスを高速化することができるようにする情報処理装置、及び情報処理方法に関する。 ユーザの発話の音声認識の途中結果から得られる意味解析の結果に基づいて、ユーザの発話に対する応答の有無を判定する処理部を備える情報処理装置が提供されることで、ユーザの発話に対し、システム応答のレスポンスを高速化することができるようになる。本技術は、例えば、音声対話システムに適用することができる。

Description

情報処理装置、及び情報処理方法
　本技術は、情報処理装置、及び情報処理方法に関し、特に、ユーザの発話に対し、システム応答のレスポンスを高速化することができるようにした情報処理装置、及び情報処理方法に関する。
　近年、ユーザの発話に応じた応答を行う音声対話システムが、様々な分野で利用されはじめている。音声対話システムでは、ユーザの発話の音声を認識するだけでなく、ユーザの発話の意図を推定して、適切な応答を行うことが求められる。
　例えば、特許文献１には、発話の語順を規定する情報中に、発話が途中で休止する可能性がある部分に、独立に継続時間を設定し、音声認識中に、設定された継続時間以上の発話の休止が継続したとき、発話の完了を検出して応答を行う技術が開示されている。
特開平6-202689号公報（特許第3277579号）
　しかしながら、上述した特許文献１に開示されているような、発話の語順のみで休止時間を決定する場合、ユーザとの対話の状況が考慮されていないため、その状況によっては、ユーザの発話の完了を正しく検出できない可能性がある。そして、ユーザの発話の完了を正しく検出できないと、音声認識では、ユーザの発話待ちの状態になって、システム応答のレスポンスが遅くなってしまう。
　本技術はこのような状況に鑑みてなされたものであり、ユーザの発話に対し、システム応答のレスポンスを高速化することができるようにするものである。
　本技術の一側面の情報処理装置は、ユーザの発話の音声認識の途中結果から得られる意味解析の結果に基づいて、前記ユーザの発話に対する応答の有無を判定する処理部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置が、ユーザの発話の音声認識の途中結果から得られる意味解析の結果に基づいて、前記ユーザの発話に対する応答の有無を判定する情報処理方法である。
　本技術の一側面の情報処理装置、及び情報処理方法においては、ユーザの発話の音声認識の途中結果から得られる意味解析の結果に基づいて、前記ユーザの発話に対する応答の有無が判定される。
　本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
　本技術の一側面によれば、ユーザの発話に対し、システム応答のレスポンスを高速化することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
従来の音声対話システムの対話の例を示す図である。 従来の音声対話システムの対話の例を示す図である。 本技術を適用した音声対話システムの構成の例を示すブロック図である。 本技術を適用した音声対話システムの機能的構成の例を示すブロック図である。 音声対話処理の流れを説明するフローチャートである。 第１の条件を用いた場合の意味解析投入タイミングの検出の例を示す図である。 応答有無判定の第１の例を示す図である。 応答有無判定の第２の例を示す図である。 応答有無判定の第３の例を示す図である。 応答有無判定の第４の例を示す図である。 学習の結果を用いた適応処理の例を示す図である。 応答有無判定処理の流れを説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．前提となる技術
２．本技術の実施の形態
３．変形例
４．コンピュータの構成
＜１．前提となる技術＞
　まず、図１及び図２を参照して、従来の音声対話システム９０の対話の例を説明する。
　図１において、ユーザ２が、「明日の９時から打ち合わせ、、、、って予定に入れといて」である発話U11を行った場合、従来の音声対話システム９０では、時刻t11乃至時刻t12に、「明日の９時から打ち合わせ」である発話を用いた音声認識処理が行われ、その音声認識（ASR：Automatic Speech Recognition）の途中結果が更新される。
　また、従来の音声対話システム９０では、「明日の９時から打ち合わせ」である発話が終了してから、「って予定に入れといて」である発話が開始されるまでに間があるため、その間、音声認識（ASR）のユーザ発話完了が検出されるのを待つことになる。例えば、音声認識エンジンは、ユーザ２の音声入力が1～2秒程度ないことをもって、ユーザ発話の完了を検出することになる。
　ここでは、ユーザ発話の完了が検出される前に、ユーザ２による発話が行われたため、従来の音声対話システム９０では、時刻t13乃至時刻t14に、「って予定に入れといて」である発話を用いた音声認識処理が行われ、その音声認識（ASR）の途中結果（ASR途中結果）が更新される。
　その後、従来の音声対話システム９０では、さらにユーザ発話完了を待つことで、時刻t15に、ユーザ発話完了が検出される。そして、従来の音声対話システム９０では、時刻t15乃至時刻t16に、音声認識（ASR）の結果を用いた意味解析処理が行われ、その意味解析（NLU：Natural Language Understanding）の結果に基づき、ユーザ２の「スケジュール」として、「明日の９時」に、「打ち合わせ」が登録され、「はい、予定に登録しました」である応答R11が行われる。
　このように、従来の音声対話システム９０では、音声認識（ASR）のユーザ発話完了が検出されるのを待つ必要があるため、システム応答時間（例えば、図１の時刻t14から時刻t16までの時間）として、ある程度の時間（例えば、数秒）を要する。そのため、システム応答の時間が遅くなってしまう。
　その結果として、対話のターンが遅くなって、ユーザ２は、ストレスを感じることになる。さらには、ユーザ２は、自身の発話後に、システム応答を数秒待つという経験を繰り返すことで、対話のターンを意識して、音声コマンド的な発話しかしなくなってしまう。ただし、ここでの音声コマンドは、ユーザが、音声によって特定のコマンドを発することであって、ユーザによる自然発話ではないことを意味している。
　一方で、従来の音声対話システム９０において、音声認識（ASR）のユーザ発話完了の待ち時間を短くすることも想定されるが、この待ち時間を一律に短くしてしまうと、ユーザ２が意図していないタイミングで、システムが、ユーザ発話完了であると判定してしまい、ユーザ２の発話意図とは異なるシステム応答を返してしまう可能性がある。
　例えば、図２に示すように、従来の音声対話システム９０では、時刻t21乃至時刻t22に、「明日の９時から打ち合わせ」である発話U21を用いた音声認識処理が行われ、その音声認識（ASR）の途中結果（ASR途中結果）が更新された後に、短い待ち時間（時刻t22乃至時刻t23の時間）だけ待って、直ちに、意味解析処理を行っている。
　この場合には、システム応答時間（図２の時刻t22から時刻t23までの時間）を、図１に示したシステム応答時間（図１の時刻t14から時刻t16までの時間）と比べて、短縮することができるが、ユーザ２の意図を理解することができず、「分かりませんでした」である応答R21が行われる。
　このように、従来の音声対話システム９０では、音声認識（ASR）のユーザ発話完了の待ち時間を短く設定したとしても、ユーザ２の発話意図とは異なるシステム応答を返してしまう可能性がある。
　その結果として、システムから意図しない応答を受けたユーザ２は、再度、発話を最初から行わなくてはならなくなる。また、このような事象を回避するために、ユーザ２は、間（ま）を空けないように、（一息で）システムに発話をしなければならなくなって、ユーザ２の発話負担が大きくなってしまう。
　以上のように、従来の音声対話システム９０では、音声認識（ASR）によるユーザ発話の完了待ちによって、システム応答のレスポンスが遅くなるという問題があった。また、上述した特許文献１に開示されているような、発話の語順のみで休止時間を決定する場合には、ユーザとの対話の状況が考慮されていないため、その状況によっては、ユーザ発話の完了を正しく検出できない可能性があり、その結果として、システム応答のレスポンスが遅くなる恐れがある。
　そこで、以下、ユーザの発話に対し、システム応答のレスポンスを高速化することを可能にする、本技術を適用した音声対話システムについて説明する。
＜２．本技術の実施の形態＞
（音声対話システムの構成例）
　図３は、本技術を適用した音声対話システムの構成の例を示すブロック図である。
　音声対話システム１は、ユーザ宅等のローカル側に設置され、音声対話サービスのユーザインターフェースとして機能する端末装置１０と、データセンタ等のクラウド側に設置され、音声対話機能を実現するための処理を行うサーバ２０とから構成される。音声対話システム１において、端末装置１０とサーバ２０とは、インターネット３０を介して相互に接続されている。
　端末装置１０は、例えば、家庭内LAN(Local Area Network)等のネットワークに接続可能なスピーカであって、スマートスピーカやホームエージェントなどとも称される。この種のスピーカは、音楽の再生のほか、例えば、ユーザとの音声対話や、照明器具や空調設備などの機器に対する音声操作などの機能を有している。
　なお、端末装置１０は、スピーカに限らず、例えば、ゲーム機や、スマートフォンや携帯電話機等のモバイル機器、タブレット型のコンピュータなどとして構成されるようにしてもよい。
　端末装置１０は、インターネット３０を介してサーバ２０と連携することで、ユーザに対し、音声対話サービス（のユーザインターフェース）を提供することができる。
　例えば、端末装置１０は、ユーザから発せられた音声（ユーザ発話）を収音し、その音声データを、インターネット３０を介して、サーバ２０に送信する。また、端末装置１０は、インターネット３０を介してサーバ２０から送信されてくる処理データを受信し、その処理データに応じた音声などの情報を出力する。
　サーバ２０は、クラウドベースの音声対話サービスを提供するサーバ（情報処理装置）である。
　例えば、サーバ２０は、インターネット３０を介して端末装置１０から送信されてくる音声データに基づき、音声認識処理や意味解析処理などの処理を行い、その処理の結果に応じた処理データを、インターネット３０を介して端末装置１０に送信する。
（音声対話システムの機能的構成例）
　図４は、本技術を適用した音声対話システムの機能的構成例を示すブロック図である。
　図４において、音声対話システム１は、音声入力部１０１、画像入力部１０２、センサ部１０３、音声認識部１０４、画像認識部１０５、センサ認識部１０６、自然言語処理部１０７、意味解析・応答判定処理部１０８、応答生成部１０９、音声合成処理部１１０、出力画像処理部１１１、音声出力部１１２、及び画像出力部１１３から構成される。
　音声入力部１０１は、例えば、マイクロフォン等の音声入力デバイスから構成される。音声入力部１０１は、ユーザ２が発した声を電気信号に変換して得られる音声データを、音声認識部１０４に供給する。
　画像入力部１０２は、例えば、イメージセンサを有するカメラ等の画像入力デバイスから構成される。画像入力部１０２は、ユーザ２等の被写体を撮像して得られる画像データを、画像認識部１０５に供給する。
　センサ部１０３は、例えば、各種のセンサ等のセンサデバイスから構成される。センサ部１０３は、ユーザ２やその周辺などのセンシングを行い、そのセンシング結果に応じたセンサデータを、センサ認識部１０６に供給する。
　ここで、センサ部１０３としては、例えば、呼吸や脈拍、指紋、虹彩などの生体情報を検出する生体センサ、磁場（磁界）の大きさや方向を検出する磁気センサ、加速度を検出する加速度センサ、角度（姿勢）や角速度、角加速度を検出するジャイロセンサ、近接するものを検出する近接センサなどを含めることができる。
　また、センサ部１０３は、ユーザ２の頭部に取り付けられ、電位等を計測することで脳波を検出する脳波センサであってもよい。さらに、センサ部１０３には、温度を検出する温度センサや、湿度を検出する湿度センサ、周囲の明るさを検出する環境光センサなどの周囲の環境を測定するためのセンサや、GPS(Global Positioning System)信号などの位置情報を検出するためのセンサを含めることができる。
　音声認識部１０４は、音声入力部１０１から供給される音声データに基づいて、音声認識処理を行い、その音声認識の結果を、自然言語処理部１０７及び意味解析・応答判定処理部１０８に供給する。
　この音声認識処理では、例えば、音声テキスト変換用のデータベース等を参照することで、音声入力部１０１からの音声データを、テキストデータ（発話文）に変換する処理が行われる。
　また、この音声認識処理では、例えば、音声入力部１０１からの音声データ（の信号波形）を解析する処理など、音声データに対し、後段の逐次意味解析制御処理で用いられる音声認識の結果を抽出するための処理が行われる。
　なお、以下の説明では、音声認識部１０４により行われる音声認識処理のうち、ユーザ２の発話のテキストデータ（発話文）を得るための音声認識を、「音声認識（ASR：Automatic Speech Recognition）」と記述して、後段の逐次意味解析制御処理で、音声認識（ASR）の途中結果（以下、ASR途中結果ともいう）を意味解析処理に投入するタイミングを判定するために用いられる音声認識の結果と区別する。
　画像認識部１０５は、画像入力部１０２から供給される画像データに基づいて、画像認識処理を行い、その画像認識の結果を、意味解析・応答判定処理部１０８に供給する。この画像認識処理では、画像データに対し、後段の逐次意味解析制御処理で用いられる画像認識の結果を抽出するための処理が行われる。
　センサ認識部１０６は、センサ部１０３から供給されるセンサデータに基づいて、センサ認識処理を行い、そのセンサ認識の結果を、意味解析・応答判定処理部１０８に供給する。このセンサ認識処理では、センサデータに対し、後段の逐次意味解析制御処理で用いられるセンサ認識の結果を抽出するための処理が行われる。
　自然言語処理部１０７は、音声認識部１０４から供給される音声認識（ASR）の結果に基づいて、自然言語処理を行い、その自然言語認識（自然言語解析）の結果を、意味解析・応答判定処理部１０８に供給する。
　この自然言語処理（NLP：Natural Language Processing）では、例えば、形態素解析や構文解析などによって、形態素の品詞等の判別や、切り分けられた形態素の間の関連等の解析などを行う処理が行われる。
　意味解析・応答判定処理部１０８には、音声認識部１０４による音声認識（ASR）の結果（ASR途中結果）とともに、音声認識部１０４からの音声認識の結果、画像認識部１０５からの画像認識の結果、センサ認識部１０６からのセンサ認識の結果、及び自然言語処理部１０７からの自然言語認識の結果が供給される。
　意味解析・応答判定処理部１０８では、音声認識の結果、画像認識の結果、センサ認識の結果、及び自然言語認識の結果に基づき、音声認識（ASR）の結果（ASR途中結果）に対する意味解析処理が行われるとともに、その意味解析の結果に基づき、応答の有無が判定され、その応答有無判定の結果が、応答生成部１０９に供給される。
　意味解析・応答判定処理部１０８は、逐次意味解析制御部１２１、意味解析部１２２、及び応答有無判定部１２３から構成される。
　逐次意味解析制御部１２１は、音声認識の結果、画像認識の結果、センサ認識の結果、及び自然言語認識の結果に基づいて、逐次意味解析制御処理を行い、意味解析部１２２で行われる意味解析処理を制御する。
　この逐次意味解析制御処理では、音声認識の結果、画像認識の結果、センサ認識の結果、及び自然言語認識の結果のうち、少なくとも１つの認識の結果に基づき、例えば、発話の微小な間（ま）の時間が一定の時間を超えたときなどに、ASR途中結果の意味解析処理への投入のタイミングであると判定し、ASR途中結果が、意味解析処理に投入される。なお、逐次意味解析制御処理の詳細は、図６などを参照して後述する。
　意味解析部１２２は、逐次意味解析制御部１２１から供給されるASR途中結果に基づいて、意味解析処理を行い、その意味解析（NLU：Natural Language Understanding）の結果を、応答有無判定部１２３に供給する。
　この意味解析処理では、例えば、音声言語理解用のデータベース等を参照することで、自然言語である音声認識（ASR）の途中結果（テキストデータ）を、機械（システム）が理解できる表現に変換する処理が行われる。
　ここでは、意味解析（NLU）の結果として、ユーザが実行させたい「意図（Intent）」と、そのパラメータとなる「実体情報（Entity）」の形で、発話の意味が表現される。なお、以下の説明では、ASR途中結果に対する意味解析（NLU）の結果得られる意図を、「意図（Intent）」又は「Intent」と記述することで、ユーザ２の発話の意図と区別する。
　応答有無判定部１２３は、意味解析部１２２から供給される意味解析（NLU）の結果に基づいて、応答有無判定処理を行い、その応答有無判定の結果を、応答生成部１０９に供給する。
　この応答有無判定処理では、ASR途中結果に対する意味解析（NLU）の結果（Intent, Entity）に基づき、例えば、ユーザ２との対話の状況に即したシステムの機能であるかどうかや、システムの機能として受けられる依頼の意図（Intent）であるかどうかなどによって、システム応答（応答）を行うか否かが判定される。なお、応答有無判定処理の詳細は、図７乃至図１０などを参照して後述する。
　応答生成部１０９は、意味解析・応答判定処理部１０８（の応答有無判定部１２３）から供給される応答有無判定の結果に基づいて、応答生成処理を行い、その応答生成の結果を、音声合成処理部１１０又は出力画像処理部１１１に供給する。
　この応答生成処理では、応答有無判定処理によって、システム応答（応答）を行うと判定された場合に、意味解析（NLU）の結果（Intent, Entity）に応じたシステム応答（例えば、意味解析（NLU）の結果に基づき実行されるシステムの機能に応じた応答）が生成される。
　音声合成処理部１１０は、応答生成部１０９から供給される応答生成の結果に基づいて、音声合成処理を行い、その音声合成の結果を、音声出力部１１２に供給する。
　出力画像処理部１１１は、応答生成部１０９から供給される応答生成の結果に基づいて、出力画像処理を行い、その出力画像の結果を、画像出力部１１３に供給する。
　音声出力部１１２は、例えば、スピーカやヘッドホン等の音声出力デバイスから構成される。音声出力部１１２は、音声合成処理部１１０から供給される音声合成の結果に基づいて、音声データに応じた音を、システム応答（応答）として出力する。
　画像出力部１１３は、例えば、液晶ディスプレイや有機ELディスプレイ等の画像出力デバイスから構成される。画像出力部１１３は、出力画像処理部１１１から供給される出力画像の結果に基づいて、その画像データに応じた画像を、システム応答（応答）として出力（表示）する。
　音声対話システム１は、以上のように構成される。
　なお、図４の音声対話システム１において、音声入力部１０１乃至画像出力部１１３を、端末装置１０（図１）と、サーバ２０（図１）のどちらの機器に組み込むかは、任意であるが、例えば、次のような構成とすることができる。
　すなわち、ユーザインターフェースとして機能する、音声入力部１０１、画像入力部１０２、センサ部１０３、音声出力部１１２、及び画像出力部１１３を、ローカル側の端末装置１０に組み込む一方で、それ以外の機能となる、音声認識部１０４、画像認識部１０５、センサ認識部１０６、自然言語処理部１０７、意味解析・応答判定処理部１０８、応答生成部１０９、音声合成処理部１１０、及び出力画像処理部１１１を、クラウド側のサーバ２０に組み込むことができる。
　このとき、音声認識部１０４、画像認識部１０５、センサ認識部１０６、自然言語処理部１０７、意味解析・応答判定処理部１０８、応答生成部１０９、音声合成処理部１１０、及び出力画像処理部１１１は、例えば、サーバ２０のCPU(Central Processing Unit)が、プログラムを実行することで実現される。
　また、図示はしていないが、端末装置１０とサーバ２０は、インターネット３０を介してデータをやり取りするために、通信インターフェース回路等から構成される通信I/Fをそれぞれ有している。これにより、ユーザ２の発話中に、端末装置１０とサーバ２０が、インターネット３０を介して通信を行い、サーバ２０側では、端末装置１０からの認識の結果に基づき、逐次意味解析制御処理や応答有無判定処理などの処理を行うことができる。
　さらに、端末装置１０には、例えば、ボタンやキーボード等からなる入力部を設けて、ユーザ２の操作に応じた操作信号が得られるようにするか、あるいは、画像出力部１１３が、タッチセンサと表示部とが一体化されたタッチパネルとして構成され、ユーザ２の指やタッチペン（スタイラスペン）による操作に応じた操作信号が得られるようにしてもよい。
（音声対話処理の流れ）
　次に、図５のフローチャートを参照して、音声対話システム１により実行される音声対話処理の流れを説明する。
　この音声対話処理は、端末装置１０の付近に存在するユーザ２により発話が開始されたときに実行される。なお、ここでは、ユーザ２が発話を開始するに際して、例えば、特定のキーワード（いわゆる起動ワード）を用いることによる呼びかけや、手を叩くことによる破裂音などによって、発話を開始するための明示的な指示を与えるようにしてもよい。
　ステップＳ１１において、音声入力部１０１は、ユーザ２から発せられた音声を収音することで、ユーザ２の発話を受け付ける。
　ステップＳ１２において、音声認識部１０４等の認識部は、音声入力部１０１等の前段の入力部からのデータに基づいて、ユーザ発話中の認識処理を行う。
　ここでは、例えば、音声認識部１０４によって、音声入力部１０１からの音声データに基づき、音声認識処理が行われ、音声認識（ASR）の結果（ASR途中結果）が得られる。
　また、音声認識部１０４による音声認識処理、画像認識部１０５による画像認識処理、及びセンサ認識部１０６によるセンサ認識処理のうち、少なくとも１つの認識処理が行われ、後段の逐次意味解析制御処理（Ｓ１３）で用いられる認識の結果が得られる。なお、ここでは、自然言語処理部１０７によって、自然言語処理が行われ、自然言語認識の結果が得られるようにしてもよい。
　ステップＳ１３において、逐次意味解析制御部１２１は、ステップＳ１２の処理で得られる認識の結果（各入力部の認識の結果）に基づいて、逐次意味解析制御処理を行い、音声認識（ASR）の途中結果（ASR途中結果）の意味解析処理（Ｓ１５）への投入制御を行う。
　この逐次意味解析制御処理によって、例えば、発話の微小な間（ま）の時間が一定の時間を超えたときや、信頼度スコアが一定の閾値を超えたときなどに、ASR途中結果の意味解析処理への投入のタイミングであると判定され（Ｓ１４の「YES」）、音声認識（ASR）の途中結果（ASR途中結果）が、意味解析処理に投入される。
　ステップＳ１３の処理で行われる投入制御によって、ASR途中結果の意味解析処理への投入のタイミングではないと判定された場合（Ｓ１４の「NO」）、処理は、ステップＳ１１に戻り、上述した処理が繰り返される。一方で、ASR途中結果の意味解析処理への投入のタイミングであると判定された場合（Ｓ１４の「YES」）、処理は、ステップＳ１５に進められる。
　ステップＳ１５において、意味解析部１２２は、ステップＳ１３の処理で投入されたASR途中結果に対し、意味解析処理を行う。
　この意味解析処理によって、自然言語であるASR途中結果（テキストデータ）を、機械（システム）が理解できる表現に変換する処理が行われる。これにより、ASR途中結果から、意味解析（NLU）の結果（Intent, Entity）が得られる。
　ステップＳ１６において、応答有無判定部１２３は、ステップＳ１５の処理で得られる意味解析（NLU）の結果（Intent, Entity）に基づいて、システム応答を行うかどうかを判定する。
　ステップＳ１６において、システム応答を行わないと判定された場合、処理は、ステップＳ１１に戻り、上述したステップＳ１１乃至Ｓ１６の処理が繰り返される。
　すなわち、ステップＳ１１乃至Ｓ１６の処理が繰り返されることで、ASR途中結果の意味解析処理への投入制御が行われ、ASR途中結果に対する意味解析（NLU）の結果（Intent, Entity）が逐次得られる。これにより、応答有無判定部１２３によって、ASR途中結果に対する意味解析（NLU）の結果が得られる度に、システム応答の判定処理が繰り返し行われる。ここでは、例えば、対話の状況に即したシステムの機能を実行可能な意味解析（NLU）の結果（Intent, Entity）が得られた時点で、システム応答を行うと判定される。
　そして、ステップＳ１６において、システム応答を行うと判定された場合、処理は、ステップＳ１７に進められる。
　ステップＳ１７において、応答生成部１０９は、ステップＳ１５の処理で得られる意味解析（NLU）の結果（Intent, Entity）に応じたシステム応答を生成する。ここでは、例えば、意味解析（NLU）の結果に基づき実行されるシステムの機能（例えば電子メール処理機能や天気確認機能など）に応じたシステム応答が生成される。
　ステップＳ１８において、音声合成処理部１１０は、ステップＳ１７の処理で得られる応答生成の結果に基づいて、音声合成処理を行い、それにより得られるシステム応答の音声を、音声出力部１１２から出力する。これにより、ユーザ２に対し、システム応答が提示される。
　なお、ここでは、システム応答として、音声合成処理部１１０により合成された音声を出力するほか、出力画像処理部１１１により生成された出力画像などを出力するようにしてもよい。さらに、システム応答は、音声情報や視覚情報に限らず、例えば、ユーザ２が身につけている機器（例えば、スマートフォンやウェアラブル機器等）が振動することで、触覚によって提示されるようにしてもよい。
　以上、音声対話処理の流れを説明した。
　この音声対話システム１により実行される音声対話処理（図５）では、ユーザ２の発話が、マイクロフォン等の音声入力部１０１を通じて音声認識処理にかけられ、その発話の内容がテキスト化されて、逐次意味解析制御部１２１に送られる。この音声認識処理は、ユーザ２の発話中に常時行われ、認識できた発話途中のテキストデータ（ASR途中結果）が、逐次意味解析制御部１２１に送られる。
　また、音声認識処理は、ユーザ２の発話内容をテキスト化するのみならず、発話のピッチ抽出などの入力音声の韻律の検出も行い、逐次意味解析制御部１２１に送られるようにしてもよい。
　さらに、ユーザ２の発話の音声以外にも、ユーザ２やその周辺を撮像して得られる画像データが、カメラ等の画像入力部１０２を通じて画像認識処理にかけられ、ユーザ２の顔の向きなどが認識されるようにしたり、あるいは、ユーザ２の視線情報などが、センサ部１０３を通じてセンサ認識処理にかけられ、ユーザ２の視線方向などが認識されるようにしたりすることができる。
　これらの認識処理は、ユーザ２の発話中に常時行われ、その認識の結果が、逐次、逐次意味解析制御部１２１に送られる。
　そして、音声対話システム１により実行される音声対話処理（図５）では、認識の結果から得られる発話状況（例えば、発話の微小な間や、音声認識（ASR）の信頼度等）に基づき、ASR途中結果の投入タイミングであると判定される度に、ASR途中結果を、意味解析処理に投入することで、その意味解析（NLU）の結果得られる意図（Intent）と実体情報（Entity）を逐次取得する。ここでは、例えば、音声対話システム１が、対話の状況に即した機能（アクション）を実行可能な意図（Intent）と実体情報（Entity）が得られた時点で、ユーザ２に対し、システム応答が返される。
　なお、音声対話システム１において、例えば、対話の状況に即していない機能に応じた意味解析（NLU）の結果（Intent, Entity）が得られたときには、システム応答を返さずに、ユーザ２の発話の音声認識（ASR）を継続することになる。
（逐次意味解析制御処理）
　次に、逐次意味解析制御部１２１によって実行される逐次意味解析制御処理の詳細な内容について説明する。
　逐次意味解析制御部１２１は、ユーザ２の発話中に、音声認識部１０４、画像認識部１０５、センサ認識部１０６、及び自然言語処理部１０７から逐次送られてくる認識の結果に基づいて、逐次意味解析制御処理を行うことで、ASR途中結果の投入タイミングが判定される。
　この逐次意味解析制御処理では、例えば、下記に示した（Ａ）乃至（Ｇ）の条件のうち、１つの条件、又は複数の条件の組み合わせに基づき、ASR途中結果の意味解析処理への投入のタイミングが判定される。
（Ａ）発話の微小な間の時間が一定の時間を超えたとき
（Ｂ）信頼度スコアが一定の閾値を超えたとき
（Ｃ）依頼や質問を示す述語の文節を検出したとき
（Ｄ）テキストの文末に特定の言い回し文言を検出したとき
（Ｅ）発話韻律で疑問を示すイントネーションを検出したとき
（Ｆ）ユーザの顔が機器に向いたとき、又は機器からそれたとき
（Ｇ）ユーザの視線が機器を見たとき、又は機器からそれたとき
　なお、上述した（Ａ）乃至（Ｇ）の条件は、ASR途中結果の意味解析処理への投入のタイミングを検出するための条件を例示列挙したものであって、意味解析処理への投入のタイミングを検出可能なものであれば、他の条件を用いるようにしてもよい。
（Ａ）第１の条件
　ここで、上述の（Ａ）に示した第１の条件を用いた場合には、「発話の微小な間（ま）の時間が一定の時間を超えたとき」に、意味解析処理への投入を検出するが、その具体例を、図６に示している。
　図６において、ユーザ２が、「明日の９時から打ち合わせ、、、、って予定に入れといて」である発話U31を行った場合に、「明日の９時から打ち合わせ」である発話が終了してから、「って予定に入れといて」である発話が開始されるまでの時間が、微小な時間（例えば、数百ミリ秒程度）を超えたとき、音声対話システム１は、ASR途中結果の投入タイミングであると判定する。
　すなわち、音声対話システム１では、ユーザ２の発話中に、音声認識（ASR）の結果（発話のテキストデータ）が逐次出力されるが、音声認識（ASR）の結果として逐次出力するテキストの途中結果が、閾値（例えば300ms）を超えて更新されない場合に、ASR途中結果の投入タイミングであると判定する。そして、発話の開始位置（発話開始位置）から、投入タイミング判定の対象位置（投入判定位置）までの区間に対応するASR途中結果を、意味解析処理に投入することで、意味解析（NLU）の結果として、意図（Intent）と実体情報（Entity）を得ることができる。
　図６においては、時刻t31乃至時刻t32に、「明日の９時から打ち合わせ」である発話を用いた音声認識処理が行われ、ASR途中結果が更新されるが、時刻t32以降に、ASR途中結果の更新が停止され、閾値（閾値時間）を超えても、ASR途中結果の更新がなされていない。そのため、時刻t33になったときに、ASR途中結果の投入タイミングであると判定され、「明日の９時から打ち合わせ」であるASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
　その後、時刻t34乃至時刻t35に、「って予定に入れといて」である発話を用いた音声認識処理が行われ、ASR途中結果が更新される。そして、時刻t35以降に、ASR途中結果の更新が停止され、閾値を超えてもASR途中結果の更新がなされていないため、時刻t36になったときに、ASR途中結果の投入タイミングであると判定され、「って予定に入れといて」であるASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
　このように、上述の（Ａ）の第１の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、ユーザ２の発話中に、微小な間（ま）等の発話の間の時間が一定の時間を超えたとき、逐次意味解析制御部１２１は、ASR途中結果の投入タイミングであると判定し、ASR途中結果を、意味解析部１２２にて行われる意味解析処理に投入する。
（Ｂ）第２の条件
　上述の（Ｂ）の第２の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、ASR途中結果に付随する信頼度スコアが、一定の閾値を超えたとき（すなわち、ASR途中結果が信頼できる内容であるとき）、逐次意味解析制御部１２１は、ASR途中結果の投入タイミングであると判定し、ASR途中結果を、意味解析処理に投入する。
（Ｃ）第３の条件
　上述の（Ｃ）の第３の条件を用いる場合には、ASR途中結果を自然言語処理に投入して得られる自然言語の結果に基づき、ASR途中結果（テキスト）に含まれる依頼や質問を示す述語の文節を検出したとき、逐次意味解析制御部１２１は、ASR途中結果の投入タイミングであると判定し、ASR途中結果を、意味解析処理に投入する。
（Ｄ）第４の条件
　上述の（Ｄ）の第４の条件を用いる場合には、ASR途中結果（テキスト）の文末に特定の言い回し文言（例えば、「です」、「します」、「どうぞ」など）を検出したとき、逐次意味解析制御部１２１は、ASR途中結果の投入タイミングであると判定し、ASR途中結果を、意味解析処理に投入する。
（Ｅ）第５の条件
　上述の（Ｅ）の第５の条件を用いる場合には、例えば、音声認識部１０４による音声認識の結果に基づき、発話韻律で疑問を示すイントネーション（例えば、語尾が上がるなど）を検出したとき、逐次意味解析制御部１２１は、ASR途中結果の投入タイミングであると判定し、ASR途中結果を、意味解析処理に投入する。
（Ｆ）第６の条件
　上述の（Ｆ）の第６の条件を用いる場合には、例えば、画像認識部１０５による画像認識の結果に基づき、ユーザ２の発話中に、ユーザ２の顔が端末装置１０に向いたことを検出したとき、又は端末装置１０からそれたことを検出したとき、逐次意味解析制御部１２１は、ASR途中結果の投入タイミングであると判定し、ASR途中結果を、意味解析処理に投入する。
　なお、ここでは、画像認識の結果の代わりに、センサ認識部１０６によるセンサ認識の結果に基づき、発話中のユーザ２の顔の向きが検出されるようにしてもよい。
（Ｇ）第７の条件
　上述の（Ｇ）の第７の条件を用いる場合には、例えば、画像認識部１０５による画像認識の結果に基づき、ユーザ２の発話中に、ユーザ２の視線が端末装置１０を見たことを検出したとき、又は端末装置１０からそれたことを検出したとき、逐次意味解析制御部１２１は、ASR途中結果の投入タイミングであると判定し、ASR途中結果を、意味解析処理に投入する。
　なお、ここでは、画像認識の結果の代わりに、センサ認識部１０６によるセンサ認識の結果に基づき、発話中のユーザ２の視線の向きが検出されるようにしてもよい。
（投入タイミング判定の他の例）
　なお、上述した（Ａ）乃至（Ｇ）以外の他の条件としては、例えば、次に示すような認識の結果が得られたときに、音声対話システム１は、その認識の結果に基づき、ASR途中結果の投入タイミングを判定するようにしてもよい。
　第１の他の例として、画像認識の結果（画像情報）によって、複数人のユーザが、対象の機器（例えば、端末装置１０）の周辺に存在することが認識された場合に、システムへの発話の途中で、ユーザ同士が会話を始めたことが認識されたとき、ASR途中結果の意味解析処理への投入を停止するようにしてもよい。
　ただし、ユーザ同士での会話の開始は、画像認識の結果に基づき、例えば、各ユーザの顔や身体の向きや、視線の方向などから認識することが可能である。また、ここでのASR途中結果の意味解析処理への投入の停止は、音声対話システム１が、システム応答をしなくなることを意味する。
　第２の他の例として、画像認識の結果や、外部機器との連携に基づき、例えば、電話やインターホンと話し始めるなど、ユーザ２が、対象の機器（例えば、端末装置１０）への発話を行っていないことが認識されたときに、ASR途中結果の意味解析処理への投入を停止するようにしてもよい。
　ただし、ここでの外部機器との連携とは、例えば、電話やインターホン等の外部機器が、通話状態になったことを、家庭内LAN等のネットワーク経由で通知することを意味する。また、ここでも、ASR途中結果の意味解析処理への投入の停止は、システム応答が行われなくなることを意味する。
　以上、音声対話システム１においては、ユーザ２による発話が開始されると、逐次意味解析制御部１２１によって、例えば、上述した第１の条件乃至第７の条件のうち、１つの条件、又は複数の条件の組み合わせを用いた逐次意味解析制御処理が行われる。また、音声対話システム１では、逐次意味解析制御処理によって、ASR途中結果の投入タイミングであると判定されると、発話開始位置から、投入タイミングの投入判定位置までの区間に対応するASR途中結果が、意味解析部１２２による意味解析処理に投入される。
　ただし、意味解析処理に投入されるASR途中結果を、発話開始位置から判定対象位置までの区間だけに制限してしまうと、長い文章や複文などを含む発話がなされたときに、その後の投入タイミングを見過ごすことになってしまうため、例えば、次のような処理を行うことができる。
　すなわち、逐次意味解析制御処理では、意味解析処理に投入されるASR途中結果の長さが、一定の閾値を超える場合（投入文の長さが長くなる場合）に、前回又はそれ以前に投入タイミング判定が行われた位置（前回投入判定位置）から、今回投入タイミング判定が行われた位置（今回投入判定位置）までの区間のASR途中結果が、意味解析処理に投入されるようにしてもよい。
　そして、音声対話システム１では、ユーザ２による発話が完了するまで、投入タイミングであると判定される度に逐次投入されるASR途中結果に対する意味解析処理が行われ、その結果得られる意味解析（NLU）の結果（Intent, Entity）に基づき、システム応答の有無が判定されることになる。
　このように、音声対話システム１では、ユーザ２の発話中に、「ユーザ２の発話が完了する可能性のある発話状況」を検出したときに、いわば投機的にその時点での発話文に対し、意味解析処理が行われるようにしている。これにより、例えば、1～2秒程度の音声入力が無いことをもって発話の完了を判定していた従来の手法（例えば、図１の例）と比べて、より速い時間（例えば数倍速い時間）で、意味解析（NLU）の結果によるユーザ２の意図を理解することが可能となる。そして、このとき、意味解析（NLU）の結果が、対話の状況に適合していれば、ユーザ２に対し、システム応答を返すことができる。
（応答有無判定処理）
　次に、応答有無判定部１２３によって実行される応答有無判定処理の詳細な内容について説明する。
　応答有無判定部１２３は、意味解析部１２２により逐次、意味解析処理が行われることで得られる意味解析（NLU）の結果に基づいて、応答有無判定処理を行い、例えば、音声対話システム１（システム）が、対話の状況に即した機能（アクション）を実行可能な意味解析（NLU）の結果が得られた時点で、システム応答を行うと判定するようにする。
（応答有無判定の第１の例）
　図７は、応答有無判定の第１の例を示している。ただし、この第１の例において、音声対話システム１は、その機能の１つとして、ユーザのスケジュールを管理するスケジュール機能を有しているものとする。
　図７において、ユーザ２が、起動ワードの発話U30を行うと、音声対話システム１は、ユーザ２により発せられた起動ワードを認識し、ユーザ２から何らかの依頼がくるのを待ち受ける。
　そして、ユーザ２が、「明日の９時から打ち合わせ、、、、って予定に入れといて」である発話U31を行った場合に、「明日の９時から打ち合わせ」である発話が終わってから、「って予定に入れといて」である発話が開始されるまでに、ASR途中結果の更新が、閾値（例えば300ms）を超えて更新されないとき、音声対話システム１は、ASR途中結果の投入タイミングであると判定する。
　すなわち、図７においては、上述した図６の例と同様に、時刻t31乃至時刻t32に、「明日の９時から打ち合わせ」である発話を用いた音声認識処理が行われ、ASR途中結果が更新されるが、時刻t32以降に、ASR途中結果の更新が停止されている。そのため、時刻t33に、ASR途中結果の投入タイミングであると判定され、ASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果（Intent, Entity）が得られる。なお、ここでは、上述の（Ａ）の第１の条件を用いて、投入タイミングを判定したが、他の条件を用いるようにしてもよい。
　このとき、応答有無判定部１２３は、意味解析（NLU）の結果に基づき、「明日の９時から打ち合わせ」である発話の意味解析（NLU）の結果が、音声対話システム１（システム）の機能として、受けられる依頼の意図（Intent）ではないので、応答を行わないと判定する。したがって、この時点では、音声対話システム１は、ユーザ２に対して無反応となる。
　その後、図７においては、上述した図６の例と同様に、時刻t34乃至時刻t35に、「って予定に入れといて」である発話を用いた音声認識処理が行われ、ASR途中結果の更新が再開される。そして、時刻t35以降に、ASR途中結果の更新が停止され、時刻t36に、ASR途中結果の投入タイミングであると判定され、ASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
　このとき、応答有無判定部１２３は、「明日の９時から打ち合わせって予定に入れといて」である発話の意味解析（NLU）の結果として、Intent = "予定登録", Entity = "明日の９時", "打ち合わせ" が得られており、音声対話システム１（システム）の機能として、受けられる依頼であるため、応答を行うと判定する。
　そして、音声対話システム１においては、スケジュール機能によって、ユーザ２の「スケジュール」として、「明日の９時」に、「打ち合わせ」を登録するための処理が行われるとともに、ユーザ２に対し、「はい、予定に登録しました」である応答R31が行われる。
　このように、図７の例では、「明日の９時から打ち合わせ、、、、って予定に入れといて」である発話U31が、ユーザ２によって発せられる場合に、「明日の９時から打ち合わせ」まで発話された時点では、意味解析（NLU）の結果として、システムの機能として受けられる依頼の意図（Intent）ではないため、システム応答を行わず、その後に、「って予定に入れといて」まで発話された時点で、システムの機能（スケジュール機能）として受けられる依頼の意図（Intent）となるため、その時点で、システム応答を行っている。
　これにより、音声対話システム１では、上述した従来の手法（図１，図２）と比べて、適切なタイミングで、従来の手法よりも速く、適切な応答を行うことができる。
（応答有無判定の第２の例）
　図８は、応答有無判定の第２の例を示す図である。ただし、この第２の例において、音声対話システム１は、その機能の１つとして、電子メールの送受信や転送などを制御する電子メール処理機能を有しているものとする。
　図８において、音声対話システム１は、ユーザ２宛ての電子メールの受信を検知したため、ユーザ２に対し、「xxさんからメールが来ました 読み上げますか」である質問R41を行っている。
　この質問R41に対し、ユーザ２が、「あ、今から出かけるからぁ、、、、、スマホに送っといて」である回答U41を行った場合に、「あ、今から出かけるからぁ」である発話が終わってから、「スマホに送っといて」である発話が開始されるまでに、ASR途中結果の更新が、閾値（例えば300ms）を超えて更新されないとき、音声対話システム１は、ASR途中結果の投入タイミングであると判定する。
　すなわち、図８においては、時刻t41乃至時刻t42に、「あ、今から出かけるからぁ」である発話を用いた音声認識処理が行われ、ASR途中結果が更新されるが、時刻t42以降に、ASR途中結果の更新が停止されている。そのため、時刻t43に、ASR途中結果の投入タイミングであると判定され、ASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果（Intent, Entity）が得られる。なお、ここでは、上述の（Ａ）の第１の条件を用いて、投入タイミングを判定したが、他の条件を用いるようにしてもよい。
　このとき、応答有無判定部１２３は、意味解析（NLU）の結果に基づき、「あ、今から出かけるからぁ」である発話の意味解析（NLU）の結果が、質問R41に対する回答として、対話の状況に即したシステムの機能を実行可能なものではないため（電子メール処理機能に関する意図（Intent）ではないため）、応答を行わないと判定する。したがって、この時点では、音声対話システム１は、ユーザ２に対して無反応となる。
　その後、図８においては、時刻t44乃至時刻t45に、「スマホに送っといて」である発話を用いた音声認識処理が行われ、ASR途中結果の更新が再開される。そして、時刻t45以降に、ASR途中結果の更新が停止され、時刻t46に、ASR途中結果の投入タイミングであると判定され、ASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
　このとき、応答有無判定部１２３は、「スマホに送っといて」である発話の意味解析（NLU）の結果として、Intent = "メール転送", Entity = "スマホ" が得られており、質問R41に対する回答として、対話の状況に即したものであって、電子メール処理機能として実行可能であるため、応答を行うと判定する。
　そして、音声対話システム１においては、ユーザ２に対し、「スマートフォンに転送します」である応答R42が行われるとともに、電子メール処理機能によって、ユーザ２が所持するスマートフォンに対し、xxさんから受信した電子メールを転送する処理が行われる。
　このように、図８の例では、「あ、今から出かけるからぁ、、、、、スマホに送っといて」である回答U41が、ユーザ２によってなされた場合に、対話の状況が、電子メールをどのように処理するかの質問R41に対するものであるため、システムの電子メール処理機能に応じた意味解析（NLU）の結果である、Intent = "メール転送", Entity = "スマホ" が得られた時点で、システム応答を行っている。
（応答有無判定の第３の例）
　図９は、応答有無判定の第３の例を示す図である。
　図９において、音声対話システム１は、上述した図８の例と同様に、「xxさんからメールが来ました 読み上げますか」である質問R41を行っている。
　この質問R41に対し、ユーザ２が、「あ、今から出かけるからぁ、、、、、スマホに送っといて、、、天気も教えて」である回答U42を行っている。このとき、音声対話システム１では、上述した図８の例と同様に、「あ、今から出かけるからぁ」である発話が終わってから、「スマホに送っといて」である発話が開始されるまでに、ASR途中結果の更新が、閾値（例えば300ms）を超えて更新されないとき、ASR途中結果の投入タイミングであると判定している。
　そのため、図９においては、上述した図８の例と同様に、時刻t43に、ASR途中結果の投入タイミングであると判定され、「あ、今から出かけるからぁ」であるASR途中結果が、意味解析処理に投入されるが、この意味解析（NLU）の結果が、電子メール処理機能に関する意図（Intent）ではないため、応答を行わないと判定される。
　また、図９において、音声対話システム１では、「スマホに送っといて」である発話が終わってから、「天気も教えて」である発話が開始されるまでに、ASR途中結果の更新が、閾値（例えば300ms）を超えて更新されないとき、ASR途中結果の投入タイミングであると判定している。
　そのため、図９においては、上述した図８の例と同様に、時刻t46に、ASR途中結果の投入タイミングであると判定され、「スマホに送っといて」であるASR途中結果が、意味解析処理に投入される。この意味解析（NLU）の結果としては、Intent = "メール転送", Entity = "スマホ" が得られて、対話の状況に即した電子メール処理機能に関するものとなるため、電子メールの転送とその応答R42が即時に行われる。
　さらに、図９においては、時刻t47乃至時刻t48に、「天気も教えて」である発話を用いた音声認識処理が行われ、ASR途中結果の更新が再開される。そして、時刻t48以降に、ASR途中結果の更新が停止され、時刻t49に、ASR途中結果の投入タイミングであると判定され、ASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
　このとき、応答有無判定部１２３は、「天気も教えて」である発話の意味解析（NLU）の結果として、Intent = "天気確認"が得られており、その意図（Intent）が、対話の状況に即した電子メール処理機能に関するものではないが、システムの機能として実行可能な機能である場合には、そのような意図（Intent）も例外的に認めることができる。
　すなわち、この第３の例では、「あ、今から出かけるからぁ、、、、、スマホに送っといて、、、天気も教えて」である回答U42に、「あ、今から出かけるからぁ」である発話が含まれ、この発話のASR途中結果を、意味解析処理に投入すると、意味解析（NLU）の結果として、Intent = "外出", Entity = "今" が得られる。そして、この意味解析（NLU）の結果から、ユーザ２がこれから出かけることが想定され、この情報を、コンテキスト情報として記録しておくことができる。
　そして、その後に、「天気も教えて」である発話の意味解析（NLU）の結果として、Intent = "天気確認"が得られたとき、応答有無判定部１２３は、Intent = "天気確認"が、電子メール処理機能に関するものではないが、システムの機能として実行可能な機能であって、ユーザ２がこれから出かけるというコンテキスト情報が記録されているため、天気の確認とその応答R43が即時に行われるようにする。
　ここでは、図９に示すように、「スマホに送っといて」である発話に応じた電子メール処理機能の応答R42の途中に、「天気も教えて」である発話に応じた天気確認機能の応答R43が行われたため、「スマートフォンに送ります」である応答R42を中断して、「今日の日中の天気は曇り、夕方から一時雨が降ります」である応答R43が即時に行われる。これにより、音声対話システム１では、電子メール処理機能と、天気確認機能のタスクが両方実行されることになる。
　なお、音声対話システム１では、天気確認機能を実行する際に、例えば、インターネット３０を介して、天気予報に関する情報を公開しているサーバにアクセスして、ユーザ２の位置情報（例えば、現在位置や外出先の位置など）に応じた天気予報に関する情報を取得して、その天気予報に応じた応答を行うことができる。
（応答有無判定の第４の例）
　図１０は、応答有無判定の第４の例を示す図である。
　図１０において、音声対話システム１は、上述した図８及び図９と同様に、「xxさんからメールが来ました 読み上げますか」である質問R41を行っている。
　この質問R41に対し、ユーザ２が、「あ、今から出かけるからぁ、、、天気教えて、、、メールはスマホに送っといて」である回答U43を行っている。このとき、音声対話システム１は、「あ、今から出かけるからぁ」である発話が終わってから、「天気教えて」である発話が開始されるまでに、ASR途中結果の更新が、閾値（例えば300ms）を超えて更新されないとき、ASR途中結果の投入タイミングであると判定している。
　そのため、図１０においては、上述した図８及び図９と同様に、時刻t43に、ASR途中結果の投入タイミングであると判定され、「あ、今から出かけるからぁ」であるASR途中結果が、意味解析処理に投入されるが、この意味解析（NLU）の結果が、電子メール処理機能に関する意図（Intent）ではないため、応答を行わないと判定される。
　また、図１０において、音声対話システム１では、「天気教えて」である発話が終わってから、「メールはスマホに送っといて」である発話が開始されるまでに、ASR途中結果の更新が、閾値（例えば300ms）を超えて更新されないとき、ASR途中結果の投入タイミングであると判定している。
　そのため、図１０においては、時刻t46に、ASR途中結果の投入タイミングであると判定され、「天気教えて」であるASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果として、Intent = "天気確認" が得られる。
　ここで、第４の例では、上述した第３の例と同様に、「あ、今から出かけるからぁ」である発話のASR途中結果を、意味解析処理に投入すると、意味解析（NLU）の結果として、Intent = "外出", Entity = "今" が得られる。そして、この意味解析（NLU）の結果から、ユーザ２がこれから出かけることが想定され、この情報を、コンテキスト情報として記録することができる。
　そして、その後に、「天気教えて」である発話の意味解析（NLU）の結果として、Intent = "天気確認"が得られたとき、応答有無判定部１２３は、Intent = "天気確認"が、対話の状況に即した電子メール処理機能に関するものではないが、システムの機能として実行可能な機能であって、ユーザ２がこれから出かけるというコンテキスト情報が記録されているため、天気の確認とその応答R43を即時に行うことができる。
　さらに、図１０においては、時刻t47乃至時刻t48に、「メールはスマホに送っといて」である発話を用いた音声認識処理が行われ、ASR途中結果の更新が再開される。そして、時刻t48以降に、ASR途中結果の更新が停止され、ASR途中結果の投入タイミングであると判定され、「メールはスマホに送っといて」であるASR途中結果が、意味解析処理に投入される。この意味解析（NLU）の結果としては、Intent = "メール転送", Entity = "スマホ" が得られて、対話の状況に即した電子メール処理機能となるため、電子メールの転送とその応答R42が行われる。
　ただし、このとき、音声対話システム１では、天気確認機能の応答R43の途中であるため、電子メール処理機能の応答42を即時に行わずに、天気確認機能の応答R43が完了してから行われるようにする。すなわち、第４の例では、上述した第３の例のように、先の応答（先行応答）を中断して、後の応答（その後に取得した意図（Intent）に対する応答）を行ってしまうと、天気予報の内容を伝えきる前に途中で終わってしまうため、先の応答である応答R43が完了してから、後の応答である応答R42が開始されるようにしている。
　なお、電子メール処理機能による電子メールの転送の処理は、ユーザ２に対する応答R43が完了してから処理を開始してもよいし、応答R43が終わる前に処理が開始されるようにしてもよい。
（応答有無判定の他の例）
　なお、上述した応答有無判定の例では、スケジュール機能（例えば予定の登録）、電子メール処理機能（例えば電子メールの転送）、及び天気確認機能を例に挙げて、音声対話システム１の機能として受けられる依頼であるとして説明したが、音声対話システム１の機能としては、それらの機能に限らず、他の機能が含まれるようにしてもよい。
　例えば、音楽や動画再生時の操作（例えば、「開始」、「停止」、「戻る」、「進む」など）の依頼や、ナビゲーション時の到着時刻の質問など、様々な対話の状況に応じて、音声対話システム１の機能として実行可能なものであるかどうかで、システム応答の有無を判定することができる。
　また、音声対話システム１では、ユーザ２の発話が、対話の状況に即しておらず、システム応答を返さずに、連続で、音声認識処理を継続し、例えば、一定の時間（例えば1～2秒程度）の間に音声入力がないことで、音声認識処理が完了した場合には、例えば、「分かりませんでした」や「違う言い方で言ってください」などの応答がなされるようにしてもよい。
　さらに、音声対話システム１は、システム応答（応答発話）の時間を、システムの機能として実行可能なときに即時に応答発話を行うだけでなく、例えばユーザの年代や話し方など、ユーザ２の状態によって変化させるようにしてもよい。より具体的には、例えば、ユーザ２が、お年寄りやゆっくり話をする人である場合には、即時に応答発話を行うのではなく、少し時間をおいてゆっくり応答発話を行うなどの対応が可能である。
（学習の結果を用いた適応処理）
　ところで、音声対話システム１においては、サーバ２０側で、あらかじめユーザの個人属性に応じた学習処理を行っておくことで、その学習の結果を用いた適応処理を行うことができる。
　例えば、ユーザ２の発話の完了を、従来の手法（例えば、図１の例）のように、一定の時間に音声入力がないことで判定する場合に、その発話の完了が、どのようなNLU投入判定要因や、意味解析（NLU）の結果得られる意図（Intent）のときに起きているかを、統計的に収集して学習することができる。
　ここで、NLU投入判定要因は、ユーザ２の発話が完了する際に、どのような判定の要因（条件）で、ASR途中結果を、意味解析処理に投入していたかを示すものである。このNLU投入判定要因としては、上述したような、例えば、ASR途中結果に付随する信頼度スコアや、自然言語認識の結果、特定の言い回し文言、イントネーション、ユーザ２の顔向きや視線などが含まれる。
　また、このようにして得られる学習の結果を用いた適応処理を行う際に、ユーザ２のデモグラフィック属性に基づいて、適応処理を行うようにしてもよい。すなわち、ユーザごとに、例えば、年代や性別、地域等の情報（デモグラフィック属性）で分類して、学習の結果に適応した処理を行うことができる。
　これにより、例えば、年代や性別、地域（方言）等による発話の語末表現やイントネーション等の違いを、ユーザの個人属性に適応することができる。なお、デモグラフィック属性としては、例えば、端末装置１０が、ゲーム機等のネットワーク機器である場合には、ユーザのログイン情報から属性情報を取得することができる。
　図１１は、学習の結果を用いた適応処理の例を示している。
　図１１においては、図中の横方向の一点鎖線よりも上段が、学習フェーズを示し、一点鎖線よりも下段が、適応フェーズを示している。
　例えば、学習フェーズにおいて、ユーザ２によって、「今日の天気は？」である発話U61が行われた場合を想定する。この場合において、音声対話システム１では、時刻t61乃至時刻t62に、「今日の天気は？」である発話U61を用いた音声認識処理が行われ、ASR途中結果が更新されるが、時刻t62以降に、ASR途中結果の更新が停止されている。
　そして、時刻t63に投入タイミングになったとき、発話U61のASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。このとき、意味解析（NLU）の結果として得られる意図（Intent）の信頼度スコアが低い場合には、当該意味解析（NLU）の結果が得られた後も、ASR途中結果の更新が停止されるが、ユーザ２の発話が完了すると判定されるまで待つことになる。
　すなわち、一定の時間に音声入力がないことで、時刻t64に、音声認識（ASR）の結果が確定し、ユーザ２の発話が完了したと判定されるまで、システム応答が行われないことになる。
　この場合に、意味解析・応答判定処理部１０８では、「今日の天気は？」である発話U61に対する意味解析（NLU）の結果として得られる意図（Intent）の信頼度スコアは低いが、この発話U61によって発話の完了であったこと（つまり、ユーザ２の発話が完了する際の意味解析処理へのNLU投入判定要因）を学習し、データベースに記録する。
　一方で、その後に行われる適応フェーズにおいては、ユーザ２によって、「今日の天気は？」である発話U71が再度行われた場合、音声対話システム１では、時刻t71乃至時刻t72に、「今日の天気は？」である発話U71を用いた音声認識処理が行われ、ASR途中結果が更新される。
　その後、ASR途中結果の更新が停止され、時刻t73に投入タイミングになったとき、発話U71のASR途中結果が、意味解析処理に投入され、意味解析（NLU）の結果が得られる。
　このとき、意味解析・応答判定処理部１０８では、上述した学習フェーズにて学習した意味解析処理へのNLU投入判定要因として、「今日の天気は？」である発話U61（発話U71）のASR途中結果が、意味解析処理に投入されたときには、意図（Intent）の信頼度スコアは低いが、発話の完了であったことを学習しているので、それを適応して、発話U71の後に発話が完了すると判定する。
　そして、意味解析・応答判定処理部１０８では、「今日の天気は？」である発話U71に対する意味解析（NLU）の結果が得られた後、直ちに、"天気質問"である意図（Intent）に応じた天気確認機能を実行し、そのシステム応答（例えば、「今日の天気は晴れです」）が行われるようにする。
　このように、ユーザ２の使用状況の学習の結果を用いた適応処理（応答有無判定処理）を行うことで、意味解析処理が終了した後の時刻t74に、ユーザ２の発話が完了したと判定して、システム応答を行うことが可能となるため、学習の結果を用いない場合と比べて、ユーザ２の発話に対する、システム応答のレスポンスを高速化することができる。
　換言すれば、意味解析・応答判定処理部１０８においては、学習フェーズで、例えば、ユーザ２の発話が完了する際の意味解析処理へのNLU投入判定要因や、意味解析処理を逐次行うことで得られる意図（Intent）を、時間軸で統計的に学習し、適応フェーズで、次回以降の処理で、学習の結果（例えば、発話完了実績の統計情報）に適応した処理（応答有無判定処理）を行うと言える。なお、上述したように、意味解析・応答判定処理部１０８では、学習の結果を用いた適応処理を行う際に、ユーザ２のデモグラフィック属性に基づいて、適応処理を行うようにしてもよい。
（マルチモーダル・インターフェースの利用の例）
　ところで、音声対話システム１において、ローカル側の端末装置１０が、視覚や聴覚などの複数のコミュニケーションモードを利用することが可能な場合に、このマルチモーダル・インターフェースを利用して、ユーザ２の発話中であっても、応答発話以外に提示可能な情報を、先行して提示するようにしてもよい。例えば、先行して提示可能な情報を、応答発話よりも前に画面に表示することで、発話中のユーザ２に対し、迅速にシステム応答を提示することができる。
　なお、ここでは、説明の都合上、ユーザ２による発話開始から途中で、ASR途中結果が意味解析処理に投入されるまでの発話を、「発話Ａ」と記述し、その投入の後に継続している発話であって、その継続開始から完了するまでの発話を、「発話Ｂ」と記述する。
　ここでは、まず、第１のマルチモーダル利用の例として、発話Ａの意味解析（NLU）の結果によって、システムの機能として実行可能な機能が特定された場合には、発話Ｂの発話中であっても、発話Ａの意味解析（NLU）の結果に応じた機能を実行して、その実行の結果を、ディスプレイとして構成される画像出力部１１３の画面に表示することができる。そして、発話Ａに続いて、発話Ｂが完了した時点で、システム応答が、スピーカとして構成される音声出力部１１２から音声として出力されることになる。
　例えば、ユーザ２によって、「音量を上げて、明日の天気を教えて」である発話がなされた場合に、「音量を上げて」が発話Ａに該当し、「明日の天気を教えて」が発話Ｂに該当するので、例えば、次のような処理を行うことができる。すなわち、音声対話システム１は、発話Ｂの発話中に、音量を上げるとともに、画像出力部１１３の画面に、音量メータの情報を表示し、その後、発話Ｂの完了時には、音声出力部１１２から、明日の天気の情報を音声として出力することができる。
　また、例えば、ユーザ２によって、「＜アーティスト名＞の＜曲名＞を探して」である発話がなされた場合に、「＜アーティスト名＞の」が発話Ａに該当し、「＜曲名＞を探して」が発話Ｂに該当するので、例えば、次のような処理を行うことができる。すなわち、音声対話システム１は、発話Ａである「＜アーティスト名＞の」までで、検索されたアーティストの代表曲名のリストを、画像出力部１１３の画面に表示し、その後、発話Ｂである「＜曲名＞を探して」で、対象の曲の再生を開始して、その音楽を、音声出力部１１２から出力することになる。
　なお、例えば、ユーザ２によって、「I want to listen・・・」である英語の発話がなされた場合、音声対話システム１は、発話Ａである「I want to listen」が発話された時点で、音楽再生用のプレイヤを起動して、画像出力部１１３の画面に表示し、その後、発話Ｂとして、例えば、曲名まで言われたときには、その曲の再生を開始して、その音楽を、音声出力部１１２から出力することになる。
　また、例えば、ユーザ２によって、「東京都港区港南・・・」である住所に関する発話がなされた場合、音声対話システム１は、「東京都」である発話がされた時点で、地図アプリケーションを起動して、東京都の地図を表示し、その後、「港区」である発話がされた時点で、東京都の地図を拡大して、港区の地図を表示する。そして、音声対話システム１は、さらに、「港南」である発話がされた時点で、港区の地図を拡大して、港南地域の地図を表示する。すなわち、画像出力部１１３の画面では、ユーザ２が地名を発する度に、その地名に応じて地図の領域が拡大表示されることになる。
　なお、例えば、複数人のユーザが、各々のスケジュールを確認する際に、複数人のユーザのうち、対象のユーザの名前が発せられる度に（例えば、「Ａさんと、Ｂさんと、Ｃさんと、・・・」等）、音声対話システム１が、逐次、対象のユーザの予定を、画面に表示するようにしてもよい。また、音声による複数キーワードの検索を行う際に、ユーザ２が、キーワードを発する度に、音声対話システム１が、逐次、対象のキーワードによって絞り込まれた検索結果を、画面に表示するようにしてもよい（いわば、インクリメンタルサーチ機能を実現しているとも言える）。
　次に、第２のマルチモーダル利用の例として、発話Ａの意味解析（NLU）の結果が、対話の状況に即しておらず、音声対話システム１が、意味解析（NLU）の結果に応じた機能を実行できない場合に、発話Ｂの発話中に、画像出力部１１３の画面に、システムが継続して発話を聞いていることを示す情報を表示することができる。
　ここでは、例えば、「？」であるマークや、発話を聞いていることを表した耳の画像、擬人化エージェントがうなずくなどの情報を、画面に表示することで、ユーザ２に対し、音声対話システム１が継続して発話を聞いていることを知らせることができる。
　次に、第３のマルチモーダル利用の例として、発話Ａの意味解析（NLU）の結果（Intent）の信頼度スコアが低く、その結果に確信が持てない場合に、音声対話システム１は、その意図（Intent）に関する情報を、通常よりも弱い表現で提示することができる。
　ここでは、例えば、画像出力部１１３の画面に、表示する画像の明暗の差を縮めて（コントラストを変化させて）、画面にうっすら表示したり、あるいは、音声出力部１１２から出力される音声の音量を下げて、小さい音で出したりすることができる。
　なお、その後、発話Ｂの意味解析（NLU）の結果（Intent）の信頼度スコアが高くなって、その結果に確信が持てた段階で、音声対話システム１は、その意図（Intent）に関する情報を、先ほどの弱い表現よりも強い表現（例えば、通常の表現又は通常よりも強い表現）で提示することができる。ここでは、例えば、表示する画像の明暗の差を大きくして、画面にはっきり表示したり、あるいは、音量を上げて、大きい音で出したりすることができる。
　具体的には、例えば、ユーザ２によって、「How is the weather in Osaka」である英語の発話がなされた場合、「How is the weather」が、発話Ａに該当し、「in Osaka」が、発話Ｂに該当するので、例えば、次のような処理を行うことができる。すなわち、音声対話システム１は、発話Ａがされた時点で、現在地となる「東京の天気」をうっすら表示し、その後、発話Ｂがされた時点で、対象の地域となる「大阪の天気」をはっきり表示する。
　最後に、第４のマルチモーダル利用の例として、対象の機器（例えば、端末装置１０）が、擬人化エージェントで、顔がある場合において、発話Ａの段階で、意味解析（NLU）の結果（Intent）の信頼度スコアが高く、その結果に確信が持てたときに、この擬人化エージェントが、ユーザ２に対し、視線を向けるようにしてもよい。その結果として、ユーザ２は、視線によって発話Ｂを促すフィードバックを受けることになり、発話Ａに続いて発話Ｂを発しやすくなる。
　例えば、ユーザ２によって、「×××って曲を聴きたいんだけど、、音量を上げて聴かせて」である発話がなされた場合、「×××って曲を聴きたいんだけど」が、発話Ａに該当し、「音量を上げて聴かせて」が、発話Ｂに該当するので、例えば、次のような処理を行うことができる。すなわち、音声対話システム１は、発話Ａの段階でその結果に確信を持ったため、擬人化エージェントの視線が、ユーザ２に向くようにする。
　これにより、ユーザ２は、所望の曲が見つかったことを、擬人化エージェントの視線から察して、音量のアップを依頼することになる。そして、音声対話システム１は、発話Ｂの意味解析（NLU）の結果に基づき、音量を上げて対象の曲の再生を開始することになる。なお、ここで説明した擬人化エージェントは、例えば、コミュニケーションロボット等として、端末装置１０そのものが擬人化されていてもよいし、あるいは、例えば、キャラクタ等として、画像出力部１１３の画面に表示されるようにしてもよい。
　なお、上述した説明では、発話Ａを完了した後に、発話Ｂを行っている間に提示される、発話Ａの意味解析（NLU）の結果に応じた機能の実行の結果の提示方法として、ティスプレイとして構成される画像出力部１１３の画面への表示を説明したが、例えば、ユーザ２が身につけている機器を振動させるなど、音声出力以外での提示方法を採用するようにしてもよい。
　また、マルチモーダルを利用する際には、例えば、意味解析・応答判定処理部１０８（の応答有無判定部１２３）からの制御に従い、応答生成部１０９が、発話Ｂの発話中に、発話Ａの意味解析（NLU）の結果に応じた機能の実行の結果を、出力画像処理部１１１を介して画像出力部１１３の画面に表示するようにする。
　その後に、発話Ｂの発話が完了した時点で、応答生成部１０９は、意味解析・応答判定処理部１０８（の応答有無判定部１２３）からの制御に従い、発話Ｂの意味解析（NLU）の結果に応じた機能の実行の結果（システム応答）を、音声合成処理部１１０を介して音声出力部１１２から出力するようにする。これにより、音声対話システム１において、マルチモーダル・インターフェースが利用可能となる。
（応答有無判定処理の流れ）
　次に、図１２のフローチャートを参照して、音声対話システム１により実行される応答有無判定処理の流れを説明する。
　なお、この応答有無判定処理は、図５の音声対話処理におけるステップＳ１６の処理に含まれる。
　ステップＳ３１において、応答有無判定部１２３は、上述のステップＳ１５の処理（図５）で得られる意味解析（NLU）の結果（Intent）が、ユーザ２のコンテキスト情報を示すものであるかどうかを判定する。
　ステップＳ３１において、意図（Intent）が、ユーザ２のコンテキスト情報を示すものであると判定された場合、処理は、ステップＳ３２に進められる。ステップＳ３２において、応答有無判定部１２３は、意味解析（NLU）の結果として得られた意図（Intent）に含まれるユーザ２のコンテキスト情報を記録する。
　なお、このコンテキスト情報を記録しておくことで、同一のユーザの発話内で、次回以降の意味解析（NLU）の結果を取得した際に、システム応答の有無の判定時に用いることができる。
　ステップＳ３２の処理が終了すると、処理は、ステップＳ３３に進められる。また、ステップＳ３１において、意図（Intent）が、ユーザ２のコンテキスト情報を示すものではないと判定された場合、ステップＳ３２の処理はスキップされ、処理は、ステップＳ３３に進められる。
　ステップＳ３３において、応答有無判定部１２３は、意図（Intent）が、システムの機能として実行可能であるかどうかを判定する。
　ステップＳ３３において、意図（Intent）が、システムの機能として実行可能であると判定された場合、処理は、ステップＳ３４に進められる。ステップＳ３４において、応答有無判定部１２３は、意図（Intent）が、対話の状況に即したものであるかどうかを判定する。
　ステップＳ３４において、意図（Intent）が、対話の状況に即したものであると判定された場合、処理は、ステップＳ３５に進められる。
　また、ステップＳ３４において、意図（Intent）が、対話の状況に即したものではないと判定された場合、処理は、ステップＳ３６に進められる。ステップＳ３６において、応答有無判定部１２３は、意図（Intent）が、ユーザ２のコンテキスト情報に合致しているかどうかを判定する。
　ステップＳ３６において、意図（Intent）が、ユーザ２のコンテキスト情報に合致していると判定された場合、処理は、ステップＳ３７に進められる。ステップＳ３７において、応答有無判定部１２３は、今回取得した意図（Intent）に対するシステム応答を、ユーザ２のコンテキスト情報に基づいたシステム応答として登録する。ステップＳ３７の処理が終了すると、処理は、ステップＳ３５に進められる。
　ステップＳ３５において、応答有無判定部１２３は、システムが、先行するユーザ発話に対する応答中であるかどうかを判定する。
　ステップＳ３５において、システムが、先行するユーザ発話に対する応答中であると判定された場合、処理は、ステップＳ３８に進められる。ステップＳ３８において、応答有無判定部１２３は、先行応答が、ユーザ２のコンテキスト情報に基づいて応答されたものかどうかが判定される。
　ステップＳ３８において、先行応答が、ユーザ２のコンテキスト情報に基づいて応答されたものであると判定された場合、処理は、ステップＳ３９に進められる。ステップＳ３９において、応答有無判定部１２３は、先行応答が完了してから、今回取得した意図（Intent）に対する応答を実行すると判定し、その応答有無判定の結果を、応答生成部１０９に供給する。
　一方で、ステップＳ３８において、先行応答が、ユーザ２のコンテキスト情報に基づいて応答されたものではないと判定された場合、処理は、ステップＳ４０に進められる。ステップＳ４０において、応答有無判定部１２３は、先行応答を中断し、今回取得した意図（Intent）に対応する応答を即時に実行すると判定し、その応答有無判定の結果を、応答生成部１０９に供給する。
　また、上述のステップＳ３５において、システムが、先行するユーザ発話に対する応答中ではないと判定された場合、処理は、ステップＳ４１に進められる。ステップＳ４１において、応答有無判定部１２３は、今回取得した意図（Intent）に対応する応答を即時に実行すると判定し、その応答有無判定の結果を、応答生成部１０９に供給する。
　さらに、上述のステップＳ３３において、意図（Intent）が、システムの機能として実行可能ではないと判定された場合、あるいは、上述のステップＳ３６において、意図（Intent）が、ユーザ２のコンテキスト情報に合致していないと判定された場合、処理は、ステップＳ４２に進められる。ステップＳ４２において、応答有無判定部１２３は、今回取得した意図（Intent）に対する応答は行わないと判定し、その応答有無判定の結果を、応答生成部１０９に供給する（ここでは応答有無判定の結果の通知そのものを行わなくてもよい）。
　なお、ステップＳ３９，Ｓ４０，Ｓ４１，Ｓ４２のいずれかの処理が終了すると、図１２に示した応答有無判定処理は終了される。
　以上、応答有無判定処理の流れを説明した。
　なお、図１２に示した応答有無判定処理では、ユーザ２の発話に応じて得られる意味解析（NLU）の結果に基づき、ユーザ２のコンテキスト情報を記録しているが、意図（Intent）以外の他の情報から、ユーザ２のコンテキスト情報が得られるようにしてもよい。ここで、意味解析（NLU）の結果以外の他の情報としては、例えば、画像データに対する画像認識処理を行うことで得られる画像認識の結果（画像情報）に基づき、ユーザ２のコンテキスト情報を取得することができる。
　例えば、上述した意味解析（NLU）の結果（Intent, Entity）に基づき、コンテキスト情報を取得する例としては、ユーザ２が、「あ、今から出かけるから」である発話を行った場合に、Intent = "外出", Entity = "今" に応じたコンテキスト情報（例えば「今から外出」）を記録することが想定される。
　一方で、例えば、画像認識の結果に基づき、コンテキスト情報を取得する例としては、画像認識の結果として、ユーザ２が部屋から出て行くことが認識された場合に、「出かける」であるコンテキスト情報を記録することができる。この場合、音声対話システム１は、例えば、ユーザ２が、「天気教えて」である発話を行ったとき、コンテキスト情報に基づき、システム応答を行うと判定することができる。
　また、例えば、画像認識の結果として、ユーザ２が台所で料理をしていることが認識された場合に、「台所で料理」であるコンテキスト情報を記録することができる。この場合、音声対話システム１は、例えば、「×××のレシピを教えて」である発話を行ったとき、コンテキスト情報に基づき、システム応答を行うと判定することができる。
　以上のように、音声対話システム１では、ユーザ２の発話中に得られる認識の結果に基づいて、ASR途中結果を逐次、意味解析処理に投入し、その結果得られる意味解析（NLU）の結果に基づいて、システム応答の有無を判定することで、ユーザ２の発話に対し、システム応答のレスポンスを高速化することができるようにしている。
　すなわち、音声対話システム１では、図１及び図２に示した従来の音声対話システム９０のように、ユーザ２の発話の完了を、一定の時間（固定時間）に音声入力がないことで判定するのではなく、システム側でのユーザ２の意図理解の状況によって判定しているため、人が相手の発話に対して応答行動をとるのと同程度の時間で、システム応答のレスポンスを返すことができる。また、システム応答のレスポンスを高速化することで、ユーザ２は、本技術の音声対話システム１との対話に際して、例えば、0.5秒程度の時間の短縮であっても、従来の音声対話システム９０との違いを体感することができる。
　そして、音声対話システム１のレスポンスが、人の応答行動と同程度になることによって、ユーザ２は、対話のターンを意識せずに、システムに対し、自然発話を行えるというマインドができる。
　また、音声対話システム１において、例えば、ユーザ発話の完了の待ち時間が短く設定されている場合には、ユーザ２は、システムへの発話時に間（ま）を空けても、自身が意図するタイミングで、システム応答が返されることになる。そのため、ユーザ２が、システムへの発話を一息で話しきらなくても、意図するタイミングでシステム応答が返ってくるので、音声コマンドではない自然発話で、システムに対して発話を行うことが可能となる。
＜３．変形例＞
　上述した説明では、音声対話システム１において、音声入力部１０１乃至センサ部１０３、音声出力部１１２、及び画像出力部１１３が、ローカル側の端末装置１０に組み込まれ、音声認識部１０４乃至出力画像処理部１１１が、クラウド側のサーバ２０に組み込まれる構成を一例として説明したが、音声入力部１０１乃至画像出力部１１３のそれぞれは、端末装置１０とサーバ２０のうち、どちらの機器に組み込まれてもよい。
　例えば、音声入力部１０１乃至画像出力部１１３のすべてが、端末装置１０側に組み込まれ、ローカル側で処理が完了するようにしてもよい。ただし、このような構成を採用した場合でも、各種のデータベースは、インターネット３０上のサーバ２０が管理するようにしてもよい。
　また、音声認識部１０４で行われる音声認識処理や、意味解析部１２２で行われる意味解析処理は、他のサービスで提供されている音声認識サービスや意味解析サービスを利用するようにしてもよい。この場合、例えば、サーバ２０では、インターネット３０上で提供される音声認識サービスに対し、音声データを送ることで、音声認識（ASR）の結果を得ることができる。また、例えば、サーバ２０では、インターネット３０上で提供される意味解析サービスに対し、ASR途中結果（テキストデータ）を送ることで、ASR途中結果の意味解析（NLU）の結果（Intent, Entity）を得ることができる。
＜４．コンピュータの構成＞
　上述した一連の処理（例えば、図５に示した音声対話処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、図５に示した音声対話処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　ユーザの発話の音声認識の途中結果から得られる意味解析の結果に基づいて、前記ユーザの発話に対する応答の有無を判定する処理部を備える
　情報処理装置。
（２）
　前記処理部は、
　　前記ユーザの発話中に得られる認識の結果に基づいて、前記音声認識の途中結果を逐次、意味解析処理に投入する意味解析制御部と、
　　前記意味解析処理を逐次行うことで得られる前記意味解析の結果に基づいて、前記応答の有無を判定する応答有無判定部と
　を有する
　前記（１）に記載の情報処理装置。
（３）
　前記意味解析制御部は、前記ユーザの発話の音声データの認識の結果、前記ユーザを撮像して得られる画像データの認識の結果、前記ユーザ又はその周辺をセンシングして得られるセンサデータの認識の結果、及び前記音声認識の途中結果を自然言語処理して得られる自然言語認識の結果のうち、少なくとも１つの認識の結果を含む
　前記（２）に記載の情報処理装置。
（４）
　前記意味解析制御部は、前記認識の結果から得られる前記ユーザの発話の状況に基づいて、前記音声認識の途中結果を、前記意味解析処理に投入するタイミングを判定する
　前記（２）又は（３）に記載の情報処理装置。
（５）
　前記応答有無判定部は、前記意味解析処理を逐次行うことで得られる前記意味解析の結果として、システムが、前記ユーザとの対話に即した機能を実行可能な意味解析の結果が得られた時点で、前記応答を行うと判定する
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記応答有無判定部は、前記意味解析処理を逐次行うことで得られる前記意味解析の結果に基づいて、システムの機能として実行可能な意図が得られたとき、前記応答を行うと判定する
　前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記応答有無判定部は、
　　ある時点で得られた第１の意味解析の結果に基づき、前記ユーザのコンテキスト情報を記録し、
　　その後に得られた第２の意味解析の結果が、記録した前記コンテキスト情報の内容に合致している場合に、前記第２の意味解析の結果に基づいた応答を行うと判定する
　前記（６）に記載の情報処理装置。
（８）
　前記応答有無判定部は、判定の対象となる第２の応答に対し、第１の応答が先行して行われている場合に、前記第１の応答が、前記コンテキスト情報に基づいたものであるとき、前記第１の応答が完了してから、前記第２の応答を行うと判定する
　前記（７）に記載の情報処理装置。
（９）
　前記応答有無判定部は、判定の対象となる第２の応答に対し、第１の応答が先行して行われている場合に、前記第１の応答が、前記コンテキスト情報に基づいたものではないとき、前記第１の応答を中断し、前記第２の応答を即時に行うと判定する
　前記（７）又は（８）に記載の情報処理装置。
（１０）
　前記応答有無判定部は、前記意味解析処理を逐次行うことで得られる意図（Intent）及び実体情報（Entity）に基づいて、前記応答の有無を判定する
　前記（２）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記処理部は、前記ユーザごとの使用状況に応じた学習の結果に基づいて、前記応答の有無を判定する
　前記（２）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記処理部は、
　　前記ユーザの発話が完了する際の前記意味解析処理への投入判定要因、又は前記意味解析処理を逐次行うことで得られる意図（Intent）を、時間軸で統計的に学習し、
　　次回以降の処理で、前記ユーザのデモグラフィック属性に基づいて、学習の結果に適応した処理を行う
　前記（１１）に記載の情報処理装置。
（１３）
　前記処理部は、第１の応答が音声により提示される場合に、前記第１の応答に先行した第２の応答が提示可能となるとき、前記第１の応答に先行して、前記第２の応答が音声以外の方法により提示されるようにする
　前記（２）に記載の情報処理装置。
（１４）
　前記意味解析制御部は、前記音声データの認識の結果に基づいて、前記ユーザの発話の間の時間が一定の時間を超えたとき、前記音声認識の途中結果に付随する信頼度スコアが一定の閾値を超えたとき、前記音声認識の途中結果のテキストの文末に特定の言い回し文言を検出したとき、又は発話韻律で疑問を示すイントネーションを検出したとき、前記音声認識の途中結果を、前記意味解析処理に投入する
　前記（３）又は（４）に記載の情報処理装置。
（１５）
　前記意味解析制御部は、前記画像データの認識の結果に基づいて、前記ユーザの顔が所定の対象に向いたとき、又は所定の対象からそれたとき、前記音声認識の途中結果を、前記意味解析処理に投入する
　前記（３）又は（４）に記載の情報処理装置。
（１６）
　前記意味解析制御部は、前記センサデータの認識の結果に基づいて、前記ユーザの視線が所定の対象に向いたとき、又は所定の対象からそれたとき、前記音声認識の途中結果を、前記意味解析処理に投入する
　前記（３）又は（４）に記載の情報処理装置。
（１７）
　前記意味解析制御部は、前記自然言語認識の結果に基づいて、依頼又は質問を示す述語の文節を検出したとき、前記音声認識の途中結果を、前記意味解析処理に投入する
　前記（３）又は（４）に記載の情報処理装置。
（１８）
　前記応答有無判定部による前記応答の有無判定の結果に基づいて、システム応答を生成する応答生成部をさらに備える
　前記（２）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　前記ユーザの発話から前記音声認識の途中結果を得るための音声認識処理を行う音声認識部と、
　前記意味解析処理を行う意味解析部と
　をさらに備える前記（２）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
　情報処理装置の情報処理方法において、
　前記情報処理装置が、
　ユーザの発話の音声認識の途中結果から得られる意味解析の結果に基づいて、前記ユーザの発話に対する応答の有無を判定する
　情報処理方法。
　１　音声対話システム，　１０　端末装置，　２０　サーバ，　９０　インターネット，　１０１　音声入力部，　１０２　画像入力部，　１０３　センサ部，　１０４　音声認識部，　１０５　画像認識部，　１０６　センサ認識部，　１０７　自然言語処理部，　１０８　意味解析・応答判定処理部，　１０９　応答生成部，　１１０　音声合成処理部，　１１１　出力画像処理部，　１１２　音声出力部，　１１３　画像出力部，　１２１　逐次意味解析制御部，　１２２　意味解析部，　１２３　応答有無判定部，　１０００　コンピュータ，　１００１　CPU

Claims (20)

  1. 　ユーザの発話の音声認識の途中結果から得られる意味解析の結果に基づいて、前記ユーザの発話に対する応答の有無を判定する処理部を備える
    　情報処理装置。
  2. 　前記処理部は、
    　　前記ユーザの発話中に得られる認識の結果に基づいて、前記音声認識の途中結果を逐次、意味解析処理に投入する意味解析制御部と、
    　　前記意味解析処理を逐次行うことで得られる前記意味解析の結果に基づいて、前記応答の有無を判定する応答有無判定部と
    　を有する
    　請求項１に記載の情報処理装置。
  3. 　前記意味解析制御部は、前記ユーザの発話の音声データの認識の結果、前記ユーザを撮像して得られる画像データの認識の結果、前記ユーザ又はその周辺をセンシングして得られるセンサデータの認識の結果、及び前記音声認識の途中結果を自然言語処理して得られる自然言語認識の結果のうち、少なくとも１つの認識の結果を含む
    　請求項２に記載の情報処理装置。
  4. 　前記意味解析制御部は、前記認識の結果から得られる前記ユーザの発話の状況に基づいて、前記音声認識の途中結果を、前記意味解析処理に投入するタイミングを判定する
    　請求項３に記載の情報処理装置。
  5. 　前記応答有無判定部は、前記意味解析処理を逐次行うことで得られる前記意味解析の結果として、システムが、前記ユーザとの対話に即した機能を実行可能な意味解析の結果が得られた時点で、前記応答を行うと判定する
    　請求項２に記載の情報処理装置。
  6. 　前記応答有無判定部は、前記意味解析処理を逐次行うことで得られる前記意味解析の結果に基づいて、システムの機能として実行可能な意図が得られたとき、前記応答を行うと判定する
    　請求項５に記載の情報処理装置。
  7. 　前記応答有無判定部は、
    　　ある時点で得られた第１の意味解析の結果に基づき、前記ユーザのコンテキスト情報を記録し、
    　　その後に得られた第２の意味解析の結果が、記録した前記コンテキスト情報の内容に合致している場合に、前記第２の意味解析の結果に基づいた応答を行うと判定する
    　請求項６に記載の情報処理装置。
  8. 　前記応答有無判定部は、判定の対象となる第２の応答に対し、第１の応答が先行して行われている場合に、前記第１の応答が、前記コンテキスト情報に基づいたものであるとき、前記第１の応答が完了してから、前記第２の応答を行うと判定する
    　請求項７に記載の情報処理装置。
  9. 　前記応答有無判定部は、判定の対象となる第２の応答に対し、第１の応答が先行して行われている場合に、前記第１の応答が、前記コンテキスト情報に基づいたものではないとき、前記第１の応答を中断し、前記第２の応答を即時に行うと判定する
    　請求項７に記載の情報処理装置。
  10. 　前記応答有無判定部は、前記意味解析処理を逐次行うことで得られる意図（Intent）及び実体情報（Entity）に基づいて、前記応答の有無を判定する
    　請求項２に記載の情報処理装置。
  11. 　前記処理部は、前記ユーザごとの使用状況に応じた学習の結果に基づいて、前記応答の有無を判定する
    　請求項２に記載の情報処理装置。
  12. 　前記処理部は、
    　　前記ユーザの発話が完了する際の前記意味解析処理への投入判定要因、又は前記意味解析処理を逐次行うことで得られる意図（Intent）を、時間軸で統計的に学習し、
    　　次回以降の処理で、前記ユーザのデモグラフィック属性に基づいて、学習の結果に適応した処理を行う
    　請求項１１に記載の情報処理装置。
  13. 　前記処理部は、第１の応答が音声により提示される場合に、前記第１の応答に先行した第２の応答が提示可能となるとき、前記第１の応答に先行して、前記第２の応答が音声以外の方法により提示されるようにする
    　請求項２に記載の情報処理装置。
  14. 　前記意味解析制御部は、前記音声データの認識の結果に基づいて、前記ユーザの発話の間の時間が一定の時間を超えたとき、前記音声認識の途中結果に付随する信頼度スコアが一定の閾値を超えたとき、前記音声認識の途中結果のテキストの文末に特定の言い回し文言を検出したとき、又は発話韻律で疑問を示すイントネーションを検出したとき、前記音声認識の途中結果を、前記意味解析処理に投入する
    　請求項４に記載の情報処理装置。
  15. 　前記意味解析制御部は、前記画像データの認識の結果に基づいて、前記ユーザの顔が所定の対象に向いたとき、又は所定の対象からそれたとき、前記音声認識の途中結果を、前記意味解析処理に投入する
    　請求項４に記載の情報処理装置。
  16. 　前記意味解析制御部は、前記センサデータの認識の結果に基づいて、前記ユーザの視線が所定の対象に向いたとき、又は所定の対象からそれたとき、前記音声認識の途中結果を、前記意味解析処理に投入する
    　請求項４に記載の情報処理装置。
  17. 　前記意味解析制御部は、前記自然言語認識の結果に基づいて、依頼又は質問を示す述語の文節を検出したとき、前記音声認識の途中結果を、前記意味解析処理に投入する
    　請求項４に記載の情報処理装置。
  18. 　前記応答有無判定部による前記応答の有無判定の結果に基づいて、システム応答を生成する応答生成部をさらに備える
    　請求項２に記載の情報処理装置。
  19. 　前記ユーザの発話から前記音声認識の途中結果を得るための音声認識処理を行う音声認識部と、
    　前記意味解析処理を行う意味解析部と
    　をさらに備える請求項１８に記載の情報処理装置。
  20. 　情報処理装置の情報処理方法において、
    　前記情報処理装置が、
    　ユーザの発話の音声認識の途中結果から得られる意味解析の結果に基づいて、前記ユーザの発話に対する応答の有無を判定する
    　情報処理方法。
PCT/JP2018/040663 2017-11-15 2018-11-01 情報処理装置、及び情報処理方法 WO2019098038A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/472,544 US11217230B2 (en) 2017-11-15 2018-11-01 Information processing device and information processing method for determining presence or absence of a response to speech of a user on a basis of a learning result corresponding to a use situation of the user
JP2019527257A JP7243625B2 (ja) 2017-11-15 2018-11-01 情報処理装置、及び情報処理方法
EP18879800.3A EP3567585A4 (en) 2017-11-15 2018-11-01 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017219683 2017-11-15
JP2017-219683 2017-11-15

Publications (1)

Publication Number Publication Date
WO2019098038A1 true WO2019098038A1 (ja) 2019-05-23

Family

ID=66540240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040663 WO2019098038A1 (ja) 2017-11-15 2018-11-01 情報処理装置、及び情報処理方法

Country Status (4)

Country Link
US (1) US11217230B2 (ja)
EP (1) EP3567585A4 (ja)
JP (1) JP7243625B2 (ja)
WO (1) WO2019098038A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022928A (ja) * 2019-07-24 2021-02-18 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 人工知能基盤の自動応答方法およびシステム
KR20210042640A (ko) * 2019-10-10 2021-04-20 한국전자기술연구원 적응형 대화를 위한 장치
JP6898685B1 (ja) * 2020-12-14 2021-07-07 シンメトリー・ディメンションズ・インク 業務支援装置、業務支援システム、及び、業務支援方法
WO2021153102A1 (ja) * 2020-01-27 2021-08-05 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム
JP2021117580A (ja) * 2020-01-23 2021-08-10 株式会社ミクシィ 情報処理装置、及びプログラム
US11556707B2 (en) 2020-06-18 2023-01-17 Google Llc Fulfillment of actionable requests ahead of a user selecting a particular autocomplete suggestion for completing a current user input

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11322141B2 (en) * 2017-08-17 2022-05-03 Sony Corporation Information processing device and information processing method
CN111261159B (zh) * 2020-01-19 2022-12-13 百度在线网络技术（北京）有限公司 信息指示的方法及装置
TWI801718B (zh) * 2020-02-25 2023-05-11 瑞軒科技股份有限公司 智慧型互動顯示裝置、智慧型互動顯示系統及其互動顯示方法
US11615239B2 (en) * 2020-03-31 2023-03-28 Adobe Inc. Accuracy of natural language input classification utilizing response delay
US11605375B2 (en) * 2021-03-05 2023-03-14 Capital One Services, Llc Systems and methods for dynamically updating machine learning models that provide conversational responses
CN115171727A (zh) * 2022-09-08 2022-10-11 北京亮亮视野科技有限公司 一种量化沟通效率的方法及装置
CN115410579B (zh) * 2022-10-28 2023-03-31 广州小鹏汽车科技有限公司 语音交互方法、语音交互装置、车辆和可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06202689A (ja) 1992-12-28 1994-07-22 Sony Corp 音声認識方法および装置
JP2002024212A (ja) * 2000-07-12 2002-01-25 Mitsubishi Electric Corp 音声対話システム
JP2012226068A (ja) * 2011-04-19 2012-11-15 Honda Motor Co Ltd 対話装置
JP2016004270A (ja) * 2014-05-30 2016-01-12 アップル インコーポレイテッド 手動始点／終点指定及びトリガフレーズの必要性の低減
WO2016157658A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2017156854A (ja) * 2016-02-29 2017-09-07 Kddi株式会社 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219645B1 (en) * 1999-12-02 2001-04-17 Lucent Technologies, Inc. Enhanced automatic speech recognition using multiple directional microphones
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
EP1575031A3 (en) * 2002-05-15 2010-08-11 Pioneer Corporation Voice recognition apparatus
US7640164B2 (en) * 2002-07-04 2009-12-29 Denso Corporation System for performing interactive dialog
CA2593324A1 (en) * 2004-12-21 2006-06-29 Linda H. Kunz Multicultural and multimedia data collection and documentation computer system, apparatus and method
US7518631B2 (en) * 2005-06-28 2009-04-14 Microsoft Corporation Audio-visual control system
JP4087400B2 (ja) * 2005-09-15 2008-05-21 株式会社東芝 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム
US7818166B2 (en) * 2007-01-31 2010-10-19 Motorola, Inc. Method and apparatus for intention based communications for mobile communication devices
US7809664B2 (en) * 2007-12-21 2010-10-05 Yahoo! Inc. Automated learning from a question and answering network of humans
KR101622111B1 (ko) * 2009-12-11 2016-05-18 삼성전자 주식회사 대화 시스템 및 그의 대화 방법
US20120131041A1 (en) * 2010-11-24 2012-05-24 Meography Incorporated Interactive story compilation
US9997069B2 (en) * 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
US9674331B2 (en) * 2012-06-08 2017-06-06 Apple Inc. Transmitting data from an automated assistant to an accessory
US10199051B2 (en) * 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10122479B2 (en) * 2017-01-23 2018-11-06 DGS Global Systems, Inc. Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum
US9727821B2 (en) * 2013-08-16 2017-08-08 International Business Machines Corporation Sequential anomaly detection
US10102851B1 (en) * 2013-08-28 2018-10-16 Amazon Technologies, Inc. Incremental utterance processing and semantic stability determination
CN104978750B (zh) * 2014-04-04 2018-02-06 诺基亚技术有限公司 用于处理视频文件的方法和装置
EP3591577A1 (en) * 2014-05-22 2020-01-08 Sony Corporation Information processing apparatus, information processing method, and program
CN107112013B (zh) * 2014-09-14 2020-10-23 谷歌有限责任公司 用于创建可定制对话系统引擎的平台
EP3026668A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Apparatus and method for generating visual content from an audio signal
US9720917B2 (en) * 2015-02-17 2017-08-01 International Business Machines Corporation Electronic meeting question management
US10430859B2 (en) * 2015-03-30 2019-10-01 NetSuite Inc. System and method of generating a recommendation of a product or service based on inferring a demographic characteristic of a customer
CN105094315B (zh) * 2015-06-25 2018-03-06 百度在线网络技术（北京）有限公司 基于人工智能的人机智能聊天的方法和装置
US10121471B2 (en) * 2015-06-29 2018-11-06 Amazon Technologies, Inc. Language model speech endpointing
US20170031896A1 (en) * 2015-07-28 2017-02-02 Xerox Corporation Robust reversible finite-state approach to contextual generation and semantic parsing
US9886958B2 (en) * 2015-12-11 2018-02-06 Microsoft Technology Licensing, Llc Language and domain independent model based approach for on-screen item selection
US11449785B2 (en) * 2016-02-24 2022-09-20 Line Corporation Method and system for artificial intelligence learning using messaging service and method and system for relaying answer using artificial intelligence
US10140988B2 (en) * 2016-03-01 2018-11-27 Microsoft Technology Licensing, Llc Speech recognition
US20180052664A1 (en) * 2016-08-16 2018-02-22 Rulai, Inc. Method and system for developing, training, and deploying effective intelligent virtual agent
US10216732B2 (en) * 2016-09-07 2019-02-26 Panasonic Intellectual Property Management Co., Ltd. Information presentation method, non-transitory recording medium storing thereon computer program, and information presentation system
US11093307B2 (en) * 2016-12-08 2021-08-17 Accenture Global Solutions Limited Platform for supporting multiple virtual agent applications
US20180189273A1 (en) * 2016-12-23 2018-07-05 OneMarket Network LLC Maintaining context in transaction conversations
KR101957277B1 (ko) * 2017-02-14 2019-03-12 윤종식 음성 인식을 이용한 코딩시스템 및 코딩방법
US10089981B1 (en) * 2017-03-09 2018-10-02 Amazon Technologies, Inc. Messaging account disambiguation
US10585739B2 (en) * 2017-04-28 2020-03-10 International Business Machines Corporation Input data correction
US10366690B1 (en) * 2017-05-15 2019-07-30 Amazon Technologies, Inc. Speech recognition entity resolution
US10529323B2 (en) * 2017-05-19 2020-01-07 UBTECH Robotics Corp. Semantic processing method of robot and semantic processing device
US10171662B1 (en) * 2017-09-22 2019-01-01 International Business Machines Corporation Intervention in conversation between virtual agent and user
CN109767774A (zh) * 2017-11-08 2019-05-17 阿里巴巴集团控股有限公司 一种交互方法和设备
CN109637519B (zh) * 2018-11-13 2020-01-21 百度在线网络技术（北京）有限公司 语音交互实现方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06202689A (ja) 1992-12-28 1994-07-22 Sony Corp 音声認識方法および装置
JP3277579B2 (ja) 1992-12-28 2002-04-22 ソニー株式会社 音声認識方法および装置
JP2002024212A (ja) * 2000-07-12 2002-01-25 Mitsubishi Electric Corp 音声対話システム
JP2012226068A (ja) * 2011-04-19 2012-11-15 Honda Motor Co Ltd 対話装置
JP2016004270A (ja) * 2014-05-30 2016-01-12 アップル インコーポレイテッド 手動始点／終点指定及びトリガフレーズの必要性の低減
WO2016157658A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2017156854A (ja) * 2016-02-29 2017-09-07 Kddi株式会社 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3567585A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022928A (ja) * 2019-07-24 2021-02-18 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 人工知能基盤の自動応答方法およびシステム
JP7113047B2 (ja) 2019-07-24 2022-08-04 ネイバー コーポレーション 人工知能基盤の自動応答方法およびシステム
KR20210042640A (ko) * 2019-10-10 2021-04-20 한국전자기술연구원 적응형 대화를 위한 장치
KR102342343B1 (ko) * 2019-10-10 2021-12-22 한국전자기술연구원 적응형 대화를 위한 장치
JP2021117580A (ja) * 2020-01-23 2021-08-10 株式会社ミクシィ 情報処理装置、及びプログラム
JP7436804B2 (ja) 2020-01-23 2024-02-22 株式会社Mixi 情報処理装置、及びプログラム
WO2021153102A1 (ja) * 2020-01-27 2021-08-05 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム
US11556707B2 (en) 2020-06-18 2023-01-17 Google Llc Fulfillment of actionable requests ahead of a user selecting a particular autocomplete suggestion for completing a current user input
US11960837B2 (en) 2020-06-18 2024-04-16 Google Llc Fulfillment of actionable requests ahead of a user selecting a particular autocomplete suggestion for completing a current user input
JP6898685B1 (ja) * 2020-12-14 2021-07-07 シンメトリー・ディメンションズ・インク 業務支援装置、業務支援システム、及び、業務支援方法

Also Published As

Publication number Publication date
US11217230B2 (en) 2022-01-04
JPWO2019098038A1 (ja) 2020-10-01
JP7243625B2 (ja) 2023-03-22
US20210134278A1 (en) 2021-05-06
EP3567585A1 (en) 2019-11-13
EP3567585A4 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
WO2019098038A1 (ja) 情報処理装置、及び情報処理方法
US11727219B2 (en) System and method for inferring user intent from speech inputs
JP7418526B2 (ja) 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード
US9966060B2 (en) System and method for user-specified pronunciation of words for speech synthesis and recognition
US9633674B2 (en) System and method for detecting errors in interactions with a voice-based digital assistant
CA2970725C (en) Headless task completion within digital personal assistants
US20150193379A1 (en) System and method for cognizant time-based reminders
CN108337380B (zh) 自动调整用户界面以用于免提交互
WO2019087811A1 (ja) 情報処理装置、及び情報処理方法
US10672379B1 (en) Systems and methods for selecting a recipient device for communications
WO2019107145A1 (ja) 情報処理装置、及び情報処理方法
JP7276129B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN112292724A (zh) 用于调用自动助理的动态和/或场境特定热词
US20230176813A1 (en) Graphical interface for speech-enabled processing
CN111640434A (zh) 用于控制语音设备的方法和装置
US11398221B2 (en) Information processing apparatus, information processing method, and program
WO2020202862A1 (ja) 応答生成装置及び応答生成方法
US20200342870A1 (en) Information processing device and information processing method
US20220108693A1 (en) Response processing device and response processing method
US10841411B1 (en) Systems and methods for establishing a communications session
CN117136405A (zh) 使用大型语言模型生成自动化助理响应
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019527257

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18879800

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018879800

Country of ref document: EP

Effective date: 20190806

NENP Non-entry into the national phase

Ref country code: DE