WO2019171732A1 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents
情報処理装置、情報処理方法、プログラム及び情報処理システム Download PDFInfo
- Publication number
- WO2019171732A1 WO2019171732A1 PCT/JP2018/048410 JP2018048410W WO2019171732A1 WO 2019171732 A1 WO2019171732 A1 WO 2019171732A1 JP 2018048410 W JP2018048410 W JP 2018048410W WO 2019171732 A1 WO2019171732 A1 WO 2019171732A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- input
- information processing
- unit
- sound
- feature amount
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000004891 communication Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 15
- 239000003795 chemical substances by application Substances 0.000 description 102
- 230000004913 activation Effects 0.000 description 40
- 238000000034 method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Definitions
- the present disclosure relates to an information processing apparatus, an information processing method, a program, and an information processing system.
- Patent Documents 1 and 2 Electronic devices that perform voice recognition have been proposed (see, for example, Patent Documents 1 and 2).
- An object of the present disclosure is to provide, for example, an information processing apparatus, an information processing method, a program, and an information processing system that perform processing according to sound when a user utters sound intended for an operation on an agent. I will.
- An input unit for inputting a predetermined voice An information processing apparatus including: a determination unit configured to determine whether or not a sound input after a sound including a predetermined word is input is intended for an operation on the device;
- a determination unit is an information processing method for determining whether or not a sound input to an input unit after a sound including a predetermined word is input to the input unit is intended for an operation on the device. .
- a determination unit determines whether or not a sound input to the input unit after a sound including a predetermined word is input to the input unit is intended for an operation on the device. This is a program to be executed.
- the present disclosure for example, Including a first device and a second device;
- the first device is An input unit for inputting sound;
- a discriminator for discriminating whether or not a voice inputted after a voice containing a predetermined word is inputted is intended for an operation on the device;
- a communication unit configured to transmit the sound to the second device when the sound input after the sound including the predetermined word is input is determined to be an operation intended for the device;
- Have The second device is It is an information processing system which has a voice recognition part which performs voice recognition to the voice transmitted from the 1st device.
- the agent it is possible to prevent the agent from malfunctioning by performing speech recognition based on an utterance that is not intended to operate the agent.
- the effect described here is not necessarily limited, and any effect described in the present disclosure may be used. Further, the contents of the present disclosure are not construed as being limited by the exemplified effects.
- FIG. 1 is a block diagram illustrating a configuration example of an agent according to an embodiment.
- FIG. 2 is a diagram for explaining a processing example performed by the device operation intention determination unit according to the embodiment.
- FIG. 3 is a flowchart illustrating a flow of processing performed by the agent according to the embodiment.
- FIG. 4 is a block diagram illustrating a configuration example of an information processing system according to a modification.
- the agent means, for example, a voice output function having a portable size or a voice interaction function with a user included in those apparatuses.
- Such an audio output device is also called a smart speaker or the like.
- the agent is not limited to a smart speaker, and may be a robot or the like.
- the user utters a voice to the agent.
- the agent executes a process corresponding to the voice or outputs a reply by voice.
- speech recognition processing when an agent recognizes a user's utterance, speech recognition processing should be performed if the user is intentionally speaking to the agent. If not, it is desirable not to perform voice recognition. It is difficult for an agent to determine whether or not a user's utterance is an utterance to an agent. In general, speech recognition processing is performed even for utterances that are not intended for operation, and erroneous speech recognition results are obtained. I often get. In addition, it is conceivable to use a discriminator for identifying the presence or absence of an operation intention for the agent from the result of speech recognition, or to use the certainty factor in speech recognition, but there is a problem that the processing amount increases.
- activation word is, for example, a nickname of the agent.
- the user utters “Increase volume” or “Tell me the weather tomorrow” after issuing an activation word.
- the agent recognizes the content of the utterance by voice and executes processing according to the result.
- an agent when an agent is operated, an activation word is always chanted, and utterances after the activation word are all processed based on speech recognition processing and recognition results on the assumption that the agent is operated.
- the agent may misrecognize the voice when a self-speaking that does not intend to operate the agent after the activation word, a conversation with a family member, or a noise is generated.
- an unintended process may be executed by the agent.
- FIG. 1 is a block diagram illustrating a configuration example of an agent (agent 10) which is an example of an information processing apparatus according to an embodiment.
- the agent 10 is, for example, a small agent that can be carried in a home (indoor).
- the place where the agent 10 is placed can be determined as appropriate by the user of the agent 10, and the size of the agent 10 does not have to be small.
- the agent 10 includes, for example, a control unit 101, a sensor unit 102, an output unit 103, a communication unit 104, an input unit 105, and a feature amount storage unit 106.
- the control unit 101 includes, for example, a CPU (Central Processing Unit), and controls each unit of the agent 10.
- the control unit 101 has a ROM (Read Only Memory) in which a program is stored and a RAM (Random Access Memory) used as a work memory when the program is executed (the illustration is omitted). ing.).
- ROM Read Only Memory
- RAM Random Access Memory
- the control unit 101 includes an activation word identification unit 101a, a feature amount extraction unit 101b, a device operation intention determination unit 101c, and a voice recognition unit 101d as its functions.
- the activation word identification unit 101a which is an example of an identification unit, detects whether or not the voice input to the agent 10 includes an activation word which is an example of a predetermined word.
- the activation word according to the present embodiment is a word including the nickname of the agent 10, but is not limited thereto.
- the activation word can be set by the user.
- the feature quantity extraction unit 101b extracts the acoustic feature quantity of the voice input to the agent 10.
- the feature quantity extraction unit 101b extracts an acoustic feature quantity included in the voice by a process that has a smaller processing load than the voice recognition process that performs pattern matching.
- the acoustic feature quantity is extracted based on the result of FFT (Fast Fourier Transform) on the input audio signal.
- FFT Fast Fourier Transform
- the device operation intention determination unit 101c which is an example of a determination unit, determines whether, for example, a voice input after a voice including an activation word is intended for an operation on the agent 10 or not. Then, the device operation intention determination unit 101c outputs a determination result.
- the speech recognition unit 101d performs speech recognition using pattern matching on the input speech, for example. Note that the voice recognition performed by the activation word identification unit 101a described above requires only a matching process with a pattern corresponding to a predetermined activation word, and therefore has a lighter load than the voice recognition process performed by the voice recognition unit 101d. It is processing.
- the control unit 101 executes control based on the voice recognition result of the voice recognition unit 101d.
- the sensor unit 102 is, for example, a microphone (an example of an input unit) that detects a user's speech (voice). Of course, other sensors may be applied as the sensor unit 102.
- the output unit 103 outputs the result of the control executed by the control unit 101 by voice recognition, for example.
- the output unit 103 is, for example, a speaker device.
- the output unit 103 may not be a speaker device but may be a display, a projector, or a combination thereof.
- the communication unit 104 communicates with other devices connected via a network such as the Internet, and has a configuration of a modulation / demodulation circuit, an antenna, and the like corresponding to the communication method.
- the input unit 105 receives an operation input from the user.
- the input unit 105 is, for example, a button, lever, switch, touch panel, microphone, line-of-sight detection device, or the like.
- the input unit 105 generates an operation signal in accordance with an input made to itself, and supplies the operation signal to the control unit 101.
- the control unit 101 executes processing according to the operation signal.
- the feature amount storage unit 106 stores the feature amount extracted by the feature amount extraction unit 101b.
- the feature amount storage unit 106 may be a hard disk, a semiconductor memory, or the like built in the agent 10, a memory that is detachable from the agent 10, or a combination thereof.
- the agent 10 may be driven based on power supplied from a commercial power supply, or may be driven based on power supplied from a chargeable / dischargeable lithium ion secondary battery or the like.
- the device operation intention determination unit 101c uses the acoustic feature amount extracted from the input voice and the acoustic feature amount stored in the past (the acoustic feature amount read from the feature amount storage unit 106) to determine whether or not there is an operation intention. The identification process is performed.
- the extracted acoustic features are converted by a multi-layer neural network (NN), and then the time series direction information is accumulated.
- statistics such as average and variance may be calculated, or a time series processing module such as LSTM (Long Short Time Memory) may be used.
- Vector information is calculated by this processing from the activation word stored in the past and the current acoustic feature quantity, and is input in parallel to the neural network of the subsequent stage. In this example, two vectors are simply connected and input as one vector.
- a two-dimensional value indicating whether or not there is an operation intention for the agent 10 is calculated, and an identification result is output by a Softmax function or the like.
- the device operation intention determination unit 101c learns parameters in advance by performing supervised learning with a large amount of labeled data. By learning the former stage and the latter stage in an integrated manner, more optimal classifier learning is realized. It is also possible to add a constraint to the objective function so that the vector of the result of the pre-stage processing is greatly different depending on whether or not there is an operation intention for the agent.
- agent operation (Overview of operation) Next, an operation example of the agent 10 will be described. First, an outline of the operation will be described.
- the agent 10 recognizes the activation word
- the agent 10 extracts and stores the acoustic feature amount of the activation word (or sound including the activation word).
- the utterance has an intention to operate the agent 10 in most cases.
- the user tends to speak clearly and clearly with a relatively loud voice so that the agent 10 can be accurately recognized. .
- an inherent characteristic is shown as an acoustic feature amount.
- information such as voice pitch, speech speed, and volume. Therefore, by storing these acoustic feature quantities and using them in the process of identifying whether or not there is an operation intention with respect to the agent 10, identification with high accuracy becomes possible. Further, as compared with the process of identifying the presence / absence of an operation intention for the agent 10 using voice recognition that performs matching with a large number of patterns, the identification can be performed by a simple process. Furthermore, it is possible to perform processing for identifying whether or not there is an operation intention for the agent 10 with high accuracy.
- voice recognition for the voice of the utterance (for example, voice recognition for matching with a plurality of patterns) is performed.
- the control unit 101 of the agent 10 executes processing according to the result of speech recognition.
- step ST11 the activation word identification unit 101a performs voice recognition (activation word recognition) for identifying whether or not the activation word is included in the voice input to the sensor unit 102. Then, the process proceeds to step ST12.
- voice recognition activation word recognition
- step ST12 it is determined whether or not the result of speech recognition in step ST11 is an activation word. If the result of speech recognition in step ST11 is an activation word, the process proceeds to step ST13.
- an utterance acceptance period is started.
- the utterance acceptance period is a period set for a predetermined period (for example, 10 seconds) from the timing when the activation word is identified, for example. Then, it is determined whether or not the speech input during this period is an utterance with an intention to operate the agent 10. If the activation word is recognized once the utterance acceptance period is set, the utterance acceptance period may be extended. Then, the process proceeds to step ST14.
- the feature quantity extraction unit 101b extracts an acoustic feature quantity.
- the feature quantity extraction unit 101b may extract only the acoustic feature quantity of the activation word, or when the voice other than the activation word is included, it extracts the acoustic feature quantity of the voice including the activation word.
- the process proceeds to step ST15.
- step ST15 the acoustic feature quantity extracted by the control unit 101 is stored in the feature quantity storage unit 106. Then, the process ends.
- an utterance that does not include the activation word (there may be an utterance that has an intention to operate the agent 10 or an utterance that does not), a sound, or the like is sent to the sensor unit 102 of the agent 10.
- a sound, or the like is sent to the sensor unit 102 of the agent 10.
- step ST12 Since the activation word is not recognized in the process of step ST11, the process of step ST12 is No, and the process proceeds to step ST16.
- step ST16 it is determined whether or not it is an utterance acceptance period. Here, if it is not the speech acceptance period, the process for determining the intention to operate the agent is not performed, and the process ends. If the process in step ST16 is the speech acceptance period, the process proceeds to step ST17.
- step ST17 the acoustic feature quantity of the voice input during the speech acceptance period is extracted. Then, the process proceeds to step ST18.
- step ST18 the device operation intention determination unit 101c determines whether or not the agent 10 has an operation intention. For example, the device operation intention determination unit 101c compares the acoustic feature amount extracted in step ST17 with the acoustic feature amount read from the feature amount storage unit 106, and when the degree of coincidence is a predetermined value or more, It is determined that the user has an intention to operate the agent 10. Of course, the algorithm by which the device operation intention determination unit 101c identifies whether or not the agent 10 has an operation intention can be changed as appropriate. Then, the process proceeds to step ST19.
- step ST19 the device operation intention determination unit 101c outputs a determination result. For example, when it is determined that the user's operation intention for the agent 10 is present, the device operation intention determination unit 101c outputs a logical value “1” and determines that there is no user's operation intention for the agent 10. In this case, a logical value “0” is output. Then, the process ends.
- a speech recognition process for the input speech by the speech recognition unit 101 d is performed. Then, processing according to the result of the speech recognition processing is performed by control by the control unit 101.
- the process according to the result of the voice recognition process can be changed as appropriate according to the function of the agent 10. For example, when the result of the voice recognition process is “weather inquiry”, for example, the control unit 101 controls the communication unit 104 to acquire information about the weather from an external device. And the control part 101 synthesize
- the information regarding the weather is notified to the user by voice.
- information on the weather may be notified by video or a combination of video and audio.
- FIG. 4 shows a configuration example of an information processing system according to a modification. Note that, in FIG. 4, the same reference numerals are assigned to the same or the same configuration as the configuration in the above-described embodiment.
- the information processing system includes, for example, an agent 10a and a server 20 that is an example of a cloud.
- the difference between the agent 10a and the agent 10 is that the control unit 101 does not include the voice recognition unit 101d.
- the server 20 includes, for example, a server control unit 201 and a server communication unit 202.
- the server control unit 201 is configured to control each unit of the server 20, and includes, for example, a voice recognition unit 201a as a function.
- the voice recognition unit 201a operates in the same manner as the voice recognition unit 101d according to the embodiment.
- the server communication unit 202 is configured to communicate with another device, for example, the agent 10a, and includes a modulation / demodulation circuit, an antenna, and the like according to the communication method. By performing communication between the communication unit 104 and the server communication unit 202, communication between the agent 10a and the server 20 is performed, and various types of data are transmitted and received.
- the device operation intention determination unit 101c determines whether or not there is an operation intention with respect to the agent 10a.
- the control unit 101 controls the communication unit 104 when the device operation intention determination unit 101c determines that there is an operation intention with respect to the agent 10a, and transmits voice data corresponding to the voice input during the speech acceptance period to the server 20. Send.
- the voice data transmitted from the agent 10a is received by the server communication unit 202 of the server 20.
- the server communication unit 202 supplies the received audio data from the server control unit 201.
- the voice recognition unit 201a of the server control unit 201 performs voice recognition on the received voice data.
- the server control unit 201 transmits the voice recognition result to the agent 10a via the server communication unit 202.
- the server control unit 201 may transmit data corresponding to the voice recognition result to the agent 10a.
- the server 20 When the server 20 performs voice recognition, it is possible to prevent an utterance without an intention to operate the agent 10a from being transmitted to the server 20, so that the communication load can be reduced. Further, since there is no need to transmit an utterance without an intention to operate the agent 10a to the server 20, there is an advantage for the user from the viewpoint of security. That is, it is possible to prevent an utterance without an operation intention from being acquired by another person due to unauthorized access or the like.
- a part of the processing of the agent 10 in one embodiment may be performed by the server.
- the activation word not only the activation word but also utterances determined to have an intention to operate the agent may be stored. In that case, various utterance variations can be absorbed. In this case, an acoustic feature value corresponding to each activation word may be stored in association with each other.
- further learning is performed every time the user uses information such as other modals. Can also be performed.
- an imaging device is applied as the sensor unit 102 to enable face recognition and line-of-sight recognition.
- face recognition and line-of-sight recognition when the user faces the agent and clearly has an intention to operate the agent, learning is performed with the actual user's utterance together with label information such as “agent intended to operate”. May be.
- label information such as “agent intended to operate”. May be.
- it may be combined with the result of recognizing that the hand has been raised or the result of contact detection by the touch sensor.
- the sensor unit 102 is taken as an example of the input unit, but the present invention is not limited to this.
- the device operation intention determination unit may be provided in the server. In this case, the communication unit and a predetermined interface function as the input unit.
- the configuration described in the above-described embodiment is merely an example, and the present invention is not limited to this. It goes without saying that additions, deletions, etc. of configurations may be made without departing from the spirit of the present disclosure.
- the present disclosure can also be realized in any form such as an apparatus, a method, a program, and a system. Further, the agent according to the embodiment may be incorporated in a robot, a home appliance, a television, an in-vehicle device, an IoT device, or the like.
- An input unit for inputting a predetermined voice An information processing apparatus comprising: a determination unit configured to determine whether or not a sound input after a sound including a predetermined word is input is intended for an operation on a device.
- the information processing apparatus according to (1) further including an identification unit that identifies whether or not the predetermined word is included in the voice.
- the discriminating unit discriminates whether or not the voice is intended for an operation on the device based on the acoustic feature amount of the voice inputted after the voice including the predetermined word is inputted. (1) To (7). (9) The discriminating unit discriminates whether or not the voice is intended for an operation on the device based on the acoustic feature amount of the voice input within a predetermined period from the timing when the predetermined word is identified. ). (10) The information processing apparatus according to (8) or (9), wherein the acoustic feature amount is a feature amount related to at least one of timbre, pitch, speech speed, and volume.
- An information processing method for determining whether or not the sound input to the input unit after the sound including a predetermined word is input to the input unit is intended for an operation on the device.
- An information processing method for determining whether or not the sound input to the input unit after the sound including a predetermined word is input to the input unit is intended for an operation on the device.
- a program to be executed by a computer (13) Including a first device and a second device;
- the first device includes: An input unit for inputting sound;
- a discriminator for discriminating whether or not a voice inputted after a voice containing a predetermined word is inputted is intended for an operation on the device;
- When the sound input after the sound including the predetermined word is input is intended to operate the device, the sound is transmitted to the second device.
- the second device includes: An information processing system comprising: a voice recognition unit that performs voice recognition on the voice transmitted from the first device.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
所定の音声が入力される入力部と、所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部とを有する情報処理装置である。
Description
本開示は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。
音声認識を行う電子機器が提案されている(例えば、特許文献1及び2を参照のこと)。
このような分野では、エージェントに対する操作を意図しない発話に基づいて音声認識が行われ、エージェントが誤動作してしまうことを防止することが望まれる。
本開示は、例えば、ユーザがエージェントに対する操作を意図した音声を発した場合に、当該音声に応じた処理を行う情報処理装置、情報処理方法、プログラム及び情報処理システムを提供することを目的の一つとする。
本開示は、例えば、
所定の音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と
を有する情報処理装置である。
所定の音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と
を有する情報処理装置である。
本開示は、例えば、
判別部が、入力部に対して所定のワードが含まれる音声が入力された後に入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法である。
判別部が、入力部に対して所定のワードが含まれる音声が入力された後に入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法である。
本開示は、例えば、
判別部が、入力部に対して所定のワードが含まれる音声が入力された後に入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法をコンピュータに実行させるプログラムである。
判別部が、入力部に対して所定のワードが含まれる音声が入力された後に入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法をコンピュータに実行させるプログラムである。
本開示は、例えば、
第1の装置と、第2の装置とを含み、
第1の装置は、
音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであると判別部により判別された場合に、当該音声を第2の装置に送信する通信部と
を有し、
第2の装置は、
第1の装置から送信された音声に対する音声認識を行う音声認識部を有する
情報処理システムである。
第1の装置と、第2の装置とを含み、
第1の装置は、
音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであると判別部により判別された場合に、当該音声を第2の装置に送信する通信部と
を有し、
第2の装置は、
第1の装置から送信された音声に対する音声認識を行う音声認識部を有する
情報処理システムである。
本開示の少なくとも実施形態によれば、エージェントに対する操作を意図しない発話に基づいて音声認識が行われ、エージェントが誤動作してしまうことを防止することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<実施形態において考慮すべき問題>
<1.一実施形態>
<2.変形例>
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
<実施形態において考慮すべき問題>
<1.一実施形態>
<2.変形例>
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
<実施形態において考慮すべき問題>
始めに本開示の理解を容易とするために、実施形態において考慮すべき問題について説明する。本実施形態では、音声認識を行うエージェント(機器)に対する操作を例にして説明する。エージェントとは、例えば、可搬可能な程度の大きさである音声出力装置若しくはそれらの装置が有するユーザとの音声対話機能を意味する。このような音声出力装置は、スマートスピーカなどとも称される。勿論、エージェントはスマートスピーカに限定されることなく、ロボット等であっても良い。エージェントに対してユーザが音声を発する。エージェントは、ユーザが発した音声を音声認識することにより、音声に対応した処理を実行したり、音声による回答を出力する。
始めに本開示の理解を容易とするために、実施形態において考慮すべき問題について説明する。本実施形態では、音声認識を行うエージェント(機器)に対する操作を例にして説明する。エージェントとは、例えば、可搬可能な程度の大きさである音声出力装置若しくはそれらの装置が有するユーザとの音声対話機能を意味する。このような音声出力装置は、スマートスピーカなどとも称される。勿論、エージェントはスマートスピーカに限定されることなく、ロボット等であっても良い。エージェントに対してユーザが音声を発する。エージェントは、ユーザが発した音声を音声認識することにより、音声に対応した処理を実行したり、音声による回答を出力する。
かかる音声認識システムにおいてエージェントがユーザの発話を認識する際、ユーザが意図的にエージェントに話している場合は音声認識処理を行うべきであるが、独り言や周囲の他のユーザとの会話など、そうでない場合は音声認識をしないことが望まれる。ユーザの発話が、エージェントに対する発話であるか否かの判断をエージェントで行うことは難しく、一般的に、操作を意図していない発話に対しても音声認識処理を行い、誤った音声認識結果を得ることが多い。また、音声認識の結果からエージェントに対する操作意図の有無を識別する識別器の利用や、音声認識における確信度を利用することも考えられるが、処理量が大きくなってしまう問題がある。
ところで、ユーザが、エージェントに対する操作を意図した発話を行う場合に、「起動ワード」と呼ばれる、典型的な短いフレーズを発話した後にエージェントに対する操作を意図した発話がなされることが多い。起動ワードは、例えば、エージェントの愛称等である。具体例として、ユーザは起動ワードを発した後「ボリュームを大きくして」や「明日の天気を教えて」などを発話する。エージェントは、発話の内容を音声認識し、その結果に応じた処理を実行する。
このように、エージェントを操作する場合は必ず起動ワードを唱え、起動ワード後の発話は全てエージェントを操作するという前提で音声認識処理及び認識結果に応じた処理が行われる。しかしながら、かかる方法によれば、起動ワード後にエージェントに対する操作を意図しない独り言や、家族との会話、物音などが発生した場合に、エージェントが音声認識を誤る可能性がある。その結果、ユーザがエージェントに対する操作を意図しない発話をした場合に、意図しない処理がエージェントにより実行される虞がある。
また、よりインタラクティブなシステムを目指した場合、一度の起動ワードの発話で以降一定時間は続けて発話できるようにするなどの場合は、上述したようなエージェントに対する操作意図のない発話が生じる可能性が高くなる。かかる問題を考慮しつつ、本開示の一実施形態について説明する。
<1.一実施形態>
[エージェントの構成例]
図1は、一実施形態にかかる情報処理装置の一例であるエージェント(エージェント10)の構成例を示すブロック図である。エージェント10は、例えば、自宅内(屋内)に置かれる可搬可能な程度の小型のエージェントである。勿論、エージェント10が置かれる場所は、エージェント10のユーザが適宜、決めることができるし、エージェント10の大きさも小型でなくても良い。
[エージェントの構成例]
図1は、一実施形態にかかる情報処理装置の一例であるエージェント(エージェント10)の構成例を示すブロック図である。エージェント10は、例えば、自宅内(屋内)に置かれる可搬可能な程度の小型のエージェントである。勿論、エージェント10が置かれる場所は、エージェント10のユーザが適宜、決めることができるし、エージェント10の大きさも小型でなくても良い。
エージェント10は、例えば、制御部101と、センサ部102と、出力部103と、通信部104と、入力部105と、特徴量記憶部106とを有している。
制御部101は、例えば、CPU(Central Processing Unit)等から構成されており、エージェント10の各部を制御する。制御部101は、プログラムが格納されるROM(Read Only Memory)や当該プログラムを実行する際にワークメモリとして使用されるRAM(Random Access Memory)を有している(なお、これらの図示は省略している。)。
制御部101は、その機能として起動ワード識別部101aと、特徴量抽出部101bと、機器操作意図判別部101cと、音声認識部101dとを有している。
識別部の一例である起動ワード識別部101aは、エージェント10に入力される音声に、所定のワードの一例である起動ワードが含まれるか否かを検出する。本実施形態にかかる起動ワードは、エージェント10の愛称を含むワードであるが、これに限定されるものではない。例えば、起動ワードをユーザが設定することも可能である。
特徴量抽出部101bは、エージェント10に入力される音声の音響特徴量を抽出する。特徴量抽出部101bは、パターンマッチングを行う音声認識処理に比べて処理的な負荷が小さい処理により音声に含まれる音響特徴量を抽出する。例えば、入力される音声の信号をFFT(Fast Fourier Transform)した結果に基づいて音響特徴量を抽出する。なお、本実施形態にかかる音響特徴量は、音色、音高、話速及び音量のうち少なくとも一つに関する特徴量を意味する。
判別部の一例である機器操作意図判別部101cは、例えば、起動ワードが含まれる音声が入力された後に入力される音声が、エージェント10に対する操作を意図したものであるか否かを判別する。そして、機器操作意図判別部101cは、判別結果を出力する。
音声認識部101dは、例えば、入力される音声に対してパターンマッチングを用いた音声認識を行う。なお、上述した起動ワード識別部101aによる音声認識は、予め決められた起動ワードに対応するパターンとのマッチング処理だけを行えば良いので、音声認識部101dが行う音声認識処理に比べて負荷が軽い処理である。制御部101は、音声認識部101dの音声認識結果に基づいた制御を実行する。
センサ部102は、例えば、ユーザの発話(音声)を検出するマイクロフォン(入力部の一例)である。勿論、センサ部102として他のセンサが適用されても良い。
出力部103は、例えば、音声認識によって制御部101により実行された制御の結果を出力するものである。出力部103は、例えば、スピーカ装置である。出力部103は、スピーカ装置ではなく、ディスプレイであっても良いし、プロジェクタであっても良いし、これらを組み合わせたものであっても良い。
通信部104は、インターネット等のネットワークを介して接続される他の装置と通信を行うものであり、通信方式に対応した変復調回路、アンテナ等の構成を有している。
入力部105は、ユーザからの操作入力を受け付けるものである。入力部105は、例えば、ボタン、レバー、スイッチ、タッチパネル、マイク、視線検出デバイス等である。入力部105は、自身に対してなされた入力に応じて操作信号を生成し、当該操作信号を制御部101に供給する。制御部101は、当該操作信号に応じた処理を実行する。
特徴量記憶部106は、特徴量抽出部101bにより抽出された特徴量を記憶する。特徴量記憶部106は、エージェント10に内蔵されるハードディスク、半導体メモリ等でも良いし、エージェント10に着脱自在とされるメモリであっても良いし、それらの組み合わせでも良い。
なお、エージェント10は商用電源から供給される電力に基づいて駆動する構成でも良いし、充放電可能なリチウムイオン二次電池等から供給される電力に基づいて駆動する構成でも良い。
(機器操作意図判別部における処理例)
図2を参照して、機器操作意図判別部101cにおける処理の例を説明する。機器操作意図判別部101cは、入力音声から抽出した音響特徴量と、過去に記憶された音響特徴量(特徴量記憶部106から読み出された音響特徴量)とを用いて、操作意図の有無に関する識別処理を行う。
図2を参照して、機器操作意図判別部101cにおける処理の例を説明する。機器操作意図判別部101cは、入力音声から抽出した音響特徴量と、過去に記憶された音響特徴量(特徴量記憶部106から読み出された音響特徴量)とを用いて、操作意図の有無に関する識別処理を行う。
前段の処理では抽出された音響特徴量は複数レイヤーのニューラルネットワーク(NN)によって変換処理が行われたのち、時系列方向の情報を蓄積する処理を行う。これには平均、分散などの統計量を計算するのでも良いし、LSTM(Long Short Time Memory)などの時系列処理モジュールを利用しても良い。過去に記憶した起動ワード及び現在の音響特徴量から、この処理によってそれぞれベクトル情報を計算し、後段の複数レイヤーのニューラルネットワークに並列に入力する。本例では、単純に2つのベクトルを連結させて1つのベクトルとして入力する。最終層ではエージェント10に対する操作意図があるかないかを示す2次元の値を計算し、Softmax関数などによって識別結果を出力する。
かかる機器操作意図判別部101cは、事前に大量のラベル付きデータによって教師あり学習を行うことでパラメータを学習しておく。前段と後段を統合的に学習することでより最適な識別器の学習が実現する。また、前段処理の結果のベクトルが、エージェントに対する操作意図があるものとないもので大きく異なるようになるような制約を目的関数に加えることも可能である。
[エージェントの動作例]
(動作の概要)
次に、エージェント10の動作例について説明する。始めに、動作の概要について説明する。エージェント10は、起動ワードを認識した際に、起動ワード(当該起動ワードを含む音声でも良い)の音響特徴量を抽出して記憶する。ユーザが起動ワードを発する場合は、エージェント10に対する操作意図をもった発話である場合がほとんどである。また、エージェント10に対する操作意図をもってユーザが発話する場合は、エージェント10に対して正確な認識が行われるように、ユーザは、はっきりと明瞭に、比較的大きな声で、分かりやすく発話する傾向がある。
(動作の概要)
次に、エージェント10の動作例について説明する。始めに、動作の概要について説明する。エージェント10は、起動ワードを認識した際に、起動ワード(当該起動ワードを含む音声でも良い)の音響特徴量を抽出して記憶する。ユーザが起動ワードを発する場合は、エージェント10に対する操作意図をもった発話である場合がほとんどである。また、エージェント10に対する操作意図をもってユーザが発話する場合は、エージェント10に対して正確な認識が行われるように、ユーザは、はっきりと明瞭に、比較的大きな声で、分かりやすく発話する傾向がある。
一方で、エージェント10に対する操作を意図しない独り言や他者との会話では、より自然に、人間に理解できる程度の音量や話速で、多くのフィラーや言いよどみを含みながら発話されることが多い。
即ち、エージェント10に対する操作意図をもった発話の場合は、音響特徴量として固有の傾向を示す場合が多く、例えば起動ワードに関する音響特徴量には、ユーザのエージェント10に対する操作意図がある発話の声色や声の高さ、話速、音量などの情報が含まれていることになる。従って、これらの音響特徴量を記憶して、エージェント10に対する操作意図の有無を識別する処理で利用することにより、高い精度での識別が可能となる。また、多数のパターンとマッチングを行う音声認識を用いてエージェント10に対する操作意図の有無を識別する処理に比べて、簡易な処理による識別が可能となる。更に、エージェント10に対する操作意図の有無を識別する処理を高精度に行うことが可能となる。
そして、ユーザがエージェント10に対する操作を意図した発話をしたと識別された場合に、当該発話の音声に対する音声認識(例えば、複数のパターンとのマッチングを行う音声認識)が行われる。エージェント10の制御部101は、音声認識の結果に応じた処理を実行する。
(処理の流れ)
エージェント10(より具体的には、エージェント10の制御部101)で行われる処理の流れの一例を、図3のフローチャートを参照して説明する。ステップST11では、起動ワード識別部101aが、センサ部102に入力される音声に起動ワードが含まれるか否かを識別する音声認識(起動ワード認識)を行う。そして、処理がステップST12に進む。
エージェント10(より具体的には、エージェント10の制御部101)で行われる処理の流れの一例を、図3のフローチャートを参照して説明する。ステップST11では、起動ワード識別部101aが、センサ部102に入力される音声に起動ワードが含まれるか否かを識別する音声認識(起動ワード認識)を行う。そして、処理がステップST12に進む。
ステップST12では、ステップST11での音声認識の結果が起動ワードであったか否かが判断される。ここで、ステップST11での音声認識の結果が起動ワードである場合は、処理がステップST13に進む。
ステップST13では、発話受入期間が開始される。発話受入期間は、例えば、起動ワードが識別されたタイミングから所定の期間(例えば、10秒)設定される期間である。そして、この期間に入力された音声に対して、エージェント10に対する操作意図がある発話であるか否かの判断がなされる。なお、一度、発話受入期間が設定された後に、起動ワードが認識された場合には、当該発話受入期間を延長するようにしても良い。そして、処理がステップST14に進む。
ステップST14では、特徴量抽出部101bが音響特徴量を抽出する。特徴量抽出部101bは、起動ワードの音響特徴量のみを抽出するようにしても良いし、起動ワード以外の音声が含まれる場合には、当該起動ワードを含む音声の音響特徴量を抽出するようにしても良い。そして、処理がステップST15に進む。
ステップST15では、制御部101が抽出した音響特徴量を特徴量記憶部106に記憶する。そして、処理が終了する。
ユーザが起動ワードを発した後、起動ワードを含まない発話(エージェント10に対する操作意図が有る発話の場合もあれば、そうでない発話の場合もあり得る)、物音等がエージェント10のセンサ部102に入力される場合を考える。この場合にもステップST11の処理が行われる。
ステップST11の処理では起動ワードが認識されないことから、ステップST12の処理がNoとなり、処理がステップST16に進む。
ステップST16では、発話受入期間であるか否かが判断される。ここで、発話受入期間でない場合には、エージェントに対する操作意図を判別する処理は行われないので、処理が終了する。ステップST16における処理で、発話受入期間である場合には、処理がステップST17に進む。
ステップST17では、発話受入期間に入力された音声の音響特徴量が抽出される。そして、処理がステップST18に進む。
ステップST18では、機器操作意図判別部101cがエージェント10に対する操作意図の有無を判別する。例えば、機器操作意図判別部101cは、ステップST17で抽出された音響特徴量と、特徴量記憶部106から読み出された音響特徴量とを比較し、その一致度が所定以上である場合に、エージェント10に対するユーザの操作意図が有ると判別する。勿論、機器操作意図判別部101cがエージェント10に対する操作意図の有無を識別するアルゴリズムは、適宜変更可能である。そして、処理がステップST19に進む。
ステップST19では、機器操作意図判別部101cが判別結果を出力する。機器操作意図判別部101cは、例えば、エージェント10に対するユーザの操作意図が有ると判別した場合には、論理的な値である「1」を出力し、エージェント10に対するユーザの操作意図が無いと判別した場合には、論理的な値である「0」を出力する。そして、処理が終了する。
なお、図3では図示していないが、エージェント10に対するユーザの操作意図が有ると判別された場合には、音声認識部101dによる入力音声に対する音声認識処理が行われる。そして、音声認識処理の結果に応じた処理が制御部101による制御によって行われる。音声認識処理の結果に応じた処理は、エージェント10の機能に応じて、適宜変更できる。例えば、音声認識処理の結果が「天気の問いかけ」である場合には、例えば、制御部101は通信部104を制御して、外部の装置から天気に関する情報を取得する。そして、制御部101は、取得した天気情報に基づいて音声信号を合成し、当該音声信号に対応する音声を出力部103から出力する。これにより、ユーザに対して、天気に関する情報が音声により報知される。勿論、映像、若しくは映像と音声の組み合わせ等により天気に関する情報が報知されるようにしても良い。
以上説明した一実施形態により、複数のパターンマッチングを伴う音声認識処理の結果を待つことなく、エージェントに対する操作意図の有無を判別することができる。また、エージェントに対する操作意図がない発話によるエージェントの誤動作を防止することができる。また、起動ワードに対する認識を並行して行うことにより、エージェントに対する操作意図の有無を高精度で識別することができる。
また、エージェントに対する操作意図の有無を判別する際に、複数のパターンマッチングを伴う音声認識を直接使わないため、簡易な処理による判別が可能となる。また、エージェントの機能が他のデバイス(例えば、テレビジョン装置、白物家電、IoT(Internet of Things)機器等)に組み込まれる場合でも、操作意図の判別に伴う処理的な負荷が比較的小さいので、それらのデバイスへのエージェントの機能の導入が容易となる。また、起動ワード発声後にエージェントが誤動作することなく音声を受け入れ続けることが可能となり、よりインタラクティブな対話によるエージェント操作が実現可能となる。
<2.変形例>
以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
[変形例にかかる情報処理システムの構成例]
上述した一実施形態で説明した一部の処理がクラウド側で行われても良い。図4は、変形例にかかる情報処理システムの構成例を示している。なお、図4において、上述した一実施形態における構成と同一、同質の構成については、同一の参照符号を付している。
上述した一実施形態で説明した一部の処理がクラウド側で行われても良い。図4は、変形例にかかる情報処理システムの構成例を示している。なお、図4において、上述した一実施形態における構成と同一、同質の構成については、同一の参照符号を付している。
変形例にかかる情報処理システムは、例えば、エージェント10aとクラウドの一例であるサーバ20とを有している。エージェント10aがエージェント10と異なる点は、制御部101が音声認識部101dを有していない点である。
サーバ20は、例えば、サーバ制御部201と、サーバ通信部202とを有している。サーバ制御部201は、サーバ20の各部を制御する構成であり、機能として、例えば、音声認識部201aを有している。音声認識部201aは、例えば、一実施形態にかかる音声認識部101dと同様に動作する。
サーバ通信部202は、他の装置、例えば、エージェント10aと通信を行う構成であり、通信方式に応じた変復調回路、アンテナ等を有している。通信部104及びサーバ通信部202間で通信が行われることにより、エージェント10a及びサーバ20間での通信が行われ、各種のデータの送受信がなされる。
情報処理システムの動作例について説明する。発話受入期間に入力された音声に対して、機器操作意図判別部101cにより、エージェント10aに対する操作意図の有無が判別される。制御部101は、機器操作意図判別部101cがエージェント10aに対する操作意図が有ると判別した場合に通信部104を制御し、発話受入期間に入力された音声に対応する音声データをサーバ20に対して送信する。
エージェント10aから送信された音声データが、サーバ20のサーバ通信部202により受信される。サーバ通信部202は、受信した音声データをサーバ制御部201により供給する。そして、サーバ制御部201の音声認識部201aが受信した音声データに対する音声認識を実行する。サーバ制御部201が音声認識の結果を、サーバ通信部202を介してエージェント10aに送信する。サーバ制御部201が音声認識の結果に対応するデータをエージェント10aに送信するようにしても良い。
サーバ20で音声認識を行う場合に、エージェント10aに対する操作意図が無い発話がサーバ20に送信されてしまうことを防止できるので、通信負荷を軽くすることができる。また、エージェント10aに対する操作意図が無い発話をサーバ20に送信する必要がないため、セキュリティの観点からユーザに利点がある。即ち、不正なアクセス等により操作意図が無い発話が他者に取得されてしまうことを防止することができる。
このように、一実施形態におけるエージェント10の処理の一部がサーバで行われるようにしても良い。
[その他の変形例]
起動ワードの音響特徴量を記憶する際に、常に上書きし最新の音響特徴量を使うのでも良いし、一定期間のものを蓄積し、それら全てを利用するようにしても良い。常に最新の音響特徴量を用いることで、日々起こる変化、例えばユーザの入れ替りや風邪による声の変化やマスク着用による音響特徴量(例えば、音質)の変化などに柔軟に対応することができる。一方、蓄積した音響特徴量を用いる場合は、稀に起こり得る起動ワード識別部101aのエラーを最小限に抑える効果がある。また、起動ワードのみでなく、エージェントに対する操作意図があると判別された発話に対しても蓄積対象としてよい。その場合さまざまな発話のバリエーションを吸収できる。この場合に、起動ワード毎に対応する音響特徴量を対応付けて記憶するようにしても良い。
起動ワードの音響特徴量を記憶する際に、常に上書きし最新の音響特徴量を使うのでも良いし、一定期間のものを蓄積し、それら全てを利用するようにしても良い。常に最新の音響特徴量を用いることで、日々起こる変化、例えばユーザの入れ替りや風邪による声の変化やマスク着用による音響特徴量(例えば、音質)の変化などに柔軟に対応することができる。一方、蓄積した音響特徴量を用いる場合は、稀に起こり得る起動ワード識別部101aのエラーを最小限に抑える効果がある。また、起動ワードのみでなく、エージェントに対する操作意図があると判別された発話に対しても蓄積対象としてよい。その場合さまざまな発話のバリエーションを吸収できる。この場合に、起動ワード毎に対応する音響特徴量を対応付けて記憶するようにしても良い。
また、学習のバリエーションとして、一実施形態のように事前に機器操作意図判別部101cのパラメータを学習しておくやり方の他に、他のモーダルなどの情報を受けてユーザが使用するたびにさらに学習が行われるようにすることもできる。例えば、センサ部102として撮像装置を適用し、顔認識や視線認識を可能とする。顔認識や視線認識と組み合わせて、ユーザがエージェントの方を向いて明らかにエージェントに対する操作意図がある場合において、「エージェント操作意図あり」というようなラベル情報とともに実際のユーザの発話と共に学習するようにしても良い。その他にも、手を挙げたのを認識した結果や、タッチセンサによる接触検知の結果と組み合わせるようにしても良い。
上述した一実施形態では入力部としてセンサ部102を例にしたが、これに限定されるものではない。機器操作意図判別部がサーバに設けられる構成でも良く、この場合は、通信部や所定のインタフェースが入力部として機能する。
上述した一実施形態で説明した構成は一例に過ぎず、これに限定されるものではない。本開示の趣旨を逸脱しない範囲で、構成の追加、削除等が行われて良いことは言うまでもない。本開示は、装置、方法、プログラム、システム等の任意の形態で実現することもできる。また、一実施形態にかかるエージェントは、ロボット、家電製品、テレビ、車載機器、IoT機器等に組み込まれていても良い。
本開示は、以下の構成も採ることができる。
(1)
所定の音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と
を有する情報処理装置。
(2)
前記音声に前記所定のワードが含まれるか否かを識別する識別部を有する
(1)に記載の情報処理装置。
(3)
前記音声に前記所定のワードが含まれる場合に、少なくとも前記ワードの音響特徴量を抽出する特徴量抽出部を有する
(2)に記載の情報処理装置。
(4)
前記特徴量抽出部により抽出された前記ワードの音響特徴量を記憶する記憶部を有する
(3)に記載の情報処理装置。
(5)
前記特徴量抽出部により抽出された前記ワードの音響特徴量が、過去に記憶された音響特徴量に上書きして記憶される
(4)に記載の情報処理装置。
(6)
前記特徴量抽出部により抽出された前記ワードの音響特徴量が、過去に記憶された音響特徴量に共に記憶される
(4)に記載の情報処理装置。
(7)
前記所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであると前記判別部により判別された場合に、当該音声を他の装置に送信する通信部を有する
(1)から(6)までの何れかに記載の情報処理装置。
(8)
前記判別部は、所定のワードが含まれる音声が入力された後に入力される音声の音響特徴量に基づいて、当該音声が機器に対する操作を意図したものであるか否かを判別する
(1)から(7)までの何れかに記載の情報処理装置。
(9)
前記判別部は、所定のワードが識別されたタイミングから所定期間内に入力される音声の音響特徴量に基づいて、当該音声が機器に対する操作を意図したものであるか否かを判別する
(8)に記載の情報処理装置。
(10)
前記音響特徴量は、音色、音高、話速及び音量のうち少なくとも一つに関する特徴量である
(8)又は(9)に記載の情報処理装置。
(11)
判別部が、入力部に対して所定のワードが含まれる音声が入力された後に前記入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法。
(12)
判別部が、入力部に対して所定のワードが含まれる音声が入力された後に前記入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法をコンピュータに実行させるプログラム。
(13)
第1の装置と、第2の装置とを含み、
前記第1の装置は、
音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と、
前記所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであると前記判別部により判別された場合に、当該音声を前記第2の装置に送信する通信部と
を有し、
前記第2の装置は、
前記第1の装置から送信された音声に対する音声認識を行う音声認識部を有する
情報処理システム。
(1)
所定の音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と
を有する情報処理装置。
(2)
前記音声に前記所定のワードが含まれるか否かを識別する識別部を有する
(1)に記載の情報処理装置。
(3)
前記音声に前記所定のワードが含まれる場合に、少なくとも前記ワードの音響特徴量を抽出する特徴量抽出部を有する
(2)に記載の情報処理装置。
(4)
前記特徴量抽出部により抽出された前記ワードの音響特徴量を記憶する記憶部を有する
(3)に記載の情報処理装置。
(5)
前記特徴量抽出部により抽出された前記ワードの音響特徴量が、過去に記憶された音響特徴量に上書きして記憶される
(4)に記載の情報処理装置。
(6)
前記特徴量抽出部により抽出された前記ワードの音響特徴量が、過去に記憶された音響特徴量に共に記憶される
(4)に記載の情報処理装置。
(7)
前記所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであると前記判別部により判別された場合に、当該音声を他の装置に送信する通信部を有する
(1)から(6)までの何れかに記載の情報処理装置。
(8)
前記判別部は、所定のワードが含まれる音声が入力された後に入力される音声の音響特徴量に基づいて、当該音声が機器に対する操作を意図したものであるか否かを判別する
(1)から(7)までの何れかに記載の情報処理装置。
(9)
前記判別部は、所定のワードが識別されたタイミングから所定期間内に入力される音声の音響特徴量に基づいて、当該音声が機器に対する操作を意図したものであるか否かを判別する
(8)に記載の情報処理装置。
(10)
前記音響特徴量は、音色、音高、話速及び音量のうち少なくとも一つに関する特徴量である
(8)又は(9)に記載の情報処理装置。
(11)
判別部が、入力部に対して所定のワードが含まれる音声が入力された後に前記入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法。
(12)
判別部が、入力部に対して所定のワードが含まれる音声が入力された後に前記入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法をコンピュータに実行させるプログラム。
(13)
第1の装置と、第2の装置とを含み、
前記第1の装置は、
音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と、
前記所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであると前記判別部により判別された場合に、当該音声を前記第2の装置に送信する通信部と
を有し、
前記第2の装置は、
前記第1の装置から送信された音声に対する音声認識を行う音声認識部を有する
情報処理システム。
10・・・エージェント、20・・・サーバ、101・・・制御部、101a・・・起動ワード識別部、101b・・・特徴量抽出部、101c・・・機器操作意図判別部、101d、201a・・・音声認識部、104・・・通信部、106・・・特徴量記憶部
Claims (13)
- 所定の音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と
を有する情報処理装置。 - 前記音声に前記所定のワードが含まれるか否かを識別する識別部を有する
請求項1に記載の情報処理装置。 - 前記音声に前記所定のワードが含まれる場合に、少なくとも前記ワードの音響特徴量を抽出する特徴量抽出部を有する
請求項2に記載の情報処理装置。 - 前記特徴量抽出部により抽出された前記ワードの音響特徴量を記憶する記憶部を有する
請求項3に記載の情報処理装置。 - 前記特徴量抽出部により抽出された前記ワードの音響特徴量が、過去に記憶された音響特徴量に上書きして記憶される
請求項4に記載の情報処理装置。 - 前記特徴量抽出部により抽出された前記ワードの音響特徴量が、過去に記憶された音響特徴量に共に記憶される
請求項4に記載の情報処理装置。 - 前記所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであると前記判別部により判別された場合に、当該音声を他の装置に送信する通信部を有する
請求項1に記載の情報処理装置。 - 前記判別部は、所定のワードが含まれる音声が入力された後に入力される音声の音響特徴量に基づいて、当該音声が機器に対する操作を意図したものであるか否かを判別する
請求項1に記載の情報処理装置。 - 前記判別部は、所定のワードが識別されたタイミングから所定期間内に入力される音声の音響特徴量に基づいて、当該音声が機器に対する操作を意図したものであるか否かを判別する
請求項8に記載の情報処理装置。 - 前記音響特徴量は、音色、音高、話速及び音量のうち少なくとも一つに関する特徴量である
請求項8に記載の情報処理装置。 - 判別部が、入力部に対して所定のワードが含まれる音声が入力された後に前記入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法。 - 判別部が、入力部に対して所定のワードが含まれる音声が入力された後に前記入力部に入力される音声が、機器に対する操作を意図したものであるか否かを判別する
情報処理方法をコンピュータに実行させるプログラム。 - 第1の装置と、第2の装置とを含み、
前記第1の装置は、
音声が入力される入力部と、
所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであるか否かを判別する判別部と、
前記所定のワードが含まれる音声が入力された後に入力される音声が、機器に対する操作を意図したものであると前記判別部により判別された場合に、当該音声を前記第2の装置に送信する通信部と
を有し、
前記第2の装置は、
前記第1の装置から送信された音声に対する音声認識を行う音声認識部を有する
情報処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020504813A JPWO2019171732A1 (ja) | 2018-03-08 | 2018-12-28 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
CN201880087905.3A CN111656437A (zh) | 2018-03-08 | 2018-12-28 | 信息处理装置、信息处理方法、程序和信息处理系统 |
DE112018007242.8T DE112018007242T5 (de) | 2018-03-08 | 2018-12-28 | Datenverarbeitungsvorrichtung,Datenverarbeitungsverfahren, Programm undDatenverarbeitungssystem |
US16/977,102 US20200410987A1 (en) | 2018-03-08 | 2018-12-28 | Information processing device, information processing method, program, and information processing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-041394 | 2018-03-08 | ||
JP2018041394 | 2018-03-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019171732A1 true WO2019171732A1 (ja) | 2019-09-12 |
Family
ID=67846059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/048410 WO2019171732A1 (ja) | 2018-03-08 | 2018-12-28 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200410987A1 (ja) |
JP (1) | JPWO2019171732A1 (ja) |
CN (1) | CN111656437A (ja) |
DE (1) | DE112018007242T5 (ja) |
WO (1) | WO2019171732A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022239142A1 (ja) * | 2021-05-12 | 2022-11-17 | 三菱電機株式会社 | 音声認識装置及び音声認識方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108922528B (zh) * | 2018-06-29 | 2020-10-23 | 百度在线网络技术(北京)有限公司 | 用于处理语音的方法和装置 |
US11948058B2 (en) * | 2018-12-11 | 2024-04-02 | Adobe Inc. | Utilizing recurrent neural networks to recognize and extract open intent from text inputs |
CN111475206B (zh) * | 2019-01-04 | 2023-04-11 | 优奈柯恩(北京)科技有限公司 | 用于唤醒可穿戴设备的方法及装置 |
CN112652304B (zh) * | 2020-12-02 | 2022-02-01 | 北京百度网讯科技有限公司 | 智能设备的语音交互方法、装置和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015011170A (ja) * | 2013-06-28 | 2015-01-19 | 株式会社ATR−Trek | ローカルな音声認識を行なう音声認識クライアント装置 |
JP2016508007A (ja) * | 2013-02-07 | 2016-03-10 | アップル インコーポレイテッド | デジタルアシスタントのためのボイストリガ |
US20180061399A1 (en) * | 2016-08-30 | 2018-03-01 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Spoken utterance stop event other than pause or cessation in spoken utterances stream |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009145755A (ja) * | 2007-12-17 | 2009-07-02 | Toyota Motor Corp | 音声認識装置 |
-
2018
- 2018-12-28 JP JP2020504813A patent/JPWO2019171732A1/ja active Pending
- 2018-12-28 WO PCT/JP2018/048410 patent/WO2019171732A1/ja active Application Filing
- 2018-12-28 US US16/977,102 patent/US20200410987A1/en not_active Abandoned
- 2018-12-28 CN CN201880087905.3A patent/CN111656437A/zh not_active Withdrawn
- 2018-12-28 DE DE112018007242.8T patent/DE112018007242T5/de active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016508007A (ja) * | 2013-02-07 | 2016-03-10 | アップル インコーポレイテッド | デジタルアシスタントのためのボイストリガ |
JP2015011170A (ja) * | 2013-06-28 | 2015-01-19 | 株式会社ATR−Trek | ローカルな音声認識を行なう音声認識クライアント装置 |
US20180061399A1 (en) * | 2016-08-30 | 2018-03-01 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Spoken utterance stop event other than pause or cessation in spoken utterances stream |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022239142A1 (ja) * | 2021-05-12 | 2022-11-17 | 三菱電機株式会社 | 音声認識装置及び音声認識方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112018007242T5 (de) | 2020-12-10 |
US20200410987A1 (en) | 2020-12-31 |
CN111656437A (zh) | 2020-09-11 |
JPWO2019171732A1 (ja) | 2021-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019171732A1 (ja) | 情報処理装置、情報処理方法、プログラム及び情報処理システム | |
KR102513297B1 (ko) | 전자 장치 및 전자 장치의 기능 실행 방법 | |
US10803869B2 (en) | Voice enablement and disablement of speech processing functionality | |
KR102426717B1 (ko) | 발화 인식 모델을 선택하는 시스템 및 전자 장치 | |
US20190348036A1 (en) | Context-aware query recognition for electronic devices | |
EP2963644A1 (en) | Audio command intent determination system and method | |
EP3826004A1 (en) | Electronic device for processing user utterance, and control method therefor | |
US11514890B2 (en) | Method for user voice input processing and electronic device supporting same | |
US6341264B1 (en) | Adaptation system and method for E-commerce and V-commerce applications | |
US20210183362A1 (en) | Information processing device, information processing method, and computer-readable storage medium | |
EP3794809B1 (en) | Electronic device for performing task including call in response to user utterance and operation method thereof | |
KR102374054B1 (ko) | 음성 인식 방법 및 이에 사용되는 장치 | |
US11749267B2 (en) | Adapting hotword recognition based on personalized negatives | |
US10952075B2 (en) | Electronic apparatus and WiFi connecting method thereof | |
KR20190139489A (ko) | 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치 | |
JP2008033198A (ja) | 音声対話システム、音声対話方法、音声入力装置、プログラム | |
KR20210001082A (ko) | 사용자 발화를 처리하는 전자 장치와 그 동작 방법 | |
US11664018B2 (en) | Dialogue system, dialogue processing method | |
WO2019175960A1 (ja) | 音声処理装置および音声処理方法 | |
US20220122593A1 (en) | User-friendly virtual voice assistant | |
CN115132193A (zh) | 基于语音助手的控制方法、介质、电子设备及系统 | |
JPH04246696A (ja) | 音声認識装置 | |
JP2000322082A (ja) | 音声認識システム、音声認識方法及びコマンド出力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18908458 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020504813 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18908458 Country of ref document: EP Kind code of ref document: A1 |