WO2019093123A1 - 情報処理装置および電子機器 - Google Patents

情報処理装置および電子機器 Download PDF

Info

Publication number
WO2019093123A1
WO2019093123A1 PCT/JP2018/039409 JP2018039409W WO2019093123A1 WO 2019093123 A1 WO2019093123 A1 WO 2019093123A1 JP 2018039409 W JP2018039409 W JP 2018039409W WO 2019093123 A1 WO2019093123 A1 WO 2019093123A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
voice
unit
speaker
information processing
Prior art date
Application number
PCT/JP2018/039409
Other languages
English (en)
French (fr)
Inventor
秀明 渡辺
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18875327.1A priority Critical patent/EP3567470A4/en
Priority to US16/468,527 priority patent/US20200090663A1/en
Priority to JP2019525931A priority patent/JP7215417B2/ja
Publication of WO2019093123A1 publication Critical patent/WO2019093123A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/06Decision making techniques; Pattern matching strategies

Definitions

  • the present technology relates to an information processing device and an electronic device, and more particularly to an information processing device and an electronic device capable of determining which user should be responded to.
  • home-use voice assistant devices have been provided that allow users to operate by voice.
  • Some home agents can recognize which user requests an operation by speech based on profile data of each of a plurality of users.
  • Patent Document 1 by extracting an audio signal component from a specific direction with respect to the microphone array, it is possible to recognize the voice of a user moving in the environment even when another user speaks. Is disclosed. According to such a configuration, it is possible to determine which user to respond to without using profile data of individual users.
  • Patent Document 1 since the user's voice is recognized based only on the audio signal, in an environment where various environmental sounds exist, the voice recognition fails and which user should respond to There was a possibility that was not judged correctly.
  • the present technology has been made in view of such a situation, and enables to correctly determine to which user a user should respond.
  • the information processing apparatus identifies a user who exists in a predetermined angular direction as a speaker who should receive an utterance, based on an image and a sound of an environment in which the user exists. And a semantic analysis unit that outputs a request of the speaker by performing a semantic analysis of the utterance by the identified speaker.
  • the user who is present in a predetermined angular direction is identified as a speaker who should receive an utterance, and the speaker who is identified
  • the semantic analysis of the utterance according to is performed to output the request of the speaker.
  • the electronic device includes an imaging unit that acquires an image of an environment in which a user is present, a voice acquisition unit that acquires a voice of the environment, and a predetermined angle based on the image and the voice.
  • the response generation for generating the response to the request of the speaker output when the user who is present in the direction is identified as the speaker who should receive the utterance, and the identified speaker performs semantic analysis of the utterance And a unit.
  • an image of an environment in which the user is present is acquired, a voice of the environment is acquired, and the user present in a predetermined angular direction speaks based on the image and the voice. Is specified, and a response to the request of the speaker output as a result of semantic analysis of the utterance by the specified speaker is generated.
  • FIG. 1 shows an outline of a response system to which the present technology is applied.
  • FIG. 1 illustrates three users 10A, 10B, and 10C and a home agent 20 that outputs a response to an utterance of each user as an information processing apparatus (electronic apparatus) to which the present technology is applied.
  • the home agent 20 is configured as a home voice assistant device.
  • the home agent 20 acquires an image and sound of an environment in which the users 10A, 10B and 10C exist, and performs sensing in the environment.
  • the home agent 20 uses a face obtained from the image and its direction, an utterance section (time uttered) obtained from the voice, a uttered position, and sensing information obtained by sensing, which user can use Identify whether you are requesting an operation by speaking. Then, the home agent 20 generates and outputs a response to the identified user.
  • the home agent 20 is asked about the weather of tomorrow by uttering "Teach me the weather of tomorrow.”
  • the activation word serves as a trigger for the home agent 20 to initiate an interaction with the user.
  • the home agent 20 recognizes the speech of the user 10A and performs semantic analysis to generate and output a response that "Tomorrow is fine".
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the home agent 20 to which the present technology is applied.
  • a central processing unit (CPU) 51, a read only memory (ROM) 52, and a random access memory (RAM) 53 are mutually connected by a bus 54.
  • a camera 55, a microphone (hereinafter referred to as a microphone) 56, a sensor 57, a speaker 58, a display 59, an input unit 60, a storage unit 61, and a communication unit 62 are connected to the bus 54.
  • the camera 55 is provided with a solid-state imaging device such as a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor, and acquires an image of the environment by imaging the environment in which the user is present.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the microphone 56 acquires the sound of the environment in which the user is present.
  • the sensor 57 is composed of various sensors such as a human sensor and a vital sensor.
  • the sensor 57 detects the presence or absence of a person (user), and biological information such as the pulse and respiration of the person.
  • the speaker 58 outputs voice (synthetic voice).
  • the display 59 is configured of an LCD (Liquid Crystal Display), an organic EL (Electro Luminescence) display, or the like.
  • the input unit 60 is configured of a touch panel provided overlapping the display 59, and various buttons provided on the housing of the home agent 20.
  • the input unit 60 detects an operation by the user and outputs information representing the content of the operation.
  • the storage unit 61 is configured of a non-volatile memory or the like.
  • the storage unit 61 stores various data such as data for speech synthesis in addition to the program executed by the CPU 51.
  • the communication unit 62 is configured by a network interface or the like.
  • the communication unit 62 performs wireless or wired communication with an external device.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the home agent 20. As shown in FIG.
  • Some of the functional blocks of the home agent 20 shown in FIG. 3 are realized by the CPU 51 of FIG. 2 executing a predetermined program.
  • the home agent 20 includes an imaging unit 71, a voice acquisition unit 72, a sensing unit 73, a tracking unit 74, a voice session generation unit 75, a speaker identification unit 76, a speech recognition unit 77, a semantic analysis unit 78, and a response generation unit 79. Configured
  • the imaging unit 71 corresponds to the camera 55 in FIG. 2 and captures an environment in which the user is present, thereby acquiring an image of the environment.
  • An image (image data) of the environment in which the user is present is acquired in real time, and is supplied to the tracking unit 74 and the audio session generation unit 75.
  • the sound acquisition unit 72 corresponds to the microphone 56 of FIG. 2 and acquires the sound of the environment in which the user exists.
  • the voice (voice data) of the environment in which the user is present is also acquired in real time and supplied to the voice session generation unit 75.
  • the sensing unit 73 corresponds to the sensor 57 of FIG. 2 and performs sensing in an environment where a user is present.
  • the sensing information obtained by sensing is also acquired in real time, and is supplied to the tracking unit 74, the voice session generation unit 75, and the speaker identification unit 76.
  • the tracking unit 74 estimates the state of the user (presence or absence and presence or absence of movement) in the imaging range of the imaging unit 71 based on the image from the imaging unit 71 and the sensing information from the sensing unit 73, and performs face identification, Each process of face direction detection and position estimation is performed. Each of these processes estimates who the user is, the direction in which the user's face is facing, and the position of the user.
  • the tracking unit 74 also tracks the face of the user detected in the image from the imaging unit 71 based on the results of the above-described respective processes. Tracking information representing the angular direction of the face being tracked is supplied to the speaker identification unit 76. Note that due to resource restrictions on hardware, there is an upper limit to the number of faces that can be tracked simultaneously.
  • the voice session generation unit 75 estimates the direction (angular direction viewed from the home agent 20) and the speech section of the user who is uttering based on the sound from the sound acquisition unit 72 and the sensing information from the sensing unit 73. .
  • the voice session generation unit 75 generates a voice session for dialogue with the user in the angular direction of the user who is speaking. Thereby, only the voice from the angular direction at which the voice session was generated is acquired.
  • the voice session generation unit 75 associates the acquired voice with voice session information indicating the generated angular direction of the voice session, and supplies the voice session information to the speaker identification unit 76. Note that there is also an upper limit on the number of voice sessions that can be generated simultaneously, in accordance with the limit on the number of faces that can be tracked simultaneously.
  • the speaker identifying unit 76 identifies a user present in a predetermined angular direction as a speaker who should receive an utterance, based on an image and a sound of an environment in which the user is present and sensing information obtained by sensing in the environment. Do.
  • the speaker identification unit 76 tracks the user's face around the angular direction in which the voice session is generated. It is judged whether it is done or not. When the user's face is tracked around the angular direction in which the voice session is generated, the speaker identifying unit 76 identifies the user of the face as the speaker.
  • the speaker identification unit 76 includes, among the sounds from the sound session generation unit 75, the sound (speech data) associated with the sound session (speech session information) generated in the angular direction in which the speaker is present.
  • the voice recognition unit 77 is supplied.
  • the tracking unit 74, the voice session generation unit 75, and the speaker identification unit 76 track the user who should receive the speech based on a plurality of modals obtained in the environment where the user exists, user tracking It can be said that it constitutes a department.
  • the modal referred to here includes an image acquired by the imaging unit 71, a sound acquired by the sound acquisition unit 72, and sensing information acquired by the sensing unit 73.
  • the speech recognition unit 77 collates the speech data from the speaker identification unit 76 with a vocabulary (word) registered in a large vocabulary speech recognition dictionary in which vocabulary corresponding to a wide range of utterance contents is registered in advance. Perform voice recognition.
  • the character string obtained by speech recognition is supplied to the semantic analysis unit 78.
  • the semantic analysis unit 78 performs natural language processing, specifically, semantic analysis on the text composed of the character string from the speech recognition unit 77 to extract the request of the speaker. Information indicating the request of the speaker is supplied to the response generation unit 79.
  • the response generation unit 79 generates a response to the request of the speaker based on the information from the semantic analysis unit 78.
  • the generated response is output via the speaker 58 of FIG.
  • a voice session is generated at the angular direction of the user to interact with the user who is speaking, and indicates that the home agent 20 is in an operable state by the user. It is.
  • the voice session is generated by the home agent 20 recognizing that the voice session is triggered by an indication that the user performs some operation.
  • the home agent 20 performs speech analysis only on the voice from the angular direction in which the voice session is generated, and generates a response.
  • the home agent 20 performs speech analysis on the voice from the angular direction ⁇ a, and generates a response to "Teach me the weather of tomorrow" Do.
  • the home agent 20 performs speech analysis on the voice from the angular direction ⁇ b, and generates a response to “what time is it?”.
  • the home agent 20 terminates one of the existing voice sessions and creates a new voice session. .
  • the home agent 20 identifies a speaker by generating a voice session triggered by an activation word while tracking the face at a constant time interval in the environment where the user is present.
  • step S11 the home agent 20 starts sensing by the sensing unit 73. At this time, the home agent 20 also starts acquisition of an image by the imaging unit 71. After this, sensing by the sensing unit 73 and acquisition of an image by the imaging unit 71 are continuously performed.
  • step S12 the tracking unit 74 determines whether or not a face has been detected in the image acquired by the imaging unit 71. While the face is not detected, the process repeats step S12, and when the face is detected, the process proceeds to step S13.
  • step S13 the tracking unit 74 starts tracking of the detected face. If tracking of the face is successful, the tracking unit 74 supplies tracking information on the face to the speaker identification unit 76.
  • step S14 the tracking unit 74 determines whether or not M faces are tracked, which is the upper limit of the number of faces that can be tracked simultaneously.
  • step S14 when M faces are tracked, the process repeats step S14. Meanwhile, if tracking fails for some reason and the number of faces being tracked falls below M, the process returns to step S12, and steps S12 to S14 are repeated until M faces are tracked again.
  • step S31 the voice session generation unit 75 determines, based on the voice from the voice acquisition unit 72, whether or not the activation word has been detected. While the activation word is not detected, the process repeats step S31, and when the activation word is detected, the process proceeds to step S32.
  • step S32 the voice session generation unit 75 generates a voice session in the angular direction ⁇ at which the activation word is detected. At this time, the voice session generation unit 75 supplies the generated voice session information on the voice session to the speaker identification unit 76.
  • step S33 the speaker identification unit 76 tracks the face around the angular direction ⁇ in which the activation word is detected based on the tracking information from the tracking unit 74 and the voice session information from the voice session generation unit 75. Determine if there is.
  • step S34 If it is determined that the face is tracked around the angular direction ⁇ , the process proceeds to step S34.
  • step S34 the speaker identification unit 76 binds voice session information and tracking information, and specifies the user of the face tracked around the angular direction ⁇ as the speaker. Thereby, speech analysis on speech from the angular direction ⁇ is performed.
  • step S35 the voice session generation unit 75 determines, based on the voice from the voice acquisition unit 72, whether or not the speech from the angular direction ⁇ is detected. While the speech is not detected, the process repeats step S35. On the other hand, when a speech is detected, the speaker identification unit 76 supplies the detected voice (voice data) to the voice recognition unit 77, and the process proceeds to step S36.
  • step S36 the speech recognition unit 77 performs speech recognition by collating the speech data from the speaker identification unit 76 with the vocabulary registered in the large vocabulary speech recognition dictionary.
  • step S ⁇ b> 37 the semantic analysis unit 78 performs semantic analysis on the text composed of the character string obtained by the speech recognition by the speech recognition unit 77 to extract the request of the speaker.
  • step S38 the response generation unit 79 generates a response to the request of the speaker extracted by the semantic analysis unit 78, and outputs the response via the speaker 58.
  • step S34 is skipped, and the process proceeds to step S35.
  • the home agent 20 outputs a response according to the content of the utterance.
  • FIG. 7 shows an example of the operation of the home agent 20 by one user based on the face tracking process and the response generation process described above.
  • FIG. 7 one user 10 and a home agent 20 are shown.
  • the home agent 20 starts tracking of the face of the user 10 (step S13 in FIG. 5).
  • the home agent 20 When the activation word is detected, as shown in # 3, the home agent 20 generates a voice session in the angular direction in which the activation word is detected (step S32 in FIG. 6). Thereby, home agent 20 specifies user 10 as a utterer (Step S34 of Drawing 6).
  • the home agent 20 detects the utterance and performs the speech recognition and the semantic analysis, thereby requesting the user 10 Are extracted (steps S35 to S37 in FIG. 6).
  • the home agent 20 generates and outputs a response "It will be fine tomorrow" in response to the request of the user 10 (step S38 in FIG. 6).
  • a voice session is generated for each user whose face is being tracked, whereby a speaker can be specified. That is, since the user who should receive the utterance is tracked based on a plurality of modals without being affected by various environmental sounds, the home agent 20 may correctly determine which user to respond to. It becomes possible.
  • an utterance of a predetermined word such as “OK Agent.”
  • an intention indication such as “trigger” that the home agent 20 performs an operation.
  • the trigger may be based on at least one of an image from the imaging unit 71, a sound from the sound acquisition unit 72, and sensing information from the sensing unit 73.
  • a predetermined gesture such as “shake your hand” toward the home agent 20 may be used as a trigger.
  • the gesture is detected in the image acquired by the imaging unit 71.
  • the face direction detection or the sight line detection based on the sensing information from the sensing unit 73 may be triggered by the user continuing to look at the home agent 20 for a certain period of time.
  • the user may be triggered that the user approaches within a certain distance range from the home agent 20 by the human detection based on the sensing information from the sensing unit 73 having the function of the human sensor.
  • the home agent 20 can receive operations by a plurality of users.
  • FIG. 8 is a diagram for explaining control of a voice session by an operation by a plurality of users.
  • the user Ua in the angular direction ⁇ a viewed from the home agent 20 the user Ub in the angular direction ⁇ b, the user Uc in the angular direction ⁇ c, and the user Ud in the angular direction ⁇ d
  • the activation word "OK Agent.” Is uttered.
  • voice sessions are generated in the four angular directions ⁇ a, ⁇ b, ⁇ c, and ⁇ d.
  • the user Ua after uttering the activation word, the user Ua utters “Teach me the weather of tomorrow” and then utters “What is the maximum temperature?”.
  • the time is t12.
  • the user Uc After uttering the activation word, the user Uc utters "Teach me a delicious restaurant”. The time is t13.
  • the user Ud After uttering the activation word, the user Ud utters "send mail". The time is t14.
  • the upper limit of the number of voice sessions that can be generated simultaneously is four.
  • the home agent 20 ends the voice session in the angular direction ⁇ b in which the speech is detected at time t11, and newly generates a voice session in the angular direction ⁇ e.
  • control of generation and termination of the voice session is performed.
  • the same control is performed when there is a movement of the user.
  • the voice session in which the utterance is detected at the earliest in time is ended, but the voice session having the lowest probability of occurrence of the utterance to the home agent 20 may be terminated.
  • the voice session can also be terminated based on the conditions.
  • the voice session of the user who has a motion is ended by the human detection based on the sensing information from the sensing unit 73 having the function of the human sensor or the motion detection in the image acquired by the imaging unit 71. It is also good.
  • the voice session of the user whose face is not directed to the home agent 20 is ended by face direction detection or gaze detection based on sensing information from the sensing unit 73 and face detection in the image acquired by the imaging unit 71. You may make it
  • the voice session of the user who has fallen asleep may be ended.
  • the voice session of the user operating a portable terminal such as a smartphone owned by the user may be ended. Whether or not the user is operating the portable terminal can be determined based on an image acquired by the imaging unit 71, detection of an activation state or an operation state of an application activated on the portable terminal, or the like. .
  • control of the voice session is performed by the operation of a plurality of users.
  • home agent 20 generates a voice session for each user tracking a face. Furthermore, the home agent 20 can switch face tracking in conjunction with the control of the voice session described with reference to FIG. 8 by managing both the voice session and the state of face tracking.
  • step S51 the voice session generation unit 75 determines, based on the voice from the voice acquisition unit 72, whether or not the activation word has been detected. While the activation word is not detected, the process repeats step S51, and when the activation word is detected, the process proceeds to step S52.
  • step S52 it is determined whether there are N voice sessions that is the upper limit of the number of voice sessions that can be created as currently generated voice sessions.
  • the upper limit N of the number of voice sessions that can be generated simultaneously is the same as the upper limit M of the number of faces that can be tracked simultaneously, but may be different.
  • step S53 the voice session generation unit 75 ends the voice session estimated to have the lowest probability of occurrence of speech.
  • the voice session generation unit 75 has the lowest probability of generating an utterance based on at least one of the image from the imaging unit 71, the sound from the voice acquisition unit 72, and the sensing information from the sensing unit 73. Estimate the speech session. For example, as in the example of FIG. 8, the voice session generation unit 75 determines, based on the voice from the voice acquisition unit 72, the probability that a voice session occurs most frequently in the voice session in which the voice was detected foremost in time. Infer that it is a low voice session and end the voice session.
  • step S53 is skipped.
  • step S54 the voice session generation unit 75 generates a voice session in the angular direction ⁇ at which the activation word is detected.
  • step S55 the tracking unit 74 determines whether the face is tracked around the angular direction ⁇ .
  • step S34 processing of state management processing of the voice session and the face tracking ends, and processing similar to step S34 and subsequent steps in the flowchart of FIG. 6 is executed.
  • step S56 when it is determined that the face is not tracked around the angular direction ⁇ , the process proceeds to step S56.
  • step S56 the tracking unit 74 executes tracking switching processing for switching the face to be tracked, and thereafter, the same processing as step S34 and subsequent steps in the flowchart of FIG. 6 is executed.
  • step S71 the tracking unit 74 determines whether M faces are tracked, which is the upper limit of the number of faces that can be tracked simultaneously.
  • step S 72 the tracking unit 74 determines whether a face is detected around the angular direction ⁇ in the image acquired by the imaging unit 71.
  • step S73 If a face is detected around the angular direction ⁇ , the process proceeds to step S73, and the tracking unit 74 ends tracking of the face of the user estimated to have the lowest probability of speaking.
  • the tracking unit 74 estimates a user with the lowest probability of speaking based on at least one of the image from the imaging unit 71 and the sensing information from the sensing unit 73. For example, based on the image from the imaging unit 71, the tracking unit 74 estimates that the user at the position farthest from the home agent 20 is the user with the lowest probability of speaking, and ends tracking of the user's face. .
  • step S74 the tracking unit 74 starts tracking of the face detected around the angular direction ⁇ .
  • tracking of the detected face is started in the angular direction closest to the angular direction ⁇ .
  • step S71 if it is determined in step S71 that M faces have not been tracked, or if it is determined in step S72 that faces have not been detected around the angular direction ⁇ , new tracking is started. If not, the process ends.
  • FIG. 11 shows an example of face tracking switching interlocked with detection of the activation word based on the above-described processing.
  • FIG. 11 five users 10A, 10B, 10C, 10D, 10E and a home agent 20 are shown.
  • the upper limit of the number of faces that can be tracked simultaneously is four. Therefore, in the state on the left side of FIG. 11, the face of the user 10E is not tracked.
  • the home agent 20 In this state, when the user 10E utters the activation word "OK Agent.”, The home agent 20 generates a voice session in the angular direction in which the activation word is detected.
  • the home agent 20 ends tracking of the face of the user 10D at the farthest position, and the face of the user 10E detected in the angular direction at which the activation word is detected. Start tracking (TR4 ').
  • the face to be tracked can be switched in synchronization with the detection of the activation word.
  • FIG. 12 is a flow chart for explaining the flow of state management of voice session and face tracking in which face tracking is switched in synchronization with detection of an utterance.
  • step S91 the voice session generation unit 75 determines, based on the voice from the voice acquisition unit 72, whether or not an utterance is detected in the angular direction ⁇ . While an utterance is not detected, the process repeats step S91, and when an utterance is detected, the process proceeds to step S92.
  • step S92 the tracking unit 74 determines whether the face is tracked around the angular direction ⁇ .
  • step S34 processing of state management processing of the voice session and the face tracking ends, and processing similar to step S34 and subsequent steps in the flowchart of FIG. 6 is executed.
  • step S93 the tracking unit 74 executes the tracking switching process described with reference to the flowchart of FIG.
  • FIG. 13 is a block diagram showing an example of the functional configuration of a response system applied to cloud computing.
  • the home agent 120 includes an imaging unit 121, a voice acquisition unit 122, a sensing unit 123, and a response generation unit 124.
  • the home agent 120 transmits the image acquired by the imaging unit 121, the voice acquired by the voice acquisition unit 122, and the sensing information acquired by the sensing unit 123 to the server 130 connected via the network NW.
  • the home agent 120 also outputs the response generated by the response generation unit 124 based on the result of the semantic analysis transmitted from the server 130 via the network NW.
  • the server 130 includes a communication unit 131, a tracking unit 132, a voice session generation unit 133, a speaker identification unit 134, a voice recognition unit 135, and a semantic analysis unit 136.
  • the communication unit 131 receives an image, a sound, and sensing information transmitted from the home agent 120 via the network NW.
  • the communication unit 131 also transmits the result of the semantic analysis by the semantic analysis unit 136 to the home agent 120 via the network NW.
  • the tracking unit 132 to the semantic analysis unit 136 have the same functions as the tracking unit 74 to the semantic analysis unit 78 in FIG. 3, respectively.
  • step S111 the home agent 120 sequentially transmits, to the server 130, the image, the sound, and the sensing information acquired by each of the imaging unit 121, the audio acquisition unit 122, and the sensing unit 123.
  • step S121 when the server 130 receives the image, the voice, and the sensing information, in step S122, the server 130 starts face tracking based on the image from the home agent 120 and the sensing information.
  • the server 130 When receiving the activation word as the voice from the home agent 120, the server 130 generates a voice session in step S123, and identifies the speaker in step S124.
  • the server 130 When the server 130 receives an utterance (request by a speaker) as a voice from the home agent 120, the server 130 performs voice recognition in step S125. Furthermore, in step S126, the server 130 performs semantic analysis on a sentence made of a character string obtained by speech recognition to extract a request from the speaker.
  • step S127 the server 130 transmits, to the home agent 120, information indicating the request of the speaker that is the result of the semantic analysis.
  • step S112 when the home agent 120 receives the information indicating the request of the speaker from the server 130, the home agent 120 generates a response to the request of the speaker in step S113, and outputs the response via the speaker (not shown).
  • the server 130 can correctly determine to which user the user should respond.
  • the series of processes described above can be performed by hardware or software.
  • a program constituting the software is installed from a program recording medium in a computer incorporated in dedicated hardware, a general-purpose personal computer, or the like.
  • FIG. 15 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • the home agent 20 and the server 130 described above are realized by a computer having the configuration shown in FIG.
  • the CPU 1001, the ROM 1002, and the RAM 1003 are mutually connected by a bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard, a mouse and the like, and an output unit 1007 including a display, a speaker and the like.
  • a storage unit 1008 such as a hard disk and a non-volatile memory
  • a communication unit 1009 such as a network interface
  • a drive 1010 for driving the removable medium 1011.
  • the CPU 1001 loads, for example, the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the series of processes described above. Is done.
  • the program executed by the CPU 1001 is provided, for example, via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, recorded in the removable medium 1011 or installed in the storage unit 1008.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • the present technology can have the following configurations.
  • a speaker identification unit that identifies the user existing in a predetermined angular direction as a speaker who should receive an utterance based on an image and a sound of an environment in which the user exists;
  • An information processing apparatus comprising: a semantic analysis unit that outputs a request of the speaker by performing a semantic analysis of the utterance by the identified speaker.
  • the speaker identification unit is configured to, when the face of the user detected in the image is tracked in the angular direction at which a voice session for performing a dialog with the user is generated, the speaker may be the speaker.
  • the information processing apparatus according to (1).
  • the information processing apparatus according to (2) further including: a voice session generation unit that generates the voice session in the angular direction in which a trigger for starting interaction with the user is detected.
  • the speaker identification unit identifies the speaker based on the image, the sound, and sensing information obtained by sensing in the environment.
  • the trigger is detected based on at least one of the image, the sound, and the sensing information.
  • the trigger is an utterance of a predetermined word detected from the voice.
  • the information processing apparatus (13) The information processing apparatus according to (12), wherein the tracking unit ends tracking of the face of the user at the farthest position based on the image. (14) The information processing apparatus according to any one of (11) to (13), wherein the number M of the faces tracked by the tracking unit and the number N of the voice sessions generated by the voice session generation unit are the same. (15) And a voice recognition unit for performing voice recognition of the utterance by the identified speaker, The information processing apparatus according to any one of (1) to (14), wherein the semantic analysis unit performs the semantic analysis using a speech recognition result of the speech. (16) The information processing apparatus according to any one of (1) to (15), further including: a response generation unit that generates a response to the request of the speaker.
  • the information processing apparatus Based on the image and sound of the environment in which the user is present, the user present in a predetermined angular direction is specified as the speaker who should receive the speech, An information processing method for outputting a request of the speaker by performing a semantic analysis of the utterance by the identified speaker.
  • An imaging unit that acquires an image of an environment in which the user is present;
  • a voice acquisition unit for acquiring the voice of the environment; Based on the image and the voice, the user existing in a predetermined angular direction is specified as a speaker who should receive a speech, and output is performed by performing a semantic analysis of the speech by the specified speaker
  • An electronic device comprising: a response generation unit that generates a response to the request of the speaker.
  • An information processing apparatus comprising: a semantic analysis unit that outputs a request of the user by performing semantic analysis of the utterance by the user being tracked.
  • Reference Signs List 20 home agent 71 imaging unit, 72 speech acquisition unit, 73 sensing unit, 74 tracking unit, 75 speech session generation unit, 76 speaker identification unit, 77 speech recognition unit, 78 semantic analysis unit, 79 response generation unit, 120 home Agent, 121 imaging unit, 122 speech acquisition unit, 123 sensing unit, 124 response generation unit, 130 server, 131 communication unit, 132 tracking unit, 133 speech session generation unit, 134 speaker identification unit, 135 speech recognition unit, 136 meaning Analysis unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、どのユーザに対して応答するべきかを正しく判断することができるようにする情報処理装置および電子機器に関する。 発話者特定部は、ユーザが存在する環境の画像と音声に基づいて、所定の角度方向に存在する前記ユーザを、発話を受け付けるべき発話者に特定し、意味解析部は、特定された前記発話者による前記発話の意味解析を行うことで、前記発話者の要求を出力する。本技術は、例えば、家庭用の音声アシスタントデバイスに適用することができる。

Description

情報処理装置および電子機器
 本技術は、情報処理装置および電子機器に関し、特に、どのユーザに対して応答するべきかを判断することができるようにした情報処理装置および電子機器に関する。
 近年、ユーザが音声により操作を行うことができる家庭用の音声アシスタントデバイス(ホームエージェント)が提供されている。
 ホームエージェントの中には、複数のユーザそれぞれのプロファイルデータに基づいて、どのユーザが発話による操作を依頼しているかを認識できるものがある。
 また、特許文献1には、マイクロホンアレイに対する特定の方向からのオーディオ信号成分を抽出することで、環境の中を動いているユーザの音声を、他のユーザが話しても認識できるようにした構成が開示されている。このような構成によれば、個々のユーザのプロファイルデータを用いることなく、どのユーザに対して応答するべきかを判断することができる。
特表2006-504130号公報
 しかしながら、特許文献1の構成では、オーディオ信号のみに基づいてユーザの音声を認識するため、様々な環境音が存在する環境などにおいては、音声の認識に失敗し、どのユーザに対して応答するべきかが正しく判断されない可能性があった。
 本技術は、このような状況に鑑みてなされたものであり、どのユーザに対して応答するべきかを正しく判断することができるようにするものである。
 本技術の第1の側面の情報処理装置は、ユーザが存在する環境の画像と音声に基づいて、所定の角度方向に存在する前記ユーザを、発話を受け付けるべき発話者に特定する発話者特定部と、特定された前記発話者による前記発話の意味解析を行うことで、前記発話者の要求を出力する意味解析部とを備える。
 本技術の第1の側面においては、ユーザが存在する環境の画像と音声に基づいて、所定の角度方向に存在する前記ユーザが、発話を受け付けるべき発話者に特定され、特定された前記発話者による前記発話の意味解析を行うことで、前記発話者の要求が出力される。
 本技術の第2の側面の電子機器は、ユーザが存在する環境の画像を取得する撮像部と、前記環境の音声を取得する音声取得部と、前記画像と前記音声に基づいて、所定の角度方向に存在する前記ユーザが、発話を受け付けるべき発話者に特定され、特定された前記発話者による前記発話の意味解析が行われることで出力された前記発話者の要求に対する応答を生成する応答生成部とを備える。
 本技術の第2の側面においては、ユーザが存在する環境の画像が取得され、前記環境の音声が取得され、前記画像と前記音声に基づいて、所定の角度方向に存在する前記ユーザが、発話を受け付けるべき発話者に特定され、特定された前記発話者による前記発話の意味解析が行われることで出力された前記発話者の要求に対する応答が生成される。
 本技術によれば、どのユーザに対して応答するべきかを正しく判断することが可能となる。
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した応答システムの概要について説明する図である。 ホームエージェントのハードウェア構成例を示すブロック図である。 ホームエージェントの機能構成例を示すブロック図である。 音声セッションの詳細について説明する図である。 顔トラッキング処理の流れについて説明するフローチャートである。 応答生成処理の流れについて説明するフローチャートである。 1人のユーザによる操作の例を示す図である。 複数人のユーザによる操作での音声セッションの制御について説明する図である。 音声セッションと顔トラッキングの状態管理の流れについて説明するフローチャートである。 トラッキング切り替え処理の流れについて説明するフローチャートである。 顔トラッキングの切り替えの例を示す図である。 音声セッションと顔トラッキングの状態管理の流れについて説明するフローチャートである。 応答システムの機能構成例を示すブロック図である。 応答システムによる応答生成処理の流れを示す図である。 コンピュータの構成例を示すブロック図である。
 以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.応答システムの概要
 2.ホームエージェントの構成と動作
 3.複数人のユーザによる操作の例
 4.クラウドコンピューティングへの適用
 5.その他
<1.応答システムの概要>
 図1は、本技術を適用した応答システムの概要を示している。
 図1には、3人のユーザ10A,10B,10Cと、本技術を適用した情報処理装置(電子機器)として、各ユーザの発話に対して応答を出力するホームエージェント20が示されている。ホームエージェント20は、家庭用の音声アシスタントデバイスとして構成される。
 ホームエージェント20は、ユーザ10A,10B,10Cが存在する環境の画像と音声を取得するとともに、その環境におけるセンシングを行う。ホームエージェント20は、その画像から得られる顔やその方向、音声から得られる発話区間(発話している時間)や発話された位置、および、センシングにより得られたセンシング情報を用いて、どのユーザが発話により操作を依頼しているかを特定する。そして、ホームエージェント20は、特定されたユーザに対する応答を生成し、出力する。
 図1の例では、ユーザ10Aが「OK Agent.」という起動ワードを発話した後、「明日の天気を教えて」と発話することで、ホームエージェント20に対して明日の天気を尋ねている。起動ワードは、ホームエージェント20がユーザとの対話を開始するためのトリガとなる。
 これに対して、ホームエージェント20は、ユーザ10Aの発話を認識し、意味解析を行うことで、「明日は晴れです」という応答を生成し、出力している。
 以下においては、上述した応答システムを実現するホームエージェント20の詳細について説明する。
<2.ホームエージェントの構成と動作>
(ホームエージェントのハードウェア構成例)
 図2は、本技術を適用したホームエージェント20のハードウェア構成例を示すブロック図である。
 CPU(Central Processing Unit)51、ROM(Read Only Memory)52、RAM(Random Access Memory)53は、バス54により相互に接続される。
 バス54には、カメラ55、マイクロホン(以下、マイクという)56、センサ57、スピーカ58、ディスプレイ59、入力部60、記憶部61、および通信部62が接続される。
 カメラ55は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどの固体撮像素子を備え、ユーザが存在する環境を撮像することで、その環境の画像を取得する。
 マイク56は、ユーザが存在する環境の音声を取得する。
 センサ57は、人感センサやバイタルセンサなどの各種のセンサにより構成される。例えば、センサ57は、人物(ユーザ)の存在の有無や、その人物の脈拍や呼吸などの生体情報を検知する。
 スピーカ58は、音声(合成音声)を出力する。
 ディスプレイ59は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどにより構成される。
 入力部60は、ディスプレイ59に重ねて設けられたタッチパネルや、ホームエージェント20の筐体に設けられた各種のボタンにより構成される。入力部60は、ユーザによる操作を検出し、操作の内容を表す情報を出力する。
 記憶部61は、不揮発性のメモリなどにより構成される。記憶部61は、CPU51が実行するプログラムの他に、音声合成用のデータなどの各種のデータを記憶する。
 通信部62は、ネットワークインタフェースなどにより構成される。通信部62は、無線や有線による通信を外部の装置との間で行う。
(ホームエージェントの機能構成例)
 図3は、ホームエージェント20の機能構成例を示すブロック図である。
 図3に示されるホームエージェント20の機能ブロックのうちの一部は、図2のCPU51により所定のプログラムが実行されることによって実現される。
 ホームエージェント20は、撮像部71、音声取得部72、センシング部73、トラッキング部74、音声セッション生成部75、発話者特定部76、音声認識部77、意味解析部78、および応答生成部79から構成される。
 撮像部71は、図2のカメラ55に対応し、ユーザが存在する環境を撮像することにより、その環境の画像を取得する。ユーザが存在する環境の画像(画像データ)は、リアルタイムに取得され、トラッキング部74と音声セッション生成部75に供給される。
 音声取得部72は、図2のマイク56に対応し、ユーザが存在する環境の音声を取得する。ユーザが存在する環境の音声(音声データ)もまた、リアルタイムに取得され、音声セッション生成部75に供給される。
 センシング部73は、図2のセンサ57に対応し、ユーザが存在する環境においてセンシングを行う。センシングにより得られたセンシング情報もまた、リアルタイムに取得され、トラッキング部74、音声セッション生成部75、および発話者特定部76に供給される。
 トラッキング部74は、撮像部71からの画像と、センシング部73からのセンシング情報に基づいて、撮像部71の撮像範囲におけるユーザの状態(存在の有無や動きの有無)を推定し、顔識別、顔向き検出、位置推定の各処理を行う。これらの各処理により、ユーザが誰であるのか、ユーザの顔が向いている方向、ユーザのいる位置が推定される。
 また、トラッキング部74は、上述した各処理の結果に基づいて、撮像部71からの画像において検出されたユーザの顔をトラッキングする。トラッキングされている顔の角度方向を表すトラッキング情報は、発話者特定部76に供給される。なお、ハードウェア上のリソースの制約により、同時にトラッキングできる顔の数には上限があるものとする。
 音声セッション生成部75は、音声取得部72からの音声と、センシング部73からのセンシング情報に基づいて、発話しているユーザの方向(ホームエージェント20から見た角度方向)と発話区間を推定する。
 また、音声セッション生成部75は、発話しているユーザの角度方向に、ユーザとの対話を行うための音声セッションを生成する。これにより、音声セッションが生成された角度方向からの音声のみが取得される。音声セッション生成部75は、取得した音声と、生成された音声セッションの角度方向を表す音声セッション情報とを対応付けて、発話者特定部76に供給する。なお、同時にトラッキングできる顔の数の制限に従い、同時に生成できる音声セッションの数にも上限があるものとする。
 発話者特定部76は、ユーザが存在する環境の画像、音声、およびその環境におけるセンシングにより得られたセンシング情報に基づいて、所定の角度方向に存在するユーザを、発話を受け付けるべき発話者に特定する。
 具体的には、発話者特定部76は、トラッキング部74からのトラッキング情報と、音声セッション生成部75からの音声セッション情報に基づいて、音声セッションが生成された角度方向周辺にユーザの顔がトラッキングされているか否かを判定する。音声セッションが生成された角度方向周辺にユーザの顔がトラッキングされている場合、発話者特定部76は、その顔のユーザを発話者に特定する。
 また、発話者特定部76は、音声セッション生成部75からの音声のうち、発話者がいる角度方向に生成されている音声セッション(音声セッション情報)に対応付けられている音声(音声データ)を音声認識部77に供給する。
 以上のことから、トラッキング部74、音声セッション生成部75、および発話者特定部76は、ユーザが存在する環境において得られた複数のモーダルに基づいて、発話を受け付けるべきユーザをトラッキングする、ユーザトラッキング部を構成すると言える。
 ここでいうモーダルには、撮像部71により取得される画像、音声取得部72により取得される音声、センシング部73により取得されるセンシング情報が含まれる。
 音声認識部77は、発話者特定部76からの音声データと、広範囲な発話内容に対応する語彙があらかじめ登録された大語彙音声認識辞書に登録されている語彙(単語)とを照合することで音声認識を行う。音声認識によって得られた文字列は、意味解析部78に供給される。
 意味解析部78は、音声認識部77からの文字列からなる文章に対して、自然言語処理、具体的には意味解析を行うことで、発話者の要求を抽出する。発話者の要求を示す情報は、応答生成部79に供給される。
 応答生成部79は、意味解析部78からの情報に基づいて、発話者の要求に対する応答を生成する。生成された応答は、図2のスピーカ58を介して出力される。
(音声セッションの詳細)
 ここで、音声セッションの詳細について説明する。
 上述したように、音声セッションは、発話しているユーザとの対話を行うために、そのユーザのいる角度方向に生成され、ホームエージェント20が、そのユーザにより操作可能な状態にあることを示すものである。
 音声セッションは、ユーザによる何らかの操作を行うという意思表示をトリガとして、ホームエージェント20がそれを認識することで生成される。
 そして、ホームエージェント20は、音声セッションが生成されている角度方向からの音声に対してのみ発話解析を行い、応答を生成する。
 例えば、図4に示されるように、ホームエージェント20から見て角度方向θaにいるユーザUaによって、トリガとして「OK Agent.」という起動ワードが発話されると、時刻t1において、角度方向θaに音声セッションが生成される。
 その後、ユーザUaによって「明日の天気を教えて」と発話されると、ホームエージェント20は、角度方向θaからの音声に対して発話解析を行い、「明日の天気を教えて」に対する応答を生成する。
 また、ホームエージェント20から見て角度方向θbにいるユーザUbによって、トリガとして「OK Agent.」という起動ワードが発話されると、時刻t2において、角度方向θbに音声セッションが生成される。
 その後、ユーザUbによって「今何時?」と発話されると、ホームエージェント20は、角度方向θbからの音声に対して発話解析を行い、「今何時?」に対する応答を生成する。
 なお、上述したように、同時に生成できる音声セッションの数には上限があり、最大N個までとする。すでにN個の音声セッションが生成されている状態で、新たな音声セッションを生成しようとする場合、ホームエージェント20は、既存の音声セッションのうちの1つを終了させ、新たな音声セッションを生成する。
(ホームエージェントの動作例)
 ホームエージェント20は、ユーザの存在する環境において、一定の時間間隔で顔のトラッキングをしながら、起動ワードをトリガとして音声セッションを生成することで、発話者を特定する。
 そこで、まず、図5のフローチャートを参照して、ホームエージェント20による顔トラッキング処理の流れについて説明する。
 ステップS11において、ホームエージェント20は、センシング部73によるセンシングを開始する。このとき、ホームエージェント20は、撮像部71による画像の取得も開始する。これ以降、センシング部73によるセンシングと、撮像部71による画像の取得は、継続的に行われるものとする。
 ステップS12において、トラッキング部74は、撮像部71により取得されている画像において、顔を検出したか否かを判定する。顔が検出されていない間、処理はステップS12を繰り返し、顔が検出されると、処理はステップS13に進む。
 ステップS13において、トラッキング部74は、検出された顔のトラッキングを開始する。顔のトラッキングに成功すると、トラッキング部74は、その顔についてのトラッキング情報を発話者特定部76に供給する。
 ステップS14において、トラッキング部74は、同時にトラッキングできる顔の数の上限であるM個の顔をトラッキングしているか否かを判定する。
 M個の顔がトラッキングされておらず、まだ、トラッキングしている顔の数が上限に達していない場合、M個の顔がトラッキングされるまで、処理はステップS12乃至S14を繰り返す。
 一方、M個の顔がトラッキングされると、処理はステップS14を繰り返す。その間、何らかの原因でトラッキングに失敗し、トラッキングしている顔の数がM個を下回ると、処理はステップS12に戻り、再びM個の顔がトラッキングされるまで、ステップS12乃至S14を繰り返す。
 以上のようにして、顔のトラッキングが継続的に行われる。
 次に、図6のフローチャートを参照して、応答生成処理の流れについて説明する。図6の処理は、図5のフローチャートを参照して説明した顔トラッキング処理が実行されている状態で実行される。
 ステップS31において、音声セッション生成部75は、音声取得部72からの音声に基づいて、起動ワードを検出したか否かを判定する。起動ワードが検出されていない間、処理はステップS31を繰り返し、起動ワードが検出されると、処理はステップS32に進む。
 ステップS32において、音声セッション生成部75は、起動ワードが検出された角度方向θに音声セッションを生成する。このとき、音声セッション生成部75は、生成された音声セッションについての音声セッション情報を、発話者特定部76に供給する。
 ステップS33において、発話者特定部76は、トラッキング部74からのトラッキング情報と、音声セッション生成部75からの音声セッション情報に基づいて、起動ワードが検出された角度方向θ周辺に顔がトラッキングされているか否かを判定する。
 角度方向θ周辺に顔がトラッキングされていると判定された場合、処理はステップS34に進む。
 ステップS34において、発話者特定部76は、音声セッション情報とトラッキング情報をバインドして、角度方向θ周辺にトラッキングされている顔のユーザを、発話者に特定する。これにより、角度方向θからの音声に対する発話解析が行われるようになる。
 すなわち、ステップS35において、音声セッション生成部75は、音声取得部72からの音声に基づいて、角度方向θからの発話を検出したか否かを判定する。発話が検出されていない間、処理はステップS35を繰り返す。一方、発話が検出されると、発話者特定部76は、検出された音声(音声データ)を音声認識部77に供給し、処理はステップS36に進む。
 ステップS36において、音声認識部77は、発話者特定部76からの音声データと、大語彙音声認識辞書に登録されている語彙とを照合することで音声認識を行う。
 ステップS37において、意味解析部78は、音声認識部77による音声認識によって得られた文字列からなる文章に対して意味解析を行うことで、発話者の要求を抽出する。
 ステップS38において、応答生成部79は、意味解析部78により抽出された発話者の要求に対する応答を生成し、スピーカ58を介して出力する。
 なお、ステップS33において、角度方向θ周辺に顔がトラッキングされていないと判定された場合、ステップS34はスキップされ、処理はステップS35に進む。ここで、角度方向θからの発話が検出された場合であっても、ホームエージェント20は、発話内容に応じた応答を出力する。
 図7は、上述した顔トラッキング処理と応答生成処理に基づいた、1人のユーザによるホームエージェント20の操作の例を示している。
 図7には、1人のユーザ10とホームエージェント20が示されている。
 まず、#1に示されるように、ホームエージェント20は、ユーザ10の顔のトラッキングを開始する(図5のステップS13)。
 この状態で、#2に示されるように、ユーザ10が「OK Agent.」と起動ワードを発話すると、ホームエージェント20は、起動ワードを検出する(図6のステップS31)。
 起動ワードが検出されると、#3に示されるように、ホームエージェント20は、起動ワードが検出された角度方向に音声セッションを生成する(図6のステップS32)。これにより、ホームエージェント20は、ユーザ10を発話者に特定する(図6のステップS34)。
 その後、#4に示されるように、ユーザ10が「明日の天気を教えて」と発話すると、ホームエージェント20は、その発話を検出し、音声認識と意味解析を行うことで、ユーザ10の要求を抽出する(図6のステップS35乃至S37)。
 そして、ホームエージェント20は、#5に示されるように、ユーザ10の要求に対して「明日は晴れです」という応答を生成し、出力する(図6のステップS38)。
 以上の処理によれば、複数人のユーザが存在する環境において、顔がトラッキングされているユーザ毎に音声セッションが生成されることにより、発話者が特定されるようになる。すなわち、様々な環境音の影響を受けることなく、複数のモーダルに基づいて発話を受け付けるべきユーザがトラッキングされるので、ホームエージェント20は、どのユーザに対して応答するべきかを正しく判断することが可能となる。
(トリガの例)
 以上においては、ホームエージェント20に対して何らかの操作を行うという意思表示(トリガ)として、「OK Agent.」などのあらかじめ決められた言葉(起動ワード)の発話を例にして説明した。これに限らず、トリガは、撮像部71からの画像、音声取得部72からの音声、センシング部73からのセンシング情報の少なくともいずれかに基づくものであってもよい。
 例えば、ホームエージェント20に向かって「手を振る」などのあらかじめ決められたジェスチャ(動作)をトリガとしてもよい。ジェスチャは、撮像部71により取得されている画像において検出されるようにする。
 また、センシング部73からのセンシング情報に基づいた顔向き検出や視線検出によって、ユーザがホームエージェント20を一定の時間見続けていることをトリガとしてもよい。
 さらに、人感センサの機能を有するセンシング部73からのセンシング情報に基づいた人検出によって、ユーザがホームエージェント20から一定の距離範囲内に近づいたことをトリガとしてもよい。
<3.複数人のユーザによる操作の例>
 ホームエージェント20は、複数人のユーザによる操作を受け付けることができる。
(音声セッションの制御)
 図8は、複数人のユーザによる操作での音声セッションの制御について説明する図である。
 図8に示されるように、ホームエージェント20から見て角度方向θaにいるユーザUa、角度方向θbにいるユーザUb、角度方向θcにいるユーザUc、角度方向θdにいるユーザUdの4人によって、起動ワード「OK Agent.」が発話されている。これにより、角度方向θa,θb,θc,θdの4方向に音声セッションが生成されている。
 図8の例では、ユーザUaは、起動ワードを発話した後、「明日の天気を教えて」と発話し、続いて「最高気温は?」と発話している。その時刻はt12である。
 ユーザUbは、起動ワードを発話した後、「今何時?」と発話している。その時刻はt11である。
 ユーザUcは、起動ワードを発話した後、「美味しいレストランを教えて」と発話している。その時刻はt13である。
 ユーザUdは、起動ワードを発話した後、「メール送って」と発話している。その時刻はt14である。
 ここでは、同時に生成できる音声セッションの数の上限は4個であるものとする。
 この状態の中で、時刻t15において、ホームエージェント20から見て角度方向θeにいるユーザUeによって、起動ワード「OK Agent.」が発話された場合、ホームエージェント20は、4方向の音声セッションの中で、時間的に最も前に発話が検出された音声セッションを終了させる。
 具体的には、ホームエージェント20は、時刻t15において、時刻t11に発話が検出された角度方向θbの音声セッションを終了し、新たに角度方向θeに音声セッションを生成する。
 このようにして、音声セッションの生成・終了の制御が行われる。なお、ユーザの移動がある場合にも、同様の制御が行われる。
 図8の例では、時間的に最も前に発話が検出された音声セッションを終了させるものとしたが、ホームエージェント20に対する発話の発生する確率が最も低い音声セッションを終了させればよく、他の条件に基づいて音声セッションを終了させることもできる。
 例えば、人感センサの機能を有するセンシング部73からのセンシング情報に基づいた人検出や、撮像部71により取得されている画像における動き検出によって、動きのあるユーザの音声セッションを終了させるようにしてもよい。
 また、センシング部73からのセンシング情報に基づいた顔向き検出や視線検出、撮像部71により取得されている画像における顔検出によって、ユーザがホームエージェント20に顔を向けていないユーザの音声セッションを終了させるようにしてもよい。
 さらに、バイタルセンサの機能を有するセンシング部73からのセンシング情報に基づいて、寝てしまったユーザの音声セッションを終了させるようにしてもよい。
 また、自身の所有するスマートフォンなどの携帯端末を操作しているユーザの音声セッションを終了させるようにしてもよい。ユーザが携帯端末を操作しているか否かの判定は、撮像部71により取得されている画像、携帯端末上で起動しているアプリケーションの起動状態や動作状態の検知などに基づいて行うことができる。
 以上のようにして、複数人のユーザによる操作での音声セッションの制御が行われる。
(音声セッションと顔トラッキングの状態管理)
 上述したように、ホームエージェント20は、顔をトラッキングしているユーザ毎に音声セッションを生成する。さらに、ホームエージェント20は、音声セッションと顔トラッキングの状態をともに管理することで、図8を参照して説明した音声セッションの制御と連動して、顔のトラッキングを切り替えることができる。
 ここで、図9のフローチャートを参照して、音声セッションと顔トラッキングの状態管理の流れについて説明する。
 ステップS51において、音声セッション生成部75は、音声取得部72からの音声に基づいて、起動ワードを検出したか否かを判定する。起動ワードが検出されていない間、処理はステップS51を繰り返し、起動ワードが検出されると、処理はステップS52に進む。
 ステップS52において、現在生成されている音声セッションとして、生成できる数の上限であるN個の音声セッションがあるか否かを判定する。なお、同時に生成できる音声セッションの数の上限Nは、同時にトラッキングできる顔の数の上限Mと同じ数であるものとするが、異なる数であってもよい。
 N個の音声セッションがある場合、処理はステップS53に進み、音声セッション生成部75は、発話の発生する確率が最も低いと推定される音声セッションを終了する。
 このとき、音声セッション生成部75は、撮像部71からの画像、音声取得部72からの音声、および、センシング部73からのセンシング情報の少なくともいずれかに基づいて、発話の発生する確率が最も低い音声セッションを推定する。例えば、図8の例と同様に、音声セッション生成部75は、音声取得部72からの音声に基づいて、時間的に最も前に発話が検出された音声セッションを、発話の発生する確率が最も低い音声セッションと推定し、その音声セッションを終了する。
 一方、N個の音声セッションがなく、まだ、音声セッションの数が上限に達していない場合、ステップS53はスキップされる。
 ステップS54において、音声セッション生成部75は、起動ワードが検出された角度方向θに音声セッションを生成する。
 ステップS55において、トラッキング部74は、角度方向θ周辺に顔がトラッキングされているか否かを判定する。
 角度方向θ周辺に顔がトラッキングされていると判定された場合、音声セッションと顔トラッキングの状態管理の処理は終了し、図6のフローチャートのステップS34以降と同様の処理が実行される。
 一方、角度方向θ周辺に顔がトラッキングされていないと判定された場合、処理はステップS56に進む。
 ステップS56において、トラッキング部74は、トラッキング対象となる顔を切り替えるトラッキング切り替え処理を実行し、その後、図6のフローチャートのステップS34以降と同様の処理が実行される。
 ここで、図10のフローチャートを参照して、トラッキング切り替え処理の詳細について説明する。
 ステップS71において、トラッキング部74は、同時にトラッキングできる顔の数の上限であるM個の顔をトラッキングしているか否かを判定する。
 M個の顔がトラッキングされている場合、処理はステップS72に進み、トラッキング部74は、撮像部71により取得されている画像において、角度方向θ周辺に顔を検出したか否かを判定する。
 角度方向θ周辺に顔が検出された場合、処理はステップS73に進み、トラッキング部74は、発話する確率が最も低いと推定されるユーザの顔のトラッキングを終了する。
 このとき、トラッキング部74は、撮像部71からの画像と、センシング部73からのセンシング情報の少なくともいずれかに基づいて、発話する確率が最も低いユーザを推定する。例えば、トラッキング部74は、撮像部71からの画像に基づいて、ホームエージェント20から最も離れた位置にいるユーザを、発話する確率が最も低いユーザと推定し、そのユーザの顔のトラッキングを終了する。
 その後、ステップS74において、トラッキング部74は、角度方向θ周辺で検出された顔のトラッキングを開始する。このとき、角度方向θ周辺で検出された顔が複数ある場合には、角度方向θに最も近い角度方向で検出された顔のトラッキングが開始されるようにする。
 一方、ステップS71において、M個の顔がトラッキングされていないと判定されるか、ステップS72において、角度方向θ周辺に顔が検出されていないと判定された場合、新たなトラッキングが開始されることなく、処理は終了する。
 図11は、上述した処理に基づいた、起動ワードの検出に連動した顔トラッキングの切り替えの例を示している。
 図11には、5人のユーザ10A,10B,10C,10D,10Eとホームエージェント20が示されている。
 図11左側の状態では、5人のユーザのうち4人のユーザ10A,10B,10C,10Dの顔がホームエージェント20によりトラッキングされている。図中、破線TR1乃至TR4は、顔がトラッキングされていることを表している。
 図11の例では、同時にトラッキングできる顔の数の上限は4個であるものとする。したがって、図11左側の状態においては、ユーザ10Eの顔はトラッキングされていない。
 この状態で、ユーザ10Eが「OK Agent.」と起動ワードを発話すると、ホームエージェント20は、起動ワードが検出された角度方向に音声セッションを生成する。
 その後、図11右側に示されるように、ホームエージェント20は、最も離れた位置にいるユーザ10Dの顔のトラッキングを終了するとともに、起動ワードが検出された角度方向に検出されたユーザ10Eの顔のトラッキング(TR4’)を開始する。
 このようにして、起動ワードの検出に連動して、トラッキング対象となる顔を切り替えることができる。
 以上においては、起動ワードの検出に連動したトラッキングの切り替えの例について説明したが、発話の検出に連動して、トラッキング対象となる顔を切り替えるようにすることもできる。
 図12は、発話の検出に連動して顔のトラッキングを切り替えるようにした、音声セッションと顔トラッキングの状態管理の流れについて説明するフローチャートである。
 ステップS91において、音声セッション生成部75は、音声取得部72からの音声に基づいて、角度方向θに発話を検出したか否かを判定する。発話が検出されていない間、処理はステップS91を繰り返し、発話が検出されると、処理はステップS92に進む。
 ステップS92において、トラッキング部74は、角度方向θ周辺に顔がトラッキングされているか否かを判定する。
 角度方向θ周辺に顔がトラッキングされていると判定された場合、音声セッションと顔トラッキングの状態管理の処理は終了し、図6のフローチャートのステップS34以降と同様の処理が実行される。
 一方、角度方向θ周辺に顔がトラッキングされていないと判定された場合、処理はステップS93に進み、トラッキング部74は、図10のフローチャートを参照して説明したトラッキング切り替え処理を実行する。
 角度方向θに音声セッションが生成されている状態で、その角度方向θにいるユーザが一時的に移動するなどした場合、そのユーザの顔のトラッキングは終了してしまうことがある。そのような場合であっても、上述した処理によれば、新たにそのユーザの顔のトラッキングを開始することができる。
<4.クラウドコンピューティングへの適用>
 本技術は、クラウドコンピューティングへ適用することもできる。
 図13は、クラウドコンピューティングへ適用した応答システムの機能構成例を示すブロック図である。
 図13に示されるように、ホームエージェント120は、撮像部121、音声取得部122、センシング部123、および応答生成部124を備えている。
 ホームエージェント120は、撮像部121により取得された画像、音声取得部122により取得された音声、センシング部123により取得されたセンシング情報を、ネットワークNWを介して接続されるサーバ130に送信する。
 また、ホームエージェント120は、サーバ130からネットワークNWを介して送信されてくる意味解析の結果に基づいて、応答生成部124により生成された応答を出力する。
 サーバ130は、通信部131、トラッキング部132、音声セッション生成部133、発話者特定部134、音声認識部135、および意味解析部136を備えている。
 通信部131は、ホームエージェント120からネットワークNWを介して送信されてくる画像、音声、センシング情報を受信する。また、通信部131は、意味解析部136による意味解析の結果を、ネットワークNWを介してホームエージェント120に送信する。
 トラッキング部132乃至意味解析部136は、それぞれ、図3のトラッキング部74乃至意味解析部78と同一の機能を有している。
 次に、図14を参照して、図13の応答システムによる応答生成処理の流れについて説明する。
 ステップS111において、ホームエージェント120は、撮像部121、音声取得部122、センシング部123それぞれにより取得される画像、音声、センシング情報を、逐次サーバ130に送信する。
 サーバ130は、ステップS121において、画像、音声、センシング情報を受信すると、ステップS122において、ホームエージェント120からの画像とセンシング情報に基づいて、顔のトラッキングを開始する。
 サーバ130は、ホームエージェント120からの音声として、起動ワードを受信すると、ステップS123において、音声セッションを生成し、ステップS124において、発話者を特定する。
 サーバ130は、ホームエージェント120からの音声として、発話(発話者による要求)を受信すると、ステップS125において、音声認識を行う。さらに、サーバ130は、ステップS126において、音声認識によって得られた文字列からなる文章に対して意味解析を行うことで、発話者の要求を抽出する。
 そして、サーバ130は、ステップS127において、意味解析の結果である発話者の要求を示す情報を、ホームエージェント120に送信する。
 ホームエージェント120は、ステップS112において、サーバ130からの発話者の要求を示す情報を受信すると、ステップS113において、発話者の要求に対する応答を生成し、図示せぬスピーカを介して出力する。
 以上の処理においても、様々な環境音の影響を受けることなく発話を受け付けるべきユーザがトラッキングされるので、サーバ130は、どのユーザに対して応答するべきかを正しく判断することが可能となる。
<5.その他>
 上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
 図15は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 上述したホームエージェント20およびサーバ130は、図15に示す構成を有するコンピュータにより実現される。
 CPU1001、ROM1002、RAM1003は、バス1004により相互に接続されている。
 バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、キーボード、マウスなどよりなる入力部1006、ディスプレイ、スピーカなどよりなる出力部1007が接続される。また、入出力インタフェース1005には、ハードディスクや不揮発性のメモリなどよりなる記憶部1008、ネットワークインタフェースなどよりなる通信部1009、リムーバブルメディア1011を駆動するドライブ1010が接続される。
 以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを入出力インタフェース1005およびバス1004を介してRAM1003にロードして実行することにより、上述した一連の処理が行われる。
 CPU1001が実行するプログラムは、例えばリムーバブルメディア1011に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部1008にインストールされる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
 なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 さらに、本技術は以下のような構成をとることができる。
(1)
 ユーザが存在する環境の画像と音声に基づいて、所定の角度方向に存在する前記ユーザを、発話を受け付けるべき発話者に特定する発話者特定部と、
 特定された前記発話者による前記発話の意味解析を行うことで、前記発話者の要求を出力する意味解析部と
 を備える情報処理装置。
(2)
 前記発話者特定部は、前記ユーザとの対話を行うための音声セッションが生成された前記角度方向に、前記画像において検出された前記ユーザの顔がトラッキングされている場合、前記ユーザを前記発話者に特定する
 (1)に記載の情報処理装置。
(3)
 前記画像において検出された前記ユーザの前記顔をトラッキングするトラッキング部と、
 前記ユーザとの対話を開始するトリガが検出された前記角度方向に前記音声セッションを生成する音声セッション生成部と
 をさらに備える
 (2)に記載の情報処理装置。
(4)
 前記発話者特定部は、前記画像、前記音声、および、前記環境におけるセンシングにより得られたセンシング情報に基づいて、前記発話者を特定する
 (3)に記載の情報処理装置。
(5)
 前記トリガは、前記画像、前記音声、および前記センシング情報の少なくともいずれかに基づいて検出される
 (4)に記載の情報処理装置。
(6)
 前記トリガは、前記音声から検出される、あらかじめ決められた文言の発話である
 (5)に記載の情報処理装置。
(7)
 前記トリガは、前記画像から検出される、あらかじめ決められた動作である
 (5)に記載の情報処理装置。
(8)
 前記音声セッション生成部は、N個の前記音声セッションを生成している状態で、前記N個の前記音声セッションが生成されている前記角度方向とは異なる前記角度方向に前記トリガが検出された場合、前記N個の前記音声セッションのうち、前記発話の発生する確率が最も低いと推定される前記音声セッションを終了する
 (3)乃至(7)のいずれかに記載の情報処理装置。
(9)
 前記音声セッション生成部は、前記画像、前記音声、および前記センシング情報の少なくともいずれかに基づいて、前記発話の発生する確率が最も低い前記音声セッションを推定する
 (8)に記載の情報処理装置。
(10)
 前記音声セッション生成部は、前記音声に基づいて、時間的に最も前に前記発話が検出された前記音声セッションを終了する
 (9)に記載の情報処理装置。
(11)
 前記トラッキング部は、M個の前記顔をトラッキングしている状態で、前記M個の前記顔がトラッキングされている前記角度方向とは異なる前記角度方向に前記顔が検出された場合、前記M個の前記顔のトラッキングのうち、前記発話する確率が最も低いと推定される前記ユーザの前記顔のトラッキングを終了する
 (8)乃至(10)のいずれかに記載の情報処理装置。
(12)
 前記トラッキング部は、前記画像および前記センシング情報の少なくともいずれかに基づいて、前記発話する確率が最も低い前記ユーザを推定する
 (11)に記載の情報処理装置。
(13)
 前記トラッキング部は、前記画像に基づいて、最も離れた位置にいる前記ユーザの前記顔のトラッキングを終了する
 (12)に記載の情報処理装置。
(14)
 前記トラッキング部がトラッキングする前記顔の数Mと、前記音声セッション生成部が生成する前記音声セッションの数Nとは同じ数である
 (11)乃至(13)のいずれかに記載の情報処理装置。
(15)
 特定された前記発話者による前記発話の音声認識を行う音声認識部
 をさらに備え、
 前記意味解析部は、前記発話の音声認識結果を用いて前記意味解析を行う
 (1)乃至(14)のいずれかに記載の情報処理装置。
(16)
 前記発話者の要求に対する応答を生成する応答生成部
 をさらに備える
 (1)乃至(15)のいずれかに記載の情報処理装置。
(17)
 前記環境の前記画像を取得する撮像部と、
 前記環境の前記音声を取得する音声取得部と
 を備える
 (1)乃至(16)のいずれかに記載の情報処理装置。
(18)
 情報処理装置が、
 ユーザが存在する環境の画像と音声に基づいて、所定の角度方向に存在するユーザを、発話を受け付けるべき発話者に特定し、
 特定された前記発話者による前記発話の意味解析を行うことで、前記発話者の要求を出力する
 情報処理方法。
(19)
 コンピュータに、
 ユーザが存在する環境の画像と音声に基づいて、所定の角度方向に存在するユーザを、発話を受け付けるべき発話者に特定し、
 特定された前記発話者による前記発話の意味解析を行うことで、前記発話者の要求を出力する
 処理を実行させるプログラム。
(20)
 ユーザが存在する環境の画像を取得する撮像部と、
 前記環境の音声を取得する音声取得部と、
 前記画像と前記音声に基づいて、所定の角度方向に存在する前記ユーザが、発話を受け付けるべき発話者に特定され、特定された前記発話者による前記発話の意味解析が行われることで出力された前記発話者の要求に対する応答を生成する応答生成部と
 を備える電子機器。
(21)
 ユーザが存在する環境において得られた複数のモーダルに基づいて、発話を受け付けるべき前記ユーザをトラッキングするユーザトラッキング部と、
 トラッキングされている前記ユーザによる前記発話の意味解析を行うことで、前記ユーザの要求を出力する意味解析部と
 を備える情報処理装置。
(22)
 前記複数のモーダルは、少なくとも前記環境の画像と音声を含む
 (21)に記載の情報処理装置。
 20 ホームエージェント, 71 撮像部, 72 音声取得部, 73 センシング部, 74 トラッキング部, 75 音声セッション生成部, 76 発話者特定部, 77 音声認識部, 78 意味解析部, 79 応答生成部, 120 ホームエージェント, 121 撮像部, 122 音声取得部, 123 センシング部, 124 応答生成部, 130 サーバ, 131 通信部, 132 トラッキング部, 133 音声セッション生成部, 134 発話者特定部, 135 音声認識部, 136 意味解析部

Claims (20)

  1.  ユーザが存在する環境の画像と音声に基づいて、所定の角度方向に存在する前記ユーザを、発話を受け付けるべき発話者に特定する発話者特定部と、
     特定された前記発話者による前記発話の意味解析を行うことで、前記発話者の要求を出力する意味解析部と
     を備える情報処理装置。
  2.  前記発話者特定部は、前記ユーザとの対話を行うための音声セッションが生成された前記角度方向に、前記画像において検出された前記ユーザの顔がトラッキングされている場合、前記ユーザを前記発話者に特定する
     請求項1に記載の情報処理装置。
  3.  前記画像において検出された前記ユーザの前記顔をトラッキングするトラッキング部と、
     前記ユーザとの対話を開始するトリガが検出された前記角度方向に前記音声セッションを生成する音声セッション生成部と
     をさらに備える
     請求項2に記載の情報処理装置。
  4.  前記発話者特定部は、前記画像、前記音声、および、前記環境におけるセンシングにより得られたセンシング情報に基づいて、前記発話者を特定する
     請求項3に記載の情報処理装置。
  5.  前記トリガは、前記画像、前記音声、および前記センシング情報の少なくともいずれかに基づいて検出される
     請求項4に記載の情報処理装置。
  6.  前記トリガは、前記音声から検出される、あらかじめ決められた文言の発話である
     請求項5に記載の情報処理装置。
  7.  前記トリガは、前記画像から検出される、あらかじめ決められた動作である
     請求項5に記載の情報処理装置。
  8.  前記音声セッション生成部は、N個の前記音声セッションを生成している状態で、前記N個の前記音声セッションが生成されている前記角度方向とは異なる前記角度方向に前記トリガが検出された場合、前記N個の前記音声セッションのうち、前記発話の発生する確率が最も低いと推定される前記音声セッションを終了する
     請求項3に記載の情報処理装置。
  9.  前記音声セッション生成部は、前記画像、前記音声、および前記センシング情報の少なくともいずれかに基づいて、前記発話の発生する確率が最も低い前記音声セッションを推定する
     請求項8に記載の情報処理装置。
  10.  前記音声セッション生成部は、前記音声に基づいて、時間的に最も前に前記発話が検出された前記音声セッションを終了する
     請求項9に記載の情報処理装置。
  11.  前記トラッキング部は、M個の前記顔をトラッキングしている状態で、前記M個の前記顔がトラッキングされている前記角度方向とは異なる前記角度方向に前記顔が検出された場合、前記M個の前記顔のトラッキングのうち、前記発話する確率が最も低いと推定される前記ユーザの前記顔のトラッキングを終了する
     請求項8に記載の情報処理装置。
  12.  前記トラッキング部は、前記画像および前記センシング情報の少なくともいずれかに基づいて、前記発話する確率が最も低い前記ユーザを推定する
     請求項11に記載の情報処理装置。
  13.  前記トラッキング部は、前記画像に基づいて、最も離れた位置にいる前記ユーザの前記顔のトラッキングを終了する
     請求項12に記載の情報処理装置。
  14.  前記トラッキング部がトラッキングする前記顔の数Mと、前記音声セッション生成部が生成する前記音声セッションの数Nとは同じ数である
     請求項11に記載の情報処理装置。
  15.  特定された前記発話者による前記発話の音声認識を行う音声認識部
     をさらに備え、
     前記意味解析部は、前記発話の音声認識結果を用いて前記意味解析を行う
     請求項1に記載の情報処理装置。
  16.  前記発話者の要求に対する応答を生成する応答生成部
     をさらに備える
     請求項1に記載の情報処理装置。
  17.  前記環境の前記画像を取得する撮像部と、
     前記環境の前記音声を取得する音声取得部と
     を備える
     請求項1に記載の情報処理装置。
  18.  ユーザが存在する環境の画像を取得する撮像部と、
     前記環境の音声を取得する音声取得部と、
     前記画像と前記音声に基づいて、所定の角度方向に存在する前記ユーザが、発話を受け付けるべき発話者に特定され、特定された前記発話者による前記発話の意味解析が行われることで出力された前記発話者の要求に対する応答を生成する応答生成部と
     を備える電子機器。
  19.  ユーザが存在する環境において得られた複数のモーダルに基づいて、発話を受け付けるべき前記ユーザをトラッキングするユーザトラッキング部と、
     トラッキングされている前記ユーザによる前記発話の意味解析を行うことで、前記ユーザの要求を出力する意味解析部と
     を備える情報処理装置。
  20.  前記複数のモーダルは、少なくとも前記環境の画像と音声を含む
     請求項19に記載の情報処理装置。
PCT/JP2018/039409 2017-11-07 2018-10-24 情報処理装置および電子機器 WO2019093123A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18875327.1A EP3567470A4 (en) 2017-11-07 2018-10-24 INFORMATION PROCESSING DEVICE AND ELECTRONIC APPARATUS
US16/468,527 US20200090663A1 (en) 2017-11-07 2018-10-24 Information processing apparatus and electronic device
JP2019525931A JP7215417B2 (ja) 2017-11-07 2018-10-24 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-215067 2017-11-07
JP2017215067 2017-11-07

Publications (1)

Publication Number Publication Date
WO2019093123A1 true WO2019093123A1 (ja) 2019-05-16

Family

ID=66439217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039409 WO2019093123A1 (ja) 2017-11-07 2018-10-24 情報処理装置および電子機器

Country Status (4)

Country Link
US (1) US20200090663A1 (ja)
EP (1) EP3567470A4 (ja)
JP (1) JP7215417B2 (ja)
WO (1) WO2019093123A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442330B2 (ja) 2020-02-05 2024-03-04 キヤノン株式会社 音声入力装置およびその制御方法ならびにプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220034571A (ko) 2020-09-11 2022-03-18 삼성전자주식회사 음성에 포함된 커맨드를 확인하는 전자 장치와 이의 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006504130A (ja) 2002-10-23 2006-02-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声に基づく装置制御
JP2006251266A (ja) * 2005-03-10 2006-09-21 Hitachi Ltd 視聴覚連携認識方法および装置
JP2008087140A (ja) * 2006-10-05 2008-04-17 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP2012242609A (ja) * 2011-05-19 2012-12-10 Mitsubishi Heavy Ind Ltd 音声認識装置、ロボット、及び音声認識方法
JP2014153663A (ja) * 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
JP2017010176A (ja) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 機器特定方法、機器特定装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013137900A1 (en) * 2012-03-16 2013-09-19 Nuance Communictions, Inc. User dedicated automatic speech recognition
US20170337921A1 (en) * 2015-02-27 2017-11-23 Sony Corporation Information processing device, information processing method, and program
EP3279790B1 (en) * 2015-03-31 2020-11-11 Sony Corporation Information processing device, control method, and program
US20180373992A1 (en) * 2017-06-26 2018-12-27 Futurewei Technologies, Inc. System and methods for object filtering and uniform representation for autonomous systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006504130A (ja) 2002-10-23 2006-02-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声に基づく装置制御
JP2006251266A (ja) * 2005-03-10 2006-09-21 Hitachi Ltd 視聴覚連携認識方法および装置
JP2008087140A (ja) * 2006-10-05 2008-04-17 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP2012242609A (ja) * 2011-05-19 2012-12-10 Mitsubishi Heavy Ind Ltd 音声認識装置、ロボット、及び音声認識方法
JP2014153663A (ja) * 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
JP2017010176A (ja) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 機器特定方法、機器特定装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3567470A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442330B2 (ja) 2020-02-05 2024-03-04 キヤノン株式会社 音声入力装置およびその制御方法ならびにプログラム

Also Published As

Publication number Publication date
EP3567470A4 (en) 2020-03-25
EP3567470A1 (en) 2019-11-13
JPWO2019093123A1 (ja) 2020-09-24
US20200090663A1 (en) 2020-03-19
JP7215417B2 (ja) 2023-01-31

Similar Documents

Publication Publication Date Title
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
EP3563529B1 (en) Messaging from a shared device
US8954330B2 (en) Context-aware interaction system using a semantic model
JP6635049B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP3895161B1 (en) Utilizing pre-event and post-event input streams to engage an automated assistant
US9256269B2 (en) Speech recognition system for performing analysis to a non-tactile inputs and generating confidence scores and based on the confidence scores transitioning the system from a first power state to a second power state
CN105122353B (zh) 用于语音识别的计算装置和用于计算装置上的语音识别的方法
US20200335128A1 (en) Identifying input for speech recognition engine
CN110741433A (zh) 使用多个计算设备的对讲式通信
KR20210008089A (ko) 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트 특정 핫워드
JP2020528566A (ja) ホットワード認識音声合成
KR102490916B1 (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
US10831297B2 (en) Method, apparatus and computer-readable media for touch and speech interface
US11393490B2 (en) Method, apparatus, device and computer-readable storage medium for voice interaction
CN112863508A (zh) 免唤醒交互方法和装置
WO2019093123A1 (ja) 情報処理装置および電子機器
JP6973380B2 (ja) 情報処理装置、および情報処理方法
WO2016206647A1 (zh) 用于控制机器装置产生动作的系统
JP2019012506A (ja) 機械の自動活性のための方法及びシステム
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
JP2018075657A (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
US20160343370A1 (en) Speech feedback system
JP2013210875A (ja) 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
CN115691498A (zh) 语音交互方法、电子设备及介质
CN112823047A (zh) 用于控制网络应用程序的系统和设备

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019525931

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18875327

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018875327

Country of ref document: EP

Effective date: 20190807

NENP Non-entry into the national phase

Ref country code: DE