WO2017199486A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2017199486A1
WO2017199486A1 PCT/JP2017/004825 JP2017004825W WO2017199486A1 WO 2017199486 A1 WO2017199486 A1 WO 2017199486A1 JP 2017004825 W JP2017004825 W JP 2017004825W WO 2017199486 A1 WO2017199486 A1 WO 2017199486A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
utterance
user
unit
information processing
Prior art date
Application number
PCT/JP2017/004825
Other languages
English (en)
French (fr)
Inventor
浩明 小川
東山　恵祐
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17798924.1A priority Critical patent/EP3460791A4/en
Priority to US16/076,765 priority patent/US20190066676A1/en
Priority to JP2018518081A priority patent/JP6828741B2/ja
Publication of WO2017199486A1 publication Critical patent/WO2017199486A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • This disclosure relates to an information processing apparatus.
  • Patent Document 1 since the speech processing apparatus described in Patent Document 1 does not have a means for storing the expression related to the recognized user's utterance and does not have a means for reflecting in speech synthesis, the user can use it. It is difficult to make a voice response according to the expression.
  • the present disclosure proposes an information processing apparatus capable of performing a more natural response according to the user's utterance.
  • an acquisition unit that collects utterance information, a transmission unit that transmits recognition information based on the utterance information, a reception unit that receives processing content standardized by an analysis unit based on the recognition information,
  • An information processing apparatus includes an output unit that outputs response information according to a processing result based on the processing content and a user's speech characteristics.
  • a receiving unit that receives recognition information based on collected speech information, an analysis unit that standardizes processing content based on the recognition information, a transmission unit that transmits the processing content, An information processing apparatus is provided.
  • Embodiment 1.1 Outline of Embodiment According to Present Disclosure 1.2.
  • Embodiment> [1.1. Outline of Embodiment According to Present Disclosure]
  • the user can make an inquiry about tomorrow's weather forecast to the voice response system while working in the kitchen.
  • the user may ask the question “What is the weather in Tokyo tomorrow?” While turning his gaze toward him.
  • the voice response system recognizes that the user's utterance intention is an inquiry related to the weather forecast, and that “Tokyo” extracted from the utterance indicates the place name “Tokyo”, or “Tomorrow” extracted similarly It can be identified to show time information.
  • the voice response system can access a weather forecast service or the like based on the recognized utterance intention and the extracted parameters, and can answer that “the weather in Tokyo tomorrow is sunny”.
  • FIG. 1 is a conceptual diagram for explaining the outline of the present embodiment.
  • FIG. 1 shows an information processing terminal 10 that recognizes a user's utterance and executes processing based on the utterance.
  • the information processing terminal 10 according to the present embodiment may have an agent function for realizing a voice conversation with the user.
  • the information processing terminal 10 recognizes the utterance S1 of the user U1 and outputs response information R1 based on the utterance S1. More specifically, the information processing terminal 10 can execute various processes based on the user's utterance intention extracted from the utterance S1, and can output the result of the process as response information R1.
  • the information processing terminal 10 may have a function of searching the schedule information based on the utterance S1 of the user U1 and outputting the response information R1 including the search result by voice.
  • the information processing terminal 10 extracts schedule information of the user U1 from the service SV1 related to schedule management based on the utterance intention extracted from the utterance S1 “Do I have plan today?”. Yes.
  • the information processing terminal 10 outputs response information R1 “You have an appointment at Mary's at 13:00” based on the schedule information extracted above.
  • the information processing terminal 10 can output response information according to the user's speech characteristics.
  • the information processing terminal 10 according to the present embodiment may have a function of outputting response information corresponding to the tendency of the name used by the user.
  • the above-mentioned naming tendency may be a calling tendency used by a user for all objects such as a person, an object, and a place.
  • the designation according to the present embodiment may be a concept including abbreviations, nicknames, popular names, and the like.
  • schedule information of the user U1 associated with “Mary ’s salon” is stored.
  • “Mary ’s salon” may be a commercial official name of the salon.
  • the information processing terminal 10 converts the name “Mary ’s salon” to the name “Mary ’s” and outputs the response information R ⁇ b> 1 without using the official name “Mary ’s salon”.
  • the information processing terminal 10 can output the response information R1 corresponding to the utterance characteristic with reference to the stored utterance characteristic of the user. That is, the information processing terminal 10 recognizes from the stored utterance characteristics of the user U1 that the user U1 tends to call “Mary's salon” as “Mary's”, as shown in FIG. Output of the response information R1 can be realized.
  • the utterance characteristics according to the present embodiment may include the utterance tendency of the user in addition to the information related to the attribute of the user.
  • the information processing terminal 10 can output response information corresponding to the user's speech characteristics. According to the above function of the information processing terminal 10, it is possible to realize a more natural and easier-to-understand voice conversation corresponding to the user's speech characteristics.
  • the information processing terminal 10 responds to the user's utterance has been described as an example.
  • the information processing terminal 10 according to the present embodiment may perform voice output led by the system. Even in this case, the information processing terminal 10 can perform voice output according to the utterance characteristics of the user based on the recognized user information.
  • the effects produced by the features will be described with reference to the functional features of the information processing terminal 10 and the information processing server 30 according to the present embodiment.
  • FIG. 2 is a diagram illustrating a system configuration example according to the present embodiment.
  • the information processing system according to the present embodiment includes an information processing terminal 10 and an information processing server 30.
  • the information processing terminal 10 and the information processing server 30 are connected via the network 20 so that they can communicate with each other.
  • the information processing terminal 10 has a function of collecting user utterance information and executing various processes based on the utterance information. Further, the information processing terminal has a function of outputting response information according to the result of the above processing and the user's speech characteristics.
  • the information processing terminal 10 may transmit recognition information based on collected user utterance information to the information processing server 30.
  • the information processing terminal 10 can receive the processing content standardized by the information processing server 30 and execute processing based on the processing content.
  • the information processing terminal 10 may be various information processing apparatuses having the above functions.
  • the information processing terminal 10 may be, for example, a PC (Personal Computer), a smartphone, a tablet, a mobile phone, an autonomous robot, or the like.
  • the information processing server 30 is an information processing apparatus that receives recognition information based on collected utterance information and standardizes processing contents based on the recognition information. More specifically, the information processing server 30 may absorb the difference related to the utterance characteristics for each user and standardize the processing content to be executed. Further, the information processing server 30 may have a function of transmitting the standardized processing content to the information processing terminal 10. Note that the standardization of the processing contents of the information processing server 30 will be described in detail later.
  • the network 20 has a function of connecting the information processing terminal 10 and the information processing server 30 to each other.
  • the network 20 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), a WAN (Wide Area Network), and the like. Further, the network 20 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the network 20 may include a wireless communication network such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the system configuration example according to this embodiment has been described above.
  • the case where the information processing terminal 10 and the information processing server 30 are realized as independent information processing apparatuses has been described as an example, but the system configuration example according to the present embodiment is as follows. It is not limited to such an example.
  • the information processing terminal 10 and the information processing server 30 according to the present embodiment may be realized as a single information processing apparatus. In this case, for example, the information processing terminal 10 may further have a function related to standardization of processing contents.
  • each function of the information processing terminal 10 and the information processing server 30 may be realized by a plurality of information processing apparatuses of three or more.
  • the system configuration example according to the present embodiment can be flexibly modified according to the amount of information to be handled, system specifications, operating conditions, and the like.
  • FIG. 3 is a functional block diagram of the information processing terminal 10 according to the present embodiment.
  • the information processing terminal 10 according to the present embodiment includes an acquisition unit 110, an image recognition unit 120, a result integration unit 130, a service execution unit 140, a response generation unit 150, an output unit 160, a server communication unit 170, And a user information DB 400a.
  • the acquisition unit 110 according to the present embodiment includes a sound acquisition unit 112 and an imaging unit 114.
  • the output unit 160 according to the present embodiment includes an audio output unit 162 and a display unit 164.
  • FIG. 3 is merely an example, and some of the functions shown in FIG. 3 may be realized as functions of a device different from the information processing terminal 10.
  • the functional configuration of the information processing terminal 10 according to the present embodiment can be changed as appropriate depending on the characteristics of the apparatus, operating conditions, and the like.
  • the acquisition unit 110 has a function of acquiring information related to the user. Therefore, the acquisition unit 110 may include various sensors and devices for detecting the user's utterance and state, or the input operation by the user. In particular, in the present embodiment, the acquisition unit 110 may include an audio acquisition unit 112 and an imaging unit 114.
  • the voice acquisition unit 112 has a function of collecting user utterance information.
  • the above utterance information may include surrounding environmental sounds and the like in addition to the voice uttered by the user.
  • the voice acquisition unit 112 can be realized by, for example, a microphone that converts a user's voice and environmental sound into an electrical signal.
  • the imaging unit 114 has a function of collecting user image information.
  • the user includes a plurality of persons existing around the information processing terminal 10 such as a user who speaks to the information processing terminal 10 and other users who are interacting with the speaking user. Good.
  • the imaging unit 114 can be realized by various cameras including an imaging element, for example.
  • the image recognition unit 120 has a function of recognizing users existing around the information processing terminal 10 based on image information collected by the imaging unit 114 and user information included in a user information DB 400a described later.
  • the result integration unit 130 has a function of associating user information recognized by the image recognition unit 120 with a voice recognition result recognized by a voice recognition unit 310 described later.
  • the result integration unit 130 according to the present embodiment can specify the utterance user who has issued the utterance command related to service execution. Further, the result integration unit 130 can simultaneously recognize another user different from the utterance user existing around the information processing terminal 10. That is, the result integration unit 130 integrates the recognition information obtained by integrating the speech recognition result by the speech recognition unit 310, the recognition result of the utterance user, and the recognition result of another user different from the utterance user via the server communication unit 170. It has a function of outputting to the analysis unit 320.
  • the service execution unit 140 has a function of executing various processes based on the processing content standardized by the analysis unit 320 described later. That is, the service execution unit 140 has a function of making various requests for services based on the standardized processing content. Therefore, the function executed by the service execution unit 140 can be determined according to the type of service.
  • the service execution unit 140 may refer to, register, change, or delete the schedule based on, for example, standardized processing content.
  • the service execution unit 140 can extract the corresponding information from the weather forecast service based on the standardized processing content.
  • the above service may be various applications realized as a function of the information processing terminal 10, for example.
  • the service execution unit 140 may have a function of controlling management and execution of the application.
  • the above services may be, for example, various web services published on the network 20.
  • the service execution unit 140 can access the Web service via the network 20 and request execution of functions or acquisition of information according to the service content.
  • the response generation unit 150 has a function of generating response information corresponding to the standardized processing result and the user's utterance characteristics. That is, the response generation unit 150 can generate response information according to the processing result by the service execution unit 140 and the user information held by the user information DB 400a. At this time, the response generation unit 150 may generate response information according to the utterance characteristics of the utterance user included in the user information. More specifically, the response generation unit 150 can generate response information according to the user's utterance tendency included in the utterance characteristics. Thus, the utterance characteristics according to the present embodiment may include the user's utterance tendency in addition to the user's attribute information.
  • the above-mentioned utterance tendency may include, for example, a tendency such as a name used by the user, a word, a word order, and pronunciation. That is, the response generation unit 150 according to the present embodiment can generate response information according to the tendency such as the above-described name, word, word order, and pronunciation.
  • the response generation unit 150 may generate response information according to the utterance characteristics of the uttering user and the utterance characteristics of another user different from the utterance user. Furthermore, the response generation unit 150 may generate response information using utterance characteristics common to the utterance user and another user different from the utterance user. The generation of response information according to the present embodiment will be described in detail later. Further, the response generation unit 150 may have a voice synthesis function for synthesizing an artificial voice based on the generated response information.
  • the output unit 160 has a function of presenting response information generated by the response generation unit 150 to the user. That is, the output unit 160 according to the present embodiment can output response information corresponding to a tendency such as a name used by the user, a word, a word order, and pronunciation. For this reason, the output unit 160 may include various devices for outputting the response information. In particular, in the present embodiment, the output unit 160 may include an audio output unit 162 and a display unit 164.
  • the audio output unit 162 has a function of converting an electrical signal into sound and outputting the sound. Specifically, the voice output unit 162 has a function of presenting a voice based on the voice data synthesized by the response generation unit 150 to the user.
  • the audio output unit 162 may include a speaker or an amplifier having the above functions.
  • the display unit 164 has a function of performing output accompanied by visual information based on the response information generated by the response generation unit 150.
  • the function may be realized by, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, or an OLED (Organic Light Emitting Diode) device.
  • the display unit 164 may have a function as an operation unit that receives a user operation.
  • the function as the operation unit can be realized by a touch panel, for example.
  • the server communication unit 170 has a function of communicating with the information processing server 30 via the network 20.
  • the server communication unit 170 may transmit the speech information acquired by the speech acquisition unit 112 to the information processing server 30 and receive a speech recognition result based on the speech information.
  • the server communication unit 170 may transmit the recognition information integrated by the result integration unit 130 to the information processing server 30 and receive the processing content standardized based on the recognition information.
  • the recognition information may include the speech recognition result, the speech user recognition result, and another user recognition result different from the speech user.
  • the user information DB 400a may be a database that holds various information related to users.
  • the user information held by the user information DB 400a may include, for example, basic information such as a user ID, a user's name, sex, and age.
  • the user information may include image information and acoustic features for identifying the user.
  • the image recognizing unit 120 and the voice recognizing unit 310 described later can identify the user based on the image information or the acoustic features.
  • the user information may include utterance characteristics for each user.
  • the utterance characteristics may include utterance tendency for each user in addition to attribute information such as the user's sex, age, and origin.
  • the utterance tendency may include an utterance tendency such as a name, word, word order, and pronunciation used by the user.
  • the user information held by the user information DB 400a may be synchronized with the user information held by the user information DB 400b described later. For example, when new user information is registered in the user information DB 400a, the user information related to the user may be copied to the user information DB 400b.
  • the functional configuration example of the information processing terminal 10 according to the present embodiment has been described in detail.
  • the information processing terminal 10 according to the present embodiment can output response information according to the service execution result and the user's speech characteristics. More specifically, the information processing terminal 10 can output response information according to the user's utterance tendency. According to the above function provided in the information processing terminal 10 according to the present embodiment, it is possible to realize a more natural and easier-to-understand voice conversation corresponding to the user's speech characteristics.
  • the functional configuration described above is merely an example, and the functional configuration of the information processing terminal 10 according to the present embodiment is not limited to the example.
  • the image recognition unit 120, the result integration unit 130, the service execution unit 140, and the response generation unit 150 may be realized as functions of the information processing server 30 or other devices.
  • the user information DB 400a may be provided outside the information processing terminal 10 or integrated with a user information DB 400b described later. It may be provided.
  • the functional configuration of the information processing terminal 10 according to the present embodiment can be changed flexibly.
  • FIG. 4 is a functional block diagram of the information processing server 30 according to the present embodiment.
  • the information processing server 30 according to the present embodiment includes a voice recognition unit 310, an analysis unit 320, a terminal communication unit 330, and a user information DB 400b.
  • the analysis unit 320 according to the present embodiment includes an intention interpretation unit 322 and an ambiguity resolution unit 324.
  • FIG. 4 is merely an example, and a part of the functions illustrated in FIG. 4 may be realized as a function of the information processing terminal 10, for example.
  • the functional configuration of the information processing server 30 according to the present embodiment can be changed as appropriate according to the characteristics of the apparatus, operating conditions, and the like.
  • the voice recognition unit 310 has a function of performing voice recognition based on the utterance information collected by the voice acquisition unit 112 of the information processing terminal 10. Specifically, the voice recognition unit 310 may convert a voice signal included in the utterance information into character string information. The voice recognition unit 310 has a function of identifying a speaking user based on the acoustic characteristics of each user held in the user information DB 400b. At this time, the voice recognition unit 310 can perform voice recognition using, for example, pattern matching or a hidden Markov model.
  • the analysis unit 320 has a function of standardizing the processing content executed by the service execution unit 140 based on the recognition information integrated by the result integration unit 130 of the information processing terminal 10.
  • the analysis unit 320 according to the present embodiment can absorb the difference related to the utterance characteristics between users and generate processing contents that do not depend on the utterance characteristics of the users. For this reason, the analysis unit 320 according to the present embodiment includes an intention interpretation unit 322 and an ambiguity resolution unit 324.
  • the intention interpretation unit 322 has a function of extracting the utterance user's utterance intention based on the voice recognition result included in the recognition information. For example, when the user utters “Register Mary's schedule at the afternoon of today” (utterance example 1), the intention interpretation unit 322 extracts the schedule registration in the schedule service as the utterance user's utterance intention. can do. At this time, the intention interpreting unit 322 has a function of extracting an utterance parameter based on the speech recognition result. In the case of the utterance example 1 described above, the intention interpretation unit 322 may extract “date and time: 1:00 pm today” and “location: Mary's” as utterance parameters. At this time, the intention interpretation unit 322 may perform the above processing by applying a method widely used in the field of natural language processing.
  • the ambiguity resolution unit 324 generates a processing content that standardizes the above utterance parameters based on the recognition result of the utterance user included in the recognition information and the utterance characteristics of the utterance user stored in the user information DB 400b. Have That is, the ambiguity elimination unit 324 according to the present embodiment has a function of eliminating ambiguity of the utterance parameter that depends on the utterance characteristics of the utterance user.
  • FIG. 5 is a diagram illustrating an example of a table related to the user's utterance tendency held in the user information DB 400b.
  • the table shown in FIG. 5 is an example showing information on the tendency of the names used by the user.
  • the table stores a formal name related to a target and a name used by the user for the target in association with each other.
  • the ambiguity resolution unit 324 uses the user information based on the utterance parameter “location: Mary's” extracted by the intention interpretation unit 322 and the recognition result (user1) of the utterance user. You may search DB400b.
  • the ambiguity resolution unit 324 can acquire the official name “Mary ’s Salon” of the utterance parameter “Mary ’s” by the above processing and replace the utterance parameter. As described above, the ambiguity eliminating unit 324 according to the present embodiment can absorb the difference related to the utterance characteristics between users and generate standardized processing contents that do not depend on the utterance characteristics of the users.
  • the ambiguity resolution unit 324 may resolve the ambiguity of the utterance parameter based on information stored in advance. For example, in the case of the utterance example 1 described above, the ambiguity resolution unit 324 uses the utterance parameter “date and time: 1:00 pm today” extracted by the intention interpretation unit 322 as “date and time: It may be converted to “4/20/2017 13:00”. As described above, the ambiguity eliminating unit 324 according to the present embodiment can eliminate the ambiguity related to the utterance parameter extracted by the intention interpreting unit 322, and can generate standardized processing content suitable for service execution. It is.
  • the ambiguity resolution unit 324 has a function of storing the utterance tendency of the utterance user based on the utterance parameter extracted by the intention interpretation unit 322 and the recognition result of the utterance user. Specifically, the ambiguity resolution unit 324 may associate the utterance parameter extracted by the intention interpretation unit 322 with the utterance user ID and store them in the user information DB 400b. As described above, the utterance tendency may include a name, a word, a word order, or pronunciation. According to the above-described function of the ambiguity eliminating unit 324, it is possible to dynamically collect user's utterance tendency and keep the latest state.
  • the terminal communication unit 330 has a function of performing communication with the information processing terminal 10 via the network 20. For example, the terminal communication unit 330 may receive the collected utterance information and transmit the speech recognition result by the speech recognition unit 310 to the information processing terminal 10. Further, the terminal communication unit 330 may receive the recognition information integrated by the result integration unit 130 and transmit the processing content standardized based on the recognition information to the information processing terminal 10.
  • the user information DB 400b may be a database that holds various information related to users. Since the user information held by the user information DB 400b may be the same as the user information held by the user information DB 400a, detailed description thereof is omitted. Further, as described above, the user information held by the user information DB 400b may be synchronized with the user information held by the user information DB 400a. For example, when a new user utterance tendency is registered in the user information DB 400b, information related to the utterance tendency may be copied to the user information DB 400a.
  • the information processing server 30 according to the present embodiment can standardize the processing content related to service execution based on the recognition information and the user's speech characteristics. Further, the information processing server 30 according to the present embodiment can store the extracted utterance parameters as the utterance tendency of the uttering user. According to said function with which the information processing server 30 which concerns on this embodiment is provided, it becomes possible to absorb the difference which concerns on the speech characteristic between users, and to implement
  • the information processing terminal 10 can output response information according to the tendency of the name used by the recognized utterance user.
  • the information processing terminal 10 may output response information corresponding to the utterance user's name tendency even when the utterance user refers to the schedule information of another user.
  • FIG. 6 is a conceptual diagram showing an output example of response information when the uttering user refers to schedule information related to another user.
  • an example illustrated in FIG. 6 illustrates a case where the user U2 refers to the schedule information of the wife (user1).
  • the information processing terminal 10 transmits recognition information based on the utterance S2 of the user U2 and the acquired image information of the user U2 to the information processing server 30.
  • the analysis unit 320 of the information processing server 30 extracts the utterance intention and the utterance parameter from the utterance S2, and standardizes the processing content.
  • the ambiguity resolution unit 324 can convert the utterance parameter “my wi” to “user 1” based on the recognition result and the utterance tendency of the user S2.
  • the ambiguity resolution unit 324 may convert the utterance parameter “today” based on the service specification.
  • the service execution unit 140 of the information processing terminal 10 acquires the schedule information of user1 from the service SV2 based on the processing content standardized by the information processing server 30.
  • the official name “Mary ’s salon” is used as the location information in the acquired schedule information.
  • the response generation unit 150 of the information processing terminal 10 generates response information based on the acquisition result and the utterance tendency of the user U2.
  • the information processing terminal 10 may search the user information DB 400a for the tendency of the name used by the user U2 for “Mary's salon”, and generate response information according to the search result.
  • the user information DB 400a does not store the name used by the user U2 (user2) for “Mary's salon”.
  • the response generation unit 150 when the response generation unit 150 generates response information using “Mary's” which is a name used by user1, the content of the response information cannot be accurately understood by the user U2 (user2). Fear arises.
  • the response generation unit 150 generates response information R2 using the official name “Mary's salon” as it is, and the audio output unit 162 outputs the response information R2. At this time, the response generation unit 150 can also change the preposition or the like according to the selected formal name or name. The generation of response information by the response generation unit 150 can be appropriately changed according to the characteristics of the language used.
  • the information processing terminal 10 can output response information corresponding to the tendency of the name used by the recognized utterance user. According to the above function of the information processing terminal 10 according to the present embodiment, it is possible to output flexible response information according to the utterance user even for the same processing result such as the acquisition result of the schedule information. Become.
  • FIG. 7 illustrates a case where a user U2 as another user exists around the information processing terminal 10 in addition to the user U1 as a utterance user.
  • the image recognition unit 120 of the information processing terminal 10 can identify the user U2 based on the image information acquired by the imaging unit 114.
  • the information processing terminal 10 can include the GPS information acquired by the acquisition unit 110 in the recognition information and transmit it to the information processing server 30.
  • the information processing server 30 can convert the extracted utterance parameter “nearby” into coordinate information and standardize the processing content.
  • the service execution unit 140 of the information processing terminal 10 acquires event information from the service SV3 based on the standardized processing content.
  • “ABC Outlet Mall”, which is the official name, is used as the event information in the acquired event information.
  • the response generation unit 150 of the information processing terminal 10 generates response information based on the acquisition result and the utterance tendency of the users U1 and U2.
  • the information processing terminal 10 may search the user information DB 400a for the tendency of the names used by the users U1 and U2 with respect to “ABC Outlet Mall”, and generate response information according to the search result.
  • the user U1 (user1) uses the name “Outlet” or “ABC” for “ABC Outlet Mall”.
  • the user U2 uses the designation “Mall” or “ABC” for “ABC Outlet Mall”.
  • the response generation unit 150 may generate the response information R3 using “ABC”, which is a common name for the users U1 and U2.
  • the information processing terminal 10 can output response information according to the tendency of the name used by the recognized utterance user and another user different from the utterance user. According to the function of the information processing terminal 10 according to the present embodiment, it is possible to absorb differences in speech characteristics among a plurality of users and output more general response information.
  • response generation unit 150 determines an official name. It is also possible to generate response information.
  • the response generation unit 150 may generate response information using a name having a larger number of users. Further, the response generation unit 150 can generate response information by randomly selecting from names used by the recognized user. The generation of the response information according to the name tendency according to the present embodiment can be flexibly changed.
  • the information processing terminal 10 outputs the response information that absorbs the difference in the naming tendency between different users has been described with reference to FIGS. 6 and 7.
  • the information processing terminal 10 according to the present embodiment has the same effect even when the number of users is one.
  • the service execution unit 140 executes processing related to the music playback service.
  • the ambiguity resolution unit 324 refers to general knowledge.
  • the abbreviation A is converted to the official name musician A.
  • the general knowledge may be information stored in the information processing server 30, or may be information disclosed on the Internet, for example.
  • the ambiguity resolution unit 324 stores in the user information DB 400b that the utterance user uses the abbreviation A for the musician A.
  • the information processing terminal 10 can reproduce the music related to the musician A and output the response information “I will play the music of the abbreviation A”. Further, when the user subsequently utters the musician A, the information processing terminal 10 may output response information corresponding to the tendency of the name stored above. For example, when the utterance “This song, who's?” Is made to the musician A's song that the user is playing, the response generation unit 150 refers to the tendency of the name of the user stored in the user information DB 400b. Then, it is possible to answer “It is a song of abbreviation A”.
  • the information processing terminal 10 can output response information corresponding to the tendency of words used by the recognized utterance user.
  • FIG. 8 is a conceptual diagram showing an output example of response information corresponding to the tendency of words used by the speaking user. In the following description, the difference from the output of response information according to the name tendency will be mainly described, and the description of the functions of the common information processing terminal 10 and information processing server 30 will be omitted.
  • the user U1 is performing an utterance S4 “Cancel all My Meetings today” related to deletion of schedule information.
  • the intention interpretation unit 322 of the information processing server 30 extracts that the utterance intention of the utterance S4 is deletion of schedule information, and extracts the utterance parameter “Cancel”.
  • the ambiguity eliminating unit 324 may store the extracted utterance intention and the utterance parameter “Cancel” in association with each other in the user information DB 400b.
  • the service execution unit 140 of the information processing terminal 10 executes processing related to the deletion of the schedule based on the processing content standardized by the information processing server 30.
  • the response generation unit 150 generates response information based on the stored utterance tendency of the user U1.
  • the response generation unit 150 may generate the response information R4a using the word “Cancel” stored above.
  • synonyms such as Delete, Eliminate, and Remove
  • the information processing terminal 10 can output a response information according to the tendency of the words used by the utterance user, thereby realizing a response that is more natural for the utterance user. It is.
  • schedule change Edit, Correct, Change
  • registration Add, change
  • the information processing terminal 10 which concerns on this embodiment can produce
  • the response generation unit 150 may generate the response information using “Movie” used by the user without using the synonym “Film”.
  • the tendency of words according to the present embodiment may include a usage tendency related to a verb or a verb noun.
  • the response generation unit 150 can generate response information using verbal nouns without using verbs. The generation of the response information according to the word tendency according to the present embodiment can be appropriately modified according to the characteristics of the language used.
  • the information processing terminal 10 can output response information corresponding to the tendency of the word order used by the recognized utterance user.
  • FIG. 9 is a conceptual diagram illustrating an output example of response information corresponding to the tendency of the word order used by the speaking user. In the following description, the difference from the output of response information corresponding to the name and the tendency of the word will be mainly described, and description of the functions of the common information processing terminal 10 and information processing server 30 will be omitted.
  • the user U1 is performing the utterance S5 “Send an invitation to Peter” related to the transmission of the invitation.
  • the intention interpreting unit 322 of the information processing server 30 extracts that the utterance intention of the utterance S5 is the invitation transmission, and the utterance parameters “invitation”, “Peter (target)”, and the utterance parameter. Extract the word order of.
  • the ambiguity eliminating unit 324 may store the extracted utterance intention and the word order of the utterance parameter in association with each other in the user information DB 400b.
  • the service execution unit 140 of the information processing terminal 10 executes processing related to the transmission of the invitation based on the processing content standardized by the information processing server 30.
  • the response generation unit 150 generates response information based on the stored utterance tendency of the user U1.
  • the response generation unit 150 may generate the response information R5a using the word order of the utterance parameters stored above.
  • the response generation unit 150 generates the response information R5b using a word order that is not used by the user U1
  • the response generation unit 150 can generate response information according to the tendency of the language used by the user.
  • the word order according to the present embodiment may include, for example, the word order related to the place and the date and time.
  • FIG. 10 is a conceptual diagram for explaining the generation of response information according to the word order related to the place and the date and time.
  • FIG. 10 shows the word order used by the user and the generated response information in association with the speech intention “Weather forecast”.
  • the first line of FIG. 10 shows a word order template that is applied when the user uses the word order of ⁇ time> ⁇ location>, such as “What's the weather today in Tokyo”.
  • the response generation unit 150 searches the user information DB 400a based on the word order used by the user, and generates, for example, response information “It's sunny today in Tokyo” using the searched template. be able to.
  • the third and fourth lines of FIG. 10 show word order templates when the user omits the vocabulary.
  • the response generation unit 150 extracts the corresponding word order template, and omits ⁇ location> in the same way as the user.
  • Information may be generated.
  • the response generation unit 150 can generate response information by complementing information omitted by the user.
  • the response generation unit 150 may generate response information that complements ⁇ location> based on ⁇ location> preset by the user or GPS information included in the recognition information.
  • the information processing terminal 10 may cause the voice output unit 162 to output simple response information without the ⁇ location> while outputting the response information supplemented with the ⁇ location> on the display unit 164. Good.
  • the information processing terminal 10 can output a response information according to the tendency of the word order used by the utterance user, thereby realizing a response that is more natural to the utterance user. It is.
  • the word order related to the object and the word order related to the place and time have been described as examples.
  • the generation of the response information according to the tendency of the word order according to the present embodiment depends on the characteristics of the language used. It can be changed appropriately.
  • the information processing terminal 10 can output response information corresponding to the pronunciation tendency used by the recognized utterance user.
  • FIG. 11 is a conceptual diagram showing an output example of response information corresponding to the pronunciation tendency used by the uttering user.
  • the difference from the output of response information according to the name, the word, and the tendency of the word order will be mainly described, and the description of the functions of the common information processing terminal 10 and the information processing server 30 will be omitted. .
  • the user U1 is performing the utterance S6 “Cancel my weekend schedule” related to the deletion of the schedule information.
  • the intention interpretation unit 322 of the information processing server 30 extracts that the utterance intention of the utterance S4 is deletion of schedule information, and extracts the utterance parameter “Schedule” and the pronunciation of the user related to the utterance parameter.
  • the ambiguity eliminating unit 324 may store the extracted utterance parameter “Schedule” and the user's pronunciation in the user information DB 400b in association with each other.
  • the service execution unit 140 of the information processing terminal 10 executes processing related to the deletion of the schedule based on the processing content standardized by the information processing server 30.
  • the response generation unit 150 generates response information based on the stored utterance tendency of the user U1.
  • the response generation unit 150 may generate the response information R6a using the pronunciation associated with the “Schedule” stored above.
  • the response generation unit 150 when the response generation unit 150 generates the response information R6b using a pronunciation that is not used by the user U1, on the other hand, there is a possibility that the user U1 has a strange response.
  • the information processing terminal 10 can output a response information corresponding to the pronunciation tendency used by the utterance user, thereby realizing a response that is more natural for the utterance user. It is.
  • the pronunciation related to “Schedule” has been described as an example, but the response generation unit 150 according to the present embodiment can also generate response information corresponding to rhotic, for example.
  • the response generation unit 150 may generate response information with reference to the user's birthplace included in the user's speech characteristics. According to the above-described function of the information processing terminal 10 according to the present embodiment, it is possible to more flexibly realize the output of response information corresponding to the tendency of pronunciation by the region or the individual.
  • the voice acquisition unit 112 of the information processing terminal 10 acquires the utterance information of the uttering user (S1101). Subsequently, the server communication unit 170 transmits the utterance information acquired in step S1101 to the information processing server 30 (S1102).
  • the voice recognition unit 310 of the information processing server 30 performs voice recognition and identification of the utterance user based on the received utterance information (S1103). Subsequently, the terminal communication unit 330 transmits the speech recognition result recognized in step S1103 and the recognition result of the speaking user to the information processing terminal 10 (S1104).
  • the imaging unit 114 of the information processing terminal 10 acquires image information of users existing around the information processing terminal 10 (S1105). Subsequently, the image recognition unit 120 identifies the user based on the image information acquired in step S1105 (S1106). Note that the processes according to steps S1105 and S1106 may be performed simultaneously with the processes according to steps S1101 to S1104.
  • the result integration unit 130 of the information processing terminal 10 integrates the recognition results acquired in steps S1104 and S1106, and generates recognition information (S1107).
  • the recognition information may include a speech recognition result, a speech user recognition result, and another user recognition result different from the speech user.
  • the server communication unit 170 transmits the recognition information generated in step S1107 to the information processing server 30 (S1108).
  • the intention interpretation unit 322 of the information processing server 30 extracts the utterance intention and the utterance parameter based on the voice recognition result included in the received recognition information (S1201). Subsequently, the ambiguity resolution unit 324 searches the user information DB 400b based on the recognition result of the utterance user included in the recognition information, the utterance intention and the utterance parameter extracted in step S1201, and standardizes the processing content ( S1202).
  • the ambiguity resolution unit 324 may store the utterance tendency of the utterance user in the user DB 400b based on the recognition result of the utterance user and the utterance parameter extracted in step S1201 (S1203).
  • the user information DB 400b can copy information related to the utterance tendency of the newly registered user to the user information DB 400a (S1204).
  • the terminal communication unit 330 of the information processing server 30 transmits the processing content standardized in step S1202 to the information processing terminal 10 (S1205).
  • step S1205 in FIG. 13 the service execution unit 140 of the information processing terminal 10 executes a service based on the received processing content (S1301).
  • the response generation unit 150 of the information processing terminal 10 determines the user recognition result based on the recognition information generated in step S1107 (S1302). At this time, the response generation unit 150 may determine whether another user different from the speaking user is recognized.
  • the response generation unit 150 acquires the user's utterance tendency from the user information DB 400a based on the determination result in step S1302 (S1303). At this time, if it is determined in step S1302 that another user is recognized, the response generation unit 150 may acquire the utterance tendency of the other user in addition to the utterance tendency of the uttering user.
  • the response generation unit 150 generates response information based on the utterance tendency acquired in step S1303 (S1304).
  • the audio output unit 162 and the display unit 164 of the information processing terminal 10 output response information based on the response information generated in step S1304 (step S1305), and the process ends.
  • FIG. 15 is a block diagram illustrating a hardware configuration example of the information processing terminal 10 and the information processing server 30 according to the present disclosure.
  • the information processing terminal 10 and the information processing server 30 include, for example, a CPU 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, and an input device 878. , Output device 879, storage 880, drive 881, connection port 882, and communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via an interface 877.
  • Input device 8708 For the input device 878, for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • Output device 879 In the output device 879, for example, a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile, etc. It is a device that can notify visually or audibly.
  • a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL
  • an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile, etc. It is a device that can notify visually or audibly.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the information processing terminal 10 can output response information according to the service execution result and the user's speech characteristics. More specifically, the information processing terminal 10 can output response information according to the user's utterance tendency. Further, the information processing server 30 according to the present disclosure can standardize the processing content related to service execution based on the recognition information and the user's speech characteristics. Further, the information processing server 30 according to the present disclosure can store the extracted utterance parameters as the utterance tendency of the utterance user. According to such a configuration, a more natural response according to the user's utterance can be performed.
  • the recognition information includes a speech recognition result based on the utterance information and a recognition result of the utterance user.
  • the utterance characteristics include a user's utterance tendency, The output unit outputs response information corresponding to the utterance tendency of the utterance user; The information processing apparatus according to (2).
  • the utterance tendency includes a tendency of naming used by the user, The output unit outputs response information corresponding to the tendency of the name, The information processing apparatus according to (3).
  • the utterance characteristics include the tendency of words used by the user, The output unit outputs response information corresponding to the tendency of the word; The information processing apparatus according to (3) or (4).
  • the utterance characteristics include the tendency of the word order used by the user, The output unit outputs response information corresponding to the tendency of the word order; The information processing apparatus according to any one of (3) to (5).
  • the speech characteristics include a user's pronunciation tendency, The output unit outputs response information corresponding to the pronunciation tendency; The information processing apparatus according to any one of (3) to (6).
  • the acquisition unit further collects user image information
  • the transmission unit transmits recognition information based on the utterance information and the image information to the analysis unit,
  • the recognition information further includes a recognition result of another user different from the speaking user.
  • the information processing apparatus according to any one of (2) to (7).
  • the output unit outputs response information according to the utterance characteristics of the utterance user and the utterance characteristics of the other user;
  • the output unit outputs response information using an utterance characteristic common to the utterance user and the another user.
  • the information processing apparatus according to (9).
  • a response generation unit that generates response information according to the processing result based on the processing content and the utterance characteristics of the user; Further comprising The information processing apparatus according to any one of (1) to (10).
  • a service execution unit that executes processing based on the processing content; Further comprising The information processing apparatus according to any one of (1) to (11).
  • the analysis unit includes an intention interpretation unit and an ambiguity resolution unit,
  • the intention interpreting unit extracts a speech user's speech intention and speech parameters based on a speech recognition result included in the recognition information
  • the ambiguity eliminating unit generates the processing content in which the utterance parameter is standardized based on the recognition result of the utterance user included in the recognition information and the utterance characteristics of the utterance user stored.
  • the information processing apparatus according to (13).
  • the ambiguity resolution unit stores the utterance tendency of the utterance user based on the utterance parameter extracted by the intention interpretation unit and the recognition result of the utterance user.
  • the utterance tendency includes at least one of name, word, word order, or pronunciation.
  • the information processing apparatus according to (15). (17) A voice recognition unit that performs voice recognition and recognition of the utterance user based on the utterance information; Further comprising The information processing apparatus according to any one of (14) to (16).

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

【課題】ユーザの発話に応じたより自然な応答を行う。 【解決手段】発話情報を収集する取得部と、前記発話情報に基づく認識情報を送信する送信部と、前記認識情報に基づき解析部により標準化された処理内容を受信する受信部と、前記処理内容に基づく処理結果とユーザの発話特性とに応じた応答情報を出力する出力部と、を備える、情報処理装置が提供される。また、収集された発話情報に基づく認識情報を受信する受信部と、前記認識情報に基づいて処理内容の標準化を行う解析部と、前記処理内容を送信する送信部と、を備える、情報処理装置が提供される。

Description

情報処理装置
　本開示は、情報処理装置に関する。
　近年、ユーザの発話を認識し、認識した音声入力に対応する処理を実行する種々の装置が提案されている。また、ユーザの発話に係る表現の幅を吸収し、音声認識の精度を高める技術が知られている。上記のような技術としては、例えば、特許文献１に記載の音声処理装置がある。
特開２００８－１３９４３８号公報
　しかし、特許文献１に記載の音声処理装置は、認識したユーザの発話に係る表現を保存する手段を有しておらず、また、音声合成に反映する手段を有していないため、ユーザが用いた表現に応じた音声応答を行うことが困難である。
　そこで、本開示では、ユーザの発話に応じたより自然な応答を行うことが可能な情報処理装置を提案する。
　本開示によれば、発話情報を収集する取得部と、前記発話情報に基づく認識情報を送信する送信部と、前記認識情報に基づき解析部により標準化された処理内容を受信する受信部と、前記処理内容に基づく処理結果とユーザの発話特性とに応じた応答情報を出力する出力部と、を備える、情報処理装置が提供される。
　また、本開示によれば、収集された発話情報に基づく認識情報を受信する受信部と、前記認識情報に基づいて処理内容の標準化を行う解析部と、前記処理内容を送信する送信部と、を備える、情報処理装置が提供される。
　以上説明したように本開示によれば、ユーザの発話に応じたより自然な応答を行うことが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る概要を説明するための概念図である。 同実施形態に係るシステム構成例を示す図である。 同実施形態に係る情報処理端末の機能ブロック図である。 同実施形態に係る情報処理サーバの機能ブロック図である。 同実施形態に係るユーザ情報ＤＢが保有するユーザの発話傾向に関するテーブル例である。 同実施形態に係る呼称の傾向に応じた応答情報の出力を示す概念図である。 同実施形態に係る複数ユーザの呼称の傾向に応じた応答情報の出力を示す概念図である。 同実施形態に係る単語の傾向に応じた応答情報の出力を示す概念図である。 同実施形態に係る語順の傾向に応じた応答情報の出力例を示す概念図である。 同実施形態に係る場所及び日時に係る語順に応じた応答情報の生成について説明するための概念図である。 同実施形態に係る発音の傾向に応じた応答情報の出力例を示す概念図である。 同実施形態に係る情報処理端末１０及び情報処理サーバ３０の動作に係るシーケンス図である。 同実施形態に係る情報処理端末１０及び情報処理サーバ３０の動作に係るシーケンス図である。 同実施形態に係る情報処理端末１０及び情報処理サーバ３０の動作に係るシーケンス図である。 本開示に係るハードウェア構成例である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．本開示に係る実施形態の概要
　　１．２．システム構成例
　　１．３．情報処理端末１０の機能構成例
　　１．４．情報処理サーバ３０の機能構成例
　　１．５．発話傾向に応じた応答情報の出力
　　１．６．動作の流れ
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　［１．１．本開示に係る実施形態の概要］
　近年、自律型ロボットやスマートフォンアプリケーションなどにおいて、ユーザの発話を認識し、当該発話に基づいた音声応答を行う技術が普及している。上記のような音声応答は、画面などを用いた視覚的な出力とは異なりユーザの視線を拘束しない。このため、ユーザは、他の作業を行いながら、上記のような音声応答システムを同時に利用することができる。
　例えば、ユーザは、台所仕事をしながら、音声応答システムに明日の天気予報を問い合わせることが可能である。ユーザは、手元に視線を向けながら、「明日の東京の天気は？」と質問してもよい。この際、音声応答システムは、ユーザの発話意図が天気予報に係る問い合わせであることを認識し、発話中から抽出した「東京」が地名「東京」を示すことや、同じく抽出した「明日」が時間情報を示すことを同定することができる。音声応答システムは、認識した発話意図や抽出したパラメータに基づいて、天気予報サービスなどにアクセスし、「明日の東京の天気は晴れです」、と答えることができる。
　一方、上記のような音声応答では、システムから出力される音声をユーザが聞き逃した場合、再度問い合わせを行うことが求められる。このため、システムからの音声出力にユーザが知らない語彙や、ユーザが普段用いない語彙が含まれる場合、ユーザが応答内容を正しく（また、瞬時に）理解することが困難となり、システムの利便性を大きく損ねる要因となり得る。
　例えば、ユーザの発話が、“Ｓｔａｔｕｅ　ｏｆ　Ｌｉｂｅｒｔｙ”の料金に係る問い合わせである場合について考察する。この際、システムは、“Ｓｔａｔｕｅ　ｏｆ　Ｌｉｂｅｒｔｙ”が、正式名称である“Ｌｉｂｅｒｔｙ　Ｅｎｌｉｇｈｔｅｎｉｎｇ　ｔｈｅ　Ｗｏｒｌｄ”を指すことを判断し、当該正式名称を用いて音声出力を行う。しかし、ユーザが上記の正式名称を知らない場合、ユーザはシステムからの応答が自身の質問に対する正しい答えであるか否かを判断することが困難である。
　また、例えば、ユーザからの問い合わせへの応答以外でも、システム主導による音声出力を行う場合も想定される。この際、システムが、“Ｌｉｂｅｒｔｙ　Ｅｎｌｉｇｈｔｅｎｉｎｇ　ｔｈｅ　Ｗｏｒｌｄ”でイベントがある旨を音声出力しても、正式名称を知らないユーザにとっては、音声出力の意図を正しく理解することが困難である。
　このように、システムが常に正式名称や定型句を用いて音声応答を行う場合、ユーザの理解を大きく低下させる可能性がある。また、応答内容が理解可能である場合でも、普段使用しない語彙などを用いた音声応答に対して、ユーザが違和感を覚えることが想定される。このため、音声応答を行うシステムでは、ユーザにとって、よりわかりやすい、より親しみやすい応答を実現することが求められていた。
　本開示に係る情報処理装置は、上記の点に着目して発想されたものであり、ユーザの発話特性に応じた応答情報を出力することを可能とする。ここで、本開示に係る実施形態の概要について説明する。図１は、本実施形態の概要を説明するための概念図である。図１には、ユーザの発話を認識し、当該発話に基づいて処理を実行する情報処理端末１０が示されている。ここで、本実施形態に係る情報処理端末１０は、ユーザとの音声対話を実現するエージェント機能を有してもよい。
　図１を参照すると、情報処理端末１０は、ユーザＵ１の発話Ｓ１を認識し、発話Ｓ１に基づき、応答情報Ｒ１を出力している。より具体的には、情報処理端末１０は、発話Ｓ１から抽出されたユーザの発話意図に基づいて種々の処理を実行し、当該処理の結果を応答情報Ｒ１として出力することができる。
　例えば、情報処理端末１０は、ユーザＵ１の発話Ｓ１に基づいて、スケジュール情報を検索し、検索結果を含めた応答情報Ｒ１を音声出力する機能を有してもよい。図１に示す一例においては、情報処理端末１０は、発話Ｓ１“Ｄｏ　Ｉ　ｈａｖｅ　ｐｌａｎｓ　ｔｏｄａｙ？”から抽出された発話意図に基づいて、スケジュール管理に係るサービスＳＶ１からユーザＵ１のスケジュール情報を抽出している。また、情報処理端末１０は、上記で抽出したスケジュール情報に基づいて、応答情報Ｒ１“Ｙｏｕ　ｈａｖｅ　ａｎ　ａｐｐｏｉｎｔｍｅｎｔ　ａｔ　Ｍａｒｙ’ｓ　ａｔ　１３：００”を出力している。
　この際、本実施形態に係る情報処理端末１０は、ユーザの発話特性に応じた応答情報の出力を行うことが可能である。例えば、本実施形態に係る情報処理端末１０は、ユーザが使用する呼称の傾向に応じた応答情報を出力する機能を有してよい。ここで、上記の呼称の傾向とは、人物、物体、場所など、あらゆる対象に対してユーザが用いる呼び方の傾向であってよい。このため、本実施形態に係る呼称とは、略称、愛称、俗称などを含む概念であってよい。
　例えば、図１に示されるサービスＳＶ１には、“Ｍａｒｙ’ｓ　ｓａｌｏｎ”に関連付いたユーザＵ１のスケジュール情報が記憶されている。ここで、“Ｍａｒｙ’ｓ　ｓａｌｏｎ”は、サロンの商業的な正式名称であってもよい。一方、図１に示す一例では、情報処理端末１０は、正式名称である“Ｍａｒｙ’ｓ　ｓａｌｏｎ”を用いずに、“Ｍａｒｙ’ｓ”という名称に変換し、応答情報Ｒ１を出力している。
　このように、情報処理端末１０は、記憶されるユーザの発話特性を参照し、当該発話特性に応じた応答情報Ｒ１を出力することが可能である。すなわち、情報処理端末１０は、記憶されるユーザＵ１の発話特性から、ユーザＵ１が、“Ｍａｒｙ’ｓ　ｓａｌｏｎ”を“Ｍａｒｙ’ｓ”と呼ぶ傾向があることを認識し、図１に示すような応答情報Ｒ１の出力を実現することができる。このように、本実施形態に係る発話特性には、ユーザの属性に係る情報に加え、ユーザの発話傾向が含まれてよい。
　以上、本実施形態に係る概要について説明した。上述したとおり、本実施形態に係る情報処理端末１０は、ユーザの発話特性に応じた応答情報を出力することが可能である。情報処理端末１０が有する上記の機能によれば、ユーザの発話特性に対応したより自然、かつより理解しやすい音声対話を実現することが可能となる。
　なお、上記の説明では、ユーザの発話に対し情報処理端末１０が応答する場合を例に述べたが、本実施形態に係る情報処理端末１０は、システム主導による音声出力を行ってもよい。この場合においても、情報処理端末１０は、認識したユーザ情報に基づいて、当該ユーザの発話特性に応じた音声出力を行うことができる。以降の説明では、本実施形態に係る情報処理端末１０、及び情報処理サーバ３０に係る機能上の特徴を挙げながら、当該特徴の奏する効果について述べる。
　［１．２．システム構成例］
　次に、本実施形態に係るシステム構成例について説明する。図２は、本実施形態に係るシステム構成例を示す図である。図２を参照すると、本実施形態に係る情報処理システムは、情報処理端末１０、及び情報処理サーバ３０を備える。また、情報処理端末１０及び情報処理サーバ３０は、互いに通信が行えるように、ネットワーク２０を介して接続される。
　（情報処理端末１０）
　本実施形態に係る情報処理端末１０は、ユーザの発話情報を収集し、当該発話情報に基づく種々の処理を実行する機能を有する。また、情報処理端末は、上記の処理の結果とユーザの発話特性とに応じた応答情報を出力する機能を有する。
　より具体的には、本実施形態に係る情報処理端末１０は、収集したユーザの発話情報に基づく認識情報を情報処理サーバ３０に送信してよい。また、情報処理端末１０は、情報処理サーバ３０により標準化された処理内容を受信し、当該処理内容に基づいた処理を実行することができる。
　本実施形態に係る情報処理端末１０は、上記の機能を有する種々の情報処理装置であってよい。情報処理端末１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット、携帯電話、自律型ロボットなどであってもよい。
　（情報処理サーバ３０）
　本実施形態に係る情報処理サーバ３０は、収集された発話情報に基づく認識情報を受信し、当該認識情報に基づいて処理内容の標準化を行う情報処理装置である。より具体的には、情報処理サーバ３０は、ユーザごとの発話特性に係る差異を吸収し、実行する処理内容の標準化を行ってよい。また、情報処理サーバ３０は、標準化した処理内容を情報処理端末１０に送信する機能を有してよい。なお、情報処理サーバ３０が有する処理内容の標準化については、後に詳細に説明する。
　（ネットワーク２０）
　ネットワーク２０は、情報処理端末１０、及び情報処理サーバ３０を互いに接続する機能を有する。ネットワーク２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク２０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
　以上、本実施形態に係るシステム構成例について説明した。なお、図２を用いた上記の説明では、情報処理端末１０、及び情報処理サーバ３０がそれぞれ独立した情報処理装置として実現される場合を例に述べたが、本実施形態に係るシステム構成例は、係る例に限定されない。本実施形態に係る情報処理端末１０、及び情報処理サーバ３０は、単一の情報処理装置として実現されてもよい。この場合、例えば、情報処理端末１０は、処理内容の標準化に係る機能をさらに有してもよい。
　また、情報処理端末１０、及び情報処理サーバ３０が有する各機能は、３台以上の複数の情報処理装置に実現されてもよい。本実施形態に係るシステム構成例は、扱われる情報量やシステムの仕様、運用条件などに応じて柔軟に変形され得る。
　［１．３．情報処理端末１０の機能構成例］
　次に、本実施形態に係る情報処理端末１０の機能構成例について、詳細に説明する。図３は、本実施形態に係る情報処理端末１０の機能ブロック図である。図３を参照すると、本実施形態に係る情報処理端末１０は、取得部１１０、画像認識部１２０、結果統合部１３０、サービス実行部１４０、応答生成部１５０、出力部１６０、サーバ通信部１７０、及びユーザ情報ＤＢ４００ａを備える。また、本実施形態に係る取得部１１０は、音声取得部１１２及び撮像部１１４を含む。また、本実施形態に係る出力部１６０は、音声出力部１６２及び表示部１６４を含む。
　以降、上記に示す各構成について当該構成が有する特徴を中心に詳細に説明する。なお、図３に示す機能構成はあくまで例示であり、図３に示される機能の一部は、情報処理端末１０とは異なる装置の機能として実現されてもよい。本実施形態に係る情報処理端末１０の機能構成は、装置の特性や運用条件などにより適宜変更され得る。
　（取得部１１０）
　取得部１１０は、ユーザに係る情報を取得する機能を有する。このため、取得部１１０は、ユーザの発話や状態、またはユーザによる入力操作を検出するための各種のセンサや装置を含んでよい。特に、本実施形態においては、取得部１１０は、音声取得部１１２及び撮像部１１４を含んでよい。
　（（音声取得部１１２））
　音声取得部１１２は、ユーザの発話情報を収集する機能を有する。ここで、上記の発話情報には、ユーザの発した音声の他、周囲の環境音等が含まれてもよい。音声取得部１１２は、例えば、ユーザの音声や環境音を電気信号に変換するマイクロフォンにより実現され得る。
　（（撮像部１１４））
　撮像部１１４は、ユーザの画像情報を収集する機能を有する。ここで、上記のユーザには、情報処理端末１０への発話を行うユーザの他、発話ユーザと対話している別のユーザなど、情報処理端末１０の周囲に存在する複数の人物が含まれてよい。撮像部１１４は、例えば、撮像素子を備える各種のカメラにより実現され得る。
　（画像認識部１２０）
　画像認識部１２０は、撮像部１１４が収集した画像情報と後述するユーザ情報ＤＢ４００ａが有するユーザ情報とに基づいて、情報処理端末１０の周囲に存在するユーザを認識する機能を有する。
　（結果統合部１３０）
　結果統合部１３０は、画像認識部１２０が認識したユーザ情報と、後述する音声認識部３１０が認識する音声認識結果と、を対応付ける機能を有する。具体的には、本実施形態に係る結果統合部１３０は、サービス実行に係る発話コマンドを発した発話ユーザを特定することが可能である。また、結果統合部１３０は、情報処理端末１０の周囲に存在する発話ユーザとは異なる別のユーザを同時に認識することができる。すなわち、結果統合部１３０は、音声認識部３１０による音声認識結果、発話ユーザの認識結果、及び発話ユーザとは異なる別のユーザの認識結果を統合した認識情報を、サーバ通信部１７０を介して、解析部３２０に出力する機能を有する。
　（サービス実行部１４０）
　サービス実行部１４０は、後述する解析部３２０により標準化された処理内容に基づき、種々の処理を実行する機能を有する。すなわち、サービス実行部１４０は、標準化された処理内容に基づいてサービスに対する種々の要求を行う機能を有する。このため、サービス実行部１４０が実行する機能は、上記サービスの種類に応じて決定され得る。提供サービスがスケジュール管理に係るサービスの場合、サービス実行部１４０は、例えば、標準化された処理内容に基づいて、スケジュールの参照、登録、変更、または削除などを行ってもよい。また、提供サービスが天気予報に係るサービスの場合、サービス実行部１４０は、標準化された処理内容に基づいて天気予報サービスから該当する情報を抽出することができる。
　また、上記のサービスは、例えば、情報処理端末１０の機能として実現される各種のアプリケーションであってもよい。この場合、サービス実行部１４０は、当該アプリケーションの管理や実行を制御する機能を有してよい。また、上記のサービスは、例えば、ネットワーク２０上に公開される各種のＷｅｂサービスなどであってもよい。この場合、サービス実行部１４０は、ネットワーク２０を介して、Ｗｅｂサービスにアクセスし、サービス内容に応じた機能の実行や情報の取得を要求することが可能である。
　（応答生成部１５０）
　応答生成部１５０は、標準化された処理結果とユーザの発話特性とに応じた応答情報を生成する機能を有する。すなわち、応答生成部１５０は、サービス実行部１４０による処理結果と、ユーザ情報ＤＢ４００ａが保有するユーザ情報と、に応じた応答情報を生成することができる。この際、応答生成部１５０は、上記のユーザ情報に含まれる発話ユーザの発話特性に応じた応答情報を生成してよい。より具体的には、応答生成部１５０は、上記の発話特性に含まれるユーザの発話傾向に応じた応答情報を生成することができる。このように、本実施形態に係る発話特性には、ユーザの属性情報に加え、ユーザの発話傾向が含まれてよい。ここで、上記の発話傾向には、例えば、ユーザが使用する呼称、単語、語順、発音などの傾向が含まれてよい。すなわち、本実施形態に係る応答生成部１５０は、上記の呼称、単語、語順、発音などの傾向に応じた応答情報を生成することが可能である。
　また、応答生成部１５０は、発話ユーザの発話特性と当該発話ユーザとは異なる別のユーザの発話特性に応じた応答情報を生成してもよい。さらには、応答生成部１５０は、発話ユーザと当該発話ユーザとは異なる別のユーザとに共通する発話特性を用いた応答情報を生成してもよい。本実施形態に係る応答情報の生成については、後に詳細に説明する。また、応答生成部１５０は、生成した応答情報に基づいて人工音声を合成する音声合成機能を有してよい。
　（出力部１６０）
　出力部１６０は、応答生成部１５０が生成した応答情報をユーザに提示する機能を有する。すなわち、本実施形態に係る出力部１６０は、ユーザが使用する呼称、単語、語順、発音などの傾向に応じた応答情報を出力することができる。このため、出力部１６０は、上記の応答情報を出力するための各種の装置を含んでよい。特に、本実施形態においては、出力部１６０は、音声出力部１６２及び表示部１６４を含んでよい。
　（（音声出力部１６２））
　音声出力部１６２は、電気信号を音に変換し出力する機能を有する。具体的には、音声出力部１６２は、応答生成部１５０が合成した音声データに基づいた音声をユーザに提示する機能を有する。音声出力部１６２は、上記の機能を有するスピーカやアンプなどを含んでよい。
　（（表示部１６４））
　表示部１６４は、応答生成部１５０が生成した応答情報に基づいて、視覚情報を伴う出力を行う機能を有する。当該機能は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置により実現されてもよい。また、表示部１６４は、ユーザの操作を受け付ける操作部としての機能を有してもよい。操作部としての機能は、例えば、タッチパネルにより実現され得る。
　（サーバ通信部１７０）
　サーバ通信部１７０は、ネットワーク２０を介して、情報処理サーバ３０との通信を行う機能を有する。サーバ通信部１７０は、例えば、音声取得部１１２が取得した発話情報を情報処理サーバ３０に送信し、当該発話情報に基づく音声認識結果を受信してもよい。また、サーバ通信部１７０は、結果統合部１３０が統合した認識情報を情報処理サーバ３０に送信し、当該認識情報に基づき標準化された処理内容を受信してもよい。ここで、上記の認識情報には、上記の音声認識結果、発話ユーザの認識結果、及び当該発話ユーザとは異なる別のユーザの認識結果が含まれてよい。
　（ユーザ情報ＤＢ４００ａ）
　ユーザ情報ＤＢ４００ａは、ユーザに関する種々の情報を保有するデータベースであってよい。ユーザ情報ＤＢ４００ａが保有するユーザ情報には、例えば、ユーザＩＤやユーザに関する氏名、性別、年齢などの基本情報が含まれてよい。また、上記のユーザ情報には、ユーザを識別するための画像情報や音響的特徴が含まれてよい。画像認識部１２０や後述する音声認識部３１０は、上記の画像情報または音響的特徴に基づいて、ユーザを識別することが可能である。また、上記のユーザ情報には、ユーザごとの発話特性が含まれてよい。上述したとおり、上記の発話特性には、ユーザの性別、年齢、出身などの属性情報の他、ユーザごとの発話傾向が含まれてよい。当該発話傾向には、ユーザが使用する呼称、単語、語順、発音などの発話傾向が含まれてよい。
　また、ユーザ情報ＤＢ４００ａが保有するユーザ情報は、後述するユーザ情報ＤＢ４００ｂが保有するユーザ情報と同期制御が行われてよい。例えば、ユーザ情報ＤＢ４００ａに新規ユーザの情報が登録された場合、当該ユーザに関するユーザ情報は、ユーザ情報ＤＢ４００ｂにコピーされてよい。
　以上、本実施形態に係る情報処理端末１０の機能構成例について詳細に説明した。上述したとおり、本実施形態に係る情報処理端末１０は、サービス実行結果とユーザの発話特性とに応じた応答情報を出力することができる。より具体的には、情報処理端末１０は、ユーザの発話傾向に応じた応答情報を出力することができる。本実施形態に係る情報処理端末１０が備える上記の機能によれば、ユーザの発話特性に対応したより自然、かつより理解しやすい音声対話を実現することが可能となる。
　なお、上記で説明した機能構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は、係る例に限定されない。例えば、画像認識部１２０、結果統合部１３０、サービス実行部１４０、及び応答生成部１５０は、情報処理サーバ３０や他の装置の機能として実現されてもよい。また、上記では、情報処理端末１０がユーザ情報ＤＢ４００ａを備える場合を例に説明したが、ユーザ情報ＤＢ４００ａは情報処理端末１０の外部に備えられてもよいし、後述するユーザ情報ＤＢ４００ｂと統合されて備えられてもよい。本実施形態に係る情報処理端末１０の機能構成は、柔軟に変更され得る。
　［１．４．情報処理サーバ３０の機能構成例］
　次に、本実施形態に係る情報処理サーバ３０の機能構成例について詳細に説明する。図４は、本実施形態に係る情報処理サーバ３０の機能ブロック図である。図４を参照すると、本実施形態に係る情報処理サーバ３０は、音声認識部３１０、解析部３２０、端末通信部３３０、及びユーザ情報ＤＢ４００ｂを備える。また、本実施形態に係る解析部３２０は、意図解釈部３２２及び曖昧性解消部３２４を含む。
　以降、上記に示す各構成について当該構成が有する特徴を中心に詳細に説明する。なお、図４に示す機能構成はあくまで例示であり、図４に示される機能の一部は、例えば、情報処理端末１０の機能として実現されてもよい。本実施形態に係る情報処理サーバ３０の機能構成は、装置の特性や運用条件などにより適宜変更され得る。
　（音声認識部３１０）
　音声認識部３１０は、情報処理端末１０の音声取得部１１２が収集した発話情報に基づいて音声認識を行う機能を有する。具体的には、音声認識部３１０は、上記の発話情報に含まれる音声信号を文字列情報に変換してよい。また、音声認識部３１０は、ユーザ情報ＤＢ４００ｂが保有するユーザごとの音響的特徴に基づいて、発話ユーザの識別を行う機能を有する。この際、音声認識部３１０は、例えば、パターンマッチングや隠れマルコフモデルなどを用いて音声認識を行うことが可能である。
　（解析部３２０）
　解析部３２０は、情報処理端末１０の結果統合部１３０が統合する認識情報に基づいて、サービス実行部１４０により実行される処理内容を標準化する機能を有する。すなわち、本実施形態に係る解析部３２０は、ユーザ間の発話特性に係る差異を吸収し、ユーザの発話特性に依存しない処理内容を生成することができる。このため、本実施形態に係る解析部３２０は、意図解釈部３２２及び曖昧性解消部３２４を含む。
　（（意図解釈部３２２））
　意図解釈部３２２は、上記の認識情報に含まれる音声認識結果に基づいて発話ユーザの発話意図を抽出する機能を有する。例えば、ユーザが、「今日の午後一時に、Ｍａｒｙ’ｓの予定を登録」（発話例１）と発話した場合、意図解釈部３２２は、スケジュールサービスへの予定登録を発話ユーザの発話意図として抽出することができる。また、この際、意図解釈部３２２は、音声認識結果に基づいて発話パラメータを抽出する機能を有する。上記の発話例１の場合、意図解釈部３２２は、「日時：今日午後１時」及び「場所：Ｍａｒｙ’ｓ」を発話パラメータとして抽出してよい。この際、意図解釈部３２２は、自然言語処理の分野で広く用いられる方法を適用して上記の処理を行ってもよい。
　（（曖昧性解消部３２４））
　曖昧性解消部３２４は、認識情報に含まれる発話ユーザの認識結果と、ユーザ情報ＤＢ４００ｂに記憶される当該発話ユーザの発話特性とに基づいて、上記の発話パラメータを標準化した処理内容を生成する機能を有する。すなわち、本実施形態に係る曖昧性解消部３２４は、発話ユーザの発話特性に依存する発話パラメータの曖昧性を解消する機能を有する。
　図５は、ユーザ情報ＤＢ４００ｂが保有するユーザの発話傾向に関するテーブル例を示す図である。ここで、図５に示すテーブルは、ユーザが使用する呼称の傾向に関する情報を示す一例である。図５を参照すると、同テーブルには、対象に係る正式名称と当該対象に対してユーザが使用する呼称とが対応付けられて記憶されている。例えば、上記の発話例１の場合、曖昧性解消部３２４は、意図解釈部３２２が抽出した発話パラメータ「場所：Ｍａｒｙ’ｓ」と、発話ユーザの認識結果（ｕｓｅｒ１）と、に基づいてユーザ情報ＤＢ４００ｂを検索してよい。曖昧性解消部３２４は、上記の処理により発話パラメータ「Ｍａｒｙ’ｓ」の正式名称「Ｍａｒｙ’ｓ　Ｓａｌｏｎ」を取得し、当該発話パラメータを置換することが可能である。このように、本実施形態に係る曖昧性解消部３２４は、ユーザ間の発話特性に係る差異を吸収し、ユーザの発話特性に依存しない標準化された処理内容を生成することが可能である。
　また、曖昧性解消部３２４は、予め記憶される情報に基づいて発話パラメータの曖昧性を解消してもよい。例えば、上記の発話例１の場合、曖昧性解消部３２４は、意図解釈部３２２が抽出した発話パラメータ「日時：今日午後１時」を、サービスが用いるデータ型の仕様に基づいて、「日時：４／２０／２０１６　１３：００」に変換してもよい。このように、本実施形態に係る曖昧性解消部３２４は、意図解釈部３２２が抽出した発話パラメータに係る曖昧性を解消し、サービスの実行に適した標準化された処理内容を生成することが可能である。
　また、曖昧性解消部３２４は、意図解釈部３２２が抽出した発話パラメータと発話ユーザの認識結果とに基づいて、当該発話ユーザの発話傾向を記憶させる機能を有する。具他的には、曖昧性解消部３２４は、意図解釈部３２２が抽出した発話パラメータと発話ユーザのＩＤとを対応付けて、ユーザ情報ＤＢ４００ｂに記憶させてもよい。なお、上述したとおり、上記の発話傾向には、呼称、単語、語順、または発音などが含まれてよい。曖昧性解消部３２４が有する上記の機能によれば、ユーザの発話傾向を動的に収集し、最新の状態に保つことが可能となる。
　（端末通信部３３０）
　端末通信部３３０は、ネットワーク２０を介して、情報処理端末１０との通信を行う機能を有する。例えば、端末通信部３３０は、収集された発話情報を受信し、音声認識部３１０による音声認識結果を情報処理端末１０に送信してもよい。また、端末通信部３３０は、結果統合部１３０が統合した認識情報を受信し、当該認識情報に基づいて標準化された処理内容を情報処理端末１０に送信してもよい。
　（ユーザ情報ＤＢ４００ｂ）
　ユーザ情報ＤＢ４００ｂは、ユーザに関する種々の情報を保有するデータベースであってよい。ユーザ情報ＤＢ４００ｂが保有するユーザ情報は、ユーザ情報ＤＢ４００ａが保有するユーザ情報と同一であってよいため、詳細な説明は省略する。また、上述したとおり、ユーザ情報ＤＢ４００ｂが保有するユーザ情報は、ユーザ情報ＤＢ４００ａが保有するユーザ情報と同期制御が行われてよい。例えば、ユーザ情報ＤＢ４００ｂに新たなユーザの発話傾向が登録された場合、当該発話傾向に係る情報は、ユーザ情報ＤＢ４００ａにコピーされてよい。
　以上、本実施形態に係る情報処理サーバ３０の機能構成例について詳細に説明した。上述したとおり、本実施形態に係る情報処理サーバ３０は、認識情報とユーザの発話特性とに基づいて、サービス実行に係る処理内容を標準化することができる。また、本実施形態に係る情報処理サーバ３０は、抽出した発話パラメータを発話ユーザの発話傾向として記憶することができる。本実施形態に係る情報処理サーバ３０が備える上記の機能によれば、ユーザ間の発話特性に係る差異を吸収し、より安定したサービス実行を実現することが可能となる。
　［１．５．発話傾向に応じた応答情報の出力］
　次に、本実施形態に係る発話傾向に応じた応答情報の出力について詳細に説明する。上述したとおり、本実施形態に係る情報処理端末１０は、ユーザの発話傾向に応じた応答情報を生成し、当該応答情報を出力することが可能である。以降、本実施形態に係る情報処理端末１０が有する上記の機能について、具体例を挙げながら詳細に説明する。
　（呼称の傾向に応じた応答情報の出力）
　まず、本実施形態に係る呼称の傾向に応じた応答情報の出力について詳細に説明する。図１を用いて説明したように、本実施形態に係る情報処理端末１０は、認識した発話ユーザの使用する呼称の傾向に応じた応答情報を出力することができる。なお、図１を用いた説明では、発話ユーザが当該発話ユーザに関するスケジュール情報を参照する場合を例に述べた。一方、本実施形態に係る情報処理端末１０は、発話ユーザが別のユーザのスケジュール情報を参照する場合においても、当該発話ユーザの呼称の傾向に応じた応答情報を出力してよい。
　図６は、発話ユーザが別のユーザに係るスケジュール情報を参照する場合の応答情報の出力例を示す概念図である。ここで、図６が示す一例は、ユーザＵ２が妻（ｕｓｅｒ１）のスケジュール情報を参照する場合を示している。この際、情報処理端末１０は、ユーザＵ２の発話Ｓ２、及び取得したユーザＵ２の画像情報に基づく認識情報を情報処理サーバ３０に送信する。ここで、情報処理サーバ３０の解析部３２０は、発話Ｓ２から発話意図及び発話パラメータを抽出し、処理内容の標準化を行う。具体的には、曖昧性解消部３２４は、ユーザＳ２の認識結果と発話傾向とに基づいて、発話パラメータ“ｍｙ　ｗｉｆｅ”を“ｕｓｅｒ１”に変換することができる。また、曖昧性解消部３２４は、発話パラメータ“ｔｏｄａｙ”をサービス仕様に基づいて変換してよい。
　次に、情報処理端末１０のサービス実行部１４０は、情報処理サーバ３０により標準化された処理内容に基づいてサービスＳＶ２からｕｓｅｒ１のスケジュール情報を取得する。この際、取得されるスケジュール情報には、場所情報として正式名称である“Ｍａｒｙ’ｓ　ｓａｌｏｎ”が用いられている。
　続いて、情報処理端末１０の応答生成部１５０は、上記の取得結果とユーザＵ２の発話傾向とに基づいた応答情報を生成する。この際、情報処理端末１０は、“Ｍａｒｙ’ｓ　ｓａｌｏｎ”に対しユーザＵ２が使用する呼称の傾向をユーザ情報ＤＢ４００ａから検索し、当該検索の結果に応じた応答情報を生成してよい。ここで、図５のテーブル例を再度参照すると、ユーザ情報ＤＢ４００ａには、“Ｍａｒｙ’ｓ　ｓａｌｏｎ”に対しユーザＵ２（ｕｓｅｒ２）が使用する呼称が記憶されていないことがわかる。一方、この際、応答生成部１５０が、ｕｓｅｒ１が使用する呼称である“Ｍａｒｙ’ｓ”を用いて応答情報を生成した場合、ユーザＵ２（ｕｓｅｒ２）にとっては、応答情報の内容が正確に理解できない恐れが生じる。このため、応答生成部１５０は、正式名称である“Ｍａｒｙ’ｓ　ｓａｌｏｎ”をそのまま用いた応答情報Ｒ２を生成し、音声出力部１６２が応答情報Ｒ２を出力している。なお、この際、応答生成部１５０は、選択した正式名称や呼称に応じて前置詞などを変更することも可能である。応答生成部１５０による応答情報の生成は、使用される言語の特性に応じて適宜変更され得る。
　このように、本実施形態に係る情報処理端末１０は、認識した発話ユーザが使用する呼称の傾向に応じた応答情報を出力することが可能である。本実施形態に係る情報処理端末１０が有する上記の機能によれば、スケジュール情報の取得結果など、同一の処理結果に対しても、発話ユーザに応じた柔軟な応答情報を出力することが可能となる。
　次に、図７を参照して、本実施形態に係る呼称の傾向に応じた応答情報生成の別の例を説明する。図７に示す一例は、発話ユーザであるユーザＵ１に加え、別のユーザであるユーザＵ２が情報処理端末１０の周囲に存在する場合を示している。上述したとおり、本実施形態に係る情報処理端末１０の画像認識部１２０は、撮像部１１４が取得した画像情報に基づいてユーザＵ２を識別することが可能である。
　図７に示す一例において、ユーザＵ１は、周辺におけるイベント情報の問い合わせに係る発話Ｓ３“Ａｒｅ　ｔｈｅｒｅ　ａｎｙ　ｅｖｅｎｔｓ　ｎｅａｒｂｙ？”を行っている。この際、情報処理端末１０は、取得部１１０が取得したＧＰＳ情報を認識情報に含めて情報処理サーバ３０に送信することができる。この場合、情報処理サーバ３０は、抽出した発話パラメータ“ｎｅａｒｂｙ”を座標情報に変換し、処理内容の標準化を行うことができる。
　次に、情報処理端末１０のサービス実行部１４０は、標準化された処理内容に基づいてサービスＳＶ３からイベント情報を取得する。この際、取得されるイベント情報には、場所情報として正式名称である“ＡＢＣ　Ｏｕｔｌｅｔ　Ｍａｌｌ”が用いられている。
　続いて、情報処理端末１０の応答生成部１５０は、上記の取得結果とユーザＵ１及びＵ２の発話傾向とに基づいた応答情報を生成する。この際、情報処理端末１０は、“ＡＢＣ　Ｏｕｔｌｅｔ　Ｍａｌｌ”に対しユーザＵ１及びＵ２が使用する呼称の傾向をユーザ情報ＤＢ４００ａから検索し、当該検索の結果に応じた応答情報を生成してよい。ここで、図５のテーブル例を再度参照すると、“ＡＢＣ　Ｏｕｔｌｅｔ　Ｍａｌｌ”に対しユーザＵ１（ｕｓｅｒ１）が“Ｏｕｔｌｅｔ”または“ＡＢＣ”という呼称を使用していることがわかる。また、“ＡＢＣ　Ｏｕｔｌｅｔ　Ｍａｌｌ”に対しユーザＵ２（ｕｓｅｒ２）が“Ｍａｌｌ”または“ＡＢＣ”という呼称を使用していることがわかる。この場合、応答生成部１５０は、ユーザＵ１及びＵ２に共通する呼称である“ＡＢＣ”を用いて応答情報Ｒ３を生成してもよい。
　このように、本実施形態に係る情報処理端末１０は、認識した発話ユーザ及び当該発話ユーザとは異なる別のユーザが使用する呼称の傾向に応じた応答情報を出力することが可能である。本実施形態に係る情報処理端末１０が有する上記の機能によれば、複数のユーザ間における発話特性の差異を吸収し、より汎用的な応答情報を出力することが可能となる。
　なお、上記の説明では、２名のユーザ間で共通する呼称を用いて応答情報を生成する場合を例に述べたが、応答生成部１５０は、複数ユーザを認識した場合には、正式名称を用いて応答情報の生成を行うこともできる。また、応答生成部１５０は、３名以上のユーザを認識した場合、より使用する人数の多い呼称を用いて応答情報を生成してもよい。また、応答生成部１５０は、認識したユーザが使用する呼称からランダムに選択して応答情報を生成することも可能である。本実施形態に係る呼称の傾向に応じた応答情報の生成は、柔軟に変更され得る。
　以上、図６及び図７を用いて、情報処理端末１０が、異なるユーザ間における呼称の傾向に関する差異を吸収した応答情報を出力する場合を説明した。一方、本実施形態に係る情報処理端末１０は、図１に示したように、ユーザが１名である場合であっても、同様の効果を奏する。
　ここでは、サービス実行部１４０が音楽再生サービスに係る処理を実行する例について述べる。この際、発話ユーザが、ミュージシャンＡに係る略称（以下、略称Ａ、と呼ぶ）を用いて、「略称Ａの曲をかけて」と発話した場合、曖昧性解消部３２４は、一般知識を参照し、略称Ａを正式名称であるミュージシャンＡに変換する。ここで、上記の一般知識は、情報処理サーバ３０に記憶される情報であってもよいし、例えば、インターネット上に公開される情報であってもよい。また、この際、曖昧性解消部３２４は、発話ユーザが、ミュージシャンＡに対し略称Ａを用いたことをユーザ情報ＤＢ４００ｂに記憶させる。
　この場合、情報処理端末１０は、ミュージシャンＡに係る音楽を再生するとともに、「略称Ａの曲を再生します」という応答情報を出力することができる。また、以降にユーザがミュージシャンＡに関する発話を行った場合、情報処理端末１０は、上記で記憶された呼称の傾向に応じた応答情報を出力してよい。例えば、ユーザが流れているミュージシャンＡの曲に対し、「この曲、だれの？」という発話を行った場合、応答生成部１５０は、ユーザ情報ＤＢ４００ｂに記憶される当該ユーザの呼称の傾向を参照し、「略称Ａの曲です」と答えることが可能である。
　（単語の傾向に応じた応答情報の出力）
　次に、本実施形態に係る単語の傾向に応じた応答情報の出力について詳細に説明する。本実施形態に係る情報処理端末１０は、認識した発話ユーザの使用する単語の傾向に応じた応答情報を出力することができる。図８は、発話ユーザの使用する単語の傾向に応じた応答情報の出力例を示す概念図である。なお、以降の説明では、呼称の傾向に応じた応答情報の出力との差異について中心に説明し、共通する情報処理端末１０及び情報処理サーバ３０の機能については説明を省略する。
　図８に示す一例において、ユーザＵ１は、スケジュール情報の削除に係る発話Ｓ４“Ｃａｎｃｅｌ　ａｌｌ　ｍｙ　Ｍｅｅｔｉｎｇｓ　ｔｏｄａｙ”を行っている。この場合、情報処理サーバ３０の意図解釈部３２２は、発話Ｓ４の発話意図がスケジュール情報の削除であることを抽出し、また、発話パラメータ“Ｃａｎｃｅｌ”を抽出する。また、この際、曖昧性解消部３２４は、抽出された発話意図と発話パラメータ“Ｃａｎｃｅｌ”とを対応付けてユーザ情報ＤＢ４００ｂに記憶させてよい。
　次に、情報処理端末１０のサービス実行部１４０は、情報処理サーバ３０により標準化された処理内容に基づいて、スケジュールの削除に係る処理を実行する。続いて、応答生成部１５０は、記憶されたユーザＵ１の発話傾向に基づいて応答情報を生成する。この際、応答生成部１５０は、上記で記憶された“Ｃａｎｃｅｌ”という単語を用いて応答情報Ｒ４ａを生成してよい。一方、この際、応答生成部１５０がユーザＵ１が使用していない類義語（Ｄｅｌｅｔｅ，Ｅｌｉｍｉｎａｔｅ，Ｒｅｍｏｖｅなど）を用いて応答情報Ｒ４ｂを生成した場合、ユーザＵ１にとっては、違和感のある応答となる可能性がある。
　このように、本実施形態に係る情報処理端末１０は、発話ユーザが使用する単語の傾向に応じた応答情報を出力することで、当該発話ユーザにとってより自然に感じられる応答を実現することが可能である。なお、上記の説明では、スケジュールの削除に係る例を示したが、スケジュールの変更（Ｅｄｉｔ，Ｃｏｒｒｅｃｔ，Ｃｈａｎｇｅ）や登録（Ａｄｄ，ｃｈａｎｇｅ）についても、同様の処理が行われてよい。
　また、上記では、類義語に関する例を示したが、本実施形態に係る情報処理端末１０は、同義語についても同様に、ユーザが使用した単語を用いて応答情報を生成することができる。例えば、ユーザが単語“Ｍｏｖｉｅ”を使用した場合、応答生成部１５０は、同義語“Ｆｉｌｍ”を用いずに、ユーザが使用した“Ｍｏｖｉｅ”を用いて応答情報の生成を行ってよい。また、本実施形態に係る単語の傾向には、動詞や動名詞に係る使用傾向が含まれてもよい。応答生成部１５０は、例えば、ユーザが動名詞を用いた発話を行った場合、動詞を用いずに動名詞を用いて応答情報の生成を行うことも可能である。本実施形態に係る単語の傾向に応じた応答情報の生成は、用いられる言語の特性に応じて適宜変形され得る。
　（語順の傾向に応じた応答情報の出力）
　次に、本実施形態に係る語順の傾向に応じた応答情報の出力について詳細に説明する。本実施形態に係る情報処理端末１０は、認識した発話ユーザの使用する語順の傾向に応じた応答情報を出力することができる。図９は、発話ユーザの使用する語順の傾向に応じた応答情報の出力例を示す概念図である。なお、以降の説明では、呼称及び単語の傾向に応じた応答情報の出力との差異について中心に説明し、共通する情報処理端末１０及び情報処理サーバ３０の機能については説明を省略する。
　図９に示す一例において、ユーザＵ１は、招待状の送信に係る発話Ｓ５“Ｓｅｎｄ　ａｎ　ｉｎｖｉｔａｔｉｏｎ　ｔｏ　Ｐｅｔｅｒ”を行っている。この場合、情報処理サーバ３０の意図解釈部３２２は、発話Ｓ５の発話意図が招待状の送信であることを抽出し、また、発話パラメータ“ｉｎｖｉｔａｔｉｏｎ”、“Ｐｅｔｅｒ（対象）”、及び当該発話パラメータの語順を抽出する。また、この際、曖昧性解消部３２４は、抽出された発話意図と発話パラメータの語順とを対応付けてユーザ情報ＤＢ４００ｂに記憶させてよい。
　次に、情報処理端末１０のサービス実行部１４０は、情報処理サーバ３０により標準化された処理内容に基づいて、招待状の送信に係る処理を実行する。続いて、応答生成部１５０は、記憶されたユーザＵ１の発話傾向に基づいて応答情報を生成する。この際、応答生成部１５０は、上記で記憶された発話パラメータの語順を用いて応答情報Ｒ５ａを生成してよい。一方、この際、応答生成部１５０がユーザＵ１が使用していない語順を用いて応答情報Ｒ５ｂを生成した場合、ユーザＵ１にとっては、違和感のある応答となる可能性がある。
　以上説明したように、本実施形態に係る応答生成部１５０は、ユーザの使用する言語の傾向に応じた応答情報を生成することが可能である。なお、上記の説明では、目的語の語順に係る例を用いて説明したが、本実施形態に係る語順には、例えば、場所及び日時に係る語順が含まれてよい。図１０は、場所及び日時に係る語順に応じた応答情報の生成について説明するための概念図である。図１０には、発話意図“Ｗｅａｔｈｅｒ　ｆｏｒｅｃａｓｔ”に関しユーザが使用した語順、及び生成される応答情報が対応付けて示されている。
　例えば、図１０の１行目には、“Ｗｈａｔ’ｓ　ｔｈｅ　ｗｅａｔｈｅｒ　ｔｏｄａｙ　ｉｎ　Ｔｏｋｙｏ”など、ユーザが、＜時間＞＜場所＞の語順を用いた場合に適用される語順テンプレートが示されている。この際、応答生成部１５０は、ユーザが用いた語順に基づいて、ユーザ情報ＤＢ４００ａを検索し、検索されたテンプレートを用いて、例えば、“Ｉｔ’ｓ　ｓｕｎｎｙ　ｔｏｄａｙ　ｉｎ　Ｔｏｋｙｏ”という応答情報を生成することができる。
　また、図１０の３行目及び４行目には、ユーザが語彙を省略した場合の語順テンプレートが示されている。例えば、“Ｗｈａｔ’ｓ　ｔｈｅ　ｗｅａｔｈｅｒ　ｔｏｄａｙ”など、ユーザが＜場所＞を省略して発話した場合、応答生成部１５０は、該当する語順テンプレートを抽出し、ユーザと同様に＜場所＞を省略した応答情報を生成してもよい。あるいは、応答生成部１５０は、図１０に示されるように、ユーザが省略した情報を補完して応答情報を生成することもできる。この場合、応答生成部１５０は、ユーザが予め設定した＜場所＞や、認識情報に含まれるＧＰＳ情報に基づいて＜場所＞を補完した応答情報を生成してもよい。また、この際、情報処理端末１０は、表示部１６４に＜場所＞を補完した応答情報を出力させながら、音声出力部１６２には、＜場所＞を省略した簡潔な応答情報を出力させてもよい。
　このように、本実施形態に係る情報処理端末１０は、発話ユーザが使用する語順の傾向に応じた応答情報を出力することで、当該発話ユーザにとってより自然に感じられる応答を実現することが可能である。なお、上記では、目的語に係る語順、及び場所や時間に係る語順を例に説明したが、本実施形態に係る語順の傾向に応じた応答情報の生成は、用いられる言語の特性に応じて適宜変更され得る。
　（単語の傾向に応じた応答情報の出力）
　次に、本実施形態に係る発音の傾向に応じた応答情報の出力について詳細に説明する。本実施形態に係る情報処理端末１０は、認識した発話ユーザの使用する発音の傾向に応じた応答情報を出力することができる。図１１は、発話ユーザの使用する発音の傾向に応じた応答情報の出力例を示す概念図である。なお、以降の説明では、呼称、単語、及び語順の傾向に応じた応答情報の出力との差異について中心に説明し、共通する情報処理端末１０及び情報処理サーバ３０の機能については説明を省略する。
　図１１に示す一例において、ユーザＵ１は、スケジュール情報の削除に係る発話Ｓ６“Ｃａｎｃｅｌ　ｍｙ　ｗｅｅｋｅｎｄ　ｓｃｈｅｄｕｌｅ”を行っている。この場合、情報処理サーバ３０の意図解釈部３２２は、発話Ｓ４の発話意図がスケジュール情報の削除であることを抽出し、また、発話パラメータ“Ｓｃｈｅｄｕｌｅ”及び当該発話パラメータに係るユーザの発音を抽出する。また、この際、曖昧性解消部３２４は、抽出された発話パラメータ“Ｓｃｈｅｄｕｌｅ”と上記のユーザの発音とを対応付けてユーザ情報ＤＢ４００ｂに記憶させてよい。
　次に、情報処理端末１０のサービス実行部１４０は、情報処理サーバ３０により標準化された処理内容に基づいて、スケジュールの削除に係る処理を実行する。続いて、応答生成部１５０は、記憶されたユーザＵ１の発話傾向に基づいて応答情報を生成する。この際、応答生成部１５０は、上記で記憶された“Ｓｃｈｅｄｕｌｅ”に関連付いた発音を用いて応答情報Ｒ６ａを生成してよい。一方、この際、応答生成部１５０がユーザＵ１が使用していない発音を用いて応答情報Ｒ６ｂを生成した場合、ユーザＵ１にとっては、違和感のある応答となる可能性がある。
　このように、本実施形態に係る情報処理端末１０は、発話ユーザが使用する発音の傾向に応じた応答情報を出力することで、当該発話ユーザにとってより自然に感じられる応答を実現することが可能である。なお、上記の説明では、“Ｓｃｈｅｄｕｌｅ”に関する発音を例に説明したが、本実施形態に係る応答生成部１５０は、例えば、ｒｈｏｔｉｃに対応する応答情報の生成を行うことも可能である。また、応答生成部１５０は、ユーザの使用する発音の傾向が記憶されていない場合、ユーザの発話特性に含まれるユーザの出身地などを参照して、応答情報の生成を行ってもよい。本実施形態に係る情報処理端末１０が有する上記の機能によれば、地域や個人による発音の傾向に応じた応答情報の出力をより柔軟に実現することが可能となる。
　［１．６．動作の流れ］
　次に、本実施形態に係る情報処理端末１０及び情報処理サーバ３０による動作の流れについて説明する。図１２～図１４は、本実施形態に係る情報処理端末１０及び情報処理サーバ３０の動作に係るシーケンス図である。
　図１２を参照すると、まず、情報処理端末１０の音声取得部１１２は、発話ユーザの発話情報を取得する（Ｓ１１０１）。続いて、サーバ通信部１７０は、情報処理サーバ３０にステップＳ１１０１で取得した発話情報を送信する（Ｓ１１０２）。
　次に、情報処理サーバ３０の音声認識部３１０は、受信した発話情報に基づいて、音声認識及び発話ユーザの識別を行う（Ｓ１１０３）。続いて、端末通信部３３０は、ステップＳ１１０３で認識した音声認識結果と発話ユーザの認識結果とを情報処理端末１０に送信する（Ｓ１１０４）。
　また、情報処理端末１０の撮像部１１４は、情報処理端末１０の周囲に存在するユーザの画像情報を取得する（Ｓ１１０５）。続いて、画像認識部１２０は、ステップＳ１１０５において取得された画像情報に基づいてユーザの識別を行う（Ｓ１１０６）。なお、ステップＳ１１０５及びＳ１１０６に係る処理は、ステップＳ１１０１～Ｓ１１０４に係る処理と同時に行われてもよい。
　続いて、情報処理端末１０の結果統合部１３０は、ステップＳ１１０４及びＳ１１０６において取得された認識結果を統合し、認識情報を生成する（Ｓ１１０７）。この際、上記の認識情報には、音声認識結果、発話ユーザの認識結果、及び当該発話ユーザとは異なる別のユーザの認識結果が含まれてよい。サーバ通信部１７０は、ステップＳ１１０７で生成された認識情報を情報処理サーバ３０に送信する（Ｓ１１０８）。
　続いて、図１３を参照して、引き続き、本実施形態に係る情報処理端末１０及び情報処理サーバ３０の動作の流れについて説明する。
　図１２におけるステップＳ１１０８の処理が完了すると、情報処理サーバ３０の意図解釈部３２２は、受信した認識情報に含まれる音声認識結果に基づいて発話意図及び発話パラメータの抽出を行う（Ｓ１２０１）。続いて、曖昧性解消部３２４は、認識情報に含まれる発話ユーザの認識結果と、ステップＳ１２０１において抽出された発話意図及び発話パラメータに基づいてユーザ情報ＤＢ４００ｂを検索し、処理内容の標準化を行う（Ｓ１２０２）。
　続いて、曖昧性解消部３２４は、発話ユーザの認識結果と、ステップＳ１２０１において抽出された発話パラメータと、に基づいて発話ユーザの発話傾向をユーザＤＢ４００ｂに記憶させてよい（Ｓ１２０３）。また、この際、ユーザ情報ＤＢ４００ｂは新たに登録されたユーザの発話傾向に係る情報をユーザ情報ＤＢ４００ａにコピーすることができる（Ｓ１２０４）。
　次に、情報処理サーバ３０の端末通信部３３０は、ステップＳ１２０２において標準化された処理内容を情報処理端末１０に送信する（Ｓ１２０５）。
　続いて、図１４を参照して、引き続き、本実施形態に係る情報処理端末１０及び情報処理サーバ３０の動作の流れについて説明する。
　図１３におけるステップＳ１２０５の処理が完了すると、情報処理端末１０のサービス実行部１４０は、受信した処理内容に基づいたサービスの実行を行う（Ｓ１３０１）。
　次に、情報処理端末１０の応答生成部１５０は、ステップＳ１１０７において生成された認識情報に基づいて、ユーザ認識結果の判定を行う（Ｓ１３０２）。この際、応答生成部１５０は、発話ユーザとは異なる別のユーザが認識されているか否か、を判定してよい。
　続いて、応答生成部１５０は、ステップＳ１３０２における判定結果に基づいて、ユーザ情報ＤＢ４００ａからユーザの発話傾向を取得する（Ｓ１３０３）。この際、ステップＳ１３０２において、別のユーザが認識されていると判定された場合、応答生成部１５０は、発話ユーザの発話傾向に加え、上記の別のユーザの発話傾向を取得してよい。
　続いて、応答生成部１５０は、ステップＳ１３０３において取得された発話傾向に基づいて、応答情報の生成を行う（Ｓ１３０４）。次に、情報処理端末１０の音声出力部１６２及び表示部１６４は、ステップＳ１３０４において生成された応答情報に基づいて、応答情報の出力を行い（ステップＳ１３０５）、処理を終了する。
　＜２．ハードウェア構成例＞
　次に、本開示に係る情報処理端末１０及び情報処理サーバ３０に共通するハードウェア構成例について説明する。図１５は、本開示に係る情報処理端末１０及び情報処理サーバ３０のハードウェア構成例を示すブロック図である。図１５を参照すると、情報処理端末１０及び情報処理サーバ３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
　（出力装置８７９）
　出力装置８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本開示に係る情報処理端末１０は、サービス実行結果とユーザの発話特性とに応じた応答情報を出力することができる。より具体的には、情報処理端末１０は、ユーザの発話傾向に応じた応答情報を出力することができる。また、本開示に係る情報処理サーバ３０は、認識情報とユーザの発話特性とに基づいて、サービス実行に係る処理内容を標準化することができる。また、本開示に係る情報処理サーバ３０は、抽出した発話パラメータを発話ユーザの発話傾向として記憶することができる。係る構成によれば、ユーザの発話に応じたより自然な応答を行うことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　発話情報を収集する取得部と、
　前記発話情報に基づく認識情報を送信する送信部と、
　前記認識情報に基づき解析部により標準化された処理内容を受信する受信部と、
　前記処理内容に基づく処理結果とユーザの発話特性とに応じた応答情報を出力する出力部と、
　を備える、
情報処理装置。
（２）
　前記認識情報は、前記発話情報に基づく音声認識結果、及び発話ユーザの認識結果を含む、
前記（１）に記載の情報処理装置。
（３）
　前記発話特性は、ユーザの発話傾向を含み、
　前記出力部は、前記発話ユーザの前記発話傾向に応じた応答情報を出力する、
前記（２）に記載の情報処理装置。
（４）
　前記発話傾向は、ユーザが使用する呼称の傾向を含み、
　前記出力部は、前記呼称の傾向に応じた応答情報を出力する、
前記（３）に記載の情報処理装置。
（５）
　前記発話特性は、ユーザが使用する単語の傾向を含み、
　前記出力部は、前記単語の傾向に応じた応答情報を出力する、
前記（３）または（４）に記載の情報処理装置。
（６）
　前記発話特性は、ユーザが使用する語順の傾向を含み、
　前記出力部は、前記語順の傾向に応じた応答情報を出力する、
前記（３）～（５）のいずれかに記載の情報処理装置。
（７）
　前記発話特性は、ユーザの発音傾向を含み、
　前記出力部は、前記発音傾向に応じた応答情報を出力する、
前記（３）～（６）のいずれかに記載の情報処理装置。
（８）
　前記取得部は、ユーザの画像情報をさらに収集し、
　前記送信部は、前記発話情報と前記画像情報とに基づく認識情報を前記解析部に送信し、
　前記認識情報は、前記発話ユーザとは異なる別のユーザの認識結果をさらに含む、
　
前記（２）～（７）のいずれかに記載の情報処理装置。
（９）
　前記出力部は、前記発話ユーザの発話特性と前記別のユーザの発話特性とに応じた応答情報を出力する、
前記（８）に記載の情報処理装置。
（１０）
　前記出力部は、前記発話ユーザと前記別のユーザとに共通する発話特性を用いた応答情報を出力する、
前記（９）に記載の情報処理装置。
（１１）
　前記処理内容に基づく処理結果とユーザの発話特性とに応じた応答情報を生成する応答生成部、
　をさらに備える、
前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）
　処理内容に基づいた処理を実行するサービス実行部、
　をさらに備える、
前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）サーバ
　収集された発話情報に基づく認識情報を受信する受信部と、
　前記認識情報に基づいて処理内容の標準化を行う解析部と、
　前記処理内容を送信する送信部と、
　を備える、
情報処理装置。
（１４）
　前記解析部は、意図解釈部及び曖昧性解消部を含み、
　前記意図解釈部は、前記認識情報に含まれる音声認識結果に基づいて発話ユーザの発話意図及び発話パラメータを抽出し、
　前記曖昧性解消部は、前記認識情報に含まれる前記発話ユーザの認識結果と、記憶される前記発話ユーザの発話特性と、に基づいて前記発話パラメータを標準化した前記処理内容を生成する、
前記（１３）に記載の情報処理装置。
（１５）
　前記曖昧性解消部は、前記意図解釈部が抽出した発話パラメータと前記発話ユーザの認識結果とに基づいて、前記発話ユーザの発話傾向を記憶させる、
前記（１４）に記載の情報処理装置。
（１６）
　前記発話傾向は、呼称、単語、語順、または発音のうち少なくともいずれかを含む、
前記（１５）に記載の情報処理装置。
（１７）
　前記発話情報に基づいて音声認識及び前記発話ユーザの認識を行う音声認識部、
　をさらに備える、
前記（１４）～（１６）のいずれかに記載の情報処理装置。
　１０　　　情報処理端末
　１１０　　取得部
　１１２　　音声取得部
　１１４　　撮像部
　１２０　　画像認識部
　１３０　　結果統合部
　１４０　　サービス実行部
　１５０　　応答生成部
　１６０　　出力部
　１６２　　音声出力部
　１６４　　表示部
　１７０　　サーバ通信部
　２０　　　ネットワーク
　３０　　　情報処理サーバ
　３１０　　音声認識部
　３２０　　解析部
　３２２　　意図解釈部
　３２４　　曖昧性解消部
　３３０　　端末通信部
４００ａ、４００ｂ　ユーザ情報ＤＢ
 

Claims (17)

  1. 　発話情報を収集する取得部と、
    　前記発話情報に基づく認識情報を送信する送信部と、
    　前記認識情報に基づき解析部により標準化された処理内容を受信する受信部と、
    　前記処理内容に基づく処理結果とユーザの発話特性とに応じた応答情報を出力する出力部と、
    　を備える、
    情報処理装置。
  2. 　前記認識情報は、前記発話情報に基づく音声認識結果、及び発話ユーザの認識結果を含む、
    請求項１に記載の情報処理装置。
  3. 　前記発話特性は、ユーザの発話傾向を含み、
    　前記出力部は、前記発話ユーザの前記発話傾向に応じた応答情報を出力する、
    請求項２に記載の情報処理装置。
  4. 　前記発話傾向は、ユーザが使用する呼称の傾向を含み、
    　前記出力部は、前記呼称の傾向に応じた応答情報を出力する、
    請求項３に記載の情報処理装置。
  5. 　前記発話特性は、ユーザが使用する単語の傾向を含み、
    　前記出力部は、前記単語の傾向に応じた応答情報を出力する、
    請求項３に記載の情報処理装置。
  6. 　前記発話特性は、ユーザが使用する語順の傾向を含み、
    　前記出力部は、前記語順の傾向に応じた応答情報を出力する、
    請求項３に記載の情報処理装置。
  7. 　前記発話特性は、ユーザの発音傾向を含み、
    　前記出力部は、前記発音傾向に応じた応答情報を出力する、
    請求項３に記載の情報処理装置。
  8. 　前記取得部は、ユーザの画像情報をさらに収集し、
    　前記送信部は、前記発話情報と前記画像情報とに基づく認識情報を前記解析部に送信し、
    　前記認識情報は、前記発話ユーザとは異なる別のユーザの認識結果をさらに含む、
    　
    請求項２に記載の情報処理装置。
  9. 　前記出力部は、前記発話ユーザの発話特性と前記別のユーザの発話特性とに応じた応答情報を出力する、
    請求項８に記載の情報処理装置。
  10. 　前記出力部は、前記発話ユーザと前記別のユーザとに共通する発話特性を用いた応答情報を出力する、
    請求項９に記載の情報処理装置。
  11. 　前記処理内容に基づく処理結果とユーザの発話特性とに応じた応答情報を生成する応答生成部、
    　をさらに備える、
    請求項１に記載の情報処理装置。
  12. 　処理内容に基づいた処理を実行するサービス実行部、
    　をさらに備える、
    請求項１に記載の情報処理装置。
  13. 　収集された発話情報に基づく認識情報を受信する受信部と、
    　前記認識情報に基づいて処理内容の標準化を行う解析部と、
    　前記処理内容を送信する送信部と、
    　を備える、
    情報処理装置。
  14. 　前記解析部は、意図解釈部及び曖昧性解消部を含み、
    　前記意図解釈部は、前記認識情報に含まれる音声認識結果に基づいて発話ユーザの発話意図及び発話パラメータを抽出し、
    　前記曖昧性解消部は、前記認識情報に含まれる前記発話ユーザの認識結果と、記憶される前記発話ユーザの発話特性と、に基づいて前記発話パラメータを標準化した前記処理内容を生成する、
    請求項１３に記載の情報処理装置。
  15. 　前記曖昧性解消部は、前記意図解釈部が抽出した発話パラメータと前記発話ユーザの認識結果とに基づいて、前記発話ユーザの発話傾向を記憶させる、
    請求項１４に記載の情報処理装置。
  16. 　前記発話傾向は、呼称、単語、語順、または発音のうち少なくともいずれかを含む、
    請求項１５に記載の情報処理装置。
  17. 　前記発話情報に基づいて音声認識及び前記発話ユーザの認識を行う音声認識部、
    　をさらに備える、
    請求項１４に記載の情報処理装置。
     
PCT/JP2017/004825 2016-05-16 2017-02-09 情報処理装置 WO2017199486A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17798924.1A EP3460791A4 (en) 2016-05-16 2017-02-09 INFORMATION PROCESSING DEVICE
US16/076,765 US20190066676A1 (en) 2016-05-16 2017-02-09 Information processing apparatus
JP2018518081A JP6828741B2 (ja) 2016-05-16 2017-02-09 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-098136 2016-05-16
JP2016098136 2016-05-16

Publications (1)

Publication Number Publication Date
WO2017199486A1 true WO2017199486A1 (ja) 2017-11-23

Family

ID=60326527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/004825 WO2017199486A1 (ja) 2016-05-16 2017-02-09 情報処理装置

Country Status (4)

Country Link
US (1) US20190066676A1 (ja)
EP (1) EP3460791A4 (ja)
JP (1) JP6828741B2 (ja)
WO (1) WO2017199486A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123775A1 (ja) * 2017-12-22 2019-06-27 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172716A1 (en) * 2019-03-29 2022-06-02 Sony Group Corporation Response generation device and response generation method
CN113643696A (zh) * 2021-08-10 2021-11-12 阿波罗智联(北京)科技有限公司 语音处理方法、装置、设备、存储介质及程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321730A (ja) * 2004-05-11 2005-11-17 Fujitsu Ltd 対話システム、対話システム実行方法、及びコンピュータプログラム
JP2007272773A (ja) * 2006-03-31 2007-10-18 Xing Inc 対話型インターフェイス制御システム
WO2014024751A1 (ja) * 2012-08-10 2014-02-13 エイディシーテクノロジー株式会社 音声応答装置
JP2015114527A (ja) * 2013-12-12 2015-06-22 株式会社Ｎｔｔドコモ ユーザのデータ入力に応じて情報提供を行うための端末装置、プログラム、記録媒体および方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4644107A (en) * 1984-10-26 1987-02-17 Ttc Voice-controlled telephone using visual display
EP0311414B2 (en) * 1987-10-08 1997-03-12 Nec Corporation Voice controlled dialer having memories for full-digit dialing for any users and abbreviated dialing for authorized users
US5165095A (en) * 1990-09-28 1992-11-17 Texas Instruments Incorporated Voice telephone dialing
KR100729316B1 (ko) * 1998-10-09 2007-06-19 소니 가부시끼 가이샤 학습 장치 및 학습 방법, 인식 장치 및 인식 방법, 및기록 매체
US6952155B2 (en) * 1999-07-23 2005-10-04 Himmelstein Richard B Voice-controlled security system with proximity detector
US6934683B2 (en) * 2001-01-31 2005-08-23 Microsoft Corporation Disambiguation language model
US7313617B2 (en) * 2001-09-28 2007-12-25 Dale Malik Methods and systems for a communications and information resource manager
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
WO2004049195A2 (en) * 2002-11-22 2004-06-10 Transclick, Inc. System and method for language translation via remote devices
JPWO2004064393A1 (ja) * 2003-01-15 2006-05-18 松下電器産業株式会社 放送受信方法、放送受信システム、記録媒体、及びプログラム
US8478589B2 (en) * 2005-01-05 2013-07-02 At&T Intellectual Property Ii, L.P. Library of existing spoken dialog data for use in generating new natural language spoken dialog systems
US7536304B2 (en) * 2005-05-27 2009-05-19 Porticus, Inc. Method and system for bio-metric voice print authentication
US8412514B1 (en) * 2005-10-27 2013-04-02 At&T Intellectual Property Ii, L.P. Method and apparatus for compiling and querying a QA database
JP2007264466A (ja) * 2006-03-29 2007-10-11 Canon Inc 音声合成装置
US20080120093A1 (en) * 2006-11-16 2008-05-22 Seiko Epson Corporation System for creating dictionary for speech synthesis, semiconductor integrated circuit device, and method for manufacturing semiconductor integrated circuit device
GB0623915D0 (en) * 2006-11-30 2007-01-10 Ibm Phonetic decoding and concatentive speech synthesis
US20100174527A1 (en) * 2007-05-23 2010-07-08 Nec Corporation Dictionary registering system, dictionary registering method, and dictionary registering program
US8144939B2 (en) * 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
US8046226B2 (en) * 2008-01-18 2011-10-25 Cyberpulse, L.L.C. System and methods for reporting
US8831948B2 (en) * 2008-06-06 2014-09-09 At&T Intellectual Property I, L.P. System and method for synthetically generated speech describing media content
US8548807B2 (en) * 2009-06-09 2013-10-01 At&T Intellectual Property I, L.P. System and method for adapting automatic speech recognition pronunciation by acoustic model restructuring
KR101092820B1 (ko) * 2009-09-22 2011-12-12 현대자동차주식회사 립리딩과 음성 인식 통합 멀티모달 인터페이스 시스템
US8510103B2 (en) * 2009-10-15 2013-08-13 Paul Angott System and method for voice recognition
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
US8478581B2 (en) * 2010-01-25 2013-07-02 Chung-ching Chen Interlingua, interlingua engine, and interlingua machine translation system
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8762156B2 (en) * 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US20130110511A1 (en) * 2011-10-31 2013-05-02 Telcordia Technologies, Inc. System, Method and Program for Customized Voice Communication
US9037590B2 (en) * 2012-01-23 2015-05-19 Formcept Technologies and Solutions Pvt Ltd Advanced summarization based on intents
US9159321B2 (en) * 2012-02-27 2015-10-13 Hong Kong Baptist University Lip-password based speaker verification system
TWI456515B (zh) * 2012-07-13 2014-10-11 Univ Nat Chiao Tung 融合人臉辨識及語音辨識之身份辨識系統、其方法及其服務型機器人
US20140074478A1 (en) * 2012-09-07 2014-03-13 Ispeech Corp. System and method for digitally replicating speech
US8543834B1 (en) * 2012-09-10 2013-09-24 Google Inc. Voice authentication and command
US8700396B1 (en) * 2012-09-11 2014-04-15 Google Inc. Generating speech data collection prompts
US8606568B1 (en) * 2012-10-10 2013-12-10 Google Inc. Evaluating pronouns in context
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
CN108881986A (zh) * 2012-11-30 2018-11-23 麦克赛尔株式会社 影像显示装置，及其设定变更方法，设定变更程序
US10224030B1 (en) * 2013-03-14 2019-03-05 Amazon Technologies, Inc. Dynamic gazetteers for personalized entity recognition
CN104219195B (zh) * 2013-05-29 2018-05-22 腾讯科技（深圳）有限公司 身份校验方法、装置及系统
US9189742B2 (en) * 2013-11-20 2015-11-17 Justin London Adaptive virtual intelligent agent
US9401146B2 (en) * 2014-04-01 2016-07-26 Google Inc. Identification of communication-related voice commands
US10276154B2 (en) * 2014-04-23 2019-04-30 Lenovo (Singapore) Pte. Ltd. Processing natural language user inputs using context data
KR102339657B1 (ko) * 2014-07-29 2021-12-16 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10127911B2 (en) * 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
EP3234946A1 (en) * 2014-12-17 2017-10-25 Intel Corporation System and method of automatic speech recognition using parallel processing for weighted finite state transducer-based speech decoding
US10529328B2 (en) * 2015-06-22 2020-01-07 Carnegie Mellon University Processing speech signals in voice-based profiling
US10777205B2 (en) * 2015-09-30 2020-09-15 Huawei Technologies Co., Ltd. Voice control processing method and apparatus
CN105513597B (zh) * 2015-12-30 2018-07-10 百度在线网络技术（北京）有限公司 声纹认证处理方法及装置
WO2017160302A1 (en) * 2016-03-18 2017-09-21 Hewlett-Packard Development Company, L.P. Display viewing position settings based on user recognitions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321730A (ja) * 2004-05-11 2005-11-17 Fujitsu Ltd 対話システム、対話システム実行方法、及びコンピュータプログラム
JP2007272773A (ja) * 2006-03-31 2007-10-18 Xing Inc 対話型インターフェイス制御システム
WO2014024751A1 (ja) * 2012-08-10 2014-02-13 エイディシーテクノロジー株式会社 音声応答装置
JP2015114527A (ja) * 2013-12-12 2015-06-22 株式会社Ｎｔｔドコモ ユーザのデータ入力に応じて情報提供を行うための端末装置、プログラム、記録媒体および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3460791A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123775A1 (ja) * 2017-12-22 2019-06-27 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JPWO2019123775A1 (ja) * 2017-12-22 2020-10-22 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP7276129B2 (ja) 2017-12-22 2023-05-18 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JPWO2017199486A1 (ja) 2019-03-14
US20190066676A1 (en) 2019-02-28
JP6828741B2 (ja) 2021-02-10
EP3460791A4 (en) 2019-05-22
EP3460791A1 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
JP6738445B2 (ja) デジタルアシスタントサービスの遠距離拡張
EP3895161B1 (en) Utilizing pre-event and post-event input streams to engage an automated assistant
US9697829B1 (en) Evaluating pronouns in context
US5632002A (en) Speech recognition interface system suitable for window systems and speech mail systems
JP2021009701A (ja) インターフェイススマートインタラクティブ制御方法、装置、システム及びプログラム
US11810557B2 (en) Dynamic and/or context-specific hot words to invoke automated assistant
RU2349969C2 (ru) Синхронное понимание семантических объектов, реализованное с помощью тэгов речевого приложения
RU2352979C2 (ru) Синхронное понимание семантических объектов для высокоинтерактивного интерфейса
US20150331665A1 (en) Information provision method using voice recognition function and control method for device
CN106796788A (zh) 基于用户反馈来改善自动语音识别
AU2015261693A1 (en) Disambiguating heteronyms in speech synthesis
CN112840396A (zh) 用于处理用户话语的电子装置及其控制方法
WO2019031268A1 (ja) 情報処理装置、及び情報処理方法
JP6828741B2 (ja) 情報処理装置
JP2005031758A (ja) 音声処理装置及び方法
WO2019021553A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019026617A1 (ja) 情報処理装置、及び情報処理方法
WO2019239659A1 (ja) 情報処理装置および情報処理方法
US20240055003A1 (en) Automated assistant interaction prediction using fusion of visual and audio input
JP2020101822A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
JP2015052745A (ja) 情報処理装置、制御方法、及びプログラム
WO2019142447A1 (ja) 情報処理装置および情報処理方法
JP2021531923A (ja) ネットワークアプリケーションを制御するためのシステムおよびデバイス
JP2018054926A (ja) 音声対話装置および音声対話方法
JP2021117372A (ja) 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018518081

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17798924

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017798924

Country of ref document: EP

Effective date: 20181217