WO2019235013A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2019235013A1
WO2019235013A1 PCT/JP2019/009538 JP2019009538W WO2019235013A1 WO 2019235013 A1 WO2019235013 A1 WO 2019235013A1 JP 2019009538 W JP2019009538 W JP 2019009538W WO 2019235013 A1 WO2019235013 A1 WO 2019235013A1
Authority
WO
WIPO (PCT)
Prior art keywords
macro
information processing
name
user
utterance
Prior art date
Application number
PCT/JP2019/009538
Other languages
English (en)
French (fr)
Inventor
広 岩瀬
祐平 滝
邦仁 澤井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020523522A priority Critical patent/JP7136201B2/ja
Priority to US15/733,885 priority patent/US20210224066A1/en
Publication of WO2019235013A1 publication Critical patent/WO2019235013A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/3017—Runtime instruction translation, e.g. macros
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Definitions

  • This disclosure relates to an information processing apparatus and an information processing method.
  • Patent Document 1 discloses a technique for converting a plurality of function execution instructions based on utterances into a macro.
  • Patent Document 1 In the technique described in Patent Document 1, the user himself / herself is required to determine the name of the macro to be registered. However, it is assumed that some users cannot instantly determine what wording should be set as a macro.
  • the present disclosure proposes a new and improved information processing apparatus and information processing method capable of automatically determining a name of a macro that is easier to remember.
  • an utterance learning adaptation unit that performs clustering related to a plurality of function execution instructions by a user and estimates a cluster including the plurality of function execution instructions as a macro, and a response that controls information presentation related to the macro
  • the speech learning adaptation unit determines the estimated macro name based on a context acquired when a plurality of the function execution instructions included in the cluster are performed, and the response
  • the control unit controls notification of the macro name to the user
  • an information processing apparatus is provided in which the plurality of function execution instructions include at least one of the function execution instructions by utterance.
  • execution of a plurality of functions corresponding to the macro based on the fact that the name of the macro registered based on clustering related to a plurality of function execution instructions by the user is uttered by the user.
  • a plurality of function execution instructions including at least one function execution instruction by utterance, and the name of the macro is acquired when the plurality of function execution instructions are performed.
  • An information processing apparatus having a name determined based on a given context is provided.
  • the processor performs clustering related to a plurality of function execution instructions by a user, estimates a cluster including the plurality of function execution instructions as a macro, and controls information presentation related to the macro Determining the name of the estimated macro based on a context acquired when a plurality of the function execution instructions included in the cluster are performed.
  • the controlling further includes controlling notification of the name of the macro to the user, and the plurality of function execution instructions include at least one of the function execution instructions by utterances. Is done.
  • the processor has a plurality of macros corresponding to the macro based on the fact that the name of the macro registered based on clustering related to a plurality of function execution instructions by the user is uttered by the user. Controlling execution of functions, wherein the plurality of function execution instructions include at least one function execution instruction by utterance, and the name of the macro is obtained when the plurality of function execution instructions are performed.
  • An information processing method is provided that is a name determined based on the determined context.
  • FIG. 15 of Patent Document 1 a technique for registering a plurality of function execution instructions performed by a user by voice as a macro and specifying the macro by voice thereafter enables a plurality of functions to be executed. It is shown.
  • Patent Document 1 it is possible to cause a plurality of functions to be collectively executed by an agent device by calling a macro without instructing execution of functions one by one.
  • the convenience can be greatly improved.
  • the information processing server 20 that implements the information processing method according to an embodiment of the present disclosure performs clustering related to a plurality of function execution instructions by a user, and uses a cluster including the plurality of function execution instructions as a macro.
  • An utterance learning adaptation unit 250 for estimation and a response control unit 270 for controlling information presentation related to a macro are provided.
  • the utterance learning adaptation unit 250 determines the estimated macro name based on the context acquired when a plurality of function execution instructions included in the cluster are performed, Is one of the features.
  • the response control unit 270 according to an embodiment of the present disclosure controls notification of a macro name to the user.
  • the plurality of function execution instructions in the above include at least one function execution instruction by utterance.
  • FIG. 1 is a diagram for describing an overview of an embodiment of the present disclosure.
  • FIG. 1 shows an information processing terminal 10 that is an agent device controlled by the information processing server 20 according to the present embodiment, and a user U who gives a function execution instruction to the information processing terminal 10.
  • the user U first gives a function execution instruction to the information processing terminal 10 to instruct the artist B to play the song B by the utterance UO1.
  • the information processing server 20 performs an automatic speech recognition (ASR) process based on the utterance UO1 and a natural language understanding (NLU) process, and an intent (intention) “PLAY_MUSIC” of the utterance UO1.
  • ASR automatic speech recognition
  • NLU natural language understanding
  • PLAY_MUSIC intent (intention) “PLAY_MUSIC” of the utterance UO1.
  • the entity (object) “Artist B” is extracted.
  • the information processing server 20 causes the information processing terminal 10 to play the song of artist B based on the extracted intent and entity, and to output the system utterance SO1.
  • the user U gives a function execution instruction for instructing to set the volume to 30 by the utterance UO2.
  • the information processing server 20 performs automatic speech recognition processing and natural language understanding processing based on the utterance UO2, and extracts the intent “SET_VOLUME” and the entity “30” of the utterance UO2.
  • the information processing server 20 causes the information processing terminal 10 to change the volume related to the music reproduction to 30 based on the extracted intent and entity, and outputs the system utterance SO2.
  • the user U gives a function execution instruction for instructing the reproduction of the next song by the utterance UO3.
  • the information processing server 20 performs automatic speech recognition processing and natural language understanding processing based on the utterance UO3, and extracts the intent “SELECT_SONG” and the entity “NEXT_SONG” of the utterance UO3.
  • the information processing server 20 causes the information processing terminal 10 to play the next song and output the system utterance SO3 based on the extracted intent and entity.
  • the utterance learning adaptation unit 250 of the information processing server 20 executes clustering related to the utterance history of the user U, and includes a cluster including a plurality of function execution instructions performed using the utterances UO1 to UO3. Is estimated as a macro. That is, the utterance learning adaptation unit 250 according to the present embodiment can automatically estimate a macro in which the artist B's song reproduction instruction, volume setting instruction, and transition instruction to the next song are combined. is there.
  • the speech learning adaptation unit 250 even if the user does not explicitly give a macro registration instruction, a highly convenient macro is automatically estimated, and a registration proposal is made to the user. Can be done.
  • the speech learning adaptation unit 250 according to the present embodiment automatically determines the estimated macro name.
  • the utterance learning adaptation unit 250 according to the present embodiment may automatically determine the estimated macro name based on the context acquired when a plurality of function execution instructions included in the cluster are performed. .
  • the utterance learning adaptation unit 250 may determine the estimated macro name based on the context and the contents of a plurality of function execution instructions included in the cluster.
  • the utterance learning adaptation unit 250 according to the present embodiment can determine a name including a context gist and a plurality of function execution instruction gist included in the cluster, for example.
  • the speech learning adaptation unit 250 determines the name “Morning music in the morning” based on “8:00 am” acquired as the context and the content of the function execution instruction. .
  • the response control unit 270 of the information processing server 20 sends the utterances UO1 to UO3 to the utterances UO1 to UO3 when the macro name “Morning the morning music” determined by the utterance learning adaptation unit 250 is uttered.
  • a system utterance SO4 asking whether to perform such function execution instructions collectively may be output to the information processing terminal 10. That is, the response control unit 270 according to the present embodiment can inquire the user whether or not to register the macro estimated by the utterance learning adaptation unit 250 with the name determined by the utterance learning adaptation unit 250.
  • the utterance learning adaptation unit 250 uses the intent and entity corresponding to the function execution instruction related to the utterances UO1 to UO3, and the name “morning” Are stored as macro learning data 266 in association with each other.
  • the information processing server 20 it is possible to automatically estimate a macro that is highly convenient for the user and to automatically determine the name of the macro.
  • the information processing server 20 according to the present embodiment can determine a name that is more likely to remain in the user's memory and more easily remembered by using the context when the user has given the function execution instruction for naming. Is possible.
  • the information processing server 20 according to the present embodiment it is possible to greatly improve the convenience of the user who uses the information processing terminal 10 and to effectively shorten the dialogue time.
  • the information processing server 20 according to the present embodiment even if the user forgets the detailed attribute information related to the execution of the function, the function is executed by specifying in the context. It becomes possible to do. For example, in the case of the example shown in FIG. 1, even if the user U forgets the name of a song that is usually heard in the morning, the user U forgets by saying “Give me the morning music”. This music can be played.
  • FIG. 1 an example has been described in which a plurality of function execution instructions according to the present embodiment are all performed by utterance.
  • a plurality of function execution instructions according to the present embodiment can be performed by a gesture or a button press. It may be broken.
  • FIG. 2 is a diagram illustrating a system configuration example according to the present embodiment.
  • the information processing system according to the present embodiment includes an information processing terminal 10 and an information processing server 20.
  • the information processing terminal 10 and the information processing server 20 are connected via the network 30 so that they can communicate with each other.
  • the information processing terminal 10 is an information processing apparatus that provides various functions while interacting with a user based on control by the information processing server 20.
  • the information processing terminal 10 according to the present embodiment may be, for example, a smartphone, a tablet, a PC (Personal Computer), a wearable device, or the like.
  • the information processing terminal 10 according to the present embodiment may be a stationary or autonomous mobile dedicated terminal.
  • the information processing server 20 is an information processing apparatus that performs automatic macro estimation and name determination. Further, the information processing server 20 according to the present embodiment has a function of controlling execution of a plurality of functions corresponding to a macro when the registered macro name is spoken by the user.
  • the network 30 has a function of connecting the information processing terminal 10 and the information processing server 20.
  • the network 30 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), a WAN (Wide Area Network), and the like. Further, the network 30 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network). Further, the network 30 may include a wireless communication network such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the configuration example of the information processing system according to the present embodiment has been described above. Note that the above-described configuration described with reference to FIG. 2 is merely an example, and the functional configuration of the information processing system according to the present embodiment is not limited to the example.
  • the functions of the information processing terminal 10 and the information processing server 20 according to the present embodiment may be realized by a single device.
  • the functional configuration of the information processing system according to the present embodiment can be flexibly modified according to specifications and operations.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the information processing terminal 10 according to the present embodiment.
  • the information processing terminal 10 according to the present embodiment includes a display unit 110, an audio output unit 120, an audio input unit 130, an imaging unit 140, a sensor input unit 150, a control unit 160, and a server communication unit 170. Prepare.
  • the display unit 110 has a function of outputting visual information such as images and text.
  • the display unit 110 according to the present embodiment displays text and images based on control by the information processing server 20, for example.
  • the display unit 110 includes a display device that presents visual information.
  • the display device include a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device, and a touch panel.
  • the display unit 110 according to the present embodiment may output visual information using a projection function.
  • the audio output unit 120 has a function of outputting various sounds including audio.
  • the audio output unit 120 according to the present embodiment outputs audio based on, for example, control by the information processing server 20.
  • the audio output unit 120 according to the present embodiment includes an audio output device such as a speaker or an amplifier.
  • the voice input unit 130 has a function of collecting sound information such as utterances by the user and ambient sounds generated around the information processing terminal 10.
  • the sound information collected by the voice input unit 130 is used for automatic voice recognition processing and context acquisition by the information processing server 20.
  • the voice input unit 130 according to the present embodiment includes a microphone for collecting sound information.
  • the imaging unit 140 has a function of capturing an image of the user and the surrounding environment. Image information captured by the image capturing unit 140 is used by the information processing server 20 for user action recognition, state recognition, and ambient environment recognition.
  • the imaging unit 140 according to the present embodiment includes an imaging device that can capture an image. The above image includes a moving image in addition to a still image.
  • the sensor input unit 150 has a function of collecting various sensor information related to the surrounding environment, user behavior, and state.
  • the sensor information collected by the sensor input unit 150 is used for the recognition of the surrounding environment, the user's action recognition, and the state recognition by the information processing server 20.
  • the sensor input unit 150 includes, for example, an optical sensor including an infrared sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a thermal sensor, a vibration sensor, a GNSS (Global Navigation Satellite System) signal receiving device, and the like.
  • Control unit 160 The control unit 160 according to the present embodiment has a function of controlling each component included in the information processing terminal 10. For example, the control unit 160 controls starting and stopping of each component. In addition, the control unit 160 inputs a control signal generated by the information processing server 20 to the display unit 110 and the audio output unit 120.
  • the server communication unit 170 has a function of performing information communication with the information processing server 20 via the network 30. Specifically, the server communication unit 170 transmits sound information collected by the voice input unit 130, image information captured by the imaging unit 140, and sensor information collected by the sensor input unit 150 to the information processing server 20. In addition, the server communication unit 170 receives a control signal related to a response output from the information processing server 20.
  • the functional configuration example of the information processing terminal 10 according to the present embodiment has been described above.
  • said structure demonstrated using FIG. 3 is an example to the last, and the function structure of the information processing terminal 10 which concerns on this embodiment is not limited to the example which concerns.
  • the functional configuration of the information processing terminal 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • FIG. 4 is a block diagram illustrating a functional configuration example of the information processing server 20 according to the present embodiment.
  • the information processing terminal 10 includes a speech recognition unit 210, a semantic analysis unit 220, an image recognition unit 230, a sensor recognition unit 240, an utterance learning adaptation unit 250, a storage unit 260, and a response control unit. 270, a voice synthesis unit 285, an image processing unit 290, and a terminal communication unit 295.
  • the speech recognition unit 210 performs automatic speech recognition processing based on the user's utterances collected by the information processing terminal 10.
  • the semantic analysis unit 220 has a function of performing natural language understanding processing on the result of the automatic speech recognition processing by the speech recognition unit 210 and extracting an intent and an entity related to the user's utterance.
  • the image recognition unit 230 performs various recognition processes based on images captured by the information processing terminal 10.
  • the image recognition unit 230 according to the present embodiment can recognize, for example, the state of the user and the surrounding environment from the above image.
  • the result of recognition processing by the image recognition unit 230 is used for context acquisition by the utterance learning adaptation unit 250.
  • the sensor recognition unit 240 performs various recognition processes based on the sensor information collected by the information processing terminal 10. For example, the sensor recognition unit 240 according to the present embodiment can recognize the user's behavior and the surrounding state from the sensor information. The result of recognition processing by the sensor recognition unit 240 is used for context acquisition by the utterance learning adaptation unit 250.
  • the utterance learning adaptation unit 250 has a function execution instruction history in which the result of automatic speech recognition processing by the speech recognition unit 210, the intent and entity extracted by the semantic analysis unit 220, and the acquired context are associated with each other. H.264 is stored in the storage unit 260. At this time, the utterance learning adaptation unit 250 according to the present embodiment can acquire the context based on various recognition results obtained by the image recognition unit 230 and the sensor recognition unit 240.
  • the speech learning adaptation unit 250 estimates a cluster including a plurality of function execution instructions as a macro based on the function execution instruction history 264 and a function template 262 described later, and determines the name of the macro. It has a function.
  • the speech learning adaptation unit 250 associates a plurality of intents and entities corresponding to the estimated macro and the determined macro name as macro learning data 266 based on the user's approval.
  • the data is stored in the storage unit 260. That is, the utterance learning adaptation unit 250 registers the estimated macro with the determined name based on the user's approval. Details of the functions of the speech learning adaptation unit 250 according to this embodiment will be described later.
  • the storage unit 260 stores a function template 262, a function execution instruction history 264, macro learning data 266, and the like.
  • the response control unit 270 has a function of controlling a response to the user based on the intent and entity extracted by the semantic analysis unit 220, the utterance learning adaptation process by the utterance learning adaptation unit 250, and the like.
  • the response control unit 270 according to the present embodiment can control execution of a plurality of functions corresponding to the macro based on, for example, the registered macro name being spoken by the user.
  • the response control unit 270 may control voice synthesis by the voice synthesis unit 285, for example, and cause the information processing terminal 10 to output the synthesized voice. Further, the response control unit 270 may control the image processing unit 290 and cause the information processing terminal 10 to output a generated image or the like, for example. The response control unit 270 may instruct the external service to execute the function via the network 30 and acquire the execution result.
  • the speech synthesis unit 285 has a function of performing speech synthesis based on control by the response control unit 270.
  • the image processing unit 290 has a function of generating an image or the like based on control by the response control unit 270.
  • the terminal communication unit 295 performs information communication with the information processing terminal 10 via the network 30. For example, the terminal communication unit 295 receives sound information, images, sensor information, and the like related to the user's utterance from the information processing terminal 10. In addition, the terminal communication unit 295 transmits the control signal generated by the response control unit 270, synthesized speech, images, and the like to the information processing terminal 10.
  • the function configuration example of the information processing server 20 according to an embodiment of the present disclosure has been described above. Note that the functional configuration described above with reference to FIG. 4 is merely an example, and the functional configuration of the information processing server 20 according to the present embodiment is not limited to the related example. The functional configuration of the information processing server 20 according to the present embodiment can be flexibly modified according to specifications and operations.
  • the utterance learning adaptation unit 250 can estimate a cluster including a plurality of function execution instructions as a macro and present it to the user together with the name.
  • the utterance learning adaptation unit 250 according to the present embodiment may determine a macro name based on a preset function template 262.
  • FIGS. 5 and 6 are diagrams illustrating an example of the function template 262 according to the present embodiment.
  • intents related to a plurality of function execution instructions that are assumed to be continuously input are defined as templates.
  • FIG. 5 shows an example of a function template 262 when the invitation function in the game is made into a template.
  • the function template 262 defines intents related to friend list display, friend selection, invitation creation, invitation content input, and invitation transmission.
  • the function template 262 may store a setting as to whether or not to specify the order (sequence) of each intent. For example, in the example shown in FIG. 5, since the second field “Sequence” from the top is checked, it indicates that the order is specified for each intent.
  • a guide word to be presented to the user as an utterance guide to be described later may be set for each intent.
  • a naming rule when the utterance learning adaptation unit 250 determines a macro name is defined.
  • the above naming rule is composed of, for example, a fixed wording representing the gist of the function template and a gist of the context at the time of utterance.
  • Party invitation is set as a fixed word indicating the gist of the function template 262.
  • the utterance learning adaptation unit 250 sets the estimated macro name to “ Gameland party invitation ".
  • the function template 262 defines intents related to alarm setting, locking execution, and turning off of the lighting device.
  • the function template 262 according to the present embodiment may define a plurality of intents having different control targets. Moreover, as shown in FIG. 6, the order of each intent does not need to be specified.
  • the function template 262 defines a naming rule when the speech learning adaptation unit 250 determines the name of the macro.
  • “good night” is set as a fixed text representing the gist of the function template 262.
  • the utterance learning adaptation unit 250 can determine the estimated macro name as “good night on weekdays” based on the above naming rule. .
  • one intent a guide wording and a naming rule corresponding to the intent may be defined.
  • Such a function template is used for an initial utterance guide described below.
  • the utterance guide according to the present embodiment will be described.
  • a user who is not accustomed to using the information processing terminal 10 may be confused as to how to speak to the information processing terminal 10.
  • the response control part 270 which concerns on this embodiment may assist a user by displaying on the information processing terminal 10 the speech guide for assisting the function execution instruction by a user's speech.
  • FIG. 7A to 7C are diagrams showing an example of the utterance guide according to the present embodiment.
  • FIG. 7A shows an example of an utterance guide at an early stage when the user starts using the information processing terminal 10.
  • the response control unit 270 refers to the function execution instruction history 264 and causes the information processing terminal 10 to display an utterance guide related to a function that is less frequently used by the user. Execution instructions can be assisted.
  • the user U first falls into a situation where he / she does not know how to speak after performing the utterance UO5 including the activation word “Hello Agent” for activating the agent function. .
  • the response control unit 270 refers to the function execution instruction history 264, and displays a function that is used less frequently by the user U, specifically, an utterance guide related to a friend list display function, as an information processing terminal. Ten display areas DA are displayed.
  • the user U who has confirmed the utterance guide can instruct the display of the friend list by the utterance UO6 and is unknown to the user U until then.
  • the function can be perceived by the user U.
  • the response control unit 270 displays the utterance guide for guiding the user U in the function template 262 in the display area DA. It's okay.
  • the response control unit 270 displays the utterance guide related to the friend selection function in the display area DA based on the function template 262, and the user U who has confirmed the utterance guide A function execution instruction related to the selection is given by the utterance UO7.
  • FIG. 7B is a diagram showing an example of an utterance guide at the stage where the history of function execution instructions by the user has started to be accumulated.
  • the response control unit 270 may perform utterance guide display control based on the user's function execution instruction history 264.
  • the response control unit 270 performs the function execution instruction related to the display of the friend list by the utterance SO9 after the user U performs the utterance UO8 including the activation word. Then, referring to the function execution instruction history 264, an utterance guide related to the function execution instruction often performed by the user U after the function execution instruction related to the display of the friend list is displayed in the display area DA.
  • the response control unit 270 displays an utterance guide for selecting an arbitrary friend from the displayed friend list in the display area DA.
  • the user U who has confirmed the utterance guide displayed based on the past function execution instruction is similar to the function execution instruction that the user U has performed in the past.
  • the function execution instruction can be easily reproduced by the utterance UO10 or the like.
  • FIG. 7C shows an example of an utterance guide at the stage where registered macros start to be accumulated.
  • the response control unit 270 may preferentially display the utterance guide for assisting the user in executing the registered macro in the display area DA.
  • the response control unit 270 performs the registration based on the intention of the utterance SO12, that is, the intent extracted from the utterance SO12 matches one of a plurality of intents defined in the registered macro.
  • An utterance guide relating to a completed macro may be displayed in the display area DA.
  • the response control unit 270 sets the intent extracted from the user's utterance as the head of the registered macro.
  • the utterance guide related to the registered macro may be displayed in the display area DA based on the match with the intent.
  • the user U who has confirmed the utterance guide can easily instruct the execution of the registered macro by the utterance UO 13 or the like.
  • the active use of registered macros can be assisted.
  • the utterance learning adaptation unit 250 can extract a cluster including a plurality of function execution instructions that are closely related by clustering the function execution instruction history 264 and estimate the cluster as a macro. .
  • FIGS. 8 and 9 are diagrams showing an example of the clustered function execution instruction history 264 according to the present embodiment.
  • the text obtained by the automatic speech recognition process (corresponding to “Speech” in the figure), the intent and the entity extracted by the natural language understanding process,
  • the acquired context and function execution instruction history 264 are stored.
  • the context is stored in JSON (Javascript (registered trademark) Object Notation) format.
  • the date and time when the function execution instruction was issued the name of the game that the user was playing, the name of the scene in the game, and the type of character that the user was operating in the game Is remembered.
  • the date and time when the function execution instruction is performed, the location where the user was located, the user's action, and the name of the application that was being executed are stored as the context.
  • the utterance learning adaptation unit 250 may perform the above-described clustering based on the time when the function execution instruction is given, for example. For example, when the next function execution instruction is made within 5 seconds from the previous function execution instruction, the utterance learning adaptation unit 250 can consider the two function execution instructions as the same cluster.
  • the utterance learning adaptation unit 250 may perform clustering based on, for example, context identity. For example, when a function execution instruction having the same context is given within 3 minutes from the previous function execution instruction, the utterance learning adaptation unit 250 can consider the two function execution instructions as the same cluster.
  • the utterance learning adaptation unit 250 may perform clustering based on, for example, the strength of relevance of the function execution instruction. For example, when two function execution instructions made within 3 minutes are defined in the same function template 262, the utterance learning adaptation unit 250 can consider the two function execution instructions as the same cluster. .
  • the speech learning adaptation unit 250 it is possible to cluster function execution instructions that are likely to be performed continuously.
  • the utterance learning adaptation unit 250 may determine whether or not to estimate the cluster as a macro based on the complexity and detection frequency related to the cluster detected as described above.
  • the above degree of compounding may be represented by the sum of the number of intents and entities included in the cluster.
  • the cluster detection frequency may be represented by the number of detections of a cluster having the same intent and entity.
  • the utterance learning adaptation unit 250 according to the present embodiment may estimate the corresponding cluster as a macro when the value of the complexity * detection frequency is equal to or greater than a predetermined threshold (for example, 15).
  • the utterance learning adaptation unit 250 it is possible to increase the convenience of the user by estimating a cluster that has a high burden of individually performing a function execution instruction or a cluster that is frequently used as a macro. It becomes possible to improve.
  • the response control unit 270 may present the macro estimated by the speech learning adaptation unit 250 as described above to the user at a timing at which the user's attention is easily obtained.
  • the response control unit 270 can perform the presentation control as shown in FIG. 1 at the timing when the sensor recognition unit 240 recognizes that the user is not operating the game controller, for example.
  • FIG. 10 is a flowchart showing the flow of macro naming according to the present embodiment.
  • the speech learning adaptation unit 250 first determines whether or not there is a registered macro registered by a user instruction including an intent similar to the estimated macro ( S1101).
  • the speech learning adaptation unit 250 has registered the estimated macro and the user instruction. Based on the difference from the macro, the estimated name of the macro is determined (S1102).
  • the utterance learning adaptation unit 250 may determine a name based on the above difference after inheriting a naming policy when a user voluntarily registers a macro in the past. According to such a function, it is possible to determine an estimated macro name based on a naming method that is estimated to be easily stored in memory for the user. At this time, the utterance learning adaptation unit 250 can perform naming based on the difference between contexts and the difference between a plurality of function execution instructions (intents and entities) included in the cluster.
  • the utterance learning adaptation unit 250 first pays attention to a difference between periodic contexts indicating periodicity. For example, when the estimated macro includes a key lock corresponding to the periodic context “weekend” and a function execution instruction related to turning off the lighting device, an alarm setting corresponding to the periodic context “weekday”, a key Assume that a registered macro including a function execution instruction related to locking and turning off the lighting device exists as the name “good night”. At this time, the speech learning adaptation unit 250 according to the present embodiment may determine the estimated macro name as “good night on the weekend” based on the difference in the periodic context.
  • the speech learning adaptation unit 250 may name the estimated macro based on the difference between other contexts. For example, when the estimated macro includes a function execution instruction to turn off the lighting device in the child room and corresponds to the context with the child, the utterance learning adaptation unit 250 sets the estimated macro name to “ You may decide "Good night with kids".
  • the speech learning adaptation unit 250 may determine the name of the estimated macro based on the excess or deficiency of the intent between the estimated macro and the registered macro. For example, when the registered macro includes an intent related to the setting of an alarm, but the estimated macro does not include the intent, the utterance learning adaptation unit 250 sets the estimated macro name to “Good night without alarm”. May be determined.
  • the speech learning adaptation unit 250 can also name the estimated macro based on the difference between entities. For example, if the registered macro includes an intent related to the alarm setting at 7 o'clock (entity) while the estimated macro includes an intent at 8 o'clock (entity), the speech learning adaptation unit 250 determines the estimated macro. May be determined as “good night at alarm 8 o'clock”.
  • the speech learning adaptation unit 250 When there is no registered macro registered by a user instruction including an intent similar to the estimated macro (S1101: No), the speech learning adaptation unit 250 continues to have periodicity in the cluster detection frequency. It is determined whether or not there is (S1103). At this time, the speech learning adaptation unit 250 can make a determination based on the periodic context as described above.
  • the utterance learning adaptation unit 250 determines the estimated macro based on the periodic context.
  • the name is determined (S1104). For example, in the case of a cluster that is frequently detected in the morning time zone in a daily cycle, the utterance learning adaptation unit 250 may determine a name such as “Make Morning Music”. Further, in the case of a cluster that is often executed on Wednesday in a weekly cycle (time zone is indefinite), the speech learning adaptation unit 250 may determine a name such as “Wednesday party invitation”. Further, in the case of a cluster that is frequently executed in a weekly night time period in a weekly cycle, the speech learning adaptation unit 250 may determine a name such as “Wednesday night party invitation”.
  • the speech learning adaptation unit 250 first performs naming based on a periodic context that is expected to be highly dependent. This makes it possible to register a macro with a name that is more easily stored.
  • the speech learning adaptation unit 250 determines the name of the macro estimated based on the context other than the periodic context (S1105). Specifically, when a plurality of clusters correspond to the same context, the utterance learning adaptation unit 250 can determine the estimated macro name based on the context.
  • the speech learning adaptation unit 250 may determine a name such as “play music at game land”. Further, for example, when a plurality of clusters are associated with contexts related to the same game stage, the utterance learning adaptation unit 250 may determine a name such as “Stage 4 party invitation”. Further, when a plurality of clusters correspond to the context related to cooking behavior, the speech learning adaptation unit 250 may determine a name such as “Play the music while cooking”.
  • the speech learning adaptation unit 250 After determining the macro name estimated in step S1102, S1104, or S1105, the speech learning adaptation unit 250 next determines whether or not a registered macro having the same name as the name exists (S1106).
  • the speech learning adaptation unit 250 names the estimated macro based on the difference from the registered macro with the same name (S1107).
  • the utterance learning adaptation unit 250 may perform naming in the priority order of the difference between the periodic contexts> the difference between other contexts> the excess or deficiency of the intent> the entity difference.
  • the utterance learning adaptation unit 250 Based on the difference, the name “please have breakfast music” may be determined.
  • the utterance learning adaptation unit 250 determines the difference Based on the above, the name “Invitation of stage 4 party invitation with Mr. A” may be determined.
  • the macro naming flow according to this embodiment has been described in detail. According to the above function of the speech learning adaptation unit 250 according to the present embodiment, it is possible to automatically name the estimated macro with a name that is more easily fixed in memory.
  • the utterance learning adaptation unit 250 can determine the name of the macro based on various contexts. However, after registering a macro, depending on the situation, there may be a case where dependency on a context different from the context at the time of registration increases.
  • FIG. 11 is a conceptual diagram for explaining a change in context dependency according to the present embodiment.
  • FIG. 11 shows an example in which there is a macro M named based on the context B when the contexts A, B, and C are in an inclusive relationship in that order.
  • the speech learning adaptation unit 250 associates the macro M with the context C based on the assumption that the conditional probability P (C
  • the name may be updated as a macro ("embodiment" in the figure).
  • the speech learning adaptation unit 250 when the function execution instruction history 264 is accumulated and the context related to the execution of the macro M expands to the context A, the speech learning adaptation unit 250 according to the present embodiment has a conditional probability P (B
  • the name may be updated as a macro associated with the context A (“abstraction” in the figure) based on the estimation that the value is equal to or less than the threshold value.
  • the utterance learning adaptation unit 250 determines that the context is highly dependent. Based on this, it is possible to update the name of the registered macro.
  • FIG. 12 is a diagram showing an example of the name update of the registered macro according to the present embodiment.
  • a registered macro there is a macro named “Play the music while cooking” associated with the context indicating cooking.
  • the utterance learning adaptation unit 250 may update the registered macro with the name “Play the music while Chinese cooking” based on the context relating to the Chinese cuisine.
  • the situation at the time of use becomes a more specific name, so that it becomes easy to settle in the user's memory, and after that other Western contexts such as Western food and Japanese food are being cooked. It is expected that another macro corresponding to the context to be shown is estimated and easily presented to the user.
  • the utterance learning adaptation unit 250 may update the registered macro with the name “Play the music in kitchen”.
  • the name update according to this embodiment has been described above.
  • the utterance learning adaptation unit 250 performs macro naming and name update based on the acquired context, and the response control unit 270 determines the macro name based on the utterance of the name.
  • the case of controlling execution has been described as a main example.
  • the response control unit 270 displays the macro name. Even if the context language included in is not uttered, the execution of the corresponding macro may be controlled.
  • the response control unit 270 recognizes that the user is in the kitchen by the image recognition unit 230 and the sensor recognition unit 240. Based on this, execution of a macro having the name “Play the music in kitchen” may be controlled.
  • the response control unit 270 may perform the above control based on the predicted near future context. For example, when the image recognizing unit 230 recognizes that the user has taken out a cooking utensil such as a frying pan from the shelf, it is predicted that the user will be cooking after several seconds to several minutes. At this time, the response control unit 270 may control the execution of the macro having the name “Play the music while cooking” even when the user utters “Play the music”.
  • the response control unit 270 it is possible to supplement the context wording included in the macro name based on the context acquired when the user instructing the execution of the macro is uttered. is there.
  • FIG. 13A and FIG. 13B are diagrams for describing an example of control based on user feedback according to the present embodiment.
  • the utterance learning adaptation unit 250 may recognize the utterance UO15 as feedback from the user with respect to the function executed based on the macro, and perform control based on the feedback. For example, as shown in FIG. 13A, when the user gives an instruction to correct the execution content for the volume setting function executed based on the macro, the utterance learning adaptation unit 250 performs control based on the correction instruction.
  • the utterance learning adaptation unit 250 reflects a correction instruction and estimates a new macro including the entity “15” related to the intent “SET_VOLUME” with another name. Also good.
  • the utterance learning adaptation unit 250 may correct the registered macro based on the feedback as described above. For example, when the user gives an instruction to modify the execution content for a function executed based on the macro, the utterance learning adaptation unit 250, as shown in the middle part of FIG.
  • the execution content (entity) related to the intent may be variable.
  • the user can designate the contents of the variableized entity by speaking “Make morning music at volume 15” or “Make morning music at volume 30”. Is possible.
  • the speech learning adaptation unit 250 may directly update the entity in the registered macro as shown in the lower part of FIG. 13B.
  • a new macro can be estimated and a registered macro can be updated based on user feedback. Macros can be provided.
  • the information processing server 20 according to the present embodiment can perform various controls that improve the convenience for the user.
  • the response control unit 270 may present a plurality of macros to the user via the information processing terminal 10 and allow the user to select an arbitrary macro. This function is effective for both the estimation macro presentation and the utterance guide presentation.
  • the response control unit 270 may explicitly indicate the execution content range of the macro in the presentation of the estimated macro. According to such a function, the user can clearly grasp the execution content corresponding to the new macro.
  • the utterance learning adaptation unit 250 may dare to register a plurality of macros with the same name.
  • the response control unit 270 may inquire through the information processing terminal 10 which macro is to be executed by the user when the execution of the macro is instructed.
  • the functions of the information processing server 20 according to the present embodiment can be flexibly changed or expanded.
  • FIG. 14 is a block diagram illustrating a hardware configuration example of the information processing server 20 according to an embodiment of the present disclosure.
  • the information processing server 20 includes, for example, a CPU 871, ROM 872, RAM 873, host bus 874, bridge 875, external bus 876, interface 877, input device 878, and output device 879. , Storage 880, drive 881, connection port 882, and communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, you may further include components other than the component shown here.
  • the CPU 871 functions as, for example, an arithmetic processing unit or a control unit, and controls the overall operation or a part of each component based on various programs recorded in the ROM 872, RAM 873, storage 880, or removable recording medium 901.
  • the ROM 872 is a means for storing programs read by the CPU 871, data used for calculations, and the like.
  • the RAM 873 for example, a program read by the CPU 871, various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • the CPU 871, the ROM 872, and the RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via a bridge 875, for example.
  • the external bus 876 is connected to various components via an interface 877.
  • the input device 878 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 878 includes a voice input device such as a microphone.
  • the output device 879 is a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, or a facsimile. It is a device that can be notified visually or audibly.
  • the output device 879 according to the present disclosure includes various vibration devices that can output a tactile stimulus.
  • the storage 880 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 901 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • connection port 882 is a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
  • the communication device 883 is a communication device for connecting to a network.
  • the information processing server 20 that implements the information processing method according to an embodiment of the present disclosure performs clustering related to a plurality of function execution instructions by a user, and includes a cluster including a plurality of the function execution instructions.
  • An utterance learning adaptation unit 250 that estimates as a macro, and a response control unit 270 that controls presentation of information related to the macro are provided.
  • the utterance learning adaptation unit 250 determines the estimated macro name based on the context acquired when a plurality of function execution instructions included in the cluster are performed, Is one of the features.
  • the response control unit 270 according to an embodiment of the present disclosure controls notification of a macro name to the user.
  • the plurality of function execution instructions in the above include at least one function execution instruction by utterance. According to such a configuration, it is possible to automatically determine a name of a macro that is easier to remember.
  • each step related to the processing of the information processing server 20 in this specification does not necessarily have to be processed in time series in the order described in the flowchart.
  • each step related to the processing of the information processing server 20 may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • An utterance learning adaptation unit that performs clustering related to a plurality of function execution instructions by a user and estimates a cluster including the plurality of function execution instructions as a macro;
  • a response control unit for controlling information presentation related to the macro;
  • the speech learning adaptation unit determines the estimated name of the macro based on a context acquired when a plurality of the function execution instructions included in the cluster are performed,
  • the response control unit controls notification of the name of the macro to the user,
  • the plurality of function execution instructions include at least one function execution instruction by utterance, Information processing device.
  • the speech learning adaptation unit determines the name of the macro based on the context and the contents of a plurality of the function execution instructions included in the cluster.
  • the information processing apparatus determines a name including a gist of the context and a plurality of gist of the function execution instruction included in the cluster.
  • the information processing apparatus according to (2).
  • the speech learning adaptation unit determines a name of the macro based on a context having high dependency among the plurality of acquired contexts.
  • the information processing apparatus according to any one of (1) to (3).
  • the speech learning adaptation unit determines the name of the estimated macro based on a difference between the estimated macro and the registered macro when the registered macro similar to the estimated macro exists. , The information processing apparatus according to any one of (1) to (4).
  • the speech learning adaptation unit determines the name of the estimated macro based on a difference in the context between the estimated macro and the registered macro, or on a plurality of the function execution instructions included in the cluster. decide, The information processing apparatus according to (5). (7) The speech learning adaptation unit determines the name of the estimated macro based on a difference in periodic context between the estimated macro and the registered macro. The information processing apparatus according to (6). (8) The speech learning adaptation unit determines the name of the estimated macro based on the excess or deficiency of the function execution instruction between the estimated macro and the registered macro. The information processing apparatus according to (6) or (7).
  • the utterance learning adaptation unit When it is estimated that the utterance learning adaptation unit has a high dependency on the context different from that at the time of registration with respect to the registered macro, the utterance learning adaptation unit is registered based on the highly dependent context. Update the name of the macro, The information processing apparatus according to any one of (1) to (8). (10) The speech learning adaptation unit corrects the registered macro based on feedback from the user with respect to a function executed based on the registered macro. The information processing apparatus according to any one of (1) to (9). (11) The speech learning adaptation unit, when the user instructs to modify the execution content for the function executed based on the registered macro, makes the execution content related to the function variable in the registered macro To The information processing apparatus according to (10).
  • the utterance learning adaptation unit updates the execution content related to the function in the registered macro when the user instructs correction of the execution content for the function executed based on the registered macro.
  • (13) Estimating a new macro reflecting the feedback based on feedback from the user for a function performed based on the registered macro;
  • (14) The utterance learning adaptation unit estimates the cluster as the macro based on the complexity of the cluster or the detection frequency of the cluster.
  • the information processing apparatus according to any one of (1) to (13).
  • a response control unit that controls execution of a plurality of functions corresponding to the macro based on the fact that the name of the macro registered based on clustering related to a plurality of function execution instructions by the user is uttered by the user; With The plurality of function execution instructions include at least one function execution instruction by utterance, The name of the macro is a name determined based on the context acquired when a plurality of the function execution instructions are performed. Information processing device. (16) The response control unit, when the context used to determine the name of the macro matches the context acquired at the time of the user's utterance instructing execution of the macro, the user Even when the utterance is omitted by omitting the context word included in the name, a plurality of functions corresponding to the macro are executed.
  • the information processing apparatus controls display related to an utterance guide that assists execution of the registered macro by the user.
  • the response control unit displays the utterance guide when the intention of the user's utterance matches any of a plurality of intentions defined in the registered macro.
  • the information processing apparatus according to (17).
  • a processor performs clustering related to a plurality of function execution instructions by a user, and estimates a cluster including the plurality of function execution instructions as a macro; Controlling information presentation related to the macro; Including The estimating further includes determining the estimated name of the macro based on a context acquired when a plurality of the function execution instructions included in the cluster are performed, The controlling further includes controlling notification of the name of the macro to the user;
  • the plurality of function execution instructions include at least one function execution instruction by utterance, Information processing method.
  • the processor controls execution of a plurality of functions corresponding to the macro based on the fact that the name of the macro registered based on clustering related to a plurality of function execution instructions by the user is spoken by the user; Including The plurality of function execution instructions include at least one function execution instruction by utterance, The name of the macro is a name determined based on a context acquired when a plurality of the function execution instructions are performed. Information processing method.
  • Information processing terminal 20 Information processing server 210 Voice recognition part 220 Semantic analysis part 230 Image recognition part 240 Sensor recognition part 250 Speech learning adaptation part 260 Storage part 262 Function template 264 Function execution instruction history 266 Macro learning data 270 Response control part

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】より覚えやすいマクロの名称を自動で決定する。 【解決手段】ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定する発話学習適応部と、前記マクロに係る情報提示を制御する応答制御部と、を備え、前記発話学習適応部は、前記クラスタが含む複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて、推定した前記マクロの名称を決定し、前記応答制御部は、前記ユーザに対する前記マクロの名称の通知を制御し、複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含む、情報処理装置が提供される。

Description

情報処理装置および情報処理方法
　本開示は、情報処理装置および情報処理方法に関する。
　近年、発話による操作が可能な機器が広く普及している。また、上記のような機器を利用するユーザの利便性を高める技術も多く提案されている。例えば、特許文献１には、発話による複数の機能実行指示をマクロ化する技術が開示されている。
特願２０１８－５０６１
　特許文献１に記載の技術では、登録を行うマクロの名称をユーザ自身が決定することが求められる。しかし、ユーザによっては、どのような文言をマクロとして設定すべきか瞬時に判断できない場合も想定される。
　そこで、本開示では、より覚えやすいマクロの名称を自動で決定することが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
　本開示によれば、ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定する発話学習適応部と、前記マクロに係る情報提示を制御する応答制御部と、を備え、前記発話学習適応部は、前記クラスタが含む複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて、推定した前記マクロの名称を決定し、前記応答制御部は、前記ユーザに対する前記マクロの名称の通知を制御し、複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含む、情報処理装置が提供される。
　また、本開示によれば、ユーザによる複数の機能実行指示に係るクラスタリングに基づいて登録されたマクロの名称が、前記ユーザにより発話されたことに基づいて、前記マクロに対応する複数の機能の実行を制御する応答制御部、を備え、複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含み、前記マクロの名称は、複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて決定された名称である、情報処理装置が提供される。
　また、本開示によれば、プロセッサが、ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定することと、前記マクロに係る情報提示を制御することと、を含み、前記推定することは、前記クラスタが含む複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて、推定した前記マクロの名称を決定すること、をさらに含み、前記制御することは、前記ユーザに対する前記マクロの名称の通知を制御することをさらに含み、複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含む、情報処理方法が提供される。
　また、本開示によれば、プロセッサが、ユーザによる複数の機能実行指示に係るクラスタリングに基づいて登録されたマクロの名称が、前記ユーザにより発話されたことに基づいて、前記マクロに対応する複数の機能の実行を制御すること、を含み、複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含み、前記マクロの名称は、複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて決定された名称である、情報処理方法が提供される。
　以上説明したように本開示によれば、より覚えやすいマクロの名称を自動で決定することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態の概要について説明するための図である。 同実施形態に係るシステム構成例を示す図である。 同実施形態に係る情報処理端末の機能構成例を示すブロック図である。 同実施形態に係る情報処理サーバの機能構成例を示すブロック図である。 同実施形態に係る機能テンプレートの一例を示す図である。 同実施形態に係る機能テンプレートの一例を示す図である。 同実施形態に係る発話ガイドの一例を示す図である。 同実施形態に係る発話ガイドの一例を示す図である。 同実施形態に係る発話ガイドの一例を示す図である。 同実施形態に係るクラスタ化された機能実行指示履歴の一例を示す図である。 同実施形態に係るクラスタ化された機能実行指示履歴の一例を示す図である。 同実施形態に係るマクロ命名の流れを示すフローチャートである。 同実施形態に係るコンテキス依存性の変化を説明するための概念図である。 同実施形態に係る登録済みマクロの名称更新の一例を示す図である。 同実施形態に係るユーザのフィードバックに基づく制御の一例について説明するための図である。 同実施形態に係るユーザのフィードバックに基づく制御の一例について説明するための図である。 本開示の一実施形態に係る情報処理サーバのハードウェア構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．概要
　　１．２．システム構成例
　　１．３．情報処理端末１０の機能構成例
　　１．４．情報処理サーバ２０の機能構成例
　　１．５．機能の詳細
　２．ハードウェア構成例
　３．まとめ
　＜１．実施形態＞
　＜＜１．１．概要＞＞
　まず、本開示の一実施形態の概要について説明する。上述したように、近年では、発話による操作が可能な機器が広く普及している。上記のような機器には、例えば、音声によりユーザのとの対話を行いながら、種々の機能をユーザに提供するエージェント装置が挙げられる。
　また、エージェント装置を利用するユーザの利便性を向上させるための技術も多く提案されている。例えば、特許文献１の図１５には、ユーザが音声により行った複数の機能実行指示をマクロとして登録し、以降は当該マクロを音声により指定することで、複数の機能を実行可能とする技術について示されている。
　特許文献１に記載される上記の技術によれば、機能の実行を１つずつ指示しなくても、マクロを呼び出すことで、複数の機能をエージェント装置にまとめて実行させることが可能となり、ユーザの利便性を大きく向上させることができる。
　しかし、特許文献１に記載される技術の場合、図１５に示されるように、ユーザは、登録を望むマクロに対応する機能実行指示を、「まとめて覚えて」などの発話を行うことにより明示的に示す必要がある。このような登録指示は、ユーザによっては煩雑と捉えられる可能性もあり、またユーザがマクロの登録機能を知らない場合、当該ユーザは、マクロの利便性を享受することができない。
　さらには、特許文献１に記載される技術の場合、図１５に示されるように、ユーザは、登録を望むマクロの名称を自身で決定することを求められる。しかし、ユーザによっては、どのような文言をマクロとして設定すべきか瞬時に判断できない場合も想定される。また、システムが、マクロに対応する複数の機能や属性を要約した名称を当該マクロに命名することも考えられるが、この場合、ユーザが、命名されたマクロの名称を記憶することが困難となるケースもあり、また使用したい状況で何と発話してよいのかを思い出せず、結局マクロの利便性を享受できないこととなりかねない。
　本開示に係る技術思想は、上記の点に着目して発想されたものであり、より覚えやすいマクロの名称を自動で決定することを可能とする。このために、本開示の一実施形態に係る情報処理方法を実現する情報処理サーバ２０は、ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定する発話学習適応部２５０と、マクロに係る情報提示を制御する応答制御部２７０と、を備える。また、本開示の一実施形態に係る発話学習適応部２５０は、上記クラスタが含む複数の機能実行指示が行われた際に取得されたコンテキストに基づいて、推定したマクロの名称を決定すること、を特徴の一つとする。また、本開示の一実施形態に係る応答制御部２７０は、ユーザに対するマクロの名称の通知を制御すること、を特徴の一つとする。ここで、上記における複数の機能実行指示は、発話による機能実行指示を少なくとも１つ含むものとする。
　図１は、本開示の一実施形態の概要について説明するための図である。図１には、本実施形態に係る情報処理サーバ２０により制御されるエージェント装置である情報処理端末１０と、情報処理端末１０に対し、機能実行指示を行うユーザＵが示されている。
　図１を参照すると、ユーザＵは、午前８時において、まず、情報処理端末１０に、アーティストＢの曲をかけることを指示する機能実行指示を発話ＵＯ１により行っている。この際、情報処理サーバ２０は、発話ＵＯ１に基づく自動音声認識（ＡＳＲ：Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ）処理と自然言語理解（ＮＬＵ：Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ）処理を行い、発話ＵＯ１のインテント（意図）「ＰＬＡＹ＿ＭＵＳＩＣ」と、エンティティ（対象）「アーティストＢ」を抽出する。
　また、情報処理サーバ２０は、抽出した上記のインテントとエンティティに基づいて、情報処理端末１０にアーティストＢの曲を再生させ、システム発話ＳＯ１を出力させる。
　続いて、ユーザＵは、音量を３０に設定することを指示する機能実行指示を発話ＵＯ２により行っている。この際、情報処理サーバ２０は発話ＵＯ２に基づく自動音声認識処理および自然言語理解処理を行い、発話ＵＯ２のインテント「ＳＥＴ＿ＶＯＬＵＭＥ」とエンティティ「３０」を抽出する。
　また、情報処理サーバ２０は、抽出した上記のインテントとエンティティに基づいて、情報処理端末１０に楽曲再生に係る音量を３０に変更させ、システム発話ＳＯ２を出力させる。
　続いて、ユーザＵは、次の曲の再生を指示する機能実行指示を発話ＵＯ３により行っている。この際、情報処理サーバ２０は発話ＵＯ３に基づく自動音声認識処理および自然言語理解処理を行い、発話ＵＯ３のインテント「ＳＥＬＥＣＴ＿ＳＯＮＧ」とエンティティ「ＮＥＸＴ＿ＳＯＮＧ」を抽出する。
　また、情報処理サーバ２０は、抽出した上記のインテントとエンティティに基づいて、情報処理端末１０に次の曲を再生させ、システム発話ＳＯ３を出力させる。
　ここで、本実施形態に係る情報処理サーバ２０の発話学習適応部２５０は、ユーザＵの発話履歴に係るクラスタリングを実行し、発話ＵＯ１～ＵＯ３を用いて行われた複数の機能実行指示を含むクラスタをマクロとして推定する。すなわち、本実施形態に係る発話学習適応部２５０は、アーティストＢの曲の再生指示、音量の設定指示、次の曲への移行指示の３つをまとめたマクロを自動で推定することが可能である。
　本実施形態に係る発話学習適応部２５０が有する上記の機能によれば、ユーザが明示的にマクロの登録指示を行わずとも、利便性の高いマクロを自動で推定し、ユーザに登録の提案を行うことが可能となる。
　また、この際、本実施形態に係る発話学習適応部２５０は、推定したマクロの名称を自動で決定すること、を特徴の一つとする。本実施形態に係る発話学習適応部２５０は、例えば、上記のクラスタが含む複数の機能実行指示が行われた際に取得されたコンテキストに基づいて、推定したマクロの名称を自動で決定してよい。
　より具体的には、本実施形態に係る発話学習適応部２５０は、上記のコンテキストとクラスタが含む複数の機能実行指示の内容とに基づいて、推定したマクロの名称を決定してよい。本実施形態に係る発話学習適応部２５０は、例えば、コンテキストの要旨とクラスタが含む複数の機能実行指示の要旨とを含む名称を決定することができる。
　図１に示す一例の場合、発話学習適応部２５０は、コンテキストとして取得された「朝８時」と機能実行指示の内容に基づいて、「朝の音楽をかけて」という名称を決定している。
　この際、本実施形態に係る情報処理サーバ２０の応答制御部２７０は、発話学習適応部２５０が決定したマクロの名称「朝の音楽をかけて」が発話された場合に、発話ＵＯ１～ＵＯ３に係る機能実行指示をまとめて行うかを問う旨のシステム発話ＳＯ４を情報処理端末１０に出力させてよい。すなわち、本実施形態に係る応答制御部２７０は、発話学習適応部２５０が推定したマクロを、発話学習適応部２５０が決定した名称で登録するか否かをユーザに問い合わせることができる。
　ここで、ユーザＵが、マクロの登録を承認する旨の発話ＵＯ４を行った場合、発話学習適応部２５０は、発話ＵＯ１～ＵＯ３に係る機能実行指示に対応するインテントとエンティティ、および名称「朝の音楽をかけて」を対応づけてマクロ学習データ２６６として記憶する。
　このように、本実施形態に係る情報処理サーバ２０によれば、ユーザにとって利便性の高いマクロを自動で推定し、また当該マクロの名称を自動で決定することが可能である。また、本実施形態に係る情報処理サーバ２０は、ユーザが機能実行指示を行った際のコンテキストを命名に利用することで、ユーザの記憶により残りやすく、また、より思い出しやすい名称を決定することが可能である。本実施形態に係る情報処理サーバ２０が有する上記の機能によれば、情報処理端末１０を利用するユーザの利便性を大きく向上させ、また対話の時間を効果的に短縮することが可能となる。さらには、本実施形態に係る情報処理サーバ２０によれば、ユーザが、機能の実行に係る詳細な属性情報を忘れてしまった場合であっても、コンテキストで指定することにより、当該機能を実行することが可能となる。例えば、図１に示す一例の場合、ユーザＵは、普段の朝に聞いている楽曲の曲名を忘れてしまった場合であっても、「朝の音楽をかけて」と発話することにより、忘れてしまった当該楽曲を再生させることができる。
　なお、図１においては、本実施形態に係る複数の機能実行指示がすべて発話により行われる場合を例に述べたが、本実施形態に係る複数の機能実行指示は、ジェスチャやボタン押下などにより行われてもよい。
　＜＜１．２．システム構成例＞＞
　次に、本開示の一実施形態に係るシステム構成例について説明する。図２は、本実施形態に係るシステム構成例を示す図である。図２を参照すると、本実施形態に係る情報処理システムは、情報処理端末１０および情報処理サーバ２０を備える。また、情報処理端末１０と情報処理サーバ２０は、互いに通信が行えるように、ネットワーク３０を介して接続される。
　（情報処理端末１０）
　本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、ユーザとの対話を行いながら種々の機能を提供する情報処理装置である。本実施形態に係る情報処理端末１０は、例えば、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、ウェアラブル装置などであってもよい。また、本実施形態に係る情報処理端末１０は、据え置き型または自律移動型の専用端末であってもよい。
　（情報処理サーバ２０）
　本実施形態に係る情報処理サーバ２０は、マクロの自動推定や名称決定を行う情報処理装置である。また、本実施形態に係る情報処理サーバ２０は、登録済みマクロの名称がユーザにより発話された場合、当該マクロに対応する複数の機能の実行を制御する機能を有する。
　（ネットワーク３０）
　ネットワーク３０は、情報処理端末１０と情報処理サーバ２０とを接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの機能構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末１０と情報処理サーバ２０が有する機能は、単一の装置により実現されてもよい。本実施形態に係る情報処理システムの機能構成は、仕様や運用に応じて柔軟に変形可能である。
　＜＜１．３．情報処理端末１０の機能構成例＞＞
　次に、本実施形態に係る情報処理端末１０の機能構成例について説明する。図３は、本実施形態に係る情報処理端末１０の機能構成例を示すブロック図である。図３を参照すると、本実施形態に係る情報処理端末１０は、表示部１１０、音声出力部１２０、音声入力部１３０、撮像部１４０、センサ入力部１５０、制御部１６０、およびサーバ通信部１７０を備える。
　（表示部１１０）
　本実施形態に係る表示部１１０は、画像やテキストなどの視覚情報を出力する機能を有する。本実施形態に係る表示部１１０は、例えば、情報処理サーバ２０による制御に基づいて、テキストや画像を表示する。
　このために、本実施形態に係る表示部１１０は、視覚情報を提示する表示デバイスなどを備える。上記の表示デバイスには、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置、タッチパネルなどが挙げられる。また、本実施形態に係る表示部１１０は、プロジェクション機能により視覚情報を出力してもよい。
　（音声出力部１２０）
　本実施形態に係る音声出力部１２０は、音声を含む種々の音を出力する機能を有する。本実施形態に係る音声出力部１２０は、例えば、情報処理サーバ２０による制御に基づいて、音声を出力する。このために、本実施形態に係る音声出力部１２０は、スピーカやアンプなどの音声出力装置を備える。
　（音声入力部１３０）
　本実施形態に係る音声入力部１３０は、ユーザによる発話や、情報処理端末１０の周囲で発生する周囲音などの音情報を収集する機能を有する。音声入力部１３０が収集する音情報は、情報処理サーバ２０による自動音声認識処理やコンテキストの取得などに用いられる。本実施形態に係る音声入力部１３０は、音情報を収集するためのマイクロフォンを備える。
　（撮像部１４０）
　本実施形態に係る撮像部１４０は、ユーザや周囲環境の画像を撮像する機能を有する。撮像部１４０が撮像した画像情報は、情報処理サーバ２０によるユーザの行動認識や状態認識、周囲環境の認識に用いられる。本実施形態に係る撮像部１４０は、画像を撮像することが可能な撮像装置を備える。なお、上記の画像には、静止画像のほか動画像が含まれる。
　（センサ入力部１５０）
　本実施形態に係るセンサ入力部１５０は、周囲環境やユーザの行動、状態に関する種々のセンサ情報を収集する機能を有する。センサ入力部１５０が収集したセンサ情報は、情報処理サーバ２０による周囲環境の認識やユーザの行動認識、状態認識に用いられる。センサ入力部１５０は、例えば、赤外線センサを含む光センサ、加速度センサ、ジャイロセンサ、地磁気センサ、熱センサ、振動センサ、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）信号受信装置などを備える。
　（制御部１６０）
　本実施形態に係る制御部１６０は、情報処理端末１０が備える各構成を制御する機能を有する。制御部１６０は、例えば、各構成の起動や停止を制御する。また、制御部１６０は、情報処理サーバ２０により生成される制御信号などを表示部１１０や音声出力部１２０に入力する。
　（サーバ通信部１７０）
　本実施形態に係るサーバ通信部１７０は、ネットワーク３０を介して情報処理サーバ２０との情報通信を行う機能を有する。具体的には、サーバ通信部１７０は、音声入力部１３０が収集した音情報や、撮像部１４０が撮像した画像情報、センサ入力部１５０が収集したセンサ情報を情報処理サーバ２０に送信する。また、サーバ通信部１７０は、情報処理サーバ２０から応答出力に係る制御信号などを受信する。
　以上、本実施形態に係る情報処理端末１０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は係る例に限定されない。本実施形態に係る情報処理端末１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　＜＜１．４．情報処理サーバ２０の機能構成例＞＞
　次に、本開示の一実施形態に係る情報処理サーバ２０の機能構成例について説明する。図４は、本実施形態に係る情報処理サーバ２０の機能構成例を示すブロック図である。図４を参照すると、本実施形態に係る情報処理端末１０は、音声認識部２１０、意味解析部２２０、画像認識部２３０、センサ認識部２４０、発話学習適応部２５０、記憶部２６０、応答制御部２７０、音声合成部２８５、画像処理部２９０、および端末通信部２９５を備える。
　（音声認識部２１０）
　本実施形態に係る音声認識部２１０は、情報処理端末１０が収集したユーザの発話に基づく自動音声認識処理を行う。
　（意味解析部２２０）
　本実施形態に係る意味解析部２２０は、音声認識部２１０による自動音声認識処理の結果に対する自然言語理解処理を行い、ユーザの発話に係るインテントとエンティティを抽出する機能を有する。
　（画像認識部２３０）
　本実施形態に係る画像認識部２３０は、情報処理端末１０が撮像した画像に基づく種々の認識処理を行う。本実施形態に係る画像認識部２３０は、例えば、上記の画像からユーザや周辺環境の状態などを認識することができる。画像認識部２３０による認識処理の結果は、発話学習適応部２５０によるコンテキストの取得に用いられる。
　（センサ認識部２４０）
　本実施形態に係るセンサ認識部２４０は、情報処理端末１０が収集したセンサ情報に基づく種々の認識処理を行う。本実施形態に係るセンサ認識部２４０は、例えば、上記のセンサ情報からユーザの行動や周囲の状態などを認識することができる。センサ認識部２４０による認識処理の結果は、発話学習適応部２５０によるコンテキストの取得に用いられる。
　（発話学習適応部２５０）
　本実施形態に係る発話学習適応部２５０は、音声認識部２１０による自動音声認識処理の結果と、意味解析部２２０が抽出したインテントおよびエンティティと、取得したコンテキストとを対応づけた機能実行指示履歴２６４を記憶部２６０に記憶させる。この際、本実施形態に係る発話学習適応部２５０は、画像認識部２３０やセンサ認識部２４０による各種の認識結果に基づいて、上記のコンテキストを取得することができる。
　また、本実施形態に係る発話学習適応部２５０は、機能実行指示履歴２６４や後述する機能テンプレート２６２に基づいて、複数の機能実行指示を含むクラスタをマクロとして推定し、当該マクロの名称を決定する機能を有する。
　また、本実施形態に係る発話学習適応部２５０は、ユーザの承認に基づいて、推定したマクロに対応する複数のインテントおよびエンティティと、決定したマクロの名称とを対応づけてマクロ学習データ２６６として記憶部２６０に記憶させる。すなわち、発話学習適応部２５０は、ユーザの承認に基づいて、推定したマクロを、決定した名称で登録する。本実施形態に係る発話学習適応部２５０が有する機能の詳細については別途後述する。
　（記憶部２６０）
　本実施形態に係る記憶部２６０は、機能テンプレート２６２、機能実行指示履歴２６４、マクロ学習データ２６６などを記憶する。
　（応答制御部２７０）
　本実施形態に係る応答制御部２７０は、意味解析部２２０が抽出したインテントおよびエンティティ、発話学習適応部２５０による発話学習適応処理などに基づいて、ユーザに対する応答を制御する機能を有する。本実施形態に係る応答制御部２７０は、例えば、登録されたマクロの名称がユーザにより発話されたことに基づいて、当該マクロに対応する複数の機能の実行を制御することができる。
　本実施形態に係る応答制御部２７０は、例えば、音声合成部２８５による音声合成を制御し、合成された音声を情報処理端末１０に出力させてもよい。また、応答制御部２７０は、例えば、画像処理部２９０を制御し、生成された画像などを情報処理端末１０に出力させてもよい。また、応答制御部２７０は、ネットワーク３０を介して外部のサービスに機能の実行を指示し、実行結果を取得してもよい。
　（音声合成部２８５）
　本実施形態に係る音声合成部２８５は、応答制御部２７０による制御に基づいて、音声合成を行う機能を有する。
　（画像処理部２９０）
　画像処理部２９０は、応答制御部２７０による制御に基づいて、画像などの生成を行う機能を有する。
　（端末通信部２９５）
　本実施形態に係る端末通信部２９５は、ネットワーク３０を介して、情報処理端末１０との情報通信を行う。端末通信部２９５は、例えば、情報処理端末１０から、ユーザの発話に係る音情報や、画像、センサ情報などを受信する。また、端末通信部２９５は、応答制御部２７０が生成した制御信号や、合成音声、画像などを情報処理端末１０に送信する。
　以上、本開示の一実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、図４を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ２０の機能構成は係る例に限定されない。本実施形態に係る情報処理サーバ２０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　＜＜１．５．機能の詳細＞＞
　次に、本実施形態に係る情報処理サーバ２０が有する機能について詳細に説明する。上述したように、本実施形態に係る発話学習適応部２５０は、複数の機能実行指示を含むクラスタをマクロとして推定し、名称とともにユーザに提示することが可能である。この際、本実施形態に係る発話学習適応部２５０は、予め設定された機能テンプレート２６２に基づいて、マクロの名称の決定を行ってもよい。
　図５および図６は、本実施形態に係る機能テンプレート２６２の一例を示す図である。図５および図６に示すように、本実施形態に係る機能テンプレート２６２には、連続して入力されることが想定される複数の機能実行指示に係るインテントがテンプレートして定義される。
　例えば、図５には、ゲームにおける招待機能をテンプレート化した場合の機能テンプレート２６２の一例が示されている。図５に示す一例の場合、機能テンプレート２６２には、フレンド一覧の表示、フレンドの選択、招待の作成、招待内容の入力、および招待の送信に係るインテントが定義されている。
　また、本実施形態に係る機能テンプレート２６２には、各インテントの順番（シーケンス）を指定するか否かの設定が記憶されてもよい。例えば、図５に示す一例では、上から２つ目のフィールド「Ｓｅｑｕｅｎｃｅ」にチェックが入っていることから、上記の各インテントに順番が指定されていることを示している。
　また、本実施形態に係る機能テンプレート２６２には、後述する発話ガイドとしてユーザに提示するためのガイド文言がインテントごとに設定されてよい。
　また、本実施形態に係る機能テンプレート２６２には、発話学習適応部２５０がマクロの名称を決定する際の命名ルールが定義される。上記の命名ルールは、例えば、機能テンプレートの要旨を表す固定文言と、発話時のコンテキストの要旨から構成される。
　図５に示す一例の場合、機能テンプレート２６２の要旨を表す固定文言として、「パーティ招待」が設定されている。ここで、例えば、コンテキストとして、ユーザがゲームランドという名のゲームをプレー中であることが取得された場合、発話学習適応部２５０は、上記の命名ルールに基づいて、推定したマクロの名称を「ゲームランドのパーティ招待」と決定することができる。
　また、図６に示す一例の場合、機能テンプレート２６２には、アラームのセット、施錠の実行、および照明機器の消灯に係るインテントが定義されている。このように、本実施形態に係る機能テンプレート２６２には、制御対象が異なる複数のインテントが定義されてもよい。また、図６に示すように、各インテントの順番は指定されなくてもよい。
　この場合でも同様に、機能テンプレート２６２には、発話学習適応部２５０がマクロの名称を決定する際の命名ルールが定義される。図６に示す一例の場合、機能テンプレート２６２の要旨を表す固定文言として、「おやすみ」が設定されている。ここで、例えば、コンテキストとして、平日であることが取得された場合、発話学習適応部２５０は、上記の命名ルールに基づいて、推定したマクロの名称を「平日のおやすみ」と決定することができる。
　なお、本実施形態に係る機能テンプレート２６２は、１つのインテントと当該インテントに対応するガイド文言および命名ルールが定義されてもよい。このような機能テンプレートは、次に説明する初期の発話ガイドなどに用いられる。
　続いて、本実施形態に係る発話ガイドについて説明する。例えば、情報処理端末１０の利用に慣れていないユーザは、情報処理端末１０に対し、どのように発話を行ってよいか、戸惑う場面も想定される。また、情報処理端末１０の利用になれた場合であっても、登録済みのマクロの名称を瞬時に思い出せない状況も考えられる。このため、本実施形態に係る応答制御部２７０は、ユーザの発話による機能実行指示を補助するための発話ガイドを情報処理端末１０に表示させることで、ユーザを補助してよい。
　図７Ａ～図７Ｃは、本実施形態に係る発話ガイドの一例を示す図である。例えば、図７Ａには、ユーザが情報処理端末１０の利用を始めた初期の段階における発話ガイドの一例が示されている。
　上記のような初期の段階においては、ユーザがまだ情報処理端末１０に対する発話による機能実行指示に慣れていないことが想定される。このため、本実施形態に係る応答制御部２７０は、機能実行指示履歴２６４を参照し、ユーザによる使用頻度の低い機能に係る発話ガイドを情報処理端末１０に表示させることで、ユーザの発話による機能実行指示を補助することができる。
　例えば、図７Ａに示す一例の場合、ユーザＵは、まずエージェント機能を起動するための起動ワード「Ｈｅｌｌｏ　Ａｇｅｎｔ」を含む発話ＵＯ５を行ったのち、なんと発話を行ってよいかわからない状況に陥っている。
　この際、本実施形態に係る応答制御部２７０は、機能実行指示履歴２６４を参照し、ユーザＵによる使用頻度が低い機能、具体的には、フレンド一覧の表示機能に係る発話ガイドを情報処理端末１０の表示領域ＤＡに表示させる。
　本実施形態に係る応答制御部２７０が有する上記の機能によれば、発話ガイドを確認したユーザＵが、フレンド一覧の表示を発話ＵＯ６により指示することができ、ユーザＵにとってそれまで未知であって機能をユーザＵに知覚させることが可能である。
　なお、発話ガイドの確認後に、当該発話ガイドが示唆する機能実行指示をユーザが行った場合、応答制御部２７０は、機能テンプレート２６２にユーザＵを誘導するための発話ガイドを表示領域ＤＡに表示させてよい。図７Ａに示す一例の場合、応答制御部２７０は、機能テンプレート２６２に基づいて、フレンドの選択機能に係る発話ガイドを表示領域ＤＡに表示させ、また当該発話ガイドを確認したユーザＵが、フレンドの選択に係る機能実行指示を発話ＵＯ７により行っている。
　また、図７Ｂは、ユーザによる機能実行指示の履歴が蓄積され始めた段階における発話ガイドの一例を示す図である。当該段階においては、応答制御部２７０は、ユーザの機能実行指示履歴２６４に基づく発話ガイドの表示制御を行ってよい。
　例えば、図７Ｂに示す一例の場合、応答制御部２７０は、ユーザＵが、起動ワードを含む発話ＵＯ８を行った後、フレンド一覧の表示に係る機能実行指示を発話ＳＯ９により行ったことに基づいて、機能実行指示履歴２６４を参照し、フレンド一覧の表示に係る機能実行指示の後にユーザＵがよく行う機能実行指示に係る発話ガイドを表示領域ＤＡに表示させる。
　図７Ｂに示す一例の場合、応答制御部２７０は、表示されるフレンド一覧から任意のフレンドを選択するための発話ガイドを表示領域ＤＡに表示させている。本実施形態に係る応答制御部２７０が有する上記の機能によれば、過去の機能実行指示に基づいて表示された発話ガイドを確認したユーザＵが、過去に自身が行った機能実行指示と同様の機能実行指示を発話ＵＯ１０などにより容易に再現することが可能となる。
　また、図７Ｃには、登録済みのマクロが蓄積され始めた段階における発話ガイドの一例である。当該段階においては、応答制御部２７０は、ユーザによる登録済みのマクロの実行を補助するための発話ガイドを優先的に表示領域ＤＡに表示させてよい。
　例えば、図７Ｃに示す一例の場合、ユーザＵは、起動ワードを含む発話ＵＯ１１を行った後、フレンド一覧の表示に係る機能実行指示を発話ＳＯ１２により行っている。この際、応答制御部２７０は、発話ＳＯ１２の意図、すなわち発話ＳＯ１２から抽出されたインテントが、登録済みのマクロに定義される複数のインテントのいずれかに一致することに基づいて、当該登録済みのマクロに係る発話ガイドを表示領域ＤＡに表示させてよい。
　なお、この際、登録済みのマクロにおいてインテントの順番（シーケンス）が設定されている場合には、応答制御部２７０は、ユーザの発話から抽出されたインテントが登録済みマクロの先頭に設定されたインテントと一致することに基づいて、当該登録済みのマクロに係る発話ガイドを表示領域ＤＡに表示させてもよい。
　本実施形態に係る応答制御部２７０が有する上記の機能によれば、発話ガイドを確認したユーザＵが、登録済みのマクロの実行を発話ＵＯ１３などにより容易に指示することが可能となり、ユーザＵによる登録済みマクロの積極的な使用を補助することができる。
　次に、本実施形態に係る機能実行指示のクラスタリングについて詳細に説明する。本実施形態に係る発話学習適応部２５０は、機能実行指示履歴２６４をクラスタリングすることで、関連の強い複数の機能実行指示を含むクラスタを抽出し、当該クラスタをマクロとして推定することが可能である。
　図８および図９は、本実施形態に係るクラスタ化された機能実行指示履歴２６４の一例を示す図である。図８および図９に示すように、本実施形態では、自動音声認識処理により得られたテキスト（図中の“Ｓｐｅｅｃｈ”に対応）と、自然言語理解処理により抽出されたインテントおよびエンティティと、取得されたコンテキストと機能実行指示履歴２６４として記憶される。
　例えば、図８に示す一例の場合、ユーザが発話により行った、フレンド一覧の表示、フレンドの選択、招待の作成、招待の送信などに係る機能実行指示に対応するテキスト、インテント、エンティティ、およびコンテキストがＪＳＯＮ（Ｊａｖａｓｃｒｉｐｔ（登録商標）　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎ）形式により記憶されている。
　なお、図８に示す一例では、コンテキストとして、機能実行指示が行われた日付および時間、ユーザがプレーしていたゲーム名、当該ゲームにおけるシーン名、当該ゲームにおいてユーザが操作していたキャラクターのタイプが記憶されている。
　また、例えば、図９に示す一例の場合、ユーザが発話により行った、音楽再生、音量の設定、次の曲への移行などに係る機能実行指示に対応するテキスト、インテント、エンティティ、およびコンテキストがＪＳＯＮ形式により記憶されている。
　なお、図９に示す一例では、コンテキストとして、機能実行指示が行われた日付および時間、ユーザがいた場所、ユーザの行動、実行されていたアプリケーション名が記憶されている。
　本実施形態に係る発話学習適応部２５０は、例えば、機能実行指示が行われた時間に基づいて、上記のようなクラスタリングを行ってもよい。例えば、前の機能実行指示から５秒以内に次の機能実行指示が行われた場合、発話学習適応部２５０は、２つの機能実行指示を同一のクラスタとして見做すことができる。
　また、本実施形態に係る発話学習適応部２５０は、例えば、コンテキストの同一性に基づいて、クラスタリングを行ってもよい。例えば、前の機能実行指示から３分以内に同一のコンテキストを有する機能実行指示が行われた場合、発話学習適応部２５０は、２つの機能実行指示を同一のクラスタとして見做すことができる。
　また、本実施形態に係る発話学習適応部２５０は、例えば、機能実行指示の関連性の強さに基づいて、クラスタリングを行ってもよい。例えば、３分以内に行われた２つの機能実行指示が同一の機能テンプレート２６２に定義されている場合、発話学習適応部２５０は、２つの機能実行指示を同一のクラスタとして見做すことができる。
　以上説明したように、本実施形態に係る発話学習適応部２５０によれば、連続して行われる可能性が高い機能実行指示をクラスタ化することが可能となる。
　また、本実施形態に係る発話学習適応部２５０は、上記のように検出したクラスタに係る複合度や検出頻度に基づいて、当該クラスタをマクロとして推定するか否かを決定してもよい。ここで、上記の複合度は、クラスタが含むインテントとエンティティの数の合計で表されてもよい。また、クラスタの検出頻度は、インテントとエンティティが同一であるクラスタの検出回数により表されてもよい。本実施形態に係る発話学習適応部２５０は、例えば、複合度＊検出頻度、の値が所定の閾値（例えば、１５）以上である場合、該当するクラスタをマクロとして推定してもよい。
　本実施形態に係る発話学習適応部２５０が有する上記の機能によれば、個々に機能実行指示を行う負担が高いクラスタや、使用頻度の高いクラスタをマクロとして推定することで、ユーザの利便性を向上させることが可能となる。
　なお、応答制御部２７０は、発話学習適応部２５０が上記のように推定したマクロを、ユーザのアテンションを取り易いタイミングで、当該ユーザに対し提示してよい。応答制御部２７０は、例えば、センサ認識部２４０が、ユーザがゲームのコントローラを操作していないことなどを認識したタイミングで、図１に示したような提示制御を行うことができる。
　次に、本実施形態に係るマクロ命名の流れについて説明する。図１０は、本実施形態に係るマクロ命名の流れを示すフローチャートである。
　図１０を参照すると、本実施形態に係る発話学習適応部２５０は、まず、推定したマクロと類似したインテントを含む、ユーザ指示により登録された登録済みマクロが存在するか否かを判定する（Ｓ１１０１）。
　ここで、推定したマクロと類似したインテントを含む、ユーザ指示により登録された登録済みマクロが存在する場合（Ｓ１１０１：Ｙｅｓ）、発話学習適応部２５０は、推定したマクロと、ユーザ指示による登録済みマクロとの差分に基づいて、推定したマクロの名称を決定する（Ｓ１１０２）。
　具体的には、本実施形態に係る発話学習適応部２５０は、ユーザが過去に自主的にマクロを登録した際の命名ポリシーを継承したうえで、上記の差分に基づく名称を決定してよい。係る機能によれば、ユーザにとって記憶に残りやすいと推定される命名手法に基づいて推定したマクロの名称を決定することが可能となる。この際、発話学習適応部２５０は、コンテキストの差分やクラスタが含む複数の機能実行指示（インテントおよびエンティティ）の差分に基づいて、命名を行うことができる。
　具体的には、発話学習適応部２５０は、まず、周期性を示す周期性コンテキストの差分に注目する。例えば、推定したマクロが周期性コンテキスト「週末」に対応づいた鍵の施錠と照明機器の消灯に係る機能実行指示を含む場合において、周期性コンテキスト「平日」に対応づいたアラームの設定、鍵の施錠、照明機器の消灯に係る機能実行指示を含む登録済みマクロが名称「おやすみ」として存在する場合を想定する。この際、本実施形態に係る発話学習適応部２５０は、周期性コンテキストの差分に基づいて、推定したマクロの名称を「週末のおやすみ」と決定してもよい。
　一方、周期性コンテキストに差分がない場合、発話学習適応部２５０は、他のコンテキストの差分に基づいて、推定したマクロの命名を行ってよい。例えば、推定したマクロが子供部屋の照明機器を消灯する機能実行指示を含んでおり、また子供と一緒にいるコンテキストと対応づいている場合、発話学習適応部２５０は、推定したマクロの名称を「子供とおやすみ」と決定してもよい。
　また、コンテキストに差分がない場合、発話学習適応部２５０は、推定したマクロと登録済みのマクロの間におけるインテントの過不足に基づいて、推定したマクロの名称を決定してもよい。例えば、登録済みのマクロがアラームの設定に係るインテントを含む一方、推定したマクロが当該インテントを含んでいない場合、発話学習適応部２５０は、推定したマクロの名称を「アラームなしでおやすみ」と決定してもよい。
　一方、インテントの過不足がない場合には、発話学習適応部２５０は、エンティティの差分に基づいて、推定したマクロの命名を行うことも可能である。例えば、登録済みのマクロが７時（エンティティ）のアラームの設定に係るインテントを含む一方、推定したマクロが８時（エンティティ）のインテントを含む場合、発話学習適応部２５０は、推定したマクロの名称を「アラーム８時でおやすみ」と決定してもよい。
　なお、推定したマクロと類似したインテントを含む、ユーザ指示により登録された登録済みマクロが存在しない場合（Ｓ１１０１：Ｎｏ）、発話学習適応部２５０は、続いて、クラスタの検出頻度に周期性があるか否かを判定する（Ｓ１１０３）。この際、発話学習適応部２５０は、上記のような周期性コンテキストに基づいて判定を行うことができる。
　ここで、クラスタの検出に周期性がある場合（Ｓ１１０３：Ｙｅｓ）、すなわちクラスタが周期性コンテキストと対応付いている場合、発話学習適応部２５０は、当該周期性コンテキストに基づいて、推定したマクロの名称を決定する（Ｓ１１０４）。例えば、１日周期で朝の時間帯によく検出されるクラスタの場合、発話学習適応部２５０は、「朝の音楽をかけて」などの名称を決定してもよい。また、１週間周期で水曜によく実行されているクラスタの場合（時間帯は不定）、発話学習適応部２５０は、「水曜のパーティ招待」などの名称を決定してもよい。また、１週間周期で水曜の夜の時間帯によく実行されているクラスタの場合、発話学習適応部２５０は、「水曜夜のパーティ招待」などの名称を決定してもよい。
　このように、本実施形態に係る発話学習適応部２５０は、複数のコンテキストが取得され得る場合であっても、まずは、依存性が高いことが予想される周期性コンテキストなどに基づいて命名を行うことで、より記憶に残りやすい名称でマクロを登録することができる。
　一方、クラスタの検出頻度に周期性がない場合（Ｓ１１０３：Ｎｏ）、発話学習適応部２５０は、周期性コンテキスト以外の他のコンテキストに基づいて推定したマクロの名称を決定する（Ｓ１１０５）。具体的には、複数のクラスタが、同一のコンテキストに対応づいている場合、発話学習適応部２５０は、当該コンテキストに基づいて、推定したマクロの名称を決定することができる。
　例えば、複数のクラスタが同一のゲームのプレーに係るコンテキストに対応づいている場合、発話学習適応部２５０は、「ゲームランドのときの音楽をかけて」などの名称を決定してもよい。また、例えば、複数のクラスタが、同一のゲームステージに係るコンテキストに対応付いている場合、発話学習適応部２５０は、「ステージ４のパーティ招待」などの名称を決定してもよい。また、複数のクラスタが、料理行動に係るコンテキストに対応づいている場合、発話学習適応部２５０は、「Ｐｌａｙ　ｔｈｅ　ｍｕｓｉｃ　ｗｈｉｌｅ　ｃｏｏｋｉｎｇ」などの名称を決定してもよい。
　ステップＳ１１０２、Ｓ１１０４またはＳ１１０５において推定したマクロの名称を決定した後、発話学習適応部２５０は、次に、当該名称と同じ名称の登録済みマクロが存在するか否かを判定する（Ｓ１１０６）。
　ここで、同じ名称の登録済みマクロが存在する場合（Ｓ１１０６：Ｙｅｓ）、発話学習適応部２５０は、同じ名称の登録済みマクロとの差分に基づいて、推定したマクロの命名を行う（Ｓ１１０７）。
　この際、発話学習適応部２５０は、ステップＳ１１０２において述べたように、周期性コンテキストの差分＞他のコンテキストの差分＞インテントの過不足＞エンティティの差分の優先順で命名を行ってよい。
　例えば、「朝の音楽をかけて」という名称の登録済みコンテキストが存在する場合において、推定したマクロのクラスタのみが食事中であることを示すコンテキストと対応付いている場合、発話学習適応部２５０は、当該差分に基づいて「朝食の音楽をかけて」という名称を決定してもよい。
　また、例えば、「ステージ４のパーティ招待」という名称の登録済みコンテキストが存在する場合において、推定したマクロのクラスタのみがフレンドＣに係るエンティティを含んでいる場合、発話学習適応部２５０は、当該差分に基づいて、「Ａさん追加でステージ４のパーティ招待」という名称を決定してもよい。
　以上、本実施形態に係るマクロ命名の流れについて詳細に説明した。本実施形態に係る発話学習適応部２５０が有する上記の機能によれば、より記憶に定着しやすい名称を以って、推定したマクロの命名を自動で行うことが可能となる。
　次に、本実施形態に係る登録済みマクロの名称更新について説明する。上述したように、本実施形態に係る発話学習適応部２５０は、種々のコンテキストに基づいて、マクロの名称を決定することが可能である。しかし、マクロを登録した後、状況によっては、登録時のコンテキストとは異なるコンテキストへの依存性が高くなる場合も想定される。
　図１１は、本実施形態に係るコンテキス依存性の変化を説明するための概念図である。図１１には、コンテキストＡ、Ｂ、Ｃが当該順に包含関係にある場合において、コンテキストＢに基づいて命名されたマクロＭが存在する場合の一例が示されている。
　この際、ユーザによる情報処理端末１０の利用が進み、機能実行指示履歴２６４が蓄積されると、マクロＭの実行に関し、コンテキストＣへの依存性が高くなる場合も想定される。この際、本実施形態に係る発話学習適応部２５０は、条件付き確率Ｐ（Ｃ｜Ｍ）が所定の閾値以上となったことが推定されたことに基づいて、マクロＭをコンテキストＣに対応付いたマクロとして名称を更新してよい（図中における「具体化」）。
　一方、機能実行指示履歴２６４が蓄積により、マクロＭの実行に係るコンテキストが、コンテキストＡまで拡大した場合、本実施形態に係る発話学習適応部２５０は、条件付き確率Ｐ（Ｂ｜Ｍ）が所定の閾値以下となったことが推定されたことに基づいて、マクロＭをコンテキストＡに対応付いたマクロとして名称を更新してよい（図中における「抽象化」）。
　このように、本実施形態に係る発話学習適応部２５０は、登録済みのマクロに関し、登録時とは異なるコンテキストへの依存性が高くなったことが推定された場合、当該依存性の高いコンテキストに基づいて、登録済みマクロの名称を更新することが可能である。
　図１２は、本実施形態に係る登録済みマクロの名称更新の一例を示す図である。図１２に示す一例では、登録済みのマクロとして、料理中を示すコンテキストと対応付いた、「Ｐｌａｙ　ｔｈｅ　ｍｕｓｉｃ　ｗｈｉｌｅ　ｃｏｏｋｉｎｇ」という名称のマクロが存在している。
　この際、ユーザによる情報処理端末１０の利用が進み機能実行指示履歴２６４が蓄積されると、中華のレシピを聞きながら（あるいは、見ながら）、ユーザが上記のマクロを実行しているケースが増加する場合も想定される。この際、本実施形態に係る発話学習適応部２５０は、中華の料理に係るコンテキストに基づいて、「Ｐｌａｙ　ｔｈｅ　ｍｕｓｉｃ　ｗｈｉｌｅ　ｃｈｉｎｅｓｅ　ｃｏｏｋｉｎｇ」という名称で、登録済みマクロを更新してもよい。
　上記の名称更新によれば、使用時の状況がより具体化された名称となることで、ユーザの記憶に定着しやすくなるとともに、その後に他の具体化コンテキストである洋食や和食の料理中を示すコンテキストに対応づいた別のマクロを推定しユーザに提示しやすくなる効果が期待される。
　一方、ユーザが洗い物をしながらマクロを実行するケースが増加した場合、料理中を示すコンテキストに加え、洗い物中を示すコンテキスとともに、両コンテキストを包含したキッチンにいることを示すコンテキストが新たに検出され得る。この際、発話学習適応部２５０は、「Ｐｌａｙ　ｔｈｅ　ｍｕｓｉｃ　ｉｎ　ｋｉｔｃｈｅｎ」という名称で、登録済みマクロを更新してもよい。
　上記の命名によれば、これまで料理中を示すコンテキストのみに対応づいていたマクロを、ユーザがキッチンにいる際により広範囲に実行することが可能となる。
　以上、本実施形態に係る名称の更新について説明した。なお、上記では、本実施形態に係る発話学習適応部２５０が、取得したコンテキストに基づいてマクロの命名や名称更新を行い、応答制御部２７０が、名称が発話されたことに基づいて、マクロの実行を制御する場合を主な例として説明した。
　一方、本実施形態に係る応答制御部２７０は、マクロの名称の決定に用いられたコンテキストと、マクロの実行を指示するユーザの発話時点において取得されるコンテキストが一致する場合、ユーザがマクロの名称に含まれるコンテキスト文言を発話しない場合であっても、対応するマクロの実行を制御してよい。
　例えば、図１２に示した一例において、キッチンにいるユーザが、「Ｐｌａｙ　ｔｈｅ　ｍｕｓｉｃ」と発話した場合、応答制御部２７０は、ユーザがキッチンにいることが画像認識部２３０やセンサ認識部２４０により認識されたことに基づいて、「Ｐｌａｙ　ｔｈｅ　ｍｕｓｉｃ　ｉｎ　ｋｉｔｃｈｅｎ」という名称を有するマクロの実行を制御してよい。
　また、応答制御部２７０は、予測される近い将来のコンテキストに基づいて、上記のような制御を行ってよい。例えば、画像認識部２３０が、ユーザがフライパンなどの調理器具を棚から取り出していることを認識した場合、ユーザが数秒～数分後には、料理中となることが予測される。この際、応答制御部２７０は、ユーザが、「Ｐｌａｙ　ｔｈｅ　ｍｕｓｉｃ」と発話した場合であっても、「Ｐｌａｙ　ｔｈｅ　ｍｕｓｉｃ　ｗｈｉｌｅ　ｃｏｏｋｉｎｇ」という名称を有するマクロの実行を制御してよい。
　このように、本実施形態に係る応答制御部２７０によれば、マクロの実行を指示するユーザの発話時に取得されるコンテキストに基づいて、マクロの名称に含まれるコンテキスト文言を補完することが可能である。
　次に、ユーザのフィードバックに基づく制御について説明する。図１３Ａおよび図１３Ｂは、本実施形態に係るユーザのフィードバックに基づく制御の一例について説明するための図である。
　例えば、図１３Ａには、アーティストＢの楽曲再生、音量３０の設定、次の曲への移行に係る機能実行指示を含むマクロが、「朝の音楽をかけて」という名称で存在する場合において、ユーザＵが発話ＵＯ１４により当該マクロの実行を指示した後、音量１５への変更を発話ＵＯ１５により指示した場合の一例が示されている。
　この際、本実施形態に係る発話学習適応部２５０は、発話ＵＯ１５を、マクロに基づき実行された機能に対するユーザからのフィードバックとして認識し、当該フィードバックに基づく制御を行ってよい。例えば、図１３Ａに示すように、マクロに基づき実行された音量設定機能に対しユーザが実行内容の修正を指示した場合、発話学習適応部２５０は、当該修正の指示に基づく制御を行う。
　この際、発話学習適応部２５０は、例えば、図１３Ｂの上段に示すように、修正指示を反映し、インテント「ＳＥＴ＿ＶＯＬＵＭＥ」に係るエンティティ「１５」を含む新たなマクロを別名称で推定してもよい。
　また、発話学習適応部２５０は、上記のようなフィードバックに基づいて、登録済みのマクロを修正してもよい。例えば、マクロに基づき実行された機能に対しユーザが実行内容の修正を指示した場合、発話学習適応部２５０は、図１３Ｂの中段に示すように、登録済みのマクロにおいて、修正対象となる機能（インテント）に係る実行内容（エンティティ）を変数化してもよい。
　この場合、ユーザは、例えば、「音量１５で朝の音楽をかけて」や、「音量３０で朝の音楽をかけて」と発話することで、変数化されたエンティティの内容を指定することが可能である。
　一方で、発話学習適応部２５０は、図１３Ｂの下段に示すように、登録済みのマクロにおいて、エンティティを直接更新してもよい。
　このように、本実施形態に係る発話学習適応部２５０によれば、ユーザのフィードバックに基づいて、新たなマクロの推定や、登録済みマクロの更新を行うことができ、ユーザの現状のニーズにより則したマクロを提供することが可能となる。
　以上、本実施形態に係る情報処理サーバ２０が有する機能について詳細に説明した。なお、本実施形態に係る情報処理サーバ２０は、上記で述べた制御の他にも、ユーザの利便性を高める種々の制御を行うことができる。
　例えば、本実施形態に係る応答制御部２７０は、複数のマクロを情報処理端末１０を介してユーザに提示し、ユーザに任意のマクロを選択させてもよい。当該機能は、推定マクロの提示や発話ガイドの提示の両者において、ともに有効である。
　また、例えば、本実施形態に係る応答制御部２７０は、推定されたマクロの提示において、当該マクロの実行内容の範囲を明示的に示してもよい。係る機能によれば、ユーザが新たなマクロに対応する実行内容を明確に把握することが可能となる。
　また、例えば、本実施形態に係る発話学習適応部２５０は、敢えて同一の名称で複数のマクロを登録してもよい。この場合、応答制御部２７０は、マクロの実行が指示された際に、ユーザにどのマクロを実行するのかを情報処理端末１０を介して問い合わせてよい。
　このように、本実施形態に係る情報処理サーバ２０の機能は、柔軟に変更や拡張が可能である。
　＜２．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例について説明する。図１４は、本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例を示すブロック図である。図１４を参照すると、情報処理サーバ２０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ８７１）
　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
　（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
　（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
　（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
　（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
　（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
　（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
　（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜３．まとめ＞
　以上説明したように、本開示の一実施形態に係る情報処理方法を実現する情報処理サーバ２０は、ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定する発話学習適応部２５０と、マクロに係る情報提示を制御する応答制御部２７０と、を備える。また、本開示の一実施形態に係る発話学習適応部２５０は、上記クラスタが含む複数の機能実行指示が行われた際に取得されたコンテキストに基づいて、推定したマクロの名称を決定すること、を特徴の一つとする。また、本開示の一実施形態に係る応答制御部２７０は、ユーザに対するマクロの名称の通知を制御すること、を特徴の一つとする。ここで、上記における複数の機能実行指示は、発話による機能実行指示を少なくとも１つ含むものとする。係る構成によれば、より覚えやすいマクロの名称を自動で決定することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理サーバ２０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　また、本明細書の情報処理サーバ２０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ２０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定する発話学習適応部と、
　前記マクロに係る情報提示を制御する応答制御部と、
　を備え、
　前記発話学習適応部は、前記クラスタが含む複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて、推定した前記マクロの名称を決定し、
　前記応答制御部は、前記ユーザに対する前記マクロの名称の通知を制御し、
　複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含む、
情報処理装置。
（２）
　前記発話学習適応部は、前記コンテキストと前記クラスタが含む複数の前記機能実行指示の内容とに基づいて、前記マクロの名称を決定する、
前記（１）に記載の情報処理装置。
（３）
　前記発話学習適応部は、前記コンテキストの要旨と前記クラスタが含む複数の前記機能実行指示の要旨とを含む名称を決定する、
前記（２）に記載の情報処理装置。
（４）
　前記発話学習適応部は、取得された複数の前記コンテキストのうち、依存性が高いコンテキストに基づいて、前記マクロの名称を決定する、
前記（１）～（３）のいずれかに記載の情報処理装置。
（５）
　前記発話学習適応部は、推定した前記マクロと類似する登録済みの前記マクロが存在する場合、推定した前記マクロと登録済みの前記マクロとの差分に基づいて、推定した前記マクロの名称を決定する、
前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
　前記発話学習適応部は、推定した前記マクロと登録済みの前記マクロとの間における前記コンテキストの差分、または前記クラスタが含む複数の前記機能実行指示の差分に基づいて、推定した前記マクロの名称を決定する、
前記（５）に記載の情報処理装置。
（７）
　前記発話学習適応部は、推定した前記マクロと登録済みの前記マクロとの間における周期性コンテキストの差分に基づいて、推定した前記マクロの名称を決定する、
前記（６）に記載の情報処理装置。
（８）
　前記発話学習適応部は、推定した前記マクロと登録済みの前記マクロとの間における前記機能実行指示の過不足に基づいて、推定した前記マクロの名称を決定する、
前記（６）または（７）に記載の情報処理装置。
（９）
　前記発話学習適応部は、登録済みの前記マクロに関し、登録時とは異なる前記コンテキストへの依存性が高くなったことが推定された場合、前記依存性の高い前記コンテキストに基づいて、登録済みの前記マクロの名称を更新する、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記発話学習適応部は、登録済みの前記マクロに基づき実行された機能に対する前記ユーザからのフィードバックに基づいて、当該登録済みの前記マクロを修正する、
前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）
　前記発話学習適応部は、登録済みの前記マクロに基づき実行された機能に対し前記ユーザが実行内容の修正を指示した場合、当該登録済みの前記マクロにおいて、当該機能に係る前記実行内容を変数化する、
前記（１０）に記載の情報処理装置。
（１２）
　前記発話学習適応部は、登録済みの前記マクロに基づき実行された機能に対し前記ユーザが実行内容の修正を指示した場合、当該登録済みの前記マクロにおいて、当該機能に係る前記実行内容を更新する、
前記（１０）に記載の情報処理装置。
（１３）
　登録済みの前記マクロに基づき実行された機能に対する前記ユーザからのフィードバックに基づいて、前記フィードバックを反映した新たな前記マクロを推定する、
前記（１）～（１２）のいずれかに記載の情報処理装置。
（１４）
　前記発話学習適応部は、前記クラスタの複合度または前記クラスタの検出頻度に基づいて、前記クラスタを前記マクロとして推定する、
前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
　ユーザによる複数の機能実行指示に係るクラスタリングに基づいて登録されたマクロの名称が、前記ユーザにより発話されたことに基づいて、前記マクロに対応する複数の機能の実行を制御する応答制御部、
　を備え、
　複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含み、
　前記マクロの名称は、複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて決定された名称である、
情報処理装置。
（１６）
　前記応答制御部は、前記マクロの名称の決定に用いられた前記コンテキストと、前記マクロの実行を指示する前記ユーザの発話時点において取得される前記コンテキストとが一致する場合、前記ユーザが前記マクロの名称に含まれるコンテキスト文言を省略して発話した場合であっても、前記マクロに対応する複数の機能を実行させる、
前記（１５）に記載の情報処理装置。
（１７）
　前記応答制御部は、前記ユーザによる登録済みの前記マクロの実行を補助する発話ガイドに係る表示を制御する、
前記（１５）または（１６）に記載の情報処理装置。
（１８）
　前記応答制御部は、前記ユーザの発話の意図が、登録済みの前記マクロに定義される複数の意図のいずれかに一致する場合、前記発話ガイドを表示させる、
前記（１７）に記載の情報処理装置。
（１９）
　プロセッサが、ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定することと、
　前記マクロに係る情報提示を制御することと、
　を含み、
　前記推定することは、前記クラスタが含む複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて、推定した前記マクロの名称を決定すること、をさらに含み、
　前記制御することは、前記ユーザに対する前記マクロの名称の通知を制御すること
をさらに含み、
　複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含む、
情報処理方法。
（２０）
　プロセッサが、ユーザによる複数の機能実行指示に係るクラスタリングに基づいて登録されたマクロの名称が、前記ユーザにより発話されたことに基づいて、前記マクロに対応する複数の機能の実行を制御すること、
　を含み、
　複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含み、
　前記マクロの名称は、複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて決定された名称である、
情報処理方法。
　１０　　　情報処理端末
　２０　　　情報処理サーバ
　２１０　　音声認識部
　２２０　　意味解析部
　２３０　　画像認識部
　２４０　　センサ認識部
　２５０　　発話学習適応部
　２６０　　記憶部
　２６２　　機能テンプレート
　２６４　　機能実行指示履歴
　２６６　　マクロ学習データ
　２７０　　応答制御部

Claims (20)

  1. 　ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定する発話学習適応部と、
    　前記マクロに係る情報提示を制御する応答制御部と、
    　を備え、
    　前記発話学習適応部は、前記クラスタが含む複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて、推定した前記マクロの名称を決定し、
    　前記応答制御部は、前記ユーザに対する前記マクロの名称の通知を制御し、
    　複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含む、
    情報処理装置。
  2. 　前記発話学習適応部は、前記コンテキストと前記クラスタが含む複数の前記機能実行指示の内容とに基づいて、前記マクロの名称を決定する、
    請求項１に記載の情報処理装置。
  3. 　前記発話学習適応部は、前記コンテキストの要旨と前記クラスタが含む複数の前記機能実行指示の要旨とを含む名称を決定する、
    請求項２に記載の情報処理装置。
  4. 　前記発話学習適応部は、取得された複数の前記コンテキストのうち、依存性が高いコンテキストに基づいて、前記マクロの名称を決定する、
    請求項１に記載の情報処理装置。
  5. 　前記発話学習適応部は、推定した前記マクロと類似する登録済みの前記マクロが存在する場合、推定した前記マクロと登録済みの前記マクロとの差分に基づいて、推定した前記マクロの名称を決定する、
    請求項１に記載の情報処理装置。
  6. 　前記発話学習適応部は、推定した前記マクロと登録済みの前記マクロとの間における前記コンテキストの差分、または前記クラスタが含む複数の前記機能実行指示の差分に基づいて、推定した前記マクロの名称を決定する、
    請求項５に記載の情報処理装置。
  7. 　前記発話学習適応部は、推定した前記マクロと登録済みの前記マクロとの間における周期性コンテキストの差分に基づいて、推定した前記マクロの名称を決定する、
    請求項６に記載の情報処理装置。
  8. 　前記発話学習適応部は、推定した前記マクロと登録済みの前記マクロとの間における前記機能実行指示の過不足に基づいて、推定した前記マクロの名称を決定する、
    請求項６に記載の情報処理装置。
  9. 　前記発話学習適応部は、登録済みの前記マクロに関し、登録時とは異なる前記コンテキストへの依存性が高くなったことが推定された場合、前記依存性の高い前記コンテキストに基づいて、登録済みの前記マクロの名称を更新する、
    請求項１に記載の情報処理装置。
  10. 　前記発話学習適応部は、登録済みの前記マクロに基づき実行された機能に対する前記ユーザからのフィードバックに基づいて、当該登録済みの前記マクロを修正する、
    請求項１に記載の情報処理装置。
  11. 　前記発話学習適応部は、登録済みの前記マクロに基づき実行された機能に対し前記ユーザが実行内容の修正を指示した場合、当該登録済みの前記マクロにおいて、当該機能に係る前記実行内容を変数化する、
    請求項１０に記載の情報処理装置。
  12. 　前記発話学習適応部は、登録済みの前記マクロに基づき実行された機能に対し前記ユーザが実行内容の修正を指示した場合、当該登録済みの前記マクロにおいて、当該機能に係る前記実行内容を更新する、
    請求項１０に記載の情報処理装置。
  13. 　登録済みの前記マクロに基づき実行された機能に対する前記ユーザからのフィードバックに基づいて、前記フィードバックを反映した新たな前記マクロを推定する、
    請求項１に記載の情報処理装置。
  14. 　前記発話学習適応部は、前記クラスタの複合度または前記クラスタの検出頻度に基づいて、前記クラスタを前記マクロとして推定する、
    請求項１に記載の情報処理装置。
  15. 　ユーザによる複数の機能実行指示に係るクラスタリングに基づいて登録されたマクロの名称が、前記ユーザにより発話されたことに基づいて、前記マクロに対応する複数の機能の実行を制御する応答制御部、
    　を備え、
    　複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含み、
    　前記マクロの名称は、複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて決定された名称である、
    情報処理装置。
  16. 　前記応答制御部は、前記マクロの名称の決定に用いられた前記コンテキストと、前記マクロの実行を指示する前記ユーザの発話時点において取得される前記コンテキストとが一致する場合、前記ユーザが前記マクロの名称に含まれるコンテキスト文言を省略して発話した場合であっても、前記マクロに対応する複数の機能を実行させる、
    請求項１５に記載の情報処理装置。
  17. 　前記応答制御部は、前記ユーザによる登録済みの前記マクロの実行を補助する発話ガイドに係る表示を制御する、
    請求項１５に記載の情報処理装置。
  18. 　前記応答制御部は、前記ユーザの発話の意図が、登録済みの前記マクロに定義される複数の意図のいずれかに一致する場合、前記発話ガイドを表示させる、
    請求項１７に記載の情報処理装置。
  19. 　プロセッサが、ユーザによる複数の機能実行指示に係るクラスタリングを実行し、複数の前記機能実行指示を含むクラスタをマクロとして推定することと、
    　前記マクロに係る情報提示を制御することと、
    　を含み、
    　前記推定することは、前記クラスタが含む複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて、推定した前記マクロの名称を決定すること、をさらに含み、
    　前記制御することは、前記ユーザに対する前記マクロの名称の通知を制御すること
    をさらに含み、
    　複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含む、
    情報処理方法。
  20. 　プロセッサが、ユーザによる複数の機能実行指示に係るクラスタリングに基づいて登録されたマクロの名称が、前記ユーザにより発話されたことに基づいて、前記マクロに対応する複数の機能の実行を制御すること、
    　を含み、
    　複数の前記機能実行指示は、発話による前記機能実行指示を少なくとも１つ含み、
    　前記マクロの名称は、複数の前記機能実行指示が行われた際に取得されたコンテキストに基づいて決定された名称である、
    情報処理方法。
PCT/JP2019/009538 2018-06-07 2019-03-08 情報処理装置および情報処理方法 WO2019235013A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020523522A JP7136201B2 (ja) 2018-06-07 2019-03-08 情報処理装置および情報処理方法
US15/733,885 US20210224066A1 (en) 2018-06-07 2019-03-08 Information processing device and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-109314 2018-06-07
JP2018109314 2018-06-07

Publications (1)

Publication Number Publication Date
WO2019235013A1 true WO2019235013A1 (ja) 2019-12-12

Family

ID=68769332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009538 WO2019235013A1 (ja) 2018-06-07 2019-03-08 情報処理装置および情報処理方法

Country Status (3)

Country Link
US (1) US20210224066A1 (ja)
JP (1) JP7136201B2 (ja)
WO (1) WO2019235013A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027753A (ko) * 2018-09-05 2020-03-13 삼성전자주식회사 전자 장치 및 단축 명령어에 대응하는 태스크 수행 방법
US11605375B2 (en) * 2021-03-05 2023-03-14 Capital One Services, Llc Systems and methods for dynamically updating machine learning models that provide conversational responses

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243602A (ja) * 2006-03-08 2007-09-20 Bandai Co Ltd 電子装置の制御装置および制御方法
US20140267933A1 (en) * 2013-03-15 2014-09-18 Toshiba America Information Systems, Inc. Electronic Device with Embedded Macro-Command Functionality

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9575963B2 (en) * 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
US9064491B2 (en) * 2012-05-29 2015-06-23 Nuance Communications, Inc. Methods and apparatus for performing transformation techniques for data clustering and/or classification
US9286892B2 (en) * 2014-04-01 2016-03-15 Google Inc. Language modeling in speech recognition
WO2019077897A1 (ja) * 2017-10-17 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11688268B2 (en) * 2018-01-23 2023-06-27 Sony Corporation Information processing apparatus and information processing method
US10783879B2 (en) * 2018-02-22 2020-09-22 Oath Inc. System and method for rule based modifications to variable slots based on context
JP7491309B2 (ja) * 2019-05-30 2024-05-28 ソニーグループ株式会社 情報処理装置
US12039975B2 (en) * 2020-09-21 2024-07-16 Amazon Technologies, Inc. Dialog management for multiple users

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243602A (ja) * 2006-03-08 2007-09-20 Bandai Co Ltd 電子装置の制御装置および制御方法
US20140267933A1 (en) * 2013-03-15 2014-09-18 Toshiba America Information Systems, Inc. Electronic Device with Embedded Macro-Command Functionality

Also Published As

Publication number Publication date
JPWO2019235013A1 (ja) 2021-07-15
US20210224066A1 (en) 2021-07-22
JP7136201B2 (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
KR102444709B1 (ko) 디바이스들 간의 상태 상호작용의 캡슐화 및 동기화
JP6428954B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20210104232A1 (en) Electronic device for processing user utterance and method of operating same
US11620984B2 (en) Human-computer interaction method, and electronic device and storage medium thereof
WO2017168870A1 (ja) 情報処理装置及び情報処理方法
US20150331665A1 (en) Information provision method using voice recognition function and control method for device
CN111508511A (zh) 实时变声方法及装置
JP6904361B2 (ja) 情報処理装置、及び情報処理方法
US12062360B2 (en) Information processing device and information processing method
JP2017144521A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019235013A1 (ja) 情報処理装置および情報処理方法
KR20220037819A (ko) 복수의 기동어를 인식하는 인공 지능 장치 및 그 방법
CN103426429B (zh) 语音控制方法和装置
JPWO2019155717A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN113470649B (zh) 语音交互方法及装置
WO2019239659A1 (ja) 情報処理装置および情報処理方法
JPWO2017175442A1 (ja) 情報処理装置、および情報処理方法
WO2017199486A1 (ja) 情報処理装置
WO2020026799A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023040633A1 (zh) 一种视频生成方法、装置、终端设备及存储介质
WO2019146187A1 (ja) 情報処理装置および情報処理方法
JP2016156877A (ja) 情報処理装置、情報処理方法およびプログラム
WO2017187677A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6962849B2 (ja) 会議支援装置、会議支援制御方法およびプログラム
JP7428130B2 (ja) マクロのセキュリティリスクの度合いを判定する情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19815069

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020523522

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19815069

Country of ref document: EP

Kind code of ref document: A1