WO2018116531A1 - サーバ、情報処理方法、ネットワークシステム、および端末 - Google Patents

サーバ、情報処理方法、ネットワークシステム、および端末 Download PDF

Info

Publication number
WO2018116531A1
WO2018116531A1 PCT/JP2017/031344 JP2017031344W WO2018116531A1 WO 2018116531 A1 WO2018116531 A1 WO 2018116531A1 JP 2017031344 W JP2017031344 W JP 2017031344W WO 2018116531 A1 WO2018116531 A1 WO 2018116531A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
message
terminal
server
cpu
Prior art date
Application number
PCT/JP2017/031344
Other languages
English (en)
French (fr)
Inventor
孝之 永松
実雄 阪本
竹内　正樹
慎一郎 太田
真恵加 城山
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2018116531A1 publication Critical patent/WO2018116531A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • One embodiment of the present invention relates to a server, an information processing method, a network system, and a terminal technology for outputting voice such as a message.
  • Patent Document 1 discloses a control device, a control method, and a control program.
  • the control device is searched by a search unit that searches for advertisement information that is information related to an advertisement that is output as a response message, based on the characteristics of sound in a conversation between the dialog agent system and the user, and the search unit.
  • an output control unit that controls to output an advertisement related to the advertisement information as a response message. For this reason, the control apparatus can output a message suitable for the user.
  • An object of one embodiment of the present invention is to provide a technique for realizing a more preferable dialogue with a user.
  • a communication interface for communicating with a terminal having a speaker, a message is output to the terminal via the communication interface, and the user receives a message based on the user's operation acquired via the terminal.
  • a processor for determining whether or not the user has heard.
  • the processor determines that the user has heard the message with a first level of interest when the user action is a first predetermined action, and the user action is a second predetermined action. In some cases, it is determined that the user has heard the message with a second level of interest.
  • the processor causes the terminal to output an inquiry about a previous message as a message via the communication interface, and obtains an answer from the user to the inquiry as a user action.
  • the processor causes the terminal to output a plurality of messages directed to the user among a plurality of round trips constituting the dialog as a message via the communication interface, and a plurality of the dialogs constituting the dialog as the user's operation. Get multiple messages from the user during the round trip.
  • the processor determines a first time zone for each user based on the user action acquired from the terminal.
  • the processor varies the criterion of determination based on the user's operation in the first time zone and the other time zone for each user.
  • the processor causes the terminal to output the first information via the communication interface when the user performs a positive operation on the message, and the user performs a positive operation on the message. If not, the terminal outputs the second information, or the terminal does not output the first information or the second information.
  • the processor causes the terminal to output that a point is given when the user performs a predetermined operation via the communication interface.
  • the processor determines that the user has heard the message based on the user's operation as touching the terminal.
  • an information processing method in a server including a communication interface and a processor is provided.
  • the processor causes the terminal to output a message via the communication interface, and whether the user has heard the message based on the user's operation acquired from the terminal via the communication interface. And a step of determining.
  • a terminal having a speaker for outputting a message, and causing the terminal to output a message, it is determined whether or not the user has heard the message based on the user's operation acquired from the terminal.
  • a network system is provided.
  • a speaker a microphone or a camera or other sensor, a communication interface, and a message output to the speaker based on information received from the server via the communication interface, the microphone or camera or Providing the server with information indicating the user's actions acquired through other sensors, and the voice when it is determined that the user is listening to the message based on the data from the server or the user is not listening to the message
  • a terminal including a processor for outputting a sound when judged to a speaker.
  • the processor provides the server with information indicating that the user has touched the terminal as a user action.
  • FIG. 1 is a diagram illustrating an overall configuration of a network system 1 according to a first embodiment. It is a figure which shows the operation
  • the network system 1 according to the present embodiment mainly includes a voice service server 100, other information providing servers 100B and 100C, and electric devices (communication terminals) such as a robot 300A, a refrigerator, and an air conditioner.
  • the electrical device according to the present embodiment outputs a message by voice based on data from the voice service server 100 in response to a message from a user.
  • the electric device is not limited to the robot 300A, but includes a refrigerator, a microwave oven, an air conditioner, a washing machine, a vacuum cleaner, an air purifier, a humidifier, a dehumidifier, a rice cooker, a lighting appliance, a mobile phone, AV (audio / visual) equipment such as smartphones, televisions, hard disk recorders, projectors, music players, game consoles, personal computers, built-in lighting, solar power generators, intercoms, water heaters, and hot water washing toilet seat controllers, etc. It may be.
  • these electric devices are also collectively referred to as an electric device 300.
  • a dialogue is performed, that is, a voice message is exchanged when the user talks to the electric device 300 such as the robot 300A or the electric device 300 talks to the user.
  • the voice service server 100 causes the electric device 300 to output a voice message or obtains a voice message from the user via the electric device 300.
  • the voice service server 100 determines whether or not the user has heard the voice message that has been output in advance, in accordance with the user's reaction. For example, as shown in FIG. 2, the voice service server 100 determines whether or not the user has heard the previous message based on a predetermined message from the user.
  • the voice service server 100 determines whether or not the user is interested in the previously output voice message or a topic related to the message according to the reaction of the user. For example, as shown in FIG. 2, the voice service server 100 determines whether or not the user has heard the previous message, topic, or theme with interest based on a predetermined message from the user.
  • the voice service server 100 determines whether the user has listened to the message output from the electrical device 300 with a strong interest, whether the user has listened with a normal interest, or whether the user has listened with no interest, It is possible to acquire a determination result regarding whether the user is listening or a total result based on the determination result.
  • a specific configuration of the network system 1 for realizing such a function will be described in detail.
  • voice service server 100 includes a CPU (Central Processing Unit) 110, a memory 120, an operation unit 140, and a communication interface 160 as main components.
  • CPU Central Processing Unit
  • the CPU 110 controls each unit of the voice service server 100 by executing a program stored in the memory 120.
  • the CPU 110 executes programs stored in the memory 120 and executes various processes described later by referring to various data.
  • the memory 120 is realized by various RAMs (Random Access Memory), various ROMs (Read-Only Memory), and the like.
  • the memory 120 stores a program executed by the CPU 110, data generated by execution of the program by the CPU 110, input data, a database used for other voice services, and the like.
  • the memory 120 stores data of a plurality of types of keywords at a first level indicating that the user is interested in a message, and a plurality of types of keywords at a second level indicating that the user has just listened to the message. Etc. are stored.
  • the operation unit 140 receives a command from a service administrator and inputs the command to the CPU 110.
  • the communication interface 160 transmits data from the CPU 110 to another device such as the electric device 300 via the Internet, a carrier network, a router, or the like. Conversely, the communication interface 160 receives data from another device via the Internet, a carrier network, a router, etc., and passes it to the CPU 110.
  • the configuration of the other information providing servers 100B and 100C differs in the data of the memory 120 and the processing of the CPU 110, but the hardware configuration is generally the same as that of the voice service server 100, and therefore the description thereof will not be repeated here.
  • the CPU 110 of the voice service server 100 receives voice data from the electrical device 300 via the communication interface 160, the CPU 110 executes the following processing. First, the CPU 110 extracts a message from the voice data and analyzes the message (step S102).
  • the CPU 110 refers to the data in the memory 120 to determine whether the user is interested in the previous message, a series of messages, the topic, and the theme (step S112). For example, when the extracted message includes a first level keyword such as “I love you!” Or “I like you” or a question from the user, the user is interested in a series of messages. If the message does not contain the first level keyword, it is determined that the user did not show interest in the series of messages. Alternatively, the CPU 110 issues a quiz to the user via the electrical device 300, and when there is a response from the user, the CPU 110 determines that the user is interested in a series of messages, and there is no response to the quiz. In addition, it may be determined that the user did not show interest in the series of messages.
  • a first level keyword such as “I love you!” Or “I like you” or a question from the user
  • the CPU 110 issues a quiz to the user via the electrical device 300, and when there is a response from the user, the CPU 110 determines that the user is
  • CPU 110 determines the user's specific information, the specific information of the previous message, the specific information of the theme, and the time zone. Corresponding data is stored in the memory 120 indicating that it is interested (step S114). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 refers to the data in memory 120 to determine whether the user has heard the message (step S122). . For example, if the extracted message contains a second level keyword such as “Yes” or “Hey.”, The CPU 110 determines that the user has expressed interest in the message, and the message includes the second message. If the keyword of the level is not included, it is determined that the user did not show interest in the message. Alternatively, when the user answers “Yes,” or “Yes.” After asking the question “Hey, are you listening?”, The user is judged to have heard the message, and the question is answered. On the other hand, if there is an answer such as “No” or “No” or no answer, it is determined that the user did not listen to the message.
  • CPU 110 If it is determined that the user has heard the message (YES in step S122), CPU 110 associates the specific information of the user with the specific information of the previous message, the specific information of the theme, and the time zone. Then, data indicating that the user has heard the message is stored in the memory 120 (step S124). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 waits for the next audio data from electric device 300.
  • the CPU 110 "per user, per user group such as age / address / gender or the entire user", “per message, per theme, or per time zone", The rate of listening or the rate of interest in the message is calculated and stored in the memory 120, or the information is provided to another server via the communication interface 160.
  • CPU 110 did not listen to the determination result that the message was received with interest as the first level, the determination result that the message was simply heard as the second level, and the message. And the judgment results.
  • the CPU 110 may further aggregate the determination results divided into many levels. For example, the CPU 110 determines whether the user has listened to the message with a strong interest as the first level, whether the user has listened to the message with a normal interest as the second level, A determination result regarding whether or not the user has listened to the message without being interested, or whether the user has not heard, or a result of aggregation based on the determination result may be acquired.
  • the electric device 300 includes a CPU 310, a memory 320, a display 330, an operation unit 340, a camera 350, a communication interface 360, a speaker 370, a microphone 380, and a device driving unit 390 as main components.
  • the CPU 310 controls each unit of the electric device 300 by executing a program stored in the memory 320 or an external storage medium.
  • the memory 320 is realized by various RAMs, various ROMs, and the like.
  • the memory 320 is connected to the device driving program, conversation program, and other programs executed by the CPU 310, data generated by execution of the program by the CPU 310, data received from the voice service server 100 and other servers, and the operation unit 340.
  • the input data is stored.
  • Display 330 outputs characters and images based on signals from CPU 310.
  • the display 330 may simply be lights 330A and 330B as shown in FIG.
  • the operation unit 340 is realized by a button, a touch panel, or the like, receives a command from the user, and inputs the command to the CPU 310.
  • the display 330 and the operation unit 340 may constitute a touch panel.
  • the operation unit 340 may be a proximity sensor, a temperature sensor, or the like.
  • the CPU 310 detects that the user has held his / her hand over the electric device 300 via a proximity sensor or a temperature sensor as the operation unit 340 and starts various operations.
  • the electric device 300 may be a robot, and the electric device 300 may detect that the user strokes or strikes the electric device 300 by arranging the proximity sensor in the vicinity of the forehead.
  • the camera 350 takes an image and delivers the image data to the CPU 310.
  • the CPU 310 may specify the user's movement from the image data, or may provide the image data to the server 100 and the server 100 may specify the user's movement.
  • the communication interface 360 is realized by a communication module such as a wireless LAN communication or a wired LAN.
  • the communication interface 360 exchanges data with other devices such as the voice service server 100 by wired communication or wireless communication.
  • Speaker 370 outputs sound based on a signal from CPU 310. More specifically, in the present embodiment, CPU 310 causes speaker 370 to output a voice message based on voice data received from server 100 via communication interface 360. Alternatively, CPU 310 creates an audio signal based on text data received from server 100 via communication interface 360 and causes speaker 370 to output an audio message. Alternatively, CPU 310 reads out voice data of the message from memory 320 based on the message ID received from server 100 via communication interface 360 and causes speaker 370 to output the voice message.
  • the microphone 380 creates an audio signal based on external audio and inputs it to the CPU 310.
  • the device driving unit 390 controls each unit (such as a motor and a heater) of the electric device 300 based on a signal from the CPU 310.
  • the voice service is provided with a provider of conversation information and advertisement information, for each user or for each user layer such as age, address, and sex, or for a user. “Total”, “per message, per topic, per theme, or per time period”, “percentage of messages or interest in messages”, etc. Such information can be used for calculation of fees collected from advertisement providers, calculation of fees paid to other information providers, various marketing, and the like.
  • the voice service server 100 outputs a voice message via the electric device 300, and whether or not the user has heard the voice message based on the user's reaction acquired via the electric device 300. And whether or not the user has expressed interest in the voice message is determined and totaled.
  • the voice service server 100 outputs a voice message via the electric device 300, and whether or not the user has heard the voice message based on the user's reaction acquired via the electric device 300. And whether or not the user has expressed interest in the voice message is determined and totaled.
  • it is not limited to such a configuration.
  • the CPU 110 of the voice service server 100 determines / aggregates whether or not the user has heard the voice message based on the user's reaction acquired via the electric device 300, and It is not necessary to determine whether or not the voice message has shown interest.
  • the CPU 110 of the voice service server 100 determines / aggregates whether the user is interested in the voice message based on the user's reaction acquired through the electric device 300, It is not necessary to determine whether or not the user has heard a voice message.
  • the voice service server 100 determines / aggregates whether or not the user has heard the voice message based on the content of the user's message acquired via the electric device 300, Judgment and aggregation of whether or not they showed interest in voice messages.
  • the method of determining whether or not the user has listened to the message or determining whether or not the user is interested in the message is not limited to such a configuration.
  • the CPU 110 of the voice service server 100 determines whether the electric device 300 is listening to a series of messages being acquired based on whether or not the user has spoken to the electric device 300 a predetermined number of times. It may be determined / aggregated whether the electric device 300 is interested in a series of messages being acquired.
  • the memory 120 stores the number of message responses for each user.
  • CPU 110 extracts a message from the voice data and analyzes the message (step S102). At this time, the CPU 110 increments the user's reaction count by 1 (step S104).
  • CPU 110 determines whether or not the user has responded to a message output from electric device 300 a predetermined number of times or more, that is, whether or not the user has input a message to electric device 300 a predetermined number of times (step S106).
  • CPU 110 executes the processing from step S112.
  • the CPU 110 of the voice service server 100 determines whether or not the user is interested in the message output from the electric device 300 based on the number of times the user has reacted, or the message output from the electric device 300 by the user. It may be judged whether or not it has been heard.
  • CPU 110 extracts a message from the voice data and analyzes the message (step S102). At this time, the CPU 110 increments the user's reaction count by 1 (step S104).
  • CPU 110 determines whether or not the user has responded to a message output from electric device 300 for a first predetermined number of times or more, for example, whether or not the user has input a message to electric device 300 for a first predetermined number of times or more. (Step S312).
  • CPU 110 When the user has input a message to electric device 300 for the first predetermined number of times or more (if YES in step S312), CPU 110 associates the user with the previous message or theme, Data indicating that the user is interested in the message and the theme is stored in the memory 120 (step S314). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 performs the second predetermined number of times or more for which the user is less than the first predetermined number of times. Then, it is determined whether or not it is responding to a message output from the electric device 300, for example, whether or not the user has input a message to the electric device 300 for a second predetermined number of times (step S322).
  • step S322 If the user has input a message to electrical device 300 for a second predetermined number of times or more (if YES in step S322), listen to the message in association with the user and the previous message or theme, etc. Data indicating this is stored in the memory 120 (step S324).
  • CPU 110 waits for audio data from next electrical device 300.
  • the CPU 110 of the voice service server 100 identifies the user's intonation and voice color based on the audio data from the electrical device 300 (step S302), and the user selects the inflection or voice color based on the inflection or voice color. It may be determined / aggregated whether or not a voice message has been heard, or it may be determined / aggregated whether or not the user has expressed interest in the voice message.
  • the voice service server 100 further changes the determination method of whether or not the user has heard the voice message and the determination method of whether or not the user has expressed interest in the voice message according to the time zone, day of the week, or the like. Also good.
  • a time zone in which there is a high possibility of being able to concentrate on messages of the electric device 300 for each user in other words, a time zone in which each user is not busy is called a golden time.
  • the CPU 110 of the voice service server 100 has a high ratio of determination results of “interesting” based on the ratio of determination results of “interesting” to a message for each user or each electrical device 300, for example, 30 Set a time zone such as% or more as the golden time for each user.
  • the CPU 110 has a large sum of both ratios based on the ratio of the determination result of “interested” and the ratio of the determination result of “listening” for each message for each user or each electric device 300, for example, 40 Set a time zone such as% or more as the golden time for each user.
  • the golden time does not need to be set for each user, and may be common to all users or may be set for each attribute such as age, gender, and address.
  • CPU 110 extracts a message from voice data from electric device 300 and analyzes the message (step S502).
  • CPU 110 determines whether the current time corresponds to the golden time based on the ID of the user or the electric device 300 (step S504).
  • the CPU 110 refers to the data in the memory 120 to determine whether the user is interested in the message (step S512). If it is determined that the user has shown interest in the message (YES in step S512), CPU 110 has an interest in association with the user, the previous message, the theme, and the time zone. Is stored in the memory 120 (step S514).
  • CPU110 memorize
  • CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 refers to the data in memory 120 to determine whether the user has heard the message (step). S522). If it is determined that the user has heard the message (YES in step S522), CPU 110 associates the user with the previous message or theme and stores data indicating that the user has heard the message. The data is stored in the memory 120 (step S524). In the present embodiment, CPU 110 stores the time when the user listened to the message from electric device 300 and maintains the reaction frequency for determining the golden time (step S526). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 stores the time when the user did not hear the message from electric device 300, and corrects to reduce the frequency of the golden time. (Step S528). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 waits for the next audio data from electric device 300.
  • the CPU 110 of the voice service server 100 does not make the above determination during the golden time, determines whether the user has heard the voice message when it is not the golden time, and the user is interested in the voice message. It may also be determined whether or not This is effective when it is desired to check whether or not a message of a target theme has been heard when the user has no room.
  • the CPU 110 of the voice service server 100 determines whether or not the user is interested in the voice message during the golden time. It may be determined whether or not.
  • a criterion for determining the golden time and a criterion for other times may be prepared.
  • the “first criterion” is for the response when the user is most interested in the message or theme.
  • the answer from the user is 20 characters or more, or the number of times of interaction with the user. Is 10 times or more, that is, the user has input a message 10 times or more.
  • the “second criterion” is for a response when the user is interested in a message or a theme next time.
  • the response from the user is 14 characters or more, or the number of dialogues with the user is 7 times. That is, the user has input a message seven times or more.
  • the “third criterion” is for a response when the user is interested in a message or a theme next time. For example, the answer from the user is 7 characters or more, or the number of times of interaction with the user is 4 More than once, that is, the user has entered a message four times or more.
  • the “fourth criterion” is for a response when the user is not most interested in the message or theme. For example, the response from the user is one character or more, or the number of times of interaction with the user is one or more. That is, the user has input a message once or more.
  • CPU 110 extracts a message from voice data from electric device 300 and analyzes the message (step S502).
  • CPU110 judges whether it is a golden time (step S504).
  • CPU 110 refers to the data in memory 120 to determine whether the user has shown interest in the message based on the first criterion (Ste S512). If it is determined that the user is interested in the message (YES in step S512), CPU 110 associates data indicating that the user is interested in memory 120 in association with specific information such as the user and the message. Store (step S514).
  • CPU110 memorize
  • CPU 110 refers to the data in memory 120 and the user listens to the message based on the third criterion. It is determined whether or not (step S522). If it is determined that the user has heard the message (YES in step S522), CPU 110 stores in memory 120 data indicating that the user has heard the message in association with the user and specific information such as the message. (Step S524). In the present embodiment, CPU 110 stores the time when the user listened to the message from electric device 300 and maintains the reaction frequency for determining the golden time (step S526). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 stores the time when the user did not hear the message from electric device 300, and the reaction frequency for determining the golden time. Correction is performed to reduce (step S528). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 refers to the data in memory 120 to determine whether the user is interested in the message based on the second criterion. It is determined whether or not (step S562). If it is determined that the user is interested in the message (YES in step S562), CPU 110 associates data indicating that the user is interested in memory 120 in association with specific information such as the user and the message. Store (step S564). CPU110 memorize
  • CPU 110 refers to the data in memory 120, and the user listens to the message based on the fourth criterion. It is determined whether or not (step S572). If it is determined that the user has heard the message (YES in step S572), CPU 110 stores data indicating that the user has heard the message in memory 120 in association with the user and specific information such as the message. (Step S574). In the present embodiment, CPU 110 stores the time when the user listened to the message from electric device 300 and maintains the reaction frequency for determining the golden time (step S576). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 If it is determined that the user has not heard the message (NO in step S572), CPU 110 stores the time when the user did not hear the message from electric device 300, and the reaction frequency for determining the golden time. Correction is performed to reduce (step S578). CPU 110 waits for audio data from next electrical device 300.
  • the voice service server 100 When the user shows an interest or speaks a positive message, the voice service server 100 outputs an advertisement of a company, a product, or a service from the electric device 300 (see FIG. 2), and the user is interested. When not shown or when a negative message is spoken, as shown in FIG. 15, an advertisement of a company, a product, or a service may not be output from the electric device 300.
  • CPU 110 extracts a message from voice data and analyzes the message (step S602).
  • CPU 110 determines whether the user has heard the message (step S612). When CPU 110 determines that the user has not heard the message (NO in step S612), CPU 110 waits for the next audio data from electric device 300.
  • CPU 110 determines whether the message from the user is affirmative (step S632). If the message from the user is affirmative (YES in step S632), CPU 110 associates the user with specific information such as a message, and indicates data indicating that the user has issued a positive message. It stores in the memory 120 (step S634). The CPU 110 transmits the advertisement data via the communication interface 160, and the electric device 300 outputs the advertisement based on the data from the voice service server 100, as shown in FIGS. (Step S636). CPU 110 waits for audio data from next electrical device 300.
  • CPU 110 stores data indicating that the user has issued a message that is not affirmative in association with the user and specific information such as a message. 120 (step S638). As shown in FIG. 15, the CPU 110 waits for audio data from the next electric device 300 without causing the electric device 300 to output an advertisement (step S640).
  • a positive first message is set in advance, and the CPU 110 of the voice service server 100 determines that the user is positive when the user's message includes the first message, and the user's message May not determine that the user is negative if it does not include the first message.
  • a negative second message is set in advance, and the CPU 110 of the voice service server 100 determines that the user is negative when the user message includes the second message, and the user message May determine that the user is affirmative if does not include the second message.
  • a positive first message and a negative second message are set in advance, and the CPU 110 of the voice service server 100 determines that the user is positive when the user's message includes the first message. If the user's message includes the second message, it is determined that the user is negative. If the user's message does not include any message, the determination is suspended until the next message. Good.
  • CPU 110 may determine that the user's message point or accumulated point is positive when it is greater than or equal to a predetermined value, and may determine that the user's message point or cumulative point is not positive when it is less than the predetermined value.
  • the advertisement information is output in response to a positive user message, and the advertisement information is not output in response to a negative user message. I can't.
  • the CPU 110 of the voice service server 100 may output the first advertisement information in response to a positive user message and output the second advertisement information in response to a negative user message.
  • the first advertisement information includes more detailed content than the second advertisement information.
  • the first advertisement information includes a company name and a product
  • the second advertisement information includes either the company name or the product.
  • the CPU 110 of the voice service server 100 outputs information such as news in response to a positive user message and does not output information such as news in response to a negative user message. It may be. Alternatively, detailed information may be output according to a positive user message, and simple information may be output according to a negative user message.
  • the CPU 110 of the voice service server 100 determines that the user message points or accumulated points are greater than or equal to the first predetermined value, or the user message includes the first positive message. Then, it is determined that the state is the first affirmative state, and the detailed information and the advertisement information are output to the electric device 300.
  • CPU 110 determines that the point or cumulative point of the user's message is equal to or greater than a second predetermined value that is less than the first predetermined value and smaller than the first predetermined value, or the user message includes a second positive message. If so, it is determined to be in the second affirmative state, and simple information and advertisement information are output to the electric device 300.
  • CPU 110 determines that the state is negative when the user's message points or accumulated points are less than the second predetermined value, or when the user's message does not include the first and second positive messages. Then, only the simple information may be output to the electric device 300.
  • the CPU 110 of the voice service server 100 outputs advertisement information as the first information and information other than the advertisement as the second information, and when the user is negative. Only the first information may be output. Note that the CPU 110 may not output the first information and the second information when the user is negative. Alternatively, the CPU 110 outputs advertisement information as the first information and information other than the advertisement when the user is positive, and information other than the advertisement as the second information when the user is negative. May be output. Also in this case, the CPU 110 may not output the first information and the second information when the user is negative. ⁇ Sixth Embodiment>
  • the CPU 110 of the voice service server 100 gives a point to the user when the user answers the message of the electric device 300 or is interested in the message of the electric device 300.
  • the user may be notified that points have been given.
  • the CPU 110 may inform the user that “a point will be given if he / she answers the message” before outputting a message that the user wants to hear.
  • step S114 or step S124 the CPU 110 indicates that the user has heard data or a message indicating that he / she is interested in the message in association with specific information such as a message.
  • processing for giving points to the user, processing for outputting the fact that points are given to the user to the electric device 300 via the communication interface 160, and the like are executed (step S716, step S726). ).
  • the CPU 110 gives a message to the message from the electric device 300 by giving a point to the answer by giving a quiz or making a question or suggestion. It becomes easier to concentrate, and it is easier to judge whether or not you have heard a message or not. Alternatively, the CPU 110 gives more points to the user when the user correctly answers the quiz, and gives the user less points or does not give points when the user is wrong about the quiz. Then, it becomes easy to concentrate a user on the message from the electric device 300, and it becomes easy to determine whether or not he / she has heard the message. It should be noted that the question is not limited to a quiz or a suggestion, but may be an inquiry to the user for prompting the user's answer. ⁇ Seventh embodiment>
  • the voice service server 100 allows the user to send a voice message based on whether or not a keyword is included in the message from the user, the number of voice message exchanges, and the like. Judgment / aggregation of whether or not the user has heard, and judgment / aggregation of whether or not the user showed interest in the voice message.
  • Judgment / aggregation of whether or not the user has heard, and judgment / aggregation of whether or not the user showed interest in the voice message it is not limited to such a configuration.
  • the CPU 110 of the voice service server 100 determines / counts whether or not the user has heard the voice message based on the image instead of the voice, and determines / counts whether or not the user is interested in the voice message. It may be a thing to do.
  • the CPU 310 of the electric device 300 may transmit the captured image of the camera 350 to the voice service server 100. Then, as shown in FIG. 18, the CPU 110 of the voice service server 100 may analyze the image data from the electric device 300 (step S802).
  • CPU 110 When CPU 110 nods greatly (if YES in step S812), CPU 110 associates data indicating that the user is interested in memory 120 in association with specific information such as a message or a theme. Store (step S814). The CPU 110 waits for the next image data from the electric device 300.
  • CPU 110 correlates the user with specific information such as a message or theme, and allows the user to send a message. Data indicating that it has been heard is stored in the memory 120 (step S824). The CPU 110 waits for the next image data from the electric device 300.
  • the CPU 110 determines that the user is interested in the message or outputs an advertisement when the user is smiling, and determines that the user has just heard the message when the user nods but is not smiling. Or may not output an advertisement.
  • the user based on data from a proximity sensor or a temperature sensor serving as the operation unit 340 of the electric device 300, the user holds the hand over the electric device 300 or strokes or strikes the head of the electric device 300. It may be detected and transmitted to the voice service server 100 to that effect.
  • the CPU 110 of the voice service server 100 may determine that the user is interested in the message based on such data from the electrical device 300 or may determine that the user has heard the message. Conversely, if the user does not touch the electrical device 300, the CPU 110 determines that the user is not interested in the message.
  • the fact may be transmitted to the voice service server 100.
  • the CPU 110 of the voice service server 100 may determine that the user is interested in the message based on such data from the electrical device 300 or may determine that the user has heard the message. Conversely, if the user does not touch the electrical device 300, the CPU 110 determines that the user is not interested in the message.
  • the audio service server 100 detects the user's operation using the data acquired by the proximity sensor, the data acquired by the temperature sensor, the audio data acquired by the microphone, etc. You may recognize that you heard the message.
  • the voice service server 100 acquires that the user is interested in the message by detecting the user's operation using the data acquired by the button or the image data acquired by the camera. May be. That is, the CPU 110 of the voice service server 100 combines the voice data, the image data, the detection data from the proximity sensor and the temperature sensor, the operation command to the button, etc., and is interested in the user's operation and message. May be recognized. ⁇ Eighth Embodiment>
  • each device is shared by a plurality of devices such as other servers and databases. May be. Conversely, some or all of the roles of a plurality of devices may be integrated into one device.
  • the stand-alone electric device 300 may have all of the roles of the voice service server 100 according to the first to seventh embodiments.
  • the electric device 300 may acquire only part of the update data of the conversation service from the voice service server 100, or may use information of the other servers 100B and 100C.
  • the electric device 300 may have only a part of the voice service server 100 according to the first to seventh embodiments.
  • one aspect of the present invention can also be applied to a case where the object is achieved by supplying a program to a system or apparatus. Then, a storage medium (or memory) storing a program represented by software for achieving one embodiment of the present invention is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores it. The effect of one embodiment of the present invention can also be enjoyed by reading and executing the program code stored in the medium.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes one aspect of the present invention.
  • Network system 100 Voice service server 100B: Information providing server 100C: Information providing server 110: CPU 120: Memory 140: Operation unit 160: Communication interface 300: Electric device 300A: Robot 300B: Refrigerator 300C: Washing machine 300D: Air conditioner 300E: Microwave oven 310: CPU 320: Memory 330: Display 330A: Light 330B: Light 340: Operation unit 350: Camera 360: Communication interface 370: Speaker 380: Microphone 390: Device driving unit

Abstract

スピーカ（３７０）を有する端末（３００）と通信するための通信インターフェイス（１６０）と、通信インターフェイス（１６０）を介して、端末（３００）にメッセージを出力させ、端末（３００）を介して取得したユーザの動作に基づいて、ユーザがメッセージを聞いたか否かを判断するためのプロセッサ（１１０）と、を備えるサーバ（１００）が提供される。

Description

サーバ、情報処理方法、ネットワークシステム、および端末
　本発明の一態様は、メッセージなどの音声を出力するためのサーバ、情報処理方法、ネットワークシステム、および端末の技術に関する。
　従来から、ユーザに適したメッセージを出力するための技術が知られている。たとえば、特開２０１６－２４６３６号公報（特許文献１）には、制御装置、制御方法および制御プログラムが開示されている。特許文献１によると、制御装置は、対話エージェントシステムとユーザとの会話における音の特徴に基づいて、応答メッセージとして出力する広告に関する情報である広告情報を検索する検索部と、検索部によって検索された広告情報に関する広告を応答メッセージとして出力するよう制御する出力制御部と、を備えたことを特徴とする。このため、制御装置は、ユーザに適したメッセージを出力することができる。
特開２０１６－２４６３６号公報
　本発明の一態様の目的は、より好適なユーザとの対話を実現するための技術を提供することにある。
　この発明のある態様に従うと、スピーカを有する端末と通信するための通信インターフェイスと、通信インターフェイスを介して、端末にメッセージを出力させ、端末を介して取得したユーザの動作に基づいて、ユーザがメッセージを聞いたか否かを判断するためのプロセッサと、を備えるサーバが提供される。
　好ましくは、プロセッサは、ユーザの動作が第１の所定の動作である場合に、ユーザがメッセージを第１のレベルの興味を持って聞いたと判断し、ユーザの動作が第２の所定の動作である場合に、ユーザがメッセージを第２のレベルの興味を持って聞いたと判断する。
　好ましくは、プロセッサは、通信インターフェイスを介して端末に、メッセージとして、以前のメッセージに関する問い掛けを出力させ、ユーザの動作としての問い掛けに対するユーザからの回答を取得する。
　好ましくは、プロセッサは、通信インターフェイスを介して端末に、メッセージとして、対話を構成する複数回の往復のうちのユーザに向けた複数回のメッセージを出力させ、ユーザの動作として、対話を構成する複数回の往復のうちのユーザからの複数回のメッセージを取得する。
　好ましくは、プロセッサは、端末から取得したユーザの動作に基づいて、ユーザ毎の第１の時間帯を決定する。
　好ましくは、プロセッサは、ユーザ毎の第１の時間帯とそれ以外の時間帯とで、ユーザの動作に基づく判断の基準を異ならせる。
　好ましくは、プロセッサは、ユーザがメッセージに対して肯定的な動作を行った場合に、通信インターフェイスを介して、端末に第１の情報を出力させ、ユーザがメッセージに対して肯定的な動作を行わなかった場合に、端末に第２の情報を出力させる、または端末に第１の情報も第２の情報も出力させない。
　好ましくは、プロセッサは、通信インターフェイスを介して端末に、ユーザが所定の動作を実行するとポイントを付与する旨を出力させる。
　好ましくは、プロセッサは、ユーザの動作として、ユーザが端末に触れたことに基づいて、ユーザがメッセージを聞いたと判断する。
　この発明の別の局面に従うと、通信インターフェイスとプロセッサとを含むサーバにおける情報処理方法が提供される。情報処理方法は、プロセッサが、通信インターフェイスを介して、端末にメッセージを出力させるステップと、プロセッサが、通信インターフェイスを介して端末から取得したユーザの動作に基づいて、ユーザがメッセージを聞いたか否かを判断するステップと、を備える。
　この発明の別の局面に従うと、メッセージを出力するためのスピーカを有する端末と、端末にメッセージを出力させ、端末から取得したユーザの動作に基づいて、ユーザがメッセージを聞いたか否かを判断するサーバと、を備えるネットワークシステムが提供される。
　この発明の別の局面に従うと、スピーカと、マイクまたはカメラまたは他のセンサと、通信インターフェイスと、通信インターフェイスを介して受信したサーバからの情報に基づいてスピーカにメッセージを出力させ、マイクまたはカメラまたは他のセンサを介して取得したユーザの動作を示す情報をサーバに提供し、サーバからのデータに基づいてユーザがメッセージを聞いていると判断された際の音声またはユーザがメッセージを聞いていないと判断された際の音声をスピーカに出力させるためのプロセッサと、を備える端末が提供される。
　好ましくは、プロセッサは、ユーザの動作として、ユーザが端末に触れたことを示す情報をサーバに提供する。
　以上のように、この発明の一態様によれば、より好適なユーザとの対話が可能になる。
第１の実施の形態にかかるネットワークシステム１の全体構成を示す図である。 第１の実施の形態にかかるネットワークシステム１の動作概要を示す図である。 第１の実施の形態にかかる音声サービスサーバ１００の構成を示すブロック図である。 第１の実施の形態にかかる音声サービスサーバ１００における情報処理を示すフローチャートである。 第１の実施の形態にかかる電気機器３００の構成を示すブロック図である。 第２の実施の形態にかかる音声サービスサーバ１００における第１の動作概要を示す図である。 第２の実施の形態にかかる音声サービスサーバ１００における第２の動作概要を示す図である。 第３の実施の形態にかかる音声サービスサーバ１００における第１の情報処理を示すフローチャートである。 第３の実施の形態にかかる音声サービスサーバ１００における第２の情報処理を示すフローチャートである。 第３の実施の形態にかかる音声サービスサーバ１００における第３の情報処理を示すフローチャートである。 第４の実施の形態のゴールデンタイムを示す図である。 第４の実施の形態にかかる音声サービスサーバ１００における第１の情報処理を示すフローチャートである。 第４の実施の形態にかかる音声サービスサーバ１００における第２の情報処理を示すフローチャートである。 第４の実施の形態にかかる音声サービスサーバ１００における第３の情報処理を示すフローチャートである。 第５の実施の形態にかかるネットワークシステム１の動作概要を示す図である。 第５の実施の形態にかかる音声サービスサーバ１００における情報処理を示すフローチャートである。 第６の実施の形態にかかる音声サービスサーバ１００における情報処理を示すフローチャートである。 第７の実施の形態にかかる音声サービスサーバ１００における情報処理を示すフローチャートである。 第８の実施の形態にかかる電気機器３００を示す図である。
　以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　＜第１の実施の形態＞
　＜ネットワークシステム１の全体構成＞
　まず、図１を参照して本実施の形態にかかるネットワークシステム１の全体構成について説明する。本実施の形態にかかるネットワークシステム１は、主に、音声サービスサーバ１００と、他の情報提供サーバ１００Ｂ，１００Ｃと、ロボット３００Ａや冷蔵庫やエアコンなどの電気機器（通信端末）と、を含む。本実施の形態にかかる電気機器は、ユーザからのメッセージに応じて、音声サービスサーバ１００からのデータに基づいてメッセージを音声出力するものである。
　なお、電気機器（通信端末）は、ロボット３００Ａに限らず、冷蔵庫、電子レンジ、エアコン、洗濯機、掃除機、空気清浄器、加湿器、除湿器、炊飯器、照明などの家電、携帯電話、スマートフォン、テレビ、ハードディスクレコーダ、プロジェクタ、音楽プレーヤ、ゲーム機、パーソナルコンピュータなどのＡＶ（オーディオ・ビジュアル）機器、組み込み照明、太陽光発電機、インターホン、給湯器、温水洗浄便座コントローラなどの住宅設備、などであってもよい。以下では、これらの電気機器（通信端末）を総称して、電気機器３００ともいう。
　＜ネットワークシステム１の動作概要＞
　次に、図１と図２とを参照して本実施の形態にかかるネットワークシステム１の動作概要について説明する。
　本実施の形態にかかるネットワークシステム１に関しては、ユーザがロボット３００Ａなどの電気機器３００に話しかけたり、電気機器３００がユーザに話しかけたりすることによって、対話すなわち音声メッセージのやり取りが行われる。より詳細には、本実施の形態においては、音声サービスサーバ１００が、電気機器３００に音声メッセージを出力させたり、電気機器３００を介してユーザからの音声メッセージを取得したりする。
　そして特に、音声サービスサーバ１００は、ユーザの反応に応じて、先に出力した音声メッセージをユーザが聞いたか否かを判断するものである。たとえば、図２に示すように、音声サービスサーバ１００は、ユーザからの所定のメッセージに基づいて、先のメッセージをユーザが聞いたか否かを判断するものである。
　あるいは、音声サービスサーバ１００は、ユーザの反応に応じて、先に出力した音声メッセージや当該メッセージに関する話題にユーザが興味を持っているか否かを判断する。たとえば、図２に示すように、音声サービスサーバ１００は、ユーザからの所定のメッセージに基づいて、先のメッセージや話題やテーマをユーザが興味を持って聞いたか否かを判断するものである。
　このように、音声サービスサーバ１００は、電気機器３００が出力したメッセージを、ユーザが強い興味を持って聞いたか、ユーザが通常の興味を持って聞いたか、ユーザが興味を持たずに聞いたか、ユーザが聞いていないか、に関する判断結果やそれに基づく集計結果などを取得することができる。以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
　＜音声サービスサーバ１００のハードウェア構成＞
　まず、本実施の形態にかかるネットワークシステム１を構成する音声サービスサーバ１００のハードウェア構成の一態様について説明する。他の情報提供サーバ１００Ｂ、１００Ｃも音声サービスサーバ１００と同様の構成を有しているため、ここでは説明を繰り返さない。
　図３を参照して、音声サービスサーバ１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。
　ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、音声サービスサーバ１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。
　メモリ１２０は、各種のＲＡＭ（Random　Access　Memory）、各種のＲＯＭ（Read-Only　Memory）などによって実現される。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他の音声サービスに利用されるデータベースなどを記憶する。たとえば、メモリ１２０は、ユーザがメッセージに興味を持っていることを示す第１のレベルの複数種類のキーワードや、ユーザが単にメッセージを聞いたことを示す第２のレベルの複数種類のキーワードのデータなどを格納する。
　操作部１４０は、サービスの管理者などの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。
　通信インターフェイス１６０は、ＣＰＵ１１０からのデータを、インターネット、キャリア網、ルータなどを介して電気機器３００などの他の装置に送信する。逆に、通信インターフェイス１６０は、インターネット、キャリア網、ルータなどを介して他の装置からのデータを受信して、ＣＰＵ１１０に受け渡す。
　他の情報提供サーバ１００Ｂ，１００Ｃの構成は、メモリ１２０のデータやＣＰＵ１１０の処理が異なるが、ハードウェア構成は概ね音声サービスサーバ１００のそれと同様であるため、ここでは説明を繰り返さない。
　＜音声サービスサーバ１００における情報処理＞
　次に、図４を参照しながら、本実施の形態にかかる音声サービスサーバ１００における情報処理について説明する。
　音声サービスサーバ１００のＣＰＵ１１０は、通信インターフェイス１６０を介して、電気機器３００から音声データを受信すると以下の処理を実行する。まず、ＣＰＵ１１０は、音声データからメッセージを抽出して、メッセージを解析する（ステップＳ１０２）。
　ＣＰＵ１１０は、メモリ１２０のデータを参照して、ユーザが１つ前のメッセージや一連のメッセージやその話題やテーマに興味を示したか否かを判断する（ステップＳ１１２）。たとえば、ＣＰＵ１１０は、抽出したメッセージに第１のレベルのキーワード、たとえば「大好き！！」や「いいよね。」やユーザからの質問などが含まれている場合に、ユーザが一連のメッセージに興味を示したと判断し、メッセージに第１のレベルのキーワードが含まれていない場合に、ユーザが一連のメッセージに興味を示さなかったと判断する。あるいは、ＣＰＵ１１０は、電気機器３００を介してユーザにクイズを出して、ユーザの回答があったときに、ユーザが一連のメッセージに興味を示したと判断し、当該クイズに対して回答がなかった場合に、ユーザが一連のメッセージに興味を示さなかったと判断してもよい。あるいは、ユーザに「興味がありますか？」と質問したのちのユーザの「はい。」や「うん。」などの回答があったとき時に、ユーザが一連のメッセージに興味を示したと判断し、当該質問に対して「いいえ。」や「ううん。」の回答があった場合や回答がなかった場合に、ユーザがメッセージに興味を示さなかったと判断する。
　ユーザがメッセージに興味を示したと判断した場合（ステップＳ１１２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザの特定情報と、その前のメッセージの特定情報やそのテーマの特定情報や時間帯と、に対応付けて、興味を持っていることを示すデータをメモリ１２０に格納する（ステップＳ１１４）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　ユーザがメッセージに興味を示さなかったと判断した場合（ステップＳ１１２にてＮＯである場合）、ＣＰＵ１１０は、メモリ１２０のデータを参照して、ユーザがメッセージを聞いたか否かを判断する（ステップＳ１２２）。たとえば、ＣＰＵ１１０は、抽出したメッセージに第２のレベルのキーワード、たとえば「うん。」や「へえ。」などが含まれている場合に、ユーザがメッセージに興味を示したと判断し、メッセージに第２のレベルのキーワードが含まれていない場合に、ユーザがメッセージに興味を示さなかったと判断する。あるいは、ユーザに「ねえ、聞いていますか？」と質問したのちのユーザの「はい。」や「うん。」などの回答があったとき時に、ユーザがメッセージを聞いたと判断し、当該質問に対して「いいえ。」や「ううん。」などの回答があった場合や回答がなかった場合に、ユーザがメッセージを聞かなかったと判断する。
　ユーザがメッセージを聞いたと判断した場合（ステップＳ１２２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザの特定情報と、その前のメッセージの特定情報やそのテーマの特定情報や時間帯と、に対応付けて、ユーザがメッセージを聞いたことを示すデータをメモリ１２０に格納する（ステップＳ１２４）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　ユーザがメッセージを聞かなかったと判断した場合（ステップＳ１２２にてＮＯである場合）、ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　好ましくは、ＣＰＵ１１０は、「ユーザ毎の、または年齢・住所・性別などのユーザ層毎の、またはユーザ全体の」、「メッセージ毎の、またはテーマ毎の、または時間帯毎の」、「メッセージを聞いた割合、またはメッセージに興味を示した割合」などを計算してメモリ１２０に格納したり、通信インターフェイス１６０を介して他のサーバに当該情報を提供したりする。
　なお、本実施の形態においては、ＣＰＵ１１０は、第１のレベルとして、興味をもってメッセージを聞いたという判断結果と、第２のレベルとして、単にメッセージを聞いたという判断結果と、メッセージを聞かなかったという判断結果とを集計するものであった。しかしながら、ＣＰＵ１１０は、さらに、多くの段階のレベルに分けた判断結果を集計してもよい。たとえば、ＣＰＵ１１０は、第１のレベルとして、ユーザが強い興味を持ってメッセージを聞いたか、第２のレベルとして、ユーザが通常の興味を持ってメッセージを聞いたか、第３のレベルとして、ユーザが興味を持たずにメッセージを聞いたか、ユーザが聞いていないか、に関する判断結果やそれに基づく集計結果などを取得してもよい。
　＜電気機器３００のハードウェア構成＞
　次に、図５を参照して、ネットワークシステム１を構成する電気機器３００の構成の一態様について説明する。電気機器３００は、主たる構成要素として、ＣＰＵ３１０と、メモリ３２０と、ディスプレイ３３０と、操作部３４０と、カメラ３５０、通信インターフェイス３６０と、スピーカ３７０と、マイク３８０と、機器駆動部３９０とを含む。
　ＣＰＵ３１０は、メモリ３２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、電気機器３００の各部を制御する。
　メモリ３２０は、各種のＲＡＭや、各種のＲＯＭなどによって実現される。メモリ３２０は、ＣＰＵ３１０によって実行される機器駆動プログラムや会話プログラムやその他のプログラムや、ＣＰＵ３１０によるプログラムの実行により生成されたデータ、音声サービスサーバ１００や他のサーバから受信したデータ、操作部３４０を介して入力されたデータなどを記憶する。
　ディスプレイ３３０は、ＣＰＵ３１０からの信号に基づいて、文字や画像などを出力する。ディスプレイ３３０は、図１に示すように、単にライト３３０Ａ，３３０Ｂであってもよい。
　操作部３４０は、ボタン、タッチパネルなどによって実現され、ユーザからの命令を受け付けて、当該命令をＣＰＵ３１０に入力する。なお、ディスプレイ３３０と操作部３４０とは、タッチパネルを構成してもよい。
　また、操作部３４０は、近接センサや温度センサなどであってもよい。この場合は、ＣＰＵ３１０は、操作部３４０としての近接センサや温度センサを介して、ユーザが電気機器３００に手をかざしたことを検知して、各種の動作を開始する。たとえば、電気機器３００がロボットであって、近接センサが額の近辺に配置されることによって、ユーザが電気機器３００をなでたり・たたいたりすることを電気機器３００が検知してもよい。
　カメラ３５０は、画像を撮影して、画像データをＣＰＵ３１０に受け渡す。ＣＰＵ３１０は、画像データからユーザの動きを特定してもよいし、画像データをサーバ１００に提供してサーバ１００がユーザの動きを特定してもよい。
　通信インターフェイス３６０は、無線ＬＡＮ通信あるいは有線ＬＡＮなどの通信モジュールによって実現される。通信インターフェイス３６０は、有線通信あるいは無線通信によって音声サービスサーバ１００などの他の装置との間でデータをやり取りする。
　スピーカ３７０は、ＣＰＵ３１０からの信号に基づいて、音声を出力する。より詳細には、本実施の形態においては、ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から受信した音声データに基づいてスピーカ３７０に音声メッセージを出力させる。あるいは、ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から受信したテキストデータに基づいて音声信号を作成し、スピーカ３７０に音声メッセージを出力させる。あるいは、ＣＰＵ３１０は、通信インターフェイス３６０を介してサーバ１００から受信したメッセージＩＤに基づいて、メモリ３２０からメッセージの音声データを読み出して、スピーカ３７０に音声メッセージを出力させる。
　マイク３８０は、外部からの音声に基づいて音声信号を作成し、ＣＰＵ３１０に入力する。
　機器駆動部３９０は、ＣＰＵ３１０からの信号に基づいて、電気機器３００の各部（モータやヒータなど）を制御する。
　このように、本実施の形態に係る音声サービスにおいては、たとえば当該音声サービスに会話情報や広告情報の提供者に、「ユーザ毎の、または年齢・住所・性別などのユーザ層毎の、またはユーザ全体の」、「メッセージ毎の、または話題毎の、またはテーマ毎の、または時間帯毎の」、「メッセージを聞いた割合、またはメッセージに興味を示した割合」などを伝えることができる。そして、このような情報は、広告の提供者から徴収する料金の算定や、他の情報の提供者へ支払う料金の算定や、各種のマーケティングなどに利用することができる。
　＜第２の実施の形態＞
　第１の実施の形態では、音声サービスサーバ１００が、電気機器３００を介して音声メッセージを出力し、電気機器３００を介して取得したユーザの反応に基づいて、ユーザが音声メッセージを聞いたか否かを判断・集計したり、またユーザが音声メッセージに興味を示したか否かを判断・集計したりするものであった。しかしながら、このような構成には限られない。
　たとえば、図６に示すように、音声サービスサーバ１００のＣＰＵ１１０は、電気機器３００を介して取得したユーザの反応に基づいて、ユーザが音声メッセージを聞いたか否かを判断・集計して、ユーザが音声メッセージに興味を示したか否かは判断しなくてもよい。
　あるいは、図７に示すように、音声サービスサーバ１００のＣＰＵ１１０が、電気機器３００を介して取得したユーザの反応に基づいて、ユーザが音声メッセージに興味を示したか否かを判断・集計して、ユーザが音声メッセージを聞いたか否かは判断しなくてもよい。
　＜第３の実施の形態＞
　第１の実施の形態では、音声サービスサーバ１００が、電気機器３００を介して取得したユーザのメッセージの内容に基づいて、ユーザが音声メッセージを聞いたか否かを判断・集計したり、またユーザが音声メッセージに興味を示したか否かを判断・集計したりするものであった。しかしながら、ユーザがメッセージを聞いたか否かの判断やユーザがメッセージに興味を持ったか否かの判断の方法はこのような構成には限られない。
　たとえば、音声サービスサーバ１００のＣＰＵ１１０は、電気機器３００に対してユーザが所定回数以上話しかけたか否かに基づいて、電気機器３００が取得中の一連のメッセージを聞いているかを判断・集計したり、電気機器３００が取得中の一連のメッセージに興味を有しているかを判断・集計したりしてもよい。本実施の形態においては、メモリ１２０には、ユーザ毎のメッセージの反応回数が格納される。
　図８を参照して、ＣＰＵ１１０は、音声データからメッセージを抽出して、メッセージを解析する（ステップＳ１０２）。このとき、ＣＰＵ１１０は、ユーザの反応回数を＋１する（ステップＳ１０４）。
　ＣＰＵ１１０は、ユーザが所定回数以上、電気機器３００が出力するメッセージに反応しているか否か、すなわち所定回数以上ユーザが電気機器３００にメッセージを入力したか否かを判断する（ステップＳ１０６）。
　所定回数以上ユーザが電気機器３００にメッセージを入力した場合（ステップＳ１０６にてＹＥＳである場合）、ＣＰＵ１１０は、ステップＳ１１２からの処理を実行する。
　あるいは、音声サービスサーバ１００のＣＰＵ１１０は、ユーザの反応回数に基づいて、ユーザが電気機器３００の出力するメッセージに興味を持っているか否かを判断したり、ユーザが電気機器３００の出力するメッセージを聞いたか否かを判断したりしてもよい。
　たとえば、図９を参照して、ＣＰＵ１１０は、音声データからメッセージを抽出して、メッセージを解析する（ステップＳ１０２）。このとき、ＣＰＵ１１０は、ユーザの反応回数を＋１する（ステップＳ１０４）。
　ＣＰＵ１１０は、ユーザが第１の所定回数以上、電気機器３００が出力するメッセージに反応しているか否か、たとえば第１の所定回数以上ユーザが電気機器３００にメッセージを入力したか否かを判断する（ステップＳ３１２）。
　第１の所定回数以上ユーザが電気機器３００にメッセージを入力している場合（ステップＳ３１２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザと、その前のメッセージまたはテーマなどと、に対応付けて、ユーザがメッセージやそのテーマに興味を持っていることを示すデータをメモリ１２０に格納する（ステップＳ３１４）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　未だ第１の所定回数以上ユーザが電気機器３００にメッセージを入力していない場合（ステップＳ３１２にてＮＯである場合）、ＣＰＵ１１０は、ユーザが第１の所定回数よりも少ない第２の所定回数以上、電気機器３００が出力するメッセージに反応しているか否か、たとえば第２の所定回数以上ユーザが電気機器３００にメッセージを入力したか否かを判断する（ステップＳ３２２）。
　第２の所定回数以上ユーザが電気機器３００にメッセージを入力している場合（ステップＳ３２２にてＹＥＳである場合）、ユーザと、その前のメッセージまたはテーマなどと、に対応付けて、メッセージを聞いたことを示すデータをメモリ１２０に格納する（ステップＳ３２４）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　さらにあるいは、図１０に示すように、音声サービスサーバ１００のＣＰＵ１１０は、電気機器３００からの音声データに基づいてユーザの抑揚や声色を特定し（ステップＳ３０２）、当該抑揚や声色に基づいてユーザが音声メッセージを聞いたか否かを判断・集計したり、またユーザが音声メッセージに興味を示したか否かを判断・集計したりしてもよい。
　＜第４の実施の形態＞
　音声サービスサーバ１００は、さらに、時間帯や曜日などに応じて、ユーザが音声メッセージを聞いたか否かの判断方法や、ユーザが音声メッセージに興味を示したか否かの判断方法を、変更してもよい。
　以下では、図１１に示すように、ユーザ毎の電気機器３００のメッセージに集中することができる可能性が高い時間帯、換言すればユーザ毎の忙しくない時間帯を、ゴールデンタイムという。たとえば、音声サービスサーバ１００のＣＰＵ１１０は、ユーザ毎または電気機器３００毎の、メッセージに対する「興味あり」との判断結果の割合に基づいて、「興味あり」との判断結果の割合が多い、たとえば３０％以上などの、時間帯をユーザ毎のゴールデンタイムとして設定する。あるいは、ＣＰＵ１１０は、ユーザ毎または電気機器３００毎の、メッセージに対する「興味あり」の判断結果の割合と「聞いた」の判断結果の割合とに基づいて、両者の割合の合計が多い、たとえば４０％以上などの、時間帯をユーザ毎のゴールデンタイムとして設定する。
　ただし、ゴールデンタイムはユーザ毎に設定される必要はなく、全ユーザに共通であってもよいし、年齢・性別・住所などの属性毎に設定されるものであってもよい。
　図１２を参照して、ＣＰＵ１１０は、電気機器３００からの音声データからメッセージを抽出して、メッセージを解析する（ステップＳ５０２）。
　ＣＰＵ１１０は、ユーザまたは電気機器３００のＩＤなどに基づいて、現在がゴールデンタイムに該当するか否かを判断する（ステップＳ５０４）。
　ゴールデンタイムのときは（ステップＳ５０４にてＹＥＳである場合）、ＣＰＵ１１０は、メモリ１２０のデータを参照して、ユーザがメッセージに興味を示したか否かを判断する（ステップＳ５１２）。ユーザがメッセージに興味を示したと判断した場合（ステップＳ５１２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザと、その前のメッセージとそのテーマと時間帯などと、に対応付けて、興味を持っていることを示すデータをメモリ１２０に格納する（ステップＳ５１４）。ＣＰＵ１１０は、ユーザが電気機器３００のメッセージに興味を持った時間を記憶して、ゴールデンタイムの判断のための反応頻度を高める補正をする（ステップＳ５１６）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　一方、ユーザがメッセージに興味を示さなかったと判断した場合（ステップＳ５１２にてＮＯである場合）、ＣＰＵ１１０は、メモリ１２０のデータを参照して、ユーザがメッセージを聞いたか否かを判断する（ステップＳ５２２）。ユーザがメッセージを聞いたと判断した場合（ステップＳ５２２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザと、その前のメッセージまたはテーマと、に対応付けて、ユーザがメッセージを聞いたことを示すデータをメモリ１２０に格納する（ステップＳ５２４）。本実施の形態においては、ＣＰＵ１１０は、ユーザが電気機器３００のメッセージを聞いた時間を記憶して、ゴールデンタイムの判断のための反応頻度を維持する（ステップＳ５２６）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　ユーザがメッセージを聞かなかったと判断した場合（ステップＳ５２２にてＮＯである場合）、ＣＰＵ１１０は、ユーザが電気機器３００のメッセージを聞かなかった時間を記憶して、ゴールデンタイムの頻度を低減する補正をする（ステップＳ５２８）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　ＣＰＵ１１０は、現在がゴールデンタイムでない場合には（ステップＳ５０４にてＮＯである場合）、次の電気機器３００からの音声データを待ち受ける。
　なお、本実施の形態においては、ゴールデンタイムだけに、ユーザが音声メッセージを聞いたか否かの判断やユーザが音声メッセージに興味を示したか否かの判断をするものであった。これは、ユーザに余裕があるときに、対象となるテーマのメッセージを聞いたか否かを調べたいときに有効である。
　しかしながら、逆に、音声サービスサーバ１００のＣＰＵ１１０は、ゴールデンタイムには、上記の判断をせずに、ゴールデンタイムでないときに、ユーザが音声メッセージを聞いたか否かの判断やユーザが音声メッセージに興味を示したか否かの判断をしてもよい。これは、ユーザに余裕がないときに、対象となるテーマのメッセージを聞いたか否かを調べたいときに有効である。
　あるいは、図１３に示すように、音声サービスサーバ１００のＣＰＵ１１０は、ゴールデンタイムには、ユーザが音声メッセージに興味を示したか否かの判断を行い、ゴールデンタイムでないときには、ユーザが音声メッセージを聞いたか否かの判断を行うものであってもよい。
　あるいは、ゴールデンタイムの判断基準とそれ以外のときの判断基準とが準備されてもよい。なお以下では、「第１の基準」は、最もユーザがメッセージやテーマに興味を示している場合の反応に対するものであって、たとえばユーザからの回答が２０文字以上、あるいはユーザとの対話の回数が１０回以上すなわちユーザが１０回以上メッセージを入力している、などである。「第２の基準」は、次にユーザがメッセージやテーマに興味を示している場合の反応に対するものであって、たとえばユーザからの回答が１４文字以上、あるいはユーザとの対話の回数が７回以上すなわちユーザが７回以上メッセージを入力している、などである。「第３の基準」は、その次にユーザがメッセージやテーマに興味を示している場合の反応に対するものであって、たとえばユーザからの回答が７文字以上、あるいはユーザとの対話の回数が４回以上すなわちユーザが４回以上メッセージを入力している、などである。「第４の基準」は、最もユーザがメッセージやテーマに興味を示していない場合の反応に対するものであって、たとえばユーザからの回答が１文字以上、あるいはユーザとの対話の回数が１回以上すなわちユーザが１回以上メッセージを入力している、などである。
　図１４を参照して、ＣＰＵ１１０は、電気機器３００からの音声データからメッセージを抽出して、メッセージを解析する（ステップＳ５０２）。
　ＣＰＵ１１０は、ゴールデンタイムであるか否かを判断する（ステップＳ５０４）。
　ゴールデンタイムのときは（ステップＳ５０４にてＹＥＳである場合）、ＣＰＵ１１０は、メモリ１２０のデータを参照して、第１の基準に基づいて、ユーザがメッセージに興味を示したか否かを判断する（ステップＳ５１２）。ユーザがメッセージに興味を示したと判断した場合（ステップＳ５１２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザとメッセージなどの特定情報に対応付けて、興味を持っていることを示すデータをメモリ１２０に格納する（ステップＳ５１４）。ＣＰＵ１１０は、ユーザが電気機器３００のメッセージに興味を持った時間を記憶して、ゴールデンタイムの判断のための反応頻度を高める補正をする（ステップＳ５１６）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　一方、ユーザがメッセージに興味を示さなかったと判断した場合（ステップＳ５１２にてＮＯである場合）、ＣＰＵ１１０は、メモリ１２０のデータを参照して、第３の基準に基づいて、ユーザがメッセージを聞いたか否かを判断する（ステップＳ５２２）。ユーザがメッセージを聞いたと判断した場合（ステップＳ５２２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザとメッセージなどの特定情報に対応付けて、ユーザがメッセージを聞いたことを示すデータをメモリ１２０に格納する（ステップＳ５２４）。本実施の形態においては、ＣＰＵ１１０は、ユーザが電気機器３００のメッセージを聞いた時間を記憶して、ゴールデンタイムの判断のための反応頻度を維持する（ステップＳ５２６）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　ユーザがメッセージを聞かなかったと判断した場合（ステップＳ５２２にてＮＯである場合）、ＣＰＵ１１０は、ユーザが電気機器３００のメッセージを聞かなかった時間を記憶して、ゴールデンタイムの判断のための反応頻度を低減する補正をする（ステップＳ５２８）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　ＣＰＵ１１０は、現在がゴールデンタイムでない場合には（ステップＳ５０４にてＮＯである場合）、ＣＰＵ１１０は、メモリ１２０のデータを参照して、第２の基準に基づいて、ユーザがメッセージに興味を示したか否かを判断する（ステップＳ５６２）。ユーザがメッセージに興味を示したと判断した場合（ステップＳ５６２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザとメッセージなどの特定情報に対応付けて、興味を持っていることを示すデータをメモリ１２０に格納する（ステップＳ５６４）。ＣＰＵ１１０は、ユーザが電気機器３００のメッセージに興味を持った時間を記憶して、ゴールデンタイムの判断のための反応頻度を高める補正をする（ステップＳ５６６）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　一方、ユーザがメッセージに興味を示さなかったと判断した場合（ステップＳ５６２にてＮＯである場合）、ＣＰＵ１１０は、メモリ１２０のデータを参照して、第４の基準に基づいて、ユーザがメッセージを聞いたか否かを判断する（ステップＳ５７２）。ユーザがメッセージを聞いたと判断した場合（ステップＳ５７２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザとメッセージなどの特定情報に対応付けて、ユーザがメッセージを聞いたことを示すデータをメモリ１２０に格納する（ステップＳ５７４）。本実施の形態においては、ＣＰＵ１１０は、ユーザが電気機器３００のメッセージを聞いた時間を記憶して、ゴールデンタイムの判断のための反応頻度を維持する（ステップＳ５７６）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　ユーザがメッセージを聞かなかったと判断した場合（ステップＳ５７２にてＮＯである場合）、ＣＰＵ１１０は、ユーザが電気機器３００のメッセージを聞かなかった時間を記憶して、ゴールデンタイムの判断のための反応頻度を低減する補正をする（ステップＳ５７８）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　なお、第２の基準よりも第３の基準の方がより難しいものであってもよいし、第１から第４の基準に同じ基準のものがあってもよい。
　＜第５の実施の形態＞
　音声サービスサーバ１００は、ユーザが興味を示したり肯定的なメッセージを話したりした場合に、企業や商品やサービスの広告を電気機器３００から出力させ（図２などを参照。）、ユーザが興味を示さなかったり否定的なメッセージを話したりした場合に、図１５に示すように、企業や商品やサービスの広告を電気機器３００から出力させないという構成であってもよい。
　より詳細には、図１６を参照して、まず、ＣＰＵ１１０は、音声データからメッセージを抽出して、メッセージを解析する（ステップＳ６０２）。
　ＣＰＵ１１０は、ユーザがメッセージを聞いたか否かを判断する（ステップＳ６１２）。ＣＰＵ１１０は、ユーザがメッセージを聞いていないと判断した場合（ステップＳ６１２にてＮＯである場合）、次の電気機器３００からの音声データを待ち受ける。
　ユーザがメッセージを聞いたと判断した場合（ステップＳ６１２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザからのメッセージが肯定的であるか否かを判断する（ステップＳ６３２）。ユーザからのメッセージが肯定的である場合（ステップＳ６３２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザとメッセージなどの特定情報に対応付けて、ユーザが肯定的なメッセージを発したことを示すデータをメモリ１２０に格納する（ステップＳ６３４）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、広告用のデータを送信し、図２・図６・図７に示すように、電気機器３００は音声サービスサーバ１００からのデータに基づいて、広告を出力する（ステップＳ６３６）。ＣＰＵ１１０は、次の電気機器３００からの音声データを待ち受ける。
　ユーザからのメッセージが肯定的でない場合（ステップＳ６３２にてＮＯである場合）、ＣＰＵ１１０は、ユーザとメッセージなどの特定情報に対応付けて、ユーザが肯定的でないメッセージを発したことを示すデータをメモリ１２０に格納する（ステップＳ６３８）。ＣＰＵ１１０は、図１５に示すように、電気機器３００に広告を出力させることなく、次の電気機器３００からの音声データを待ち受ける（ステップＳ６４０）。
　なお、予め肯定的な第１のメッセージが設定されており、音声サービスサーバ１００のＣＰＵ１１０が、ユーザのメッセージが当該第１のメッセージを含む場合にユーザが肯定的であると判断し、ユーザのメッセージが当該第１のメッセージを含まない場合にユーザが否定的であると判断してもよい。
　あるいは、予め否定的な第２のメッセージが設定されており、音声サービスサーバ１００のＣＰＵ１１０が、ユーザのメッセージが当該第２のメッセージを含む場合にユーザが否定的であると判断し、ユーザのメッセージが当該第２のメッセージを含まない場合にユーザが肯定的であると判断してもよい。
　なお、予め肯定的な第１のメッセージと否定的な第２のメッセージが設定されており、音声サービスサーバ１００のＣＰＵ１１０が、ユーザのメッセージが当該第１のメッセージを含む場合にユーザが肯定的であると判断し、ユーザのメッセージが当該第２のメッセージを含む場合にユーザが否定的であると判断し、ユーザのメッセージがいずれのメッセージも含まない場合は次のメッセージまで判断を保留してもよい。
　あるいはメッセージ毎に、肯定的である度合を示す肯定ポイントが付与されている。なお、肯定的なメッセージ、たとえば「大好き。」「最高。」には“正”の大きなポイントが付与されており、否定的なメッセージ、たとえば「大嫌い。」「いや。」には“負”の大きなポイントが付与される。そして、ＣＰＵ１１０が、ユーザのメッセージのポイントまたは累積ポイントが所定値以上である場合に肯定的であると判断し、所定値未満である場合に肯定的ではないと判断してもよい。
　また、上記の実施の形態においては、肯定的なユーザのメッセージに応じて広告情報を出力させ、否定的なユーザのメッセージに応じて広告情報を出力しないものとしているがこのような形態には限られない。
　たとえば、音声サービスサーバ１００のＣＰＵ１１０は、肯定的なユーザのメッセージに応じて第１の広告情報を出力させ、否定的なユーザのメッセージに応じて第２の広告情報を出力する形態にしてもよい。なお、第１の広告情報は、第２の広告情報よりも詳しい内容を含む。あるいは、第１の広告情報には企業名と商品とを含み、第２の広告情報には企業名と商品のいずれかを含む。
　なお、広告情報に限らず、音声サービスサーバ１００のＣＰＵ１１０は、肯定的なユーザのメッセージに応じてニュースなどの情報を出力させ、否定的なユーザのメッセージに応じてニュースなどの情報を出力しない形態にしてもよい。あるいは、肯定的なユーザのメッセージに応じて詳細情報を出力させ、否定的なユーザのメッセージに応じて簡易情報を出力する形態にしてもよい。
　さらにはそれらを組み合わせて、音声サービスサーバ１００のＣＰＵ１１０は、ユーザのメッセージのポイントまたは累積ポイントが第１の所定値以上である場合、あるいはユーザのメッセージに第１の肯定メッセージが含まれている場合、第１の肯定状態であると判断し、詳細情報と広告情報とを電気機器３００に出力させる。ＣＰＵ１１０は、ユーザのメッセージのポイントまたは累積ポイントが第１の所定値未満かつ第１の所定値よりも小さな第２の所定値以上である場合、あるいはユーザのメッセージに第２の肯定メッセージが含まれている場合、第２の肯定状態であると判断し、簡易情報と広告情報とを電気機器３００に出力させる。ＣＰＵ１１０は、ユーザのメッセージのポイントまたは累積ポイントが第２の所定値未満である場合、あるいはユーザのメッセージに第１および第２の肯定メッセージが含まれていない場合、否定的な状態であると判断し、簡易情報のみを電気機器３００に出力させてもよい。
　つまり、音声サービスサーバ１００のＣＰＵ１１０は、ユーザが肯定的な場合に、第１の情報としての広告情報と第２の情報としての広告以外の情報などを出力させて、ユーザが否定的な場合に、第１の情報だけを出力させてもよい。なお、ＣＰＵ１１０は、ユーザが否定的な場合に、第１の情報も第２の情報も出力させないようにしてもよい。あるいは、ＣＰＵ１１０は、ユーザが肯定的な場合に、第１の情報としての広告情報と広告以外の情報などを出力させて、ユーザが否定的な場合に、第２の情報としての広告以外の情報を出力させてもよい。この場合も、ＣＰＵ１１０は、ユーザが否定的な場合に、第１の情報も第２の情報も出力させないようにしてもよい。
　＜第６の実施の形態＞
　図６・図７に示すように、音声サービスサーバ１００のＣＰＵ１１０は、ユーザが電気機器３００のメッセージに答えたり、電気機器３００のメッセージに興味を示した際に、ユーザにポイントを付与したり、ユーザにポイントを付与した旨を伝えたりしてもよい。なお、ＣＰＵ１１０は、ユーザに聞いてもらいたいメッセージの出力前に、「当該メッセージに回答してくれたらポイントを付与する。」という旨を伝えてもよい。
　たとえば、図１７に示すように、ＣＰＵ１１０は、ステップＳ１１４やステップＳ１２４において、ユーザとメッセージなどの特定情報に対応付けて、メッセージに興味を持っていることを示すデータやメッセージを聞いたことを示すデータをメモリ１２０に格納する際に、ユーザにポイントを付与する処理や、ユーザにポイントを付与する旨を通信インターフェイス１６０を介して電気機器３００に出力させる処理などを実行する（ステップＳ７１６，ステップＳ７２６）。
　なお、ＣＰＵ１１０は、たとえば、図２に示すように、クイズを出したり、質問や提案を行ったりして、その回答に対してポイントを付与するようにすると、ユーザを電気機器３００からのメッセージに集中させやすくなるし、メッセージを聞いたか否かの判断や興味があるか否かの判断が容易になる。あるいは、ＣＰＵ１１０は、ユーザがクイズに正解した場合に当該ユーザに多めのポイントを付与し、ユーザがクイズに不正解だった場合に当該ユーザに少なめのポイントを付与したりポイントを付与しないようしたりすると、ユーザを電気機器３００からのメッセージに集中させやすくなるし、メッセージを聞いたか否かの判断や興味があるか否かの判断が容易になる。なお、クイズや提案などに限らず、ユーザの回答を促すための、ユーザに対する問い掛けであればよい。
　＜第７の実施の形態＞
　なお、第１～第６の実施の形態においては、音声サービスサーバ１００は、ユーザからのメッセージにキーワードが含まれているか否かや音声メッセージのやり取りの回数などに基づいて、ユーザが音声メッセージを聞いたか否かを判断・集計したり、またユーザが音声メッセージに興味を示したか否かを判断・集計したりするものであった。しかしながら、このような構成には限られない。
　たとえば、音声サービスサーバ１００のＣＰＵ１１０は、音声ではなく画像に基づいて、ユーザが音声メッセージを聞いたか否かを判断・集計したり、またユーザが音声メッセージに興味を示したか否かを判断・集計したりするものであってもよい。
　具体的には、電気機器３００のＣＰＵ３１０が、カメラ３５０の撮影画像を音声サービスサーバ１００に送信してもよい。そして、図１８に示すように、音声サービスサーバ１００のＣＰＵ１１０は、電気機器３００からの画像データを解析してもよい（ステップＳ８０２）。
　ＣＰＵ１１０は、ユーザが大きくうなずいた場合（ステップＳ８１２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザとメッセージまたはテーマなどの特定情報に対応付けて、興味を持っていることを示すデータをメモリ１２０に格納する（ステップＳ８１４）。ＣＰＵ１１０は、次の電気機器３００からの画像データを待ち受ける。
　逆に、ＣＰＵ１１０は、ユーザが小さくうなずいた場合あるいは首を振った場合（ステップＳ８２２にてＹＥＳである場合）、ＣＰＵ１１０は、ユーザとメッセージまたはテーマなどの特定情報に対応付けて、ユーザがメッセージを聞いたことを示すデータをメモリ１２０に格納する（ステップＳ８２４）。ＣＰＵ１１０は、次の電気機器３００からの画像データを待ち受ける。
　あるいは、ＣＰＵ１１０は、ユーザが笑顔のときにユーザがメッセージに興味を持っている判断したり広告を出力したりして、ユーザが笑顔ではないがうなずいた際にユーザが単にメッセージを聞いたと判断したり広告を出力しないようにしたりしてもよい。
　あるいは、電気機器３００の操作部３４０としての近接センサや温度センサからのデータに基づいて、ユーザが電気機器３００に手をかざしたり、電気機器３００の頭をなでたり・たたいたりしたことを検知して、その旨を音声サービスサーバ１００に送信してもよい。音声サービスサーバ１００のＣＰＵ１１０は、電気機器３００からのそのようなデータに基づいて、ユーザがメッセージに興味をもったと判断したり、ユーザがメッセージを聞いたと判断したりしてもよい。逆に、ユーザが電気機器３００に触れなければ、ＣＰＵ１１０は、ユーザがメッセージに興味がないと判断する。
　あるいは、電気機器３００の操作部３４０としてのボタンをユーザが押した場合に、その旨を音声サービスサーバ１００に送信してもよい。音声サービスサーバ１００のＣＰＵ１１０は、電気機器３００からのそのようなデータに基づいて、ユーザがメッセージに興味をもったと判断したり、ユーザがメッセージを聞いたと判断したりしてもよい。逆に、ユーザが電気機器３００に触れなければ、ＣＰＵ１１０は、ユーザがメッセージに興味がないと判断する。
　さらに、電気機器３００が近接センサによって取得されるデータや温度センサによって取得されるデータやマイクによって取得される音声データなどを利用してユーザの動作を検知することによって、音声サービスサーバ１００がユーザがメッセージを聞いたことを認識してもよい。また、電気機器３００がボタンによって取得されるデータやカメラによって取得される画像データなどを利用してユーザの動作を検知することによって、音声サービスサーバ１００がユーザがメッセージに興味を示したことを取得してもよい。すなわち、音声サービスサーバ１００のＣＰＵ１１０は、音声データ、画像データ、近接センサや温度センサからの検知データ、ボタンへの操作命令、などを組み合わせて、ユーザの動作やメッセージを聞いたことやメッセージに興味を示したことなどを認識してもよい。
　＜第８の実施の形態＞
　なお、第１～第７の実施の形態のような、サーバ１００や電気機器３００の構造・機能・動作に限られず、たとえば各装置の役割が、他のサーバやデータベースなどの複数の装置に分担されてもよい。逆に、複数の装置の役割の一部または全部が１つの装置に集約されてもよい。
　たとえば、図１９に示すように、第１から第７の実施の形態にかかる音声サービスサーバ１００の役割の全部を、スタンドアローン型の電気機器３００が有してもよい。電気機器３００は、対話サービスの一部の更新データだけを音声サービスサーバ１００から取得してもよいし、他のサーバ１００Ｂ，１００Ｃの情報を利用してもよい。また、第１から第７の実施の形態にかかる音声サービスサーバ１００の一部だけを電気機器３００が有するものであってもよい。
　＜その他の応用例＞
　本発明の一態様は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明の一態様を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の一態様の効果を享受することが可能となる。
　この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明の一態様を構成することになる。
　また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
　さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１　　　　：ネットワークシステム
１００　　：音声サービスサーバ
１００Ｂ　：情報提供サーバ
１００Ｃ　：情報提供サーバ
１１０　　：ＣＰＵ
１２０　　：メモリ
１４０　　：操作部
１６０　　：通信インターフェイス
３００　　：電気機器
３００Ａ　：ロボット
３００Ｂ　：冷蔵庫
３００Ｃ　：洗濯機
３００Ｄ　：エアコン
３００Ｅ　：電子レンジ
３１０　　：ＣＰＵ
３２０　　：メモリ
３３０　　：ディスプレイ
３３０Ａ　：ライト
３３０Ｂ　：ライト
３４０　　：操作部
３５０　　：カメラ
３６０　　：通信インターフェイス
３７０　　：スピーカ
３８０　　：マイク
３９０　　：機器駆動部

Claims (13)

  1. 　スピーカを有する端末と通信するための通信インターフェイスと、
    　前記通信インターフェイスを介して、前記端末にメッセージを出力させ、前記端末を介して取得したユーザの動作に基づいて、前記ユーザが前記メッセージを聞いたか否かを判断するためのプロセッサと、を備えるサーバ。
  2. 　前記プロセッサは、
    　前記ユーザの動作が第１の所定の動作である場合に、前記ユーザが前記メッセージを第１のレベルの興味を持って聞いたと判断し、
    　前記ユーザの動作が第２の所定の動作である場合に、前記ユーザが前記メッセージを第２のレベルの興味を持って聞いたと判断する、請求項１に記載のサーバ。
  3. 　前記プロセッサは、前記通信インターフェイスを介して前記端末に、前記メッセージとして、以前のメッセージに関する問い掛けを出力させ、前記ユーザの動作としての前記問い掛けに対するユーザからの回答を取得する、請求項１または２に記載のサーバ。
  4. 　前記プロセッサは、前記通信インターフェイスを介して前記端末に、前記メッセージとして、対話を構成する複数回の往復のうちの前記ユーザに向けた複数回のメッセージを出力させ、前記ユーザの動作として、前記対話を構成する複数回の往復のうちの前記ユーザからの複数回のメッセージを取得する、請求項１から３のいずれか１項に記載のサーバ。
  5. 　前記プロセッサは、前記端末から取得したユーザの動作に基づいて、ユーザ毎の第１の時間帯を決定または補正する、請求項１から４のいずれか１項に記載のサーバ。
  6. 　前記プロセッサは、前記ユーザ毎の第１の時間帯とそれ以外の時間帯とで、前記ユーザの動作に基づく判断の基準を異ならせる、請求項５に記載のサーバ。
  7. 　前記プロセッサは、
    　前記ユーザが前記メッセージに対して肯定的な動作を行った場合に、前記通信インターフェイスを介して、前記端末に第１の情報を出力させ、
    　前記ユーザが前記メッセージに対して肯定的な動作を行わなかった場合に、前記端末に第２の情報を出力させる、または前記端末に第１および第２の情報を出力させない、請求項１から６のいずれか１項に記載のサーバ。
  8. 　前記プロセッサは、前記通信インターフェイスを介して前記端末に、ユーザが所定の動作を実行するとポイントを付与する旨を出力させる、請求項１から７のいずれか１項に記載のサーバ。
  9. 　前記プロセッサは、前記ユーザの動作として、前記ユーザが前記端末に触れたことに基づいて、前記ユーザが前記メッセージを聞いたと判断する、請求項１から８のいずれか１項に記載のサーバ。
  10. 　通信インターフェイスとプロセッサとを含むサーバにおける情報処理方法であって、
    　前記プロセッサが、前記通信インターフェイスを介して、端末にメッセージを出力させるステップと、
    　前記プロセッサが、前記通信インターフェイスを介して前記端末から取得したユーザの動作に基づいて、前記ユーザが前記メッセージを聞いたか否かを判断するステップと、を備える、情報処理方法。
  11. 　メッセージを出力するためのスピーカを有する端末と、
    　前記端末に前記メッセージを出力させ、前記端末から取得したユーザの動作に基づいて、前記ユーザが前記メッセージを聞いたか否かを判断するサーバと、を備えるネットワークシステム。
  12. 　スピーカと、
    　マイクまたはカメラまたは他のセンサと、
    　通信インターフェイスと、
    　前記通信インターフェイスを介して受信したサーバからの情報に基づいて前記スピーカにメッセージを出力させ、前記マイクまたはカメラまたは他のセンサを介して取得したユーザの動作を示す情報を前記サーバに提供し、前記サーバからのデータに基づいて前記ユーザが前記メッセージを聴いていると判断された際の音声または前記ユーザが前記メッセージを聴いていないと判断された際の音声を前記スピーカに出力させるためのプロセッサと、を備える端末。
  13. 　前記プロセッサは、前記ユーザの動作として、ユーザが端末に触れたことを示す情報を前記サーバに提供する、請求項１２に記載の端末。
PCT/JP2017/031344 2016-12-19 2017-08-31 サーバ、情報処理方法、ネットワークシステム、および端末 WO2018116531A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016245458A JP6894228B2 (ja) 2016-12-19 2016-12-19 サーバ、情報処理方法、ネットワークシステム、および端末
JP2016-245458 2016-12-19

Publications (1)

Publication Number Publication Date
WO2018116531A1 true WO2018116531A1 (ja) 2018-06-28

Family

ID=62626299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031344 WO2018116531A1 (ja) 2016-12-19 2017-08-31 サーバ、情報処理方法、ネットワークシステム、および端末

Country Status (2)

Country Link
JP (1) JP6894228B2 (ja)
WO (1) WO2018116531A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264804B2 (ja) * 2019-12-27 2023-04-25 本田技研工業株式会社 レコメンドシステム、レコメンド方法およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096389A (ja) * 1995-06-22 1997-01-10 Seiko Epson Corp 音声認識対話処理方法および音声認識対話装置
JP2003308338A (ja) * 2002-04-18 2003-10-31 Sharp Corp 情報提供装置および情報提供方法、携帯端末器、携帯端末システム、情報提供プログラム、並びに、プログラム記録媒体
JP2004258902A (ja) * 2003-02-25 2004-09-16 P To Pa:Kk 会話制御装置及び会話制御方法
JP2009131928A (ja) * 2007-11-30 2009-06-18 Olympus Corp ロボット制御システム、ロボット、プログラム及び情報記憶媒体
JP2011007963A (ja) * 2009-06-24 2011-01-13 Tokyo Denki Univ 遠隔学習システム及び遠隔学習方法
WO2014171373A1 (ja) * 2013-04-17 2014-10-23 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2014219707A (ja) * 2013-04-30 2014-11-20 株式会社ユードー 広告配信システムおよびポイント付与方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031486A1 (ja) * 2007-09-06 2009-03-12 Olympus Corporation ロボット制御システム、ロボット、プログラム及び情報記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096389A (ja) * 1995-06-22 1997-01-10 Seiko Epson Corp 音声認識対話処理方法および音声認識対話装置
JP2003308338A (ja) * 2002-04-18 2003-10-31 Sharp Corp 情報提供装置および情報提供方法、携帯端末器、携帯端末システム、情報提供プログラム、並びに、プログラム記録媒体
JP2004258902A (ja) * 2003-02-25 2004-09-16 P To Pa:Kk 会話制御装置及び会話制御方法
JP2009131928A (ja) * 2007-11-30 2009-06-18 Olympus Corp ロボット制御システム、ロボット、プログラム及び情報記憶媒体
JP2011007963A (ja) * 2009-06-24 2011-01-13 Tokyo Denki Univ 遠隔学習システム及び遠隔学習方法
WO2014171373A1 (ja) * 2013-04-17 2014-10-23 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2014219707A (ja) * 2013-04-30 2014-11-20 株式会社ユードー 広告配信システムおよびポイント付与方法

Also Published As

Publication number Publication date
JP2018101197A (ja) 2018-06-28
JP6894228B2 (ja) 2021-06-30

Similar Documents

Publication Publication Date Title
US20210050013A1 (en) Information processing device, information processing method, and program
WO2014192552A1 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
KR102264600B1 (ko) 적응적 통지 네트워크용 시스템 및 방법
CN105979312B (zh) 一种信息分享方法及装置
JP2017010516A (ja) 人工知能に基づくヒューマンコンピュータインターアクションの方法、装置及び端末機器
EP3214555B1 (en) Information processing device, information processing method, and computer program for context sharing
US10111020B1 (en) Systems and methods for initiating action based on audio output device
JP2017144521A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015011621A (ja) 会話処理装置、制御方法、制御プログラム、および記録媒体
JP6973380B2 (ja) 情報処理装置、および情報処理方法
TW201517650A (zh) 資訊傳輸方法及相關設備、系統
US20210157542A1 (en) Context based media selection based on preferences setting for active consumer(s)
JP2014130467A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
WO2018116531A1 (ja) サーバ、情報処理方法、ネットワークシステム、および端末
WO2016206642A1 (zh) 机器人的控制数据的生成方法及装置
CN106941646A (zh) 播放语音的方法、装置、移动终端及音频播放设备
TW202020652A (zh) 語音處理方法和裝置
WO2017149848A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN111312244B (zh) 用于沙盘的语音交互系统及方法
WO2018168007A1 (ja) サーバ、情報処理方法、ネットワークシステム、および端末
JP6817056B2 (ja) サーバ、情報処理方法、ネットワークシステム、および端末
WO2020066154A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに対話システム
WO2017113528A1 (zh) 一种智能家居设备匹配的方法、装置、设备以及系统
WO2020024508A1 (zh) 语音信息的获取方法及装置
US20230244437A1 (en) Systems and methods to adjust loudness of connected and media source devices based on context

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17883073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17883073

Country of ref document: EP

Kind code of ref document: A1