WO2017068816A1 - 情報処理システム、および情報処理方法 - Google Patents

情報処理システム、および情報処理方法 Download PDF

Info

Publication number
WO2017068816A1
WO2017068816A1 PCT/JP2016/070207 JP2016070207W WO2017068816A1 WO 2017068816 A1 WO2017068816 A1 WO 2017068816A1 JP 2016070207 W JP2016070207 W JP 2016070207W WO 2017068816 A1 WO2017068816 A1 WO 2017068816A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
message
information processing
control unit
processing system
Prior art date
Application number
PCT/JP2016/070207
Other languages
English (en)
French (fr)
Inventor
敦 塩野崎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020187010075A priority Critical patent/KR20180068975A/ko
Priority to CN201680060292.5A priority patent/CN108139988B/zh
Priority to EP16857134.7A priority patent/EP3367249A4/en
Priority to US15/755,361 priority patent/US10673788B2/en
Publication of WO2017068816A1 publication Critical patent/WO2017068816A1/ja
Priority to US16/839,060 priority patent/US20200236070A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems

Definitions

  • This disclosure relates to an information processing system and an information processing method.
  • each user can carry a communication terminal such as a smartphone, a tablet terminal, a mobile phone terminal, or a wearable device, and can easily exchange messages with friends, family, and lovers via the network wherever they are.
  • a communication terminal such as a smartphone, a tablet terminal, a mobile phone terminal, or a wearable device
  • Patent Document 1 the position information of a mobile phone is acquired by using a GPS (Global Positioning System) function of the mobile phone, and an alarm is notified to a person who is out of the area.
  • GPS Global Positioning System
  • Patent Document 2 when a human group behavior situation is analyzed by a position detection system installed in an environment, and there is a stray child, an interaction-oriented robot arranged in the environment talks to the child. A system is described that guides the child to the parent and notifies the parent searching for the child of the current position of the child.
  • warnings and notifications to other people are performed according to the user's position information, and this is not sufficient from the viewpoint of performing an automatic response with high affinity according to the user's situation. It was. For example, in a situation where messages can be easily exchanged wherever you are, you can rest assured if you get a message from a reliable partner when you feel uneasy.
  • the present disclosure proposes an information processing system and an information processing method capable of performing an automatic response with higher affinity according to the user's psychological state.
  • the database that stores the relationship between the user himself / herself who is represented by the virtual agent and the partner user who is a partner of communication on the network, the psychological state of the partner user, the user himself / herself and the partner
  • An information processing system including a control unit that generates a message according to a relationship with a user and transmits the message to the counterpart user from the virtual agent is proposed.
  • the processor is responsive to the psychological state of the other user who is a communication partner on the network, and the relationship between the user himself / herself represented by the virtual agent and the other user stored in the database. Proposing an information processing method including generating a message and transmitting the message from the virtual agent to the counterpart user.
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the virtual agent 5B agent representing the user 5B (for example, a mother) related to the user 5A changes to the psychological state.
  • the user 5 ⁇ / b> A can be relieved by controlling the corresponding message to arrive.
  • the virtual agent 5B agent responds on behalf of the user B. Convenience is high.
  • the user A can also feel relieved by seeing a message according to his / her psychological state (excited, excited, lonely and comforting, confused and in trouble). There is an effect of satisfaction.
  • the message from the virtual agent 5B agent is a message that takes into account the relationship between the proxy user 5B and the user 5A as the transmission partner, so that the partner user A who received the message has a higher affinity that touches the heart. It will be a thing.
  • FIG. 2 is a diagram illustrating the overall configuration of the information processing system according to the present embodiment.
  • the information processing system includes information processing apparatuses 2A and 2B and a server 1 that each user has.
  • the information processing apparatuses 2A and 2B and the server 1 are connected via the network 4 to transmit and receive data.
  • the information processing apparatuses 2A and 2B can exchange messages (for example, text-based conversation) in real time via the network 4 under the control of the server 1.
  • the information processing apparatus 2A acquires information such as the user's movement, vibration, pulse, pulse wave, heart rate, sweating, breathing, blood pressure, or body temperature from the wearable terminal 3 worn by the user, and the psychological state of the user (for example, Emotions such as anger, disgust, fear, joy, sadness and surprise).
  • the wearable terminal 3 can be realized by, for example, a smart watch, a smart band, a smart eyeglass, a smart neck, or an implantable terminal. Note that user sensing is not limited to that by the wearable terminal 3, and may be sensed by the information processing apparatus 2A or a surrounding environmental sensor.
  • the information processing apparatus 2A As a sensor or environment sensor provided in the information processing apparatus 2A, for example, a camera, a microphone, or the like is assumed, and it is possible to capture a user's face image (facial expression) or collect a user's utterance.
  • the information processing apparatus 2 ⁇ / b> A is “lost” or “thinking” when it detects a state of moving around the same location based on, for example, user motion data detected by a motion sensor. , “I'm friendly”, or “I ’m concerned”. Further, the information processing apparatus 2A determines that the emotional state is “happy” or “anxiety / worried” by combining the facial expression extracted from the captured image obtained by capturing the user's face and the pulse detected by the pulse sensor. .
  • the information processing apparatus 2 ⁇ / b> A can also determine the psychological state of “tired” by combining the user's sigh, eye movements, and facial expressions.
  • the determination of the psychological state by the information processing apparatus 2A can be performed using machine learning, for example.
  • the server 1 generates a message to the partner user according to the relationship between the psychological state of the partner user acquired from the information processing device 2A and the partner user and the user who acts as a proxy (user of the information processing device 2B). Controls transmission from the user's virtual agent to the other user. Thereby, it becomes possible to automatically transmit a message with high affinity according to the psychological state of the other user and the relationship with the user.
  • a virtual agent that performs an automatic response is referred to as a bot.
  • FIG. 3 is a block diagram illustrating an example of the configuration of the server 1 according to the present embodiment.
  • the server 1 includes a control unit 10, a communication unit 11, a relationship information DB (database) 12, and a bot response DB 13.
  • the communication unit 11 transmits / receives data to / from an external device via wired / wireless.
  • the communication unit 11 is connected to the information processing apparatuses 2A and 2B and transmits and receives data.
  • the control unit 10 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the server 1 according to various programs.
  • the control unit 10 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 10 according to the present embodiment also functions as the message generation unit 101, the presentation control unit 102, the notification control unit 103, and the setting unit 104.
  • the message generation unit 101 generates a message to the partner user according to the psychological state of the partner user acquired from the information processing apparatus 2A and the relationship between the partner user and the user acting as a proxy.
  • the message generation unit 101 can also analyze the content of messages that the user has exchanged with the other user in the past, and generate messages using commonly used expressions and tone.
  • the message generation unit 101 can also create a response with keywords used in past exchanges.
  • the message generation unit 101 mines the context of past exchanges and generates a message with reference to the user's response when the other party was in the same psychological state in the past. It is also possible to generate a slightly altered response.
  • the message generation unit 101 may analyze the contents of messages exchanged between the user and other users in the past, and may be used to generate a message for the other user. In particular, even when the user has not exchanged messages with the other user in the past, it can be made to resemble the user's tone and expression by generating based on past messages between the user and other users. Also, by considering past messages with other users, it is possible to change the bot response to the other user.
  • the presentation control unit 102 controls to transmit the message generated by the message generation unit 101 to the other user as a proxy user's virtual agent. Specifically, the presentation control unit 102 controls to post a message on both chat screens together with a proxy user icon (or an icon obtained by processing a user icon for a bot), or information processing of the other user Control to send to the device as mail from the virtual agent.
  • the notification control unit 103 controls the message generated by the message generation unit 101 to be notified to the proxy user before or after presenting the message to the other user.
  • the user who received the notification can check what message the bot that is acting on his / her own has sent to the other party, and whether or not he / she wants to send it, and can edit it as necessary. is there.
  • the setting unit 104 has a function of setting whether or not a bot response is possible. Specifically, the setting unit 104 sets whether to perform a bot response for each partner user, each psychological state, and each time period. Such a setting can be arbitrarily designated by the user, for example.
  • the bot response setting will be specifically described with reference to FIGS. 4 and 5.
  • FIG. 4 is a diagram showing an example of a bot response setting screen 200 that can be set for each partner user.
  • the user can set whether or not to respond by a bot acting on his / her own behalf (that is, a virtual agent).
  • ON / OFF of the bot response can be set by the buttons 201, 202, and the like.
  • the bot response of the partner user 5 ⁇ / b> A is set to OFF by the button 201
  • the bot response of the partner user 5 ⁇ / b> C is set to ON by the button 202.
  • the bot response When the bot response is set to ON, the bot response can be set in more detail.
  • FIG. 4 a description will be given with reference to FIG.
  • FIG. 5 is a diagram showing an example of a detailed bot response setting screen 210 for each partner user.
  • more detailed bot response setting can be performed when the bot response of the partner user a is set to ON.
  • display distinction setting and emotion-specific bot response setting can be performed.
  • the display distinction setting is a setting for whether or not to display the response by the bot and the response by the user himself / herself.
  • “Make display distinct” on the bot response setting screen 210 is set to ON.
  • the display distinction is set to ON, when the presentation control unit 102 presents the message generated by the message generation unit 101 (that is, a bot response) to the other user a, a message from the user himself / herself is presented Control is performed so that presentation is performed in a display mode different from that in normal times.
  • the display distinction setting is not limited to the example shown in FIG. 5 and may be set for each emotion.
  • FIG. 6 is a diagram illustrating an example of the chat screen of the other user when the display distinction of the bot response according to the present embodiment is not performed.
  • the message 221 is a message input by the user 5B himself
  • the message 223 is a message input by the bot of the user 5B himself, that is, generated by the message generation unit 101 of the server 1 and sent by the presentation control unit 102.
  • the response is a presentation-controlled response, no distinction is made on the display.
  • the bot response message 223 indicates that the user 5C's psychological state is “tired” or “hungry” when a certain time has elapsed after the message 222 input by the user 5C is displayed at 16:10. It is generated by the message generation unit 101 of the server 1 triggered by the fact that it is detected that the current state is detected, and the presentation control unit 102 controls the presentation.
  • FIG. 7 is a diagram showing an example of the chat screen of the other user when the display distinction of the bot response according to the present embodiment is performed.
  • the message 234 input by the bot acting on behalf of the user 5B is displayed on the chat screen 230 in a display mode different from the message 231 input by the user 5B himself.
  • the color of the display area of the message 234 is different.
  • the display mode of the message is not limited to this, and the presentation control unit 102 may control the font and the display frame of the message to be different, for example.
  • FIG. 1 is a diagram showing an example of the chat screen of the other user when the display distinction of the bot response according to the present embodiment is performed.
  • the message 234 input by the bot acting on behalf of the user 5B is displayed on the chat screen 230 in a display mode different from the message 231 input by the user 5B himself.
  • the color of the display area of the message 234 is different.
  • the display mode of the message is not limited to this, and the presentation control unit 102 may control
  • the presentation control unit 102 processes the icon of the user 5B so that it can be understood that the message is a statement made by the bot acting on the user 5B's behalf.
  • a bot response may be displayed together with 233.
  • FIG. 7 a processing example in which the user 5B is converted into a bot (characterized) is used.
  • the present embodiment is not limited to this, for example, processing that changes the color or tone of the user 5B icon. You may use the image which added.
  • “prior confirmation”, “response time zone”, “consideration of other user response”, and the like may be set for each emotion (that is, psychological state) of the other user.
  • “Advance confirmation” is a setting for whether or not the user himself / herself confirms the content of the bot response to the partner user before presenting the content to the partner user.
  • the server 1 is generated by the message generator 101.
  • the notification control unit 103 Before sending the message to the other user 5C, the notification control unit 103 notifies the user 5B himself / herself of the message content and the like. A case where the user 5B himself confirms in advance will be specifically described with reference to FIG.
  • FIG. 8 is a diagram for explaining prior confirmation to the user of the bot response according to the present embodiment.
  • the chat screen 240 shown in FIG. 8 is displayed on the information processing apparatus 2 of the user 5B himself (for example, the information processing apparatus 2B shown in FIG. 1).
  • the message 241 displayed on the chat screen 240 in FIG. 8 is input by the user 5B himself, and the message 242 is input by the partner user 5C.
  • the other user's 5C psychological state is such as “tired” or “hungry”.
  • a message is generated by the message generation unit 101 of the server 1 triggered by the fact that it is detected.
  • the server 1 notifies the user 5B himself / herself in advance of the message generated by the message generation unit 101 by the notification control unit 103.
  • a message 244 shown in FIG. 8 is a notification message for such advance confirmation.
  • the icon 243 the bot icon of the user 5B is used.
  • the user 5B confirms the content of the bot response included in the message 244, taps the OK button if OK, and taps the cancel button to stop the transmission.
  • the server 1 can pop up the menu screen 251 on the screen 250 as shown in FIG. 9 and allow the user 5B to select the editing of the content of the bot response. It can be.
  • FIG. 9 is a diagram for explaining an example of a menu screen displayed when the bot response is permitted.
  • the menu screen 251 includes a “send as it is” button, a “reference history” button, a “display other candidates” button, and an “edit” button.
  • the server 1 performs control so that the notified bot response is presented to the partner user.
  • the “history reference” button is tapped, the history reference screen 252 as shown in FIG. Control to display.
  • FIG. 10 on the history reference screen 252, “self history” and “others history” are displayed as bot response candidates.
  • the self history a history of messages that have been answered by the bot of the user (here, the user 5B) under the same situation (for example, the other user, the other user's psychological state, time zone, and contents) is displayed.
  • the other user the other user's psychological state, time zone, and contents
  • the other user a history of messages that bots of other people (users other than the user 5B in this case) responded to in the past under the same situation (for example, the psychological state, time zone, and contents of the other user) is displayed.
  • the user 5B can edit the bot response by referring to the bot response history of the user or another person. If there is no history, the “reference history” button is not displayed on the menu screen 251 shown in FIG.
  • the server 1 when the “display other candidates” button is tapped on the menu screen 251 of FIG. 9, the server 1 generates other candidates for the bot response by the message generation unit 101 and displays them.
  • the server 1 displays an edit screen 253 as shown in FIG. As shown in FIG. 11, on the edit screen 253, the text of the bot response can be edited.
  • the editing screen 253 keywords extracted by parsing past message exchanges by the message generation unit 101 can be presented as candidates. As a result, the user can easily edit the contents of the bot response.
  • the “response time zone” setting sets whether or not to perform a bot response according to the time zone for each emotion. For example, in the example shown in FIG. 5, when the partner user 5C has a feeling of "tired” and a feeling of "enjoying", it is set to perform a bot response between 8:00 and 20:00 on weekdays. . In the case of other emotions not listed in the list as specific emotions ("Others" shown in FIG. 5), the bot response is set at any time on weekdays, weekends, and holidays. In addition to specifying the time zone, for example, a setting method of setting the bot response to be possible until eight hours later is possible because of work now.
  • the message generator 101 parses past messages exchanged between the other user and the user himself, picks up keywords, and uses these keywords and usual expressions and tone to generate messages. Basically, if “considering other user response” is set to ON, a message is also generated using the bot response information of another user. In the example illustrated in FIG. 5, “consideration of other user response” is set to OFF, but when it is set to ON, the message generation unit 101 may, for example, send another user to the other user who has detected the same emotion. A message is also generated using the result of parsing the past message.
  • the detailed bot response setting has been described above, but the setting items according to the present embodiment are not limited to the example illustrated in FIG. 5. For example, whether or not the tone of the message generated as the bot response is similar to the user's own tone. It is also possible to perform setting, setting whether or not to make it completely different from his own tone, and the like.
  • the emotion of “others” shown in FIG. 5 is other emotions not listed as specific examples. Further, in any emotion, when the emotion that is the psychological state of the other user exceeds a threshold value, the emotion may be observed. As a result, “normal times” in which a specific emotion does not protrude are not included in any of the emotions shown in FIG. 5 including “others” and can be excluded from bot responses.
  • the information regarding the setting of the bot response described above is stored in association with the user ID in the relation information DB 12.
  • the relationship information DB 12 of the server 1 is a database that accumulates the relationship between the user acting as a bot (virtual agent) and the other user who communicates with the user on the network.
  • the relationship information DB 12 stores, for example, a past history of communication between the users (for example, a bot response history, a transmitted / received message, a “commonly used keyword” based on message analysis, etc.).
  • the relationship between the users may be registered in advance by the user, or may be automatically registered by the control unit 10 of the server 1 by analyzing the past message exchange between the two.
  • the relationship between users for example, a spouse, a lover, a parent-child relationship (parent / child), a brother, a workplace (superior / subordinate), a friend (close friend / light relationship), a senior / junior, or the like is assumed.
  • whether or not the bot response can be set for each specific partner can be set.
  • the present embodiment is not limited to this and is registered in the relationship information DB 12. It is also possible to set bot response availability for each “relationship”.
  • the “relationship” between the two is also used when a message is generated by the message generation unit 101, and the tone and expression of the message can be changed according to the relationship with the other party.
  • FIG. 12 is a flowchart showing the first bot response generation process according to the present embodiment. As shown in FIG. 12, first, the other user's emotion and psychological state are detected by the other user's information processing apparatus 2A (step S103).
  • the information processing apparatus 2A transmits the detection result to the server 1 (step S106).
  • control unit 10 of the server 1 determines whether or not a bot response should be made to the other user (step S109). Specifically, for example, the control unit 10 refers to the relationship information DB 12 and refers to the bot response setting information registered in association with the ID of the user whose relationship with the other user is registered, and detects it. It is determined whether or not to respond to the bot based on the psychological state and the time zone.
  • the message generation unit 101 refers to the relationship information DB 12, and based on the relationship between the partner user and the user, and the emotion and psychological state of the partner user. , A bot response is generated (step S112).
  • the message generation unit 101 generates a message using, for example, a standard bot response table stored in the bot response DB 13.
  • FIG. 13 shows an example of the standard bot response table.
  • the standard bot response table 130 stores standard bot responses corresponding to the emotions of the other user and the relationship with the other user.
  • the message generation unit 101 can generate a bot response according to the emotion of the other user and the relationship between the other user and the user according to the standard bot response table 130.
  • FIG. 14 is a flowchart showing a second bot response generation process according to this embodiment.
  • a bot response is generated using various information such as past history.
  • steps S203 to S209 shown in FIG. 14 processing similar to that in steps S103 to S109 shown in FIG.
  • step S212 when it is determined that a bot response should be made (step S212 / Yes), the message generation unit 101 of the server 1 receives and answers (specifically, the message) between the partner user and the user within the most recent predetermined time. It is determined whether or not there has been (exchange) (step S212).
  • step S212 / Yes when there is an answer in the past predetermined time (step S212 / Yes), the message generator 101 sets a bot response generation flag considering the contents of the answer (step S215). On the other hand, when there is no answer (step S212 / No), the flag is not set.
  • the message generation unit 101 determines whether or not there is a communication history (specifically message exchange) when the other user has the same emotion and psychological state in the past history between the other user and the user. (Step S218).
  • step S218 / Yes when there is a past history at the same emotion and psychological state (step S218 / Yes), the message generation unit 101 sets a bot response generation flag that also considers responses at the same emotion and psychological state in the past (step S218 / Yes). S221). On the other hand, when there is no past history (step S218 / No), the flag is not set.
  • the message generation unit 101 determines whether or not to accept other user's response contents (step S224). Specifically, the message generation unit 101 makes a determination based on ON / OFF of “consideration of other user response” in the setting information stored in association with the user ID.
  • step S224 / Yes when the contents of other users 'responses are taken in (step S224 / Yes), the message generation unit 101 sets a bot response generation flag that takes into account the other users' responses in the same relationship, the same emotion, and the psychological state. (Step S227). On the other hand, when not taking in (step S224 / No), the flag is not set.
  • the message generation unit 101 generates a bot response according to the set response generation flag (step S230). That is, a bot response is generated using at least one of the past answers of the past predetermined time, the same emotion, the past history of the psychological state, and the past history of other users having the same relationship and the same emotion and psychological state.
  • the message generation unit 101 can automatically generate a bot response by performing syntax analysis based on various types of information stored in the relationship information DB 12.
  • various information stored in the relationship information DB 12 will be described with reference to FIGS.
  • FIG. 15 is a diagram illustrating an example of the relationship information stored in the relationship information DB 12 according to the present embodiment.
  • the relationship information 120 includes a user ID, a partner user ID, a relationship between both, a bot response history of both, a transmission message history from the user to the partner user, a received message history from the partner user, and these histories "Frequently used keywords" information extracted by parsing based on
  • the data structure shown in FIG. 15 is an example, and the present embodiment is not limited to this. An example of each table showing both the bot response history, the transmission message history, and the reception message history shown in FIG. 15 will be described below.
  • FIG. 16 is a diagram illustrating an example of a bot response table.
  • the bot response table 121 stores the contents, date and time of the past bot response that responded to the other user, and the emotion (or psychological state) of the other user at that time.
  • FIG. 17 is a diagram illustrating an example of a transmission message table. As shown in FIG. 17, the transmission message table 122 stores the contents, date and time of the past message that the user responded to the other user, and the emotion (or psychological state) of the other user at that time. .
  • FIG. 18 is a diagram illustrating an example of a received message table.
  • the received message table 123 stores the contents, date and time of the past message received by the user himself / herself from the other user, and the emotion (or psychological state) of the other user at that time.
  • the message generation unit 101 can parse the contents with reference to the transmission message table 122 and the reception message table 123, and generate a new automatic response message in consideration of the relationship between the two persons.
  • FIG. 19 is a diagram showing an example of a frequently used keyword table.
  • a keyword extracted from the syntax analysis of the transmission / reception message is stored in the frequently used keyword table 124.
  • the example shown in FIG. 19 is in units of words, but messages that are frequently used (highly used) between the user and the other user may be extracted and stored for each scene. Note that parsing information, natural language processing information, and the like used when extracting words may be held in a storage unit (not shown) of the server 1.
  • FIG. 20 is a flowchart showing a bot response presentation process according to this embodiment.
  • the presentation control unit 102 of the server 1 confirms whether or not it is set to perform prior confirmation of the bot response (see FIG. 5) (step S ⁇ b> 303).
  • the presentation control unit 102 inquires of the user whether the bot response is possible (step S306).
  • the inquiry to the user is as described above with reference to FIG.
  • step S309 / Yes the presentation control unit 102 checks whether or not the display distinction of the bot response (see FIG. 5) is on (step S312).
  • step S312 / No when the display distinction of the bot response is not on (step S312 / No), the presentation control unit 102 transmits the generated message as a normal message to the other user (step S315).
  • step S312 when the display distinction of the bot response is on (step S312 / Yes), the presentation control unit 102 transmits the generated message as a bot response to the other user (step S318).
  • the information processing apparatus 2A that has received the message from the server 1 displays a bot response (step S321).
  • the information processing apparatus 2A displays the bot response without distinguishing it from the normal message (message input by the user) as described with reference to FIG. Is transmitted as a bot response, as described with reference to FIG. 7, the bot response is displayed separately from the normal message (in a different display mode).
  • the notification control unit 103 of the server 1 checks whether or not the notification of the bot response is on (step S324), and if it is on (step S324 / Yes), performs the bot response. Control is performed to notify the user himself / herself (step S327).
  • a computer-readable storage medium storing the computer program is also provided.
  • the information processing system is not limited to text chat, but can be applied to voice chat.
  • a voice chat system that converts text into speech and plays it back is assumed.
  • the server 1 when applied to a voice chat system, the server 1 generates synthesized speech using the phoneme data of the person associated with the bot when the message generator 101 generates a bot response message. It is also possible to control to output the bot message with a sound similar to
  • this technique can also take the following structures.
  • a database that accumulates the relationship between the user who is represented by the virtual agent and the other user who is the communication partner on the network; Generating a message according to the psychological state of the partner user and the relationship between the user and the partner user; A control unit for transmitting from the virtual agent to the counterpart user; Comprising Information processing system.
  • the information processing system according to (1) wherein the control unit transmits the message to the counterpart user and also transmits the message to the user.
  • the control unit automatically generates a message from the tendency of messages transmitted / received in the past between the user and the partner user when the partner user is in the psychological state, (1) or ( The information processing system according to 2).
  • the control unit automatically generates a message from the tendency of messages transmitted and received between other users, which is the same relationship as the relationship between the user himself / herself and the counterpart user, (1) or (2 ) Information processing system.
  • the control unit sets whether to allow the user himself / herself to automatically send a message from the virtual agent to the other user according to a setting input via a specific user interface.
  • the information processing system according to any one of (1) to (4).
  • the control unit determines whether or not to obtain permission from the user before sending a message to the other user according to a setting input via a specific user interface, (1) The information processing system according to any one of (5) to (5).
  • the control unit sets whether to display the message from the user himself / herself or the message from the virtual agent in an identifiable manner according to a setting input via a specific user interface.
  • the information processing system according to any one of 1) to (6).
  • the control unit automatically sends a message to the partner user from the virtual agent for each psychological state of the partner user according to a setting input via a specific user interface.
  • the information processing system according to any one of (1) to (7), wherein whether or not to permit is set.
  • the control unit permits the user himself / herself to automatically send a message to the other user from the virtual agent according to a time zone according to a setting input through a specific user interface.
  • the information processing system according to any one of (1) to (8), wherein whether to perform or not is set.
  • control unit edits the generated message in response to a request from the user.
  • (11) Processor Generating a message according to the psychological state of the partner user who is the partner of communication on the network, and the relationship between the user himself / herself represented by the virtual agent and the partner user stored in the database; Transmitting from the virtual agent to the counterpart user; Including an information processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの心理状態に応じて、より親和性の高い自動応答を行うことが可能な情報処理システム、および情報処理方法を提供する。 【解決手段】仮想エージェントによって代理されるユーザ本人と、ネットワーク上でのコミュニケーションの相手である相手ユーザとの関係を蓄積するデータベースと、前記相手ユーザの心理状態と、前記ユーザ本人と前記相手ユーザとの関係に応じて、メッセージを生成し、前記仮想エージェントから前記相手ユーザに送信する制御部と、を備える、情報処理システム。

Description

情報処理システム、および情報処理方法
　本開示は、情報処理システム、および情報処理方法に関する。
　近年、通信技術の発達により、ネットワークを介したメッセージのやり取りが頻繁に行われている。また、各ユーザは、スマートフォン、タブレット端末、携帯電話端末、またはウェアラブル装置等の通信端末を持ち歩き、どこにいても気軽にネットワークを介して友人や家族、恋人とメッセージの交換が可能となる。
　また、通信端末に対してメッセージを自動配信する技術も提案されている。例えば下記特許文献１には、携帯電話機のGPS（Global Positioning System）機能を用いて携帯電話機の位置情報を取得し、エリアを外れた人物にアラーム報知すると共に、当該人物以外の人物にもエリ外への移動を通知するシステムが記載されている。また、下記特許文献２には、環境に設置された位置検出システムによって人間のグループ行動状況を解析し、はぐれた子供がいると、環境内に配置された相互作用指向のロボットが子供に話しかけて親のところまで誘導し、また、その子供を探す親に子供の現在位置を通知するシステムが記載されている。
特開２００７－２９５２０１号公報 特開２０１０－２０５０１５号公報
　しかしながら、上記いずれの特許文献においても、ユーザの位置情報に応じて警告や他者への通知を行っており、ユーザの状況に応じた親和性の高い自動応答を行うという観点からは十分では無かった。例えばどこにいても気軽にメッセージの交換が可能な状況において、自身が不安な気持ちでいる時に信頼のおける相手からメッセージが貰えると安心できるものである。
　そこで、本開示では、ユーザの心理状態に応じて、より親和性の高い自動応答を行うことが可能な情報処理システム、および情報処理方法を提案する。
　本開示によれば、仮想エージェントによって代理されるユーザ本人と、ネットワーク上でのコミュニケーションの相手である相手ユーザとの関係を蓄積するデータベースと、前記相手ユーザの心理状態と、前記ユーザ本人と前記相手ユーザとの関係に応じて、メッセージを生成し、前記仮想エージェントから前記相手ユーザに送信する制御部と、を備える、情報処理システムを提案する。
　本開示によれば、プロセッサが、ネットワーク上でのコミュニケーションの相手である相手ユーザの心理状態と、データベースに蓄積されている、仮想エージェントによって代理されるユーザ本人と前記相手ユーザとの関係に応じて、メッセージを生成することと、前記仮想エージェントから前記相手ユーザに送信することと、を含む、情報処理方法を提案する。
　以上説明したように本開示によれば、ユーザの心理状態に応じて、より親和性の高い自動応答を行うことが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態による情報処理システムの全体構成を説明する図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 本実施形態による相手ユーザ毎に設定可能なbot応答設定画面の一例を示す図である。 本実施形態による相手ユーザ毎の詳細なbot応答設定画面の一例を示す図である。 本実施形態によるbot応答の表示区別を行わない場合における相手ユーザのチャット画面の一例を示す図である。 本実施形態によるbot応答の表示区別を行う場合における相手ユーザのチャット画面の一例を示す図である。 本実施形態によるbot応答のユーザ本人への事前確認について説明する図である。 本実施形態によるbot応答を許可した場合に表示されるメニュー画面の一例について説明する図である。 本実施形態による履歴参照画面の一例を示す図である。 本実施形態による編集画面の一例を示す図である。 本実施形態による第１のbot応答生成処理を示すフローチャートである。 本実施形態による標準bot応答テーブルの一例を示す図である。 本実施形態による第２のbot応答生成処理を示すフローチャートである。 本実施形態による関係情報ＤＢに格納されている関係情報の一例を示す図である。 本実施形態によるbot応答テーブルの一例を示す図である。 本実施形態による送信メッセージテーブルの一例を示す図である。 本実施形態による受信メッセージテーブルの一例を示す図である。 本実施形態によるよく使われるキーワードテーブルの一例を示す図である。 本実施形態による本実施形態によるbot応答提示処理を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．サーバの構成
　３．動作処理
　　３－１．第１のbot応答生成処理
　　３－２．第２のbot応答生成処理
　　３－３．bot応答提示処理
　４．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要を説明する図である。図１に示すように、ユーザ５Ａ（例えば子供）が不安な心理状態にあることをセンシングした際に、ユーザ５Ａと関係するユーザ５Ｂ（例えば母親）を代理する仮想エージェント５Ｂagentから、心理状態に応じたメッセージが届くよう制御することで、ユーザ５Ａを安心させることができる。特にユーザ５Ｂが忙しい状況にあって、ユーザ５Ａやシステム側から通知があっても即座に応答することができないような場合、代理で仮想エージェント５Ｂagentが応答してくれることは、ユーザＢにとっても利便性が高い。また、ユーザＡ側としても、自身の心理状態（うきうきうれしく興奮している、寂しくて慰めて欲しい、おどおどして困っている等）に応じたメッセージを見て安心することができたり、気持ちが満足するといった効果がある。さらに、仮想エージェント５Ｂagentからのメッセージは、代理するユーザ５Ｂと送信相手のユーザ５Ａとの関係を考慮したメッセージとすることで、メッセージを貰った相手ユーザＡにとって、より心に響く親和性の高いものとなる。
　このように、本実施形態による情報処理システムでは、ユーザの心理状態に応じて、より親和性の高い自動応答を行うことが可能である。
　以下、このような本実施形態による情報処理システムの構成について図２を参照して説明する。図２は、本実施形態による情報処理システムの全体構成を説明する図である。
　図２に示すように、本実施形態による情報処理システムは、各ユーザがそれぞれ持っている情報処理装置２Ａ、２Ｂ、およびサーバ１を含む。情報処理装置２Ａ、２Ｂおよびサーバ１は、ネットワーク４を介して接続し、データの送受信を行う。また、情報処理装置２Ａ、２Ｂは、サーバ１の制御により、ネットワーク４を介してリアルタイムにメッセージのやり取り（例えばテキストベースでの会話）が可能となる。
　情報処理装置２Ａは、ユーザに装着されたウェアラブル端末３からユーザの動き、振動、脈拍、脈波、心拍、発汗量、呼吸、血圧、または体温等の情報を取得し、ユーザの心理状態（例えば怒り、嫌悪、恐怖、喜び、悲しみ、驚きといった感情）を解析することが可能である。ウェアラブル端末３は、例えばスマートウォッチ、スマートバンド、スマートアイグラス、スマートネック、または体内埋め込み型端末等により実現され得る。なおユーザのセンシングは、ウェアラブル端末３によるものに限定されず、情報処理装置２Ａや周囲の環境センサによりセンシングしてもよい。情報処理装置２Ａに設けられるセンサまたは環境センサとしては、例えばカメラ、マイクロホン等が想定され、ユーザの顔画像（表情）を撮像したり、ユーザの発話を収音したりすることが可能となる。情報処理装置２Ａは、例えば運動センサにより検出したユーザの動きデータに基づいて、同じ場所をぐるぐると動いているような状態を検知した場合には「迷っている」、「考え事をしている」、「おろおろしている」、または「おどおどしている」といった心理状態であると判断する。また、情報処理装置２Ａは、ユーザの顔を撮像した撮像画像から抽出した表情と、脈拍センサから検知した脈拍とを組み合わせて、「嬉しい」または「不安・心配」といった心理状態であると判断する。また、情報処理装置２Ａは、ユーザの溜息、目の動き、および顔の表情を組み合わせて、「疲れている」という心理状態を判断することも可能である。情報処理装置２Ａによるこれら心理状態の判断は、例えば機械学習を用いて行われ得る。
　サーバ１は、情報処理装置２Ａから取得した相手ユーザの心理状態と、相手ユーザおよび代理するユーザ（情報処理装置２Ｂのユーザ）との関係に応じて、相手ユーザへのメッセージを生成し、代理するユーザの仮想エージェントから相手ユーザへ送信するよう制御する。これにより、相手ユーザの心理状態やユーザとの関係に応じた親和性の高いメッセージを自動送信することが可能となる。
　以上、本実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムの構成および動作処理について具体的に説明する。なお、以下に説明する本実施形態において、自動応答を行う仮想エージェントをbotと称す。
　＜＜２．サーバの構成＞＞
　図３は、本実施形態によるサーバ１の構成の一例を示すブロック図である。図３に示すように、サーバ１は、制御部１０、通信部１１、関係情報ＤＢ（データベース）１２、およびbot応答ＤＢ１３を含む。
　通信部１１は、外部装置と有線／無線を介してデータの送受信を行う。例えば通信部１１は、情報処理装置２Ａ、２Ｂと接続し、データの送受信を行う。
　制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による制御部１０は、メッセージ生成部１０１、提示制御部１０２、通知制御部１０３、および設定部１０４としても機能する。
　メッセージ生成部１０１は、情報処理装置２Ａから取得した相手ユーザの心理状態と、相手ユーザおよび代理するユーザとの関係に応じて、相手ユーザへのメッセージを生成する。また、メッセージ生成部１０１は、ユーザが相手ユーザと過去にやり取りしていたメッセージの内容を解析し、よく使われる表現や口調を用いてメッセージを生成することも可能である。また、メッセージ生成部１０１は、過去のやり取りで用いられたキーワードを交えて応答を作成することもできる。また、メッセージ生成部１０１は、過去のやり取りのコンテキストをマイニングし、過去に相手が同一の心理状態であった場合におけるユーザの応答を参考にメッセージを生成することで応答の統一感を出したり、少し変化させた応答を生成することも可能である。
　また、メッセージ生成部１０１は、ユーザと他のユーザとが過去にやり取りしたメッセージの内容を解析し、相手ユーザへのメッセージ生成に用いてもよい。特にユーザが相手ユーザと過去にメッセージのやり取りを行っていなかった場合でも、ユーザと他のユーザとの過去メッセージに基づいて生成することで、ユーザの口調や表現に似せることができる。また、他のユーザとの過去メッセージも考慮することで、相手ユーザに対するbot応答に変化を持たせることができる。
　提示制御部１０２は、メッセージ生成部１０１により生成されたメッセージを、代理するユーザの仮想エージェントからとして相手ユーザへ送信するよう制御する。具体的には、提示制御部１０２は、代理するユーザのアイコン（またはユーザのアイコンをbot用に加工したアイコン）と共に、両者のチャット画面にメッセージを投稿するよう制御したり、相手ユーザの情報処理装置に仮想エージェントからのメールとして送信するよう制御したりする。
　通知制御部１０３は、メッセージ生成部１０１により生成したメッセージを、相手ユーザに提示する前または提示した後に、代理するユーザに通知するよう制御する。これにより、通知を受けたユーザは、自身の代理であるbotが相手にどのようなメッセージを送ったか、また、送ろうとしているかを確認することができ、必要に応じて編集することも可能である。
　設定部１０４は、bot応答の可否を設定する機能を有する。具体的には、設定部１０４は、相手ユーザ毎、心理状態毎、および時間帯毎にbot応答を行うか否かの設定を行う。かかる設定は、例えばユーザにより任意に指定することが可能である。ここで、図４および図５を用いてbot応答設定について具体的に説明する。
　図４は、相手ユーザ毎に設定可能なbot応答設定画面２００の一例を示す図である。ユーザは、図示されたbot応答設定画面２００を用いて相手ユーザ毎に自身を代理するbot（すなわち仮想エージェント）による応答を行うか否かを設定することが可能である。bot応答のＯＮ／ＯＦＦは、ボタン２０１、２０２等により設定され得る。図４に示す例では、相手ユーザ５Ａのbot応答がボタン２０１よりＯＦＦに設定され、相手ユーザ５Ｃのbot応答がボタン２０２によりＯＮに設定されている。bot応答をＯＮに設定した場合、さらに詳細にbot応答設定を行うことが可能である。以下、図５を参照して説明する。
　図５は、相手ユーザ毎の詳細なbot応答設定画面２１０の一例を示す図である。図示された例では、相手ユーザａのbot応答をＯＮに設定した場合におけるさらに詳細なbot応答設定を行える。bot応答設定画面２１０では、表示区別の設定と、感情別のbot応答設定を行うことが可能である。
　表示区別の設定とは、botによる応答と、ユーザ本人による応答とを区別して表示するか否かの設定である。図５に示す例では、bot応答設定画面２１０の「表示を区別させる」がＯＮに設定されている。表示区別がＯＮに設定されている場合、提示制御部１０２は、メッセージ生成部１０１により生成したメッセージ（すなわちbot応答）を相手ユーザａに提示させる際に、ユーザ本人からのメッセージが提示される場合（すなわち通常時）とは異なる表示態様で提示するよう制御する。なお表示区別の設定は、図５に示す例に限定されず、さらに感情別に設定できるようしてもよい。すなわち、例えば相手ユーザ５Ｃへの「疲れている」際のbot応答では表示区別を行わず、相手ユーザ５Ｃへの「楽しんでいる」際のbot応答では表示区別を行うよう設定できるようにしてもよい。ここで、表示区別の一例について図６および図７を参照して説明する。
　図６は、本実施形態によるbot応答の表示区別を行わない場合における相手ユーザのチャット画面の一例を示す図である。図示された例では、メッセージ２２１がユーザ５Ｂ本人が入力したメッセージであって、メッセージ２２３はユーザ５Ｂ本人のbotが入力したメッセージ、すなわちサーバ１のメッセージ生成部１０１が生成して提示制御部１０２により提示制御された応答であるが、表示上の区別は何ら行われていない。bot応答のメッセージ２２３は、ユーザ５Ｃが入力したメッセージ２２２が16:10に表示された後一定時間を経過した際に、ユーザ５Ｃの心理状態が「疲れた」または「お腹が空いた」といったような状態にあることが検知されたことをトリガとしてサーバ１のメッセージ生成部１０１により生成され、提示制御部１０２により提示制御されたものである。
　図７は、本実施形態によるbot応答の表示区別を行う場合における相手ユーザのチャット画面の一例を示す図である。図示された例では、チャット画面２３０において、ユーザ５Ｂ本人により入力されたメッセージ２３１と異なる表示態様で、ユーザ５Ｂを代理するbotが入力したメッセージ２３４が表示されている。具体的には、メッセージ２３４の表示エリアの色が異なっている。なおメッセージの表示態様の区別はこれに限定されず、提示制御部１０２は、例えば字体やメッセージの表示枠を異なるよう制御してもよい。また、提示制御部１０２は、図７に示すように、botが入力したメッセージ２３４を表示する際、ユーザ５Ｂのアイコンを加工し、ユーザ５Ｂを代理するbotによる発言であることが分かるようなアイコン２３３と共にbot応答を表示させてもよい。図７に示す例では加工例としてユーザ５Ｂをbot化（キャラクター化）したものを用いているが、本実施形態はこれに限定されず、例えばユーザ５Ｂのアイコンの色や色調を変える程度の加工を加えた画像を用いてもよい。
　感情別の設定では、例えば図５に示すように、相手ユーザの感情（すなわち心理状態）毎に、「事前確認」、「応答時間帯」、および「他ユーザ応答考慮」等を設定することが可能である。「事前確認」とは、相手ユーザへのbot応答の内容を、相手ユーザへ提示する前にユーザ本人が確認するか否かの設定である。図５に示す例では、相手ユーザ５Ｃが「疲れている」という感情時、および他の感情時におけるbot応答は事前確認がＯＮに設定されるため、サーバ１は、メッセージ生成部１０１により生成したメッセージを相手ユーザ５Ｃに送信する前に、通知制御部１０３により代理するユーザ５Ｂ本人にメッセージ内容等を通知する。ユーザ５Ｂ本人に事前確認を行う場合について、図８を参照して具体的に説明する。
　図８は、本実施形態によるbot応答のユーザ本人への事前確認について説明する図である。図８に示すチャット画面２４０は、ユーザ５Ｂ本人の情報処理装置２（例えば図１に示す情報処理装置２Ｂ）に表示される。図８のチャット画面２４０に表示されるメッセージ２４１は、ユーザ５Ｂ本人が入力したものであって、メッセージ２４２は、相手ユーザ５Ｃが入力したものである。次いで、相手ユーザ５Ｃが入力したメッセージ２４２が16:10に表示された後一定時間を経過した際に、相手ユーザ５Ｃの心理状態が「疲れた」または「お腹が空いた」といったような状態にあることが検知されたことをトリガとしてサーバ１のメッセージ生成部１０１によりメッセージが生成される。ここで、「事前確認」がＯＮに設定されている場合、サーバ１は、通知制御部１０３により、ユーザ５Ｂ本人に対して、メッセージ生成部１０１で生成したメッセージを事前通知する。図８に示すメッセージ２４４は、かかる事前確認の通知メッセージである。アイコン２４３は、ユーザ５Ｂ本人のbotアイコンが用いられている。ユーザ５Ｂは、メッセージ２４４に含まれるbot応答の内容を確認し、ＯＫであればＯＫボタンをタップし、送信を中止させる場合にはキャンセルボタンをタップする。ここで、ＯＫボタンがタップされた場合、サーバ１は、図９に示すように、画面２５０上にメニュー画面２５１をポップアップ表示させ、bot応答の内容の編集等をユーザ５Ｂに選択させることを可能とすることができる。
　図９は、bot応答を許可した場合に表示されるメニュー画面の一例について説明する図である。図９に示すように、メニュー画面２５１は、「このまま送る」ボタン、「履歴参照」ボタン、「他の候補を表示」ボタン、および「編集」ボタンを含む。サーバ１は、「このまま送る」ボタンがタップされた場合、通知したbot応答を相手ユーザへ提示するよう制御し、「履歴参照」ボタンがタップされた場合、図１０に示すような履歴参照画面２５２を表示するよう制御する。図１０に示すように、履歴参照画面２５２では、「自分履歴」と「他人履歴」がbot応答候補として表示される。「自分履歴」では、過去に同じ状況下（例えば相手ユーザ、相手ユーザの心理状態、時間帯、および内容等）において自分（ここではユーザ５Ｂ本人）のbotが応答したメッセージの履歴が表示される。また、「他人履歴」では、過去に同じ状況下（例えば相手ユーザの心理状態、時間帯、および内容等）において他人（ここではユーザ５Ｂ以外のユーザ）のbotが応答したメッセージの履歴が表示される。ユーザ５Ｂは、自分や他人のbot応答履歴を参照してbot応答を編集することが可能である。なお履歴が無い場合は、図９に示すメニュー画面２５１において「履歴参照」ボタンは表示されない。
　また、図９のメニュー画面２５１のうち「他の候補を表示」ボタンがタップされた場合、サーバ１は、メッセージ生成部１０１によりbot応答の他の候補を生成し、これを表示する。
　「編集」ボタンがタップされた場合、サーバ１は、図１１に示すような編集画面２５３を表示する。図１１に示すように、編集画面２５３では、bot応答のテキストを編集することが可能である。また、編集画面２５３では、メッセージ生成部１０１により過去のメッセージのやり取りを構文解析して抽出したキーワードを候補として提示することも可能である。これによりユーザは容易にbot応答の内容を編集することができる。
　次に、図５に戻り、bot応答設定画面２１０に示す感情毎の「応答時間帯」の設定について説明する。「応答時間帯」の設定は、感情別に時間帯に応じてbot応答を行うか否かを設定するものである。例えば、図５に示す例では、相手ユーザ５Ｃが「疲れている」感情時および「楽しんでいる」感情時の場合、平日の８時から２０時の間であればbot応答を行うよう設定されている。また、具体的な感情としてリストに挙がっていないその他の感情時（図５に示す「Others」）の場合、平日、週末、および休日の何時であってもbot応答するよう設定されている。なお、時間帯の指定の他、例えば今から仕事だから８時間後までbot応答可に設定する等の設定方法も可能である。
　次いで、bot応答設定画面２１０に示す感情毎の「他ユーザ応答考慮」の設定について説明する。本実施形態によるメッセージ生成部１０１は、相手ユーザとユーザ本人との間でやり取りされた過去メッセージを構文解析し、キーワードをピックアップして、これらのキーワードと普段の表現や口調を利用してメッセージを生成することを基本とするが、「他ユーザ応答考慮」がＯＮに設定されている場合は、さらに他ユーザのbot応答情報も用いてメッセージを生成する。
図５に示す例では、「他ユーザ応答考慮」がいずれもＯＦＦに設定されているが、ＯＮに設定されている場合、メッセージ生成部１０１は、例えば同じ感情が検知された相手ユーザに対する他ユーザの過去メッセージの構文解析結果も用いてメッセージを生成する。
　以上、詳細なbot応答設定について説明したが、本実施形態による設定事項は図５に示す例に限定されず、例えば、bot応答として生成するメッセージの口調を自分の口調と類似させるか否かの設定や、自分の口調と全く異なるものにするか否かの設定等を行うことも可能である。
　また、図５に示す「others」の感情は、具体例として挙がっていないその他の感情である。また、いずれの感情の場合にも、相手ユーザの心理状態である感情が閾値を超えた場合にその感情が観測されるようにしてもよい。これにより、特定の感情が突出していない「平常時」は、「others」を含めて図５に示すいずれの感情にも含まれず、bot応答の対象としないようにすることができる。
　以上説明したbot応答の設定に関する情報は、関係情報ＤＢ１２において、ユーザＩＤに紐付けて格納される。
　次いで、図３に戻り、サーバ１の関係情報ＤＢ１２は、bot（仮想エージェント）によって代理するユーザと、当該ユーザとネットワーク上でのコミュニケーションを行う相手ユーザとの関係を蓄積するデータベースである。関係情報ＤＢ１２では、各ユーザ間の関係の他、例えば当該ユーザ間のコミュニケーションの過去履歴（例えばbot応答履歴、送受信メッセージ、メッセージの解析に基づく「よく使われるキーワード」等）が格納される。ユーザ間の関係は、予めユーザにより登録されてもよいし、両者の過去のメッセージのやり取りを解析してサーバ１の制御部１０により自動的に登録されてもよい。ユーザ間の関係は、例えば、配偶者、恋人、親子関係（親／子）、兄弟、職場（上司／部下)、友達(親しい友達／軽い付き合い)、または先輩／後輩等が想定される。なお図４を参照して説明したbot応答の設定では、特定相手毎にbot応答の可否を設定できるようにしたが、本実施形態はこれに限定されず、関係情報ＤＢ１２で登録されている「関係」毎にbot応答可否を設定することも可能である。また、両者の「関係」は、メッセージ生成部１０１によりメッセージが生成する際にも用いられ、相手との関係に応じてメッセージの口調や表現を変化させることも可能である。
　＜＜３．動作処理＞＞
　続いて、本実施形態による情報処理システムの動作処理について説明する。
　＜３－１．第１のbot応答生成処理＞
　図１２は、本実施形態による第１のbot応答生成処理を示すフローチャートである。図１２に示すように、まず、相手ユーザの感情、心理状態が、相手ユーザの情報処理装置２Ａで検知される（ステップＳ１０３）。
　次に、情報処理装置２Ａは、検知結果をサーバ１に送信する（ステップＳ１０６）。
　次いで、サーバ１の制御部１０は、相手ユーザに対してbot応答すべきか否かを判断する（ステップＳ１０９）。具体的には、例えば制御部１０は、関係情報ＤＢ１２を参照して、相手ユーザとの関係が登録されているユーザのＩＤに紐付けて登録されているbot応答設定情報を参照して、検知された心理状態や時間帯に基づいて、bot応答すべきか否かを判断する。
　続いて、bot応答すべきと判断した場合（ステップＳ１０９／Ｙｅｓ）、メッセージ生成部１０１は、関係情報ＤＢ１２を参照し、相手ユーザとユーザの関係と、相手ユーザの感情、心理状態とに基づいて、bot応答を生成する（ステップＳ１１２）。メッセージ生成部１０１は、例えばbot応答ＤＢ１３に格納されている標準bot応答テーブルを用いてメッセージを生成する。ここで、図１３に、標準bot応答テーブルの一例を示す。図１３に示すように、標準bot応答テーブル１３０は、相手ユーザの感情および相手ユーザとの関係に応じた標準bot応答を格納する。メッセージ生成部１０１は、標準bot応答テーブル１３０に従って、相手ユーザの感情および相手ユーザとユーザとの関係に応じたbot応答を生成することができる。
　＜３－２．第２のbot応答生成処理＞
　図１４は、本実施形態による第２のbot応答生成処理を示すフローチャートである。第２のbot応答生成処理では、過去履歴等様々な情報をさらに用いてbot応答を生成する。
　まず、図１４に示すステップＳ２０３～Ｓ２０９では、図１２に示すステップＳ１０３～Ｓ１０９と同様の処理が行われるため、ここでの説明は省略する。
　次に、bot応答すべきと判断した場合（ステップＳ２１２／Ｙｅｓ）、サーバ１のメッセージ生成部１０１は、相手ユーザとユーザとの間に、直近過去所定時間内に受け答え（具体的にはメッセージのやり取り）があったか否かを判断する（ステップＳ２１２）。
　次いで、過去所定時間内に受け答えがあった場合（ステップＳ２１２／Ｙｅｓ）、メッセージ生成部１０１は、受け答えの内容を考慮するbot応答生成フラグをセットする（ステップＳ２１５）。一方、受け答えが無い場合は（ステップＳ２１２／Ｎｏ）当該フラグはセットされない。
　次に、メッセージ生成部１０１は、相手ユーザとユーザ間の過去履歴のうち、相手ユーザが今回と同じ感情、心理状態時におけるコミュニケーション履歴（具体的にはメッセージのやり取り）があるか否かを判断する（ステップＳ２１８）。
　次いで、同じ感情、心理状態時における過去履歴があった場合（ステップＳ２１８／Ｙｅｓ）、メッセージ生成部１０１は、過去の同一感情、心理状態時における応答も考慮するbot応答生成フラグをセットする（ステップＳ２２１）。一方、過去履歴が無い場合は（ステップＳ２１８／Ｎｏ）当該フラグはセットされない。
　次に、メッセージ生成部１０１は、他のユーザの受け答え内容も取り入れるか否かを判断する（ステップＳ２２４）。具体的には、メッセージ生成部１０１は、ユーザＩＤに紐付けて格納されている設定情報における「他ユーザ応答考慮」のＯＮ／ＯＦＦに基づいて判断する。
　次いで、他のユーザの受け答え内容も取り入れる場合（ステップＳ２２４／Ｙｅｓ）、メッセージ生成部１０１は、今回と同一関係、かつ同一感情、心理状態における他のユーザの応答を考慮するbot応答生成フラグをセットする（ステップＳ２２７）。一方、取り入れない場合は（ステップＳ２２４／Ｎｏ）当該フラグはセットされない。
　そして、メッセージ生成部１０１は、セットされた応答生成フラグに従って、bot応答を生成する（ステップＳ２３０）。すなわち、過去所定時間内の受け答え、同一感情、心理状態の過去履歴、および同一関係かつ同一感情、心理状態の他ユーザの過去履歴の少なくともいずれかを用いてbot応答が生成される。この際、メッセージ生成部１０１は、関係情報ＤＢ１２に蓄積されている各種情報に基づいて構文解析を行ってbot応答を自動生成し得る。ここで、関係情報ＤＢ１２に格納されている各種情報について図１５～図１９を参照して説明する。
　図１５は、本実施形態による関係情報ＤＢ１２に格納されている関係情報の一例を示す図である。図１５に示すように、関係情報１２０は、ユーザＩＤ、相手ユーザＩＤ、両者の関係、両者のbot応答履歴、ユーザから相手ユーザへの送信メッセージ履歴、相手ユーザからの受信メッセージ履歴、これらの履歴に基づいて構文解析により抽出された「よく使われるキーワード」情報を含む。なお図１５に示すデータ構造は一例であって、本実施形態はこれに限定されない。図１５に示す両者のbot応答履歴、送信メッセージ履歴、および受信メッセージ履歴を示す各テーブルの一例について以下説明する。
　図１６は、bot応答テーブルの一例を示す図である。図１６に示すように、bot応答テーブル１２１には、相手ユーザに対して応答した過去のbot応答の内容、日時、およびその際の相手ユーザの感情（若しくは心理状態）が格納されている。
　図１７は、送信メッセージテーブルの一例を示す図である。図１７に示すように、送信メッセージテーブル１２２には、相手ユーザに対してユーザ本人が応答した過去のメッセージの内容、日時、およびその際の相手ユーザの感情（若しくは心理状態）が格納されている。
　図１８は、受信メッセージテーブルの一例を示す図である。図１８に示すように、受信メッセージテーブル１２３には、相手ユーザからユーザ本人が受信した過去のメッセージの内容、日時、およびその際の相手ユーザの感情（若しくは心理状態）が格納されている。
　メッセージ生成部１０１は、送信メッセージテーブル１２２および受信メッセージテーブル１２３を参照して内容を構文解析し、二人の関係を考慮した上で新たな自動応答メッセージを生成することが可能である。
　図１９は、よく使われるキーワードテーブルの一例を示す図である。図１９に示すように、よく使われるキーワードテーブル１２４には、上記送受信メッセージの構文解析から抽出したキーワードが格納される。図１９に示す例は単語単位のものであるが、場面毎にユーザおよび相手ユーザとの間でよく使われる（使用頻度の高い）メッセージが抽出され、格納されていてもよい。なお単語を抽出する際に用いる構文解析情報や自然言語処理情報等は、サーバ１の図示しない記憶部に保持されていてもよい。
　＜３－３．bot応答提示処理＞
　続いて、上記第１のbot応答生成処理または第２のbot応答生成処理により生成したbot応答のメッセージを相手ユーザへ提示する際の処理について図２０を参照して説明する。図２０は、本実施形態によるbot応答提示処理を示すフローチャートである。
　図２０に示すように、まず、サーバ１の提示制御部１０２は、bot応答の事前確認（図５参照）を行う設定になっているか否かを確認する（ステップＳ３０３）。
　次に、bot応答の事前確認を行う設定になっている場合（ステップＳ３０３／Ｙｅｓ）、提示制御部１０２はbot応答の可否をユーザに問い合わせる（ステップＳ３０６）。ユーザへの問い合わせについては図８を参照して上述した通りである。
　次いで、bot応答が許可された場合（ステップＳ３０９／Ｙｅｓ）、提示制御部１０２は、bot応答の表示区別（図５参照）がｏｎになっているか否かを確認する（ステップＳ３１２）。
　次に、bot応答の表示区別がｏｎになっていない場合（ステップＳ３１２／Ｎｏ）、提示制御部１０２は、相手ユーザに、生成したメッセージを通常メッセージとして送信する（ステップＳ３１５）。
　一方、bot応答の表示区別がｏｎになっている場合（ステップＳ３１２／Ｙｅｓ）、提示制御部１０２は、相手ユーザに、生成したメッセージをbot応答として送信する（ステップＳ３１８）。
　続いて、サーバ１からメッセージを受信した情報処理装置２Ａは、bot応答の表示を行う（ステップＳ３２１）。この際、情報処理装置２Ａは、メッセージが通常メッセージとして送信された場合は図６を参照して説明したようにbot応答を通常メッセージ（ユーザ本人が入力したメッセージ）と区別しないで表示し、メッセージがbot応答として送信された場合は図７を参照して説明したようにbot応答を通常メッセージと区別して（異なる表示態様で）表示する。
　次に、サーバ１の通知制御部１０３は、bot応答の通知がonになっているか否かを確認し（ステップＳ３２４）、ｏｎになっている場合は（ステップＳ３２４／Ｙｅｓ）bot応答を行った旨をユーザ本人に通知するよう制御する（ステップＳ３２７）。
　　＜＜４．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザの心理状態に応じて、より親和性の高い自動応答を行うことが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述したサーバ１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、サーバ１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本実施形態による情報処理システムは、テキストチャットに限定されず、ボイスチャットにも適用可能である。例えばテキストを音声に変換して再生するようなボイスチャットシステムが想定される。また、ボイスチャットシステムに適用した場合、サーバ１は、メッセージ生成部１０１によりbot応答のメッセージを生成する際に、botに紐付けられている本人の音素データを用いて合成音声を生成し、本人に似せた音声でbotメッセージを音声出力するよう制御することも可能である。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　仮想エージェントによって代理されるユーザ本人と、ネットワーク上でのコミュニケーションの相手である相手ユーザとの関係を蓄積するデータベースと、
　前記相手ユーザの心理状態と、前記ユーザ本人と前記相手ユーザとの関係に応じて、メッセージを生成し；
　前記仮想エージェントから前記相手ユーザに送信する制御部と、
を備える、
情報処理システム。
（２）
　前記制御部は、前記メッセージを前記相手ユーザに送信すると共に、前記ユーザ本人にも送信する、前記（１）に記載の情報処理システム。
（３）
　前記制御部は、前記相手ユーザが前記心理状態であって、前記ユーザ本人と前記相手ユーザとの間で過去に送受信されたメッセージの傾向からメッセージを自動的に生成する、前記（１）または（２）に記載の情報処理システム。
（４）
　前記制御部は、前記ユーザ本人と前記相手ユーザとの間の関係と同じ関係である、他のユーザ間において送受信されたメッセージの傾向からメッセージを自動的に生成する、前記（１）または（２）に記載の情報処理システム。
（５）
　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、前記ユーザ本人が、相手ユーザに対して前記仮想エージェントより自動的にメッセージを送信することを許可するか否かを設定する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（６）
　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、前記相手ユーザに対してメッセージを送信する前に前記ユーザ本人に許可を得るか否かを判断する、前記（１）～（５）のいずれか１項に記載の情報処理システム。
（７）
　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、前記ユーザ本人からのメッセージか、前記仮想エージェントからのメッセージかを識別可能に表示するか否かを設定する、前記（１）～（６）のいずれか１項に記載の情報処理システム。
（８）
　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、前記相手ユーザの心理状態毎に、前記ユーザ本人が相手ユーザに対して前記仮想エージェントより自動的にメッセージを送信することを許可するか否かを設定する、前記（１）～（７）のいずれか１項に記載の情報処理システム。
（９）
　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、時間帯に応じて、前記ユーザ本人が、相手ユーザに対して前記仮想エージェントより自動的にメッセージを送信することを許可するか否かを設定する、前記（１）～（８）のいずれか１項に記載の情報処理システム。
（１０）
　前記制御部は、前記ユーザ本人による要求に応じて、前記生成したメッセージを編集する、前記（１）～（９）のいずれか１項に記載の情報処理システム。
（１１）
　プロセッサが、
　ネットワーク上でのコミュニケーションの相手である相手ユーザの心理状態と、データベースに蓄積されている、仮想エージェントによって代理されるユーザ本人と前記相手ユーザとの関係に応じて、メッセージを生成することと、
　前記仮想エージェントから前記相手ユーザに送信することと、
を含む、情報処理方法。
　１　　サーバ
　１０　制御部
　１０１　メッセージ生成部
　１０２　提示制御部
　１０３　通知制御部
　１０４　設定部
　１１　通信部
　１２　関係情報ＤＢ
　１３　　bot応答ＤＢ
　２　情報処理装置
　３　ウェアラブル端末
　４　ネットワーク

Claims (11)

  1. 　仮想エージェントによって代理されるユーザ本人と、ネットワーク上でのコミュニケーションの相手である相手ユーザとの関係を蓄積するデータベースと、
    　前記相手ユーザの心理状態と、前記ユーザ本人と前記相手ユーザとの関係に応じて、メッセージを生成し；
    　前記仮想エージェントから前記相手ユーザに送信する制御部と、
    を備える、
    情報処理システム。
  2. 　前記制御部は、前記メッセージを前記相手ユーザに送信すると共に、前記ユーザ本人にも送信する、請求項１に記載の情報処理システム。
  3. 　前記制御部は、前記相手ユーザが前記心理状態であって、前記ユーザ本人と前記相手ユーザとの間で過去に送受信されたメッセージの傾向からメッセージを自動的に生成する、請求項１に記載の情報処理システム。
  4. 　前記制御部は、前記ユーザ本人と前記相手ユーザとの間の関係と同じ関係である、他のユーザ間において送受信されたメッセージの傾向からメッセージを自動的に生成する、請求項１に記載の情報処理システム。
  5. 　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、前記ユーザ本人が、相手ユーザに対して前記仮想エージェントより自動的にメッセージを送信することを許可するか否かを設定する、請求項１に記載の情報処理システム。
  6. 　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、前記相手ユーザに対してメッセージを送信する前に前記ユーザ本人に許可を得るか否かを判断する、請求項１に記載の情報処理システム。
  7. 　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、前記ユーザ本人からのメッセージか、前記仮想エージェントからのメッセージかを識別可能に表示するか否かを設定する、請求項１に記載の情報処理システム。
  8. 　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、前記相手ユーザの心理状態毎に、前記ユーザ本人が相手ユーザに対して前記仮想エージェントより自動的にメッセージを送信することを許可するか否かを設定する、請求項１に記載の情報処理システム。
  9. 　前記制御部は、特定のユーザーインタフェースを介して入力された設定に応じて、時間帯に応じて、前記ユーザ本人が、相手ユーザに対して前記仮想エージェントより自動的にメッセージを送信することを許可するか否かを設定する、請求項１に記載の情報処理システム。
  10. 　前記制御部は、前記ユーザ本人による要求に応じて、前記生成したメッセージを編集する、請求項１に記載の情報処理システム。
  11. 　プロセッサが、
    　ネットワーク上でのコミュニケーションの相手である相手ユーザの心理状態と、データベースに蓄積されている、仮想エージェントによって代理されるユーザ本人と前記相手ユーザとの関係に応じて、メッセージを生成することと、
    　前記仮想エージェントから前記相手ユーザに送信することと、
    を含む、情報処理方法。
PCT/JP2016/070207 2015-10-20 2016-07-08 情報処理システム、および情報処理方法 WO2017068816A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020187010075A KR20180068975A (ko) 2015-10-20 2016-07-08 정보 처리 시스템, 및 정보 처리 방법
CN201680060292.5A CN108139988B (zh) 2015-10-20 2016-07-08 信息处理系统和信息处理方法
EP16857134.7A EP3367249A4 (en) 2015-10-20 2016-07-08 Information processing system and information processing method
US15/755,361 US10673788B2 (en) 2015-10-20 2016-07-08 Information processing system and information processing method
US16/839,060 US20200236070A1 (en) 2015-10-20 2020-04-02 Information processing system and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-206443 2015-10-20
JP2015206443 2015-10-20

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/755,361 A-371-Of-International US10673788B2 (en) 2015-10-20 2016-07-08 Information processing system and information processing method
US16/839,060 Continuation US20200236070A1 (en) 2015-10-20 2020-04-02 Information processing system and information processing method

Publications (1)

Publication Number Publication Date
WO2017068816A1 true WO2017068816A1 (ja) 2017-04-27

Family

ID=58556912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070207 WO2017068816A1 (ja) 2015-10-20 2016-07-08 情報処理システム、および情報処理方法

Country Status (5)

Country Link
US (2) US10673788B2 (ja)
EP (1) EP3367249A4 (ja)
KR (1) KR20180068975A (ja)
CN (2) CN113612677A (ja)
WO (1) WO2017068816A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057168A (ja) * 2017-09-21 2019-04-11 大日本印刷株式会社 コンピュータプログラム、サーバ装置、指導システム、指導方法、指導者端末装置及び被指導者端末装置
WO2019116489A1 (ja) * 2017-12-14 2019-06-20 Ｌｉｎｅ株式会社 プログラム、情報処理方法、及び情報処理装置
WO2019172087A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、端末機器、情報処理方法、およびプログラム
WO2019188523A1 (ja) * 2018-03-27 2019-10-03 株式会社Ｎｔｔドコモ 応答システム
US10748644B2 (en) 2018-06-19 2020-08-18 Ellipsis Health, Inc. Systems and methods for mental health assessment
US11120895B2 (en) 2018-06-19 2021-09-14 Ellipsis Health, Inc. Systems and methods for mental health assessment
CN114037467A (zh) * 2015-10-20 2022-02-11 索尼公司 信息处理系统、信息处理方法和计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102701868B1 (ko) 2018-12-03 2024-09-03 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2022000256A1 (en) * 2020-06-30 2022-01-06 Ringcentral, Inc. Methods and systems for directing communications
CN113676394B (zh) * 2021-08-19 2023-04-07 维沃移动通信（杭州）有限公司 信息处理方法和信息处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222521A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 情報共有支援システム
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
JP2005348167A (ja) * 2004-06-03 2005-12-15 Vodafone Kk 移動体通信端末
US20080262982A1 (en) * 2007-04-23 2008-10-23 Sudhir Rajkhowa System for therapy
JP2013061889A (ja) * 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体、端末装置及びサーバ

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5727950A (en) * 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US6427063B1 (en) * 1997-05-22 2002-07-30 Finali Corporation Agent based instruction system and method
US6339774B1 (en) * 1997-01-29 2002-01-15 Kabushiki Kaisha Toshiba Information sharing system and computer program product for causing computer to support the information sharing system
US6615091B1 (en) * 1998-06-26 2003-09-02 Eveready Battery Company, Inc. Control system and method therefor
US7353295B1 (en) * 2000-04-04 2008-04-01 Motive, Inc. Distributed services architecture through use of a dynamic service point map
US20030158960A1 (en) * 2000-05-22 2003-08-21 Engberg Stephan J. System and method for establishing a privacy communication path
WO2003001413A1 (en) * 2001-06-22 2003-01-03 Nosa Omoigui System and method for knowledge retrieval, management, delivery and presentation
US7590589B2 (en) * 2004-09-10 2009-09-15 Hoffberg Steven M Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference
US20070044539A1 (en) * 2005-03-01 2007-03-01 Bryan Sabol System and method for visual representation of a catastrophic event and coordination of response
WO2007052285A2 (en) * 2005-07-22 2007-05-10 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
US8874477B2 (en) * 2005-10-04 2014-10-28 Steven Mark Hoffberg Multifactorial optimization system and method
US8151323B2 (en) * 2006-04-12 2012-04-03 Citrix Systems, Inc. Systems and methods for providing levels of access and action control via an SSL VPN appliance
JP4710705B2 (ja) 2006-04-24 2011-06-29 日本電気株式会社 携帯無線端末システム及び携帯無線端末
CN101075435B (zh) * 2007-04-19 2011-05-18 深圳先进技术研究院 一种智能聊天系统及其实现方法
JP5418938B2 (ja) 2009-03-04 2014-02-19 株式会社国際電気通信基礎技術研究所 グループ行動推定装置およびサービス提供システム
US20180143989A1 (en) * 2016-11-18 2018-05-24 Jagadeshwar Nomula System to assist users of a software application
US8762468B2 (en) * 2011-11-30 2014-06-24 At&T Mobility Ii, Llc Method and apparatus for managing communication exchanges
EP2624180A1 (en) * 2012-02-06 2013-08-07 Xabier Uribe-Etxebarria Jimenez System of integrating remote third party services
US20140310379A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle initiated communications with third parties via virtual personality
US9425974B2 (en) * 2012-08-15 2016-08-23 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US9679300B2 (en) * 2012-12-11 2017-06-13 Nuance Communications, Inc. Systems and methods for virtual agent recommendation for multiple persons
WO2014093339A1 (en) * 2012-12-11 2014-06-19 Nuance Communications, Inc. System and methods for virtual agent recommendation for multiple persons
US9721086B2 (en) * 2013-03-15 2017-08-01 Advanced Elemental Technologies, Inc. Methods and systems for secure and reliable identity-based computing
US9288274B2 (en) * 2013-08-26 2016-03-15 Cellco Partnership Determining a community emotional response
CN103400054A (zh) * 2013-08-27 2013-11-20 哈尔滨工业大学 计算机辅助心理咨询自动问答机器人系统
JP2015069455A (ja) * 2013-09-30 2015-04-13 Ｎｅｃソリューションイノベータ株式会社 会話文生成装置、会話文生成方法、及びプログラム
CN104639420B (zh) * 2013-11-15 2019-06-07 腾讯科技（深圳）有限公司 即时通讯的信息处理方法和系统
US10050926B2 (en) * 2014-02-05 2018-08-14 Facebook, Inc. Ideograms based on sentiment analysis
CN104951428B (zh) * 2014-03-26 2019-04-16 阿里巴巴集团控股有限公司 用户意图识别方法及装置
WO2015176287A1 (zh) * 2014-05-22 2015-11-26 华为技术有限公司 应用文本信息进行通信的方法及装置
CN104022942B (zh) * 2014-06-26 2018-09-11 北京奇虎科技有限公司 处理交互式消息的方法、客户端、电子设备及系统
US20170046496A1 (en) * 2015-08-10 2017-02-16 Social Health Innovations, Inc. Methods for tracking and responding to mental health changes in a user
US10532268B2 (en) * 2016-05-02 2020-01-14 Bao Tran Smart device
WO2019161207A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for conversational agent via adaptive caching of dialogue tree

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
JPH10222521A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 情報共有支援システム
JP2005348167A (ja) * 2004-06-03 2005-12-15 Vodafone Kk 移動体通信端末
US20080262982A1 (en) * 2007-04-23 2008-10-23 Sudhir Rajkhowa System for therapy
JP2013061889A (ja) * 2011-09-14 2013-04-04 Namco Bandai Games Inc プログラム、情報記憶媒体、端末装置及びサーバ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3367249A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037467B (zh) * 2015-10-20 2024-08-13 索尼公司 信息处理系统、信息处理方法和计算机可读存储介质
CN114037467A (zh) * 2015-10-20 2022-02-11 索尼公司 信息处理系统、信息处理方法和计算机可读存储介质
JP2019057168A (ja) * 2017-09-21 2019-04-11 大日本印刷株式会社 コンピュータプログラム、サーバ装置、指導システム、指導方法、指導者端末装置及び被指導者端末装置
JPWO2019116489A1 (ja) * 2017-12-14 2020-12-17 Ｌｉｎｅ株式会社 プログラム、情報処理方法、及び情報処理装置
JP7072584B2 (ja) 2017-12-14 2022-05-20 Ｌｉｎｅ株式会社 プログラム、情報処理方法、及び情報処理装置
WO2019116489A1 (ja) * 2017-12-14 2019-06-20 Ｌｉｎｅ株式会社 プログラム、情報処理方法、及び情報処理装置
CN111788566A (zh) * 2018-03-08 2020-10-16 索尼公司 信息处理设备、终端装置、信息处理方法和程序
WO2019172087A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、端末機器、情報処理方法、およびプログラム
US11330408B2 (en) 2018-03-08 2022-05-10 Sony Corporation Information processing apparatus, terminal device, and information processing method
WO2019188523A1 (ja) * 2018-03-27 2019-10-03 株式会社Ｎｔｔドコモ 応答システム
JPWO2019188523A1 (ja) * 2018-03-27 2021-04-01 株式会社Ｎｔｔドコモ 応答システム
JP7258013B2 (ja) 2018-03-27 2023-04-14 株式会社Ｎｔｔドコモ 応答システム
US10748644B2 (en) 2018-06-19 2020-08-18 Ellipsis Health, Inc. Systems and methods for mental health assessment
US11120895B2 (en) 2018-06-19 2021-09-14 Ellipsis Health, Inc. Systems and methods for mental health assessment
US11942194B2 (en) 2018-06-19 2024-03-26 Ellipsis Health, Inc. Systems and methods for mental health assessment

Also Published As

Publication number Publication date
EP3367249A1 (en) 2018-08-29
CN108139988A (zh) 2018-06-08
CN113612677A (zh) 2021-11-05
CN108139988B (zh) 2021-07-30
KR20180068975A (ko) 2018-06-22
US10673788B2 (en) 2020-06-02
US20180248819A1 (en) 2018-08-30
EP3367249A4 (en) 2018-12-05
US20200236070A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
WO2017068816A1 (ja) 情報処理システム、および情報処理方法
US8903176B2 (en) Systems and methods using observed emotional data
CN105320726B (zh) 降低对手动开始/结束点和触发短语的需求
US20200293526A1 (en) Information processing system, information processing method, and storage medium
WO2016178329A1 (ja) 情報処理システム、制御方法、および記憶媒体
CN108139880B (zh) 用于语音生成设备的定向个人通信
KR20180073566A (ko) 정보 처리 시스템 및 정보 처리 방법
US20160128617A1 (en) Social cuing based on in-context observation
EP3693847B1 (en) Facilitating awareness and conversation throughput in an augmentative and alternative communication system
WO2017062163A1 (en) Proxies for speech generating devices
JP2016103081A (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
CN109804407B (zh) 关心维持系统以及服务器
JP6291303B2 (ja) コミュニケーション支援ロボットシステム
WO2018173383A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018024058A (ja) 接客装置、接客方法及び接客システム
JP2007334732A (ja) ネットワークシステム及びネットワーク情報送受信方法
Chen et al. From Gap to Synergy: Enhancing Contextual Understanding through Human-Machine Collaboration in Personalized Systems
CN108885594B (zh) 信息处理装置、信息处理方法和程序
CN108351846B (zh) 通信系统和通信控制方法
KR20210088824A (ko) 인공지능 대화 서비스를 이용한 채팅 시스템 및 그 동작방법
JP7550335B1 (ja) システム
JP5388923B2 (ja) 教育サポート装置およびコンピュータプログラム
Yonezawa et al. Anthropomorphic awareness of partner robot to user’s situation based on gaze and speech detection
CN114911346A (zh) 一种终端设备的交互方法和装置
JP2021086354A (ja) 情報処理システム、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857134

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15755361

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20187010075

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016857134

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP