WO2020213245A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2020213245A1
WO2020213245A1 PCT/JP2020/005680 JP2020005680W WO2020213245A1 WO 2020213245 A1 WO2020213245 A1 WO 2020213245A1 JP 2020005680 W JP2020005680 W JP 2020005680W WO 2020213245 A1 WO2020213245 A1 WO 2020213245A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
output
interaction
information processing
behavior
Prior art date
Application number
PCT/JP2020/005680
Other languages
English (en)
French (fr)
Inventor
文彦 飯田
龍一 鈴木
邦在 鳥居
笑佳 金子
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080027700.3A priority Critical patent/CN113661036A/zh
Priority to JP2021514807A priority patent/JP7439826B2/ja
Priority to US17/601,985 priority patent/US20220288791A1/en
Publication of WO2020213245A1 publication Critical patent/WO2020213245A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • This disclosure relates to information processing devices, information processing methods, and programs.
  • Patent Document 1 discloses a behavior control technology that enhances the user's sympathy for the robot device by emulating human and biological behavior in the robot device. Specifically, in Patent Document 1, by evaluating the intimacy between the user and the robot device based on the number of contacts from the user to the robot device and the like, the user is far from the user with low intimacy and the intimacy is high. A technique for controlling a robot device so as to approach a user is disclosed.
  • Patent Document 1 since the technique disclosed in Patent Document 1 above controls the distance of the robot device to the user, it does not improve the quality of communication between the user and the robot device. Further, not only robot devices but also agents that communicate with users, smart speakers, and the like have been required to improve the quality of communication between these devices and users.
  • the output control unit that controls the output from the interaction device to the user, the behavior evaluation unit that determines the behavior of the user performed in response to the output of the interaction device, and the behavior of the user.
  • the output includes an emotion estimation unit that estimates the corresponding user's emotion, and an information storage unit that associates the output of the interaction device, the user's behavior, and the user's emotion with each other and stores them as interaction information.
  • the control unit is provided with an information processing device that controls the output from the interaction device to the user based on the accumulated interaction information.
  • the arithmetic processing device controls the output from the interaction device to the user, determines the action of the user performed in response to the output of the interaction device, and the user. Estimating the user's emotion corresponding to the behavior of the user, associating the output of the interaction device, the user's behavior, and the user's behavior with each other and accumulating them as interaction information, and accumulating the interaction information. Based on the above, an information processing method including controlling an output from the interaction device to the user is provided.
  • the computer has an output control unit that controls the output from the interaction device to the user, and an action evaluation unit that determines the user's behavior performed in response to the output of the interaction device.
  • An emotion estimation unit that estimates the user's emotions corresponding to the user's behavior
  • an information storage unit that associates the output of the interaction device, the user's behavior, and the user's behavior with each other and stores them as interaction information.
  • a program is provided that functions as an output control unit so as to control an output from the interaction device to the user based on the accumulated interaction information.
  • FIG. 1 is an explanatory diagram illustrating an outline of a system to which the technique according to the present disclosure is applied.
  • the system to which the technology according to the present disclosure is applied includes an information processing device 10 and a robot device 20 connected to the information processing device 10 by a network 30.
  • FIG. 1 shows two users 40 as the users of the robot device 20, but it goes without saying that the users of the robot device 20 may be one or three or more.
  • the robot device 20 is an autonomous action type robot device capable of interacting with the user 40.
  • the robot device 20 is a robot device that operates near the user 40, and may be, for example, a pet-type robot, a human-type communication robot, a transfer robot, a robot including an arm, or the like.
  • the robot device 20 can interact with the user 40 by controlling the behavior based on the observation results of the external environment by the image pickup device, the microphone, or various sensors.
  • the robot device 20 may interact with the user 40, for example, by outputting voice, displaying an image, moving, or moving.
  • the device that interacts with the user 40 may be a device other than the robot device 20.
  • the system to which the technique according to the present disclosure is applied is a display device that visually outputs an agent imitating a character or a personality, or a voice output device that aurally outputs an agent's utterance, instead of the robot device 20. May include.
  • a group of devices that interact with such a user 40, including the robot device 20, is also referred to as an interaction device.
  • the network 30 is a wired or wireless transmission line for information.
  • the network 30 may be a public network such as the Internet, a telephone line network or a satellite communication network, various LANs (Local Area Network) including Ethernet (registered trademark), or a WAN (Wide Area Network). ..
  • the network 30 may be a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • the information processing device 10 and the robot device 20 may be directly connected to each other without going through the network 30.
  • the information processing device 10 and the robot device 20 may be connected to each other by wire, or may be connected to each other by wireless communication of Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the information processing device 10 controls the content of the interaction between the robot device 20 and the user 40. Specifically, the information processing device 10 controls the output from the robot device 20 to the user 40 based on the sensing result of the space in which the user 40 exists. Specifically, the information processing device 10 estimates the output expected or requested by the user 40 based on the content of the utterance or action of the user 40 sensed, and causes the robot device 20 to emit the estimated output. May be controlled.
  • the information processing device 10 may generate an answer to a question posed by the user 40 and output the generated answer by voice or an image from the robot device 20.
  • the information processing device 10 may control the behavior of the robot device 20 so as to take an action that attracts the interest or attention of the user 40.
  • the information processing device 10 analyzes the information in the space where the user 40 exists, and controls the content of the output from the robot device 20 based on the analysis result. Therefore, bidirectional communication can be performed between the robot device 20 and the user 40.
  • a system to which the technology according to the present disclosure is applied can cause a conversation or response between the robot device 20 and the user 40, cause the robot device 20 to perform an operation such as emulating a pet, or perform a robot. It is possible for the device 20 and the user 40 to work together.
  • the technique according to the present disclosure correlates and accumulates the output of the robot device 20 to the user 40 and the actions and emotions of the user 40 performed in response to the output.
  • the information processing device 10 can estimate the reaction of the user 40 to the output of the robot device 20 by using the information accumulated above, the robot device 20 to the user 40 The quality of communication with can be further improved.
  • the information processing apparatus 10 when the information processing apparatus 10 wants to induce a predetermined behavior or emotion to the user 40 by using the information accumulated above, the information processing apparatus 10 corresponds to the behavior or emotion to be induced.
  • the output of the robot device 20 can be determined. Therefore, the information processing device 10 can induce the user 40 to induce a predetermined action or emotion via the robot device 20.
  • FIG. 2 is a block diagram illustrating a functional configuration of the system according to the first embodiment.
  • the system includes an information processing device 10 and a robot device 20 connected to each other by a network 30.
  • the robot device 20 outputs to the user 40 the output of the content determined by the information processing device 10 based on the sensing result of the space in which the user 40 exists.
  • the output of the robot device 20 represents any action from the robot device 20 to the user 40 on at least one or more senses of sight, hearing, or touch.
  • the output of the robot device 20 may represent an image display from the robot device 20 to the user 40, voice output, motion presentation, movement such as approach or separation, delivery of an object, contact, or the like.
  • the information processing device 10 includes a sensor unit 101, a recognition unit 103, a behavior evaluation unit 105, an emotion estimation unit 107, an information storage unit 109, a storage unit 111, and a communication unit 113. ..
  • the information processing device 10 may be an information processing device that does not receive direct action from the user 40, such as a control device of a surveillance camera system, or may be a direct action from the user 40, such as a smart speaker. It may be an information processing device that accepts actions. Further, the information processing device 10 may be a computer or the like that does not include the sensor unit 101 and performs only information processing.
  • the sensor unit 101 includes a sensor that acquires information about the space in which the user 40 exists.
  • the sensor unit 101 may include various cameras such as an RGB camera, a grayscale camera, a depth camera, an infrared camera, and a ToF (Time of Flight) camera, and may acquire a captured image of the space in which the user 40 exists. .. The sensor unit 101 may further acquire information on the distance to the object such as the user 40 by including a plurality of these various cameras. Further, the sensor unit 101 includes various rangefinder sensors such as a LIDAR (Laser Imaging Detection and Ringing) sensor or a RADAR (Radio Detection and Ringing) sensor, and acquires information on the arrangement of objects in the space where the user 40 exists. You may.
  • LIDAR Laser Imaging Detection and Ringing
  • RADAR Radio Detection and Ringing
  • the sensor unit 101 may acquire information on the position and situation of the user 40 by acquiring the voice of the space in which the user 40 exists, including the microphone.
  • the sensor unit 101 may further acquire information for specifying the sound source position by including a plurality of microphones.
  • the sensor unit 101 may include a sensor such as a luminometer, a thermometer, or a hygrometer to acquire information about the environment of the space in which the user 40 exists.
  • the sensor unit 101 may include a known sensor other than the above-mentioned sensor as long as it can acquire information about the space in which the user 40 exists.
  • the recognition unit 103 recognizes the situation of the space in which the user 40 exists based on the information acquired by the sensor unit 101. Specifically, the recognition unit 103 causes the image recognition based on a predetermined rule or machine learning algorithm to act on the captured image of the space in which the user 40 exists, which is acquired by various cameras of the sensor unit 101. Then, the situation of the space may be recognized.
  • the recognition unit 103 determines the type, number, or number of objects in the space captured in the captured image based on the object recognition algorithm. You may recognize the position and the like.
  • FIG. 3 is a schematic view showing an example of an image of a general indoor space. As shown in FIG. 3, for example, it is assumed that the table 51, the chairs 52, 53, and the interior light 54 exist in the interior space 50.
  • the recognition unit 103 recognizes an object set as a table 51, chairs 52, 53, or interior light 54 by a user 40 residing in the indoor space 50 based on features such as shape or color, thereby producing an captured image.
  • the position of an object in the reflected indoor space 50 may be recognized.
  • the recognition unit 103 may recognize the table 51, the chairs 52, 53, and the room light 54 from the objects existing in the room space 50 by using an algorithm constructed by supervised machine learning.
  • the recognition unit 103 may further recognize the individual and the position of the user 40 in the space. Specifically, the recognition unit 103 recognizes the face of the user 40 and recognizes the individual and the position of the user 40 by applying a preset feature amount or an algorithm based on machine learning to the captured image. You may. Alternatively, the recognition unit 103 recognizes the gender and age of the user 40 from the voice or physical characteristics, and compares the recognized gender and age of the user 40 with the preset information about the user 40, whereby the user 40 You may recognize the individual and location of.
  • FIG. 4 is a table diagram showing an example of information regarding the user 40 preset in the information processing device 10.
  • the information processing apparatus 10 may store the name, age, gender, and relationship with other users of the user 40 for each user as information about the user 40. Further, the information processing device 10 may memorize the presence or absence of the user 40 in the space at the time when the sensor unit 101 senses based on the recognition by the recognition unit 103. Further, the information processing device 10 may store a time zone in which the user 40 is likely to exist in the space as a frequent occurrence time based on the sensing result of the sensor unit 101. In addition, the information processing device 10 may store the exchange time between the user 40 and the robot device 20.
  • the recognition unit 103 may further recognize the position and the individual of the robot device 20 in the space. Specifically, the recognition unit 103 recognizes the shape of the robot device 20 captured in the captured image, or the identification two-dimensional code or identification number attached to the robot device 20, thereby recognizing the position of the robot device 20 and the identification number. The individual may be recognized.
  • the behavior evaluation unit 105 grasps the behavior of the user 40 in the space based on the information acquired by the sensor unit 101. Specifically, the behavior evaluation unit 105 may grasp the behavior of the user 40 based on the captured image of the user 40 acquired by the sensor unit 101. Further, the behavior evaluation unit 105 may grasp the utterance content of the user 40 based on the voice information of the user 40 acquired by the sensor unit 101.
  • the behavior evaluation unit 105 may grasp the behavior or state of the user 40 at the time when the output from the robot device 20 is output to the user 40 together with the time. Further, when the behavior or state of the user 40 changes, the behavior evaluation unit 105 may grasp the behavior or state of the user after the change together with the time. By grasping the behavior or state of the user 40 at such a timing, the behavior evaluation unit 105 is performed in response to the output of the robot device 20 without constantly grasping the behavior or state of the user 40. It becomes possible to judge 40 actions.
  • the behavior evaluation unit 105 determines the behavior of the user 40 performed in response to the output of the robot device 20. Specifically, the action evaluation unit 105 arranges the output from the robot device 20 to the user 40 and the actions of the user 40 in the same time series, so that the user 40 responds to the output of the robot device 20. Can judge actions.
  • the action evaluation unit 105 sets the output of the robot device 20 and the action of the user 40. May be determined to correspond. Further, in the behavior evaluation unit 105, when the behavior of the user 40 is changed after the output from the robot device 20 to the user 40, the output of the robot device 20 and the changed behavior of the user 40 correspond to each other. You may judge that there is. This is because it is considered that the user 40 has changed the behavior in order to correspond to the output from the robot device 20 to the user 40.
  • the action evaluation unit 105 determines the output of the robot device 20 and the action of the user 40 when the same combination of the output from the robot device 20 to the user 40 and the action of the user 40 is confirmed a plurality of times. It may be determined that and corresponds.
  • the action evaluation unit 105 takes a direct action from the user 40 to the robot device 20, the output of the robot device 20 takes a long time, or the action of the user 40 takes a long time.
  • the correspondence relationship between the output of the robot device 20 and the action of the user 40 may be determined in consideration of the time lapse between the output of the robot device 20 and the action of the user 40.
  • the behavior evaluation unit 105 may grasp information other than the above as long as it is information that can be grasped based on the behavior of the user 40. For example, when the frequency or content of the utterance of the user 40, the positional relationship of the user 40, or the relationship between the plurality of users 40 can be grasped based on the target or content of the action of the user 40, the behavior evaluation unit 105 , The relationship between the plurality of users 40 may be grasped based on the utterance or action of the user 40. These information grasped by the behavior evaluation unit 105 may be stored in the information processing device 10 by being added to the information regarding the user 40 illustrated in FIG.
  • the emotion estimation unit 107 estimates the emotion of the user 40 corresponding to the behavior of the user 40. Specifically, in the emotion estimation unit 107, first, the evaluation axis of the emotion and the behavior of the user 40 related to the emotion of the evaluation axis are set in advance. As a result, the emotion estimation unit 107 can estimate the emotion of the user 40 by comparing the behavior of the user 40 grasped by the behavior evaluation unit 105 with the behavior set for each emotion of the evaluation axis. it can. As the evaluation axis of emotion, for example, surprise, fear, sadness, joy, and the like can be exemplified.
  • the emotion estimation unit 107 can acquire biological information such as the user 40's heart rate, blood pressure, or body temperature from various cameras included in the sensor unit 101, a wearable terminal worn by the user 40, or the like.
  • the emotion of the user 40 may be estimated based on the biometric information of the user 40.
  • the emotion estimation unit 107 may estimate the emotion of the user 40 by comparing the state of the user 40 indicated by the biological information with the state set in advance for each emotion of the evaluation axis.
  • FIG. 5 is a table diagram showing an example in which the output of the robot device 20 and the action of the user 40 are arranged in the same time series.
  • the output of the robot device 20 and the action of the user 40 are time-stamped by the same clock, whereby the output of the robot device 20 and the action of the user 40 are displayed in the same time series. It is possible to enumerate in.
  • the situation No. As 1 it is shown that the robot device 20 outputs “approaching” to the user “A” in the “watching TV” state at “18:15:01”. Then, the situation No. As No. 2, it is shown that the user “A” performed the action of “touching the robot device” at “18:15:10”. Next, the situation No. As No. 3, it is shown that the robot device 20 outputs "staring” at the user “B” at "18:16:30”. In addition, the situation No. As No. 4, it is shown that the user "B” performed the action of "talking to the robot device” at "18:16:45". Furthermore, the situation No. As No.
  • the behavior evaluation unit 105 has the situation No. 1 in which the target users 40 are the same and the time of occurrence is close. The output of the robot device 20 of No. 3 and the situation No. It may be determined that the actions of the user 40 of 4 correspond to each other. Further, in the behavior evaluation unit 105, the situation No. 1 in which the target user 40 is the same and the state or behavior of the user 40 has changed after the output of the robot device 20. The output of the robot device 20 of No. 1 and the situation No. It may be determined that the actions of the user 40 of 2 correspond to each other.
  • the behavior evaluation unit 105 although the time of occurrence is different, the target user 40 is the same, and the state or behavior of the user 40 has changed after the output of the robot device 20.
  • the output of the robot device 20 of No. 5 and the situation No. It may be determined that the actions of the user 40 of 6 correspond to each other.
  • the situation No. 1 determined to correspond to the output of the robot device 20. From the actions of the users 40 of 2, 4 and 6, the emotions of the user 40 estimated by the emotion estimation unit 107 are shown respectively. For example, situation No. From the action of "touching the robot device” of the user “A” in 2, the emotion of "joy” is presumed. In addition, the situation No. The emotion of "joy” is presumed from the action of "talking to the robot device" of the user "B” in 4. Furthermore, the situation No. The emotion of "surprise” is presumed from the action of the user "C” in No. 6 to "remove the robot device".
  • the information storage unit 109 associates the output of the robot device 20, the behavior of the user 40 corresponding to the output of the robot device 20, and the emotion of the user 40 estimated from the behavior of the user 40, and stores it as interaction information. Specifically, the information storage unit 109 is estimated from the output of the robot device 20 determined by the behavior evaluation unit 105 to correspond to each other, the behavior of the user 40, and the behavior of the user 40 by the emotion estimation unit 107. By combining with the emotions of the user 40, interaction information is generated for each user 40.
  • the generated interaction information may be stored in the storage unit 111, for example, to construct a database.
  • the storage unit 111 may be realized by, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device such as an SSD (Solid State Drive), an optical storage device, an optical magnetic storage device, or the like.
  • the information storage unit 109 can generate the interaction information shown in FIG. 6 from the specific example shown in FIG. FIG. 6 is a table diagram showing an example of interaction information generated by the information storage unit 109.
  • the information storage unit 109 has the situation No. 1 in FIG. Based on the information of 1 and 2, for "user A”, the output of the robot device 20 “approaching”, the action of the user 40 "touching the robot device”, and the emotion of the user 40 “joy” are associated with each other. Interaction information can be generated. In addition, the information storage unit 109 has the situation No. 1 in FIG. Based on the information in 3 and 4, regarding "User B", the output of the robot device 20 “staring”, the action of the user 40 "speaking to the robot device”, and the emotion of the user 40 "joy” are associated with each other. Interaction information can be generated. Further, the information storage unit 109 has the situation No. 1 in FIG.
  • the information storage unit 109 generates interaction information each time the behavior evaluation unit 105 grasps the output from the robot device 20 to the user 40 and the combination of the user 40's actions corresponding to the output from the robot device 20. .. According to this, the information storage unit 109 can create a database of the reaction of the user 40 to the output from the robot device 20 as interaction information. Therefore, when the robot device 20 outputs an output to the user 40, the information processing device 10 searches for the reaction of the user 40 when the same output is output from the accumulated interaction information, thereby detecting the reaction of the user 40. You will be able to predict.
  • the information storage unit 109 may add a precondition regarding the environment when a combination of the output of the robot device 20 and the behavior of the user 40 occurs to the interaction information. This is because the reaction of the user 40 may be different even when the same output is output from the robot device 20 to the user 40.
  • the information storage unit 109 can improve the accuracy of the interaction information by classifying the cases based on the difference in the behavior of the user 40 with respect to the output of the robot device 20 due to such a situation.
  • These preconditions are set by the information storage unit 109 based on the difference in the reaction from the user 40 when the same output is output from the robot device 20 to the user 40. For example, after the interaction information associated with the output of "approaching” from the robot device 20 to the user 40 and the action of the user 40 of "stroking” is accumulated, the output of "approaching” from the robot device 20 to the user 40. Correspondingly, it is assumed that the action of the user 40 to "remove” is induced. At this time, in each case, the information storage unit 109 refers to the time zone when the action of the user 40 occurs, the state of the user 40, or the state of the environment around the user 40, in each case. Extract the difference. After that, the information storage unit 109 can add the extracted difference to the interaction information corresponding to each case as a precondition.
  • the communication unit 113 is a communication interface for transmitting and receiving information between the information processing device 10 and the robot device 20.
  • the communication unit 113 may send and receive information between the information processing device 10 and the robot device 20 via the network 30.
  • the network 30 may be a public communication network such as the Internet, a satellite communication network, or a telephone line network, or a communication network provided in a limited area such as a LAN (Local Area Network) or a WAN (Wide Area Network). There may be.
  • the communication unit 113 may directly transmit and receive information between the information processing device 10 and the robot device 20.
  • the communication unit 113 uses wireless communication such as wireless LAN, Wi-Fi (registered trademark), or Bluetooth (registered trademark), or wired communication such as a coaxial cable to form an information processing device 10 and a robot device 20. Information may be sent and received between.
  • the robot device 20 includes a sensor unit 201, a recognition unit 203, an output control unit 205, an output unit 207, and a communication unit 209.
  • the robot device 20 is, for example, a robot device capable of autonomous action.
  • the robot device 20 may be an animal-shaped or human-shaped robot capable of communicating with the user 40, or a transfer robot capable of collaborating with the user 40, or a transfer robot. It may be a robot or the like provided with an arm or the like.
  • the sensor unit 201 includes a sensor that acquires the environmental information of the outside world of the robot device 20, and a sensor that acquires the own device information of the robot device 20.
  • the sensor unit 201 may use various cameras such as an RGB camera, a gray scale camera, a stereo camera, a depth camera, an infrared camera, or a ToF camera, a LIDAR sensor, or a RADAR sensor as sensors for acquiring the external environment information of the robot device 20.
  • Various distance measuring sensors such as, or sensors such as a microphone, a luminometer, a thermometer, or a hygrometer may be included.
  • the sensor unit 201 may include, for example, an encoder, a voltmeter, an ammeter, a strain gauge, a pressure gauge, an IMU (Inertial Measurement Unit), or the like as a sensor for acquiring own machine information of the robot device 20.
  • the information acquired by the various sensors included in the sensor unit 201 is used to control the output of the robot device 20.
  • the sensor unit 201 may include a known sensor other than the above-mentioned sensor as long as it can acquire the environment information around the robot device 20 or the information of the robot device 20 itself.
  • the recognition unit 203 recognizes the external environment state of the robot device 20 or the own device state of the robot device 20 based on the information acquired by the sensor unit 201. Specifically, the recognition unit 203 recognizes the external environmental state of the robot device 20 by performing object recognition, motion recognition, character recognition, or voice recognition based on the environmental information acquired by the sensor unit 201. You may. Further, the recognition unit 203 recognizes the position, recognizes the motion state (for example, speed, acceleration, jerk, angular velocity, angular acceleration, etc.) or the machine state (for example, power remaining) based on the own machine information acquired by the sensor unit 201. The state of the robot device 20 may be recognized by recognizing the amount, temperature, joint angle, etc.).
  • Any of the above recognitions by the recognition unit 203 can be performed by using a known recognition technique.
  • the recognition by the recognition unit 203 may be performed based on, for example, a predetermined rule, or may be performed based on a machine learning algorithm.
  • the output control unit 205 controls the output emitted from the robot device 20 to the user 40. Specifically, the output control unit 205 generates an output to be output to the user 40 based on the accumulated interaction information, and further generates a control instruction to realize the output.
  • the output control unit 205 may generate an output of the robot device 20 corresponding to an action or emotion desired to be induced in the user 40 based on the accumulated interaction information, and further generate a control command to realize the output.
  • the output control unit 205 can induce the user 40 to induce a predetermined emotion by referring to the accumulated interaction information.
  • the output can be extracted and a control command for realizing the output issued from the robot device 20 to the user 40 can be generated.
  • the output control unit 205 may be provided in the information processing device 10 instead of the robot device 20.
  • the output unit 207 generates an output from the robot device 20 to the user 40 based on a control command from the output control unit 205.
  • the output unit 207 may be any module as long as it outputs to the real space.
  • the output unit 207 may include an actuator such as a magnetic motor or a fluid pump, a power device such as an engine, a speaker that outputs sound, a projector that outputs an image, a display, or a light emitter (for example, a light bulb, an LED, a laser, etc.). It may be.
  • the communication unit 209 is a communication interface for transmitting and receiving information between the information processing device 10 and the robot device 20.
  • the communication unit 209 may be a communication interface corresponding to the communication unit 113 of the information processing device 10.
  • the communication unit 209 may send and receive information between the information processing device 10 and the robot device 20 via the network 30.
  • the network 30 may be a public communication network such as the Internet, a satellite communication network, or a telephone line network, or a communication network provided in a limited area such as a LAN (Local Area Network) or a WAN (Wide Area Network). There may be.
  • the communication unit 209 may directly send and receive information between the information processing device 10 and the robot device 20.
  • the communication unit 209 uses wireless communication such as wireless LAN, Wi-Fi (registered trademark), or Bluetooth (registered trademark), or wired communication such as a coaxial cable to form an information processing device 10 and a robot device 20. Information may be sent and received between.
  • FIG. 7 is a flowchart showing an example of an operation executed by the system according to the present embodiment.
  • the operation example according to the flowchart shown in FIG. 7 is an operation example for the purpose of improving the intimacy from the user 40 to the robot device 20.
  • the system according to the present embodiment grasps the utterance of the user 40 and emits an output from the robot device 20 based on the utterance content of the user 40, so that the quality is higher between the user 40 and the robot device 20. Can interact.
  • the robot device 20 is made to output the output estimated that the user 40 expects from the robot device 20 from the utterance content, so that the user 40 can mutually understand with the robot device 20. It is possible to provide an experience that makes you feel like you are.
  • the information processing device 10 determines whether or not there are a plurality of users 40 in the environment based on the sensing result in the environment from the sensor unit 101 (S101). Since the system according to the present embodiment associates the output of the robot device 20 with the actions and emotions of the user 40 for each user, when a plurality of users 40 exist in the environment, the information processing device 10 First determines the user 40 from which the robot device 20 outputs an output.
  • the information processing device 10 determines the user 40 to be output by the robot device 20 based on the priority set for each user 40. (S102).
  • the priority may be set based on the degree of interaction (also referred to as alternating current) between the user 40 and the robot device 20. For example, the priority may be set so that the user 40 having higher these parameters has a higher priority based on parameters such as the frequency, time, depth, or density of the interaction between the user 40 and the robot device 20. Good.
  • the information processing device 10 may set the priority based on the attribute information of the user 40. For example, the information processing device 10 sets the priority of outputting the output from the robot device 20 to the user 40 by generating the behavior model of the user 40 based on the age and gender of the user 40 estimated from the captured image or the like. You may.
  • the information processing device 10 When there is only one user 40 in the environment (S101 / No), the information processing device 10 performs the operation of step S103 without performing the operation of step S102.
  • the information processing device 10 determines whether or not there is an utterance related to the robot device 20 in the utterance of the user 40 whose output is output by the robot device 20 (S103). When there is no utterance regarding the robot device 20 (S103 / No), the information processing device 10 determines whether or not the number of users 40 in the environment has changed (S104), and then the user 40 relates to the robot device 20. Wait until you speak. However, when the number of users 40 in the environment changes (S104 / Yes), the user 40 having a higher priority may appear, and the user 40 to be output may be changed. Therefore, information processing is performed. The device 10 returns to step S102 and repeats the operation.
  • the information processing device 10 determines the output emitted from the robot device 20 to the user 40 based on the content of the utterance of the user 40. At this time, the information processing device 10 may make the output emitted from the robot device 20 to the user 40 a more suitable output based on the accumulated interaction information (S105).
  • the information processing device 10 outputs the output emitted from the robot device 20 to the user 40. It can be decided directly.
  • the information processing device 10 is based on the accumulated interaction information.
  • the output that induces emotions included in the utterance content of the user 40 may be determined as the output that is emitted to the user 40.
  • the information processing device 10 may determine the output of a plurality of patterns set as cute gestures as the output emitted by the robot device 20. Further, the feasibility may be set for each of the determined outputs of the plurality of patterns. According to this, the information processing device 10 externally outputs the output of the robot device 20 by performing control such as reducing the feasibility of the output using the voice in a situation where the output of the voice is restricted such as at night. It becomes possible to control in consideration of the environment.
  • the information processing device 10 can also estimate the output that the user 40 expects from the robot device 20 from the operation of the user 40, and determine the output that the robot device 20 emits to the user 40.
  • the information processing device 10 determines whether or not the robot device 20 can execute the determined output (S106). For example, when the robot device 20 is a pet-type robot that imitates an animal such as a dog, since the robot device 20 has a walking mechanism, it is possible to output an output that realizes the content of the utterance "I want the robot to come". Is. On the other hand, since such a robot device 20 does not have a flight mechanism, it cannot emit an output that realizes the utterance content of "I want the robot to fly". In this way, the information processing device 10 determines whether or not the robot device 20 can execute the determined output by considering the functions of the robot device 20.
  • the information processing device 10 returns to step S103 and waits until the user 40 makes an utterance regarding the robot device 20.
  • the information processing device 10 sets the waiting time until the robot device 20 outputs the output (S107). This is because the immediate response of the robot device 20 to the utterance from the user 40 gives the user the impression that the robot device 20 is reflexively and mechanically responding, and the emotion of the user 40. This is because it is not effective for formation.
  • the length of the waiting time until the robot device 20 emits an output may be set based on the content of the output emitted by the robot device 20. For example, if the output generated by the robot device 20 is a direct movement or the like, the waiting time may be short. Further, the length of the waiting time until the robot device 20 outputs an output may be randomly set so as not to make the user 40 feel bored.
  • the information processing device 10 if a new utterance regarding the robot device 20 occurs during the waiting time until the robot device 20 emits an output (S108 / Yes), the information processing device 10 returns to step S105 and returns to the robot device 20. You may redetermine the output emitted by. Further, although not shown, when a user with a higher priority that can be the target of outputting the output appears during the waiting time until the robot device 20 emits the output, the information processing apparatus 10 returns to step S103. The output emitted by the robot device 20 may be redetermined.
  • the information processing device 10 controls the robot device 20 so as to output the determined output. (S109). In this way, the information processing device 10 controls the robot device 20 and the user by controlling the robot device 20 to output an output estimated by the user 40 to the robot device 20 from the speech or action of the user 40. It is possible to support interaction with 40.
  • the information processing device 10 evaluates the behavior and emotion of the user 40 corresponding to the output of the robot device 20 (S111). Specifically, the information processing device 10 determines the action of the user 40 performed in response to the output generated by the robot device 20, and estimates the emotion of the user 40 from the action of the user 40.
  • the information processing device 10 generates interaction information in which the output of the robot device 20, the action of the user 40 performed in response to the output, and the emotion of the user 40 estimated from the action are associated with each other.
  • the generated interaction information is accumulated (S113).
  • the information processing device 10 compares the generated interaction information with the already accumulated interaction information. Additional prerequisites may be added to the interaction information.
  • interaction information indicating that the user 40's behavior of "laughing” and emotion of "joy” are induced in response to the output of "approaching” from the robot device 20 to the user 40 is accumulated.
  • the information processing device 10 induces negative behaviors and emotions of the user 40 in response to the output of the robot device 20 "approaching” under the precondition of the time zone of weekday morning. Can be grasped. Therefore, the information processing device 10 updates the accumulated interaction information based on the grasped contents, and in addition to "approaching” to "staring” at the output emitted by the robot device 20 during the morning time on weekdays. Can be changed to the output of.
  • FIG. 8 is an explanatory diagram illustrating a modified example of the system according to the present embodiment.
  • the output of the robot device 20 is triggered by the utterance of the user 40 regarding the robot device 20.
  • the system according to this embodiment is not limited to the above examples.
  • the output of the robot device 20 may be spontaneously emitted.
  • the information processing device 10 may spontaneously output an output from the robot device 20 to the two users 40 to extract the actions and emotions of the two users 40.
  • the information processing device 10 may control the robot device 20 so that the two users 40 output an output of approaching the cushion 55, which is the topic of conversation. That is, the information processing device 10 may elicit an action or emotion from the user 40 toward the robot device 20 by causing the output of the robot device 20 to act on an object included in the utterance of the two users 40. According to this, the information processing device 10 may be able to elicit an utterance capable of estimating the feeling of "joy” such as "I'm glad I bought a new cushion" from any of the users 40.
  • the information processing device 10 outputs the output of the robot device 20 to "approach a new object", the action of the user 40 to "speak about the new object", and the emotion of the user 40 to "joy". It becomes possible to accumulate the associated interaction information.
  • FIG. 9 is a block diagram illustrating a functional configuration of the system according to the second embodiment.
  • the system includes an information processing device 11 and a robot device 20 connected to each other by a network 30.
  • the system according to the present embodiment controls the output of the robot device 20 based on the interaction information described in the system according to the first embodiment to induce the user 40 to perform a desired action or emotion. It is a thing. For example, in the system according to the present embodiment, when it is desired to induce the user 40 to induce a positive emotion toward the object, the output of the robot device 20 associated with the positive emotion of the user 40 in the interaction information is associated with the object. Emit as. According to this, it is considered that the user 40 also has a positive emotion induced in response to the output of the robot device 20 toward the object.
  • the information processing device 11 includes a behavior-inducing unit 125, an information storage unit 121, a storage unit 111, a determination unit 123, and a communication unit 113.
  • the behavior-inducing unit 125 determines the behavior or emotion to be induced in the user 40. Specifically, the behavior-inducing unit 125 induces the user 40 to induce positive emotions for commercials to the object, or induces the user 40 to induce negative emotions to keep the user 40 away from the object. May be determined. Alternatively, the behavior-inducing unit 125 may decide to induce the user 40 to perform the behavior necessary for physical protection for the safety of the user 40. Further, the behavior-inducing unit 125 may decide to induce the user 40 to follow the robot device 20 in order to guide the behavior of the user 40. The behavior or emotion that the behavior-inducing unit 125 induces in the user 40 may be appropriately selected depending on the purpose. The behavior or emotion induced by the user 40 may be determined autonomously by the information processing device 11, or may be determined based on an external instruction.
  • the information storage unit 121 stores the interaction information described in the system according to the first embodiment. That is, the information storage unit 121 associates the output of the robot device 20, the action of the user 40 emitted in response to the output of the robot device 20, and the emotion of the user 40 estimated from the action of the user 40. Accumulate interaction information. By using the accumulated interaction information, the information processing device 11 can determine the output of the robot device 20 that induces the behavior or emotion of the desired user 40.
  • the interaction information stored in the information storage unit 121 may be generated and stored in the system according to the first embodiment, or may be introduced from the outside.
  • the interaction information is stored in the storage unit 111 by constructing a database, for example.
  • the storage unit 111 may be realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device such as an SSD, an optical storage device, an optical magnetic storage device, or the like.
  • the determination unit 123 determines the output of the robot device 20 corresponding to the action or emotion induced by the user 40 based on the accumulated interaction information. Specifically, the determination unit 123 extracts the output of the robot device 20 associated with the action or emotion induced in the user 40 from the accumulated interaction information, and the robot device 20 extracts the output of the robot device 20. 20 selects a viable output.
  • the output of the robot device 20 acts on at least one or more of the visual, auditory, and tactile sensations of the user 40.
  • the output of the robot device 20 that acts on the visual sense may be, for example, presentation of the action of the robot device 20 to the user 40, presentation of an image or an image from the robot device 20, or the like.
  • the output of the robot device 20 that acts on hearing may be, for example, a voice output such as a bark from the robot device 20.
  • the output of the robot device 20 that acts on the tactile sensation may be, for example, the presentation of vibration or warmth due to the contact between the robot device 20 and the user 40, or the presentation of the tactile sensation in a non-contact manner using an air cannon or the like. ..
  • the determination unit 123 may determine the content of the output of the robot device 20 according to the content and importance of the action or emotion induced by the user 40. For example, in the accumulated interaction information, there may be a plurality of outputs of the robot device 20 corresponding to the behavior or emotion induced in the user 40. In such a case, the determination unit 123 may select an appropriate output from the plurality of outputs of the corresponding robot device 20 based on the content of the action or emotion induced in the user 40. For example, the determination unit 123 may determine that the robot device 20 emits more output as the importance of the action or emotion induced by the user 40 increases.
  • the determination unit 123 moves the robot device 20 and presents information after drawing the user 40 attention to the robot device 20 by causing the robot device 20 to output a voice such as a bark. You may judge that. According to such control, the determination unit 123 can guarantee the immediacy of information presentation.
  • the determination unit 123 determines the content of the output of the robot device 20 based on the degree of interaction between the user 40 and the robot device 20 (that is, parameters such as frequency, time, density, or depth of interaction). May be good. For example, when the frequency of interaction between the user 40 and the robot device 20 is low, the determination unit 123 may determine that the robot device 20 emits a concrete output such as audio or video that is easier to understand. Good.
  • the determination unit 123 when inducing a user 40 to induce a positive emotion for a commercial to an object, the determination unit 123 causes the robot device 20 to output an output that induces the user 40 to induce a positive emotion to associate with the object. May be judged. Further, when the user 40 is induced to have a negative emotion in order to keep the user 40 away from the object, the determination unit 123 causes the robot device 20 to output an output for inducing the negative emotion to the user 40 so as to be associated with the object. You may judge that.
  • the determination unit 123 when inducing the user 40 to take an action necessary for physical protection for the safety of the user 40, the determination unit 123 causes the robot device 20 to output an output reminiscent of the influence of the environment on the user 40's body. You may judge that. According to this, the output of the robot device 20 induces the user 40 to take an action that avoids the influence of the environment on the body. Further, when inducing the user 40 to perform an action necessary for physical protection for the safety of the user 40, the determination unit 123 causes the robot device 20 to output an output that causes a problem in the robot device 20 depending on the environment. May be judged. According to this, the user 40 is induced to take an action to solve the problem occurring in the robot device 20 through feelings of worrying or caring about the robot device 20.
  • the determination unit 123 when inducing the user 40 to follow the robot device 20 in order to guide the action of the user 40, the determination unit 123 outputs to the robot device 20 such that the user 40 takes the initiative in performing the desired action. You may decide to output. According to this, it is possible to induce the user 40 to take a desired action by giving the user 40 a sense of opposition to the robot device 20 and making the output of the robot device 20 follow.
  • the communication unit 113 is a communication interface for transmitting and receiving information between the information processing device 11 and the robot device 20, as in the first embodiment. Since the communication unit 113 is substantially the same as the communication unit 113 described in the first embodiment, the description thereof will be omitted here.
  • the robot device 20 includes a sensor unit 201, a recognition unit 203, an output control unit 205, an output unit 207, and a communication unit 209. Since the functions of each configuration of the robot device 20 are substantially the same as the functions described in the first embodiment, the description thereof will be omitted here.
  • FIG. 10 is a flowchart showing an example of an operation executed by the system according to the present embodiment.
  • the operation example according to the flowchart shown in FIG. 10 is an operation example for the purpose of inducing a desired action or emotion in the user 40.
  • the information processing device 11 grasps the user 40 existing in the environment based on the sensing result in the environment from the sensor unit 101 (S201).
  • the information processing device 11 estimates the priority of the user 40 based on the history of past interactions between the user 40 and the robot device 20 (S202).
  • the information processing device 11 may estimate the priority of the user 40 based on parameters such as the frequency, time, density, or depth of interaction between the user 40 and the robot device 20, for example.
  • the information processing device 11 is based on the operation history of the robot device 20 of the user 40, such as the number of times the user 40 works on the robot device 20 or the number of times the user 40 turns off the power of the robot device 20.
  • the priority of 40 may be estimated.
  • the information processing device 11 determines the user 40 that induces an action or emotion based on the priority (S203).
  • the interaction information associates the output of the robot device 20 with the behavior and emotion of the user 40 for each user. Therefore, the information processing device 11 determines the user who refers to the interaction information by the operations from step S201 to step S203.
  • step S201 to step S203 The operation of determining the user 40 from step S201 to step S203 may be the same as the operation of the system (steps S101 to S102) according to the first embodiment described with reference to FIG. 7.
  • the information processing device 11 determines the behavior or emotion induced in the determined user 40 (S204). Specifically, the information processing device 11 determines an action or emotion induced in the user 40 based on an external instruction or internal information processing. For example, the information processing device 11 alerts the user 40 to a commercial that appeals to the object, alerts the user 40 from the aspect of health such as ingesting water, or alerts the user 40 to prevent accidents such as indicating a dangerous place.
  • the behavior or emotion that induces the user 40 may be determined based on the purpose of.
  • the information processing device 11 determines the feasibility of inducing an action or emotion with respect to the user 40 (S205). For example, when inducing a positive emotion of the user 40 toward the object for a commercial appealing the object to the user 40, if the actual object, an advertisement, or the like does not exist in the environment, the information processing device 11 Makes it difficult for the user 40 to induce emotions toward the object. The information processing device 11 determines the feasibility of inducing an action or emotion with respect to the user 40, thereby enabling the robot device 20 to induce the action or emotion of the user 40 at an appropriate timing.
  • the information processing device 11 determines the output of the robot device 20 corresponding to the induced action or emotion based on the accumulated interaction information. (S206). Specifically, the information processing device 11 extracts an output capable of extracting an induced action or emotion from the user 40 from the accumulated interaction information, and causes the robot device 20 to appropriately output the extracted output.
  • the information processing apparatus 11 returns to step S204 and redetermines the behavior or emotion to be induced to the user 40.
  • the information processing device 11 measures the effect of inducing the behavior or emotion by evaluating the behavior or emotion of the user 40 with respect to the output of the robot device 20 (S207). ). Further, the information processing device 11 outputs the output of the robot device 20 in the interaction information so that the behavior or emotion of the user 40 is more induced based on the evaluation result of the behavior or emotion of the user 40 with respect to the output of the robot device 20. It may be updated (S208). Alternatively, the information processing device 11 may add information regarding the degree of induction of behavior or emotion to the user 40 with respect to the output of the robot device 20 to the interaction information. According to this, the information processing device 11 can optimize the output of the robot device 20 to the user 40 so that a desired action or emotion can be induced through the interaction between the user 40 and the robot device 20.
  • FIGS. 11A and 11B are flowcharts showing other examples of operations performed by the system according to the present embodiment.
  • the operation example according to the flowcharts shown in FIGS. 11A and 11B is an operation example focusing on the operation related to the update of the interaction information by the information processing apparatus 11 in the operation example described with reference to FIG.
  • the information processing device 11 determines the behavior or emotion to be induced in the user 40 (S301). Subsequently, the information processing device 11 determines whether or not the user 40 is a new user (S302).
  • the information processing device 11 analyzes attributes such as the age group and gender of the user 40 based on the sensing information of the user 40 (S305), and selects a user model close to the user 40 based on the analyzed attributes (S306). ).
  • the user model interaction information in which the output of the robot device 20 and the behavior and emotion of the general user 40 corresponding to the output are associated with each other is preset according to attributes such as age group and gender.
  • the information processing device 11 makes it possible to induce behavior or emotion even for a new user for whom the interaction information is not accumulated. After that, the information processing device 11 selects information corresponding to the behavior or emotion to be induced from the interaction information of the selected user model (S307).
  • the information processing device 11 determines whether or not the interaction information of the user 40 includes the interaction information corresponding to the behavior or emotion to be induced (S303).
  • the interaction information corresponding to the behavior or emotion to be induced exists (S303 / Yes)
  • the information processing apparatus 11 selects the corresponding information from the interaction information (S308).
  • the information processing apparatus 11 selects information corresponding to the behavior or emotion close to the behavior or emotion to be induced (S304).
  • the information processing device 11 controls the output of the robot device 20 based on the information selected in steps S304, S307, and S308 (S309).
  • the robot device 20 outputs to the user 40 an output that induces a desired action or emotion.
  • the information processing device 11 senses the behavior of the user 40 corresponding to the output of the robot device 20 (S310), and estimates the emotion of the user 40 from the sensed behavior. Next, the information processing device 11 generates interaction information in which the output of the robot device 20 and the corresponding behavior and emotion of the user 40 are associated with each other based on the evaluated behavior and emotion of the user 40 (S311).
  • the information processing device 11 determines whether or not the interaction information selected when determining the output of the robot device 20 and the generated interaction information all match (S312). When the selected interaction information and the generated interaction information all match (S312 / Yes), the information processing apparatus 11 stores the selected interaction information again as the interaction information of the user 40 (S313).
  • the information processing apparatus 11 has the selected interaction information and the generated interaction information regarding the output of the robot apparatus 20. It is determined whether or not they match (S314). When the outputs of the robot device 20 do not match (S314 / No), the information processing device 11 newly stores the generated interaction information as new interaction information (S317).
  • the information processing device 11 When the outputs of the robot device 20 match (S314 / Yes), the information processing device 11 has different preconditions for the selected interaction information and the generated interaction information, so that the behavior or emotion of the user 40 is different. Judge that it has changed. Therefore, the information processing device 11 evaluates the difference between the selected interaction information and the generated interaction information (S315). After that, the information processing apparatus 11 adds the evaluated difference as a precondition, and stores the selected interaction information and the generated interaction information, respectively (S316).
  • FIG. 12 is a table diagram showing an example of the generated interaction information and the selected interaction information.
  • FIG. 13 is a table diagram showing an example of the interaction information stored in each case based on the example shown in FIG.
  • the user 40 in the interaction information selected to determine the output of the robot device 20, the user 40's action of "touching the robot device” and “touching” the output of the robot device 20 of “approaching” and " It is assumed that the emotion of the user 40, which is “joy”, is associated with it.
  • the interaction information generated by evaluating the behavior and emotion of the user 40 who received the output of the robot device 20 the behavior of the user 40 "to drive away the robot device” to the output of the robot device 20 to "approach” , It is assumed that the emotion of the user 40 called “anger” is associated with it.
  • the information processing device 11 evaluates the difference in each interaction information by referring to the situation in which each interaction information is generated. For example, the selected interaction information is generated in the "morning" time zone and in the surrounding environment of "user A is nearby", and the generated interaction information is generated in the "morning" time zone and "user". It is assumed that it is generated under the condition of the surrounding environment that "B is nearby”. At this time, the information processing apparatus 11 can find a difference in the surrounding environment such as "user A is nearby” or "user B is nearby” as a difference in the situation in which the two interaction information is generated.
  • the information processing device 11 can add the information of the surrounding environment found as the difference between the two interaction information to the two interaction information as a precondition. According to this, as shown in FIG. 13, the information processing apparatus 11 generates the first interaction information from the selected interaction information with the precondition that "user A is nearby” is added. Information can be stored. Further, the information processing device 11 can generate second interaction information from the generated interaction information to which the precondition that "user B is nearby” is added, and can store the information.
  • the system according to the present embodiment can be used, for example, for commercials of products to the user 40.
  • the information processing device 11 when it is desired to induce the user 40 to be interested in a product, the information processing device 11 "barks at the TV when the commercial image of the product is displayed on the TV" or "the user uses the product in the environment".
  • the output of the robot device 20 can be controlled so as to generate an output such as "bring it under 40". According to this, the system according to the present embodiment makes it possible for the user 40 to pay more attention to the product.
  • the system according to the present embodiment can be used, for example, to call attention to the physical protection of the user 40.
  • the information processing device 11 may contact the user 40.
  • the output of the robot device 20 can be controlled so as to emit an output of an action reminiscent of a possible state.
  • the information processing device 11 causes the user 40 to induce an action of removing an obstacle by causing the robot device 20 to output a behavior of being stuck due to an obstacle or a behavior as if the robot device 20 has failed due to an obstacle. Can be done.
  • the information processing device 11 behaves like being stuck due to heat stroke, swallowing water, urging the purchase of a beverage, operating a cooling device, or guiding to a cool place. Is output to the robot device 20, so that the user 40 can induce an action for avoiding heat stroke.
  • FIG. 14 is an explanatory diagram illustrating a third usage example of the system according to the present embodiment.
  • the child 42 follows the output of the robot device 20 by causing the robot device 20 to perform the action desired by the parent 41 to the child 42 by using the child 42's counter-consciousness to the robot device 20.
  • Can induce behavior to do That is, in the system according to the present embodiment, in a plurality of users 40 having a predetermined relationship, by considering the relationship between the users 40, actions or emotions are given to users other than the user 40 who have accumulated interaction information. It is also possible to induce.
  • the information processing device 11 may control the robot device 20 so as to grasp the instruction from the parent 41 to the child 42 from the utterance content of the parent 41 and output the output according to the instruction from the parent 41 to the child 42. Good.
  • the information processing device 11 controls the robot device 20 so as to output an output to clean up the toy 57 ahead of the child 42. can do. According to this, the robot device 20 can guide the child 42 to perform the action of putting away the toy 57 by stimulating the counter-consciousness of the child 42. Further, when the information processing device 11 recognizes the utterance content of the parent 41 saying "Come here”, the information processing device 11 can control the robot device 20 so as to emit an output approaching the parent 41 more proactively than the child 42. .. According to this, the robot device 20 can guide the child 42 to perform an action according to the utterance of the parent 41.
  • the information processing device 11 may control the output of the robot device 20 based on a trigger other than the utterance of the parent 41. For example, when there is interaction information that the robot device 20 outputs that the toy 57 is tidied up and the feeling of joy of the parent 41 is induced, the information processing device 11 detects that the toy 57 is not tidied up.
  • the robot device 20 may be controlled so as to generate an output of cleaning up the toy 57 by using what has been done as a trigger. According to this, the robot device 20 can guide the child 42 to follow the robot device 20 and perform an action of cleaning up the toy 57.
  • FIG. 15 is a block diagram showing an example of a hardware configuration in the information processing device 10 constituting the system according to the first embodiment. Since the hardware configuration of the information processing device 11 according to the second embodiment is substantially the same as the hardware configuration of the information processing device 10 according to the first embodiment, the description thereof is omitted here. ..
  • the information processing device 10 includes a CPU 901, a ROM 902, a RAM 903, a host bus 905, a bridge 907, an external bus 906, an interface 908, an input device 911, an output device 912, and the like. It includes a storage device 913, a drive 914, a connection port 915, and a communication device 916.
  • the information processing device 10 may include a processing circuit such as an electric circuit, a DSP (Digital Signal Processor), or an ASIC (Application Specific Integrated Circuit) in place of the CPU 901 or together with the CPU 901.
  • the CPU 901 functions as an arithmetic processing device or a control device, and controls the overall operation in the information processing device 10 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs, calculation parameters, and the like used by the CPU 901.
  • the RAM 903 temporarily stores a program used in the execution of the CPU 901, parameters that are appropriately changed in the execution, and the like.
  • the CPU 901 may execute the functions of the recognition unit 103, the behavior evaluation unit 105, the emotion estimation unit 107, the information storage units 109 and 121, the judgment unit 123, the behavior induction unit 125, and the output control unit 205, for example.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 905 including a CPU bus and the like.
  • the host bus 905 is connected to an external bus 906 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 907.
  • the host bus 905, the bridge 907, and the external bus 906 do not necessarily have to be separated, and these functions may be implemented in one bus.
  • the input device 911 is a device in which information is input by a user such as a mouse, keyboard, touch panel, buttons, microphone, switch or lever. Further, the input device 911 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input means.
  • the output device 912 is a device capable of visually or audibly notifying the user of information.
  • the output device 912 is, for example, a display device such as a CRT (Cathode Ray Tube) display device, a liquid crystal display device, a plasma display device, an EL (ElectroLuminence) display device, a laser projector, an LED (Light Emitting Diode) projector, or a lamp. It may be a speaker, an audio output device such as a headphone, or the like.
  • the output device 912 may output the results obtained by various processes by the information processing device 10, for example. Specifically, the output device 912 may visually display the results obtained by various processes by the information processing device 10 in various formats such as texts, images, tables, and graphs. Alternatively, the output device 912 may convert an audio signal such as audio data or acoustic data into an analog signal and output it audibly.
  • the storage device 913 is a data storage device formed as an example of the storage unit of the information processing device 10.
  • the storage device 913 may be realized by, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 913 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deleting device that deletes the data recorded on the storage medium, and the like.
  • the storage device 913 may store a program executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 913 may execute the function of the storage unit 111, for example.
  • the drive 914 is a reader / writer for a storage medium, and is built in or externally attached to the information processing device 10.
  • the drive 914 reads out the information recorded in the removable storage medium such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 914 can also write information to the removable storage medium.
  • connection port 915 is an interface connected to an external device.
  • the connection port 915 is a connection port capable of transmitting data to an external device, and may be, for example, USB (Universal Serial Bus).
  • the communication device 916 is, for example, an interface formed by a communication device or the like for connecting to the network 30.
  • the communication device 916 may be, for example, a communication card for a wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), WUSB (Wireless USB), or the like.
  • the communication device 916 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 916 can send and receive signals and the like to and from the Internet or other communication devices in accordance with a predetermined protocol such as TCP / IP.
  • connection port 915 or the communication device 916 may execute the function of the communication unit 113.
  • An output control unit that controls the output from the interaction device to the user
  • a behavior evaluation unit that determines the behavior of the user performed in response to the output of the interaction device
  • An emotion estimation unit that estimates the user's emotions corresponding to the user's behavior
  • An information storage unit that associates the output of the interaction device, the behavior of the user, and the emotion of the user with each other and stores them as interaction information.
  • the output control unit is an information processing device that controls the output from the interaction device to the user based on the accumulated interaction information.
  • the behavior evaluation unit determines the behavior of the user performed in response to the output from the interaction device by arranging the output of the interaction device and the behavior of the user in the same time series.
  • the interaction information further includes information on the output of the interaction device, the behavior of the user, and the preconditions for associating the emotions of the user with each other. apparatus.
  • the behavior or emotion of the user corresponding to the same output of the interaction device is different in the plurality of interaction information
  • the plurality of interaction information is subject to a difference in the interaction device or the surrounding environment of the user as the precondition.
  • the information processing device according to (6) above which is added respectively.
  • the output control unit determines a user to which the interaction device outputs an output based on the priority set for each of the users, any of the above (1) to (7).
  • the information processing device (9) The information processing device according to (8) above, wherein the priority is set based on at least one or more of the frequency, time, or depth of interaction of the interaction device with each of the users.
  • the output control unit estimates the output that the user expects from the interaction device from the content of the user's utterance, and controls the interaction device so as to emit the estimated output, according to the above (1) to (9).
  • the information processing device according to any one of the items.
  • (11) The information processing according to (10) above, wherein the output control unit controls the interaction device so as to emit an output that can be executed by the interaction device among a plurality of patterns of outputs that the user expects from the interaction device. apparatus.
  • Controlling the output from the interaction device to the user, Judging the action of the user performed in response to the output of the interaction device, and Estimating the user's emotions corresponding to the user's behavior The output of the interaction device, the behavior of the user, and the emotion of the user are associated with each other and stored as interaction information. Controlling the output from the interaction device to the user based on the accumulated interaction information.
  • Information processing methods including.
  • Computer An output control unit that controls the output from the interaction device to the user, A behavior evaluation unit that determines the behavior of the user performed in response to the output of the interaction device, and An emotion estimation unit that estimates the user's emotions corresponding to the user's behavior, An information storage unit that associates the output of the interaction device, the behavior of the user, and the emotion of the user with each other and stores them as interaction information.
  • An output control unit that controls the output from the interaction device to the user
  • a behavior evaluation unit that determines the behavior of the user performed in response to the output of the interaction device
  • An emotion estimation unit that estimates the user's emotions corresponding to the user's behavior
  • An information storage unit that associates the output of the interaction device, the behavior of the user, and the emotion of the user with each other and stores them as interaction information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Hospice & Palliative Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Library & Information Science (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Developmental Disabilities (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

インタラクション装置からユーザへの出力を制御する出力制御部と、前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断する行動評価部と、前記ユーザの行動に対応する前記ユーザの感情を推定する感情推定部と、前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積する情報蓄積部と、を備え、前記出力制御部は、蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御する、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、ユーザとコミュニケーションを行うロボット装置が普及しつつある。そのため、このようなロボット装置において、ユーザとより円滑にコミュニケーションを行うための技術が求められている。
　例えば、下記の特許文献１には、ロボット装置に人間的・生物的な行動をエミュレートさせることで、ロボット装置に対するユーザからの共感を高める行動制御技術が開示されている。具体的には、特許文献１には、ユーザからロボット装置への接触回数等などに基づいてユーザとロボット装置との親密度を評価することで、親密度の低いユーザから遠ざかり、親密度の高いユーザに近づくようにロボット装置を制御する技術が開示されている。
国際公開第２０１７／１７５５５９号
　しかし、上記の特許文献１に開示された技術は、ユーザに対するロボット装置の距離を制御するものであるため、ユーザとロボット装置とのコミュニケーションの質を向上させるものではなかった。また、ロボット装置に限らずユーザとコミュニケーションを行うエージェント、又はスマートスピーカ等についても、これら装置とユーザとのコミュニケーションの質を向上させることが求められていた。
　そのため、ユーザとインタラクション装置とのインタラクションをより強めることで、ユーザに対してより品質の高いコミュニケーションを提供することを可能とする技術が求められていた。
　本開示によれば、インタラクション装置からユーザへの出力を制御する出力制御部と、前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断する行動評価部と、前記ユーザの行動に対応する前記ユーザの感情を推定する感情推定部と、前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積する情報蓄積部と、を備え、前記出力制御部は、蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御する、情報処理装置が提供される。
　また、本開示によれば、演算処理装置によって、インタラクション装置からユーザへの出力を制御することと、前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断することと、前記ユーザの行動に対応する前記ユーザの感情を推定することと、前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積することと、蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御することと、を含む、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータを、インタラクション装置からユーザへの出力を制御する出力制御部と、前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断する行動評価部と、前記ユーザの行動に対応する前記ユーザの感情を推定する感情推定部と、前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積する情報蓄積部と、として機能させ、蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御させるように前記出力制御部を機能させる、プログラムが提供される。
本開示に係る技術が適用されるシステムの概要を説明する説明図である。 本開示の第１の実施形態に係るシステムの機能構成を説明するブロック図である。 一般的な室内空間を撮像した画像の一例を示す模式図である。 あらかじめ設定されたユーザに関する情報の一例を示す表図である。 ロボット装置の出力と、ユーザの行動とを同一時系列に並べた例を示す表図である。 情報蓄積部が生成するインタラクション情報の例を示す表図である。 同実施形態に係るシステムにより実行される動作の一例を示すフローチャート図である。 同実施形態に係るシステムの変形例について説明する説明図である。 本開示の第２の実施形態に係るシステムの機能構成を説明するブロック図である。 同実施形態に係るシステムにより実行される動作の一例を示すフローチャート図である。 同実施形態に係るシステムにより実行される動作の他の例を示すフローチャート図である。 同実施形態に係るシステムにより実行される動作の他の例を示すフローチャート図である。 生成したインラクション情報、及び選択したインタラクション情報の一例を示す表図である。 図１２に示す一例に基づいて、それぞれ記憶されるインタラクション情報の一例を示す表図である。 同実施形態に係るシステムの第３の使用例を説明する説明図である。 本開示の各実施形態に係るシステムを構成する情報処理装置におけるハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示に係る技術の概要
　２．第１の実施形態
　　２．１．情報処理装置の構成
　　２．２．情報処理装置の動作
　　２．３．変形例
　３．第２の実施形態
　　３．１．情報処理装置の構成
　　３．２．情報処理装置の動作
　　３．３．使用例
　４．ハードウェア構成
　＜１．本開示に係る技術の概要＞
　まず、図１を参照して、本開示に係る技術が適用されるシステムの概要について説明する。図１は、本開示に係る技術が適用されるシステムの概要を説明する説明図である。
　図１に示すように、本開示に係る技術が適用されるシステムは、情報処理装置１０と、ネットワーク３０によって情報処理装置１０と接続されたロボット装置２０と、を含む。なお、図１では、ロボット装置２０のユーザとして、２人のユーザ４０を示すが、ロボット装置２０のユーザは、１人、又は３人以上のいずれであってもよいことは言うまでもない。
　ロボット装置２０は、ユーザ４０とインタラクションを行うことが可能な自律行動型のロボット装置である。ロボット装置２０は、ユーザ４０の近くで動作するロボット装置であり、例えば、ペット型のロボット、人型のコミュニケーションロボット、搬送ロボット、又はアーム等を備えるロボット等であってもよい。
　ロボット装置２０は、撮像装置、マイクロフォン、又は各種センサによる外部環境の観測結果に基づいて行動を制御されることで、ユーザ４０とインタラクションを行うことが可能である。ロボット装置２０は、例えば、音声出力、画像表示、移動、又は動作などの出力によってユーザ４０とインタラクションしてもよい。
　ただし、本開示に係る技術が適用されるシステムでは、ユーザ４０とインタラクションを行う装置は、ロボット装置２０以外の装置であってもよいことは言うまでもない。例えば、本開示に係る技術が適用されるシステムは、ロボット装置２０に替えて、キャラクタ又は人格を模したエージェントを視覚的に出力する表示装置、又はエージェントの発話を聴覚的に出力する音声出力装置を含んでもよい。本明細書では、ロボット装置２０を含む、このようなユーザ４０とインタラクションを行う装置群をインタラクション装置とも称する。
　ネットワーク３０は、情報の有線又は無線の伝送路である。例えば、ネットワーク３０は、インターネット、電話回線網若しくは衛星通信網などの公衆回線網、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、又はＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などであってもよい。また、ネットワーク３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網であってもよい。
　なお、情報処理装置１０、及びロボット装置２０は、ネットワーク３０を介さずに直接接続されていてもよい。例えば、情報処理装置１０、及びロボット装置２０は、有線で互いに接続されていてもよく、Ｗｉ－Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）の無線通信によって互いに接続されていてもよい。
　情報処理装置１０は、ロボット装置２０と、ユーザ４０とのインタラクションの内容を制御する。具体的には、情報処理装置１０は、ユーザ４０が存在する空間のセンシング結果に基づいて、ロボット装置２０からユーザ４０への出力を制御する。詳細には、情報処理装置１０は、センシングしたユーザ４０の発話又は行動の内容に基づいて、ユーザ４０がロボット装置２０に期待又は要求する出力を推定し、推定した出力を発するようにロボット装置２０を制御してもよい。
　例えば、情報処理装置１０は、ユーザ４０が発した質問に対する回答を生成し、生成した回答をロボット装置２０から音声又は画像にて出力させてもよい。または、情報処理装置１０は、ユーザ４０の興味又は注目を惹くような行動を発するようにロボット装置２０の行動を制御してもよい。
　本開示に係る技術が適用されるシステムによれば、ユーザ４０が存在する空間の情報を情報処理装置１０にて解析し、解析した結果に基づいてロボット装置２０からの出力の内容を制御することで、ロボット装置２０と、ユーザ４０との間で双方向のコミュニケーションを行うことができる。例えば、本開示に係る技術が適用されるシステムは、ロボット装置２０及びユーザ４０との間で会話又は応答を行わせたり、ロボット装置２０にペットをエミュレートするような動作を行わせたり、ロボット装置２０及びユーザ４０で共同して作業を行わせたりすることが可能である。
　本開示に係る技術は、このようなシステムにおいて、ロボット装置２０のユーザ４０への出力と、該出力に対応して行われたユーザ４０の行動及び感情と、を関連付けて蓄積するものである。
　本開示に係る技術によれば、情報処理装置１０は、上記で蓄積された情報を用いることによって、ロボット装置２０の出力に対するユーザ４０の反応を推定することができるため、ロボット装置２０からユーザ４０へのコミュニケーションの品質をより高めることができる。
　また、本開示に係る技術によれば、情報処理装置１０は、上記で蓄積された情報を用いることによって、ユーザ４０に所定の行動又は感情を誘起したい場合に、誘起したい行動又は感情に対応するロボット装置２０の出力を判断することができる。したがって、情報処理装置１０は、ロボット装置２０を介して、ユーザ４０に所定の行動又は感情を誘起させることが可能である。
　＜２．第１の実施形態＞
　（２．１．情報処理装置の構成）
　以下では、図２を参照して、上述した本開示に係る技術を実現する第１の実施形態について説明する。図２は、第１の実施形態に係るシステムの機能構成を説明するブロック図である。
　図２に示すように、本実施形態に係るシステムは、ネットワーク３０で互いに接続された情報処理装置１０、及びロボット装置２０を含んで構成される。
　ロボット装置２０は、ユーザ４０が存在する空間のセンシング結果に基づいて情報処理装置１０が判断した内容の出力をユーザ４０に対して発する。ここで、ロボット装置２０の出力とは、ロボット装置２０からユーザ４０への視覚、聴覚、又は触覚の少なくともいずれか１つ以上の感覚に対するあらゆる働きかけを表す。例えば、ロボット装置２０の出力とは、ロボット装置２０からユーザ４０への画像表示、音声出力、動作提示、接近若しくは離反等の移動、対象物の受け渡し、又は接触等を表してもよい。
　（情報処理装置１０）
　情報処理装置１０は、センサ部１０１と、認識部１０３と、行動評価部１０５と、感情推定部１０７と、情報蓄積部１０９と、記憶部１１１と、通信部１１３と、を含んで構成される。
　情報処理装置１０は、例えば、監視カメラシステムの制御装置のように、ユーザ４０からの直接的な働きかけを受け付けない情報処理装置であってもよく、スマートスピーカ等のようにユーザ４０から直接的な働きかけを受け付ける情報処理装置であってもよい。さらに、情報処理装置１０は、センサ部１０１を備えず、情報処理のみを行うコンピュータ等であってもよい。
　センサ部１０１は、ユーザ４０が存在する空間に関する情報を取得するセンサを含む。
　例えば、センサ部１０１は、ＲＧＢカメラ、グレースケールカメラ、デプスカメラ、赤外線カメラ、又はＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ等の各種カメラを含み、ユーザ４０が存在する空間の撮像画像を取得してもよい。センサ部１０１は、これらの各種カメラを複数含むことにより、ユーザ４０等の対象物との距離に関する情報をさらに取得してもよい。また、センサ部１０１は、ＬＩＤＡＲ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）センサ、又はＲＡＤＡＲ（Ｒａｄｉｏ　Ｄｅｔｅｃｔｉｎｇ　ａｎｄ　Ｒａｎｇｉｎｇ）センサなどの各種測距センサを含み、ユーザ４０が存在する空間の物体の配置に関する情報を取得してもよい。さらに、センサ部１０１は、マイクロフォンを含み、ユーザ４０が存在する空間の音声を取得することで、ユーザ４０の位置及び状況に関する情報を取得してもよい。センサ部１０１は、マイクロフォンを複数含むことにより、音源位置を特定する情報をさらに取得してもよい。加えて、センサ部１０１は、照度計、温度計、又は湿度計などのセンサを含み、ユーザ４０が存在する空間の環境に関する情報を取得してもよい。
　ただし、センサ部１０１は、ユーザ４０が存在する空間に関する情報を取得することができれば、上述したセンサ以外の公知のセンサを含んでもよいことは言うまでもない。
　認識部１０３は、センサ部１０１が取得した情報に基づいて、ユーザ４０が存在する空間の状況を認識する。具体的には、認識部１０３は、センサ部１０１の各種カメラにて取得された、ユーザ４０が存在する空間の撮像画像に対して、所定のルール又は機械学習アルゴリズムに基づく画像認識を作用させることで、該空間の状況を認識してもよい。
　例えば、センサ部１０１に含まれる各種カメラにて図３に示す撮像画像が取得された場合、認識部１０３は、物体認識アルゴリズムに基づいて、撮像画像に写った空間の物体の種別、個数、又は位置などを認識してもよい。
　図３は、一般的な室内空間を撮像した画像の一例を示す模式図である。図３に示すように、例えば、室内空間５０には、テーブル５１、椅子５２、５３、及び室内灯５４が存在しているとする。
　認識部１０３は、室内空間５０に居住するユーザ４０によってテーブル５１、椅子５２、５３、又は室内灯５４としてそれぞれ設定された物体を形状又は色等の特徴に基づいて認識することで、撮像画像に写った室内空間５０における物体の位置等を認識してもよい。または、認識部１０３は、教師あり機械学習によって構築されたアルゴリズムを用いて、室内空間５０に存在する物体の中からテーブル５１、椅子５２、５３、及び室内灯５４をそれぞれ認識してもよい。
　また、認識部１０３は、空間におけるユーザ４０の個人及び位置をさらに認識してもよい。具体的には、認識部１０３は、撮像画像に対して、あらかじめ設定された特徴量又は機械学習に基づくアルゴリズムを作用させることで、ユーザ４０の顔認識を行い、ユーザ４０の個人及び位置を認識してもよい。または、認識部１０３は、音声又は身体的特徴からユーザ４０の性別及び年齢を認識し、認識したユーザ４０の性別及び年齢と、あらかじめ設定されたユーザ４０に関する情報とを照らし合わせることで、ユーザ４０の個人及び位置を認識してもよい。
　なお、あらかじめ設定されたユーザ４０に関する情報としては、例えば、図４に示すような情報を例示することができる。図４は、情報処理装置１０にあらかじめ設定されたユーザ４０に関する情報の一例を示す表図である。
　図４に示すように、情報処理装置１０は、ユーザ４０に関する情報として、ユーザ４０の氏名、年齢、性別、及び他ユーザとの関係をユーザごとに記憶してもよい。また、情報処理装置１０は、認識部１０３による認識に基づいて、センサ部１０１がセンシングした時点での空間内のユーザ４０の在又は不在を記憶してもよい。さらに、情報処理装置１０は、センサ部１０１でのセンシング結果に基づいて、ユーザ４０が空間内に存在する可能性が高い時間帯を頻出時間として記憶してもよい。加えて、情報処理装置１０は、ユーザ４０とロボット装置２０との交流時間を記憶してもよい。
　さらに、認識部１０３は、空間におけるロボット装置２０の位置及び個体をさらに認識してもよい。具体的には、認識部１０３は、撮像画像に写ったロボット装置２０の形状、又はロボット装置２０に貼り付けられた識別用二次元コード若しくは識別番号を認識することで、ロボット装置２０の位置及び個体を認識してもよい。
　行動評価部１０５は、センサ部１０１にて取得した情報に基づいて、空間内におけるユーザ４０の行動を把握する。具体的には、行動評価部１０５は、センサ部１０１にて取得したユーザ４０の撮像画像に基づいて、ユーザ４０の行動を把握してもよい。また、行動評価部１０５は、センサ部１０１にて取得してユーザ４０の音声情報に基づいて、ユーザ４０の発話内容を把握してもよい。
　例えば、行動評価部１０５は、ユーザ４０にロボット装置２０からの出力が発せられた時点におけるユーザ４０の行動又は状態を時刻と共に把握してもよい。また、行動評価部１０５は、ユーザ４０の行動又は状態が変化した場合に、変化後のユーザの行動又は状態を時刻と共に把握してもよい。行動評価部１０５は、このようなタイミングでユーザ４０の行動又は状態を把握することで、常時、ユーザ４０の行動又は状態を把握せずとも、ロボット装置２０の出力に対応して行われたユーザ４０の行動を判断することが可能になる。
　さらに、行動評価部１０５は、ロボット装置２０の出力に対応して行われたユーザ４０の行動を判断する。具体的には、行動評価部１０５は、ロボット装置２０からユーザ４０への出力、及びユーザ４０の行動を同一時系列に並べることで、ロボット装置２０の出力に対応して行われたユーザ４０の行動を判断することができる。
　例えば、行動評価部１０５は、ロボット装置２０からユーザ４０への出力に連続してユーザ４０の行動が所定の時間内に行われた場合、ロボット装置２０の該出力と、ユーザ４０の該行動とが対応していると判断してもよい。また、行動評価部１０５は、ロボット装置２０からユーザ４０への出力の後に、ユーザ４０の行動が変更された場合、ロボット装置２０の該出力と、変更後のユーザ４０の行動とが対応していると判断してもよい。これは、ロボット装置２０からユーザ４０への出力に対応するために、ユーザ４０が行動を変化させたと考えられるためである。また、行動評価部１０５は、ロボット装置２０からユーザ４０への出力と、ユーザ４０の行動との同一の組み合わせが複数回確認される場合に、ロボット装置２０の該出力と、ユーザ４０の該行動とが対応していると判断してもよい。
　さらに、行動評価部１０５は、ユーザ４０からロボット装置２０への直接的な行動が発生した場合、ロボット装置２０の出力に時間が掛かった場合、又はユーザ４０の行動に時間が掛かった場合には、ロボット装置２０の出力、及びユーザ４０の行動の間の時間経過を考慮して、ロボット装置２０の出力と、ユーザ４０の行動との対応関係を判断してもよい。
　なお、行動評価部１０５は、ユーザ４０の行動に基づいて把握することができる情報であれば、上述した以外の情報も把握してもよい。例えば、ユーザ４０の発話の頻度若しくは内容、ユーザ４０の位置関係、又はユーザ４０の行動の対象若しくは内容に基づいて複数のユーザ４０の間の関係性が把握可能である場合、行動評価部１０５は、ユーザ４０の発話又は行動に基づいて、複数のユーザ４０の間の関係性を把握してもよい。行動評価部１０５にて把握されたこれらの情報は、図４で例示したユーザ４０に関する情報に追加されることで、情報処理装置１０に記憶されてもよい。
　感情推定部１０７は、ユーザ４０の行動に対応するユーザ４０の感情を推定する。具体的には、感情推定部１０７には、まず、感情の評価軸、及び評価軸の感情に関連するユーザ４０の行動があらかじめ設定される。これにより、感情推定部１０７は、行動評価部１０５にて把握されたユーザ４０の行動と、評価軸の感情ごとに設定された行動とを比較することで、ユーザ４０の感情を推定することができる。なお、感情の評価軸としては、例えば、驚き、恐怖、悲しみ、及び喜びなどを例示することができる。
　また、感情推定部１０７は、センサ部１０１に含まれる各種カメラ、又はユーザ４０が装着したウェアラブル端末等からユーザ４０の心拍数、血圧、又は体温等の生体情報を取得することができる場合には、これらのユーザ４０の生体情報に基づいて、ユーザ４０の感情を推定してもよい。このような場合、感情推定部１０７は、生体情報が示すユーザ４０の状態と、あらかじめ評価軸の感情ごとに設定された状態とを比較することで、ユーザ４０の感情を推定してもよい。
　ここで、図５を参照して、行動評価部１０５、及び感情推定部１０７の動作の具体例について説明する。図５は、ロボット装置２０の出力と、ユーザ４０の行動とを同一時系列に並べた例を示す表図である。
　図５に示すように、ロボット装置２０の出力、及びユーザ４０の行動には、同一時計によるタイムスタンプが押されており、これにより、ロボット装置２０の出力、及びユーザ４０の行動を同一時系列に列挙することが可能になっている。
　例えば、図５に示す表図では、状況Ｎｏ．１として、「１８：１５：０１」にロボット装置２０が「テレビを見ている」状態のユーザ「Ａ」に「近づく」という出力を行ったことが示されている。続いて、状況Ｎｏ．２として、「１８：１５：１０」にユーザ「Ａ」が「ロボット装置に触れる」という行動を行ったことが示されている。次に、状況Ｎｏ．３として、「１８：１６：３０」にロボット装置２０がユーザ「Ｂ」を「見つめる」という出力を行ったことが示されている。また、状況Ｎｏ．４として、「１８：１６：４５」にユーザ「Ｂ」が「ロボット装置に話しかける」という行動を行ったことが示されている。さらに、状況Ｎｏ．５として、「１８：２０：１１」にロボット装置２０が「勉強をしている」状態のユーザ「Ｃ」に「近づく」という出力を行ったことが示されている。続いて、状況Ｎｏ．６として、「１８：２３：２０」にユーザ「Ｃ」が「ロボット装置を追い払う」という行動を行ったことが示されている。
　このような場合、行動評価部１０５は、対象となるユーザ４０が同じであり、かつ発生した時刻が近い状況Ｎｏ．３のロボット装置２０の出力と、状況Ｎｏ．４のユーザ４０の行動とが互いに対応していると判断してもよい。また、行動評価部１０５は、対象となるユーザ４０が同じであり、かつロボット装置２０の出力後にユーザ４０の状態又は行動が変化している状況Ｎｏ．１のロボット装置２０の出力と、状況Ｎｏ．２のユーザ４０の行動とが互いに対応していると判断してもよい。また、行動評価部１０５は、発生した時刻は離れているものの、対象となるユーザ４０が同じであり、かつロボット装置２０の出力後にユーザ４０の状態又は行動が変化している状況Ｎｏ．５のロボット装置２０の出力と、状況Ｎｏ．６のユーザ４０の行動とが互いに対応していると判断してもよい。
　さらに、図５に示す表図では、ロボット装置２０の出力に対応していると判断された状況Ｎｏ．２、４、６のユーザ４０の行動から、感情推定部１０７にて推定されるユーザ４０の感情がそれぞれ示されている。例えば、状況Ｎｏ．２におけるユーザ「Ａ」の「ロボット装置に触れる」という行動からは、「喜び」という感情が推定されている。また、状況Ｎｏ．４におけるユーザ「Ｂ」の「ロボット装置に話しかける」という行動からは、「喜び」という感情が推定されている。さらに、状況Ｎｏ．６におけるユーザ「Ｃ」の「ロボット装置を追い払う」という行動からは、「驚き」という感情が推定されている。
　情報蓄積部１０９は、ロボット装置２０の出力、ロボット装置２０の出力に対応するユーザ４０の行動、及びユーザ４０の行動から推定されるユーザ４０の感情を関連付けて、インタラクション情報として蓄積する。具体的には、情報蓄積部１０９は、行動評価部１０５にて互いに対応すると判断されたロボット装置２０の出力、及びユーザ４０の行動と、感情推定部１０７にてユーザ４０の行動から推定されたユーザ４０の感情とを組み合わせることで、ユーザ４０ごとにインタラクション情報を生成する。
　生成されたインタラクション情報は、例えば、記憶部１１１に蓄積されることで、データベースを構築してもよい。記憶部１１１は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の半導体記憶装置、光記憶装置、又は光磁気記憶装置等により実現されてもよい。
　例えば、情報蓄積部１０９は、図５に示した具体例からは、図６で示すインタラクション情報を生成することができる。図６は、情報蓄積部１０９が生成するインタラクション情報の例を示す表図である。
　図６に示すように、例えば、情報蓄積部１０９は、図５の状況Ｎｏ．１及び２の情報に基づいて、「ユーザＡ」について、「近づく」というロボット装置２０の出力と、「ロボット装置に触れる」というユーザ４０の行動と、「喜び」というユーザ４０の感情とを関連付けたインタラクション情報を生成することができる。また、情報蓄積部１０９は、図５の状況Ｎｏ．３及び４の情報に基づいて、「ユーザＢ」について、「見つめる」というロボット装置２０の出力と、「ロボット装置に話しかける」というユーザ４０の行動と、「喜び」というユーザ４０の感情とを関連付けたインタラクション情報を生成することができる。さらに、情報蓄積部１０９は、図５の状況Ｎｏ．５及び６の情報に基づいて、「ユーザＣ」について、「近づく」というロボット装置２０の出力と、「ロボット装置を追い払う」というユーザ４０の行動と、「驚き」というユーザ４０の感情とを関連付けたインタラクション情報を生成することができる。
　情報蓄積部１０９は、行動評価部１０５にて、ロボット装置２０からユーザ４０への出力、及びロボット装置２０からの出力に対応するユーザ４０の行動の組み合わせが把握されるごとにインタラクション情報を生成する。これによれば、情報蓄積部１０９は、ロボット装置２０からの出力に対するユーザ４０の反応をインタラクション情報としてデータベース化することができる。したがって、情報処理装置１０は、ロボット装置２０からユーザ４０に出力を発する場合に、蓄積されたインタラクション情報から同様の出力を発した際のユーザ４０の反応を検索することで、ユーザ４０の反応を予測することができるようになる。
　また、情報蓄積部１０９は、インタラクション情報に対して、ロボット装置２０の出力、及びユーザ４０の行動の組み合わせが発生した際の環境等に関する前提条件を追加してもよい。これは、ロボット装置２０からユーザ４０に同じ出力を発した場合でも、ユーザ４０の反応が異なる場合があるからである。
　例えば、ロボット装置２０がユーザ４０に近づいた場合、ユーザ４０は、通常、ロボット装置２０をなでるという反応を返しているとする。しかし、ユーザ４０がロボット装置２０に気が付かなかったり、他の作業を行ったりしている場合、ロボット装置２０がユーザ４０に近づいたとしても、ユーザ４０は、ロボット装置２０をなでるという反応を返さないことがあり得る。情報蓄積部１０９は、このような状況によるロボット装置２０の出力に対するユーザ４０の行動の違いを前提条件として場合分けすることで、インタラクション情報の精度を向上させることができる。
　例えば、図６に示すインタラクション情報の具体例では、「近づく」というロボット装置２０の出力に「ロボット装置に触れる」というユーザ４０の行動を対応させたインタラクション情報に対して「ユーザが能動的な作業を行っていない場合」という前提条件が付加されている。また、「見つめる」というロボット装置２０の出力に「ロボット装置に話しかける」というユーザ４０の行動を対応させたインタラクション情報に対して「ユーザの視野内にロボット装置が存在する場合」という前提条件が付加されている。さらに、「近づく」というロボット装置２０の出力に「ロボット装置を追い払う」というユーザ４０の行動を対応させたインタラクション情報に対して「ユーザＢと一緒にいる場合」という前提条件が付加されている。
　これらの前提条件は、ロボット装置２０からユーザ４０に同じ出力を発した際に、ユーザ４０からの反応が異なったことに基づいて、情報蓄積部１０９によって設定される。例えば、ロボット装置２０からユーザ４０への「近づく」という出力と、「なでる」というユーザ４０の行動とを関連付けたインタラクション情報が蓄積された後に、ロボット装置２０からユーザ４０への「近づく」という出力に対応して、「追い払う」というというユーザ４０の行動が誘起されたとする。このとき、情報蓄積部１０９は、それぞれの場合において、ユーザ４０の行動が発生した際の時間帯、ユーザ４０の状態、又はユーザ４０の周囲の環境の状態を参照することで、それぞれの場合の差分を抽出する。その後、情報蓄積部１０９は、抽出した差分を前提条件として、それぞれの場合に対応するインタラクション情報に追加することができる。
　通信部１１３は、情報処理装置１０と、ロボット装置２０との間で情報の送受信を行うための通信インタフェースである。
　例えば、通信部１１３は、ネットワーク３０を介して、情報処理装置１０と、ロボット装置２０との間で情報の送受信を行ってもよい。ネットワーク３０は、インターネット、衛星通信網、若しくは電話回線網などの公衆通信網、又はＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）若しくはＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの限られた領域内に設けられた通信網のいずれであってもよい。
　また、通信部１１３は、情報処理装置１０と、ロボット装置２０との間で直接、情報の送受信を行ってもよい。例えば、通信部１１３は、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、若しくはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又は同軸ケーブル等の有線通信を用いて、情報処理装置１０と、ロボット装置２０との間で情報の送受信を行ってもよい。
　（ロボット装置２０）
　ロボット装置２０は、センサ部２０１と、認識部２０３と、出力制御部２０５と、出力部２０７と、通信部２０９と、を含んで構成される。
　ロボット装置２０は、例えば、自律行動が可能なロボット装置である。具体的には、ロボット装置２０は、ユーザ４０とのコミュニケーションを行うことが可能な動物型又は人型のロボットであってもよく、ユーザ４０との共同作業を行うことが可能な搬送ロボット、又はアーム等を備えるロボット等であってもよい。
　センサ部２０１は、ロボット装置２０の外界の環境情報を取得するセンサと、ロボット装置２０の自機情報を取得するセンサと、を含む。例えば、センサ部２０１は、ロボット装置２０の外界の環境情報を取得するセンサとして、ＲＧＢカメラ、グレースケールカメラ、ステレオカメラ、デプスカメラ、赤外線カメラ、若しくはＴｏＦカメラ等の各種カメラ、ＬＩＤＡＲセンサ若しくはＲＡＤＡＲセンサなどの各種測距センサ、又はマイクロフォン、照度計、温度計、若しくは湿度計などのセンサを含んでもよい。一方、センサ部２０１は、ロボット装置２０の自機情報を取得するセンサとして、例えば、エンコーダ、電圧計、電流計、歪みゲージ、圧力計、又はＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）等を含んでもよい。センサ部２０１が含む各種センサにて取得された情報は、ロボット装置２０の出力を制御するために用いられる。
　ただし、センサ部２０１は、ロボット装置２０の周囲の環境情報、又はロボット装置２０の自機情報を取得することができれば、上述したセンサ以外の公知のセンサを含んでもよいことは言うまでもない。
　認識部２０３は、センサ部２０１が取得した情報に基づいて、ロボット装置２０の外界の環境状態、又はロボット装置２０の自機状態を認識する。具体的には、認識部２０３は、センサ部２０１が取得した環境情報に基づいて、物体認識、動作認識、文字認識、又は音声認識を行うことで、ロボット装置２０の外界の環境状態を認識してもよい。また、認識部２０３は、センサ部２０１が取得した自機情報に基づいて、位置認識、運動状態（例えば、速度、加速度、ジャーク、角速度又は角加速度等）認識、又は機体状態（例えば、電源残量、温度又は関節角等）認識を行うことで、ロボット装置２０の自機状態を認識してもよい。
　認識部２０３による上記の認識は、いずれも公知の認識技術を用いることで行うことができる。認識部２０３による認識は、例えば、所定のルールに基づいて行われてもよく、機械学習アルゴリズムに基づいて行われてもよい。
　出力制御部２０５は、ロボット装置２０からユーザ４０に発する出力を制御する。具体的には、出力制御部２０５は、蓄積されたインタラクション情報に基づいてユーザ４０に発する出力を生成し、さらに該出力を実現する制御命令を生成する。
　例えば、出力制御部２０５は、蓄積されたインタラクション情報に基づいて、ユーザ４０に誘起したい行動又は感情に対応するロボット装置２０の出力を生成し、さらに該出力を実現する制御命令を生成してもよい。ロボット装置２０からユーザ４０に所定の感情を誘起させる出力を発しようとする場合、出力制御部２０５は、蓄積されたインタラクション情報を参照することで、所定の感情をユーザ４０に誘起することができる出力を抽出し、ロボット装置２０からユーザ４０に発する出力を実現するための制御命令を生成することができる。
　なお、出力制御部２０５の機能の一部又は全部は、ロボット装置２０ではなく情報処理装置１０に備えられていてもよい。
　出力部２０７は、出力制御部２０５からの制御命令に基づいて、ロボット装置２０からユーザ４０への出力を発生させる。具体的には、出力部２０７は、実空間への出力を行うモジュールであればどのようなものであってもよい。例えば、出力部２０７は、磁気モータ又は流体ポンプ等のアクチュエータ、エンジン等の動力装置、音声を出力するスピーカ、画像を出力するプロジェクタ、ディスプレイ、又は発光器（例えば、電球、ＬＥＤ又はレーザ等）などであってもよい。
　通信部２０９は、情報処理装置１０と、ロボット装置２０との間で情報の送受信を行うための通信インタフェースである。具体的には、通信部２０９は、情報処理装置１０の通信部１１３と対応する通信インタフェースであってもよい。
　例えば、通信部２０９は、ネットワーク３０を介して、情報処理装置１０と、ロボット装置２０との間で情報の送受信を行ってもよい。ネットワーク３０は、インターネット、衛星通信網、若しくは電話回線網などの公衆通信網、又はＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）若しくはＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの限られた領域内に設けられた通信網のいずれであってもよい。
　また、通信部２０９は、情報処理装置１０と、ロボット装置２０との間で直接、情報の送受信を行ってもよい。例えば、通信部２０９は、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、若しくはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又は同軸ケーブル等の有線通信を用いて、情報処理装置１０と、ロボット装置２０との間で情報の送受信を行ってもよい。
　以上により、本実施形態に係るシステムを構成する機能群について具体的に説明した。これらの機能群は、上述した例に限定されず、情報処理装置１０及びロボット装置２０のいずれに含まれていてもよい。また、これらの機能群は、ロボット装置２０に集約されていてもよい。
　（２．２．情報処理装置の動作）
　次に、図７を参照して、本実施形態に係るシステムの動作について説明する。図７は、本実施形態に係るシステムにより実行される動作の一例を示すフローチャート図である。
　図７で示すフローチャート図による動作例は、ユーザ４０からロボット装置２０への親密さを向上させることを目的とする動作例である。本実施形態に係るシステムは、ユーザ４０の発話を把握し、ユーザ４０の発話内容に基づいて、ロボット装置２０からの出力を発することで、ユーザ４０とロボット装置２０との間でより高品質のインタラクションを行うことができる。例えば、本実施形態に係るシステムは、発話内容からユーザ４０がロボット装置２０に期待していると推定される出力をロボット装置２０に行わせることで、ユーザ４０にロボット装置２０と相互理解しているような体験を提供することができる。
　図７に示すように、まず、情報処理装置１０は、センサ部１０１からの環境内のセンシング結果に基づいて、環境内にユーザ４０が複数存在するか否かを判断する（Ｓ１０１）。本実施形態に係るシステムは、ユーザごとに、ロボット装置２０の出力と、ユーザ４０の行動及び感情とを関連付けるものであるため、環境内にユーザ４０が複数存在する場合には、情報処理装置１０は、まず、ロボット装置２０が出力を発するユーザ４０を決定する。
　環境内にユーザ４０が複数存在する場合（Ｓ１０１／Ｙｅｓ）、情報処理装置１０は、ユーザ４０ごとに設定された優先度に基づいて、ロボット装置２０が出力を発する対象となるユーザ４０を決定する（Ｓ１０２）。
　優先度は、ユーザ４０とロボット装置２０とのインタラクション（交流ともいう）の程度に基づいて設定されてもよい。例えば、優先度は、ユーザ４０とロボット装置２０とのインタラクションの頻度、時間、深度、又は密度等のパラメータに基づいて、これらのパラメータが高いユーザ４０ほど優先度が高くなるように設定されてもよい。
　ここで、ユーザ４０がロボット装置２０と交流した経験がなく優先度が設定されていないユーザである場合、情報処理装置１０は、ユーザ４０の属性情報に基づいて優先度を設定してもよい。例えば、情報処理装置１０は、撮像画像等から推定されるユーザ４０の年齢及び性別に基づいて、ユーザ４０の行動モデルを生成することで、ロボット装置２０からユーザ４０に出力を発する優先度を設定してもよい。
　なお、環境内にユーザ４０が１人のみの場合（Ｓ１０１／Ｎｏ）、情報処理装置１０は、ステップＳ１０２の動作を行わずにステップＳ１０３の動作を行う。
　続いて、情報処理装置１０は、ロボット装置２０が出力を発する対象となるユーザ４０の発話にロボット装置２０に関する発話が存在するか否かを判断する（Ｓ１０３）。ロボット装置２０に関する発話が存在しない場合（Ｓ１０３／Ｎｏ）、情報処理装置１０は、環境内のユーザ４０の人数が変化したか否かを判断した（Ｓ１０４）上で、ユーザ４０がロボット装置２０に関する発話を行うまで待機する。ただし、環境内のユーザ４０の人数が変化した場合（Ｓ１０４／Ｙｅｓ）、より高い優先度のユーザ４０が現れることで、出力の対象となるユーザ４０が変更される可能性があるため、情報処理装置１０は、ステップＳ１０２に戻って動作をやり直す。
　次に、情報処理装置１０は、ユーザ４０の発話の内容から、ロボット装置２０からユーザ４０に発する出力を決定する。このとき、情報処理装置１０は、蓄積されたインタラクション情報に基づいて、ロボット装置２０からユーザ４０に発する出力をより適した出力となるようにしてもよい（Ｓ１０５）。
　例えば、ユーザ４０の発話の内容が「ロボットに来てほしい」等のロボット装置２０の出力を具体的に指定する内容である場合、情報処理装置１０は、ロボット装置２０からユーザ４０に発する出力を直接的に決定することができる。
　一方で、ユーザ４０の発話の内容が「かわいいロボットだね」等のロボット装置２０の出力を指定しない、感覚的な内容である場合、情報処理装置１０は、蓄積されたインタラクション情報に基づいて、ユーザ４０の発話内容に含まれる感情を誘起させる出力をユーザ４０に発する出力として決定してもよい。例えば、ユーザ４０の発話の内容が「かわいいロボットだね」である場合、情報処理装置１０は、かわいいしぐさとして設定された複数パターンの出力をロボット装置２０が発する出力として決定してもよい。また、決定された複数パターンの出力には、それぞれ実現可能性が設定されていてもよい。これによれば、情報処理装置１０は、夜などの音声の出力が制約される状況では音声を用いた出力の実現可能性を低下させる等の制御を行うことで、ロボット装置２０の出力を外部環境に考慮して制御することが可能になる。
　ただし、本実施形態に係る技術は、上記例示に限定されない。情報処理装置１０は、ユーザ４０の動作から、ユーザ４０がロボット装置２０に期待する出力を推定し、ロボット装置２０からユーザ４０に発する出力を決定することも可能である。
　続いて、情報処理装置１０は、決定された出力をロボット装置２０が実行可能か否かを判断する（Ｓ１０６）。例えば、ロボット装置２０が犬などの動物を模したペット型ロボットである場合、ロボット装置２０は、歩行機構を有するため、「ロボットに来てほしい」という発話内容を実現する出力を発することが可能である。一方で、このようなロボット装置２０は、飛行機構を有していないため、「ロボットに飛んでほしい」という発話内容を実現する出力を発することはできない。このように、情報処理装置１０は、ロボット装置２０が有する機能を考慮することで、決定された出力をロボット装置２０が実行可能か否かを判断する。
　決定された出力をロボット装置２０が実行できない場合（Ｓ１０６／Ｎｏ）、情報処理装置１０は、ステップＳ１０３に戻って、ロボット装置２０に関する発話をユーザ４０が発するまで待機する。
　一方、決定された出力をロボット装置２０が実行可能である場合（Ｓ１０６／Ｙｅｓ）、情報処理装置１０は、ロボット装置２０が出力を発するまでの待ち時間を設定する（Ｓ１０７）。これは、ユーザ４０からの発話に対してロボット装置２０が即時に対応することは、ロボット装置２０が反射的かつ機械的な対応をしているような印象をユーザ４０に与え、ユーザ４０の感情形成に効果的ではないためである。ロボット装置２０が出力を発するまでの待ち時間の長さは、ロボット装置２０が発する出力の内容に基づいて設定されてもよい。例えば、ロボット装置２０が発する出力が直接的な移動等であれば、待ち時間の長さは短くともよい。また、ロボット装置２０が出力を発するまでの待ち時間の長さは、ユーザ４０に飽きを感じさせないためにランダムに設定されてもよい。
　ここで、ロボット装置２０が出力を発するまでの待ち時間の間に、ロボット装置２０に関する新たな発話が発生した場合（Ｓ１０８／Ｙｅｓ）、情報処理装置１０は、ステップＳ１０５に戻って、ロボット装置２０が発する出力を再度決め直してもよい。また、図示しないが、ロボット装置２０が出力を発するまでの待ち時間の間に、出力を発する対象となり得るより高い優先度のユーザが現れた場合、情報処理装置１０は、ステップＳ１０３に戻って、ロボット装置２０が発する出力を再度決め直してもよい。
　ロボット装置２０が発する出力の決め直しにつながるような事象が発生せず（Ｓ１０８／Ｎｏ）、待ち時間が経過した場合、情報処理装置１０は、決定された出力を発するようにロボット装置２０を制御する（Ｓ１０９）。このように、情報処理装置１０は、ユーザ４０の発話又は行動から、ユーザ４０がロボット装置２０に期待すると推定される出力をロボット装置２０が発するような制御を行うことで、ロボット装置２０とユーザ４０とのインタラクションを支援することが可能である。
　その後、情報処理装置１０は、ロボット装置２０の出力に対応するユーザ４０の行動及び感情を評価する（Ｓ１１１）。具体的には、情報処理装置１０は、ロボット装置２０が発した出力に対応して行われたユーザ４０の行動を判断し、ユーザ４０の該行動からユーザ４０の感情を推定する。
　さらに、情報処理装置１０は、ロボット装置２０の出力と、該出力に対応して行われたユーザ４０の行動と、該行動から推定されるユーザ４０の感情とを関連付けたインタラクション情報を生成し、生成したインタラクション情報を蓄積する（Ｓ１１３）。
　このとき、情報処理装置１０は、ロボット装置２０の出力が同じであるインタラクション情報が既に蓄積されている場合には、生成したインタラクション情報と、既に蓄積されているインタラクション情報とを比較することで、インタラクション情報に前提条件をさらに追加してもよい。
　例えば、ロボット装置２０からユーザ４０に対して「近づく」という出力に対応して、ユーザ４０の「笑う」という行動、及び「喜び」という感情が誘起されることを示すインタラクション情報が蓄積されていたとする。しかし、平日の朝などのユーザ４０が忙しい状況でロボット装置２０が同じ出力を発した場合、ユーザ４０の行動及び感情は、蓄積されたインタラクション情報よりもネガティブなものとなったとする。このような場合、情報処理装置１０は、平日の朝という時間帯の前提条件では、ロボット装置２０の「近づく」という出力に対応して、ユーザ４０のネガティブな行動及び感情が誘起されることを把握することができる。したがって、情報処理装置１０は、把握した内容に基づいて、蓄積されたインタラクション情報を更新することで、平日の朝の時間帯ではロボット装置２０が発する出力を「近づく」から「見つめる」等の他の出力に変更することができる。
　（２．３．変形例）
　続いて、図８を参照して、本実施形態に係るシステムの変形例について説明する。図８は、本実施形態に係るシステムの変形例について説明する説明図である。
　図７を参照して説明した例では、ロボット装置２０の出力は、ユーザ４０のロボット装置２０に関する発話をトリガとして発せられる。しかしながら、本実施形態に係るシステムは、上記例示に限定されない。例えば、ロボット装置２０の出力は、自発的に発せられてもよい。
　具体的には、図８に示す例では、２人のユーザ４０が購入したクッション５５について会話しているとする。このような場合、２人のユーザ４０はロボット装置２０に関する発話を行っていないため、情報処理装置１０は、発話内容から２人のユーザ４０がロボット装置２０に期待する出力を判断することが困難となる。そこで、情報処理装置１０は、ロボット装置２０から２人のユーザ４０に自発的に出力を発することで、２人のユーザ４０の行動及び感情を引き出してもよい。
　例えば、情報処理装置１０は、２人のユーザ４０が会話の話題としているクッション５５に近づくという出力を発するようにロボット装置２０を制御してもよい。すなわち、情報処理装置１０は、２人のユーザ４０の発話に含まれる対象物に対してロボット装置２０の出力を作用させることで、ユーザ４０からロボット装置２０に対する行動又は感情を引き出してもよい。これによれば、情報処理装置１０は、ユーザ４０のいずれかから「新しいクッションを買ってよかった」等の「喜び」の感情を推定することが可能な発話を引き出すことができる可能性がある。このような場合、情報処理装置１０は、ロボット装置２０の「新しい対象物に近づく」という出力と、ユーザ４０の「新しい対象物に関する発話」という行動と、ユーザ４０の「喜び」という感情とを関連付けたインタラクション情報を蓄積することが可能となる。
　＜３．第２の実施形態＞
　（３．１．情報処理装置の構成）
　次に、図９を参照して、本開示に係る技術を実現する第２の実施形態について説明する。図９は、第２の実施形態に係るシステムの機能構成を説明するブロック図である。
　図９に示すように、本実施形態に係るシステムは、ネットワーク３０で互いに接続された情報処理装置１１、及びロボット装置２０を含んで構成される。
　本実施形態に係るシステムは、第１の実施形態に係るシステムにて説明したインタラクション情報に基づいて、ロボット装置２０の出力を制御することで、ユーザ４０に対して所望の行動又は感情を誘起させるものである。例えば、本実施形態に係るシステムは、ユーザ４０に対象物に対するポジティブな感情を誘起させたい場合、インタラクション情報にてユーザ４０のポジティブな感情と関連付いたロボット装置２０の出力を対象物と関連するように発する。これによれば、ユーザ４０は、ロボット装置２０の出力に対応して誘起されたポジティブな感情を対象物に対しても抱くようになると考えられる。
　（情報処理装置１１）
　情報処理装置１１は、行動誘起部１２５と、情報蓄積部１２１と、記憶部１１１と、判断部１２３と、通信部１１３と、を含んで構成される。
　行動誘起部１２５は、ユーザ４０に誘起させる行動又は感情を決定する。具体的には、行動誘起部１２５は、対象物へのコマーシャルのためにポジティブな感情をユーザ４０に誘起させること、又は対象物からユーザ４０を遠ざけるためにネガティブな感情をユーザ４０に誘起させることを決定してもよい。または、行動誘起部１２５は、ユーザ４０の安全のために身体保護に必要な行動をユーザ４０に誘起させることを決定してもよい。さらには、行動誘起部１２５は、ユーザ４０の行動を誘導するためにロボット装置２０に追従する行動をユーザ４０に誘起させることを決定してもよい。行動誘起部１２５がユーザ４０に誘起させる行動又は感情は、目的に応じて適宜選択されてもよい。ユーザ４０に誘起させる行動又は感情は、情報処理装置１１にて自律的に決定されてもよく、外部からの指示に基づいて決定されてもよい。
　情報蓄積部１２１は、第１の実施形態に係るシステムにて説明したインタラクション情報を蓄積する。すなわち、情報蓄積部１２１は、ロボット装置２０の出力と、ロボット装置２０の出力に対応して発せられたユーザ４０の行動と、ユーザ４０の該行動から推定されるユーザ４０の感情とを関連付けたインタラクション情報を蓄積する。蓄積されたインタラクション情報を用いることによって、情報処理装置１１は、所望のユーザ４０の行動又は感情を誘起するロボット装置２０の出力を判断することができる。情報蓄積部１２１に蓄積されるインタラクション情報は、第１の実施形態に係るシステムにて生成及び蓄積されたものであってもよく、外部から導入されたものであってもよい。
　インタラクション情報は、例えば、データベースを構築して記憶部１１１に蓄積される。記憶部１１１は、例えば、ＨＤＤ等の磁気記憶装置、ＳＳＤ等の半導体記憶装置、光記憶装置、又は光磁気記憶装置等により実現されてもよい。
　判断部１２３は、蓄積されたインタラクション情報に基づいて、ユーザ４０に誘起させる行動又は感情に対応するロボット装置２０の出力を判断する。具体的には、判断部１２３は、蓄積されたインタラクション情報の中から、ユーザ４０に誘起させる行動又は感情に関連付けられたロボット装置２０の出力を抽出し、抽出したロボット装置２０の出力からロボット装置２０が実行可能な出力を選択する。
　ロボット装置２０の出力は、ユーザ４０の視覚、聴覚、又は触覚の少なくともいずれか１つ以上の感覚に働き掛けるものである。視覚に働き掛けるロボット装置２０の出力とは、例えば、ユーザ４０に対するロボット装置２０の行動の提示、又はロボット装置２０からの映像又は画像の提示などであってもよい。聴覚に働き掛けるロボット装置２０の出力とは、例えば、ロボット装置２０からの鳴き声等の音声出力などであってもよい。触覚に働き掛けるロボット装置２０の出力とは、例えば、ロボット装置２０とユーザ４０との接触による振動又は温感の提示、又は空気砲等を用いた非接触での触覚の提示などであってもよい。
　判断部１２３は、ユーザ４０に誘起させる行動又は感情の内容及び重要度に応じて、ロボット装置２０の出力の内容を判断してもよい。例えば、蓄積されたインタラクション情報には、ユーザ４０に誘起する行動又は感情に対応するロボット装置２０の出力が複数存在する場合がある。このような場合、判断部１２３は、ユーザ４０に誘起する行動又は感情の内容に基づいて、対応するロボット装置２０の複数の出力の中から適切な出力を選択してもよい。例えば、判断部１２３は、ユーザ４０に誘起させる行動又は感情の重要度が高いほど、ロボット装置２０がより多くの出力を発することを判断してもよい。
　例えば、ユーザ４０に即時的に行動又は感情を誘起する場合、ロボット装置２０が移動した後に情報を提示したのでは、情報提示の即時性が失われてしまう。したがって、このような場合、判断部１２３は、ロボット装置２０に鳴き声等の音声出力を行わせることでユーザ４０にロボット装置２０を注目させた後で、ロボット装置２０の移動、及び情報提示を行うことを判断してもよい。このような制御によれば、判断部１２３は、情報提示の即時性を担保することが可能となる。
　また、判断部１２３は、ユーザ４０とロボット装置２０とのインタラクションの程度（すなわち、交流の頻度、時間、密度、又は深度等のパラメータ）に基づいて、ロボット装置２０の出力の内容を判断してもよい。例えば、ユーザ４０とロボット装置２０とのインタラクションの頻度が低い場合には、判断部１２３は、ロボット装置２０にて音声又は映像等のより理解しやすい具体的な出力を発することを判断してもよい。
　例えば、対象物へのコマーシャルのためにポジティブな感情をユーザ４０に誘起させる場合、判断部１２３は、ユーザ４０にポジティブな感情を誘起させる出力を対象物と関連付けるようにロボット装置２０に出力させることを判断してもよい。また、対象物からユーザ４０を遠ざけるためにネガティブな感情をユーザ４０に誘起させる場合、判断部１２３は、ユーザ４０にネガティブな感情を誘起させる出力を対象物と関連付けるようにロボット装置２０に出力させることを判断してもよい。
　例えば、ユーザ４０の安全のために身体保護に必要な行動をユーザ４０に誘起させる場合、判断部１２３は、環境によるユーザ４０の身体への影響を想起させるような出力をロボット装置２０に出力させることを判断してもよい。これによれば、ユーザ４０には、ロボット装置２０の出力によって、環境による身体への影響を回避するような行動が誘起されることになる。また、ユーザ４０の安全のために身体保護に必要な行動をユーザ４０に誘起させる場合、判断部１２３は、環境によってロボット装置２０に問題が生じているような出力をロボット装置２０に出力させることを判断してもよい。これによれば、ユーザ４０には、ロボット装置２０を心配又は気に掛ける感情を介して、ロボット装置２０に生じている問題を解決しようとする行動が誘起されることになる。
　例えば、ユーザ４０の行動を誘導するためにロボット装置２０に追従する行動をユーザ４０に誘起させる場合、判断部１２３は、ユーザ４０に所望の行動を率先して行うような出力をロボット装置２０に出力させることを判断してもよい。これによれば、ユーザ４０にロボット装置２０への対抗意識を持たせ、ロボット装置２０の出力を追従させることで、ユーザ４０に所望の行動を誘起させることが可能となる。
　通信部１１３は、第１の実施形態と同様に、情報処理装置１１と、ロボット装置２０との間で情報の送受信を行うための通信インタフェースである。通信部１１３は、第１の実施形態にて説明した通信部１１３と実質的に同様であるので、ここでの説明は省略する。
　（ロボット装置２０）
　ロボット装置２０は、センサ部２０１と、認識部２０３と、出力制御部２０５と、出力部２０７と、通信部２０９と、を含んで構成される。ロボット装置２０の各構成の機能は、第１の実施形態にて説明した機能と実質的に同様であるので、ここでの説明は省略する。
　以上により、本実施形態に係るシステムを構成する機能群について具体的に説明した。これらの機能群は、第１の実施形態と同様に、情報処理装置１１及びロボット装置２０のいずれに含まれていてもよい。また、これらの機能群は、ロボット装置２０に集約されていてもよい。
　（３．２．情報処理装置の動作）
　続いて、図１０～図１１Ｂを参照して、本実施形態に係るシステムの動作について説明する。
　図１０は、本実施形態に係るシステムにより実行される動作の一例を示すフローチャート図である。図１０で示すフローチャート図による動作例は、ユーザ４０に所望の行動又は感情を誘起させることを目的とする動作例である。
　図１０に示すように、まず、情報処理装置１１は、センサ部１０１からの環境内のセンシング結果に基づいて、環境内に存在するユーザ４０を把握する（Ｓ２０１）。
　続いて、情報処理装置１１は、ユーザ４０とロボット装置２０との過去のインタラクションの履歴に基づいて、ユーザ４０の優先度を推定する（Ｓ２０２）。情報処理装置１１は、例えば、ユーザ４０とロボット装置２０とのインタラクションの頻度、時間、密度、又は深度等のパラメータに基づいて、ユーザ４０の優先度を推定してもよい。または、情報処理装置１１は、ユーザ４０からロボット装置２０への働き掛けの回数、又はユーザ４０がロボット装置２０の電源をオフにした回数などのユーザ４０のロボット装置２０の操作履歴に基づいて、ユーザ４０の優先度を推定してもよい。
　次に、情報処理装置１１は、優先度に基づいて、行動又は感情を誘起するユーザ４０を決定する（Ｓ２０３）。インタラクション情報は、ユーザごとに、ロボット装置２０の出力と、ユーザ４０の行動及び感情とを関連付けている。そのため、情報処理装置１１は、ステップＳ２０１～ステップＳ２０３までの動作によって、インタラクション情報を参照するユーザを決定する。
　なお、ステップＳ２０１～ステップＳ２０３までのユーザ４０を決定する動作は、図７を参照して説明した第１の実施形態に係るシステムの動作（ステップＳ１０１～ステップＳ１０２）と同様であってもよい。
　その後、情報処理装置１１は、決定したユーザ４０に誘起する行動又は感情を決定する（Ｓ２０４）。具体的には、情報処理装置１１は、外部からの指示、又は内部の情報処理に基づいて、ユーザ４０に誘起する行動又は感情を決定する。例えば、情報処理装置１１は、ユーザ４０に対象物を訴求するコマーシャル、水分を摂取するなどの健康面からのユーザ４０への注意喚起、又は危険な場所を示すなどの事故防止等の注意喚起などの目的に基づいて、ユーザ４０に誘起する行動又は感情を決定してもよい。
　次に、情報処理装置１１は、ユーザ４０に対する行動又は感情の誘起の実行可能性を判断する（Ｓ２０５）。例えば、ユーザ４０に対象物を訴求するコマーシャルのために、対象物に対するユーザ４０のポジティブな感情を誘起する場合、対象物の実物、又は広告等が環境内に存在しなければ、情報処理装置１１は、ユーザ４０に対象物に対する感情を誘起することが困難となる。情報処理装置１１は、ユーザ４０に対する行動又は感情の誘起の実行可能性を判断することで、ロボット装置２０が適切なタイミングでユーザ４０の行動又は感情を誘起することを可能とする。
　ユーザ４０に対する行動又は感情の誘起が実行可能である場合（Ｓ２０５／Ｙｅｓ）、情報処理装置１１は、蓄積されたインタラクション情報に基づいて、誘起する行動又は感情に対応するロボット装置２０の出力を判断する（Ｓ２０６）。具体的には、情報処理装置１１は、蓄積されたインタラクション情報から、誘起させる行動又は感情をユーザ４０から引き出すことができた出力を抽出し、抽出した出力をロボット装置２０に適宜出力させる。
　一方、ユーザ４０に対する行動又は感情の誘起が実行不可である場合（Ｓ２０５／Ｎｏ）、情報処理装置１１は、ステップＳ２０４に戻って、ユーザ４０に誘起する行動又は感情を改めて決定し直す。
　ロボット装置２０からユーザ４０に出力が発せられた後、情報処理装置１１は、ロボット装置２０の出力に対するユーザ４０の行動又は感情を評価することで、行動又は感情の誘起の効果を測定する（Ｓ２０７）。さらに、情報処理装置１１は、ロボット装置２０の出力に対するユーザ４０の行動又は感情の評価結果に基づいて、ユーザ４０の行動又は感情がより誘起されるように、インタラクション情報におけるロボット装置２０の出力を更新してもよい（Ｓ２０８）。または、情報処理装置１１は、ロボット装置２０の出力に対するユーザ４０への行動又は感情の誘起の程度に関する情報をインタラクション情報に追加してもよい。これによれば、情報処理装置１１は、ユーザ４０とロボット装置２０とインタラクションを通じて、所望の行動又は感情を誘起することができるようにロボット装置２０の出力をユーザ４０に最適化することができる。
　図１１Ａ及び図１１Ｂは、本実施形態に係るシステムにより実行される動作の他の例を示すフローチャート図である。図１１Ａ及び図１１Ｂで示すフローチャート図による動作例は、図１０を参照して説明した動作例において、情報処理装置１１によるインタラクション情報の更新に関する動作に着目した動作例である。
　図１１Ａに示すように、まず、情報処理装置１１は、ユーザ４０に誘起させる行動又は感情を決定する（Ｓ３０１）。続いて、情報処理装置１１は、ユーザ４０が新規ユーザであるか否かを判断する（Ｓ３０２）。
　ユーザ４０が新規ユーザである場合（Ｓ３０２／Ｙｅｓ）、情報処理装置１１にはユーザ４０のインタラクション情報が蓄積されていない。そのため、情報処理装置１１は、ユーザ４０のセンシング情報に基づいてユーザ４０の年齢層及び性別等の属性を解析し（Ｓ３０５）、解析した属性に基づいてユーザ４０に近いユーザモデルを選択する（Ｓ３０６）。ユーザモデルには、年齢層及び性別等の属性に応じて、ロボット装置２０の出力と、該出力と対応する一般的なユーザ４０の行動及び感情とを関連付けたインタラクション情報があらかじめ設定されている。情報処理装置１１は、ユーザモデルに設定されたインタラクション情報を仮のインタラクション情報として用いることで、インタラクション情報が蓄積されていない新規ユーザであっても、行動又は感情を誘起することを可能とする。その後、情報処理装置１１は、選択したユーザモデルのインタラクション情報の中から、誘起させる行動又は感情に対応する情報を選択する（Ｓ３０７）。
　一方、ユーザ４０が新規ユーザではない場合（Ｓ３０２／Ｎｏ）、情報処理装置１１にはユーザ４０のインタラクション情報が蓄積されている。そのため、情報処理装置１１は、ユーザ４０のインタラクション情報の中に誘起させる行動又は感情に対応するインタラクション情報があるか否かを判断する（Ｓ３０３）。誘起させる行動又は感情に対応するインタラクション情報が存在する場合（Ｓ３０３／Ｙｅｓ）、情報処理装置１１は、インタラクション情報の中から対応する情報を選択する（Ｓ３０８）。誘起させる行動又は感情に対応するインタラクション情報が存在しない場合（Ｓ３０３／Ｎｏ）、情報処理装置１１は、誘起させる行動又は感情に近しい行動又は感情に対応する情報を選択する（Ｓ３０４）。
　続いて、情報処理装置１１は、ステップＳ３０４、Ｓ３０７、及びＳ３０８にて選択された情報に基づいて、ロボット装置２０の出力を制御する（Ｓ３０９）。これにより、ロボット装置２０からユーザ４０に対して、所望の行動又は感情を誘起させる出力が発せられる。
　その後、図１１Ｂに示すように、情報処理装置１１は、ロボット装置２０の出力に対応するユーザ４０の行動をセンシングし（Ｓ３１０）、センシングした行動からユーザ４０の感情を推定する。次に、情報処理装置１１は、評価したユーザ４０の行動及び感情に基づいて、ロボット装置２０の出力と、対応するユーザ４０の行動及び感情とを関連付けたインタラクション情報を生成する（Ｓ３１１）。
　ここで、情報処理装置１１は、ロボット装置２０の出力を判断する際に選択したインタラクション情報と、生成したインタラクション情報とがすべて一致しているか否かを判断する（Ｓ３１２）。選択したインタラクション情報と、生成したインタラクション情報とがすべて一致している場合（Ｓ３１２／Ｙｅｓ）、情報処理装置１１は、選択したインタラクション情報をユーザ４０のインラクション情報として改めて記憶する（Ｓ３１３）。
　一方、選択したインタラクション情報と、生成したインタラクション情報とがすべて一致していない場合（Ｓ３１２／Ｎｏ）、情報処理装置１１は、選択したインタラクション情報と、生成したインタラクション情報とがロボット装置２０の出力について一致しているか否かを判断する（Ｓ３１４）。ロボット装置２０の出力が一致していない場合（Ｓ３１４／Ｎｏ）、情報処理装置１１は、生成したインラクション情報を新規のインタラクション情報として新たに記憶する（Ｓ３１７）。
　ロボット装置２０の出力が一致している場合（Ｓ３１４／Ｙｅｓ）、情報処理装置１１は、選択したインタラクション情報と、生成したインラクション情報とでは、前提条件が異なるためにユーザ４０の行動又は感情が変化したと判断する。そこで、情報処理装置１１は、選択したインタラクション情報と、生成したインラクション情報との間の差異を評価する（Ｓ３１５）。その後、情報処理装置１１は、評価した差異を前提条件として追加して、選択したインタラクション情報、及び生成したインラクション情報をそれぞれ記憶する（Ｓ３１６）。
　図１２及び図１３を参照して、情報処理装置１１のステップＳ３１５及びＳ３１６の動作について、より具体的に説明する。図１２は、生成したインラクション情報、及び選択したインタラクション情報の一例を示す表図である。図１３は、図１２に示す一例に基づいて、それぞれ記憶されるインタラクション情報の一例を示す表図である。
　図１２に示すように、例えば、ロボット装置２０の出力を判断するために選択されたインタラクション情報では、「近づく」というロボット装置２０の出力に「ロボット装置に触れる」というユーザ４０の行動と、「喜び」というユーザ４０の感情とが関連付けられているとする。一方、ロボット装置２０の出力を受けたユーザ４０の行動及び感情を評価することで生成されたインタラクション情報では、「近づく」というロボット装置２０の出力に「ロボット装置を追い払う」というユーザ４０の行動と、「怒り」というユーザ４０の感情とが関連付けられているとする。
　このような場合、情報処理装置１１は、それぞれのインタラクション情報が生成された状況を参照することで、それぞれのインタラクション情報の差異を評価する。例えば、選択されたインタラクション情報は「朝」の時間帯かつ「ユーザＡが近くにいる」という周辺環境の状況下で生成されており、生成されたインタラクション情報は「朝」の時間帯かつ「ユーザＢが近くにいる」という周辺環境の状況下で生成されているとする。このとき、情報処理装置１１は、２つのインタラクション情報が生成された状況の差異として、「ユーザＡが近くにいる」又は「ユーザＢが近くにいる」という周辺環境の違いを見出すことができる。
　したがって、情報処理装置１１は、２つのインタラクション情報の差異として見出した周辺環境の情報を前提条件として２つのインタラクション情報にそれぞれ追加することができる。これによれば、図１３に示すように、情報処理装置１１は、選択されたインタラクション情報からは、「ユーザＡが近くにいる」という前提条件を追加した第１のインタラクション情報を生成し、該情報を記憶することができる。また、情報処理装置１１は、生成されたインタラクション情報からは、「ユーザＢが近くにいる」という前提条件を追加した第２のインタラクション情報を生成し、該情報を記憶することができる。
　（３．３．使用例）
　次に、本実施形態に係るシステムによる具体的な使用例について説明する。
　（第１の使用例）
　本実施形態に係るシステムは、例えば、ユーザ４０に対する商品のコマーシャルに用いることが可能である。
　例えば、ユーザ４０に商品への興味を誘起したい場合、情報処理装置１１は、「商品のコマーシャル映像がテレビに表示された場合に、テレビに向かって吠える」、又は「環境内にある商品をユーザ４０の下に持っていく」等の出力を発するようにロボット装置２０の出力を制御することができる。これによれば、本実施形態に係るシステムは、商品をユーザ４０により着目させることが可能になる。
　（第２の使用例）
　本実施形態に係るシステムは、例えば、ユーザ４０の身体保護のための注意喚起に用いることが可能である。
　例えば、環境内に障害物があり、ユーザ４０が足をぶつける可能性がある場合、又は気温が高く、ユーザ４０が熱中症を発症する可能性がある場合、情報処理装置１１は、ユーザ４０に起き得る状態を想起させる行動の出力を発するようにロボット装置２０の出力を制御することができる。
　具体的には、情報処理装置１１は、障害物によって動けなくなる挙動、又は障害物によって故障したような挙動をロボット装置２０に出力させることで、障害物を取り除くという行動をユーザ４０に誘起させることができる。また、情報処理装置１１は、熱中症で動けなくなるような挙動、水分を呑むような挙動、飲料を購入することを促す挙動、冷房装置を作動させるような挙動、又は涼しい場所へ誘導するよう挙動をロボット装置２０に出力させることで、熱中症を回避するための行動をユーザ４０に誘起させることができる。
　（第３の使用例）
　本実施形態に係るシステムは、例えば、ロボット装置２０の行動をユーザ４０に追従させるために用いることが可能である。図１４を参照して、第３の使用例について説明する。図１４は、本実施形態に係るシステムの第３の使用例を説明する説明図である。
　図１４に示すように、本実施形態に係るシステムのユーザとして、親４１、及び子供４２がいる場合を想定する。本実施形態に係るシステムは、子供４２のロボット装置２０への対抗意識を用いて、親４１が子供４２に望む行動をロボット装置２０に実行させることで、子供４２にロボット装置２０の出力に追従する行動を誘起させることができる。すなわち、本実施形態に係るシステムは、所定の関係性を有する複数のユーザ４０において、ユーザ４０の間の関係性を考慮することで、インタラクション情報を蓄積したユーザ４０以外のユーザに行動又は感情を誘起することも可能である。
　例えば、情報処理装置１１は、親４１の発話内容から親４１から子供４２への指示を把握し、親４１から子供４２への指示に沿った出力を発するようにロボット装置２０を制御してもよい。
　具体的には、情報処理装置１１は、「おもちゃ５７を片付けなさい」という親４１の発話内容を認識した場合、子供４２よりも率先しておもちゃ５７を片付ける出力を発するようにロボット装置２０を制御することができる。これによれば、ロボット装置２０は、子供４２の対抗意識を刺激することで、おもちゃ５７を片付ける行動を行うように子供４２を誘導することができる。また、情報処理装置１１は、「こちらに来なさい」という親４１の発話内容を認識した場合、子供４２よりも率先して親４１に近づく出力を発するようにロボット装置２０を制御することができる。これによれば、ロボット装置２０は、親４１の発話に沿った行動を行うように子供４２を誘導することができる。
　なお、情報処理装置１１は、親４１の発話以外のトリガに基づいて、ロボット装置２０の出力を制御してもよい。例えば、ロボット装置２０がおもちゃ５７を片付けるという出力を行うことで、親４１の喜ぶという感情が誘起されたというインタラクション情報が存在する場合、情報処理装置１１は、おもちゃ５７が片付いていない状態を検出したことをトリガとして、おもちゃ５７を片付けるという出力を発するようにロボット装置２０を制御してもよい。これによれば、ロボット装置２０は、ロボット装置２０に追従しておもちゃ５７を片付ける行動を行うように子供４２に誘導することができる。
　＜４．ハードウェア構成＞
　さらに、図１５を参照しながら、本開示の第１の実施形態に係るシステムを構成する情報処理装置１０のハードウェア構成の一例について説明する。図１５は、第１の実施形態に係るシステムを構成する情報処理装置１０におけるハードウェア構成の一例を示すブロック図である。なお、第２の実施形態に係る情報処理装置１１のハードウェア構成は、第１の実施形態に係る情報処理装置１０のハードウェア構成と実質的に同様であるから、ここでの説明は省略する。
　図１５に示すように、情報処理装置１０は、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、ホストバス９０５と、ブリッジ９０７と、外部バス９０６と、インタフェース９０８と、入力装置９１１と、出力装置９１２と、ストレージ装置９１３と、ドライブ９１４と、接続ポート９１５と、通信装置９１６とを備える。情報処理装置１０は、ＣＰＵ９０１に替えて、又はＣＰＵ９０１と共に、電気回路、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の処理回路を備えてもよい。
　ＣＰＵ９０１は、演算処理装置、又は制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラム及び演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、及びその実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、認識部１０３、行動評価部１０５、感情推定部１０７、情報蓄積部１０９、１２１、判断部１２３、行動誘起部１２５、及び出力制御部２０５の機能を実行してもよい。
　ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０５により相互に接続されている。ホストバス９０５は、ブリッジ９０７を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、ホストバス９０５、ブリッジ９０７、及び外部バス９０６は、必ずしも分離されていなくともよく、１つのバスにこれらの機能が実装されてもよい。
　入力装置９１１は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等のユーザによって情報が入力される装置である。さらに、入力装置９１１は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成する入力制御回路などを含んでもよい。
　出力装置９１２は、情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置である。出力装置９１２は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置、レーザープロジェクタ、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）プロジェクタ、又はランプ等の表示装置であってもよく、スピーカ、又はヘッドフォン等の音声出力装置等であってもよい。
　出力装置９１２は、例えば、情報処理装置１０による各種処理にて得られた結果を出力してもよい。具体的には、出力装置９１２は、情報処理装置１０による各種処理にて得られた結果を、テキスト、イメージ、表、又はグラフ等の様々な形式で視覚的に表示してもよい。または、出力装置９１２は、音声データ又は音響データ等のオーディオ信号をアナログ信号に変換して聴覚的に出力してもよい。
　ストレージ装置９１３は、情報処理装置１０の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９１３は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現されてもよい。例えば、ストレージ装置９１３は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出装置、及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１３は、ＣＰＵ９０１が実行するプログラム、各種データ及び外部から取得した各種のデータ等を格納してもよい。ストレージ装置９１３は、例えば、記憶部１１１の機能を実行してもよい。
　ドライブ９１４は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵又は外付けされる。ドライブ９１４は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１４は、リムーバブル記憶媒体に情報を書き込むことも可能である。
　接続ポート９１５は、外部機器と接続されるインタフェースである。接続ポート９１５は、外部機器とのデータ伝送可能な接続口であり、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）であってもよい。
　通信装置９１６は、例えば、ネットワーク３０に接続するための通信デバイス等で形成されたインタフェースである。通信装置９１６は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等であってもよい。また、通信装置９１６は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等であってもよい。通信装置９１６は、例えば、インターネット、又は他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
　接続ポート９１５、又は通信装置９１６は、通信部１１３の機能を実行してもよい。
　なお、情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、及びＲＡＭなどのハードウェアに対して、上述した本実施形態に係るシステムを構成する情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　インタラクション装置からユーザへの出力を制御する出力制御部と、
　前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断する行動評価部と、
　前記ユーザの行動に対応する前記ユーザの感情を推定する感情推定部と、
　前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積する情報蓄積部と、
を備え、
　前記出力制御部は、蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御する、情報処理装置。
（２）
　前記行動評価部は、前記インタラクション装置の出力、及び前記ユーザの行動を同一の時系列に並べることで、前記インタラクション装置からの出力に対応して行われた前記ユーザの行動を判断する、前記（１）に記載の情報処理装置。
（３）
　前記行動評価部は、前記インタラクション装置の出力と、前記ユーザの行動とが所定時間内に連続して行われた場合、前記インタラクション装置の出力と、前記ユーザの行動とが対応していると判断する、前記（２）に記載の情報処理装置。
（４）
　前記行動評価部は、前記インタラクション装置の出力の後に前記ユーザの行動が変更された場合、前記インタラクション装置の出力と、前記ユーザの変更後の行動とが対応していると判断する、前記（２）又は（３）に記載の情報処理装置。
（５）
　前記感情推定部は、それぞれの感情に関連すると設定された言動と、前記ユーザの行動とを比較することで、前記ユーザの行動に対応する前記ユーザの感情を推定する、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記インタラクション情報は、前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付ける前提条件に関する情報をさらに含む、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　複数の前記インタラクション情報において、前記インタラクション装置の同じ出力に対応する前記ユーザの行動又は感情が異なる場合、複数の前記インタラクション情報には、前記前提条件として前記インタラクション装置又は前記ユーザの周辺環境の差異がそれぞれ追加される、前記（６）に記載の情報処理装置。
（８）
　前記ユーザが複数である場合、前記出力制御部は、前記ユーザの各々に設定された優先度に基づいて、前記インタラクション装置が出力を発するユーザを決定する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記優先度は、前記ユーザの各々に対する前記インタラクション装置のインタラクションの頻度、時間、又は深度の少なくともいずれか１つ以上に基づいて設定される、前記（８）に記載の情報処理装置。
（１０）
　前記出力制御部は、前記ユーザの発話の内容から前記ユーザが前記インタラクション装置に期待する出力を推定し、推定した出力を発するように前記インタラクション装置を制御する、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記出力制御部は、前記ユーザが前記インタラクション装置に期待する複数パターンの出力のうち、前記インタラクション装置に実行可能な出力を発するように前記インタラクション装置を制御する、前記（１０）に記載の情報処理装置。
（１２）
　前記出力制御部は、前記ユーザの発話から前記インタラクション装置が前記ユーザに出力を発するまでの間に、所定の長さの待ち時間を設ける、前記（１１）に記載の情報処理装置。
（１３）
　前記出力制御部は、前記インタラクション装置の出力ごとに、前記待ち時間の長さをランダムに制御する、前記（１２）に記載の情報処理装置。
（１４）
　前記インタラクション装置は、ロボット装置である、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記インタラクション装置は、前記ユーザの視覚、聴覚、又は触覚の少なくともいずれか１つ以上の感覚に対して働き掛ける出力を発する、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　演算処理装置によって、
　インタラクション装置からユーザへの出力を制御することと、
　前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断することと、
　前記ユーザの行動に対応する前記ユーザの感情を推定することと、
　前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積することと、
　蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御することと、
を含む、情報処理方法。
（１７）
　コンピュータを、
　インタラクション装置からユーザへの出力を制御する出力制御部と、
　前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断する行動評価部と、
　前記ユーザの行動に対応する前記ユーザの感情を推定する感情推定部と、
　前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積する情報蓄積部と、
として機能させ、
　蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御させるように前記出力制御部を機能させる、プログラム。
　１０、１１　　情報処理装置
　２０　　　ロボット装置
　３０　　　ネットワーク
　４０　　　ユーザ
　１０１　　センサ部
　１０３　　認識部
　１０５　　行動評価部
　１０７　　感情推定部
　１０９　　情報蓄積部
　１１１　　記憶部
　１１３　　通信部
　１２１　　情報蓄積部
　１２３　　判断部
　１２５　　行動誘起部
　２０１　　センサ部
　２０３　　認識部
　２０５　　出力制御部
　２０７　　出力部
　２０９　　通信部

Claims (17)

  1. 　インタラクション装置からユーザへの出力を制御する出力制御部と、
    　前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断する行動評価部と、
    　前記ユーザの行動に対応する前記ユーザの感情を推定する感情推定部と、
    　前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積する情報蓄積部と、
    を備え、
    　前記出力制御部は、蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御する、情報処理装置。
  2. 　前記行動評価部は、前記インタラクション装置の出力、及び前記ユーザの行動を同一の時系列に並べることで、前記インタラクション装置からの出力に対応して行われた前記ユーザの行動を判断する、請求項１に記載の情報処理装置。
  3. 　前記行動評価部は、前記インタラクション装置の出力と、前記ユーザの行動とが所定時間内に連続して行われた場合、前記インタラクション装置の出力と、前記ユーザの行動とが対応していると判断する、請求項２に記載の情報処理装置。
  4. 　前記行動評価部は、前記インタラクション装置の出力の後に前記ユーザの行動が変更された場合、前記インタラクション装置の出力と、前記ユーザの変更後の行動とが対応していると判断する、請求項２に記載の情報処理装置。
  5. 　前記感情推定部は、それぞれの感情に関連すると設定された言動と、前記ユーザの行動とを比較することで、前記ユーザの行動に対応する前記ユーザの感情を推定する、請求項１に記載の情報処理装置。
  6. 　前記インタラクション情報は、前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付ける前提条件に関する情報をさらに含む、請求項１に記載の情報処理装置。
  7. 　複数の前記インタラクション情報において、前記インタラクション装置の同じ出力に対応する前記ユーザの行動又は感情が異なる場合、複数の前記インタラクション情報には、前記前提条件として前記インタラクション装置又は前記ユーザの周辺環境の差異がそれぞれ追加される、請求項６に記載の情報処理装置。
  8. 　前記ユーザが複数である場合、前記出力制御部は、前記ユーザの各々に設定された優先度に基づいて、前記インタラクション装置が出力を発するユーザを決定する、請求項１に記載の情報処理装置。
  9. 　前記優先度は、前記ユーザの各々に対する前記インタラクション装置のインタラクションの頻度、時間、又は深度の少なくともいずれか１つ以上に基づいて設定される、請求項８に記載の情報処理装置。
  10. 　前記出力制御部は、前記ユーザの発話の内容から前記ユーザが前記インタラクション装置に期待する出力を推定し、推定した出力を発するように前記インタラクション装置を制御する、請求項１に記載の情報処理装置。
  11. 　前記出力制御部は、前記ユーザが前記インタラクション装置に期待する複数パターンの出力のうち、前記インタラクション装置に実行可能な出力を発するように前記インタラクション装置を制御する、請求項１０に記載の情報処理装置。
  12. 　前記出力制御部は、前記ユーザの発話から前記インタラクション装置が前記ユーザに出力を発するまでの間に、所定の長さの待ち時間を設ける、請求項１１に記載の情報処理装置。
  13. 　前記出力制御部は、前記インタラクション装置の出力ごとに、前記待ち時間の長さをランダムに制御する、請求項１２に記載の情報処理装置。
  14. 　前記インタラクション装置は、ロボット装置である、請求項１に記載の情報処理装置。
  15. 　前記インタラクション装置は、前記ユーザの視覚、聴覚、又は触覚の少なくともいずれか１つ以上の感覚に対して働き掛ける出力を発する、請求項１に記載の情報処理装置。
  16. 　演算処理装置によって、
    　インタラクション装置からユーザへの出力を制御することと、
    　前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断することと、
    　前記ユーザの行動に対応する前記ユーザの感情を推定することと、
    　前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積することと、
    　蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御することと、
    を含む、情報処理方法。
  17. 　コンピュータを、
    　インタラクション装置からユーザへの出力を制御する出力制御部と、
    　前記インタラクション装置の出力に対応して行われた前記ユーザの行動を判断する行動評価部と、
    　前記ユーザの行動に対応する前記ユーザの感情を推定する感情推定部と、
    　前記インタラクション装置の出力、前記ユーザの行動、及び前記ユーザの感情を互いに関連付けて、インタラクション情報として蓄積する情報蓄積部と、
    として機能させ、
    　蓄積された前記インタラクション情報に基づいて、前記インタラクション装置から前記ユーザへの出力を制御させるように前記出力制御部を機能させる、プログラム。
PCT/JP2020/005680 2019-04-16 2020-02-14 情報処理装置、情報処理方法、及びプログラム WO2020213245A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080027700.3A CN113661036A (zh) 2019-04-16 2020-02-14 信息处理装置、信息处理方法以及程序
JP2021514807A JP7439826B2 (ja) 2019-04-16 2020-02-14 情報処理装置、情報処理方法、及びプログラム
US17/601,985 US20220288791A1 (en) 2019-04-16 2020-02-14 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019077700 2019-04-16
JP2019-077700 2019-04-16

Publications (1)

Publication Number Publication Date
WO2020213245A1 true WO2020213245A1 (ja) 2020-10-22

Family

ID=72838157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005680 WO2020213245A1 (ja) 2019-04-16 2020-02-14 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220288791A1 (ja)
JP (1) JP7439826B2 (ja)
CN (1) CN113661036A (ja)
WO (1) WO2020213245A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10788235B2 (en) * 2014-11-07 2020-09-29 Sony Corporation Control system, control method, and storage medium
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
JPWO2021200307A1 (ja) * 2020-03-30 2021-10-07

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2008000157A (ja) * 2006-06-20 2008-01-10 Brother Ind Ltd 反応出力装置
JP2011000681A (ja) * 2009-06-19 2011-01-06 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2019008510A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584439B1 (en) * 1999-05-21 2003-06-24 Winbond Electronics Corporation Method and apparatus for controlling voice controlled devices
JP2013104938A (ja) * 2011-11-11 2013-05-30 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
EP2974273A4 (en) * 2013-03-15 2018-01-10 Jibo, Inc. Apparatus and methods for providing a persistent companion device
JP6351528B2 (ja) * 2014-06-05 2018-07-04 Ｃｏｃｏｒｏ Ｓｂ株式会社 行動制御システム及びプログラム
JP6348831B2 (ja) * 2014-12-12 2018-06-27 クラリオン株式会社 音声入力補助装置、音声入力補助システムおよび音声入力方法
GB2563786B (en) * 2016-04-08 2021-08-04 Groove X Inc Autonomously acting robot exhibiting shyness
US10593349B2 (en) * 2016-06-16 2020-03-17 The George Washington University Emotional interaction apparatus
CN108614987A (zh) * 2016-12-13 2018-10-02 深圳光启合众科技有限公司 数据处理的方法、装置和机器人
CN107053191B (zh) * 2016-12-31 2020-05-08 华为技术有限公司 一种机器人，服务器及人机互动方法
US10898999B1 (en) * 2017-09-18 2021-01-26 X Development Llc Selective human-robot interaction
US11675360B2 (en) * 2017-10-30 2023-06-13 Sony Corporation Information processing apparatus, information processing method, and program
WO2019088990A1 (en) * 2017-10-31 2019-05-09 Hewlett-Packard Development Company, L.P. Control system for mobile robots
JP7363764B2 (ja) * 2018-02-26 2023-10-18 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN108536802B (zh) * 2018-03-30 2020-01-14 百度在线网络技术（北京）有限公司 基于儿童情绪的交互方法及装置
US20210023704A1 (en) * 2018-04-10 2021-01-28 Sony Corporation Information processing apparatus, information processing method, and robot apparatus
US11279041B2 (en) * 2018-10-12 2022-03-22 Dream Face Technologies, Inc. Socially assistive robot
JP7273566B2 (ja) * 2019-03-19 2023-05-15 パナソニックホールディングス株式会社 ロボット、ロボットの制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2008000157A (ja) * 2006-06-20 2008-01-10 Brother Ind Ltd 反応出力装置
JP2011000681A (ja) * 2009-06-19 2011-01-06 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2019008510A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム

Also Published As

Publication number Publication date
JP7439826B2 (ja) 2024-02-28
JPWO2020213245A1 (ja) 2020-10-22
CN113661036A (zh) 2021-11-16
US20220288791A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
WO2020213245A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101336641B1 (ko) 감성 교감 로봇 서비스 시스템 및 그 방법
KR102696200B1 (ko) 음성 인식 서비스를 제공하는 인공 지능 장치 및 그의 동작 방법
US11491661B2 (en) Communication robot and control program of communication robot
JP5987842B2 (ja) コミュニケーション引き込みシステム、コミュニケーション引き込み方法およびコミュニケーション引き込みプログラム
US11709476B2 (en) Information processing apparatus, information processing method and program
JP2019095795A (ja) 車載機
US20200269421A1 (en) Information processing device, information processing method, and program
CN210155626U (zh) 信息处理装置
US20190354178A1 (en) Artificial intelligence device capable of being controlled according to user action and method of operating the same
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
KR20210020312A (ko) 로봇 및 그의 제어 방법
US20210023704A1 (en) Information processing apparatus, information processing method, and robot apparatus
JP7273566B2 (ja) ロボット、ロボットの制御方法及びプログラム
WO2021117441A1 (ja) 情報処理装置、その制御方法及びプログラム
KR20200143764A (ko) 감성 교감 서비스 시스템 및 그 방법
KR20190095193A (ko) 인공 지능 시스템의 동작을 관리하는 인공 지능 장치 및 그 방법
KR20220001522A (ko) 장치 정보에 기반하여, 다른 장치를 제어할 수 있는 인공 지능 장치
KR20200132654A (ko) 로봇 및 그의 제어 방법
JP2023120130A (ja) 抽出質問応答を利用する会話型ａｉプラットフォーム
WO2016206643A1 (zh) 机器人交互行为的控制方法、装置及机器人
Holthaus et al. Communicative robot signals: presenting a new typology for human-robot interaction
JP6864831B2 (ja) ロボット装置及びプログラム
WO2020213244A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020166373A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20790986

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514807

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20790986

Country of ref document: EP

Kind code of ref document: A1