WO2020115972A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020115972A1
WO2020115972A1 PCT/JP2019/034802 JP2019034802W WO2020115972A1 WO 2020115972 A1 WO2020115972 A1 WO 2020115972A1 JP 2019034802 W JP2019034802 W JP 2019034802W WO 2020115972 A1 WO2020115972 A1 WO 2020115972A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
unreal
control unit
person
sensor
Prior art date
Application number
PCT/JP2019/034802
Other languages
English (en)
French (fr)
Inventor
晶晶 郭
明香 渡辺
順 横野
夏子 尾崎
嘉寧 呉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/309,429 priority Critical patent/US11780097B2/en
Priority to CN201980078795.9A priority patent/CN113165177B/zh
Publication of WO2020115972A1 publication Critical patent/WO2020115972A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 describes a guide robot that detects the presence and position of a person from an image acquired by a stereo camera and that interacts with the detected person.
  • the present disclosure has been made in view of the above points, and one of the objects is to provide an information processing device, an information processing method, and a program that determine the realism of an object and perform control based on the determination result. To do.
  • the present disclosure includes, for example, An object detected based on the sensing data, a realism determination unit that determines whether the object is a real object or an unreal object,
  • the information processing apparatus includes a control unit that performs predetermined control based on a determination result by the realism determination unit.
  • the present disclosure includes, for example, The realism determination unit determines whether the object detected based on the sensing data is a real object or an unreal object, This is an information processing method in which the control unit performs predetermined control based on the determination result by the realism determination unit.
  • the present disclosure includes, for example, The realism determination unit determines whether the object detected based on the sensing data is a real object or an unreal object
  • the control unit is a program that causes a computer to execute an information processing method for performing predetermined control based on the determination result by the realism determination unit.
  • FIG. 1 is a diagram referred to when describing the background of the present disclosure.
  • FIG. 2 is a perspective view showing an external appearance example of the robot apparatus according to the embodiment.
  • FIG. 3 is a block diagram showing an internal configuration example of the robot apparatus according to the embodiment.
  • FIG. 4 is a diagram for explaining a specific example in the case where objects determined to be real objects or unreal objects are mixed.
  • FIG. 5 is a diagram showing that sensing data regarding real objects and sensing data regarding unreal objects are stored in a database.
  • FIG. 6 is a diagram for explaining an example of sensor control by the sensing state control unit according to the embodiment.
  • FIG. 7 is a flowchart for explaining the flow of overall processing performed by the robot device according to the embodiment.
  • FIG. 1 is a diagram referred to when describing the background of the present disclosure.
  • FIG. 2 is a perspective view showing an external appearance example of the robot apparatus according to the embodiment.
  • FIG. 3 is a block diagram showing an internal configuration example of the robot apparatus according
  • FIG. 8 is a flowchart for explaining a control example performed by the behavior control unit according to the embodiment when objects determined to be real objects or unreal objects are mixed.
  • FIG. 9 is a diagram showing that sensing data regarding real objects and sensing data regarding unreal objects are stored in a database.
  • FIG. 10 is a flowchart for explaining the process of determining the realism of an object.
  • FIG. 1 a certain space (a living room AR as a specific example).
  • a living room AR three persons HU1 to HU3 are sitting on the sofa and watching a television broadcast.
  • the three persons HU1 to HU3 are assumed to be a father, a mother, and a child.
  • the caster HU4 is displayed on the screen of the television device TV on which the image of the television broadcast is reproduced.
  • robot device 1 a self-propelled dog-shaped robot which is an example of an information processing device.
  • the robot device 1 has, for example, a camera, and detects a person included in the image acquired by the camera. When a person is detected, the robot apparatus 1 approaches the person and raises his/her hand, rides on the knees, etc., and performs an attractive gesture.
  • the control is performed on the assumption that all the persons included in the image are real, as in the technique described in Patent Document 1 described above, for example, when the caster HU4 is detected as the person, the robot apparatus 1 approaches the caster HU4 or performs an operation of extending the hand. Therefore, it is possible for the robot apparatus 1 to perform an appropriate operation by determining whether the object recognized by the robot apparatus 1 is real or unreal and performing control based on the determination result.
  • the embodiments of the present disclosure will be described in detail based on the above points.
  • the object displayed on the television device TV (specifically, the caster HU4) has been described as an example of an unreal object, but not all objects displayed on the display screen are unreal objects.
  • a person recognized by the robot apparatus 1 (specifically, the owner of the robot apparatus 1) shown on the display screen may be determined as a real object.
  • ⁇ Embodiment> [Appearance example of robot device]
  • a self-propelled dog-shaped robot apparatus 1 will be described as an example of an information processing apparatus.
  • the present disclosure can be applied to robots of other shapes and various agent devices called smart speakers.
  • An electric motor such as a servomotor, is built in at an appropriate position such as a joint of the robot device 1.
  • the four legs of the robot apparatus 1 are appropriately driven by the operation of the electric motor, and the robot apparatus 1 walks, runs, or hands out.
  • the robot apparatus 1 is configured to perform an arbitrary operation (behavior) such as swinging a tail, sticking out a tongue, or raising an ear by operating a drive mechanism such as an electric motor. Has been done.
  • the robot device 1 also includes various sensors. As the sensor, microphone, camera, ToF (Time of Flight) sensor, human sensor, PSD (Position Sensitive Detector) sensor, touch sensor, illuminance sensor, sole button, inertial sensor, contact surface sensor, infrared sensor, ultrasonic wave A sensor etc. are mentioned. These sensors are provided at appropriate locations on the robot apparatus 1 (for example, locations marked with circles in FIG. 2).
  • FIG. 3 is a block diagram showing an internal configuration example of the robot apparatus 1.
  • the robot device 1 includes an information acquisition unit 10, an information processing unit 20, an action state estimation unit 30, an action control unit 40, and an information storage unit 50.
  • the information acquisition unit 10 has a plurality of sensors and a sensing state control unit 101 as a sensor control unit that controls ON/OFF of each sensor based on the determination result of determining the realism of the object.
  • a sensing state control unit 101 as a sensor control unit that controls ON/OFF of each sensor based on the determination result of determining the realism of the object.
  • the image sensor is composed of CCD (Charge Coupled Device), CMOS (Complementary Metal Oxide Semiconductor), etc., and photoelectrically converts light from the subject to acquire image data, which is one of the sensing data.
  • the temperature/humidity sensor 111 measures the temperature and humidity around the robot apparatus 1.
  • the tactile sensor 112 detects that the robot apparatus 1 has come into contact with any object.
  • the voice sensor 113 is composed of a microphone or the like, and detects a sound around the robot apparatus 1.
  • the olfactory sensor 114 detects an odor around the robot apparatus 1.
  • the depth sensor 115 is composed of a ToF sensor, a stereo camera, or the like, and measures the distance to the object.
  • the information acquisition unit 10 may have a communication unit for acquiring information from an external device connected to the network.
  • the communication may be wired communication or wireless communication. Examples of wireless communication include LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi (registered trademark), WUSB (Wireless USB), and the like.
  • the information processing unit 20 includes a configuration for processing the sensing data acquired by the information acquisition unit 10.
  • the information processing unit 20 includes an image information processing engine 210 that processes sensing data obtained by the image sensor 110 and the depth sensor 115, and environment sensing information that processes sensing data obtained by the temperature/humidity sensor 111.
  • the processing engine 211, the tactile information processing engine 212 that processes the sensing data obtained by the tactile sensor 112, the voice information processing engine 213 that processes the sensing data obtained by the voice sensor 113, and the sensing data obtained by the olfactory sensor 114 It has an olfactory information processing engine 214 for processing.
  • the image information processing engine 210 performs known image processing on the image data and also functions as an object detection unit that detects an object included in the image data, which is one of the sensing data.
  • the object is a predetermined object located in space (including an object displayed on a display screen, a mirror, and an object reflected in a window), and a person will be described as an example in the present embodiment.
  • the information processing unit 20 further includes a realism determination unit 201.
  • the realism determination unit 201 determines whether the object detected by the image information processing engine 210 is a real object or an unreal object.
  • the realness determination unit 201 determines, for each individual object, whether the object is a real object or an unreal object. In the present specification, determining whether an object is a real object or an unreal object is appropriately referred to as determining realism.
  • a real object is an object that can be interacted with the robot apparatus 1
  • an unreal object is an object that cannot be interacted with the robot apparatus 1.
  • a person in the same space as the robot apparatus 1 is determined to be a real object because the person can interact with the person such that the robot apparatus 1 reaches out.
  • the person included in the television broadcast or the person reflected in the mirror does not receive a reaction even when the robot apparatus 1 makes an action such as reaching out to the person, that is, the interaction does not occur. Since it is possible, it is determined to be an unreal object.
  • the definitions of the real object and the unreal object can be changed according to the usage of the robot device 1, the operating environment, and the like. For example, if remote control of the robot apparatus 1 is not considered, a three-dimensional object existing in the same space as the robot apparatus 1 may be determined to be a real object, and other objects may be determined to be unreal objects. good. Based on this viewpoint, for example, a cup existing in the same space as the robot device 1 is determined to be a real object, and a cup described in the book is determined to be an unreal object even if it is present in the same space. Further, the person on the balcony is judged as an unreal object because it can be seen through the window glass from the robot apparatus 1, and the person who entered the room is judged as a real object.
  • an object that can be sensed by a specific sensor may be determined as a real object, and an object that can be sensed by only some sensors may be determined as an unreal object.
  • a person in the real world in the same space as the robot device 1 can be sensed by all the sensors such as the image sensor 110, and thus is determined as a real object.
  • a person in television broadcasting can be sensed only by the image sensor 110 and the sound sensor 113, in other words, because only some of the sensors can sense it, it is determined as an unreal object.
  • the information processing unit 20 further includes a learning unit 202.
  • the learning unit 202 performs learning based on sensing data (for example, image data).
  • the machine learning problem setting includes supervised learning, unsupervised learning, semi-supervised learning, reinforcement learning, inverse reinforcement learning, active learning, transfer learning, and the like.
  • the learning unit 202 performs learning based on these known learning methods.
  • the learning result is reflected in, for example, the realism determination processing by the realism determination unit 201.
  • the action state estimation unit 30 recognizes, for example, the action state of the robot apparatus 1 in real time, and determines whether or not the series of actions set by the action control unit 40 has ended.
  • the action state estimation unit 30 recognizes its action state in real time, for example, based on the operation history of an electric motor or the like provided in a joint or the like.
  • the action state estimation unit 30 determines that the action is completed, the realism of the object included in the image data input next is performed by the realness determination unit 201 again.
  • the action control unit 40 continues the action control and the like while holding the latest determination result of the realism.
  • the behavior control unit 40 determines the behavior of the robot apparatus 1 with respect to the detected object based on the determination result of the realism determination unit 201.
  • the behavior control unit 40 is composed of, for example, a CPU (Central Processing Unit) or the like.
  • the behavior control unit 40 operates a drive mechanism such as an electric motor or an actuator of the robot apparatus 1 so that the robot apparatus 1 performs the determined behavior.
  • the behavior control unit 40 can interact with the object, so the behavior of the robot device 1 with respect to the object (for example, , Control to perform the operation of extending the hand or shaking the tail).
  • the behavior control unit 40 determines that the robot device 1 does not react to the object because the interaction with the object is impossible. To execute.
  • At least one of the sensing state control unit 101 and the behavior control unit 40 corresponds to the control unit that performs predetermined control based on the determination result by the realness determination unit 201.
  • the information storage unit 50 is a database (DB) that stores (stores) various information.
  • Examples of the information storage unit 50 include a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device.
  • the information storage unit 50 may include a portable memory that can be attached to and detached from the robot apparatus 1.
  • the information storage unit 50 in the present embodiment stores a real object database 501 that stores information about the object when the object is determined to be a real object, and information about the object when the object is determined to be an unreal object. It has an Unreal Object Database 502 for storage.
  • the behavior control unit 40 determines that at least one of the persons included in the image data is a real object, a predetermined mode (hereinafter, referred to as an active mode).
  • the robot device 1 is controlled so as to behave according to (referred to).
  • the action control unit 40 determines that all the persons included in the image data are unreal objects as a result of the determination by the realism determination unit 201, the action control unit 40 is in another mode (hereinafter, referred to as a passive mode).
  • the robot device 1 is controlled so as to act.
  • Example of robot device behavior based on active mode As an example of the action of the robot apparatus 1 based on the active mode, since the recognition target is a real object, the active action of the robot apparatus 1 is assumed. Specifically, the following action examples can be considered.
  • the robot device 1 spontaneously speaks to the person determined to be the real object. At the time of utterance, the robot apparatus 1 performs an action of turning its face to a person and tries to communicate with the person.
  • the robot device 1 performs an action of calling attention to the person determined to be the real object (making the robot device 1 pay attention). For example, the robot device 1 is not “one-one”.
  • “Third action example” The robot apparatus 1 makes physical contact with a person determined to be a real object. Specifically, the robot apparatus 1 performs an attending operation of sitting near the person or on the knee. In addition, operations such as high-touch, handshake, grasp, touch, bite, and lick are performed.
  • “Fourth action example” When an abnormality occurs in a person who is determined to be a real object, an operation of notifying it to another person is performed. For example, the robot device 1 sounds an alarm or sends an abnormality occurrence to the security system on the network. If a person is determined to be an unreal object (for example, a person in a drama displayed on a television device), the robot apparatus 1 does not perform an operation such as an abnormality notification even if the person has an abnormality. Not performed.
  • “Fifth action example” The robot device 1 performs an operation of playing with a person determined to be a real object. For example, the robot apparatus 1 holds a ball thrown by a person determined to be a real object and carries it back.
  • the robot apparatus 1 may be designed with a person as an audience or an audience. In such a case, the robot apparatus 1 performs actions such as acting and playing on a person who is determined to be a real object. As a specific example, the robot apparatus 1 performs a motion of dancing to a person for a person determined to be a real object.
  • the image data acquired by the image sensor 110 includes a plurality of persons
  • some of the plurality of persons may be determined to be real objects and other persons may be determined to be unreal objects. ..
  • a person persons HU11 to HU13
  • the person HU10 is determined to be a real object by the processing for determining the reality by the reality determining unit 201, and the persons HU11 to HU13 shown in the photograph are determined to be unreal objects.
  • the behavior control unit 40 determines, for example, a behavior that shows interest in the unreal object. More specifically, the behavior control unit 40 interactively acquires information about the unreal object and determines the behavior to be learned.
  • the robot device 1 turns its face toward the unreal object (the direction of the photograph) and blinks. Further, the robot device 1 approaches the unreal object, turns its tail or neck, makes a call to the unreal object, and acquires information of the unreal object through dialogue. Further, when the robot device 1 is provided with a light indicating that the robot device 1 is interested, the light is turned on or blinked.
  • sensing data regarding the person HU10 that is a real object is accumulated in the real object database 501, and sensing data regarding persons HU11 to HU13 that are unreal objects is accumulated in the unreal object database 502.
  • Example of robot device behavior based on passive mode As an example of the behavior of the robot apparatus 1 based on the passive mode, since all the recognized objects are unreal objects, the robot apparatus 1 basically does not react. However, the action based on the passive mode is not limited to non-responsiveness. For example, the robot apparatus 1 intentionally approaches the person and takes some action even when the person recognizes that the person is an unreal object. Since the person is an unreal object (for example, a caster or an actor who is appearing in a television broadcast), the unreal object does not react to the action of the robot device 1. At that time, the robot apparatus 1 performs an operation of bending its neck. By performing such an operation on the unreal object, the cuteness of the robot apparatus 1 can be improved.
  • the unreal object for example, a caster or an actor who is appearing in a television broadcast
  • the behavior control unit 40 determines the behavior based on the realism determination result of the object.
  • sensing state control unit 101 controls ON/OFF of each sensor according to the determination result by the realness determination unit 201.
  • FIG. 6 is a diagram for explaining an example of sensor control by the sensing state control unit 101.
  • the image information processing engine 210 detects a person as an example of an object. Then, the realism determination unit 201 determines the realism of the object. As a result of the determination, when the object is a real object (when at least one of the plurality of objects is a real object), the sensing state control unit 101 determines the sensors based on the sensing mode in which the multi-sensing is enabled. Control. If all the objects are unreal objects (no real objects are included) as a result of the determination, the sensing state control unit 101 disables the multi-sensing and controls each sensor based on the power saving mode.
  • the robot device 1 When the detected object includes a real object, the robot device 1 performs an active operation based on the active mode as described above. Further, even when an unreal object is included in a plurality of objects, it is necessary to acquire information about the unreal object by image recognition or dialogue. Therefore, in the sensing mode, the sensing state control unit 101 performs, for example, sensor control to turn on all the sensors (see FIG. 6).
  • sensing data related to real objects is acquired by each sensor that operates based on the sensing mode. In some cases, sensing data regarding Unreal Objects is also acquired. Sensing data regarding real objects is stored in the real object database 501, and sensing data regarding unreal objects is stored in the unreal object database 502.
  • the sensing state control unit 101 performs, for example, sensor control for turning on the minimum necessary sensor.
  • the minimum necessary sensor is, for example, a sensor for detecting an object input next time or later, and as a specific example, a sensor including at least the image sensor 110.
  • the image sensor 110, the audio sensor 113, and the depth sensor 115 are turned on in the power saving mode (see FIG. 6). By such sensor control, power consumption in the robot device 1 can be reduced.
  • the sensing data regarding Unreal Objects is stored in the Unreal Object Database 502.
  • the robot apparatus 1 may intentionally perform an action such as approaching the unreal object. Therefore, the sensing state control unit 101 may control each sensor based on the sensing mode during the period during which such an operation is performed.
  • Table 1 summarizes an example of the control by the behavior control unit 40 and the sensor control by the sensing state control unit 101 described above.
  • each sensor of the information acquisition unit 10 operates to acquire sensing data.
  • the image sensor 110 acquires image data which is one of sensing data. Then, the process proceeds to step ST12.
  • step ST12 the information processing unit 20 operates to process each sensing data.
  • the image data acquired by the image sensor 110 is supplied to the image information processing engine 210.
  • the image information processing engine 210 detects whether the image data includes a person as an example of an object. Then, the process proceeds to step ST13.
  • step ST13 it is determined whether a person is detected. As a result of the determination process, when no person is detected in the image data, the process returns to step ST12. If a person is detected in the image data, the process proceeds to step ST14.
  • step ST14 the realism determination unit 201 performs a process of determining the realism of an object. Then, the process proceeds to step ST15.
  • step ST15 as a result of the determination processing by the realism determination unit 201, for example, the realism determination unit 201 determines whether or not a real object is included.
  • the realness determination unit 201 outputs the determination result to the behavior control unit 40 and the sensing state control unit 101.
  • the processing proceeds to step ST16.
  • step ST16 behavior control and sensor control corresponding to the real object are performed.
  • the action control is, for example, action control based on the active mode.
  • the sensor control is, for example, sensor control based on the sensing mode. Specific examples of the action control based on the active mode and the sensor control based on the sensing mode are as described above.
  • step ST17 behavior control and sensor control corresponding to the unreal object are performed.
  • the action control is, for example, action control based on the passive mode.
  • the sensor control is, for example, sensor control based on the power saving mode. Specific examples of the behavior control based on the passive mode and the sensor control based on the power saving mode are as described above.
  • step ST18 the behavioral state estimation processing by the behavioral state estimation unit 30 is performed. Then, the process proceeds to step ST19.
  • step ST19 as a result of the action state estimation processing, it is determined whether or not a series of actions based on the action control by the action control unit 40 has been completed. When it is determined that the series of actions has been completed, the processing ends, and the same processing is performed on the sensing data acquired thereafter.
  • step ST19 If the result of the determination processing in step ST19 is that the series of actions has not been completed, the processing returns to step ST15.
  • the previous determination result is shared and held by all the systems, and the action control and the sensor control using the held determination result of the realism are performed.
  • the image data may include a mixture of an object determined to be a real object and an object determined to be an unreal object. In that case, for example, the process shown in the flowchart of FIG. 8 is performed.
  • step ST21 of FIG. 8 as a result of the determination of the realness of the object, it is determined that the image data contains (exists) a real object and an unreal object. The determination result is supplied to the behavior control unit 40. Then, the process proceeds to step ST22.
  • step ST22 the behavior control unit 40, for example, turns on the dialogue mode and controls the robot apparatus 1 to perform an operation based on the dialogue mode.
  • the interactive mode is a mode in which the robot apparatus 1 performs a dialog with the real object to acquire information about the unreal object. Then, the process proceeds to step ST23.
  • step ST23 the action control section 40 performs action control based on the interaction mode, and the robot apparatus 1 operates based on the action control.
  • a specific example of the action may be a utterance for acquiring information about the unreal object, in addition to the above-described action showing an interest in the unreal object.
  • the following is an example of a dialogue performed between the person determined to be a real object (for example, the person HU10 in FIG. 4) and the robot apparatus 1.
  • Robotic device 1 "Who is the person transferring the photo?" Person HU10: “Which person?" Robot device 1: "(The person who is looking at the person HU11)" Person HU10: “(Looking at the robot device 1's line of sight) Ah ⁇ , in the photo, it's a friend.” Robot device 1: “What's your name?” Person HU10: “It's Nana.”
  • the robot apparatus 1 acquires information about the Unreal Object.
  • the unreal objects acquired by the sensor and the interaction are stored in the unreal object database 502.
  • the image of the person HU11 acquired by the image sensor 110 and the name of the person HU11 acquired by dialogue are stored in the Unreal object database 502 in association with each other.
  • the sensing data from each sensor is also acquired for the person HU10 that is a real object, the acquired sensing data is stored in the real object database 501.
  • the feature amount stored in the real object database 501 and the feature amount stored in the unreal object database 502 may be integrated.
  • the feature amount of the person HU10 is associated with the information that the person HU11 is a friend of the person HU10 and the name is Nana.
  • the feature amount (for example, image information) stored in the Unreal Object Database 502 may be a person drawn on a poster or the like in which the person HU10 is a fan.
  • the feature amount of the person HU10 is associated with the information of the person who is a fan of the person HU10 (feature of the face image, sex, age, etc.).
  • the learning unit 202 of the robot apparatus 1 learns the feature amount accumulated in the Unreal Object Database 502, so that the robot apparatus 1 can learn the preference of the person HU10, for example.
  • step ST31 the depth image is acquired by the depth sensor 115. Further, in parallel with the processing of step ST31, an RGB (Red/Green/Blue) image is acquired by the image sensor 110 in step ST32. Then, the process proceeds to step ST33.
  • RGB Red/Green/Blue
  • step ST33 a corresponding pixel calibration process for aligning the depth image and the RGB image is performed. Then, the process proceeds to step ST34.
  • step ST34 an RGBD image including RGB information and depth information is generated by the corresponding pixel calibration process in step ST33.
  • step ST35 a person detection process of detecting a person based on the RGB image acquired in step ST32 is performed. Then, the process proceeds to step ST36.
  • step ST36 the depth value of the person area is acquired based on the result of the person detection process and the RGBD image. Then, the process proceeds to step ST37.
  • step ST37 it is determined by the plane fitting process whether or not a person fits on a predetermined plane. If the result of this determination processing is affirmative, it is highly possible that the person is a person who is projected on the screen of the television device, that is, on a plane. Therefore, if the result of step ST37 is affirmative, the process proceeds to step ST40, and the person included in the image data is determined to be an unreal object.
  • step ST38 it is determined by the curved surface fitting process whether or not a person fits a predetermined curved surface.
  • curved displays have become popular. Therefore, by performing the process of step ST38, it is possible to prevent the person displayed on the curved display from being determined as a real object.
  • step ST40 it is determined that the person included in the image data is the person shown on the curved display or the like, and the process proceeds to step ST40. Then, the person included in the image data is determined to be an unreal object.
  • step ST38 If the result of step ST38 is negative, the process proceeds to step ST39, and the person included in the image data is determined to be a real object.
  • a polarization filter is provided in front of the image sensor 110.
  • the specular area is acquired based on the image obtained through the polarization filter.
  • the degree of polarization (Brewster angle or polarization angle) of the specular area is close to 1 due to specular reflection.
  • the acquired mirror surface area is mapped to the RGB image.
  • a person existing in the mirror surface area is grasped as a person through a glass such as a mirror, a liquid crystal screen, or a window, and the person is determined to be an unreal object because the interaction is impossible or the interaction is difficult. good.
  • information of a person is stored in the information storage unit 50, and even a person who fits on a flat surface or a curved surface is stored in the information storage unit 50. Any person who matches may be determined to be a real object. This can prevent the person displayed on the screen from being determined as an unreal object when the person and the robot apparatus 1 interact with each other at a remote location. You may make it determine the realism of an object combining these determination methods.
  • the object is described as a person, but an animal other than a person may be used.
  • it could be a cat.
  • sensing data such as the appearance of the cat, temperature/humidity, softness, squeal, and smell is acquired based on the plurality of sensors, and the acquired sensing data is stored in the real object database 501.
  • the cat is an unreal object, for example, only the vision information acquired via the image sensor 110 is stored in the unreal object database 502.
  • the learning unit 202 may learn the object (cat) by integrating the feature amounts stored in the real object database 501 and the unreal object database 502. Note that the object may be something other than a living thing.
  • the robot device 1 may have sensors other than the above-mentioned sensors.
  • the robot device 1 may include a sensor for acquiring biometric information (body temperature, pulse, etc.) of a person.
  • the robot apparatus 1 bites a person's fingertip with an appropriate strength, for example, and acquires biological information such as body temperature and heartbeat from the fingertip.
  • the robot apparatus 1 may monitor the health condition of a person based on the acquired biometric information.
  • the operation of the robot device 1 is performed on a person determined to be a real object.
  • the present disclosure can also be realized by an apparatus, a method, a program, a system, etc.
  • a program that performs the functions described in the above-described embodiments can be downloaded, and a device that does not have the functions described in the embodiments downloads and installs the program, and thus the devices describe the embodiments. It is possible to perform the controlled control.
  • the present disclosure can also be realized by a server that distributes such a program. The items described in each embodiment and modification can be combined as appropriate.
  • the present disclosure can also take the following configurations.
  • An object detected based on the sensing data a realism determination unit that determines whether the object is a real object or an unreal object
  • An information processing apparatus comprising: a control unit that performs a predetermined control based on a determination result by the realism determination unit.
  • the control unit is an action control unit that determines an action on the object based on the determination result.
  • the behavior control unit determines a behavior that reacts to the object when the object is a real object, and determines a behavior that does not react to the object when the object is an unreal object (2) Information processing equipment.
  • the information processing device Having a predetermined sensor for acquiring the sensing data, The information processing device according to (6), wherein the sensor control unit performs control to turn on at least the predetermined sensor when the object is an unreal object.
  • the real object is an object that can be interacted with the information processing apparatus, and the unreal object is an object that cannot be interacted with the information processing apparatus (1)
  • the information processing device according to any of (7).
  • the information processing apparatus according to any one of (1) to (8), further including an object detection unit that detects the object based on the sensing data.
  • the information processing apparatus according to any one of (1) to (9), including a learning unit that performs learning about the object based on the sensing data.
  • the information processing device according to any one of (1) to (10), wherein the object is a person.
  • the information processing device according to any one of (1) to (11), wherein the sensing data is image data.
  • the information processing device which is configured as a self-propelled robot.
  • the realism determination unit determines whether the object detected based on the sensing data is a real object or an unreal object, An information processing method in which a control unit performs predetermined control based on a determination result by the realism determination unit.
  • the realism determination unit determines whether the object detected based on the sensing data is a real object or an unreal object, A program that causes a computer to execute an information processing method in which a control unit performs predetermined control based on a determination result by the realism determination unit.
  • Robot device 10... Information acquisition unit, 20... Information processing unit, 40... Behavior control unit, 101... Sensing state control unit, 110... Image sensor, 201... ⁇ Reality determination unit, 202... Learning unit, 210... Image information processing engine,

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Toys (AREA)

Abstract

センシングデータに基づいて検出されたオブジェクトが、リアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定するリアル性判定部と、リアル性判定部による判定結果に基づいて、所定の制御を行う制御部を有する情報処理装置である。 図３

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　人物を認識し、認識した人物とインタラクション（相互のやり取り）を行うロボット装置が記載されている。例えば、下記特許文献１には、ステレオカメラによって取得した画像から人物の存在とその位置を検出し、検出した人物とインタラクションを行う案内ロボットが記載されている。
特開２００７－２７６０８０号公報
　特許文献１に記載の技術では、案内ロボットが取得した画像に含まれる人物が、全てリアルな人物であることを前提としていた。かかる前提では、ロボット装置が不適切な動作を行ってしまう虞があった。
　本開示は、上述した点に鑑みてなされたものであり、オブジェクトのリアル性を判定し、判定結果に基づいた制御を行う情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　センシングデータに基づいて検出されたオブジェクトが、リアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定するリアル性判定部と、
　リアル性判定部による判定結果に基づいて、所定の制御を行う制御部を有する
　情報処理装置である。
　本開示は、例えば、
　リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
　制御部が、リアル性判定部による判定結果に基づいて、所定の制御を行う
　情報処理方法である。
　本開示は、例えば、
　リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
　制御部が、リアル性判定部による判定結果に基づいて、所定の制御を行う
　情報処理方法をコンピュータに実行させるプログラムである。
図１は、本開示の背景を説明する際に参照される図である。 図２は、実施の形態にかかるロボット装置の外観例を示す斜視図である。 図３は、実施の形態にかかるロボット装置の内部構成例を示すブロック図である。 図４は、リアルオブジェクト又はアンリアルオブジェクトと判定されるオブジェクトが混在する場合の具体例を説明するための図である。 図５は、リアルオブジェクトに関するセンシングデータ及びアンリアルオブジェクトに関するセンシングデータがデータベースに記憶されることを示す図である。 図６は、実施の形態にかかるセンシング状態制御部によるセンサ制御の一例を説明するための図である。 図７は、実施の形態にかかるロボット装置で行われる、全体の処理の流れを説明するためのフローチャートである。 図８は、リアルオブジェクト又はアンリアルオブジェクトと判定されるオブジェクトが混在する場合に、実施の形態にかかる行動制御部により行われる制御例を説明するためのフローチャートである。 図９は、リアルオブジェクトに関するセンシングデータ及びアンリアルオブジェクトに関するセンシングデータがデータベースに記憶されることを示す図である。 図１０は、オブジェクトのリアル性を判定する処理を説明するためのフローチャートである。
　以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜背景＞
＜実施の形態＞
＜変形例＞
　以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
＜背景＞
　始めに、本開示の理解を容易とするために、本開示の背景について説明する。図１に示すように、ある空間（具体例として、居間ＡＲ）を考える。居間ＡＲでは、３人の人物ＨＵ１～ＨＵ３がソファに座ってテレビジョン放送を視聴している。本例では、３人の人物ＨＵ１～ＨＵ３は、父、母、子供を想定している。テレビジョン放送の映像が再生されるテレビジョン装置ＴＶの画面には、キャスターＨＵ４が映し出されている。居間ＡＲには、情報処理装置の一例である自走式の犬型のロボット（ロボット装置１）が存在する。
　ロボット装置１は、例えば、カメラを有し、カメラにより取得された画像に含まれる人物を検出する。人物が検出された場合には、ロボット装置１は、人物に近づき手をあげたり、膝上に乗る等の愛嬌ある仕草を行う。ここで、上述した特許文献１に記載の技術のように、画像に含まれる人物が全てリアルであることを前提にした制御を行うと、例えば、人物としてキャスターＨＵ４を検出した場合に、ロボット装置１がキャスターＨＵ４に向かって近づいたり、手を差し出す動作を行ってしまう。そこで、ロボット装置１が認識したオブジェクトがリアルであるのかアンリアルであるのかを判定し、その判定結果に基づく制御を行う方が、ロボット装置１が適切な動作を行うことができる。以上の点を踏まえつつ、本開示の実施の形態について詳細に説明する。
　なお、上述した例では、テレビジョン装置ＴＶに映し出されるオブジェクト（具体的には、キャスターＨＵ４）をアンリアルなオブジェクトの例として説明したが、表示画面に映るオブジェクトが全てアンリアルなオブジェクトとは限らない。例えば、表示画面に映る、ロボット装置１が認識済みの人物（具体的には、ロボット装置１の所有者）は、リアルなオブジェクトとして判定され得る。
＜実施の形態＞
［ロボット装置の外観例］
　本開示の実施の形態では、図２に示すように、自走式であり犬型のロボット装置１を情報処理装置の一例として説明する。勿論、本開示は、他の形状のロボットや、スマートスピーカと称される各種のエージェント機器に対しても適用することができる。
　ロボット装置１の関節等の適宜な位置の内部に、サーボモータ等の電動モータが内蔵されている。電動モータが動作することによりロボット装置１の４本足が適宜、駆動され、ロボット装置１が歩いたり、走ったり、手を差し出したりする。また、ロボット装置１は、電動モータ等の駆動機構が動作することにより、しっぽを振ったり、舌を出したり、耳を立てたりする等、任意の動作（行動）を行うことができるように構成されている。
　また、ロボット装置１は、種々のセンサを備える。センサとしては、マイクロフォン、カメラ、ＴｏＦ（Time of Flight）センサ、人感センサ、ＰＳＤ（Position Sensitive Detector）センサ、タッチセンサ、照度センサ、足裏ボタン、慣性センサ、接触面センサ、赤外線センサ、超音波センサ等が挙げられる。これらのセンサは、ロボット装置１の適宜な箇所（例えば、図２における丸印を付した箇所）に設けられる。
［ロボット装置の内部構成例］
　図３は、ロボット装置１の内部構成例を示すブロック図である。ロボット装置１は、情報取得部１０、情報処理部２０、行動状態推定部３０、行動制御部４０及び情報蓄積部５０を有している。
（情報取得部）
　情報取得部１０は、複数のセンサと、オブジェクトのリアル性を判定した判定結果に基づいて各センサのオン／オフを制御するセンサ制御部としてのセンシング状態制御部１０１とを有している。センサの例は上述しているが、以下の説明では、イメージセンサ１１０、温湿度センサ１１１、触覚センサ１１２、音声センサ１１３、嗅覚センサ１１４及びデプスセンサ１１５をセンサの具体例として説明する。
　イメージセンサは、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等から構成されており、被写体からの光を光電変換し、センシングデータの一つである画像データを取得する。温湿度センサ１１１は、ロボット装置１の周囲の温度及び湿度を測定する。触覚センサ１１２は、ロボット装置１が何らかの物体に接触したことを検出する。音声センサ１１３は、マイクロフォン等から構成されており、ロボット装置１の周囲の音を検出する。嗅覚センサ１１４は、ロボット装置１の周囲のにおいを検出する。デプスセンサ１１５は、ＴｏＦセンサやステレオカメラ等により構成されており、対象物までの距離を測定する。
　なお、図示はしていないが、情報取得部１０が、ネットワークに接続される外部機器から情報を取得するための通信部を有していても良い。通信は、有線による通信でも良いし、無線による通信でも良い。無線通信としては、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、またはＷＵＳＢ（Wireless USB）等が挙げられる。
（情報処理部）
　情報処理部２０は、情報取得部１０により取得されたセンシングデータを処理する構成を含む。具体的には、情報処理部２０は、イメージセンサ１１０及びデプスセンサ１１５のそれぞれにより取得されたセンシングデータを処理する画像情報処理エンジン２１０、温湿度センサ１１１により取得されたセンシングデータを処理する環境感知情報処理エンジン２１１、触覚センサ１１２により取得されたセンシングデータを処理する触覚情報処理エンジン２１２、音声センサ１１３により取得されたセンシングデータを処理する音声情報処理エンジン２１３及び嗅覚センサ１１４により取得されたセンシングデータを処理する嗅覚情報処理エンジン２１４を有している。
　ここで、画像情報処理エンジン２１０は、画像データに対する公知の画像処理を行うと共に、センシングデータの一つである画像データに含まれるオブジェクトを検出するオブジェクト検出部として機能する。オブジェクトは、空間に位置する所定の物体（表示画面に映し出される物体や鏡、窓に写る物体を含む）であり、本実施の形態では、人物を例にして説明する。
　情報処理部２０は、さらに、リアル性判定部２０１を有している。リアル性判定部２０１は、画像情報処理エンジン２１０により検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定する。画像情報処理エンジン２１０により複数のオブジェクトが検出された場合には、リアル性判定部２０１は、個々のオブジェクト毎に、当該オブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定する。なお、本明細書では、オブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定することを、リアル性を判定する、と適宜、称する。
　本実施の形態では、リアルオブジェクトとはロボット装置１との間でインタラクションが可能とされるオブジェクトであり、アンリアルオブジェクトとはロボット装置１との間でインタラクションが不可能とされるオブジェクトである。かかる観点に基づけば、例えば、ロボット装置１と同じ空間に居る人物は、当該人物に対してロボット装置１が手を差し出す等のインタラクションが可能とされることからリアルオブジェクトと判定される。また、テレビジョン放送に含まれる人物や鏡に映った人物は、当該人物に対してロボット装置１が手を差し出す等の行動を行っても反応が返ってくることはない、即ち、インタラクションが不可能とされるので、アンリアルオブジェクトと判定される。
　なお、リアルオブジェクト及びアンリアルオブジェクトの定義は、ロボット装置１の用途、操作環境等に応じて変更され得る。例えば、ロボット装置１に対する遠隔操作を考慮しない場合には、ロボット装置１と同じ空間に存在する３次元的なオブジェクトをリアルオブジェクトと判定し、それ以外のオブジェクトをアンリアルオブジェクトと判定するようにしても良い。かかる観点に基づけば、例えば、ロボット装置１と同じ空間に存在するコップはリアルオブジェクトと判定され、同じ空間に存在したとしても本に記載されているコップはアンリアルオブジェクトと判定される。また、ベランダにいる人物はロボット装置１からみて窓ガラス越し見えるためアンリアルオブジェクトと判定され、部屋に入った人物はリアルオブジェクトと判定される。
　また、特定のセンサによるセンシングが可能なオブジェクトをリアルオブジェクトと判定し、一部のセンサのみによるセンシングが可能なオブジェクトをアンリアルオブジェクトと判定するようにしても良い。かかる観点に基づけば、例えば、ロボット装置１と同じ空間にいる現実世界の人物は、イメージセンサ１１０等、全てのセンサによるセンシングが可能であるため、リアルオブジェクトと判定される。また、テレビジョン放送における人物はイメージセンサ１１０及び音声センサ１１３のみによるセンシングが可能とされる、換言すれば、一部のセンサのみによるセンシングが可能とされるためアンリアルオブジェクトと判定される。
　情報処理部２０は、さらに、学習部２０２を有している。学習部２０２は、センシングデータ（例えば、画像データ）に基づいて学習を行う。機械学習の問題設定には、教師あり学習、教師なし学習、半教師学習、強化学習、逆強化学習、能動学習、転移学習等がある。学習部２０２は、これらの公知の学習方法に基づいた学習を行う。学習の結果は、例えば、リアル性判定部２０１によるリアル性の判定処理に反映される。
（行動状態推定部）
　行動状態推定部３０は、例えば、ロボット装置１の自身の行動状態をリアルタイムに認識し、行動制御部４０により設定された一連の行動が終了したか否かを判定する。行動状態推定部３０は、例えば、関節等に設けられた電動モータ等の動作履歴に基づいて、自身の行動状態をリアルタイムに認識する。行動状態推定部３０により行動が終了したと判定された場合には、次に入力される画像データに含まれるオブジェクトのリアル性がリアル性判定部２０１により再度、行われる。行動状態推定部３０により行動が終了していないと判定された場合は、最新のリアル性の判定結果を保持したまま、行動制御部４０による行動制御等が継続される。
（行動制御部）
　行動制御部４０は、リアル性判定部２０１の判定結果に基づいて、検出されたオブジェクトに対するロボット装置１の行動を決定する。行動制御部４０は、例えば、ＣＰＵ（Central Processing Unit）等により構成されている。行動制御部４０は、ロボット装置１が決定した行動を行うように、ロボット装置１の電動モータやアクチュエーター等の駆動機構を動作させる。一例として、行動制御部４０は、オブジェクトがリアルオブジェクトと判定された場合には、当該オブジェクトとの間ではインタラクションが可能とされることから、ロボット装置１がオブジェクトに対して何からの行動（例えば、手を差し出したり、しっぽを振る動作）を行うための制御を実行する。一方で、行動制御部４０は、オブジェクトがアンリアルオブジェクトと判定された場合には、当該オブジェクトとの間ではインタラクションが不可能とされることから、ロボット装置１がオブジェクトに対して何も反応しない制御を実行する。
　このように、本実施の形態では、センシング状態制御部１０１及び行動制御部４０の少なくとも一方が、リアル性判定部２０１による判定結果に基づいて、所定の制御を行う制御部に対応している。
（情報蓄積部）
　情報蓄積部５０は、各種の情報を蓄積（記憶）するデータベース（ＤＢ）である。情報蓄積部５０としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等が挙げられる。情報蓄積部５０は、ロボット装置１に着脱可能とされる可搬型のメモリを含んでいても良い。本実施の形態における情報蓄積部５０は、オブジェクトがリアルオブジェクトと判定された場合に当該オブジェクトに関する情報を蓄積するリアルオブジェクトデータベース５０１、及び、オブジェクトがアンリアルオブジェクトと判定された場合に当該オブジェクトに関する情報を蓄積するアンリアルオブジェクトデータベース５０２を有している。
［行動制御部による行動制御の例］
　次に、行動制御部４０による行動制御の例について説明する。行動制御部４０は、リアル性判定部２０１による判定の結果、画像データに含まれる人物のうち少なくとも一人の人物がリアルオブジェクトであると判定された場合には、所定のモード（以下、アクティブモードと称する）によりロボット装置１が行動するように制御する。また、行動制御部４０は、リアル性判定部２０１による判定の結果、画像データに含まれる人物の全てがアンリアルオブジェクトであると判定された場合には、他のモード（以下、パッシブモードと称する）によりロボット装置１が行動するように制御する。
（アクティブモードに基づくロボット装置の行動例）
　アクティブモードに基づくロボット装置１の行動例としては、認識対象がリアルオブジェクトであることから、ロボット装置１の能動的な行動が想定される。具体的には、以下の行動例が考えられる。
「第１の行動例」
　ロボット装置１がリアルオブジェクトと判定された人物に対して、自発的に発話する。発話する際にロボット装置１が人物に対して顔を向ける動作を行い、人物との間でコミュニケーションを取ろうとする。
「第２の行動例」
　ロボット装置１がリアルオブジェクトと判定された人物に対して注意を喚起する（ロボット装置１に対して注目させる）行動を行う。例えば、ロボット装置１が「ワンワン」となく。
「第３の行動例」
　ロボット装置１がリアルオブジェクトと判定された人物に物理的な接触をはかる。具体的には、ロボット装置１が、人物のそばや膝上に座る付き添い動作を行う。また、ハイタッチ、握手、握る、触る、噛む、舐める等の動作を行う。
「第４の行動例」
　リアルオブジェクトと判定された人物に異常が発生した場合に、その旨を他者に通知する動作を行う。例えば、ロボット装置１が警報を鳴らしたり、ネットワーク上の警備システムに異常の発生を送信する。なお、人物がアンリアルオブジェクトと判定された場合（例えば、人物がテレビジョン装置に映し出されているドラマの人物）には、当該人物に異常が発生したとしてもロボット装置１は異常通知等の動作を行わない。
「第５の行動例」
　ロボット装置１が、リアルオブジェクトと判定された人物と遊ぶ動作を行う。例えば、リアルオブジェクトと判定された人物が投げたボールをロボット装置１がくわえて持ち帰る動作を行う。
「第６の行動例」
　ロボット装置１が人物を聴衆或いは観衆として設計されている場合もある。かかる場合は、ロボット装置１がリアルオブジェクトと判定された人物に対して、演技、演奏等の動作を行う。具体例としては、ロボット装置１がリアルオブジェクトと判定された人物に対して、曲に合わせて踊る動作を行う。
　なお、イメージセンサ１１０により取得される画像データに複数の人物が含まれる場合に、複数の人物のうち一部の人物がリアルオブジェクトと判定され、他の人物がアンリアルオブジェクトと判定される場合もある。具体例として、図４に模式的に示すように、画像データＩＭ１に、実際の人物ＨＵ１０と当該人物の横に立てかけられている写真Ｐ１に人物（人物ＨＵ１１～ＨＵ１３）が写っている場合を考える。リアル性判定部２０１によるリアル性を判定する処理により人物ＨＵ１０はリアルオブジェクトと判定され、写真に写っている人物ＨＵ１１～ＨＵ１３はアンリアルオブジェクトと判定される。
　このように、リアルオブジェクト又はアンリアルオブジェクトと判定されるオブジェクトが混在する場合は、行動制御部４０は、例えば、アンリアルオブジェクトに興味を示す行動を決定する。より具体的には、行動制御部４０は、アンリアルオブジェクトに関する情報を対話により取得し、学習する行動を決定する。
　行動の具体例としては、ロボット装置１がアンリアルオブジェクト（写真の方向）に顔を向け、まばたきする動作を行う。また、ロボット装置１がアンリアルオブジェクトに近づいたり、尻尾や首を回したり、アンリアルオブジェクトに対して鳴いたり、対話によりアンリアルオブジェクトの情報を取得する。また、ロボット装置１が興味を有していることを示すライトがロボット装置１に設けられている場合には、当該ライトが点灯、点滅等される。
　なお、図５に示すように、リアルオブジェクトである人物ＨＵ１０に関するセンシングデータは、リアルオブジェクトデータベース５０１に蓄積され、アンリアルオブジェクトである人物ＨＵ１１～ＨＵ１３に関するセンシングデータは、アンリアルオブジェクトデータベース５０２に蓄積される。
（パッシブモードに基づくロボット装置の行動例）
　パッシブモードに基づくロボット装置１の行動例としては、認識したオブジェクトの全てがアンリアルオブジェクトであることから、基本的には、ロボット装置１が何も反応しない。しかしながら、パッシブモードに基づく行動は無反応に限定されるものではない。例えば、ロボット装置１が、人物がアンリアルオブジェクトであると認識した場合でもわざと当該人物に対して近づき、何らかの行動をする。人物は、アンリアルオブジェクト（例えば、テレビジョン放送に出演中のキャスターや俳優）であることからロボット装置１の行動に対するアンリアルオブジェクトの反応はない。その際に、ロボット装置１が首をかしげる動作を行う。アンリアルオブジェクトに対するこのような動作を行うことで、ロボット装置１の可愛らしさを向上させることができる。
　以上例示したようにして、行動制御部４０は、オブジェクトのリアル性判定結果に基づく行動を決定する。
［センシング状態制御部によるセンサ制御の例］
　次に、センシング状態制御部１０１によるセンサ制御の例について説明する。センシング状態制御部１０１は、リアル性判定部２０１による判定結果に応じて、各センサのオン／オフを制御する。
　図６は、センシング状態制御部１０１によるセンサ制御の一例を説明するための図である。画像情報処理エンジン２１０により、オブジェクトの一例としての人物が検出される。そして、リアル性判定部２０１によりオブジェクトに対するリアル性の判定が行われる。判定の結果、オブジェクトがリアルオブジェクトの場合（複数のオブジェクトのうち少なくとも１個のオブジェクトがリアルオブジェクトの場合）は、センシング状態制御部１０１はマルチセンシングを有効にするセンシングモードに基づいて、各センサを制御する。また、判定の結果、オブジェクトが全てアンリアルオブジェクトの場合（リアルオブジェクトが含まれない場合）は、センシング状態制御部１０１はマルチセンシングを無効とし、省電力モードに基づいて、各センサを制御する。
　検出されたオブジェクトにリアルオブジェクトが含まれる場合には、上述したように、ロボット装置１がアクティブモードに基づいて能動的な動作を行う。また、複数のオブジェクトの中にアンリアルオブジェクトが含まれている場合であっても、画像認識や対話によって当該アンリアルオブジェクトに関する情報を取得する必要がある。そこで、センシング状態制御部１０１は、センシングモードでは、例えば、全てのセンサをオンするセンサ制御を行う（図６参照）。
　なお、センシングモードに基づいて動作する各センサにより、リアルオブジェクトに関するセンシングデータが取得される。場合によっては、アンリアルオブジェクトに関するセンシングデータも取得される。リアルオブジェクトに関するセンシングデータは、リアルオブジェクトデータベース５０１に記憶され、アンリアルオブジェクトに関するセンシングデータは、アンリアルオブジェクトデータベース５０２に記憶される。
　検出されたオブジェクトにリアルオブジェクトが含まれない場合には、ロボット装置１が能動的な動作を積極的に行うことはない。そこで、センシング状態制御部１０１は、省電力モードでは、例えば、必要最低限のセンサをオンにするセンサ制御を行う。必要最低限のセンサとは、例えば、次回以降入力されるオブジェクトを検出するためのセンサであり、具体例としては、少なくともイメージセンサ１１０を含むセンサである。本実施の形態では、省電力モードでは、イメージセンサ１１０、音声センサ１１３及びデプスセンサ１１５がオンされる（図６参照）。かかるセンサ制御により、ロボット装置１における消費電力を低減することができる。なお、アンリアルオブジェクトに関するセンシングデータは、アンリアルオブジェクトデータベース５０２に記憶される。
　なお、上述したように、検出されたオブジェクトがアンリアルオブジェクトであっても、ロボット装置１がわざと当該アンリアルオブジェクトに近づく動作等を行う場合もあり得る。そこで、センシング状態制御部１０１は、そのような動作を行う間の期間、センシングモードに基づいて各センサを制御しても良い。
　以上説明した行動制御部４０による制御及びセンシング状態制御部１０１によるセンサ制御の一例をまとめると、下記の表１になる。
Figure JPOXMLDOC01-appb-T000001
［処理の流れ］
（全体の処理の流れ）
　次に、実施の形態にかかるロボット装置１で行われる主な処理の流れについて説明する。始めに、図７のフローチャートを参照して、実施の形態にかかるロボット装置１で行われる、全体の処理の流れについて説明する。
　処理が開始されると、ステップＳＴ１１では、情報取得部１０の各センサが動作することによりセンシングデータが取得される。例えば、イメージセンサ１１０によりセンシングデータの一つである画像データが取得される。そして、処理がステップＳＴ１２に進む。
　ステップＳＴ１２では、情報処理部２０が動作することにより各センシングデータに対する処理が行われる。例えば、イメージセンサ１１０により取得された画像データが画像情報処理エンジン２１０に供給される。画像情報処理エンジン２１０は、画像データにオブジェクトの一例としての人物が含まれているか否かを検出する。そして、処理がステップＳＴ１３に進む。
　ステップＳＴ１３では、人物が検出されたか否かが判断される。判断処理の結果、画像データに人物が検出されない場合には、処理がステップＳＴ１２に戻る。画像データに人物が検出された場合は、処理がステップＳＴ１４に進む。
　ステップＳＴ１４では、リアル性判定部２０１によりオブジェクトに対するリアル性を判定する処理が行われる。そして、処理がステップＳＴ１５に進む。
　ステップＳＴ１５では、リアル性判定部２０１による判定処理の結果、リアルオブジェクトが含まれるか否かが、例えば、リアル性判定部２０１により判定される。リアル性判定部２０１は、判定結果を、行動制御部４０及びセンシング状態制御部１０１に対して出力する。ステップＳＴ１５における判定処理の結果、リアルオブジェクトが含まれる場合には、処理がステップＳＴ１６に進む。
　ステップＳＴ１６では、リアルオブジェクトに対応する行動制御及びセンサ制御がなされる。行動制御は、例えば、アクティブモードに基づく行動制御である。センサ制御は、例えば、センシングモードに基づくセンサ制御である。アクティブモードに基づく行動制御及びセンシングモードに基づくセンサ制御の具体例は、上述した通りである。ステップＳＴ１６の処理が終了すると、処理がステップＳＴ１８に進む。
　ステップＳＴ１５における判定処理の結果、リアルオブジェクトが含まれない場合には、処理がステップＳＴ１７に進む。ステップＳＴ１７では、アンリアルオブジェクトに対応する行動制御及びセンサ制御がなされる。行動制御は、例えば、パッシブモードに基づく行動制御である。センサ制御は、例えば、省電力モードに基づくセンサ制御である。パッシブモードに基づく行動制御及び省電力モードに基づくセンサ制御の具体例は、上述した通りである。ステップＳＴ１７の処理が終了すると、処理がステップＳＴ１８に進む。
　ステップＳＴ１８では、行動状態推定部３０による行動状態推定処理が行われる。そして、処理がステップＳＴ１９に進む。
　ステップＳＴ１９では、行動状態推定処理の結果、行動制御部４０による行動制御に基づく一連の行動が完了したか否かが判定される。一連の行動が完了したと判定された場合は処理が終了し、以降に取得されるセンシングデータに対して同様の処理が行われる。
　ステップＳＴ１９の判定処理の結果、一連の行動が完了していないと判定された場合は、処理がステップＳＴ１５に戻る。なお、この場合は、リアル性の判定は以前の判定結果を全システムで共有及び保持し、保持したリアル性の判定結果を利用した行動制御及びセンサ制御が行われる。
　なお、ステップＳＴ１５の判定処理において、画像データにリアルオブジェクトと判定されたオブジェクトとアンリアルオブジェクトと判定されたオブジェクトとが混在する場合もあり得る。その場合は、例えば、図８のフローチャートに示す処理が行われる。
　図８のステップＳＴ２１では、オブジェクトに対するリアル性の判定の結果、画像データにリアルオブジェクトとアンリアルオブジェクトとが混在（存在）することが判定される。判定結果は、行動制御部４０に供給される。そして、処理がステップＳＴ２２に進む。
　ステップＳＴ２２では、行動制御部４０は、例えば、対話モードをオンし、ロボット装置１が当該対話モードに基づく動作を行うように制御する。対話モードとは、ロボット装置１がリアルオブジェクトに対してアンリアルオブジェクトに関する情報を取得するための対話を行うモードである。そして、処理がステップＳＴ２３に進む。
　ステップＳＴ２３では、行動制御部４０により対話モードに基づく行動制御が行われ、かかる行動制御に基づいてロボット装置１が動作する。行動の具体例は、上述したアンリアルオブジェクトに興味を示す行動の他、アンリアルオブジェクトに関する情報を取得するための発話もあり得る。以下は、リアルオブジェクトと判定された人物（例えば、図４における人物ＨＵ１０）とロボット装置１との間で行われる対話の例である。
ロボット装置１：「写真にうつっている人物はだれですか」
人物ＨＵ１０：「どの人？」
ロボット装置１：「（人物ＨＵ１１の方向を見ながら）今見ている人です。」
人物ＨＵ１０：「（ロボット装置１の視線をみて）あぁ～、写真ね、それは友達だよ。」
ロボット装置１：「名前は？」
人物ＨＵ１０：「ナナだよ。」
　このような対話により、ロボット装置１は、アンリアルオブジェクトに関する情報を取得する。図９に示すように、センサ及び対話により取得されたアンリアルオブジェクトがアンリアルオブジェクトデータベース５０２に記憶される。具体例としては、イメージセンサ１１０により取得された人物ＨＵ１１の画像と対話により取得された人物ＨＵ１１の名前とが対応付けられてアンリアルオブジェクトデータベース５０２に記憶される。また、リアルオブジェクトである人物ＨＵ１０に関しても各センサによるセンシングデータが取得されることから、取得されたセンシングデータがリアルオブジェクトデータベース５０１に記憶される。
　なお、図９に示すように、リアルオブジェクトデータベース５０１に記憶された特徴量とアンリアルオブジェクトデータベース５０２に記憶された特徴量とを統合するようにしても良い。例えば、人物ＨＵ１０の特徴量に、人物ＨＵ１１が人物ＨＵ１０の友人であり、名前がナナという情報が対応付けられる。アンリアルオブジェクトデータベース５０２に記憶される特徴量（例えば、画像情報）が、人物ＨＵ１０がファンであるポスター等に描かれた人物である場合もあり得る。このような場合は、人物ＨＵ１０の特徴量に、人物ＨＵ１０がファンである人物の情報（顔画像の特徴や性別、年齢等）が対応付けられる。また、アンリアルオブジェクトデータベース５０２に蓄積される特徴量をロボット装置１の学習部２０２が学習することにより、ロボット装置１が例えば人物ＨＵ１０の嗜好等を学習することができる。
（リアル性を判定する処理の流れ）
　次に、図１０に示すフローチャートを参照して、オブジェクトのリアル性を判定する処理の流れについて説明する。なお、以下に説明する処理は、例えば、画像情報処理エンジン２１０及びリアル性判定部２０１により行われる。
　ステップＳＴ３１では、デプス画像がデプスセンサ１１５により取得される。また、ステップＳＴ３１の処理と並行して、ステップＳＴ３２では、イメージセンサ１１０によりＲＧＢ(Red/Green/Blue)画像が取得される。そして、処理がステップＳＴ３３に進む。
　ステップＳＴ３３では、デプス画像とＲＧＢ画像との位置合わせを行う対応画素較正処理が行われる。そして、処理がステップＳＴ３４に進む。ステップＳＴ３４では、ステップＳＴ３３の対応画素較正処理により、ＲＧＢ情報及びデプス情報を含むＲＧＢＤ画像が生成される。
　一方、ステップＳＴ３５の処理では、ステップＳＴ３２で取得されたＲＧＢ画像に基づいて人物を検出する人物検出処理が行われる。そして、処理がステップＳＴ３６に進む。ステップＳＴ３６では、人物検出処理の結果及びＲＧＢＤ画像に基づいて、人物領域のデプス値が取得される。そして、処理がステップＳＴ３７に進む。
　ステップＳＴ３７では、平面フィッティング処理により人物が所定の平面にフィットするか否かが判定される。この判定処理の結果が肯定判定の場合は、人物がテレビジョン装置の画面、即ち平面に映し出されている人物である可能性が高い。従って、ステップＳＴ３７の結果が肯定判定の場合は、処理がステップＳＴ４０に進み、画像データに含まれる人物がアンリアルオブジェクトと判定される。
　ステップＳＴ３７の判定処理の結果が否定判定の場合は、処理がステップＳＴ３８に進む。ステップＳＴ３８では、曲面フィッティング処理により人物が所定の曲面にフィットするか否かが判定される。近年、曲面のディスプレイも普及しつつある。そこで、ステップＳＴ３８の処理を行うことにより、曲面のディスプレイに映し出される人物がリアルオブジェクトと判定されてしまうことを防止することができる。ステップＳＴ３８の結果が肯定判定の場合は、画像データに含まれる人物が曲面ディスプレイ等に映し出されている人物と判定され、処理がステップＳＴ４０に進む。そして、画像データに含まれる人物がアンリアルオブジェクトと判定される。
　ステップＳＴ３８の結果が否定判定の場合は、処理がステップＳＴ３９に進み、画像データに含まれる人物がリアルオブジェクトと判定される。
　なお、上述した処理はオブジェクトのリアル性を判定する処理の一例であり、他の処理によりオブジェクトのリアル性を判定するようにしても良い。例えば、イメージセンサ１１０の前に偏光フィルターを設ける。偏光フィルターを介して得られる画像に基づいて、鏡面領域を取得する。鏡面領域は、鏡面反射により偏光度（ブルースター角又は偏光角）が１に近い領域となる。取得した鏡面領域をＲＧＢ画像にマッピングする。鏡面領域内に存在する人物は、鏡や液晶画面、窓等のガラス越しの人物として把握し、当該人物は、インタラクションが不可能である又はインタラクションがしづらいとしてアンリアルオブジェクトと判定するようにしても良い。また、情報蓄積部５０に人物（例えば、ロボット装置１の所有者（飼い主））の情報を蓄積しておき、平面や曲面にフィットする人物であっても情報蓄積部５０に蓄積した人物情報にマッチする人物であれば、リアルオブジェクトと判定するようにしても良い。これにより、人物とロボット装置１とが遠隔地でインタラクションを行う際に、画面に映し出される当該人物がアンリアルオブジェクトと判定されてしまうことを防止することができる。これらの判定方法を組み合わせて、オブジェクトのリアル性を判定するようにしても良い。
＜変形例＞
　以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
　上述した実施の形態では、オブジェクトを人物として説明したが、人物以外の動物でも良い。例えば、猫でも良い。猫がリアルオブジェクトである場合には、複数のセンサに基づいて、猫の様子、温湿度、柔らかさ、鳴き声、匂い等のセンシングデータが取得され、取得されたセンシングデータがリアルオブジェクトデータベース５０１に保存される。猫がアンリアルオブジェクトである場合には、例えば、イメージセンサ１１０を介して取得されるビジョン情報のみがアンリアルオブジェクトデータベース５０２に保存される。リアルオブジェクトデータベース５０１及びアンリアルオブジェクトデータベース５０２に保存された特徴量を統合して、学習部２０２がオブジェクト（猫）ついて学習するようにしても良い。なお、オブジェクトは、生物以外のものでも良い。
　ロボット装置１が上述したセンサ以外のセンサを有していても良い。例えば、ロボット装置１が人物の生体情報（体温、脈拍等）を取得するためのセンサを有していても良い。ロボット装置１は、例えば、適度な強さで人物の指先を噛み、指先から体温、心拍等の生体情報を取得する。ロボット装置１は、取得した生体情報に基づいて人物の健康状態等を監視するようにしても良い。かかるロボット装置１の動作は、リアルオブジェクトと判定された人物に対して行われる。
　本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
　なお、本開示中に例示された効果により本開示の内容が限定して解釈されるものではない。
　本開示は、以下の構成も採ることができる。
（１）
　センシングデータに基づいて検出されたオブジェクトが、リアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定するリアル性判定部と、
　前記リアル性判定部による判定結果に基づいて、所定の制御を行う制御部を有する
　情報処理装置。
（２）
　前記制御部は、前記判定結果に基づいて、前記オブジェクトに対する行動を決定する行動制御部である
　（１）に記載の情報処理装置。
（３）
　前記行動制御部は、前記オブジェクトがリアルオブジェクトである場合には前記オブジェクトに反応する行動を決定し、前記オブジェクトがアンリアルオブジェクトである場合には前記オブジェクトに反応しない行動を決定する
　（２）に記載の情報処理装置。
（４）
　前記行動制御部は、リアルオブジェクト及びアンリアルオブジェクトが前記センシングデータに混在する場合に、前記アンリアルオブジェクトに関する情報を取得するための行動を決定する
　（２）又は（３）に記載の情報処理装置。
（５）
　複数のセンサを有し、
　前記制御部は、前記判定結果に基づいて、前記複数のセンサのそれぞれのオン／オフを制御するセンサ制御部である
　（１）から（４）までの何れかに記載の情報処理装置。
（６）
　前記センサ制御部は、前記オブジェクトがリアルオブジェクトである場合に全てのセンサをオンする制御を行い、前記オブジェクトがアンリアルオブジェクトである場合に前記複数のセンサのうち一部のセンサのみをオンする制御を行う
　（５）に記載の情報処理装置。
（７）
　前記センシングデータを取得する所定のセンサを有し、
　前記センサ制御部は、前記オブジェクトがアンリアルオブジェクトである場合に、少なくとも前記所定のセンサをオンする制御を行う
　（６）に記載の情報処理装置。
（８）
　前記リアルオブジェクトは、前記情報処理装置との間でインタラクションが可能とされるオブジェクトであり、前記アンリアルオブジェクトは、前記情報処理装置との間でインタラクションが不可能とされるオブジェクトである
　（１）から（７）までの何れかに記載の情報処理装置。
（９）
　前記センシングデータに基づいて前記オブジェクトを検出するオブジェクト検出部を有する
　（１）から（８）までの何れかに記載の情報処理装置。
（１０）
　前記センシングデータに基づいて、前記オブジェクトに関する学習を行う学習部を有する
　（１）から（９）までの何れかに記載の情報処理装置。
（１１）
　前記オブジェクトは、人物である
　（１）から（１０）までの何れかに記載の情報処理装置。
（１２）
　前記センシングデータは、画像データである
　（１）から（１１）までの何れかに記載の情報処理装置。
（１３）
　自走式のロボットとして構成される
　（１）から（１２）までの何れかに記載の情報処理装置。
（１４）
　リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
　制御部が、前記リアル性判定部による判定結果に基づいて、所定の制御を行う
　情報処理方法。
（１５）
　リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
　制御部が、前記リアル性判定部による判定結果に基づいて、所定の制御を行う
　情報処理方法をコンピュータに実行させるプログラム。
１・・・ロボット装置、１０・・・情報取得部、２０・・・情報処理部、４０・・・行動制御部、１０１・・・センシング状態制御部、１１０・・・イメージセンサ、２０１・・・リアル性判定部、２０２・・・学習部、２１０・・・・画像情報処理エンジン、

Claims (15)

  1. 　センシングデータに基づいて検出されたオブジェクトが、リアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定するリアル性判定部と、
    　前記リアル性判定部による判定結果に基づいて、所定の制御を行う制御部を有する
    　情報処理装置。
  2. 　前記制御部は、前記判定結果に基づいて、前記オブジェクトに対する行動を決定する行動制御部である
    　請求項１に記載の情報処理装置。
  3. 　前記行動制御部は、前記オブジェクトがリアルオブジェクトである場合には前記オブジェクトに反応する行動を決定し、前記オブジェクトがアンリアルオブジェクトである場合には前記オブジェクトに反応しない行動を決定する
    　請求項２に記載の情報処理装置。
  4. 　前記行動制御部は、リアルオブジェクト及びアンリアルオブジェクトが前記センシングデータに混在する場合に、前記アンリアルオブジェクトに関する情報を取得するための行動を決定する
    　請求項２に記載の情報処理装置。
  5. 　複数のセンサを有し、
    　前記制御部は、前記判定結果に基づいて、前記複数のセンサのそれぞれのオン／オフを制御するセンサ制御部である
    　請求項１に記載の情報処理装置。
  6. 　前記センサ制御部は、前記オブジェクトがリアルオブジェクトである場合に全てのセンサをオンする制御を行い、前記オブジェクトがアンリアルオブジェクトである場合に前記複数のセンサのうち一部のセンサのみをオンする制御を行う
    　請求項５に記載の情報処理装置。
  7. 　前記センシングデータを取得する所定のセンサを有し、
    　前記センサ制御部は、前記オブジェクトがアンリアルオブジェクトである場合に、少なくとも前記所定のセンサをオンする制御を行う
    　請求項６に記載の情報処理装置。
  8. 　前記リアルオブジェクトは、前記情報処理装置との間でインタラクションが可能とされるオブジェクトであり、前記アンリアルオブジェクトは、前記情報処理装置との間でインタラクションが不可能とされるオブジェクトである
    　請求項１に記載の情報処理装置。
  9. 　前記センシングデータに基づいて前記オブジェクトを検出するオブジェクト検出部を有する
    　請求項１に記載の情報処理装置。
  10. 　前記センシングデータに基づいて、前記オブジェクトに関する学習を行う学習部を有する
    　請求項１に記載の情報処理装置。
  11. 　前記オブジェクトは、人物である
    　請求項１に記載の情報処理装置。
  12. 　前記センシングデータは、画像データである
    　請求項１に記載の情報処理装置。
  13. 　自走式のロボットとして構成される
    　請求項１に記載の情報処理装置。
  14. 　リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
    　制御部が、前記リアル性判定部による判定結果に基づいて、所定の制御を行う
    　情報処理方法。
  15. 　リアル性判定部が、センシングデータに基づいて検出されたオブジェクトがリアルオブジェクト及びアンリアルオブジェクトの何れであるかを判定し、
    　制御部が、前記リアル性判定部による判定結果に基づいて、所定の制御を行う
    　情報処理方法をコンピュータに実行させるプログラム。
PCT/JP2019/034802 2018-12-06 2019-09-04 情報処理装置、情報処理方法及びプログラム WO2020115972A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/309,429 US11780097B2 (en) 2018-12-06 2019-09-04 Information processing apparatus and method for processing information
CN201980078795.9A CN113165177B (zh) 2018-12-06 2019-09-04 信息处理装置、用于处理信息的方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-228928 2018-12-06
JP2018228928A JP2020089947A (ja) 2018-12-06 2018-12-06 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020115972A1 true WO2020115972A1 (ja) 2020-06-11

Family

ID=70973590

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034802 WO2020115972A1 (ja) 2018-12-06 2019-09-04 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11780097B2 (ja)
JP (1) JP2020089947A (ja)
CN (1) CN113165177B (ja)
WO (1) WO2020115972A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425681B2 (ja) 2020-06-24 2024-01-31 本田技研工業株式会社 社会的能力生成装置、社会的能力生成方法、およびコミュニケーションロボット
US20230173683A1 (en) * 2020-06-24 2023-06-08 Honda Motor Co., Ltd. Behavior control device, behavior control method, and program
JP7425690B2 (ja) 2020-07-16 2024-01-31 本田技研工業株式会社 ロボット動作生成装置、ロボット動作生成方法、およびプログラム
WO2022201803A1 (ja) * 2021-03-25 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250233A (ja) * 2004-03-05 2005-09-15 Sanyo Electric Co Ltd ロボット装置
JP2006123161A (ja) * 2004-09-30 2006-05-18 Samsung Electronics Co Ltd 位置把握、追跡および分離のためのオーディオビデオセンサー融合装置および融合方法
JP2007155985A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd ロボットおよび音声認識装置ならびにその方法
JP2013061552A (ja) * 2011-09-14 2013-04-04 Ricoh Co Ltd プロジェクタ装置および操作検出方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570781B2 (en) * 1999-05-19 2009-08-04 Digimarc Corporation Embedded data in gaming objects for authentication and association of behavior information
EP1643769B1 (en) 2004-09-30 2009-12-23 Samsung Electronics Co., Ltd. Apparatus and method performing audio-video sensor fusion for object localization, tracking and separation
JP4353162B2 (ja) * 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP4539600B2 (ja) 2006-04-11 2010-09-08 トヨタ自動車株式会社 案内ロボット
JP4462339B2 (ja) * 2007-12-07 2010-05-12 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP5098973B2 (ja) * 2008-11-27 2012-12-12 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
US20150310497A1 (en) * 2009-12-17 2015-10-29 David Valin Method and process for registration, creation and management of micro shares of real or intangible properties and advertisements in a network system
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
CA2845730A1 (en) * 2011-08-18 2013-02-21 Utherverse Digital, Inc. Systems and methods of virtual world interaction
CN103733229A (zh) * 2011-08-24 2014-04-16 索尼公司 信息处理设备、信息处理方法及程序
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US10402661B2 (en) * 2013-07-22 2019-09-03 Opengate Development, Llc Shape/object recognition using still/scan/moving image optical digital media processing
US10423226B2 (en) * 2014-02-07 2019-09-24 Ultrahaptics IP Two Limited Systems and methods of providing haptic-like feedback in three-dimensional (3D) sensory space
CN105957521B (zh) * 2016-02-29 2020-07-10 青岛克路德机器人有限公司 一种用于机器人的语音和图像复合交互执行方法及系统
KR102560710B1 (ko) * 2016-08-24 2023-07-27 삼성전자주식회사 광학적 스펙클을 이용하는 장치 및 방법
US10679083B2 (en) * 2017-03-27 2020-06-09 Samsung Electronics Co., Ltd. Liveness test method and apparatus
JP6673276B2 (ja) * 2017-03-28 2020-03-25 カシオ計算機株式会社 音声検出装置、音声検出方法、及びプログラム
US10262243B2 (en) * 2017-05-24 2019-04-16 General Electric Company Neural network point cloud generation system
EP3729334A1 (en) * 2017-12-20 2020-10-28 Alpvision SA Authentication machine learning from multiple digital representations
CN108908377B (zh) * 2018-07-06 2020-06-23 达闼科技（北京）有限公司 说话人识别方法、装置和机器人
US11550031B2 (en) * 2019-03-18 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for biometric authentication using face radar signal
EP4046070A4 (en) * 2019-10-15 2023-10-18 Magic Leap, Inc. CROSS-REALLY SYSTEM THAT SUPPORTS MULTIPLE DEVICE TYPES

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250233A (ja) * 2004-03-05 2005-09-15 Sanyo Electric Co Ltd ロボット装置
JP2006123161A (ja) * 2004-09-30 2006-05-18 Samsung Electronics Co Ltd 位置把握、追跡および分離のためのオーディオビデオセンサー融合装置および融合方法
JP2007155985A (ja) * 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd ロボットおよび音声認識装置ならびにその方法
JP2013061552A (ja) * 2011-09-14 2013-04-04 Ricoh Co Ltd プロジェクタ装置および操作検出方法

Also Published As

Publication number Publication date
CN113165177B (zh) 2024-02-09
US20220016783A1 (en) 2022-01-20
JP2020089947A (ja) 2020-06-11
US11780097B2 (en) 2023-10-10
CN113165177A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
WO2020115972A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7320239B2 (ja) 音源の方向を認識するロボット
JP6815486B2 (ja) 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム
US10024679B2 (en) Smart necklace with stereo vision and onboard processing
US10248856B2 (en) Smart necklace with stereo vision and onboard processing
EP2923252B1 (en) Method and apparatus to control hardware in an environment
JP5203499B2 (ja) 個人の相互交流のためのコンパニオンロボット
US20230305530A1 (en) Information processing apparatus, information processing method and program
CN110291489A (zh) 计算上高效的人类标识智能助理计算机
JP7298860B2 (ja) 仮想キャラクタを想定する自律行動型ロボット
CN111163906B (zh) 能够移动的电子设备及其操作方法
WO2015108882A1 (en) Smart necklace with stereo vision and onboard processing
WO2018108176A1 (zh) 机器人视频通话控制方法、装置及终端
US10809715B2 (en) Apparatus, robot, method, and recording medium
JPWO2018084170A1 (ja) 人を識別する自律行動型ロボット
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024055866A (ja) 内部状態または外部環境に応じて自律的に行動選択するロボット
CN114543313A (zh) 空调控制方法、服务器、空调及用户终端
US11169599B2 (en) Information processing apparatus, information processing method, and program
US20210197393A1 (en) Information processing device, information processing method, and program
CN112074804A (zh) 信息处理系统、信息处理方法和记录介质
JP6647711B2 (ja) ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム
US20220134544A1 (en) System and method for continuously sharing behavioral states of a creature
US20220355470A1 (en) Autonomous mobile body, information processing method, program, and information processing device
US20210256263A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19891885

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19891885

Country of ref document: EP

Kind code of ref document: A1