WO2012172721A1 - ロボット装置、ロボット制御方法、及びロボット制御プログラム - Google Patents

ロボット装置、ロボット制御方法、及びロボット制御プログラム Download PDF

Info

Publication number
WO2012172721A1
WO2012172721A1 PCT/JP2012/002704 JP2012002704W WO2012172721A1 WO 2012172721 A1 WO2012172721 A1 WO 2012172721A1 JP 2012002704 W JP2012002704 W JP 2012002704W WO 2012172721 A1 WO2012172721 A1 WO 2012172721A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
robot
unit
reference data
image
Prior art date
Application number
PCT/JP2012/002704
Other languages
English (en)
French (fr)
Inventor
裕 加瀬
堀ノ内　貴志
理彦 大塚
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012539117A priority Critical patent/JP5172049B2/ja
Publication of WO2012172721A1 publication Critical patent/WO2012172721A1/ja
Priority to US13/736,520 priority patent/US8583287B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A63H30/04—Electrical arrangements using wireless transmission
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Definitions

  • the present disclosure relates to a robot apparatus, a robot control method, and a robot control program for evaluating reproduced content.
  • Patent Document 1 In order to provide content while a robot communicates with a person, there has been proposed one that selects and reproduces content that matches the emotion of the robot (see, for example, Patent Document 1).
  • a robot apparatus that autonomously operates by changing emotions according to external actions transmits emotion information to the content reproduction apparatus.
  • the content reproduction device compares the metadata describing information about the content with emotion information of the robot device, and expresses the emotion of the robot device by selecting and reproducing the content that matches the emotion of the robot device.
  • Patent Document 1 only displays content in accordance with the emotion of the robot apparatus, and there is no mechanism for the robot to independently evaluate the content.
  • the robot's expression behavior is controlled according to the special code superimposed on the broadcast video data, and there is no mechanism for the robot to independently evaluate the broadcast program.
  • a robot apparatus evaluates information detected by the detection unit based on reference data and a detection unit that detects at least one of audio and images of content output by the content output device
  • a determination unit that evaluates the content output by the content output device and a control unit that controls the behavior or state of the robot device based on the evaluation of the determination unit are provided.
  • a program for causing a computer to function as the robot apparatus, a non-transitory recording medium recording the program, and a method for the computer to execute the function are also included in the present invention.
  • FIG. 1 is a functional block diagram illustrating a configuration example of a system including a robot according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a state in which the robot is used together with the display device.
  • FIG. 3A is a diagram illustrating an example of a state in which the robot shows a happy gesture.
  • FIG. 3B is a diagram illustrating an example of a state in which the robot is angry.
  • FIG. 3C is a diagram illustrating an example of a state where the robot is dozing.
  • FIG. 4 is a diagram illustrating an example of a state in which the robot is posing in accordance with the pose of the person in the image displayed on the display device.
  • FIG. 5 is a diagram illustrating an arrangement example when the robot and the display device are used.
  • FIG. 6 is a diagram illustrating an example of the contents of the state transition information in the second embodiment.
  • FIG. 7 is a diagram illustrating an example of a content list.
  • FIG. 8 is a functional block diagram illustrating an example of a more detailed configuration of the determination unit according to the third embodiment.
  • FIG. 9 is an example of a screen displayed on the display device during the pairing process.
  • FIG. 10 is a flowchart illustrating an example of the pairing process in the display device and the robot.
  • FIG. 11 is a flowchart illustrating an example of processing after the robot viewing application is activated in the fourth embodiment.
  • FIG. 12 is a diagram illustrating an example of a favorite list according to the fifth embodiment.
  • FIG. 13 is a functional block diagram illustrating an example of the configuration of the determination unit according to the sixth embodiment.
  • FIG. 14 is a functional block diagram illustrating a configuration of the robot according to the seventh embodiment.
  • the determination unit evaluates the content based on the reference data, and the behavior and state of the robot apparatus are controlled based on the result. Therefore, the robot apparatus can perform a robot-specific evaluation on the content and show a reaction specific to the robot apparatus on the content.
  • FIG. 1 is a functional block diagram showing a configuration of a system including a robot in the first embodiment.
  • the system shown in FIG. 1 includes a display device 200 and a robot 100.
  • the display device 200 is an example of a content output device
  • the robot 100 is an example of a robot device.
  • the display device 200 can be composed of, for example, a television device, a tablet, a PC, a PDA, a game machine, a mobile phone, or the like, and has a function of outputting content images and sound.
  • the display device 200 includes a reproducing unit 203, a control unit 202, a storage unit 204, and a communication unit 201.
  • the reproduction unit 203 reproduces content such as video data or audio data as video and audio.
  • the control unit 202 includes a playback unit 210 and a setting unit 211.
  • the playback unit 210 controls the playback unit 203 to control playback, stop, pause, playback position, and the like of the content recorded in the storage unit 204 based on, for example, an external instruction.
  • the setting unit 211 records, for example, in the storage unit 204 information related to an external device that instructs the display device 200 to operate, information indicating playback conditions, information related to content that can be played back on the display device 200, and the like.
  • the operating conditions of the display device 200 can be set.
  • the communication unit 201 functions as an interface that communicates with an external device of the display device 200 (for example, a server that provides content, a robot 100 that sends an operation instruction to the display device 200, and the like).
  • the robot 100 includes a communication unit 101, a control unit 102, a detection unit 108 including a camera 103 and a microphone 104, a behavior control unit 105, and a drive unit 106.
  • the communication unit 101 mainly communicates with an external device such as the display device 200.
  • the communication unit 201 of the display device 200 and the communication unit 101 of the robot 100 can be connected via a wired or wireless network (including a public line) to enable transmission / reception of data or signals.
  • a technology such as WiFi (registered trademark), Bluetooth (registered trademark), or Zigbee (registered trademark) can be used.
  • the communication mode by the communication units 201 and 101 is not limited to a specific one.
  • the detection unit 108 detects at least one of audio and images of content reproduced on the display device 200. Therefore, the detection unit 108 includes, for example, a camera 103 that is an example of a photographing unit that detects an image and a microphone 104 that is an example of a sound collecting unit that detects sound. Note that the configuration of the detection unit 108 is not limited to the above example, and may include other sensors that monitor the external or internal state of the robot 100, for example. Specifically, an external sensor such as a touch sensor or pressure sensor for detecting contact or pressure from the outside to the robot 100 or a thermal sensor, or an internal sensor for monitoring the remaining amount of a battery (not shown) of the robot 100. Etc. can also be included in the detection unit 108. Further, the detection unit 108 may be configured to include either the camera 103 or the microphone 104.
  • the control unit 102 uses the information detected by the detection unit 108 to determine the external or internal situation, the determination unit 110 that evaluates the reproduced content, information indicating the operation of the robot 100 and information for communication.
  • a setting unit 111 for setting is included.
  • the determination unit 110 can also have a function of evaluating the content output from the display device 200 by evaluating information detected by the detection unit 108 based on the reference data.
  • the reference data is data that serves as a reference for content evaluation.
  • the determination unit 110 can be realized by using a viewing application that causes the robot 100 to execute processing for viewing content reproduced on the display device 200. Specifically, the determination unit 110 can evaluate the content by analyzing the content image included in the image captured by the camera 103 based on the reference data recorded in the recording unit 107. .
  • the content can be evaluated by analyzing the sound of the content collected by the microphone 104 based on the reference data.
  • the evaluation process by the determination unit 110 includes a process of extracting the image or sound of the content included in the detected image or sound, and a process of matching the extracted image or sound of the content with the reference data. .
  • the reference data can be, for example, a template (reference pattern) that matches the image or sound pattern of the content detected by the detection unit 108.
  • a template reference pattern
  • data indicating a feature quantity vector in which feature quantities of pixels are arranged can be used as a pattern.
  • voice data indicating a set of feature values of each frame can be used as a pattern.
  • data representing the movement (change) of the skeleton (limbs) can be used as a pattern for the movement of a person in the moving image.
  • the reference data may be registered in advance by the user, or may be automatically accumulated based on information obtained by the robot 100 via the detection unit 108.
  • the robot 100 may acquire data recorded on the display device 200 or data recorded at a location indicated by information recorded on the display device 200 as reference data. As a result, the robot 100 can collect information related to the display device 200 and use it for content evaluation criteria by the robot 100. As a result, the evaluation standard (for example, preference) of the robot 100 can be influenced by the display device 200.
  • the robot 100 can update the reference data based on the content evaluation by the determination unit 110. Thereby, the robot 100 can change its own evaluation standard (for example, preference) voluntarily.
  • the robot 100 has a function of automatically acquiring, storing, or updating information serving as a reference for content evaluation regardless of an external instruction such as a user input. Evaluation becomes possible.
  • the evaluation of the content by the determination unit 110 may be, for example, a process of calculating a value (score) indicating the degree of the robot's likability, dislike, boredom, etc. with respect to the content, and the content includes predetermined information. It may be a process of determining whether or not it is. For example, the determination unit 110 can calculate the score or execute the determination based on the degree of matching between the reference data pattern and the content pattern.
  • the contents of the reference data and the processing of the determination unit 110 are not limited to the above example.
  • the control unit 102 controls the behavior or state of the robot 100 based on the evaluation of the determination unit 110.
  • the control unit 102 can control the movement of the robot 100 by controlling the operation of the driving unit 106 via the behavior control unit 105.
  • the driving unit 106 can be, for example, an actuator (motor) that moves a movable unit of the robot 100.
  • An artificial muscle can also be used as the actuator of the drive unit 106.
  • the robot 100 may include a light emitting unit, a sounding unit, or the like instead of the movable unit or in addition to the movable unit.
  • the behavior control unit 105 can record information indicating expression conditions, expression probabilities, and expression availability of various operations of the robot 100 as parameters, and can output a control signal to the drive unit 106 according to the parameters.
  • the control unit 102 can control the operation of the robot 100 by updating the parameter according to the evaluation of the determination unit 110.
  • the setting unit 111 acquires setting information for communicating with the display device 200 and records it in the recording unit 107.
  • the setting unit 111 acquires setting information for communicating with the display device 200 by analyzing at least one of sound, light, and an image output from the display device 200 and records the setting information in the recording unit 107. it can.
  • the camera 103 of the robot 100 captures a screen of the display device 200 on which a two-dimensional code including the address information of the display device 200 is displayed as setting information, and the setting unit 111 analyzes the screen to display the address of the display device 200.
  • Information can be acquired.
  • the setting unit 111 transmits an access permission request (for example, a pairing request) to the display device 200 using the address information, and obtains permission from the display device 200, thereby enabling communication between the two.
  • an access permission request for example, a pairing request
  • the setting information represented by the two-dimensional code may include authentication information for obtaining access permission in addition to the access information to the display device 200.
  • the authentication information may include a random value (numerical value or character string).
  • the robot 100 transmits a random value read from the setting information together with the pairing request to the display device 200.
  • the display device 200 receives a pairing request from the robot 100 or another device, the display device 200 only when the random value received together with the pairing request matches the random value included in the two-dimensional code being displayed. Access from can be permitted. Thereby, the display apparatus 200 can control the access permission from the outside according to the display content. In addition, the security level can be improved.
  • the configuration for exchanging setting information between the display device 200 and the robot 100 is not limited to the above example.
  • a bar code or a composite code may be used instead of the two-dimensional code.
  • the setting information is not limited to the output image of the display device 200, but may be acquired from output audio, or may be acquired by receiving input from a user or downloading via a network such as the Internet.
  • the robot 100 detects the output sound of the display device 200 and the setting unit 111 analyzes the setting information to acquire setting information
  • the sound frequency may be an audible region or a non-audible region. .
  • the sound in the audible area it is possible for the people around to know that information is being exchanged between the display device 200 and the robot 100.
  • the setting unit 111 can receive setting information by infrared rays output from the display device 200 detected by the robot 100. When infrared rays are used, setting information can be exchanged without being noticed by those around.
  • control unit 102 The functions of the control unit 102, the behavior control unit 105, the communication unit 101, and the recording unit 107 can be realized by a computer built in the robot 100 executing a predetermined program.
  • Embodiments of the present invention also include a program that causes a computer to execute the above functions and a recording medium that records the program.
  • the robot 100 acquires a peripheral image by the detection unit 108, and detects the display screen of the display device 200 by detecting the casing shape of the display device 200 or the rectangle of the screen boundary included in the acquired image. Can do.
  • the casing and screen shape data used as a reference at the time of detection may be recorded in the robot 100 in advance or may be in a form that can be registered by the user.
  • the robot 100 can analyze the image of the content reproduced on the display screen by acquiring and analyzing the image inside the display screen. Thereby, the robot 100 can recognize a portion corresponding to the content image in the image captured by the camera 103. In this way, the robot 100 can automatically find the display device 200 and view the content.
  • the robot 100 may be configured to start the detection operation when the idle state continues for a predetermined time. Thereby, the robot 100 can communicate with the display device 200 and view the content by its own judgment instead of an external command.
  • the determination unit 110 determines the preference of the robot 100 for the content.
  • the indicated value can be increased or decreased. In this way, by comparing the pattern of the reference data with the pattern of the content image, it is possible to calculate the likability. It becomes possible to evaluate the content according to the unique preference of the robot 100.
  • the robot 100 can accumulate at least one of a recognized human pattern and a human motion pattern in the image acquired by the detection unit 108 as reference data. For example, when a certain person pattern is detected exceeding a certain frequency, the person pattern can be included in the reference data. Thereby, the reference data of the robot 100 can be updated according to the environment of the robot 100. That is, the preference of the robot 100 can be automatically updated according to the environment.
  • reference data is not limited to the above example.
  • text data may be used as reference data, and whether or not the information corresponding to the text data is included in the recognition result of the image of the camera 103 or the sound of the microphone 104 may be used for the favorableness calculation of the robot 100. .
  • the determination unit 110 detects a human motion pattern from the image detected by the detection unit 108, and the control unit 102 can cause the robot 100 to perform a motion corresponding to the motion.
  • the determination unit 110 can detect a person's extremities (skeleton) after executing a process of recognizing a human-like shape in a playback image of a content video taken by the camera 103 and detecting a person. .
  • movement of the limbs can also be detected.
  • the control unit 102 can operate the robot 100 in accordance with the detected movement of the limb.
  • the robot 100 when the robot 100 is configured to include a limb connected to the main body and a movable connection point, the limb of the robot 100 can be moved in the same manner as the detected movement of the limb. Thereby, the robot 100 can imitate the movement of the person in the content video.
  • the determination unit 110 calculates a value indicating the preference of the robot 100 with respect to the content, and the robot 100 uses the value indicating the preference to control the content being displayed on the display device 200 or the content to be output next. Can do.
  • the determination unit 110 calculates a value indicating the degree of preference for content, and when the preference level falls below a threshold value, the control unit 102 transmits a command for switching the content to be reproduced to the display device 200 via the communication unit 101. be able to. Further, when the preference degree calculated by the determination unit 110 exceeds a threshold value, the robot 100 may be operated so as to show a happy gesture.
  • control unit 102 can cause the robot 100 to perform a predetermined operation, for example, an operation of showing angry gestures. .
  • the determination unit 110 calculates a value indicating a monotonic degree of change in at least one of the sound and the image of the content being reproduced by the display device 200.
  • the control unit 102 It is possible to cause the robot 100 to perform a predetermined operation, for example, an operation of falling asleep.
  • the robot 100 groups contents whose likability value exceeds a threshold value, and the control unit 102 outputs information indicating at least one of the grouped contents to the user or via a network. You can also upload to other computers.
  • the configuration example and the operation example of the robot have been described above, but the configuration of the robot is not limited to the above example.
  • the robot 100 may omit the function of communicating with and controlling the display device 200. That is, a configuration may be employed in which the content to be reproduced by the display device 200 is viewed and evaluated, but the display device 200 is not controlled.
  • FIG. 2 is a diagram illustrating an example of a state in which the robot 100 is used with the display device 200.
  • the robot 100 is used together with the wireless LAN access point 400 and the display device 200 (tablet).
  • the communication unit 101 of the robot 100 and the communication unit 201 of the display device 200 can communicate with each other via the wireless LAN access point 400.
  • the wireless LAN access point 400 may be connected to a wide area network 602 such as the Internet via a LAN network 601.
  • the wireless LAN access point 400 is an example of a wireless relay device for a display device and a robot, and the relay method is not limited to a specific one.
  • the robot 100 shown in FIG. 2 includes a main body 11, arm portions 13a and 13b, and leg portions 14a and 14b connected to the main body.
  • the arm portions 13a and 13b and the foot portions 14a and 14b are attached so as to be movable with a connecting portion to the main body 11 as a fulcrum.
  • the main body 11 is provided with ears 12a and 12b in which a microphone 104 is built, eyes 15a and 15b in which a camera 103 is built in, and a mouth 16.
  • the arm portions 13a and 13b and the foot portions 14a and 14b are provided with actuators 106 for moving them, and the eyes 15a and 15b and the mouth portion 16 are provided with actuators 106 for changing their shapes. Be placed.
  • FIG. 3A is a diagram showing an example of a state in which the robot 100 shows a happy gesture.
  • the robot 100 swings up and down the two arm portions 13a and 13b and shows a happy gesture by operating to open the mouth portion 16.
  • FIG. 3B is a diagram illustrating an example of a state in which the robot 100 is angry.
  • the robot 100 gets angry by changing the shapes of the eyes 15a and 15b and the mouth 16 in a state where the legs 14a and 14b are inclined to raise the position of the main body 11. Showing a swing.
  • FIG. 3C is a diagram illustrating an example of a state where the robot 100 is dozing. In the example shown in FIG. 3C, the robot 100 changes the shapes of the eyes 15a and 15b and the mouth 16 with the main body 11 tilted.
  • FIG. 4 is a diagram illustrating an example of a state in which the robot 100 is posing in accordance with a person's pose of an image displayed on the display device 200.
  • the determination unit 110 of the robot 100 recognizes a pose in which the person in the image raises the right hand and right foot, and the control unit 102 takes a corresponding pose, that is, a pose in which the left hand raises the left foot.
  • the movement of the arm portions 13a and 13b and the foot portions 14a and 14b is controlled.
  • the number of human arm and foot joints and the number of arm and foot joints of the robot 100 are different.
  • the robot 100 is stably placed with the legs 14a and 14b being horizontal.
  • the structure and operation of the person and the robot may be different.
  • the robot 100 records in advance data indicating the correspondence between the movements of the human limbs and the movements of the arms and legs of the robot 100, and uses this data to determine the movements of the recognized human limbs. The movement of the robot 100 can be converted.
  • FIG. 5 is a diagram illustrating an arrangement example when the robot 100 and the display device 200 are used.
  • the robot 100 and the display device 200 are arranged side by side on a table, and are arranged so that the eyes 15 a and 15 b of the robot 100 face the display screen 200 a of the display device 200.
  • the display device 200 is installed in the adapter 500, and the display screen 200a is fixed with an angle with respect to the horizontal plane.
  • the adapter 500 may have a charging function.
  • the display screen 200a can be photographed by the camera 103 built in the eyes 15a and 15b.
  • the legs 14a and 14b of the robot 100 may be fixed, and the main body 11 may be configured to rotate about the vertical direction.
  • the robot 100 can photograph the surrounding 360 ° by rotating the main body 11, and can detect the display screen 200 a of the display device 200 in any direction.
  • the above embodiment is an example, and the configuration example, operation example, usage example, and external shape example of the robot 100 are not limited to the above example.
  • the second embodiment is a specific example of the state transition of the robot.
  • the configuration of the robot and the display device of the present embodiment can be the same as that of the first embodiment.
  • the determination unit 110 based on the signal from the detection unit 108, the determination unit 110 “user operation detected” “interphone turned on” “content detected” “good content” “battery A specific external state and internal state such as “the remaining amount is low” is detected as recognition information.
  • the determination unit 110 can determine the action of the robot based on the detected recognition information and the state transition information recorded in advance.
  • the state transition information is data for managing the robot operation for each state. When the robot satisfies a predetermined condition, it can be defined by the state transition information that the state transits from one state to another state.
  • FIG. 6 is a diagram showing an example of the contents of the state transition information in the present embodiment.
  • the state transition information includes nodes N1 to N11 indicating the state of the robot and paths K1 to K12 indicating the path of state transition between the nodes.
  • a state transition table in which data indicating transition destinations and sources, transition conditions, and transition probabilities is recorded for each of the paths K1 to K12 is recorded in the recording unit 107 as state transition information.
  • the determination unit 110 refers to the state transition table recorded in the recording unit 107 and determines behavior information indicating the next behavior probabilistically. Notify the control unit 105.
  • the behavior control unit 105 receives the behavior information, the behavior control unit 105 sends a drive signal based on the behavior information to the actuator 106 to operate the robot 100.
  • the control by the behavior control unit 105 is not limited to the control of the actuator 106, and can control the operation of other robots such as playing back voice data recorded in advance by the robot 100, for example.
  • the robot 100 can autonomously control the display device 200.
  • the display device 200 is a tablet
  • the robot 100 monitors an event at a predetermined interval or waits for an interrupt from the outside.
  • the determination unit 110 of the robot 100 recognizes that it is free.
  • the transition condition of the route K1 that is, the transition condition from the idle state (node N1) to the tablet search (node N2) is “recognize that it is free”
  • the transition probability of the defined route K1 the state of the robot 100 transitions to tablet search (node N2) (details of the search process will be described later).
  • the control unit 102 operates the tablet via the communication unit 101 and causes the tablet to reproduce content. At that time, it is possible to perform control so that unreproduced content is preferentially reproduced among the contents included in the content list received from the tablet (a specific example of the content list will be described later).
  • the determination unit 110 determines that “content has been detected” based on the information from the camera 103, the robot 110 transitions to a viewing state (node N4).
  • the robot 100 reproduces the content stored in the tablet by its own intention instead of an external command, and reacts according to the preference of the robot 100. can do.
  • the search process of the display device 200 can be executed, for example, by the control unit 102 controlling the orientation of the main body of the robot 100 and the camera 103 and analyzing a signal obtained by the camera 103.
  • the control unit 102 performs at least one of 1) panning and tilting the camera, 2) switching the zoom ratio of the camera, and 3) rotating the robot body about the vertical direction.
  • the camera 103 takes a picture.
  • the determination unit 110 detects the outer frame of the display device 200 or the quadrangle of the display screen by recognition processing of an image obtained by shooting.
  • the control unit 102 adjusts the position / posture of the camera 102.
  • the display screen of the display device 200 can be captured by the camera 103, and a video of the content reproduced by the display device 200 can be acquired.
  • processing for specifying the direction of the display device 200 can be executed based on the sound reception signal of the microphone 104.
  • the determination unit 110 can estimate the direction of the sound source based on the sound reception signal of the microphone 104.
  • the control unit 102 controls the robot 100 so that the camera 103 faces in the direction of the estimated sound source, and the determination unit 110 can detect the quadrangle of the outer frame of the display device 200 from an image obtained by photographing the direction. .
  • the determination unit 110 can estimate the position of the display device 200 by detecting a sound having a predetermined frequency using the display device 200 as a sound source. This frequency is preferably outside the human audible range.
  • the robot 100 operates the tablet and acquires a content list (content list) indicating content that can be reproduced from the tablet. For example, the robot 100 transmits a content list request to the tablet via the communication unit 101, and the tablet transmits a content list to the robot 100 via the communication unit 201 in response to this request.
  • a content list content list
  • the display device 200 such as a tablet records content such as photos and videos in the storage unit 204.
  • the playback unit 210 of the display device 200 records a content list for managing content stored in the storage unit 204.
  • the content list may be stored in the storage unit 204.
  • FIG. 7 is a diagram illustrating an example of a content list. As shown in FIG. 7, the content list includes a file name, a date and time, and a content ID allocated for content identification. In addition, an unviewed flag can be included. The unviewed flag is information indicating whether the content has been reproduced even once.
  • content information acquired by the robot 100 is not limited to the content list described above.
  • the robot 100 may acquire an EPG.
  • Example of state transition from viewing state> In the example illustrated in FIG. 6, in the viewing state (node N4), the robot 100 detects the video and audio of the content played on the tablet by the detection unit 108, and the information obtained by the detection unit 108 at the determination unit 110 Based on this, content evaluation is executed.
  • Examples of content evaluation include, for example, calculation of a value indicating the degree of preference or dislike of the content of the robot, calculation of a monotonic degree of the content, or a value indicating the degree of change.
  • it is determined whether or not the content includes predetermined content, whether or not the content reproduction is interrupted, whether or not the content reproduction is finished, and the screen of the display device for reproducing the content is the camera 103.
  • An example of content evaluation is whether or not it is deviated from the field of view.
  • the content evaluation performed by the determination unit 110 in this way includes determination regarding content.
  • the transition destination from the node N4 can be determined based on the result of the content evaluation by the determination unit 110.
  • transition conditions having the contents as shown in the following table can be set in the state transition table.
  • the condition for the transition from the route K4, that is, the viewing state (node N4) to the pleasure state (node N5) is “favorability exceeds the threshold or in the content image.
  • Data indicating that “a predetermined person is detected” is recorded.
  • the robot 100 shakes the joy with probability P3. Can work like that.
  • the control unit 102 when the determination unit 110 determines that N pieces of content (N is a natural number) are continuously completed in the viewing state in the route K9, the control unit 102 has a probability P9. The robot 100 is returned to the idle state (node N1).
  • the control unit 102 transitions the state of the robot 100 to the tablet operation (node N3) with the probability P3. And let the tablet play different content.
  • the control unit 102 controls the robot 100 to doze with probability P5.
  • the control unit 102 controls the robot 100 to perform an operation of showing anger with probability P6.
  • the control unit 102 controls the robot 100 to take a pose corresponding to this pose with probability P7. To do.
  • condition for transitioning from each of the nodes N5 to N8 to the viewing state of the node N4 can be, for example, a certain period of time.
  • condition from the dozing state (node N6) to the viewing state (node N4) may be that the determination unit 110 determines that the content moving image is not monotonous. Details of the determination process of the determination unit 110 will be described later.
  • the processing in each state of the above nodes N2 to N8 can be executed as viewing application processing.
  • the viewing application is activated.
  • the control unit 102 can cause the robot 100 to transition to a setting state and execute a setting process.
  • a specific example of the setting process will be described in the third embodiment.
  • the determination unit 110 of the robot 100 detects an interrupt based on the information obtained by the detection unit 108 in the idle state (node N1), the robot 100 transits to the interrupt state (node N10) (path K12). ).
  • the detection of interruption may be, for example, detection of an external input command such as detection of intercom, detection of incoming videophone call, detection of user operation (including voice and image).
  • the detection of internal states such as a battery fall, may be sufficient.
  • the transition from the interrupt state (node N10) to the notification state can be determined by the determination unit 110 according to the type of interrupt state, for example. For example, if the interrupt is predetermined as an interrupt to be notified to the user, such as the above interphone, videophone call, battery low, etc., the control unit 102 instructs the robot 100 to notify the user of them. For example, sound can be output.
  • the third embodiment is a specific embodiment of a setting function for enabling communication between the display device 200 and the robot 100.
  • FIG. 8 is a functional block diagram illustrating an example of a more detailed configuration of the determination unit 110 according to the third embodiment.
  • the configuration outside the determination unit 110 can be the same as that of at least one of the first and second embodiments.
  • a pairing unit 301 includes a pairing unit 301, a content information acquisition unit 302, an external device control unit 303, an image analysis unit 304, an audio analysis unit 305, an action determination unit 306, and a classification unit 307.
  • the pairing unit 301 acquires and records setting information necessary for the robot 100 to communicate with the display device 200.
  • the pairing unit 301 corresponds to the function of the setting unit 111 in the first embodiment.
  • the setting unit 111 and the determination unit 101 are provided as separate functional blocks.
  • the pairing unit 301 having a function corresponding to the setting unit 111 is one of the determination units 101. It is a function.
  • the pairing unit 301 exchanges information necessary for communication between the robot 100 and the display device 200 and records the information, thereby enabling communication between the two.
  • the content information acquisition unit 302 acquires information indicating content that the display device 200 can reproduce in response to an instruction from the robot 100. For example, the content information acquisition unit 302 can request the content list from the display device 200 and receive the content list as a response to the request.
  • the image analysis unit 304 analyzes the image captured by the camera 103 and notifies the behavior determination unit 306 of the analysis result.
  • the voice analysis unit 305 analyzes the voice received by the microphone 104 and notifies the behavior determination unit 306 of the analysis result.
  • the behavior determination unit 306 receives the image analysis result and the voice analysis result, determines the behavior of the robot 100 based on these results, and transmits the behavior information to the behavior control unit 105.
  • the image analysis unit 304 and the voice analysis unit 305 can detect the external state of the robot 100, and the behavior determination unit 306 can generate behavior information based on the external state.
  • one of the external states may include information related to content to be reproduced by the display device 200. That is, the image analysis unit 304 and the sound analysis unit 305 detect information related to the content, and the behavior determination unit 306 evaluates the content based on the information. Examples of information about the content include, for example, information indicating whether the detected image or sound is reproduced content, a recognition target (or extraction target) such as a person included in the content, a specific thing, or a specific word ), Information representing the state of the recognized object, such as the pose, motion, arrangement, feature amount, and the like.
  • the content evaluation can be executed based on the reference data of the robot 100 as in the first and second embodiments.
  • the image analysis unit 304 or the sound analysis unit 305 may extract an object such as a person included in the content using the reference data. That is, it is possible to evaluate the content unique to the robot 100 by extracting an object from the content based on the reference data and evaluating the content based on the object.
  • External device control unit 303 controls content output by display device 200 via communication unit 101.
  • the external device control unit 303 controls the external device based on the behavior determined by the behavior determination unit 306, for example.
  • the classification unit 307 classifies the content based on the evaluation of the content in the behavior determination unit 306, and outputs the classification result.
  • FIG. 9 is an example of a screen displayed on the display device 200 during the pairing process.
  • FIG. 10 is a flowchart illustrating an example of the pairing process in the display device 200 and the robot 100.
  • the display device 200 is a tablet will be described as an example.
  • the setting application is activated by a user operation on the tablet.
  • the tablet in which the setting application is activated displays a two-dimensional code on the tablet screen (S12).
  • a two-dimensional code as shown in FIG. 9 is displayed on the screen of the tablet.
  • the tablet also displays a message prompting the user to cause the robot 100 to photograph the two-dimensional code.
  • the tablet waits for a pairing request from the robot 100 (S13).
  • the user who sees this display activates the setting application of the robot 100 and operates the robot 100 to photograph the two-dimensional code (S21).
  • the robot 100 extracts tablet information, for example, the IP address of the tablet, from the photographed two-dimensional code (S22).
  • the robot 100 transmits a pairing request with the IP address of the tablet as the destination (S23). Information regarding the robot 100 may be included in the pairing request.
  • the robot 100 waits for a response from the tablet (S24).
  • the tablet When the tablet receives the pairing request (Yes in S13), it extracts information related to the robot 100 such as the IP address of the robot 100 and the name of the robot 100 included in the pairing request (S14). The tablet transmits a signal or data for permitting access to the robot 100 (S15).
  • the robot 100 When the robot 100 receives a notification of access permission from the tablet (Yes in S24), the pairing is completed. Thereby, since the robot 100 and the tablet have the mutual partner connection information, the mutual communication becomes possible.
  • the two-dimensional code may include a random value (numerical value or character string).
  • the robot 100 transmits a random value included in the read two-dimensional code to the tablet together with the pairing request. Only when the random value received together with the tablet pairing request is equal to the random value of the two-dimensional code displayed by itself, access to the robot that requested the pairing is permitted. Thereby, it is possible to prevent misperception such that a pairing request from another device that has not photographed the tablet screen is erroneously given permission.
  • the robot 100 can encrypt the pairing request using the read random value as an encryption key and notify the tablet of the encryption request. If the tablet can decrypt the pairing request, the tablet permits access to the transmission source of the pairing request. Thereby, it becomes possible to prevent other devices other than the robot 100 from easily pairing with the tablet.
  • the fourth embodiment is a specific example of a configuration in which the robot 100 evaluates content reproduced by the display device 200.
  • the configuration of the robot 100 may be the same as that of one of the first to third embodiments, or a combination of two or three of them.
  • the details of the functions of a robot configured by combining the robots 100 of the first to third embodiments will be described.
  • FIG. 11 is a flowchart illustrating an example of processing after the viewing application is activated by the robot 100 according to the present embodiment.
  • the robot 100 first searches for a tablet (an example of the display device 200) (S31).
  • the search operation can be performed in the same manner as in the first and second embodiments, for example.
  • the behavior determination unit 306 instructs the external device control unit 303 to start the tablet playback application (S32).
  • the content information acquisition unit 302 requests the content list from the tablet, and receives the content list from the tablet as a response (S33).
  • the content list can be the same as that shown in FIG. 7, for example, but is not limited thereto.
  • the external device control unit 303 selects the content to be reproduced from the content included in the content list (S34). For example, the external device control unit 303 can preferentially select an unviewed item (content of a record with no unviewed flag set). Note that the content selection may be random. Here, it is also possible to accept an input of content selection from the user. In that case, for example, it can also comprise so that a user's preference may be learned based on a user's selection history.
  • the external device control unit 303 transmits a reproduction request for the selected content to the tablet (S35).
  • the robot 100 When the reproduction of content is started on the tablet, the robot 100 starts the viewing process (S36).
  • the image analysis unit 304 of the robot 100 analyzes the reproduction image of the content detected by the camera 103, and the audio analysis unit 305 analyzes the reproduction audio of the content received by the microphone 104.
  • the behavior determination unit 306 evaluates the content against the reference data based on these analysis results.
  • the behavior determination unit 306 determines the behavior of the robot 100 based on the result of content evaluation. Examples of the action determined here include “pleasant”, “anger”, “mock”, “doze”, “switch”, “change operation”, and the like.
  • the “joyful” action is, for example, a case where the content is evaluated to meet the preference of the robot.
  • the “angry” behavior is, for example, a case where it is determined that the reproduction of the content is interrupted in the middle.
  • the “similar” action is, for example, a case where it is determined that there is an operation pattern that matches the pattern of the reference data in the content image.
  • the “sleeping” action is, for example, a case where the content is evaluated to be monotonous.
  • the “switching” action is, for example, a case where the content is evaluated as not satisfying the preference of the robot 100.
  • “Change the operation” is, for example, a case where it is determined that the content reproduction speed is too slow or too fast. Specific examples of these content evaluation processes will be described later.
  • the classification unit 307 classifies the content that has been reproduced, and outputs a classification result (S37).
  • the behavior determination unit 306 determines whether or not to add content to a favorite based on the preference value, and when adding the content to the favorite, the external device control unit 303 uses a tablet. Sends a request (editing request) to be added to the managed favorites list.
  • the robot 100 repeats the processes of S34 to S37 until there is no unviewed content (until S38 becomes Yes).
  • image analysis unit 304 the sound analysis unit 305
  • behavior determination unit 306 in S36 will be described.
  • the behavior determination unit 306 can evaluate the preference of the robot 100 for the content by calculating a value (score) representing the preference (degree of preference) for the content of the robot 100.
  • the likability can be calculated based on, for example, a result of matching between the content image and the reference data pattern by the image analysis unit 304.
  • the image analysis unit 304 determines whether or not a pattern corresponding to the pattern of the reference data is included in the reproduced content image.
  • the behavior determination unit 306 can update the value so as to increase the likability when it is determined that the pattern of the reference data is included in the content image.
  • data indicating the time when the image pattern is detected by the camera 103 can be accumulated and used for calculating the good sensitivity.
  • the face pattern of the user or his / her family registered as reference data can be stored in association with data indicating the time when the pattern was recognized in an image captured by the camera 103 in the past.
  • the behavior determination unit 306 when the behavior determination unit 306 recognizes the user's face pattern in the content image, the behavior determination unit 306 adjusts the amount of change in the preference according to the time when the user is recognized in the past. In other words, it is possible to change the degree of favorableness (or the degree of pleasure) according to whether the robot 100 has seen the user before or when it is near or far. For example, it is possible to increase the likability of the face that the robot has seen after a long time.
  • accumulation of reference data and behavior determination using the reference data are not limited to use in content evaluation.
  • it can be used to determine behavior such as emotion expression of the robot 100.
  • the robot actually accumulates the image pattern of the person photographed by the camera 103 and recognizes the person in the image of the camera 103 (not limited to the content image), it collates with the accumulated pattern, and the collation result Based on the behavior can be determined.
  • the robot 100 it becomes possible for the robot 100 to show a gesture that greatly stares to a person who has met for a long time, or to show a gesture that is familiar to a person who meets frequently.
  • the evaluation and determination of the actually photographed person can be performed based on the standard unique to the robot 100.
  • the reference data is not limited to the image pattern of the specific person as described above.
  • it may be data serving as a reference for determining the smile level of a person's face.
  • the robot 100 has a boyish personality, video and voice images of cars and trains are recorded as reference data, and if the robot 100 has a girlish personality, video and voice images of flowers and pets are recorded in advance as reference data. You can also keep it.
  • the robot 100 can recognize a person included in the content image, detect a human limb (skeleton), and further detect a movement or pose of the limb. This person's limb movement or pose pattern can be stored as reference data.
  • the behavior determination unit 306 compares the pattern accumulated as the reference data with the movements and poses of the person recognized in the content image being played back, so that the movements and poses of the person in the content image are unique to the robot. Evaluation can be made.
  • the robot 100 can react to a person's movement or pose detected from the content image exceeding a predetermined frequency.
  • the behavior determination unit 306 can perform an operation that imitates the movement or pose.
  • the robot 100 can perform an action that imitates a pose or movement that frequently appears in a content image. Thereby, the possibility that the robot 100 performs an operation that cannot be predicted by the user increases, and the user can be entertained.
  • the image analysis unit 304 can detect that the content reproduction has been interrupted by capturing a characteristic change in the reproduced content image. For example, when the menu screen of the tablet suddenly appears in the captured image of the camera 103, it can be determined that the content reproduction has been stopped. In addition to this menu screen, for example, the appearance of a basic screen displayed when the tablet is in a user instruction waiting state (idle state) such as a desktop screen or a default screen can be recognized as a characteristic change.
  • a user instruction waiting state such as a desktop screen or a default screen
  • the robot 100 can be angry as described above.
  • Example of processing for detecting that the content being viewed is monotonous When the image analysis unit 304 has not detected a pattern that matches the predetermined pattern in the content image or sound for a certain period of time, the behavior determination unit 306 can determine that the content is monotonous.
  • the predetermined pattern can be, for example, a human figure or a face.
  • the behavior determination unit 306 causes the robot 100 to “doze”.
  • Example of processing for detecting that there is little change in the content image being viewed >>
  • a comparison using a quadtree representation can be used.
  • the image analysis unit 304 calculates the change amount of the image of the content captured by the camera 103 using the quadtree representation, and the behavior determination unit 206 continues the predetermined amount of images whose change amount is smaller than the threshold value. If it is determined that the same image continues, it can be determined.
  • the display device 200 is controlled via the external device control unit 303 and the communication unit 101 so as to increase the image display interval. Can do. Thereby, the playback speed of the content image can be controlled in accordance with the degree of change of the content image.
  • the fifth embodiment is a specific example of content classification processing by the classification unit 307.
  • the classification unit 307 classifies content based on the evaluation by the determination unit 110.
  • the content classification can be executed by, for example, determining which of the plurality of groups the content viewed by the robot 100 belongs. This determination can be made based on the preference (degree of preference) of the robot with respect to the content by the determination unit 110. Alternatively, the content can be classified according to the matching result between the reference data and the content.
  • One example of a simple classification process is a process of determining whether or not to add content to a robot favorite.
  • the classification unit 307 can determine that the favorite addition of the robot 100 with respect to the content calculated by the determination unit 110 exceeds the threshold value, and that the favorite addition is not performed otherwise.
  • the classification unit 307 can classify the contents viewed by the robot 100 by attaching tags indicating evaluations such as interesting and bored. Also in this case, the tag can be determined based on the evaluation of the determination unit 110. For example, as the evaluation by the determination unit 110, the tag to be attached can be determined using the above-described favorable sensitivity, monotonic degree, and image change degree.
  • content can be classified based on the result of matching reference data with content.
  • the classification unit 307 can group content so that content groups including the same pattern as the reference data pattern belong to the same group. For example, content that includes the same person or pose as the reference data registered in advance as the reference data in the image can be classified into the same group.
  • the classification unit 307 can collect the images in which the robot 100 has the same pose as the newly learned pose and collect it into one group. Alternatively, the classification unit 307 may automatically classify photographs that include a specific person into one group.
  • the robot 100 preferably has a function of appealing the result of classification by the classification unit 307 to the outside. For example, as an operation of the robot 100 for appealing the classification, 1) talk to the user, 2) attract the user's attention, 3) increase the frequency of playback of the content classified as a favorite, and 4) automatically enter the web page. Uploading the classification results.
  • the classification unit 307 automatically classifies the images of the family into one group, and the robot 100 “sees” the group classified by the classification unit 307. It is possible to act to appeal to the family.
  • the external device control unit 303 that controls the content reproduction by the display device 200 can reproduce the content classified as a favorite at a higher frequency than other content according to the classification result of the classification unit 307.
  • the robots may exchange information about favorite content via SNS.
  • the classification unit 307 may be configured to update the favorite list recorded by the display device 200.
  • the playback unit 210 of the display device 200 can have a mechanism for registering favorite content for each user, for example. Specifically, a list indicating favorite contents of each user can be recorded in the storage unit 204 as a “favorite list”. The favorite list is created for each user, and a content ID and attached information are recorded for each favorite content of the user. The attached information is, for example, the number of times of reproduction and the date and time of the last reproduction.
  • FIG. 12 is a diagram showing an example of such a favorite list.
  • the favorite list that is, the data indicating the content classification result may not necessarily be in the display device 200.
  • the information on the content classified according to the robot 100 specific preference is obtained by the above-described classification function.
  • a favorite folder or a favorite list can be created according to the preference of the robot 100, and contents can be organized according to the preference of the robot 100.
  • unexpected user hobbies are collected in the favorite list, and the user can be entertained.
  • the sixth embodiment is a modification of reference data used by the robot 100 for evaluation.
  • the reference data of this embodiment can be applied to any of Embodiments 1 to 5 or a combination thereof.
  • the format of the reference data is not limited to a specific one, and can be, for example, pattern data that serves as a template during image recognition, voice recognition, or motion recognition as described above.
  • the pattern data includes, for example, images, sound, text, data indicating limb movement patterns, data indicating human poses, and the like.
  • the reference data can include data recorded in advance in the recording unit 107 when the robot 100 is shipped. Further, the configuration may be such that the user inputs the reference data to the robot 100, or instead of this user input or in addition to the user input, the robot 100 autonomously incorporates information from the outside, It may be configured to store reference data. For example, the robot 100 can acquire data such as images, sounds, and texts included in a predetermined folder of the display device 200, and can use the acquired data as it is or after processing it.
  • FIG. 13 is a functional block diagram showing an example of the configuration of the determination unit 110 when the robot 100 has a reference data storage function.
  • the determination unit 110 further includes a reference data storage unit 308, a reference data acquisition unit 309, and a reference data update unit 310.
  • the reference data storage unit 308 records the information recognition result acquired by the detection unit 108 in the recording unit 107 as reference data.
  • the reference data storage unit 308 can store, for example, at least one of a person recognized in the image of the camera 103 and an operation pattern of the person as reference data.
  • the reference data storage unit 308 does not necessarily store all the recognition results as reference data.
  • the reference data storage unit 308 may extract the recognition results recorded as reference data based on the appearance frequency or randomly. May be.
  • a person familiar with the robot 100 can be included in the content. Whether it is included or not can be used as a criterion for evaluation.
  • the reference data acquisition unit 309 acquires data recorded on the display device 200 via the communication unit 201 or data recorded at a location indicated by information recorded on the display device 200 as reference data.
  • the reference data acquisition unit 309 can acquire still images, music files, moving image files, and the like in the user folder recorded on the display device 200 and record them as reference data in the recording unit 107.
  • the user's preference of the display device 200 can be related to the preference of the robot 100.
  • the reference data can be acquired from other than the display device 200.
  • the reference data acquisition unit 309 acquires information for accessing the content reproduced with reference to the content reproduction history or the like of the user of the display device 200, accesses the content, and is extracted from the content itself or the content Pattern data can be taken into the robot 100 as reference data and recorded in the recording unit 107.
  • the reference data acquisition unit 309 acquires a URL included in the browser favorite list and a URL included in the access history. Then, it is possible to access a location indicated by these URLs (information indicating the location of the content) and download an image, a text file, or the like to the robot 100.
  • the reference data is not necessarily recorded in the robot 100.
  • the robot 100 can evaluate using the reference data recorded in the storage unit 204 of the display device 200, or the result of the evaluation using the reference data stored in the storage unit 204 by the display device 200.
  • the robot 100 may receive the above.
  • the reference data update unit 310 updates the reference data based on the content evaluation by the determination unit 110. For example, the evaluation result by the determination unit 110 and the reference data used to obtain the evaluation result are recorded in association with each other, and the necessity of the reference data depends on whether the evaluation result satisfies a certain condition. No can be determined. This makes it possible to automatically optimize the reference data, for example, by deleting the reference data in which an unfavorable evaluation result has continued for a predetermined number of times or the reference data that is used less frequently in the evaluation. Alternatively, when the reference data is recorded together with the score, the score can be updated according to the evaluation result.
  • the positive score of the image pattern can be added each time an evaluation process using the image pattern is executed.
  • the robot 100 can automatically change the preference of the robot 100 such that the robot 100 becomes more like as it sees the image pattern.
  • the determination unit 110 may include at least one of the reference data storage unit 308, the reference data acquisition unit 309, and the reference data update unit 310.
  • the reference data storage unit 308, the reference data acquisition unit 309, and the reference data update unit 310 may be provided as independent functional units different from the determination unit 110, or provided as functional units inside the behavior determination unit 306. May be.
  • FIG. 14 is a functional block diagram showing the configuration of the robot according to the present embodiment.
  • the robot 100 includes a detection unit 108, a control unit 102, and a communication unit 101.
  • the control unit 102 includes a determination unit 110 and an external device control unit 303.
  • the detection unit 108 detects at least one of audio and images of content output from the content output device 200.
  • the determination unit 110 evaluates the information output by the content output apparatus 100 by evaluating the information detected by the detection unit 108 based on the reference data.
  • the external device control unit 303 controls content output by the content output device 200 via the communication unit 101.
  • the detection unit 108 As specific forms of the detection unit 108, the control unit 102, the determination unit 110, the external device control unit 303, and the communication unit 101 in the present embodiment, for example, the same ones as at least one of the first to sixth embodiments are employed. can do.
  • the robot 100 has a processing system for detecting the sound, light, and video of the content output device 200 and evaluating the content. Further, separately from the processing system, the robot 100 and the control signal or control It has a communication system for transmitting and receiving data. By such a combination, it becomes possible to perform content reception and content output device control more flexibly.
  • content output by the content output device 200 can be controlled based on the content evaluation result evaluated by the determination unit 110. It is also possible for the robot 100 to autonomously evaluate the content and to cause the content output device 200 to output the content according to the preferences unique to the robot 100.
  • the robot 100 can control the content output device in accordance with an operation from the user.
  • the robot 100 includes an input device such as a touch panel and buttons, and can control the content output apparatus in accordance with an operation from a user received via the input device.
  • the user can use the robot 100 as a remote controller for remotely operating the content output device 200.
  • the robot 100 may have a function of switching between a control mode of the content output device 200 by a user operation and a control mode of the content output device 200 based on a content evaluation result by the determination unit 110. For example, while there is no operation input from the user, the robot 100 autonomously controls content output based on the evaluation result of the determination unit 110, and when there is an operation input from the user, based on an instruction from the user Content can be controlled.
  • the content output apparatus 200 may be a device that outputs light such as a so-called laser pointer.
  • the detection unit 108 of the robot 100 detects the light (bright spot) irradiated by the content output unit 203 onto the object, the floor, the wall, or the like, and the locus of the light.
  • the determination unit 110 collates the blinking pattern of light or the pattern of the locus of light detected by the detection unit 108 with reference data registered in advance. These patterns can be interpreted as specific commands (or information).
  • the control unit 102 can perform an operation corresponding to the command or information interpreted by the determination unit 110 on the robot 100.
  • the external device control unit 303 may send a signal or data indicating that the laser pointer is detected or the command is interpreted to the laser pointer via the communication unit 101 and the communication unit 201.
  • the laser pointer receives this signal or data, for example, it can change the color of the light output by the laser pointer from red to green. This allows the user to know that the robot has interpreted the command.
  • the detection unit 108 detects the bright spot of the light emitted from the content output apparatus 200 to the object
  • the determination unit 110 analyzes the locus of the detected bright spot
  • the control unit 102 further analyzes the detected bright spot.
  • the behavior or state of the robot 100 can be controlled based on information obtained from the trajectory.
  • the laser pointer can be used as a command device for the robot. For example, if the user points to the position of the laser pointer and draws the trajectory of a specific figure assigned to the “move” command, the robot moves to the indicated position. Can be realized.
  • the detecting unit 108 can detect a bright spot by determining whether or not a pattern matching a predetermined color and shape of the bright spot exists in an image captured by a camera, for example.
  • a bright spot can be detected by a camera that detects only the light band of the laser pointer.
  • the detection unit 108 can be configured by a camera that captures an image through a filter that transmits light in a predetermined band. Note that it is not necessary to detect a bright spot in a predetermined area like a predetermined screen.
  • the detection unit 108 can scan the periphery of the robot 100 and detect the bright spot from the captured image.
  • the content output device can be combined with a laser pointer and other output devices.
  • the content output device may be a combination of a laser pointer and a display, and the robot 100 may detect the bright spot of the laser pointer irradiated on the display so that the position of the display is detected.
  • the robot 100 may also detect the bright spot of the laser pointer irradiated on the display screen and analyze the locus.
  • Embodiment 1-7 the example of embodiment of this invention was demonstrated as Embodiment 1-7, this invention is not limited to the said embodiment.
  • the content is not limited to a video, and includes content that can be browsed, viewed, or experienced by humans.
  • the content includes text, still images, moving images, music, games, or combinations thereof.
  • the content is stored in a storage device as digital or analog data and can be transmitted through a transmission path.
  • the content data is reproduced, displayed, or executed by the device, for example, so that a human can browse, view, or experience the content.
  • the device used as the display device 200 includes, for example, a mobile phone, a PDA (personal digital assistant), an electronic book playback terminal (electronic book reader), a multi-function mobile phone, an electronic dictionary, a portable game machine, A tablet-type terminal such as a functional remote controller can be mentioned.
  • a non-tablet display device such as a television device or a photo frame can be used.
  • the content output device is not limited to a display device, and may be a playback device such as a music player that outputs audio content.
  • the display device when the display device is a television, instead of acquiring a content list and selecting content from the content list, one of the known channels can be selected. In that case, communication between the display device and the robot can be easily realized by an infrared remote controller.
  • the present invention is useful, for example, as a system including a robot that performs original content evaluation.
  • the present invention can be applied as a toy robot that can be familiar to the user and has a unique preference.

Abstract

　ロボット装置（１００）は、コンテンツ出力装置（２００）が出力するコンテンツの音声及び画像の少なくともいずれかを検出する検出部（１０８）と、基準データを基にして検出部（１０８）で検出された情報を評価することで、コンテンツ出力装置（２００）が出力したコンテンツを評価する判断部（１１０）と、判断部（１１０）の評価に基づいて、ロボット装置（１００）の挙動又は状態を制御する制御部（１０２）とを備える。

Description

ロボット装置、ロボット制御方法、及びロボット制御プログラム
　本願開示は、再生されたコンテンツに対して評価をするロボット装置、ロボット制御方法、及びロボット制御プログラムに関する。
　近年、ペット型ロボットが各メーカーから販売されており、一般の家庭内で見かける機会も多くなってきている。その中でも、人からの呼びかけに対して反応することで、人とコミュニケーションを取りつつ、コンテンツなどの情報を提供するロボットが現れてきている。
　ロボットが人とコミュニケーションを取りつつコンテンツを提供するものとして、ロボットの感情に適合するコンテンツを選択し、再生するものが提案されている（例えば、特許文献１参照）。前記特許文献１に記載されたコンテンツ再生システムでは、外部からの働きかけに応じて感情を変更して自律的に動作するロボット装置が、コンテンツ再生装置に感情情報を送信する。コンテンツ再生装置は、コンテンツに関する情報を記載したメタデータとロボット装置の感情情報とを比較し、ロボット装置の感情に適合するコンテンツを選択して再生することでロボット装置の感情を表現している。
　また、テレビジョン放送に含まれる２次元バーコードや特定音階コマンドでなる特殊コードをロボットが認識することで、ロボットに特殊コードに応じた行動を行わせるロボットシステムも提案されている（例えば、特許文献２参照）。
特開２００５－１６９５６７ 特開２００１－３１０２８３
　しかしながら、前記特許文献１に開示の構成では、ロボット装置の感情に沿ったコンテンツを表示するのみであり、ロボットがコンテンツを独自に評価する仕組みはない。特許文献２に開示の構成は、放送された映像データに重畳された特殊コードに応じてロボットの発現行動が制御されるものであり、ロボットが放送番組などを独自に評価する仕組みはない。
　本願開示の一実施形態に係るロボット装置は、コンテンツ出力装置が出力するコンテンツの音声及び画像の少なくともいずれかを検出する検出部と、基準データを基にして前記検出部で検出された情報を評価することで、前記コンテンツ出力装置が出力したコンテンツを評価する判断部と、前記判断部の評価に基づいて、ロボット装置の挙動又は状態を制御する制御部とを備える。
　コンピュータを上記ロボット装置として機能させるためのプログラム及びそれを記録した非一時的な(non-transitory)記録媒体や、コンピュータが上記機能を実行する方法も、本発明に含まれる。
　本発明の実施形態によれば、コンテンツに対するロボット固有の評価を可能にするロボット装置、方法、及びプログラムを提供することができる。
図１は、実施の形態１におけるロボットを含むシステムの構成例を示す機能ブロック図である。 図２は、ロボットが表示装置とともに使用される状態の一例を示す図である。 図３Ａは、ロボットが喜ぶ素振りを見せている状態の一例を示す図である。 図３Ｂは、ロボットが怒る素振りを見せている状態の一例を示す図である。 図３Ｃは、ロボットが居眠りしている状態の一例を示す図である。 図４は、表示装置が表示する画像の人物のポーズに合わせて、ロボットがポーズをとっている状態の一例を示す図である。 図５は、ロボット及び表示装置の使用時における配置例を示す図である。 図６は、実施形態２における状態遷移情報の内容の一例を示す図である。 図７は、コンテンツリストの一例を示す図である。 図８は、実施形態３における判断部のより詳細な構成の一例を示す機能ブロック図である。 図９は、ペアリングの過程において表示装置で表示される画面の一例である。 図１０は、表示装置及びロボットにおけるペアリング処理の一例を示すフローチャートである。 図１１は、実施形態４におけるロボットの視聴アプリ起動後の処理の一例を示すフローチャートである。 図１２は、実施形態５におけるお気に入りリストの一例を示す図である。 図１３は、実施形態６における判断部の構成の一例を示す機能ブロック図である。 図１４は、実施形態７におけるロボットの構成を示す機能ブロック図である。
　本発明の実施形態にかかるロボット装置では、判断部が、基準データを基に、コンテンツの評価を行い、その結果に基づいてロボット装置の挙動や状態が制御される。そのため、ロボット装置は、コンテンツに対するロボット固有の評価を行い、コンテンツに対するロボット装置固有の反応を示すことができる。
　［実施形態１］
　［ロボット及び表示装置の構成例］
　図１は、実施の形態１におけるロボットを含むシステムの構成を示す機能ブロック図である。図１に示すシステムは、表示装置２００及びロボット１００を含む。表示装置２００は、コンテンツ出力装置の一例であり、ロボット１００は、ロボット装置の一例である。
　表示装置２００は、例えば、テレビジョン装置、タブレット、ＰＣ、ＰＤＡ、ゲーム機又は携帯電話等で構成することができ、コンテンツの画像及び音声を出力する機能を備える。具体例として、表示装置２００は、再生手段２０３、制御部２０２、蓄積部２０４、及び通信部２０１を備える。再生手段２０３は、映像データ又は音声データ等のコンテンツを、映像及び音声として再生する。制御部２０２は、再生部２１０と設定部２１１を含む。再生部２１０は、再生手段２０３を制御して、蓄積部２０４に記録されたコンテンツの再生、停止、一時停止、再生位置、等を、例えば、外部からの指示に基づいて制御する。設定部２１１は、例えば、表示装置２００へ動作を指示する外部装置に関する情報、再生の条件等を示す情報、及び表示装置２００で再生可能なコンテンツに関する情報等を、蓄積部２０４に記録することで、表示装置２００の動作条件を設定することができる。通信部２０１は、表示装置２００の外部機器（例えば、コンテンツを提供するサーバ、表示装置２００に動作指示を送るロボット１００等）との通信を行うインタフェースとして機能する。
　ロボット１００は、通信部１０１、制御部１０２、カメラ１０３及びマイク１０４を含む検出部１０８、行動制御部１０５、並びに駆動部１０６を備える。通信部１０１は、主に、表示装置２００等の外部機器との通信を行う。表示装置２００の通信部２０１とロボット１００の通信部１０１とを、有線又は無線によるネットワーク（公衆回線を含む）を介して接続し、データ又は信号の送受信を可能とする構成にすることができる。通信部２０１、１０１による通信は、例えば、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＺｉｇｂｅｅ（登録商標）等の技術を用いることができる。なお、通信部２０１、１０１による通信形態は特定のものに限定されない。
　検出部１０８は、表示装置２００で再生されるコンテンツの音声及び画像の少なくともいずれかを検出する。そのため、検出部１０８は、例えば、画像を検出する撮影手段の一例であるカメラ１０３及び音声を検出する集音手段の一例であるマイク１０４を備える。なお、検出部１０８の構成は、上記例に限られず、例えば、ロボット１００の外部又は内部の状態を監視するその他のセンサを含むことができる。具体的には、ロボット１００への外部からの接触や圧力を検出するタッチセンサ又は圧力センサ、熱センサ等の外部センサ、もしくは、ロボット１００のバッテリ（図示せず）の残量を監視する内部センサ等を検出部１０８に含めることもできる。また、検出部１０８は、カメラ１０３及びマイク１０４のいずれかを備える構成であってもよい。
　制御部１０２は、検出部１０８で検出された情報を用いて、外部又は内部の状況や、再生されたコンテンツを評価する判断部１１０と、ロボット１００の動作を示す情報や通信のための情報を設定する設定部１１１を有している。判断部１１０は、基準データを基にして検出部１０８で検出された情報を評価することで、表示装置２００が出力したコンテンツを評価する機能も備えることができる。基準データは、コンテンツ評価の基準となるデータである。判断部１１０は、表示装置２００で再生されたコンテンツを視聴する処理をロボット１００に実行させる視聴アプリケーションを用いて実現することができる。具体的には、判断部１１０は、カメラ１０３が撮影した画像中に含まれるコンテンツの画像を、記録部１０７に記録された基準データを基に解析することで、コンテンツの評価をすることができる。同様に、マイク１０４で集音されたコンテンツの音声を、基準データを基に解析することでコンテンツの評価をすることができる。この場合、判断部１１０による評価処理は、検出された画像又は音声に含まれるコンテンツの画像又は音声を抽出する処理及び、抽出したコンテンツの画像又は音声を基準データとマッチングする処理を含むことになる。
　基準データは、例えば、検出部１０８で検出されたコンテンツの画像又は音声のパターンとマッチングするテンプレート（基準パターン）とすることができる。例えば、画像の場合は、各画素の特徴量を並べた特徴量ベクトルを示すデータをパターンとすることができる。音声の場合は、各フレームの特徴量のセットを示すデータをパターンとすることができる。また、動画が検出される場合、動画中の人の動きを骨格（四肢）の動き（変化）を表すデータをパターンとすることもできる。基準データは、例えば、ユーザによって予め登録されてもよいし、ロボット１００が検出部１０８を介して得た情報を基に自動的に蓄積されてもよい。
　また、ロボット１００が、表示装置２００に記録されたデータ、または表示装置２００に記録された情報により示された場所に記録されたデータを基準データとして取得してもよい。これにより、表示装置２００に関連する情報をロボット１００が収集して、ロボット１００によるコンテンツ評価基準に用いることができる。その結果、ロボット１００の評価基準（例えば、好み）を、表示装置２００に影響を受けたものにすることができる。
　さらに、ロボット１００は、判断部１１０によるコンテンツ評価に基づいて、基準データを更新することもできる。これにより、ロボット１００が、自発的に、自らの評価基準（例えば、好み）を変遷させることができる。
　このように、ロボット１００が、コンテンツ評価の基準となる情報を、ユーザ入力等の外部からの指示によらず、自動的に、取得、蓄積又は更新する機能を備えることで、ロボット１００独自のコンテンツ評価が可能になる。
　判断部１１０によるコンテンツの評価は、例えば、コンテンツに対するロボットの好感度、嫌悪度、退屈度等の度合いを示す値（スコア）を算出する処理であってもよいし、コンテンツに所定の情報が含まれているか否かを判定する処理であってもよい。例えば、判断部１１０は、基準データのパターンと、コンテンツのパターンとのマッチングの度合いに基づいて、上記スコアを算出するか、あるいは上記判定を実行することができる。なお、基準データの内容及び判断部１１０の処理は上記例に限られない。
　制御部１０２は、判断部１１０の評価に基づいて、ロボット１００の挙動又は状態を制御する。例えば、制御部１０２は、行動制御部１０５を介して、駆動部１０６の動作を制御することで、ロボット１００の動きを制御することができる。
　駆動部１０６は、例えば、ロボット１００の可動部を動かすアクチュエータ（モータ）等とすることができる。なお、駆動部１０６のアクチュエータとして人工筋肉を用いることもできる。また、ロボット１００は、可動部に変えて、又は可動部に加えて発光部や発音部などを備えてもよい。
　行動制御部１０５は、ロボット１００の各種動作の発現条件、発現確率、及び発現可否を示す情報をパラメータとして記録しておき、パラメータに従って駆動部１０６に制御信号を出力することができる。この場合、制御部１０２は、判断部１１０の評価に応じて前記パラメータを更新することで、ロボット１００の動作を制御することができる。
　設定部１１１は、表示装置２００と通信するための設定情報を取得し、記録部１０７に記録する。例えば、設定部１１１は、表示装置２００から出力された音声、光及び画像の少なくともいずれかを解析することにより表示装置２００と通信するための設定情報を取得し、記録部１０７に記録することができる。例えば、設定情報として表示装置２００のアドレス情報を含む２次元コードが表示された表示装置２００の画面を、ロボット１００のカメラ１０３が撮影し、設定部１１１が解析することで、表示装置２００のアドレス情報を取得することができる。設定部１１１は、アドレス情報を用いて表示装置２００へアクセス許可要求（例えば、ペアリング要求）を発信し、表示装置２００から許可を得ることで、両者の通信が可能になる。
　２次元コードで表される設定情報には、表示装置２００へのアクセス情報に加えてアクセス許可を得るための認証情報が含まれてもよい。認証情報には、例えば、ランダム値（数値或いは文字列）が含まれてもよい。この場合、ロボット１００は、ペアリング要求とともに設定情報から読み取ったランダム値を表示装置２００へ発信する。表示装置２００は、ロボット１００又は他の機器からペアリング要求を受けた場合、ペアリング要求とともに受信したランダム値が、表示中の２次元コードに含まれるランダム値と一致した場合にのみ、その機器からのアクセスを許可することができる。これにより、表示装置２００は、表示内容に応じて外部からのアクセス許可を制御することができる。また、セキュリティレベルを向上させることもできる。
　なお、表示装置２００及びロボット１００間の設定情報を交換する構成は上記例に限られない。例えば、２次元コードの変わりに、バーコード、コンポジットコードを用いてもよい。また、設定情報は、表示装置２００の出力画像に限らず、出力音声から取得してもよいし、ユーザからの入力受け付け、又はインターネット等のネットワークを介するダウンロードにより取得することもできる。表示装置２００の出力音声をロボット１００が検出し、設定部１１１が解析することで設定情報を取得する場合、音声の周波数は、可聴領域であってもよいし、非可聴領域であってもよい。可聴領域の音声を用いた場合、表示装置２００とロボット１００との間で情報のやり取りが行われていることを、周りの人にわからせることができる。非可聴領域の音声を用いた場合は、周りの人に気づかれずに情報のやり取りが可能になる。或いは、設定部１１１は、ロボット１００が検出した表示装置２００から出力された赤外線により、設定情報を受け取ることもできる。赤外線を用いた場合は、回りの人に気づかれずに設定情報のやり取りができる。
　上記の制御部１０２、行動制御部１０５、通信部１０１及び記録部１０７の機能は、ロボット１００に内蔵されるコンピュータが所定のプログラムを実行することで実現することができる。コンピュータに、上記機能を実行させるプログラム及びそれを記録した記録媒体も本発明の実施形態に含まれる。
　［動作例］
　ここで、ロボット１００の動作例を以下に列挙する。各動作の詳細については、後の実施形態でも説明する。
　《表示装置の自動探索》
　ロボット１００は、検出部１０８により周辺の画像を取得し、取得した画像中に含まれる表示装置２００の筐体形状あるいは画面境界の矩形を検出することにより、表示装置２００の表示画面を検出することができる。検出時に基準として用いる筐体や画面の形状データは、予めロボット１００に記録されていてもよいし、ユーザが登録可能な形態であってもよい。ロボット１００は、表示画面を検出すると、表示画面の内側の画像を取得し解析することで、表示画面に再生されたコンテンツの画像を解析することができる。これにより、ロボット１００は、カメラ１０３が撮影した画像中のコンテンツ画像に相当する部分を認識することができる。このようにして、ロボット１００が、自動的に表示装置２００を見つけ、コンテンツを視聴することができる。また、ロボット１００は、アイドル状態が所定時間継続した場合に、検出動作を開始するよう構成されていてもよい。これにより、ロボット１００が、外部からの命令ではなく、自らの判断で表示装置２００と通信し、コンテンツを視聴することができる。
　《ロボットのコンテンツに対する好感度の決定処理》
　判断部１１０は、検出部１０８で検出されたコンテンツの画像の中に、基準データに含まれる人物パターン及び人物の動作パターンの少なくとも１つを認識した場合に、そのコンテンツに対するロボット１００の好感度を示す値を増加又は減少させることができる。このように、基準データのパターンとコンテンツの画像のパターンとを比較することで、好感度を算出することができる。ロボット１００独自の好みでコンテンツを評価することが可能になる。
　また、ロボット１００は、検出部１０８が取得した画像中に認識された人物パターン及び人物の動作パターンの少なくとも１つを、基準データとして蓄積することができる。例えば、ある人物パターンが一定頻度を越えて検出された場合、その人物パターンを基準データに含めることができる。これにより、ロボット１００の基準データを、ロボット１００の環境に応じて更新することができる。すなわち、ロボット１００の好みを環境に応じて自動的に更新することができる。
　なお、基準データは、上記例に限られない。例えば、テキストデータを基準データとし、カメラ１０３の画像又はマイク１０４の音声の認識結果中に、テキストデータに対応する情報が含まれているか否かを、ロボット１００の好感度計算に用いてもよい。
　《判断部１１０の評価に基づく動作の例》
　判断部１１０は、検出部１０８で検出された画像の中から人物の動作パターンを検出し、制御部１０２は、当該動作に応じた動きをロボット１００にさせることができる。例えば、判断部１１０は、カメラ１０３が撮影したコンテンツ動画の再生画像中に、人らしい形状を認識する処理を実行して人を検出した上で、人の四肢（骨格）を検出することができる。さらに四肢の動きも検出することができる。制御部１０２は、検出した四肢の動きにあわせてロボット１００を動作させることができる。例えば、ロボット１００が、本体及び本体に可動な接続点で接続された四肢を備える構成である場合、検出した四肢の動きと同じように、ロボット１００の四肢を動かすことができる。これにより、ロボット１００が、コンテンツ動画の人の動きを真似ることができる。
　判断部１１０は、コンテンツに対するロボット１００の好感度を示す値を算出し、ロボット１００は、好感度を示す値を用いて、表示装置２００が再生中のコンテンツ又は次に出力するコンテンツを制御することができる。
　例えば、判断部１１０が、コンテンツの好み度合いを表す値を算出し、好み度合いが閾値を下回ると制御部１０２は、再生するコンテンツを切り替える命令を、通信部１０１を介して表示装置２００へ送信することができる。また、判断部１１０の計算した好み度合いが閾値を越えると、ロボット１００に喜ぶ素振りを見せるよう動作させてもよい。
　また、判断部１１０が、表示装置２００によるコンテンツ再生が、途中で中断したと判定した場合、制御部１０２が、ロボット１００に、所定の動作、例えば、怒る素振りを見せる動作、をさせることができる。
　また、判断部１１０は、表示装置２００が再生中のコンテンツの音声及び画像の少なくともいずれかにおける変化の単調度合いを示す値を算出し、前記単調度合いが閾値を超えた場合、制御部１０２は、ロボット１００に所定の動作、例えば、居眠りする動作、をさせることができる。
　あるいは、ロボット１００は、好感度を示す値が閾値を越えるコンテンツを、グループ化し、制御部１０２は、グループ化されたコンテンツの少なくとも１つを示す情報をユーザに対して出力あるいは、ネットワークを介して他のコンピュータへアップロードすることもできる。
　［変形例及び効果］
　以上、ロボットの構成例及び動作例を説明したが、ロボットの構成は上記例に限られない。例えば、ロボット１００は、表示装置２００と通信し、制御する機能を省略してもよい。すなわち、表示装置２００の再生するコンテンツを視聴し、評価するが、表示装置２００の制御はしない構成であってもよい。
　上記構成では、表示装置２００とロボット１００が連携し、ロボット１００が自律的に表示装置２００を操作し、コンテンツを楽しむ様子を演出することができる。また、従来、写真や動画は人間が見て楽しむものであったが、上記構成においては、ロボット１００が再生されるコンテンツを見て喜ぶなどの反応を行う。ユーザの音声や表情などを捉えて、ユーザと共にコンテンツを楽しむ様子を演出することもできる。そのため、ロボットがコンテンツを視聴して反応する様子を見た人間も楽しい気持ちになることができる。例えば、一人暮らしのユーザに、一緒にコンテンツを楽しむ相手を提供することで、癒しの効果を期待できる。これは、ロボットを介したコミュニケーションの一つの新しい形態となりえる。
　［ロボットの使用状態例］
　図２は、ロボット１００が表示装置２００とともに使用される状態の一例を示す図である。図２に示す例では、ロボット１００は、無線ＬＡＮアクセスポイント４００、表示装置２００（タブレット）とともに用いられる。ロボット１００の通信部１０１と表示装置２００の通信部２０１とは、無線ＬＡＮアクセスポイント４００を介して通信が可能となっている。無線ＬＡＮアクセスポイント４００は、ＬＡＮネットワーク６０１を介してインターネット等の広域ネットワーク６０２に接続されていてもよい。無線ＬＡＮアクセスポイント４００は、表示装置及びロボットの無線中継装置の一例であり、中継方式は、特定のもの限定されない。
　図２に示すロボット１００は、本体１１と、本体に連結された腕部１３ａ、１３ｂ、及び足部１４ａ、１４ｂを備える。腕部１３ａ、１３ｂ、及び足部１４ａ、１４ｂは、本体１１への連結部分を支点として可動となるよう取り付けられている。また、本体１１には、マイク１０４が内蔵される耳部１２ａ、１２ｂ、カメラ１０３が内蔵される目部１５ａ、１５ｂ、口部１６が設けられている。腕部１３ａ、１３ｂ、及び足部１４ａ、１４ｂには、これらを動かすためのアクチュエータ１０６が配置され、目部１５ａ、１５ｂ、及び口部１６には、これらの形状を変化させるためのアクチュエータ１０６が配置される。
　図３Ａは、ロボット１００が喜ぶ素振りを見せている状態の一例を示す図である。図３Ａに示す例では、ロボット１００は、２つの腕部１３ａ、１３ｂを上下に振り、口部１６を開くよう動作することで喜ぶ素振りを見せている。図３Ｂは、ロボット１００が怒る素振りを見せている状態の一例を示す図である。図３Ｂに示す例では、ロボット１００は、足部１４ａ、１４ｂを傾斜させて本体１１の位置を上昇させた状態で、目部１５ａ、１５ｂ、及び口部１６の形状を変化させることで、怒る素振りを見せている。図３Ｃは、ロボット１００が居眠りしている状態の一例を示す図である。図３Ｃに示す例では、ロボット１００は、本体１１を傾かせた状態で、目部１５ａ、１５ｂ、及び口部１６の形状を変化させている。
　図４は、表示装置２００が表示する画像の人物のポーズに合わせて、ロボット１００がポーズをとっている状態の一例を示す図である。ロボット１００の判断部１１０は、画像中の人物が右手右足を上げているポーズを認識し、制御部１０２は、これに対応するポーズ、すなわち、左手左足を上げているポーズを、ロボット１００がとるよう、腕部１３ａ、１３ｂ、及び足部１４ａ、１４ｂの動きを制御している。
　なお、図４に示す例では、人の腕と足の関節の数とロボット１００の腕部と足部の関節の数は異なっている。また、人は足が垂直に延びた状態で安定して立つの対して、ロボット１００は、足部１４ａ、１４ｂが水平になった状態で安定して配置される。このように、人とロボットでは、構造や動作が異なっていてもよい。ロボット１００は、例えば、人の四肢の動きとロボット１００の腕部及び足部の動きとの対応関係を示すデータを予め記録しておき、このデータを用いて、認識した人の四肢の動きをロボット１００の動きに変換することができる。
　図５は、ロボット１００及び表示装置２００の使用時における配置例を示す図である。図５に示す例では、ロボット１００及び表示装置２００は、テーブル上に並べて置かれ、ロボット１００の目部１５ａ、１５ｂが表示装置２００の表示画面２００ａを向くように配置されている。表示装置２００は、アダプタ５００に設置され、表示画面２００ａが水平面に対して角度を持って固定される。アダプタ５００は充電機能を備えてもよい。図５に示す配置により、目部１５ａ、１５ｂに内蔵されたカメラ１０３で表示画面２００ａを撮影することができる。例えば、ロボット１００の足部１４ａ、１４ｂを固定し、本体１１が、垂直方向を軸に回転するように構成されてもよい。これにより、ロボット１００は、本体１１を回転させて周囲の３６０°を撮影でき、表示装置２００の表示画面２００ａがどの方向にあっても検出することができる。
　以上の実施形態は一例であり、ロボット１００の構成例、動作例、使用例、外部形状例は、上記例に限定されない。
　［実施形態２］
　実施形態２は、ロボットの状態遷移の具体例である。本実施形態のロボット及び表示装置の構成は、上記実施形態１と同様にすることができる。
　図１に示す構成において、判断部１１０は、検出部１０８からの信号に基づいて、「ユーザ操作を検出した」「インタ－ホンがなった」「コンテンツを検出した」「良いコンテンツだ」「バッテリ残量が少なくなった」等の特定の外部状態及び内部状態を認識情報として検出する。判断部１１０は、検出した認識情報と、予め記録された状態遷移情報とに基づいてロボットの行動を決定することができる。状態遷移情報は、ロボットの動作を状態ごとに管理するためのデータである。ロボットがある所定の条件を満たすと、ある状態から他の状態へ遷移することを状態遷移情報により定義することができる。
　図６は、本実施形態における状態遷移情報の内容の一例を示す図である。図６に示す例では、状態遷移情報は、ロボットの状態を示すノードＮ１～Ｎ１１と、ノード間の状態遷移の経路を示す経路Ｋ１～Ｋ１２を含んでいる。具体例として、遷移先及び遷移元、遷移するための条件、遷移確率を示すデータを経路Ｋ１～Ｋ１２それぞれについて記録した状態遷移表が、状態遷移情報として、記録部１０７に記録される。
　判断部１１０は、検出部１０８からの信号により認識情報が得られた時、記録部１０７に記録された状態遷移表を参照して、次の行動を示す行動情報を確率的に決定し、行動制御部１０５へ通知する。行動制御部１０５は、行動情報を受けると、行動情報に基づく駆動信号をアクチュエータ１０６に対して送出し、ロボット１００を動作させる。行動制御部１０５による制御は、アクチュエータ１０６の制御に限られず、例えば、ロボット１００が予め記録していた音声データを再生する等、その他のロボットの動作を制御することができる。
　＜ロボットが表示装置を探索する場合の状態遷移例＞
　図６に示す例では、ロボット１００が、自律的に、表示装置２００を制御することが可能になっている。ここでは、一例として、表示装置２００がタブレットである場合について説明する。例えば、ロボット１００は、アイドル状態（待機の状態）のときは、所定間隔でイベントの監視、あるいは外部からの割り込み待ちをしている。アイドル状態が所定時間続くと、ロボット１００の判断部１１０は、暇だと認識する。ここで、経路Ｋ１の遷移、すなわち、アイドル状態（ノードＮ１）からタブレット探索（ノードＮ２）への遷移の条件が、「暇だと認識すること」である場合、定義された経路Ｋ１の遷移確率で、ロボット１００の状態は、タブレット探索（ノードＮ２）へ遷移する（探索処理の詳細は後述）。
　ノードＮ２のタブレット探索において、タブレットが見つかった場合、制御部１０２は、通信部１０１を介して、タブレットを操作し、タブレットにコンテンツを再生させる。その際、タブレットから受信したコンテンツリストに含まれるコンテンツのうち、未再生のコンテンツを優先して再生するよう制御することができる（コンテンツリストの具体例は後述）。コンテンツが再生され、判断部１１０が、カメラ１０３からの情報を基に「コンテンツを検出した」と判断すると、ロボット１１０は、視聴状態（ノードＮ４）に遷移する。このように状態遷移表を定義することで、ロボット１００は、ロボット１００が、タブレットに保存してあるコンテンツを、外部からの命令でなく自らの意思で再生し、ロボット１００の好みに応じて反応することができる。
　《表示装置探索時の動作例》
　表示装置２００の探索処理は、例えば、制御部１０２が、ロボット１００の本体の向きやカメラ１０３を制御し、カメラ１０３で得られる信号を解析することにより、実行することができる。具体例として、制御部１０２は、１）カメラをパン・チルトする、２）カメラのズーム比を切り替える、及び、３）ロボット本体を、垂直方向を軸に回転させる動作のうち少なくとも１つの動作を行いながら、カメラ１０３で撮影する。判断部１１０は、撮影で得られる画像の認識処理により、表示装置２００の外枠または表示画面の四角形を検出する。判断部１１０が表示装置２００の外枠を検出すると、制御部１０２は、カメラ１０２の位置・姿勢を調整する。これにより、表示装置２００の表示画面をカメラ１０３で撮影し、表示装置２００で再生されるコンテンツの映像を取得することが可能になる。
　なお、探索処理は、上記例に限られない。例えば、上記のカメラ１０２動作に換えて、あるいは、加えて、マイク１０４の受音信号により、表示装置２００の方向を特定する処理を実行することができる。例えば、マイク１０４にマイクアレイを用いることで、判断部１１０は、マイク１０４の受音信号を基に音源の方向を推測することが可能である。制御部１０２は、推測された音源の方向にカメラ１０３が向くよう、ロボット１００を制御し、判断部１１０は、その方向を撮影した画像から表示装置２００の外枠の四角形を検出することができる。また、判断部１１０は、表示装置２００を音源とする所定の周波数の音を検出することにより、表示装置２００の位置を推測することができる。この周波数は、人の可聴域外であることが好ましい。
　《コンテンツリストの具体例》
　ノードＮ３のタブレット操作において、ロボット１００は、タブレットを操作し、タブレットから再生可能なコンテンツを示すコンテンツリスト（コンテンツ一覧）を取得する。ロボット１００は、例えば、通信部１０１を介してタブレットへコンテンツリスト要求を送信し、タブレットはこの要求に応じて、コンテンツリストを、通信部２０１を介して、ロボット１００へ送信する。
　タブレットのような表示装置２００は、蓄積部２０４に、写真、動画などのコンテンツを記録している。表示装置２００の再生部２１０は、蓄積部２０４のコンテンツを管理するためのコンテンツリストを記録している。なお、コンテンツリストは、蓄積部２０４に保存されてもよい。図７は、コンテンツリストの一例を示す図である。図７に示すように、コンテンツリストは、ファイル名、日時、及びコンテンツ識別のために割り振られたコンテンツＩＤを備えている。また、未視聴フラグを含むことができる。未視聴フラグは、コンテンツが一回でも再生されたか否かを示す情報である。
　なお、ロボット１００が取得するコンテンツの情報は、上記のコンテンツリストに限定されない。例えば、表示装置２００がテレビであれば、ロボット１００は、EPGを取得してもよい。
　＜視聴状態からの状態遷移例＞
　図６に示す例では、視聴状態（ノードＮ４）において、ロボット１００は、タブレットで再生されるコンテンツの映像及び音声を検出部１０８で検出し、判断部１１０にて、検出部１０８が得た情報を基に、コンテンツの評価を実行する。コンテンツの評価の例は、例えば、ロボットのコンテンツに対する好感度又は嫌悪度を示す値の算出、コンテンツの単調度合い、又は、変化度合いを示す値の算出、等が挙げられる。また、コンテンツに所定の内容が含まれているか否かの判定、コンテンツ再生が途中で中断されたか否かの判定、コンテンツの再生が終了したか否か、コンテンツ再生する表示装置の画面がカメラ１０３の視界からずれているか否か等も、コンテンツ評価の例として挙げられる。このように判断部１１０でされるコンテンツ評価には、コンテンツに関する判定が含まれる。
　ノードＮ４からの遷移先は、このような、判断部１１０によるコンテンツの評価の結果によって決めることができる。経路Ｋ３～Ｋ９については、例えば、下記表のような内容の遷移条件を、状態遷移表に設定することができる。
Figure JPOXMLDOC01-appb-T000001
　上記表１に示す状態遷移表例では、経路Ｋ４、すなわち、視聴状態（ノードＮ４）から喜び状態（ノードＮ５）への遷移の条件は「好感度が閾値を越えた、又は、コンテンツ画像中に所定の人物を検出」であることを示すデータが記録される。これにより、ロボット１００は、好みに合うコンテンツを視聴した場合に、又は、コンテンツ画像中に所定の人物（例えば、ユーザ及びその家族等）を発見した場合に、確率Ｐ３で、喜びの素振りをするよう動作することができる。
　上記状態遷移表例に基づけば、経路Ｋ９では、視聴状態において、連続でＮ個（Ｎは自然数）のコンテンツが終了したことを、判断部１１０が判定すると、制御部１０２は、確率Ｐ９で、ロボット１００をアイドル状態（ノードＮ１）に戻す。
　経路Ｋ３では、視聴状態において、判断部１１０が算出する好感度の値が下方の閾値Ｄを下回った場合、制御部１０２は、確率Ｐ３で、ロボット１００の状態をタブレット操作（ノードＮ３）へ遷移させ、タブレットに異なるコンテンツを再生させる。経路Ｋ５では、視聴状態において、単調な画像が続いたことを判断部１１０が認識すると、制御部１０２は、確率Ｐ５で、ロボット１００が居眠り動作をするよう制御する。経路Ｋ６では、視聴状態において、コンテンツ再生が途中で中断したと判断部１１０が認識すると、制御部１０２が、確率Ｐ６で、ロボット１００が怒りの素振りを見せる動作をするよう制御する。経路Ｋ７では、視聴状態において、判断部１１０が、コンテンツの画像中に、所定ポーズの人物を認識した場合、制御部１０２が、確率Ｐ７で、このポーズに対応するポーズをロボット１００がとるよう制御する。
　なお、ノードＮ５～Ｎ８それぞれからノードＮ４の視聴状態へ遷移する条件は、例えば、一定時間経過とすることができる。又は、居眠り状態（ノードＮ６）から視聴状態（ノードＮ４）への条件は、判断部１１０が、コンテンツ動画が単調でないと判断したこと、とすることもできる。また、上記の判断部１１０の判断処理の詳細については後述する。
　上記のノードＮ２～Ｎ８の各状態における処理は、視聴アプリの処理として実行することができる。この場合、ロボット１００が、ノードＮ２～Ｎ８の各状態のいずれかにあるときは、視聴アプリが起動されていることになる。
　＜その他の状態遷移例＞
　《設定》
　ロボット１００がアイドル状態（ノードＮ１）のときに、ユーザ操作により表示装置２００の設定が指示された場合、ロボット１００は、設定状態（ノードＮ１１）に遷移し、設定処理が終了すると、アイドル状態に戻る（経路Ｋ１３）。制御部１０２は、例えば、設定アプリを起動することで、ロボット１００を設定状態に遷移させ、設定処理を実行させることができる。設定処理の具体例については実施形態３で述べる。
　《割り込み、お知らせ》
　アイドル状態（ノードＮ１）において、ロボット１００の判断部１１０が、検出部１０８で得られた情報を基に、割り込みを検出した場合、ロボット１００は、割り込み状態（ノードＮ１０）に遷移する（経路Ｋ１２）。割り込みの検出は、例えば、インターホンがなったことの検出、テレビ電話を着信したことを検出、ユーザ操作（音声、画像を含む）の検出等の外部入力コマンドの検出であってもよい。また、バッテリ低下等の内部状態の検出であってもよい。割り込み状態（ノードＮ１０）からお知らせ状態への遷移は、例えば、割り込み状態の種類に応じて判断部１１０が判断することができる。例えば、割り込みが上記のインターホン、テレビ電話着信、バッテリ低下など、ユーザに対して知らせるべき割り込みとして予め決められていたものであれば、制御部１０２は、それらをユーザに知らせるべく、ロボット１００に、例えば、音声を出力させることができる。
　以上、状態遷移の詳細の実施形態について説明したが、上記状態遷移は上記例に限定されない。
　［実施形態３］
　実施形態３は、表示装置２００とロボット１００との通信を可能にするための設定機能の具体的な実施形態である。図８は、実施形態３における判断部１１０のより詳細な構成の一例を示す機能ブロック図である。判断部１１０の外側の構成については、上記実施形態１及び２の少なくともいずれかと同様とすることができる。
　図８に示す判断部１１０は、ペアリング部３０１、コンテンツ情報取得部３０２、外部機器制御部３０３、画像解析部３０４、音声解析部３０５、行動判断部３０６及び分類部３０７を有する。
　ペアリング部３０１は、ロボット１００が表示装置２００と通信するために必要な設定情報を取得し、記録する。ペアリング部３０１は、上記実施形態１における設定部１１１の機能に相当する。実施形態１では、設定部１１１と判断部１０１がそれぞれ別の機能ブロックとして設けられていたが、本実施形態では、設定部１１１に相当する機能を持つペアリング部３０１は、判断部１０１の一機能となっている。
　ペアリング部３０１は、ロボット１００と表示装置２００との通信に必要な情報を、交換しあいそれぞれ記録することで、両者間の通信を可能にする。
　コンテンツ情報取得部３０２は、表示装置２００が、ロボット１００からの指示に応じて再生することができるコンテンツを示す情報を取得する。例えば、コンテンツ情報取得部３０２は、表示装置２００にコンテンツリストを要求し、要求への応答として、コンテンツリストを受け取ることができる。
　画像解析部３０４は、カメラ１０３が撮影した画像を解析して、行動判断部３０６へ解析結果を通知する。音声解析部３０５は、マイク１０４が受音した音声を解析して、行動判断部３０６へ解析結果を通知する。行動判断部３０６は、画像解析結果及び音声解析結果を受け取り、これらを基に、ロボット１００の行動を決定し、行動制御部１０５へ行動情報を伝える。この構成によれば、画像解析部３０４及び音声解析部３０５で、ロボット１００の外部状態を検出し、外部状態に基づいて、行動判断部３０６が行動情報を生成することができる。
　ここで、外部状態の１つに、表示装置２００の再生するコンテンツに関する情報が含まれていてもよい。すなわち、画像解析部３０４及び音声解析部３０５が、コンテンツに関する情報を検出して、行動判断部３０６が、その情報を基に、コンテンツを評価する。コンテンツに関する情報の例として、例えば、検出された画像又は音声が再生されたコンテンツであるか否かを示す情報、コンテンツに含まれる人物や特定のもの又は特定の言葉等の認識対象（又は抽出対象）となるオブジェクトや、認識されたオブジェクトのポーズ、動き、配置、特徴量等状態を表す情報等が挙げられる。
　コンテンツの評価は、上記実施形態１及び２と同様に、ロボット１００の基準データに基づいて実行することができる。なお、例えば、画像解析部３０４又は音声解析部３０５において、コンテンツに含まれる人物等のオブジェクトの抽出を、基準データを用いて行ってよい。すなわち、基準データを基にコンテンツ中からオブジェクトを抽出し、オブジェクトを基にコンテンツを評価することでも、ロボット１００独自のコンテンツ評価が可能になる。
　外部機器制御部３０３は、通信部１０１を介して、表示装置２００によるコンテンツの出力を制御する。外部機器制御部３０３は、例えば、行動判断部３０６で決定された行動に基づいて、外部機器を制御する。
　分類部３０７は、行動判断部３０６でのコンテンツの評価に基づいて、コンテンツを分類し、分類結果を出力する。
　［ペアリングの動作例］
　図９は、ペアリングの過程において、表示装置２００で表示される画面の一例である。図１０は、表示装置２００及びロボット１００におけるペアリング処理の一例を示すフローチャートである。ここでは、一例として、表示装置２００がタブレットである場合について説明する。
　図１０に示す例では、まず、タブレットにおいて、ユーザ操作により設定アプリが起動される。設定アプリが起動中のタブレットは、ユーザ指示により、ペアリングを開始すると（Ｓ１１）、タブレットの画面に２次元コードを表示する（Ｓ１２）。例えば、図９に示すような２次元コードがタブレットの画面に表示される。タブレットは、ユーザに対して、この２次元コードをロボット１００に撮影させるようユーザに促すメッセージも表示する。その後、タブレットは、ロボット１００からのペアリング要求を待つ（Ｓ１３）。
　この表示を見たユーザは、ロボット１００の設定アプリを起動し、ロボット１００を操作して、２次元コードを撮影する（Ｓ２１）。ロボット１００は、撮影した２次元コードからタブレットの情報、例えば、タブレットのＩＰアドレスを抽出する（Ｓ２２）。ロボット１００は、タブレットのＩＰアドレスを宛先として、ペアリング要求を送信する（Ｓ２３）。ペアリング要求には、ロボット１００に関する情報を含めてもよい。ペアリング要求送信すると、ロボット１００は、タブレットからの応答を待つ（Ｓ２４）。
　タブレットはペアリング要求を受信すると（Ｓ１３でＹｅｓ）、ペアリング要求に含まれるロボット１００のＩＰアドレス、ロボット１００の名前など、ロボット１００に関する情報を抽出する（Ｓ１４）。タブレットは、アクセスを許可する旨の信号又はデータをロボット１００へ送信する（Ｓ１５）。
　ロボット１００は、タブレットからアクセス許可の通知を受けると（Ｓ２４でＹｅｓ）、ペアリングが完了する。これにより、ロボット１００及びタブレットは、互いの相手の接続情報を持つようになるため、互いの通信が可能になる。
　ここで、２次元コードには、ランダム値（数値又は文字列）を含むようにしてもよい。この場合、ロボット１００は、読み取った２次元コードに含まれるランダム値を、ペアリング要求とともに、タブレットへ送信する。タブレットのペアリング要求とともに受信したランダム値が、自らが表示した２次元コードのランダム値と等しい場合にのみ、ペアリング要求したロボットに対するアクセスを許可する。これにより、タブレット画面を撮影していない他の機器からのペアリング要求に誤って許可を出すといった誤認を防ぐことができる。
　あるいは、ロボット１００は、読み取ったランダム値を、暗号化キーとしてペアリング要求を暗号化して、タブレットへ通知することができる。タブレットは、ペアリング要求を復号化できた場合に、ペアリング要求の送信元にアクセスを許可する。これにより、ロボット１００以外の他の機器が容易にタブレットとペアリングすることを防ぐことが可能となる。
　［実施形態４］
　実施形態４は、ロボット１００が、表示装置２００の再生するコンテンツを評価する構成の具体例である。ロボット１００の構成は、実施形態１～３のうち１つか、あるいはそれらのうちの２つ又は３つの組み合わせと同様の構成を採用することができる。以下では、一例として、実施形態１～３のロボット１００を組み合わせた構成のロボットについて、その機能の詳細を説明する。
　図１１は、本実施形態におけるロボット１００の視聴アプリ起動後の処理の一例を示すフローチャートである。図１１に示す例では、ロボット１００は、まず、タブレット（表示装置２００の一例）を探索する（Ｓ３１）。探索動作は、例えば、上記実施形態１及び２と同様にすることができる。
　画像解析部３０４の解析の結果、タブレットのフレームの四角形が検出できた場合、行動判断部３０６は、外部機器制御部３０３に、タブレットの再生アプリを起動するように指示する（Ｓ３２）。コンテンツ情報取得部３０２は、コンテンツリストをタブレットへ要求し、その応答として、コンテンツリストをタブレットから受信する（Ｓ３３）。
　コンテンツリストは、例えば、図７に示したものと同様のものを用いることができるが、これに限定されない。外部機器制御部３０３は、コンテンツリストに含まれるコンテンツのうち、再生するコンテンツを選択する（Ｓ３４）。外部機器制御部３０３は、例えば、未視聴のもの（未視聴フラグが立っていないレコードのコンテンツ）を優先して選択することができる。なお、コンテンツの選択はランダムであってもよい。また、ここで、ユーザからコンテンツ選択の入力を受け付けることもできる。その場合、例えば、ユーザの選択履歴に基づいてユーザの嗜好を学習するように構成することもできる。
　外部機器制御部３０３は、選択したコンテンツの再生要求をタブレットへ送信する（Ｓ３５）。
　タブレットでコンテンツの再生が開始されると、ロボット１００は、視聴処理を開始する（Ｓ３６）。Ｓ３６の視聴処理では、例えば、ロボット１００の画像解析部３０４がカメラ１０３で検出したコンテンツの再生画像を解析し、音声解析部３０５が、マイク１０４で受音したコンテンツの再生音声を解析する。行動判断部３０６は、これらの解析結果を基に基準データに照らしてコンテンツを評価する。
　行動判断部３０６は、コンテンツの評価の結果に基づいて、ロボット１００の行動を決定する。ここで決定される行動の例として、「喜ぶ」、「怒る」、「真似る」、「居眠りする」、「切り替えする」、「動作を変える」等が挙げられる。「喜ぶ」行動は、例えば、コンテンツがロボットの好みに合うと評価された場合である。「怒る」行動は、例えば、コンテンツの再生が途中で中断されたと判定された場合である。「真似る」行動は、例えば、コンテンツ画像中に基準データのパターンにマッチする動作パターンがあると判定された場合である。「居眠りする」行動は、例えば、コンテンツが単調であると評価された場合である。「切り替えする」行動は、例えば、コンテンツがロボット１００の好みに合わないと評価された場合である。「動作を変える」は、例えば、コンテンツ再生の速度が遅すぎる、又は早すぎると判定された場合である。これらのコンテンツ評価処理の具体例について後述する。
　行動判断部３０６がコンテンツの再生の終わりを検出すると、分類部３０７が、再生し終わったコンテンツを分類し、分類結果を出力する（Ｓ３７）。図１１に示す例では、行動判断部３０６は、好感度合いの値に基づいて、コンテンツをお気に入りに追加するか否かを決定し、お気に入りに追加する場合は、外部機器制御部３０３が、タブレットで管理しているお気に入りリストへ追加してもらう旨の要求（編集要求）を送信する。
　ロボット１００は、上記Ｓ３４～Ｓ３７の処理を、未視聴のコンテンツがなくなるまで（Ｓ３８でＹｅｓになるまで）、繰り返す。以下、上記のＳ３６における画像解析部３０４、音声解析部３０５及び行動判断部３０６の機能の具体例を説明する。
　《ロボットの好みを評価する処理の例》
　行動判断部３０６は、例えば、ロボット１００のコンテンツに対する好感度（好みの度合い）を表す値（スコア）を算出することで、ロボット１００のコンテンツに対する好みを評価することができる。好感度は、例えば、画像解析部３０４によるコンテンツ画像と基準データのパターンとの照合結果を基に算出することができる。
　例えば、画像解析部３０４は、再生されたコンテンツの画像の中に、基準データのパターンに相当するパターンが含まれているか否かを判断する。この場合、行動判断部３０６は、基準データのパターンがコンテンツ画像に含まれていると判断された場合に、好感度を上げるよう値を更新することができる。これにより、例えば、基準データとして、予めロボット１００のユーザやその家族の顔の画像パターンを登録しておけば、その顔がコンテンツ画像中に含まれていると、ロボット１００の好感度を上げることができる。
　また、基準データの画像パターンとともに、画像パターンをカメラ１０３で検出した時期を示すデータを蓄積しておき、好感度の算出に用いることもできる。例えば、基準データとして登録されているユーザやその家族の顔のパターンを、過去にカメラ１０３で撮影した画像中に当該パターンを認識した時期を示すデータと対応付けて蓄積することができる。この場合、行動判断部３０６は、コンテンツの画像中にユーザの顔パターンを認識した場合、過去にユーザを認識した時期に応じて、好感度合いの変化量を調整する。言い換えれば、ロボット１００が、以前にそのユーザを見た時期が近いか遠いかに応じて好感度合い（又は喜びの度合い）を変えることができる。例えば、ロボットが久しぶりに見た顔だと好感度を上げるといったことが可能になる。
　なお、基準データの蓄積と、それを用いた行動判断は、コンテンツの評価に用いる場合に限られない。例えば、ロボット１００の感情表現等のような行動の決定にも用いることができる。ロボットが実際にカメラ１０３で撮影した人の画像パターンを蓄積しておき、カメラ１０３の画像（コンテンツ画像に限らない）の中に人を認識した際に、蓄積されたパターンと照合し、照合結果に基づいて、行動を決定することができる。これにより、例えば、ロボット１００が、久しぶりに会った人に対して大きく喜ぶ素振りを見せたり、頻繁に会う人になれなれしい素振りを見せたりすることが可能になる。すなわち、コンテンツだけでなく、実際に撮影した人物に対する評価や判定も、ロボット１００に固有の基準に基づいて行うことが可能になる。
　基準データは、上記のような特定人物の画像パターンに限られない。例えば、人物の顔の笑顔度合いを判断するための基準となるデータであってもよい。また、ロボット１００に男の子的な性格をもたせるのであれば、車や電車の映像や音声、ロボット１００に女の子的な性格をもたせるのであれば花やペットの映像や音声等を基準データとして予め記録しておくこともできる。
　《ロボットが動き又はポーズを検出する処理》
　ロボット１００は、コンテンツ画像に含まれる人を認識し、人の四肢（骨格）を検出、さらに四肢の動き又はポーズを検出することができる。この人の四肢の動き又はポーズのパターンは、基準データとして蓄積することができる。行動判断部３０６は、基準データとして蓄積したパターンを、再生中のコンテンツ画像において認識された人の動きやポーズと照合することで、これらコンテンツ画像中の人の動きやポーズに対してロボット固有の評価を行うことができる。
　例えば、基準データのパターンと一致する動きやポーズをコンテンツ画像に検出した場合、コンテンツに対する好感度合いを高くすることができる。また、コンテンツ画像から、所定頻度を越えて検出される人の動きやポーズに対して、ロボット１００が反応することができる。
　また、画像解析部３０４が、基準データの動き又はポーズに一致するものを、コンテンツ画像中に検出した場合、行動判断部３０６は、その動き又はポーズを真似る動作をすることができる。例えば、ロボット１００は、コンテンツ画像中に頻繁に出現するポーズや動きを真似る動作をすることができる。これにより、ユーザには予想がつかない動作をロボット１００が行う可能性が高くなり、ユーザを楽しませることができる。
　なお、画像中の人の動きやポーズの他、例えば、音声の特徴量のパターン等のその他パターンについても、同様にして、ロボット１００による認識、ものまねが可能である。また、ロボット１００によるコンテンツ画像中の人の動きやポーズなどのパターン認識は、必ずしも、高い精確性を求めなくてもよい場合もある。むしろ、適切な頻度で誤認識することで、ロボット１００の愛嬌をユーザに感じさせることもある。
　《視聴中にコンテンツ再生の中断を検出する処理の例》
　画像解析部３０４は、再生されたコンテンツの画像のある特徴のある変化を捉えることにより、コンテンツ再生が中断されたことを検出することができる。例えば、カメラ１０３の撮影画像にタブレットのメニュー画面が突然現れた場合、コンテンツ再生が中止されたと判断することができる。このメニュー画面の他に、例えば、デスクトップ画面又はデフォルト画面等のように、タブレットがユーザの指示待ち状態（アイドル状態）の時に表示する基本画面の出現を特徴ある変化として認識することができる。
　視聴中のコンテンツ再生の中断を検出した場合、上記のように、ロボット１００は、怒る動作をすることができる。
　《視聴中のコンテンツが単調であることを検出する処理の例》
　画像解析部３０４が、コンテンツの画像又は音声中に所定パターンと一致するパターンが検出されない時間が一定以上経過した場合に、行動判断部３０６は、そのコンテンツを単調であると判断することができる。所定のパターンは、例えば、人の姿、又は顔等とすることができる。コンテンツが単調であると判断されると、行動判断部３０６は、ロボット１００に「居眠り」させる。
　《視聴中のコンテンツ画像の変化が少ないことを検出する処理の例》
　再生されたコンテンツにおいて、同じような画像が続くことを検出するには、例えば、四分木表現による比較を用いることができる。具体的には、画像解析部３０４は、カメラ１０３で撮影されたコンテンツの画像の変化量を四分木表現を用いて算出し、行動判断部２０６は、変化量が閾値より小さい画像が所定続いた場合に、同じような画像が続いていると判定することができる。
　行動判断部３０６が、同じような画像が続いていると判断した場合、画像の表示間隔を早くするように、外部機器制御部３０３、及び通信部１０１を介して、表示装置２００を制御することができる。これにより、コンテンツ画像の変化度合いに応じて、コンテンツ画像の再生速度を制御することができる。
　［実施形態５］
　実施形態５は、分類部３０７によるコンテンツ分類処理の具体例である。分類部３０７は、判断部１１０による評価に基づいて、コンテンツを分類する。コンテンツの分類は、例えば、ロボット１００が視聴したコンテンツが複数のグループのうちいずれに属するかを決定することで実行することができる。この決定は、判断部１１０による、コンテンツに対するロボットの好感度（好みの度合い）を基準に行うことができる。又は、基準データとコンテンツとのマッチング結果に応じてコンテンツを分類することもできる。
　［分類処理の例］
　単純な分類処理の例の１つに、コンテンツをロボットのお気に入りに追加するか否かを判断する処理が挙げられる。例えば、分類部３０７は、判断部１１０が算出したコンテンツに対するロボット１００の好感度が、閾値を越えた場合は、お気に入り追加、そうでなければ追加しないと決定することができる。
　他の分類処理の例として、例えば、分類部３０７は、ロボット１００が視聴したコンテンツに対して、面白い、退屈等、評価を表すタグを付すことで分類をすることができる。この場合も、判断部１１０の評価を基にタグを決定することができる。例えば、判断部１１０による評価として、上記の好感度、単調の度合い、画像の変化の度合いを用いて、付するタグを決定することができる。
　また、他の分類処理の例として、基準データとコンテンツとの照合結果を基に、コンテンツを分類することもできる。具体的には、分類部３０７は、基準データのパターンと同じパターンを含むコンテンツ群が同じグループに属するよう、コンテンツをグループ化することができる。例えば、予め基準データとして登録された人物又はポーズと同じ人物又はポーズを画像に含むコンテンツを同じグループに分類することができる。分類部３０７は、ロボット１００が、新たに覚えたポーズと同じポーズの人が写っている画像を集め１つのグループにすることができる。又は、分類部３０７は、自動的に特定の人物が写っている写真を１つのグループに分類してもよい。
　［分類結果の出力例］
　ロボット１００は、分類部３０７による分類した結果を外部にアピールする機能を有することが好ましい。例えば、分類をアピールするためのロボット１００の動作として、１）ユーザに話しかける、２）ユーザの注意を惹く、３）お気に入りに分類したコンテンツの再生頻度を高くする、４）自動的にＷｅｂページに分類結果をアップロードする、等が挙げられる。
　上記１）及び２）の形態では、例えば、分類部３０７が、自動的に家族が写っている画像を１つのグループに分類し、ロボット１００は、分類部３０７が分類したグループを、「見て見て」と家族に対してアピールする動作をすることが可能である。３）の形態では、表示装置２００によるコンテンツ再生を制御する外部機器制御部３０３が、分類部３０７の分類結果に従って、お気に入りに分類されたコンテンツを他のコンテンツより高い頻度で再生させることができる。４）の具体例として、ロボット同士がＳＮＳでお気に入りのコンテンツについての情報を交換する形態であってもよい。
　また、例えば、分類部３０７は、表示装置２００が記録するお気に入りリストを更新する形態とすることもできる。この場合、表示装置２００の再生部２１０は、例えば、ユーザごとに、お気に入りのコンテンツを登録しておく仕組みを有することができる。具体的には、各ユーザのお気に入りのコンテンツを示すリストを、「お気に入りリスト」として、蓄積部２０４に記録することができる。お気に入りリストは、ユーザごとに作成され、ユーザのお気に入りのコンテンツ毎に、コンテンツＩＤ及び付属情報が記録される。付属情報は、例えば、再生回数、及び最後に再生した日時等である。図１２は、そのような、お気に入りリストの一例を示す図である。
　なお、お気に入りリスト、すなわち、コンテンツの分類結果を示すデータは、必ずしも表示装置２００になくてもよい。
　以上のような分類機能により、ロボット１００がコンテンツを視聴した結果として、ロボット１００固有の好みで分類されたコンテンツの情報が得られる。例えば、ロボット１００の好みでお気に入りフォルダ又はお気に入りリストを作成し、コンテンツをロボット１００の嗜好に合わせて整理することができる。これにより、ユーザには、思いもよらない趣味のコンテンツがお気に入りリストに集められること等が起り、ユーザを楽しませることができる。
［実施形態６］
　実施形態６は、ロボット１００が、評価に用いる基準データの変形例である。本実施形態の基準データは、上記実施形態１～５またはこれらの組み合わせのいずれにも適用することができる。
　基準データの形式は、特定のものに限定されず、例えば、上記のように、画像認識、音声認識または動き認識時にテンプレートとなるパターンデータとすることができる。パターンデータには、例えば、画像、音声、テキスト、四肢の動きパターンを示すデータ、人のポーズを示すデータ等が含まれる。
　基準データは、ロボット１００出荷時に記録部１０７に予め記録されるデータを含むことができる。また、ユーザが、基準データをロボット１００に入力する構成であってもよいし、このユーザ入力の代わりに、またはユーザ入力に加えて、ロボット１００が自律的に、外部から情報を取り入れることにより、基準データを蓄積する構成であってもよい。例えば、ロボット１００は、表示装置２００の所定フォルダ内に含まれる画像、音声、テキスト等のデータを取得し、取得したデータをそのまま、又は加工して、基準データとして用いることができる。
　図１３は、ロボット１００が基準データ蓄積機能を備える場合の判断部１１０の構成の一例を示す機能ブロック図である。図１３に示す例では、判断部１１０は、基準データ蓄積部３０８、基準データ取得部３０９、及び基準データ更新部３１０をさらに備える。
　基準データ蓄積部３０８は、検出部１０８で取得された情報の認識結果を、基準データとして、記録部１０７に記録する。基準データ蓄積部３０８は、例えば、カメラ１０３の画像中に認識された人物及び人物の動作パターンの少なくとも１つを、基準データとして蓄積することができる。基準データ蓄積部３０８は、必ずしも、全ての認識結果を基準データとして蓄積する必要はなく、例えば、基準データとして記録する認識結果を、出現頻度に基づいて抽出してもよいし、ランダムに抽出してもよい。一例として、カメラ１０３画像中に、頻繁に認識される人（例えば、ユーザやその家族等）の顔のパターンデータを、基準データとして、記録することで、ロボット１００に身近な人がコンテンツ中に含まれるか否かを評価の基準にすることができる。
　基準データ取得部３０９は、通信部２０１を介して表示装置２００に記録されたデータまたは、表示装置２００に記録された情報により示された場所に記録されたデータを、基準データとして取得する。例えば、基準データ取得部３０９は、表示装置２００に記録されたユーザフォルダ内の静止画像、音楽ファイル、動画ファイル等を取得し、基準データとして記録部１０７に記録することができる。これにより、表示装置２００のユーザの好みを、ロボット１００の好みに関連させることができる。
　表示装置２００以外からも基準データを取得することはできる。例えば、基準データ取得部３０９は、表示装置２００のユーザのコンテンツ再生履歴等を参照して再生されたコンテンツへアクセスする情報を取得し、当該コンテンツへアクセスして、コンテンツそのものまたはコンテンツから抽出されたパターンデータを、基準データとして、ロボット１００に取り込み、記録部１０７に記録することができる。あるいは、表示装置２００にブラウザ（コンテンツ表示を実行するプログラムの一例）がインストールされている場合は、基準データ取得部３０９は、ブラウザのお気に入りリストに含まれるＵＲＬや、アクセス履歴に含まれるＵＲＬを取得し、これらのＵＲＬ（コンテンツの場所を示す情報）が示す場所へアクセスして、画像やテキストファイル等をロボット１００へダウンロードすることもできる。
　なお、基準データは、必ずしもロボット１００に記録されている必要はない。例えば、ロボット１００は、表示装置２００の蓄積部２０４に記録されている基準データを用いて、評価することもできるし、表示装置２００が蓄積部２０４に蓄積された基準データを用いて評価した結果をロボット１００が受信する構成であってもよい。
　基準データ更新部３１０は、判断部１１０によるコンテンツの評価に基づいて、基準データを更新する。例えば、判断部１１０による評価結果と、その評価結果を得るために用いられた基準データとを対応付けて記録しておき、評価結果がある一定の条件を満たすか否かにより、基準データの要否を決定することができる。これにより、例えば、よくない評価結果が所定回数以上続いた基準データや、評価に用いられる頻度が低い基準データは、削除する等、基準データの自動的な適正化が可能になる。あるいは、基準データをスコアとともに記録する場合に、評価結果に応じてスコアを更新することもできる。例えば、基準データが、画像パターンであり、好感度スコアとともに記録されている場合、その画像パターンを用いた評価処理が実行される度に、画像パターンの好感度スコアを加算することができる。これにより、例えば、ロボット１００がその画像パターンを見れば見るほど好きになるといった、ロボット１００の好みの自動的な変遷が可能になる。
　なお、図１３に示す構成は一例であり、これに限られない。例えば、判断部１１０は、基準データ蓄積部３０８、基準データ取得部３０９及び基準データ更新部３１０の少なくとも１つを備える構成であってもよい。また、基準データ蓄積部３０８、基準データ取得部３０９及び基準データ更新部３１０は、判断部１１０とは別の独立した機能部として設けられてもよいし、行動判断部３０６内部の機能部として設けられてもよい。
　［実施形態７］
　本実施形態は、ロボット装置の構成の変形例である。図１４は、本実施形態にかかるロボットの構成を示す機能ブロック図である。図１４に示す例では、ロボット１００は、検出部１０８、制御部１０２及び通信部１０１を備える。制御部１０２は、判断部１１０及び外部機器制御部３０３を含む。検出部１０８は、コンテンツ出力装置２００が出力するコンテンツの音声及び画像の少なくともいずれかを検出する。判断部１１０は、基準データを基にして、検出部１０８で検出された情報を評価することで、コンテンツ出力装置１００が出力したコンテンツを評価する。外部機器制御部３０３は、通信部１０１を介して、コンテンツ出力装置２００によるコンテンツの出力を制御する。
　本実施形態における検出部１０８、制御部１０２、判断部１１０、外部機器制御部３０３及び通信部１０１の具体的な形態としては、例えば、上記実施形態１～６の少なくとも１つと同様のものを採用することができる。
　上記構成において、ロボット１００は、コンテンツ出力装置２００の音声、光及び映像を検出してコンテンツを評価する処理系統を有し、さらに、この処理系統とは別に、コンテンツ出力装置２００と制御信号または制御データを送受信する通信系統を有する。このような組み合わせにより、コンテンツの受信とコンテンツ出力装置の制御をよりフレキシブルに行うことが可能になる。
　例えば、判断部１１０で評価したコンテンツの評価結果に基づいて、コンテンツ出力装置２００によるコンテンツ出力を制御することができる。ロボット１００が自律的にコンテンツを評価し、ロボット１００固有の好みに応じたコンテンツをコンテンツ出力装置２００に出力させることもできる。
　また、ロボット１００は、ユーザからの操作に応じて、コンテンツ出力装置を制御することもできる。例えば、ロボット１００は、タッチパネルやボタン等の入力デバイスを備え、入力デバイスを介して受け付けたユーザからの操作に応じて、コンテンツ出力装置を制御することができる。これにより、ユーザは、ロボット１００を、コンテンツ出力装置２００を遠隔操作するリモートコントローラとして使用することができる。
　さらに、ロボット１００は、ユーザ操作によるコンテンツ出力装置２００の制御モードと、判断部１１０によるコンテンツ評価結果に基づくコンテンツ出力装置２００の制御モードとを切り替える機能を備えてもよい。例えば、ユーザからの操作入力がない間は、判断部１１０の評価結果に基づいてロボット１００が自律的にコンテンツ出力を制御し、ユーザから操作入力があった場合は、ユーザからの指示に基づいてコンテンツを制御することができる。
　また、コンテンツ出力装置２００は、いわゆるレーザポインターのような光を出力するデバイスであってもよい。この場合、ロボット１００の検出部１０８は、コンテンツ出力部２０３が物体や床や壁などに照射した光（輝点）や、その光の軌跡を検出する。ユーザがレーザポインターで物体に向かって光を照射すると、判断部１１０は、例えば、検出部１０８が検出した光の点滅パターンや光の軌跡のパターンを予め登録された基準データと照合することで、それらのパターンを特定のコマンド（あるいは情報）として解釈することができる。制御部１０２は、判断部１１０が解釈したコマンドあるいは情報に対応した動作をロボット１００に行わすことができる。また、外部機器制御部３０３は、通信部１０１、通信部２０１を介して、レーザポインターを検出又はコマンドを解釈したことを示す信号又はデータをレーザポインターへ送ってもよい。レーザポインターは、この信号又はデータを受信すると、例えば、レーザポインターが出力する光の色を赤から緑へ変えることができる。これにより、ロボットがコマンドを解釈したことをユーザが知ることが可能となる。このように、検出部１０８がコンテンツ出力装置２００から物体へ照射された光の輝点を検出し、判断部１１０が、検出された輝点の軌跡を解析し、さらに、制御部１０２が解析された軌跡から得られる情報に基づいてロボット１００の挙動又は状態を制御する構成とすることができる。この構成により、レーザポインターをロボットに対するコマンド装置として利用することが可能となる。例えば、ユーザがレーザポインターである位置を指し示し、「移動」コマンドに割り当てられた特定の図形の軌跡を描くと、ロボットがその指し示した位置に移動するなど、非常に簡単なユーザインタフェースでロボットの操作が実現できる。
　検出部１０８は、例えば、カメラで撮像した画像中に、予め決められた輝点の色及び形状に一致するパターンが存在するか否かを判断することにより輝点を検出することができる。あるいは、レーザポインターの光の帯域のみ検出するカメラにより輝点を検出することもできる。この場合、検出部１０８は、所定の帯域の光を透過させるフィルタを介して撮影するカメラで構成することができる。なお、予め決められたスクリーン等のように所定の領域内で輝点を検出する必要はない。例えば、検出部１０８は、ロボット１００周辺を走査して撮影し、撮影画像中から輝点を検出することができる。
　また、コンテンツ出力装置は、レーザポインター及び他の出力装置との組み合わせとすることができる。例えば、レーザポインターとディスプレイの組み合わせをコンテンツ出力装置として、ユーザがディスプレイへ照射したレーザポインターの輝点を、ロボット１００が検出することで、ディスプレイの位置を検出する構成であってもよい。あるいは、ロボット１００がディスプレイを検出し、ディスプレイの表示画面をキャプチャする際に、表示画面に照射されたレーザポインターの輝点も検出してその軌跡を解析する構成であってもよい。
　［その他の変形例］
　以上、本発明の実施形態の例を、実施形態１～７として説明したが、本発明は上記実施形態に限られない。例えば、上記実施形態においては、コンテンツが映像である場合について説明したが、コンテンツは映像に限られず、その他、人間が閲覧、観賞又は体験することができるものが含まれる。例えば、文章、静止画像、動画像、音楽、ゲーム、あるいはそれらの組み合わせがコンテンツに含まれる。また、コンテンツは、デジタル又はアナログのデータとして、記憶装置に記憶され、伝送路を通じて伝送することができる。コンテンツのデータは、例えば、装置により再生、表示又は実行されることにより、人間が、閲覧、観賞又は体験できる状態になる。
　表示装置２００として用いられる機器は、上記例の他に、例えば、携帯電話、ＰＤＡ（携帯情報端末）、電子書籍再生端末（電子ブックリーダ）、多機能携帯電話、電子辞書、携帯ゲーム機、多機能リモコン等のタブレット型の端末が挙げられる。また、テレビジョン装置、フォトフレームなどタブレット型でない表示装置を用いることもできる。また、コンテンツ出力装置は、表示装置に限定されず、例えば、音声コンテンツを出力する音楽プレーヤー等の再生機であってもよい。
　例えば、表示装置がテレビである場合、コンテンツの一覧を取得してコンテンツ一覧からコンテンツを選択する代わりに、既知のチャネルのうち１つのチャネルを選択する形態とすることができる。その場合、表示装置とロボットとの通信は、赤外線リモコンでも簡易に実現することができる。
　本発明は、例えば、独自のコンテンツ評価を行うロボットを含むシステムとして有用である。また、ユーザが親しみを持つことのできる、固有の好みを持った玩具ロボットとしても応用することができる。

Claims (17)

  1. 　コンテンツ出力装置が出力するコンテンツの音声、光及び画像の少なくともいずれかを検出する検出部と、
    　基準データを基にして、前記検出部で検出された情報を評価することで、前記コンテンツ出力装置が出力したコンテンツを評価する判断部と、
    　前記判断部の評価に基づいて、ロボット装置の挙動又は状態を制御する制御部とを備える、ロボット装置。
  2. 　前記コンテンツ出力装置と通信する通信部と、
    　前記通信部を介して、前記コンテンツ出力装置によるコンテンツの出力を制御する外部機器制御部とをさらに備える請求項１に記載のロボット装置。
  3. 　コンテンツ出力装置が出力した音声、光及び画像の少なくともいずれかを解析することにより、前記コンテンツ出力装置と通信するための設定情報を取得し、記録する設定部をさらに備える請求項１又は２に記載のロボット装置。
  4. 　前記設定情報には、前記コンテンツ出力装置へアクセスするためのアクセス情報及びアクセス許可を得るための認証情報が含まれる、請求項３に記載のロボット装置。
  5. 　前記判断部による評価に基づいて、前記コンテンツを分類する分類部をさらに備える、請求項１～４のいずれか１項に記載のロボット装置。
  6. 　前記検出部により、ロボット装置周辺の画像を取得し、取得した画像中の矩形を検出することにより、前記コンテンツ出力装置が画像を出力する表示画面を検出する探索部をさらに備える、請求項１～５のいずれか１項に記載のロボット装置。
  7. 　前記ロボット装置のアイドル状態が所定時間継続した場合、前記探索部が前記検出動作を開始する、請求項６に記載のロボット装置。
  8. 　前記判断部は、前記検出部で検出されたコンテンツの画像の中に、前記基準データに含まれる人物及び人物の動作パターンの少なくとも１つを認識した場合に、当該コンテンツに対する前記ロボット装置の好感度を示す値を増加又は減少させる、請求項１～７のいずれか１項に記載のロボット装置。
  9. 　前記検出部が取得した画像中に認識された人物及び人物の動作パターンの少なくとも１つを、前記基準データとして蓄積する、基準データ蓄積部をさらに備える、請求項１～８のいずれか１項に記載のロボット装置。
  10. 　前記コンテンツ出力装置と通信する通信部と、
    　前記通信部を介して前記コンテンツ出力装置に記録されたデータまたは、前記コンテンツ出力装置に記録された情報により示された場所に記録されたデータを取得する、基準データ取得部をさらに備える、請求項１～９のいずれか１項に記載のロボット装置。
  11. 　前記判断部によるコンテンツの評価に基づいて、前記基準データを更新する、基準データ更新部をさらに備える、請求項１～１０のいずれか１項に記載のロボット装置。
  12. 　前記コンテンツ出力装置と通信する通信部と、
    　前記通信部を介して、前記コンテンツ出力装置によるコンテンツの出力を制御する外部機器制御部とをさらに備え、
    　前記判断部は、前記コンテンツに対する前記ロボット装置の好感度を示す値を算出し、
    　前記外部機器制御部は、前記好感度を示す値を用いて、前記コンテンツ出力装置が出力中のコンテンツ又は次に出力するコンテンツを制御する、請求項１～１１のいずれか１項に記載のロボット装置。
  13. 　前記判断部は、前記検出部で検出された画像の中から人物の動作パターンを検出し、
    　前記制御部は、当該動作に応じた動きを前記ロボットにさせる、請求項１～１２のいずれか１項に記載のロボット装置。
  14. 　前記判断部が、前記コンテンツ出力部によるコンテンツの出力が、途中で中断したと判定した場合、
    　前記制御部が、前記ロボット装置に、所定の動作をさせる、請求項１～１３のいずれか１項に記載のロボット装置。
  15. 　前記分類部は、前記ロボット装置の好感度を示す値が閾値を越えるコンテンツを、グループ化し、
    　前記制御部は、前記グループ化されたコンテンツの少なくとも１つを示す情報をロボットに出力させる、請求項５に記載のロボット装置。
  16. 　コンテンツ出力装置が出力するコンテンツの音声及び画像の少なくともいずれかを検出する検出工程と、
    　基準データを基にして前記検出工程で検出された情報を評価することで、前記コンテンツ出力装置が出力したコンテンツを評価する判断工程と、
    　前記判断工程の評価に基づいて、ロボット装置の挙動又は状態を制御する制御工程とを含む、ロボット制御方法。
  17. 　コンテンツ出力装置が出力するコンテンツの音声及び画像の少なくともいずれかを検出する検出処理と、
    　基準データを基にして前記検出処理で検出された情報を評価することで、前記コンテンツ出力装置が出力したコンテンツを評価する判断処理と、
    　前記判断処理の評価に基づいて、ロボット装置の挙動又は状態を制御する制御処理とをコンピュータに実行させる、ロボット制御プログラム。
PCT/JP2012/002704 2011-06-14 2012-04-19 ロボット装置、ロボット制御方法、及びロボット制御プログラム WO2012172721A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012539117A JP5172049B2 (ja) 2011-06-14 2012-04-19 ロボット装置、ロボット制御方法、及びロボット制御プログラム
US13/736,520 US8583287B2 (en) 2011-06-14 2013-01-08 Robotic system, robot control method and robot control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011132602 2011-06-14
JP2011-132602 2011-06-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/736,520 Continuation US8583287B2 (en) 2011-06-14 2013-01-08 Robotic system, robot control method and robot control program

Publications (1)

Publication Number Publication Date
WO2012172721A1 true WO2012172721A1 (ja) 2012-12-20

Family

ID=47356742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002704 WO2012172721A1 (ja) 2011-06-14 2012-04-19 ロボット装置、ロボット制御方法、及びロボット制御プログラム

Country Status (3)

Country Link
US (1) US8583287B2 (ja)
JP (1) JP5172049B2 (ja)
WO (1) WO2012172721A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014167672A (ja) * 2013-02-28 2014-09-11 Fujitsu Ltd 情報処理装置、認証システム及びプログラム
WO2015155977A1 (ja) * 2014-04-07 2015-10-15 日本電気株式会社 連携システム、装置、方法、および記録媒体
WO2016080553A1 (ja) * 2014-11-21 2016-05-26 ヴイストン株式会社 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
JP2017086288A (ja) * 2015-11-06 2017-05-25 大日本印刷株式会社 コミュニケーションロボット及びプログラム
JP2018088573A (ja) * 2016-11-28 2018-06-07 住友電気工業株式会社 ペアリング方法、通信装置、ペアリング装置、子機パッケージおよび製造方法
CN109249386A (zh) * 2017-04-27 2019-01-22 丰田自动车株式会社 语音对话机器人及语音对话系统
CN109526208A (zh) * 2016-07-11 2019-03-26 Groove X 株式会社 活动量受控制的行为自主型机器人
WO2019116521A1 (ja) * 2017-12-14 2019-06-20 株式会社ソニー・インタラクティブエンタテインメント エンターテインメントシステム、ロボット装置およびサーバ装置
WO2019138618A1 (ja) * 2018-01-10 2019-07-18 ソニー株式会社 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム
KR20210108934A (ko) * 2018-02-08 2021-09-03 가부시키가이샤 스크린 홀딩스 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램
JP7382743B2 (ja) 2019-06-17 2023-11-17 株式会社ソニー・インタラクティブエンタテインメント ロボットシステム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150138333A1 (en) * 2012-02-28 2015-05-21 Google Inc. Agent Interfaces for Interactive Electronics that Support Social Cues
US9492762B2 (en) * 2012-05-08 2016-11-15 Funfare, Llc Sensor configuration for toy
KR101883473B1 (ko) * 2013-05-07 2018-07-30 한화지상방산 주식회사 이동로봇의 지도 작성 장치 및 방법
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
JP6166234B2 (ja) * 2014-08-08 2017-07-19 日本電信電話株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
US20170064926A1 (en) * 2015-09-04 2017-03-09 PulsePet, LLC Interactive pet robot and related methods and devices
DE102015224308A1 (de) * 2015-12-04 2017-06-08 Kuka Roboter Gmbh Manipulatorsystem und Verfahren zur Identifikation von Bedienvorrichtungen
USD872768S1 (en) 2016-02-19 2020-01-14 Sony Corporation Robot having display screen with animated graphical user interface
US20170282383A1 (en) * 2016-04-04 2017-10-05 Sphero, Inc. System for content recognition and response action
WO2017175559A1 (ja) 2016-04-08 2017-10-12 Ｇｒｏｏｖｅ Ｘ株式会社 人見知りする自律行動型ロボット
EP3450118A4 (en) * 2016-04-28 2019-04-10 Fujitsu Limited ROBOT
JP2017205324A (ja) * 2016-05-19 2017-11-24 パナソニックＩｐマネジメント株式会社 ロボット
JP6467674B2 (ja) * 2016-07-20 2019-02-13 Ｇｒｏｏｖｅ Ｘ株式会社 スキンシップを理解する自律行動型ロボット
WO2018045081A1 (en) * 2016-08-31 2018-03-08 Taechyon Robotics Corporation Robots for interactive comedy and companionship
CN109521927B (zh) * 2017-09-20 2022-07-01 阿里巴巴集团控股有限公司 机器人互动方法和设备
US20190111565A1 (en) * 2017-10-17 2019-04-18 True Systems, LLC Robot trainer
GB2573164B (en) * 2018-04-27 2023-01-04 Sony Interactive Entertainment Inc Apparatus control system and method
JP7000253B2 (ja) * 2018-05-31 2022-01-19 国立大学法人東海国立大学機構 力覚視覚化装置、ロボットおよび力覚視覚化プログラム
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
JP7326707B2 (ja) * 2018-06-21 2023-08-16 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US11376743B2 (en) * 2019-04-04 2022-07-05 Joyhaptics Oy Systems and methods for providing remote touch
US20220314133A1 (en) * 2019-07-11 2022-10-06 Sony Group Corporation Information processing device, information processing method, and information processing program
KR102295836B1 (ko) * 2020-11-20 2021-08-31 오로라월드 주식회사 성장형 스마트 토이 장치 및 스마트 토이 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000067959A1 (fr) * 1999-05-10 2000-11-16 Sony Corporation Dispositif robotique et procede de commande associe
JP2001310283A (ja) * 2000-02-14 2001-11-06 Sony Corp ロボットシステム、ロボット装置及びその制御方法、並びに情報処理装置及び方法
JP2002160184A (ja) * 2000-11-27 2002-06-04 Nippon Telegr & Teleph Corp <Ntt> ペットロボット装置及びペットロボット装置プログラム記録媒体
JP2005074562A (ja) * 2003-08-29 2005-03-24 Sony Corp ロボット装置、ロボット装置の制御方法、及び記録媒体
JP2006245941A (ja) * 2005-03-02 2006-09-14 Sharp Corp コンテンツ視聴システム、コンテンツ受信装置およびコンテンツ視聴用家庭内機器
JP2008307662A (ja) * 2007-06-15 2008-12-25 Fujitsu Ltd ロボットシステム、エディタ端末、およびエディタプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61156405A (ja) * 1984-12-28 1986-07-16 Nintendo Co Ltd 光感応制御装置
KR20010053322A (ko) * 1999-04-30 2001-06-25 이데이 노부유끼 전자 페트 시스템, 네트워크 시스템, 로봇, 및 기억 매체
US6684127B2 (en) 2000-02-14 2004-01-27 Sony Corporation Method of controlling behaviors of pet robots
JP2003071761A (ja) 2001-09-03 2003-03-12 Sony Corp ロボット並びにロボットのための表示装置
JP4015424B2 (ja) 2002-01-09 2007-11-28 アルゼ株式会社 音声ロボットシステム
JP2004249447A (ja) 2003-02-18 2004-09-09 Navigation Networks:Kk インターネットを使ったロボット用プログラムおよびコンテンツを含むロボット番組の配信方法
JP4556425B2 (ja) 2003-12-11 2010-10-06 ソニー株式会社 コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置
JPWO2005099971A1 (ja) * 2004-04-16 2007-08-16 松下電器産業株式会社 ロボット、ヒント出力装置、ロボット制御システム、ロボット制御方法、ロボット制御プログラム及び集積回路
US20060098877A1 (en) * 2004-11-09 2006-05-11 Nick Barnes Detecting shapes in image data
EP2050544B1 (en) 2005-09-30 2011-08-31 iRobot Corporation Robot system with wireless communication by TCP/IP transmissions
US8548613B2 (en) * 2009-04-20 2013-10-01 Disney Enterprises, Inc. System and method for an interactive device for use with a media device
US8818556B2 (en) * 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000067959A1 (fr) * 1999-05-10 2000-11-16 Sony Corporation Dispositif robotique et procede de commande associe
JP2001310283A (ja) * 2000-02-14 2001-11-06 Sony Corp ロボットシステム、ロボット装置及びその制御方法、並びに情報処理装置及び方法
JP2002160184A (ja) * 2000-11-27 2002-06-04 Nippon Telegr & Teleph Corp <Ntt> ペットロボット装置及びペットロボット装置プログラム記録媒体
JP2005074562A (ja) * 2003-08-29 2005-03-24 Sony Corp ロボット装置、ロボット装置の制御方法、及び記録媒体
JP2006245941A (ja) * 2005-03-02 2006-09-14 Sharp Corp コンテンツ視聴システム、コンテンツ受信装置およびコンテンツ視聴用家庭内機器
JP2008307662A (ja) * 2007-06-15 2008-12-25 Fujitsu Ltd ロボットシステム、エディタ端末、およびエディタプログラム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014167672A (ja) * 2013-02-28 2014-09-11 Fujitsu Ltd 情報処理装置、認証システム及びプログラム
US11343219B2 (en) 2014-04-07 2022-05-24 Nec Corporation Collaboration device for social networking service collaboration
US11146526B2 (en) 2014-04-07 2021-10-12 Nec Corporation Social networking service collaboration
US10951573B2 (en) 2014-04-07 2021-03-16 Nec Corporation Social networking service group contribution update
US11374895B2 (en) 2014-04-07 2022-06-28 Nec Corporation Updating and transmitting action-related data based on user-contributed content to social networking service
WO2015155977A1 (ja) * 2014-04-07 2015-10-15 日本電気株式会社 連携システム、装置、方法、および記録媒体
US11271887B2 (en) 2014-04-07 2022-03-08 Nec Corporation Updating and transmitting action-related data based on user-contributed content to social networking service
WO2016080553A1 (ja) * 2014-11-21 2016-05-26 ヴイストン株式会社 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
JP2017086288A (ja) * 2015-11-06 2017-05-25 大日本印刷株式会社 コミュニケーションロボット及びプログラム
CN109526208A (zh) * 2016-07-11 2019-03-26 Groove X 株式会社 活动量受控制的行为自主型机器人
JP2018088573A (ja) * 2016-11-28 2018-06-07 住友電気工業株式会社 ペアリング方法、通信装置、ペアリング装置、子機パッケージおよび製造方法
CN109249386A (zh) * 2017-04-27 2019-01-22 丰田自动车株式会社 语音对话机器人及语音对话系统
CN109249386B (zh) * 2017-04-27 2022-01-11 丰田自动车株式会社 语音对话机器人及语音对话系统
WO2019116521A1 (ja) * 2017-12-14 2019-06-20 株式会社ソニー・インタラクティブエンタテインメント エンターテインメントシステム、ロボット装置およびサーバ装置
JP7128842B2 (ja) 2017-12-14 2022-08-31 株式会社ソニー・インタラクティブエンタテインメント エンターテインメントシステム、ロボット装置およびサーバ装置
US11498206B2 (en) 2017-12-14 2022-11-15 Sony Interactive Entertainment Inc. Entertainment system, robot device, and server device
JPWO2019116521A1 (ja) * 2017-12-14 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント エンターテインメントシステム、ロボット装置およびサーバ装置
JPWO2019138618A1 (ja) * 2018-01-10 2020-12-17 ソニー株式会社 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム
CN111565897A (zh) * 2018-01-10 2020-08-21 索尼公司 动物形状的自主移动对象、使动物形状的自主移动对象执行动作的方法以及程序
WO2019138618A1 (ja) * 2018-01-10 2019-07-18 ソニー株式会社 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム
JP7238796B2 (ja) 2018-01-10 2023-03-14 ソニーグループ株式会社 動物型の自律移動体、動物型の自律移動体の動作方法、およびプログラム
KR102335392B1 (ko) 2018-02-08 2021-12-03 가부시키가이샤 스크린 홀딩스 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램
KR20210108934A (ko) * 2018-02-08 2021-09-03 가부시키가이샤 스크린 홀딩스 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램
JP7382743B2 (ja) 2019-06-17 2023-11-17 株式会社ソニー・インタラクティブエンタテインメント ロボットシステム

Also Published As

Publication number Publication date
US20130123987A1 (en) 2013-05-16
US8583287B2 (en) 2013-11-12
JP5172049B2 (ja) 2013-03-27
JPWO2012172721A1 (ja) 2015-02-23

Similar Documents

Publication Publication Date Title
JP5172049B2 (ja) ロボット装置、ロボット制御方法、及びロボット制御プログラム
JP7400923B2 (ja) 情報処理装置および情報処理方法
CN106873773B (zh) 机器人交互控制方法、服务器和机器人
KR101053875B1 (ko) 휴대 단말기와 동기화된 로봇의 이벤트 실행 방법 및 그시스템
JP5040865B2 (ja) ロボット制御システム、遠隔管理装置、遠隔管理方法及びプログラム
US8103382B2 (en) Method and system for sharing information through a mobile multimedia platform
JP2012155616A (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
JP2003205483A (ja) ロボットシステム及びロボット装置の制御方法
US20230266767A1 (en) Information processing apparatus, information processing method, and program
JP2020534567A (ja) ロボット対話方法およびデバイス
JP7014168B2 (ja) 仮想生物制御システム、仮想生物制御方法、およびプログラム
KR20130094058A (ko) 커뮤니케이션 시스템, 장치 및 기록 매체
WO2020116233A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4411900B2 (ja) 電子機器間の相互成長システム、電子機器及びロボット装置
US11938625B2 (en) Information processing apparatus, information processing method, and program
WO2020153038A1 (ja) 情報処理装置、および情報処理方法
JP4483351B2 (ja) 情報提供システム、及び情報提供装置
JP2021074361A (ja) 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ
CN205334503U (zh) 具有人脸识别功能的机器人
JP7212766B2 (ja) コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
JP2022178967A (ja) 撮像システム、カメラロボット及びサーバ
US11461068B2 (en) Display device
JP7208361B2 (ja) コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法
JP2001222626A (ja) 情報提供装置及び情報提供方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2012539117

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12801008

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12801008

Country of ref document: EP

Kind code of ref document: A1