WO2020158641A1 - ロボットの制御装置、ロボットの制御方法、及びプログラム - Google Patents

ロボットの制御装置、ロボットの制御方法、及びプログラム Download PDF

Info

Publication number
WO2020158641A1
WO2020158641A1 PCT/JP2020/002685 JP2020002685W WO2020158641A1 WO 2020158641 A1 WO2020158641 A1 WO 2020158641A1 JP 2020002685 W JP2020002685 W JP 2020002685W WO 2020158641 A1 WO2020158641 A1 WO 2020158641A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
unit
target position
rotation angle
drive
Prior art date
Application number
PCT/JP2020/002685
Other languages
English (en)
French (fr)
Inventor
祐介 川部
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020569603A priority Critical patent/JP7415956B2/ja
Priority to US17/425,047 priority patent/US20220118602A1/en
Priority to CN202080010478.6A priority patent/CN113329798B/zh
Priority to EP20749649.8A priority patent/EP3919146A4/en
Publication of WO2020158641A1 publication Critical patent/WO2020158641A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls

Definitions

  • the present disclosure relates to a robot control device, a robot control method, and a program.
  • Patent Document 1 relates to a robot apparatus and a control method thereof, and detects acceleration information and rotation angle information by an acceleration sensor and a rotation angle sensor, and stores detected signals in a storage unit in a time series, It is described that specific information such as variance is calculated from the time series signal and the state of the robot device is determined from this specific information.
  • An animal kept as a pet makes various movements depending on the contact with humans. Also in a robot or the like, it is desirable that an animal type robot or the like performs the same operation as an actual animal.
  • a determination unit that determines that a robot has been lifted
  • a rotation angle acquisition unit that acquires a rotation angle when the robot rotates in a lifted state
  • the rotation angle based on the rotation angle There is provided a control device for a robot, comprising: a drive control unit that controls driving of the movable unit so that the movable unit of the robot faces a predetermined direction.
  • determining that the robot has been lifted acquiring the rotation angle when the robot rotates in the lifted state, and determining the rotation angle of the robot based on the rotation angle. Controlling the drive of the movable part so that the movable part faces a predetermined direction.
  • a unit that determines that the robot has been lifted a unit that acquires a rotation angle when the robot rotates in a lifted state, and a movable unit of the robot based on the rotation angle.
  • FIG. 1 is a schematic diagram illustrating an appearance of a robot device 1000 according to an embodiment of the present disclosure and a rotation axis of a joint.
  • the robot apparatus 1000 includes four legs 100, 110, 120 and 130 driven by an electric motor such as a servo motor.
  • the robot device 1000 includes a plurality of joints.
  • the robot device 1000 will be classified into a right front leg system, a left front leg system, a right rear leg system, a left rear leg system, a body (Body) system, and a head system based on the movement thereof.
  • the right front leg system has a joint portion 102, a joint portion 104, and a joint portion 106.
  • the left front foot system has a joint 112, a joint 114, and a joint 116.
  • the right hind foot system includes a joint 122, a joint 124, and a joint 126.
  • the left hind foot system includes a joint part 132, a joint part 134, and a joint part 136.
  • the main body system has a joint 142.
  • the head system has a joint portion 152, a joint portion 154, a joint portion 156, and a joint portion 158. Each of these systems is connected to the body 140.
  • Each joint shown in FIG. 1 is a main joint driven by an electric motor.
  • the robot apparatus 1000 has, in addition to the joints shown in FIG. 1, joints that follow the movements of the other joints.
  • the robot apparatus 1000 also has a plurality of movable parts such as a mouth, an ear, and a tail, and these movable parts are also driven by an electric motor or the like.
  • each joint is shown as a cylinder.
  • the central axis of the cylinder corresponds to the rotation axis of the joint.
  • the joint section 152 is provided, when the robot apparatus 1000 is viewed from the front, the operation of tilting the neck to the left and right is realized.
  • the joint portion 142 is provided, when the robot apparatus 1000 is viewed from above, the motion of swinging the waist to the left and right is realized. As a result, it is possible to realize more various movements by the robot apparatus 1000 than ever before.
  • each joint is driven by an electric motor such as a servo motor (hereinafter simply referred to as a motor).
  • the drive source is not particularly limited.
  • the motor of each joint is housed in one box together with a gear mechanism, an encoder, and a microcontroller for driving the motor.
  • the box is made of a resin material (plastic or the like).
  • the motors, gear mechanisms, encoders, and microcontrollers of the joints 132 and 134 are housed in one box, and this box constitutes two rotation axes.
  • the motor, gear mechanism, and microcontroller of the joint 136 are housed in a single box, and this box constitutes a single rotary shaft.
  • the joint portion 152, the joint portion 154, and the joint portion 156 constitute a triaxial rotation axis.
  • each system such as the right forefoot system described above is controlled by a microcomputer provided in each joint.
  • the head system joint 158 is configured to be electrically braked. If the joint 158 is allowed to rotate freely when the power is turned off, the head may go down and hit the user's hand or the like. By braking the joint 158, such a situation can be avoided. Braking can be realized by a method of determining the rotation of the motor based on the electromotive force generated by the rotation of the motor of the joint 158 when the power is off, and generating a driving force in the direction opposite to the direction in which the motor is about to rotate.
  • FIG. 2 is a schematic diagram showing the head 150 of the robot apparatus 1000, particularly the face.
  • the eyes 350 of the robot apparatus 1000 shown in FIG. 2 are configured to perform various movements and displays according to the operation of the robot apparatus 1000. Therefore, the robot apparatus 1000 includes a self-luminous display device (OLED) in each of the left and right eyes 350.
  • OLED self-luminous display device
  • the face (head) of the robot apparatus 1000 to the object which is performed when the robot apparatus 1000 is held up by the user, will be described.
  • the face can be continuously turned to the target of interest in accordance with the user's lifting operation.
  • This movement corresponds to a movement in which, for example, when an animal such as a dog is picked up and turned, the animal continues to look at the object of interest even if the orientation of the body changes. By realizing such a movement, the movement of the robot apparatus 1000 can be brought closer to that of a real animal.
  • the robot apparatus 1000 Since the robot apparatus 1000 operates according to the movement of the user, the robot apparatus 1000 indicates that the robot apparatus 1000 is interested in the target, and the robot apparatus 1000 can perform a close interaction with the user, thereby improving the value of the interaction. It can be carried out.
  • control of tracking a face to an object will be described, but a face is an example, and any movable part other than the face can be controlled so that its direction follows the object. it can.
  • the orientation of the hand may be controlled so as to follow the object.
  • FIG. 3 is a schematic diagram showing the configuration of the control device 2000 that controls the robot device 1000, and shows the configuration for performing face tracking control.
  • the control device 2000 is mounted on the robot device 1000.
  • the control device 2000 includes a drive unit 200, an angle acquisition unit 300, a feature recognition unit 400, an emotion/personality acquisition unit 500, and a control unit 600.
  • the drive unit 200 corresponds to the motor, encoder, and gear mechanism of each joint.
  • the angle acquisition unit 300 is composed of an inertial measurement device (IMU: Internal Measurement Unit), and rotates the three axes (yaw, pitch, roll) of the robot apparatus 1000 when the robot apparatus 1000 is lifted by a user and moved. Detect the angle.
  • IMU Internal Measurement Unit
  • the feature recognition unit 400 is configured to include a camera, and recognizes the feature of the captured image by performing image processing on the captured image of the camera. As shown in FIG. 2, a camera 700 is attached to the nose of the robot apparatus 1000, and the camera 700 corresponds to the camera of the feature recognition unit 400.
  • the feature recognition unit 400 is, for example, a person having a specific relationship with the robot apparatus 1000, such as the owner of the robot apparatus 1000 (hereinafter referred to as an owner), or a person other than the owner, by performing face recognition processing. It is possible to recognize a person or the like having a high relation with the device 1000. It should be noted that face recognition processing is performed by preliminarily holding face images of the owner or the like and persons with high relevance and comparing them with the captured face images. Further, the feature recognition unit 400 may include a 3D camera to acquire the distance to the subject. Further, the feature detection unit 400 may include a ToF sensor, and may detect the depth information of the object from the ToF sensor.
  • the emotion/personality acquisition unit 500 acquires the emotion and character of the robot device 1000.
  • the robot apparatus 1000 can be set to any one of a plurality of emotions according to the state at that time.
  • the emotion/personality acquisition unit 500 acquires the emotion of the robot device 1000 that is currently set.
  • the emotions that are set include "anger”, “joy”, and "sadness”.
  • the robot device 1000 has a personality that is set congenitally or acquired.
  • the emotion/personality acquisition unit 500 acquires the personality of the set robot device 1000.
  • the emotions to be set include "wild”, “cute”, “shy”, “amaenbo”, and the like.
  • the control unit 600 controls the tracking of the face of the robot apparatus 1000 based on the information obtained from each of the drive unit 200, the angle acquisition unit 300, the feature recognition unit 400, and the emotion/personality acquisition unit 500. Therefore, the control unit 600 includes a hugging determination unit 602, a target position determination unit 603, a rotation angle acquisition unit 604, a drive control unit 606, a coordinate conversion unit 608, a drive expression determination unit 610, and a coordinate update unit 612. It is configured. Each component of the control unit 600 can be configured by a circuit (hardware), a central processing unit such as a CPU, and a program (software) for operating the central processing unit.
  • FIG. 4 is a schematic diagram showing a state in which the user is holding up the robot apparatus 1000.
  • the lifting up determination unit 602 of the control unit 600 determines that the robot apparatus 1000 has been lifted up.
  • the hugging determination unit 602 determines that the robot apparatus 1000 has been lifted based on the information obtained from the IMU of the angle acquisition unit 300, the information obtained from the contact detection sensor attached to the leg of the robot apparatus 1000, and the like.
  • the target position determination unit 603 based on the information obtained from the encoder of the drive unit 200, the coordinates (X1) of the target position to which the vector indicating the direction of the face (vector a shown in FIG. 1) faces. , Y1, Z1) are determined.
  • the vector a will be referred to as the nose tip vector a.
  • the nose tip vector a indicating the orientation of the face is uniquely determined based on this.
  • the target position determination unit 603 determines a target existing in the direction of the nose tip vector a as a target based on the orientation of the face at the timing of being lifted up, and determines the coordinates of the target position based on the distance to the target. ..
  • the distance to the target can be detected by the 3D camera and the ToF sensor included in the feature recognition unit 400.
  • the method of determining the coordinates of the target position based on the orientation of the face at the timing of being lifted up has been described, but the coordinates of the target position are obtained from the feature recognition unit 400, for example, a robot device.
  • Coordinates indicating the position of the face such as the owner of 1000, coordinates indicating the position of the face of a specific person who is a person other than the owner and whose face is memorized by the robot apparatus 1000, coordinates of the head in a hugging posture, etc. May be As described above, these persons are recognized by the feature recognition unit 400 performing face recognition processing.
  • the coordinates of the target position are updated when the feature position recognized by the feature recognition unit 400 is updated or when the robot device is rotated by 90 degrees or more based on the rotation angle of the robot device 1000 obtained from the angle acquisition unit 300. To be done.
  • the coordinates of the target position are updated by the coordinate updating unit 612 of the control unit 600.
  • FIG. 4 shows the user turning the robot apparatus 1000 in the direction of arrow A1.
  • the angle acquisition unit 300 acquires the rotation angle (deviation from the target position) when a person moves the robot apparatus 1000.
  • the rotation angle acquisition unit 604 of the control unit 600 acquires the rotation angle (deviation) acquired by the angle acquisition unit 300.
  • the coordinate conversion unit 608 of the control unit 600 calculates the amount of rotation of the face for correcting the rotation angle (coordinate conversion of the target position).
  • the drive control unit 606 of the control unit 600 sends the rotation amount to the drive unit 200 and controls the rotation of the face.
  • the motors of the joint system 152, the joint system 154, the joint system 156, and the joint system 158 of the head system are mainly controlled, so that the nose tip vector a is targeted in response to the person moving the robot apparatus 1000.
  • the orientation of the face is controlled so as to face the position coordinates (X1, Y1, Z1). In the example of FIG. 4, the direction of the face rotates in the arrow A2 direction. As a result, the face can be rotated to the position locked at the original target position.
  • control unit 600 can calculate the above-described rotation amount of the face as follows. With respect to the coordinates (X1, Y1, Z1) of the original target position, based on information obtained from the angle acquisition unit 300, yaw (Yaw) is rotated by ⁇ , pitch (Pitch) is rotated by ⁇ , and roll (Roll) is rotated. When performing ⁇ rotation, yaw ⁇ rotation, pitch ⁇ rotation, and roll ⁇ rotation are sequentially performed with respect to the coordinates (X1, Y1, Z1), and the corrected target position coordinates (X4, Y4, Z4) are calculated. Note that the coordinates of the robot device 1000 itself are (0, 0, 0).
  • the nose tip vector a should face the coordinates (0, 0, 0) of the robot apparatus 1000 to reach the target position.
  • the face can be rotated to a position locked at the original target position by redirecting the face to the corrected target position.
  • the face can be continuously turned to the target position. Therefore, it is possible to realize a movement in which the face direction of the robot apparatus 1000 follows the object of interest when holding the robot, and to cause the robot apparatus 1000 to have a lifelike movement similar to that of an actual animal. be able to.
  • control unit 600 In addition to the correction of the nose tip vector a corresponding to the change in the angle at the time of lifting the body, the control unit 600 changes the expression of the movement of the face directed to the target position according to the emotion and character of the robot apparatus 1000, and the eyes.
  • the drive control of the eye 350 is also performed by the drive control unit 606 of the control unit 600.
  • the driving expression determination unit 610 of the control unit 600 acquires the emotion and character of the robot device 1000 acquired by the emotion/character acquisition unit 500, and determines the expression of motion according to the emotion and character of the robot device 1000. ..
  • the drive control unit 606 controls the drive unit 200 based on the drive expression determined by the drive expression determination unit 610.
  • the drive control unit 606 controls the emotion and character of the robot apparatus 1000 acquired from the emotion/character acquisition unit 500 when controlling the face orientation based on the rotation angle when the person moves the robot apparatus 1000.
  • the orientation of the face is controlled in consideration of.
  • the head moves to the target position more quickly than usual based on the rotation angle acquired from the angle acquisition unit 300. It is expressed that the character of the robot apparatus 1000 is “wild”.
  • the character of the robot apparatus 1000 acquired from the emotion/character acquisition unit 500 is “shy”
  • the head slowly moves to the target position based on the rotation angle acquired from the angle acquisition unit 300, and the robot moves. It is expressed that the character of the device 1000 is “shy”.
  • the robot apparatus 1000 is controlled to be shy by controlling movements of eyes 350 and legs other than the head of the robot apparatus 1000. I do. For example, it is possible to express that the robot apparatus 1000 is shy by delaying the return to the target position or performing an operation of hiding the face with the front legs.
  • the movement of the eyes 350 and legs of the robot apparatus 1000 is controlled to express the robot apparatus 1000 in a cute manner.
  • the robot apparatus 1000 operates in a cute manner by adding a swaying motion to the return motion of the head to the target position, increasing the number of blinks of the eyes 350, or moving the forefoot finely. Such expressions can be made.
  • the movement of the head to the target position is as if the robot apparatus is based on the rotation angle acquired from the angle acquisition unit 300. It happens quickly, as if 1000 were angry.
  • the drive control unit 606 of the control unit 600 controls the orientation of the face based on the rotation angle when the person moves the robot apparatus 1000
  • the drive control unit 606 positions the face on the target position based on the size of the rotation angle. It is also possible to change the expression of the movement directed to, and to control the expression by a driving unit other than the head, such as the eyes 350.
  • the display of the eyes 350 of the robot apparatus 1000 is controlled so as to express a surprised state.
  • the drive control unit 606 controls the drive unit 200 so as to take a danger avoiding posture in which the face is hidden by the front legs.
  • the control speed toward the target position may be controlled according to the change in the rotation angle (rotational angular velocity) acquired from the angle acquisition unit 300. Further, when the rotation angle is larger than the predetermined value, the control speed toward the target position may be controlled to be constant.
  • the locus of directing the face to the target position does not have to be the shortest locus, and can be changed according to the emotion of the robot apparatus 1000 and the rotation angle (deviation). For example, when the emotion of the robot apparatus 1000 is “shy”, it is possible to express that the robot apparatus 1000 is shy by adding an extra trajectory instead of making the trajectory of directing the face to the target position the shortest trajectory. good.
  • FIG. 5 is a schematic diagram showing a method of determining the coordinates of the target position when a plurality of persons exist.
  • the robot apparatus 1000 turns its head in the direction of the arrow A3, performs a motion of scanning over a plurality of persons, and updates a previously recognized person such as an owner as target coordinates.
  • the central person may be determined as the coordinates of the target position.
  • a human voice may be acquired and the direction of the voice may be set as the target position.
  • FIG. 6A is a flowchart showing a process performed by the control unit 600.
  • step S10 the user holds up the robot apparatus 1000.
  • step S12 target coordinates (X1, Y1, Z1) are determined.
  • step S14 the rotation angle when the user moves the robot apparatus 1000 is acquired from the angle acquisition unit 300.
  • next step S16 three-dimensional coordinate conversion is performed by the above-described method based on the rotation angle acquired from the angle acquisition unit 300.
  • the drive expression is determined based on the emotion and personality of the robot apparatus 1000 acquired by the emotion/character personality acquisition unit 500.
  • the drive unit 200 is controlled so that the nose tip vector a faces the target position.
  • step S20 the drive unit 200 is controlled based on the drive expression determined in step S18. Thereby, as described above, the drive unit 200 is controlled according to the emotion and the personality.
  • step S22 it is determined whether or not the user is still hugging the robot apparatus 1000. If the user is still hugging, the process returns to step S12 to perform the subsequent processing. On the other hand, when the lifting is not continued, the lifting is ended (step S24) and the process is ended.
  • step S26 it is determined whether the feature points obtained by image recognition by the feature recognition unit 400 have been updated, or whether the yaw axis of the robot apparatus 1000 has rotated 90 degrees or more. If the characteristic points are updated in step S26, or if the yaw axis of the robot apparatus 1000 has rotated 90 degrees or more, the process proceeds to step S28 and the target coordinates are updated. The process ends after step S28. If the characteristic points are not updated in step S26 and the yaw axis of the robot apparatus 1000 is not rotated by 90 degrees or more, the process ends without proceeding to step S28.
  • the effects described in the present specification are merely explanatory or exemplifying ones, and are not limiting. That is, the technique according to the present disclosure may have other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.
  • a determination unit that determines whether the robot has been lifted, A rotation angle acquisition unit that acquires a rotation angle when the robot rotates in a lifted state, A drive control unit that controls the drive of the movable unit so that the movable unit of the robot faces a predetermined direction based on the rotation angle;
  • a control device for a robot comprising: (2) The robot control device according to (1), further including a target position determination unit that determines a target position existing in the predetermined direction as a target position to which the movable unit faces. (3) The robot control device according to (2), wherein the target position determination unit determines, as the target position, the position of the target to which the movable unit faces when the robot is lifted.
  • a feature recognition unit that recognizes a particular feature of the target existing in the predetermined direction, The control device for a robot according to (2), wherein the target position determination unit determines the position of the specific target recognized by the feature recognition unit as the target position.
  • the feature recognition unit performs face recognition, The robot control device according to (4), wherein the specific target is a person having a specific relationship with the robot.
  • a coordinate conversion unit that performs coordinate conversion of the target position based on the rotation angle, The robot control device according to any one of (2) to (5), wherein the drive control unit controls the drive of the movable unit so that the movable unit faces the target position whose coordinates have been converted.
  • the robot control device according to any one of (2) to (6), further including an updating unit that updates the target position when the robot performs a predetermined operation.
  • An acquisition unit that acquires information about the emotion or personality set in the robot,
  • An expression determining unit that determines an expression of the movement of the movable unit based on the information about the emotion or the personality,
  • the robot control device according to any one of (1) to (7), wherein the drive control unit controls the movement of the movable unit based on the expression.
  • a method for controlling a robot comprising: (10) means for determining that the robot has been lifted, Means for obtaining a rotation angle when the robot rotates in a lifted state, Means for controlling the drive of the movable part so that the movable part of the robot faces a predetermined direction based on the rotation angle, A program for operating a computer as a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本開示によれば、ロボットが持ち上げられたことを判定する判定部と、前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、を備える、ロボットの制御装置が提供される。

Description

ロボットの制御装置、ロボットの制御方法、及びプログラム
　本開示は、ロボットの制御装置、ロボットの制御方法、及びプログラムに関する。
　従来、下記の特許文献１には、ロボット装置及びその制御方法に関し、加速度センサや回転角センサによって加速度情報や回転角情報を検出し、検出した信号を時系列的に記憶部に記憶させ、記憶した時系列信号から分散等の特定情報を算出し、この特定情報からロボット装置の状態を判定することが記載されている。
特許第４５１７５０９号公報
　ペットとして飼われている動物は、人間との間の触れ合いに応じて様々な動きを行う。ロボットなどにおいても、動物型のロボットなどでは、実際の動物と同様の動作を行うことが望ましい。
　しかし、上記特許文献に記載された技術は、加速度情報や回転角情報に基づいてロボットの状態を判定することは想定しているものの、ユーザがロボットを持ち上げた場合に、実際の動物と同様の動作をすることは想定していなかった。
　そこで、ユーザがロボットを持ち上げた場合に、ロボットが実際の動物と同様の動作をすることが求められていた。
　本開示によれば、ロボットが持ち上げられたことを判定する判定部と、前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、を備える、ロボットの制御装置が提供される。
　また、本開示によれば、ロボットが持ち上げられたことを判定することと、前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得することと、前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御することと、を備える、ロボットの制御方法が提供される。
　また、本開示によれば、ロボットが持ち上げられたことを判定する手段、前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する手段、前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する手段、としてコンピュータを機能させるためのプログラムが提供される。
ロボット装置の外観と、関節の回転軸を示す模式図である。 ロボット装置の頭部を示す模式図である。 ロボット装置を制御するシステムの構成を示す模式図である。 ユーザがロボット装置を抱き上げた状態を示す模式図である。 複数の人物が存在する場合に、ターゲット位置の座標を決定する方法を示す模式図である。 制御部で行われる処理を示すフローチャートである。 図６ＡのステップＳ１２でターゲット座標を決定（更新）する処理を詳細に示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．ロボット装置の構成
　２．対象への顔の追従制御
　３．抱き上げに応じた顔向きの制御
　４．制御のバリエーション
　５．制御部で行われる処理
　１．ロボット装置の構成
　図１は、本開示の一実施形態に係るロボット装置１０００の外観と、関節の回転軸を示す模式図である。ロボット装置１０００は、サーボモータ等の電動モータにより駆動される４本の足１００，１１０，１２０，１３０を備える。
　図１に示すように、ロボット装置１０００は、複数の関節部を備える。ここで、説明の便宜上、ロボット装置１０００をその動きから右前足系統、左前足系統、右後足系統、左後足系統、本体（Ｂｏｄｙ）系統、頭系統に分類することにする。右前足系統は、関節部１０２、関節部１０４、関節部１０６を有する。左前足系統は、関節部１１２、関節部１１４、関節部１１６を有する。右後足系統は、関節部１２２、関節部１２４、関節部１２６を有する。左後足系統は、関節部１３２、関節部１３４、関節部１３６を有する。また、本体系統は、関節部１４２を有する。頭系統は関節部１５２、関節部１５４、関節部１５６、関節部１５８を有する。これらの各系統は、胴体１４０に対して連結されている。なお、図１に示す各関節部は、電動モータにより駆動される主要な関節部を示している。ロボット装置１０００は、図１に示す関節部の他にも、他の関節部の動きに従って従動的に動く関節部を有する。また、ロボット装置１０００は、口、耳、尻尾などの複数の可動部を有し、これらの可動部も電動モータ等によって駆動される。
　図１では、各関節部を円筒で示している。各関節部において、円筒の中心軸が関節部の回転軸に対応している。頭系統では、関節部１５２が設けられていることにより、ロボット装置１０００を正面から見た場合に、首を左右に傾ける動作が実現される。また、本体系統では、関節部１４２が設けられていることにより、ロボット装置１０００を上から見た場合に、腰を左右に振る動きが実現される。これにより、ロボット装置１０００による、今まで以上に多彩な動きを実現することが可能である。
　各関節部は、サーボモータ等の電動モータ（以下、単にモータという）によって駆動される。なお、駆動源は特に限定されるものではない。各関節部のモータは、ギヤ機構、エンコーダ、及びモータを駆動するためのマイクロコントローラとともに、１つのボックス（箱）に収められている。ボックスは、樹脂材料（プラスチックなど）から構成される。モータとギヤ機構を１つのボックスの中に収納して密閉することで、ロボット装置１０００の静粛性を高めることが可能である。
　右後足系統を例に挙げると、関節部１３２と関節部１３４のモータ、ギヤ機構、エンコーダ、マイクロコントローラは、１つのボックスに収納されており、このボックスは２軸の回転軸を構成する。一方、関節部１３６のモータ、ギヤ機構、マイクロコントローラは、１つのボックスに収納されており、このボックスは１軸の回転軸を構成する。また、頭系統では、関節部１５２、関節部１５４、関節部１５６により３軸の回転軸が構成されている。
　なお、２軸の回転軸を１つのボックスに収納することで、球体の関節を実現することができる。また、２軸の回転軸を１つのボックスに収納することで、関節部に関わるスペースを抑制することができ、デザインを重視してロボット装置１０００の形状を決定することが可能となる。
　上述した右前足系統などの各系統は、各関節部が備えるマイクロコンピュータによって制御される。関節部のうち、例えば頭系統の関節部１５８は、電気的にブレーキがかかるように構成されている。電源オフ時などに関節部１５８が自在に回転できるようになると、頭部が下に降りて、ユーザの手などに当たる可能性がある。関節部１５８にブレーキをかけておくことで、このような事態を回避できる。ブレーキは、電源オフ時に関節部１５８のモータの回転により生じる起電力に基づいて、モータの回転を判定し、モータが回転しようとする方向と逆方向に駆動力を生じさせる方法により実現できる。
　図２は、ロボット装置１０００の頭部１５０、特に顔を示す模式図である。図２に示すロボット装置１０００の目３５０は、ロボット装置１０００の動作に応じて、様々な動きや表示を行うように構成されている。このため、ロボット装置１０００は、左右のそれぞれの目３５０に自発光型の表示装置（ＯＬＥＤ）を備えている。
　２．対象への顔の追従制御
　次に、ロボット装置１０００がユーザに抱き上げられた場合に行われる、ロボット装置１０００の顔（頭部）の対象物への追従制御について説明する。本実施形態に係るロボット装置１０００では、ユーザの抱き上げ動作に合わせて、興味の対象に顔を向け続けることができる。この動きは、例えば犬などの動物を抱き上げて向きを変えた場合に、その動物が、胴体の向きが変わっても興味の対象を見続ける動作に対応する。このような動きを実現することで、ロボット装置１０００の動きをより現実の動物に近づけることができる。そして、ユーザの動きに合わせてロボット装置１０００が動作するため、ロボット装置１０００が対象に興味があることを示すとともに、ロボット装置１０００がユーザと密なインタラクションを行うことができ、インタラクションの価値向上を行うことができる。なお、以下の説明では、顔の対象物への追従制御について説明するが、顔は一例であり、顔以外の任意の可動部についても、その向きが対象物に追従するように制御することができる。例えば、手の向きが対象物に追従するように制御しても良い。
　図３は、ロボット装置１０００を制御する制御装置２０００の構成を示す模式図であって、顔の追従制御を行うための構成を示している。制御装置２０００は、ロボット装置１０００に搭載される。図３に示すように、この制御装置２０００は、駆動部２００、角度取得部３００、特徴認識部４００、感情・性格取得部５００、制御部６００、を有して構成されている。
　駆動部２００は、各関節のモータ、エンコーダ、ギヤ機構に対応する。角度取得部３００は、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）から構成され、ロボット装置１０００がユーザに抱き上げられて動かされた場合に、ロボット装置１０００の３軸（ヨー、ピッチ、ロール）の回転角度を検出する。
　特徴認識部４００は、カメラを有して構成され、カメラの撮像画像を画像処理することで、撮像画像の特徴を認識する。図２に示すように、ロボット装置１０００の鼻には、カメラ７００が装着されており、カメラ７００は、特徴認識部４００のカメラに相当する。
　特徴認識部４００は、例えば顔認識処理を行うことで、ロボット装置１０００の所有者などロボット装置１０００にとって特定の関係を有する人（以下、オーナ等という）、オーナ等以外の人物であって、ロボット装置１０００との関連性の高い人物などを認識することができる。なお、オーナ等や関連性の高い人物の顔画像を予め保有しておき、撮像した顔画像と対比することで顔認識処理が行われる。また、特徴認識部４００は、３Ｄカメラを備えることにより、被写体までの距離を取得するものであっても良い。更に、特徴検出部４００は、ＴｏＦセンサを有していても良く、ＴｏＦセンサから物体のデプス情報を検出するものであっても良い。
　感情・性格取得部５００は、ロボット装置１０００の感情、性格を取得する。ロボット装置１０００は、その時々の状態に応じて、複数の感情のうちのいずれかに設定されることができる。感情・性格取得部５００は、現時点で設定されているロボット装置１０００の感情を取得する。設定される感情としては、「怒り」、「喜び」、「悲しみ」などが挙げられる。
　また、ロボット装置１０００は、先天的または後天的に設定された性格を有している。感情・性格取得部５００は、設定されているロボット装置１０００の性格を取得する。設定される感情としては、「ワイルド」、「キュート」、「シャイ」、「甘えん坊」などが挙げられる。
　制御部６００は、駆動部２００、角度取得部３００、特徴認識部４００、感情・性格取得部５００、のそれぞれから得られる情報に基づいて、ロボット装置１０００の顔の追従制御を行う。このため、制御部６００は、抱き上げ判定部６０２、ターゲット位置決定部６０３、回転角度取得部６０４、駆動制御部６０６、座標変換部６０８、駆動表現決定部６１０、座標更新部６１２、を有して構成されている。なお、制御部６００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。
　３．抱き上げに応じた顔向きの制御
　次に、制御部６００で行われる処理について説明する。図４は、ユーザがロボット装置１０００を抱き上げた状態を示す模式図である。ユーザによってロボット装置１０００が抱き上げられると、制御部６００の抱き上げ判定部６０２によって抱き上げられたことが判定される。抱き上げ判定部６０２は角度取得部３００のＩＭＵから得られる情報、ロボット装置１０００の脚などに装着された接触検知センサから得られる情報等に基づいて、ロボット装置１０００が抱き上げられたことを判定する。
　そして、抱き上げられた状態で、ターゲット位置決定部６０３が、駆動部２００のエンコーダから得られる情報に基づいて、顔の向きを示すベクトル（図１に示すベクトルａ）が向くターゲット位置の座標（Ｘ１、Ｙ１、Ｚ１）を決定する。なお、以下では、ベクトルａを鼻先ベクトルａと称する。
　具体的には、各関節部に設けられたエンコーダから、各関節部の角度が判るため、これに基づいて顔の向きを示す鼻先ベクトルａが一義的に定まる。ターゲット位置決定部６０３は、抱き上げられたタイミングでの顔の向きに基づいて、例えば鼻先ベクトルａの方向に存在する対象をターゲットとして決定し、対象までの距離に基づいてターゲット位置の座標を決定する。なお、対象までの距離は、特徴認識部４００が備える３Ｄカメラ、ＴｏＦセンサから検出することができる。
　なお、上述した説明では、抱き上げられたタイミングでの顔の向きに基づいてターゲット位置の座標を決定する手法を示したが、ターゲット位置の座標は、特徴認識部４００から得られた、例えばロボット装置１０００のオーナ等の顔の位置を示す座標や、オーナ等以外の人物であってロボット装置１０００が顔を記憶している特定の人物の顔の位置を示す座標、抱き上げ姿勢時の頭部座標などであっても良い。これらの人物は、上述したように、特徴認識部４００が顔認識処理を行うことで認識される。
　ターゲット位置の座標は、特徴認識部４００が認識する特徴位置が更新されたり、角度取得部３００から得られるロボット装置１０００の回転角度に基づいて、ロボット装置が９０度以上回転された場合などに更新される。ターゲット位置の座標は、制御部６００の座標更新部６１２によって更新される。
　ユーザによってロボット装置１０００が抱き上げられた後、人がロボット装置１０００を動かすと、鼻先ベクトルａがターゲット位置の座標（Ｘ１、Ｙ１、Ｚ１）から相違する。図４では、ユーザがロボット装置１０００を矢印Ａ１方向に旋回させた様子を示している。このとき、人がロボット装置１０００を動かした際の回転角度（ターゲット位置からの偏差）を角度取得部３００が取得する。
　制御部６００の回転角度取得部６０４は、角度取得部３００が取得した回転角度（偏差）を取得する。制御部６００の座標変換部６０８は、回転角度を補正するための顔の回転量の演算（ターゲット位置の座標変換）を行う。制御部６００の駆動制御部６０６は、回転量を駆動部２００へ送り、顔の回転を制御する。これにより、主に頭系統の関節部１５２、関節部１５４、関節部１５６、関節部１５８のモータが制御されることで、人がロボット装置１０００を動かしたことに応じて、鼻先ベクトルａがターゲット位置の座標（Ｘ１、Ｙ１、Ｚ１）に向かうように顔の向きが制御される。図４の例では、顔の向きが矢印Ａ２方向に回転する。これにより、元のターゲット位置にロックした場所に顔を回転することができる。
　具体的に、制御部６００による、上述した顔の回転量を演算は、以下のように行うことができる。元のターゲット位置の座標（Ｘ１、Ｙ１、Ｚ１）に対して、角度取得部３００から得られる情報に基づいて、ヨー（Ｙａｗ）をα回転、ピッチ（Ｐｉｔｃｈ）をβ回転、ロール（Ｒｏｌｌ）をγ回転する場合、以下のように、座標（Ｘ１、Ｙ１、Ｚ１）に対してヨーのα回転、ピッチのβ回転、ロールのγ回転を順次に行い、補正後のターゲット位置の座標（Ｘ４、Ｙ４、Ｚ４）を演算する。なお、ロボット装置１０００の自身の座標は（０，０，０）であるものとする。
ヨー（Ｙａｗ）をα回転
Ｘ２　＝　Ｘ１
Ｙ２＝Ｙ１ｃｏｓα－Ｚ１ｓｉｎα
Ｚ２＝Ｙ１ｓｉｎα＋Ｚ１ｃｏｓα
ピッチ（Ｐｉｔｃｈ）をβ回転
Ｘ３＝Ｘ２ｃｏｓβ＋Ｚ２ｓｉｎβ
Ｙ３＝Ｙ２
Ｚ３＝－Ｘ２ｓｉｎβ＋Ｚ２ｃｏｓβ
ロール（Ｒｏｌｌ）をγ回転
Ｘ４＝Ｘ３ｃｏｓγ－Ｙ３ｓｉｎγ
Ｙ４＝Ｘ３ｓｉｎγ＋Ｙ３ｃｏｓγ
Ｚ４＝Ｚ３
　以上により鼻先ベクトルａがロボット装置１０００の座標（０，０，０）に対して何処を向けばターゲット位置に向かうかを演算することができる。なお、補正後のターゲット位置に顔の向きを向け直すことで、元のターゲット位置にロックした場所に顔を回転することができる。
　以上のような制御をロボット装置１０００の抱き上げ中に継続することで、ターゲット位置に対して継続的に顔を向けることができる。従って、抱き上げ時に、興味のある対象に対してロボット装置１０００の顔の向きが追従するような動きを実現でき、ロボット装置１０００に対して、実際の動物と同様に生命感のある動きを演出させることができる。
　４．制御のバリエーション
　以下では、制御部６００による制御のバリエーションについて説明する。制御部６００では、上述した抱き上げ時の角度変更分に応じた鼻先ベクトルａの補正に加えて、ロボット装置１０００の感情、性格に合わせて顔をターゲット位置に向ける動きの表現を変更したり、目３５０など、頭部以外の駆動部による表現の制御を行う。なお、目３５０の駆動の制御についても、制御部６００の駆動制御部６０６により行われる。
　このため、制御部６００の駆動表現決定部６１０は、感情・性格取得部５００が取得したロボット装置１０００の感情、性格を取得し、ロボット装置１０００の感情、性格に応じた動きの表現を決定する。駆動制御部６０６は、駆動表現決定部６１０が決定した駆動の表現に基づいて、駆動部２００を制御する。
　これにより、駆動制御部６０６は、人がロボット装置１０００を動かした際の回転角度に基づいて顔の向きの制御を行う際に、感情・性格取得部５００から取得したロボット装置１０００の感情、性格を加味して顔の向きの制御を行う。
　例えば、感情・性格取得部５００から取得したロボット装置１０００の性格が「ワイルド」の場合、角度取得部３００から取得した回転角度に基づき、ターゲット位置への頭部の動きが通常よりも素早く行われ、ロボット装置１０００の性格が「ワイルド」であることが表現される。一方、感情・性格取得部５００から取得したロボット装置１０００の性格が「シャイ」の場合、角度取得部３００から取得した回転角度に基づき、ターゲット位置への頭部の動きがゆっくりと行われ、ロボット装置１０００の性格が「シャイ」であることが表現される。
　また、感情・性格取得部５００から取得したロボット装置１０００の性格が「シャイ」の場合、ロボット装置１０００の頭部以外の目３５０や足の動きを制御して、ロボット装置１０００がシャイである表現を行う。例えば、ターゲット位置への復帰を遅らせたり、前足で顔を隠すような動作を行うことで、ロボット装置１０００がシャイであることを表現できる。
　また、感情・性格取得部５００から取得したロボット装置１０００の性格が「キュート」の場合、ロボット装置１０００の目３５０や足の動きを制御して、ロボット装置１０００が可愛らしく動作するような表現を行う。例えば、ターゲット位置への頭部の復帰の動きに揺れの動作を加えたり、目３５０の瞬きの回数を多くしたり、前足を細かく動かすなどの動作を行うことで、ロボット装置１０００が可愛らしく動作するような表現を行うことができる。
　また、感情・性格取得部５００から取得したロボット装置１０００の感情が「怒っている」の場合、角度取得部３００から取得した回転角度に基づき、ターゲット位置への頭部の動きが、あたかもロボット装置１０００が怒っているかのごとく、素早く行われる。
　また、制御部６００の駆動制御部６０６は、人がロボット装置１０００を動かした際の回転角度に基づいて顔の向きの制御を行う際に、回転角度の大きさに基づいて、顔をターゲット位置に向ける動きの表現を変更したり、目３５０など、頭部以外の駆動部による表現の制御を行うこともできる。
　例えば、回転角度が所定値よりも大きい場合は、ロボット装置１０００の目３５０がびっくりした状態を表現するように目３５０の表示を制御する。また、駆動制御部６０６は、回転角度が所定値よりも大きい場合は、前足で顔を隠すような危険回避姿勢をとるように駆動部２００の制御を行う。
　また、回転角度が所定値よりも小さい場合は、角度取得部３００から取得した回転角度の変化（回転角速度）に応じて、ターゲット位置へ向ける制御速度が変化するように制御しても良い。また、回転角度が所定値よりも大きい場合は、ターゲット位置へ向ける制御速度が一定となるように制御しても良い。
　更に、ターゲット位置に顔を向ける軌跡は、最短の軌跡でなくても良く、ロボット装置１０００の感情や回転角度（偏差）に応じて変更することができる。例えば、ロボット装置１０００の感情が「シャイ」の場合、ターゲット位置に顔を向ける軌跡を最短の軌跡とせずに、余分な軌跡を加えることで、ロボット装置１０００がシャイであることを表現しても良い。
　図５は、複数の人物が存在する場合に、ターゲット位置の座標を決定する方法を示す模式図である。複数人の人物が存在する場合、ロボット装置１０００が矢印Ａ３方向に首を回し、複数人を見渡してスキャンする動きを行い、オーナ等など予め認識している人物をターゲット座標として更新する。また、複数の人物が存在する場合、中央の人物をターゲット位置の座標として決定しても良い。また、人の声を取得し、声のする方向をターゲット位置としても良い。
　５．制御部で行われる処理
　図６Ａは、制御部６００で行われる処理を示すフローチャートである。先ず、ステップＳ１０では、ユーザがロボット装置１０００を抱き上げる。次のステップＳ１２では、ターゲット座標（Ｘ１、Ｙ１、Ｚ１）を決定する。次のステップＳ１４では、角度取得部３００から、ユーザがロボット装置１０００を動かした際の回転角度を取得する。
　次のステップＳ１６では、角度取得部３００から取得した回転角度に基づいて、上述した手法により３次元座標変換を行う。次のステップＳ１８では、感情・性格取得部５００が取得したロボット装置１０００の感情、性格に基づいて、駆動表現を決定する。次のステップＳ２０では、ターゲット位置に鼻先ベクトルａが向くように駆動部２００を制御する。
　また、ステップＳ２０では、ステップＳ１８で決定した駆動表現に基づいて、駆動部２００を制御する。これにより、上述したように、感情、性格に応じて駆動部２００の制御が行われる。
　次のステップＳ２２では、ユーザによるロボット装置１０００の抱き上げが継続しているか否かを判定し、抱き上げが継続している場合はステップＳ１２に戻り、以降の処理を行う。一方、抱き上げが継続していない場合は、抱き上げを終了し（ステップＳ２４）、処理を終了する。
　図６Ｂは、図６ＡのステップＳ１２でターゲット座標を決定（更新）する処理を詳細に示すフローチャートである。ステップＳ２６では、特徴認識部４００による画像認識で得られた特徴点が更新されたか、またはロボット装置１０００のヨー軸が９０度以上回転したかを判定する。ステップＳ２６で特徴点が更新されたか、またはロボット装置１０００のヨー軸が９０度以上回転した場合は、ステップＳ２８へ進み、ターゲット座標を更新する。ステップＳ２８の後は処理を終了する。また、ステップＳ２６で特徴点が更新されておらず、且つロボット装置１０００のヨー軸が９０度以上回転していない場合は、ステップＳ２８へ進むことなく処理を終了する。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　ロボットが持ち上げられたことを判定する判定部と、
　前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、
　前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、
　を備える、ロボットの制御装置。
（２）　前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定するターゲット位置決定部を備える、前記（１）に記載のロボットの制御装置。
（３）　前記ターゲット位置決定部は、前記ロボットが持ち上げられた時点で前記可動部が向いている前記対象の位置を前記ターゲット位置として決定する、前記（２）に記載のロボットの制御装置。
（４）　前記所定の方向に存在する特定の前記対象の特徴を認識する特徴認識部を備え、
　前記ターゲット位置決定部は、前記特徴認識部によって認識された前記特定の前記対象の位置を前記ターゲット位置として決定する、前記（２）に記載のロボットの制御装置。
（５）　前記特徴認識部は顔認識を行い、
　前記特定の前記対象は、前記ロボットにとって特定の関係を有する人である、前記（４）に記載のロボットの制御装置。
（６）　前記回転角度に基づいて前記ターゲット位置の座標変換を行う座標変換部を備え、
　前記駆動制御部は、前記可動部が座標変換された前記ターゲット位置を向くように前記可動部の駆動を制御する、前記（２）～（５）のいずれかに記載のロボットの制御装置。
（７）　前記ロボットが所定の動作を行った場合に、前記ターゲット位置を更新する更新部を更に備える、前記（２）～（６）のいずれかに記載のロボットの制御装置。
（８）　前記ロボットに設定された感情又は性格に関する情報を取得する取得部と、
　前記感情又は前記性格に関する前記情報に基づいて、前記可動部の動きの表現を決定する表現決定部と、を備え、
　前記駆動制御部は、前記表現に基づいて、前記可動部の動きを制御する、前記（１）～（７）のいずれかに記載のロボットの制御装置。
（９）　ロボットが持ち上げられたことを判定することと、
　前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得することと、
　前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御することと、
　を備える、ロボットの制御方法。
（１０）　ロボットが持ち上げられたことを判定する手段、
　前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する手段、
　前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する手段、
　としてコンピュータを機能させるためのプログラム。
　６０２　　抱き上げ判定部
　６０３　　ターゲット位置決定部
　６０４　　回転角度取得部
　６０６　　駆動制御部
　６０８　　座標変換部
　６１０　　駆動表現決定部
　１０００　ロボット装置
　２０００　制御装置

Claims (10)

  1. 　ロボットが持ち上げられたことを判定する判定部と、
    　前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する回転角度取得部と、
    　前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する駆動制御部と、
    　を備える、ロボットの制御装置。
  2. 　前記所定の方向に存在する対象の位置を前記可動部が向くターゲット位置として決定するターゲット位置決定部を備える、請求項１に記載のロボットの制御装置。
  3. 　前記ターゲット位置決定部は、前記ロボットが持ち上げられた時点で前記可動部が向いている前記対象の位置を前記ターゲット位置として決定する、請求項２に記載のロボットの制御装置。
  4. 　前記所定の方向に存在する特定の前記対象の特徴を認識する特徴認識部を備え、
    　前記ターゲット位置決定部は、前記特徴認識部によって認識された前記特定の前記対象の位置を前記ターゲット位置として決定する、請求項２に記載のロボットの制御装置。
  5. 　前記特徴認識部は顔認識を行い、
    　前記特定の前記対象は、前記ロボットにとって特定の関係を有する人である、請求項４に記載のロボットの制御装置。
  6. 　前記回転角度に基づいて前記ターゲット位置の座標変換を行う座標変換部を備え、
    　前記駆動制御部は、前記可動部が座標変換された前記ターゲット位置を向くように前記可動部の駆動を制御する、請求項２に記載のロボットの制御装置。
  7. 　前記ロボットが所定の動作を行った場合に、前記ターゲット位置を更新する更新部を更に備える、請求項２に記載のロボットの制御装置。
  8. 　前記ロボットに設定された感情又は性格に関する情報を取得する取得部と、
    　前記感情又は前記性格に関する前記情報に基づいて、前記可動部の動きの表現を決定する表現決定部と、を備え、
    　前記駆動制御部は、前記表現に基づいて、前記可動部の動きを制御する、請求項１に記載のロボットの制御装置。
  9. 　ロボットが持ち上げられたことを判定することと、
    　前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得することと、
    　前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御することと、
    　を備える、ロボットの制御方法。
  10. 　ロボットが持ち上げられたことを判定する手段、
    　前記ロボットが持ち上げられた状態で回転した場合の回転角度を取得する手段、
    　前記回転角度に基づいて、前記ロボットの可動部が所定の方向を向くように前記可動部の駆動を制御する手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2020/002685 2019-01-31 2020-01-27 ロボットの制御装置、ロボットの制御方法、及びプログラム WO2020158641A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020569603A JP7415956B2 (ja) 2019-01-31 2020-01-27 ロボットの制御装置、ロボットの制御方法、及びプログラム
US17/425,047 US20220118602A1 (en) 2019-01-31 2020-01-27 Control apparatus for robot, control method for robot, and program
CN202080010478.6A CN113329798B (zh) 2019-01-31 2020-01-27 机器人控制装置、机器人控制方法及程序
EP20749649.8A EP3919146A4 (en) 2019-01-31 2020-01-27 ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-015698 2019-01-31
JP2019015698 2019-01-31

Publications (1)

Publication Number Publication Date
WO2020158641A1 true WO2020158641A1 (ja) 2020-08-06

Family

ID=71840051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002685 WO2020158641A1 (ja) 2019-01-31 2020-01-27 ロボットの制御装置、ロボットの制御方法、及びプログラム

Country Status (5)

Country Link
US (1) US20220118602A1 (ja)
EP (1) EP3919146A4 (ja)
JP (1) JP7415956B2 (ja)
CN (1) CN113329798B (ja)
WO (1) WO2020158641A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266348A (ja) * 2002-03-18 2003-09-24 Sony Corp ロボット装置及びその制御方法
JP2003311028A (ja) * 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd ペットロボット装置
JP4517509B2 (ja) 1998-11-30 2010-08-04 ソニー株式会社 ロボット装置及びその制御方法
WO2018012219A1 (ja) * 2016-07-11 2018-01-18 Ｇｒｏｏｖｅ Ｘ株式会社 自律行動型ロボット
WO2018016461A1 (ja) * 2016-07-20 2018-01-25 Ｇｒｏｏｖｅ Ｘ株式会社 スキンシップを理解する自律行動型ロボット
WO2018084170A1 (ja) * 2016-11-07 2018-05-11 Ｇｒｏｏｖｅ Ｘ株式会社 人を識別する自律行動型ロボット

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004306251A (ja) * 2003-03-23 2004-11-04 Sony Corp ロボット装置及びその制御方法
JP4715787B2 (ja) * 2007-03-22 2011-07-06 トヨタ自動車株式会社 移動ロボット及びロボット移動制御方法
JP5456588B2 (ja) * 2010-06-07 2014-04-02 本田技研工業株式会社 脚式移動ロボットの制御装置
JP6854722B2 (ja) * 2017-07-14 2021-04-07 パナソニック株式会社 ロボット

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517509B2 (ja) 1998-11-30 2010-08-04 ソニー株式会社 ロボット装置及びその制御方法
JP2003266348A (ja) * 2002-03-18 2003-09-24 Sony Corp ロボット装置及びその制御方法
JP2003311028A (ja) * 2002-04-26 2003-11-05 Matsushita Electric Ind Co Ltd ペットロボット装置
WO2018012219A1 (ja) * 2016-07-11 2018-01-18 Ｇｒｏｏｖｅ Ｘ株式会社 自律行動型ロボット
WO2018016461A1 (ja) * 2016-07-20 2018-01-25 Ｇｒｏｏｖｅ Ｘ株式会社 スキンシップを理解する自律行動型ロボット
WO2018084170A1 (ja) * 2016-11-07 2018-05-11 Ｇｒｏｏｖｅ Ｘ株式会社 人を識別する自律行動型ロボット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3919146A4

Also Published As

Publication number Publication date
EP3919146A1 (en) 2021-12-08
CN113329798B (zh) 2023-04-28
CN113329798A (zh) 2021-08-31
JP7415956B2 (ja) 2024-01-17
JPWO2020158641A1 (ja) 2021-12-02
US20220118602A1 (en) 2022-04-21
EP3919146A4 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
US11420330B2 (en) Robot control device, robot, and simulation device
JP6567563B2 (ja) 衝突回避および軌道復帰能力を有する人型ロボット
US9821457B1 (en) Adaptive robotic interface apparatus and methods
US8924020B2 (en) Apparatus for controlling robot and control method thereof
US9114532B2 (en) Apparatus for controlling mobile robot
JP2009157948A (ja) ロボット装置、顔認識方法及び顔認識装置
JP2003266351A (ja) ロボット装置及びロボット装置の動作制御方法
JP6228097B2 (ja) 移動ロボット
WO2017166767A1 (zh) 一种信息处理方法和移动装置、计算机存储介质
JP7417356B2 (ja) ロボット制御システム
Wang et al. A generative human-robot motion retargeting approach using a single depth sensor
US11285606B2 (en) Control device, robot, control method, and non-transitory computer-readable recording medium
US20240189992A1 (en) Robot control device, robot control method, and program
WO2020158641A1 (ja) ロボットの制御装置、ロボットの制御方法、及びプログラム
JP2008018529A (ja) コミュニケーションロボット
CN109693235B (zh) 一种仿人眼视觉跟踪装置及其控制方法
JP7309371B2 (ja) ロボット制御システム
WO2021256464A1 (ja) 撮像システム及びロボットシステム
JP2019217605A (ja) ロボット、ロボットの制御方法及びプログラム
JP6158665B2 (ja) ロボット、ロボット制御方法、およびロボット制御プログラム
JP5378966B2 (ja) ロボット
Liu et al. Symmetric Kullback‐Leibler Metric Based Tracking Behaviors for Bioinspired Robotic Eyes
US12023811B2 (en) Robot control device and robot control method
US20220055224A1 (en) Configurable and Interactive Robotic Systems
Nagasawa et al. Development of a walking assistive robot for elderly people in outdoor environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20749649

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569603

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020749649

Country of ref document: EP

Effective date: 20210831