WO2011065035A1 - ロボットの教示データを作成する方法およびロボット教示システム - Google Patents

ロボットの教示データを作成する方法およびロボット教示システム Download PDF

Info

Publication number
WO2011065035A1
WO2011065035A1 PCT/JP2010/054936 JP2010054936W WO2011065035A1 WO 2011065035 A1 WO2011065035 A1 WO 2011065035A1 JP 2010054936 W JP2010054936 W JP 2010054936W WO 2011065035 A1 WO2011065035 A1 WO 2011065035A1
Authority
WO
WIPO (PCT)
Prior art keywords
teaching
robot
wrist
hand
image
Prior art date
Application number
PCT/JP2010/054936
Other languages
English (en)
French (fr)
Inventor
正己 高三
宗隆 山本
和夫 清木
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Priority to CN2010800285557A priority Critical patent/CN102470530A/zh
Publication of WO2011065035A1 publication Critical patent/WO2011065035A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B25J3/04—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements involving servo mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch

Definitions

  • the present invention relates to a method for creating robot teaching data and a robot teaching system.
  • This teaching method includes a method of directly inputting teaching data representing an operation pattern as a numerical value from a keyboard, a method in which an instructor operates a robot control device to execute an operation, and a teaching data is generated accordingly. And a method of automatically generating teaching data for inputting an image of a human hand and matching the posture of the robot hand.
  • Cited Document 1 describes an example of a method for matching the posture of a robot hand with an image of a human hand.
  • the conventional technique has a problem that teaching of a robot including a robot arm cannot be easily performed.
  • teaching data is input as a numerical value from a keyboard, or when an instructor operates a robot control device to execute an operation, specialized knowledge is required for teaching, and complicated operation is required. It is difficult to teach in combination.
  • the robot hand is matched with the image of a human hand, it is not possible to cope with an operation in which the position of the hand changes due to the movement of the teacher's arm or the entire body.
  • the present invention has been made to solve such problems, and provides a robot teaching data creation method and robot teaching system that can easily teach a robot including a robot arm.
  • the purpose is to do.
  • a method for creating teaching data for a robot is a method for creating teaching data for teaching the operation of at least one of the robot for a robot having a robot arm and a robot hand
  • a teaching image acquiring step for acquiring at least one teaching image including a hand; a wrist coordinate determining step for determining wrist coordinates indicating a position and orientation of a wrist based on the teaching image; and a finger based on the teaching image.
  • a finger coordinate determination step for determining a finger coordinate representing a position related to the robot arm
  • a robot arm teaching data creation step for creating robot arm teaching data for teaching a robot arm operation based on the wrist coordinate
  • a finger coordinate Create robot hand teaching data that teaches robot hand movement based on And a bot hand teaching data creation step.
  • teaching data relating to the operation of the robot arm of the robot is created according to the position and orientation of the wrist based on the teaching image.
  • the stereo camera may acquire a stereo wrist image including two images including a human wrist, and in the wrist coordinate determination step, the position of the wrist may be determined based on the stereo wrist image.
  • the wrist coordinate determination step includes a posture candidate data selection step of selecting one posture candidate data based on a teaching image from a plurality of posture candidate data representing the posture of a human hand, and a posture selected as a teaching image.
  • a wrist direction determination step of determining a wrist orientation in the teaching image based on the correspondence relationship with the candidate data.
  • the teaching image includes wrists and hands for both human arms, and wrist coordinates, finger coordinates, robot arm teaching data, and robot hand teaching data are determined or determined for both arms, respectively. It may be created.
  • the robot teaching system according to the present invention executes the above-described method.
  • FIG. FIG. 1 shows a configuration related to a robot teaching system according to Embodiment 1 of the present invention.
  • the robot teaching system includes a robot 100 to be taught and a control device 200 connected to the robot 100.
  • the robot 100 may be a so-called manipulator.
  • the robot 100 includes a robot arm 110 and a robot hand 120. Although there are three robot hands 120 in FIG. 1, it is sufficient that there are at least two robot hands 120.
  • the base of the robot hand 120 is connected to the tip of the robot arm 110. If the position and orientation of the robot arm 110 are determined, the positions of the bases of all the robot hands 120 are uniquely determined accordingly.
  • the robot 100 works on the object 130. The work can be grasped, transported, assembled, and the like.
  • the control device 200 is a computer that includes an arithmetic means (CPU or the like) and a storage means (semiconductor memory device, magnetic disk device or the like), although its internal configuration is not shown.
  • the control device 200 functions as a teaching data creation device that creates teaching data for the robot 100 by executing the teaching data creation program stored in the storage means, and the drive control stored in the storage means. By executing the program, it functions as a drive control device that controls the operation of the robot 100.
  • These teaching data creation program and drive control program can be stored in an information storage medium.
  • the control device 200 has a function of determining coordinates representing the spatial position of each joint of the fingers and the spatial position of the fingertip based on an image including a human hand.
  • a function is, for example, a study of Tanimoto et al. ("Tanimoto Takaaki et al.”, which was made public in March 2006, “Finger shape from an image database using a self-propagating SOM for robot hand control”). This can be achieved by using the method described in the University of Tsukuba graduate School of Information Science and Technology (Master's thesis). According to this method, the posture of the hand can be estimated from one two-dimensional image obtained by imaging the hand.
  • the joint joint angle information and hand image are acquired in advance, contour extraction and feature quantification are performed in the image, and a database is constructed using this feature value and angle as data. . Then, the actual image of the hand is converted into the same feature as when the database was constructed, and the angle of the joint of the hand is estimated by comparing the obtained feature with the feature of the database. Estimated.
  • a plurality of patterns are stored in a database for feature quantities that are data representing hand postures, and one pattern (posture) is selected from the plurality of patterns (posture candidate data) based on the actual image.
  • candidate data can be selected.
  • the spatial position of the finger can be determined in a coordinate system in which the origin is set based on the wrist position and the coordinate axis is set based on the wrist orientation.
  • control device 200 may be configured such that when a part of the hand or the finger does not appear in the image (for example, when it is out of the field of view of the camera, the object of view is blocked by the object, When the field of view of the camera is obstructed by a finger or the like, the occlusion part (that is, the part that does not appear in the image) is estimated and complemented.
  • a part of the hand or the finger does not appear in the image
  • the occlusion part that is, the part that does not appear in the image
  • Such a function can be realized by using a well-known image processing technique.
  • the robot teaching system includes a monocular camera 30 connected to the control device 200.
  • the monocular camera 30 functions as a teaching image acquisition unit for the hand 21. That is, the hand 21 including the finger of the teacher 10 who is a human is photographed, and an image including the hand 21 is acquired and transmitted to the control device 200.
  • the name “monocular camera” is used for distinction from the stereo camera 40 described later, and may not be a monocular camera as long as it has a similar function.
  • the hand 21 is a part ahead of the wrist 22, that is, a part including a palm and a finger.
  • the arm 23 is a portion closer to the base than the wrist 22. In this embodiment, the right arm is used, but the left arm may be used.
  • the robot teaching system includes a stereo camera 40 connected to the control device 200.
  • the stereo camera 40 functions as a teaching image acquisition unit for the wrist 22. That is, the wrist 22 of the teacher 10 is photographed, and an image including the wrist 22 is acquired and transmitted to the control device 200.
  • the stereo camera 40 can shoot a stereoscopic image with a known configuration. That is, the stereo camera 40 includes at least two cameras, and these cameras capture images including the wrist 22 from different positions. Based on the position of the wrist 22 in each image, the spatial positional relationship including the distance between the stereo camera 40 and the wrist 22 can be determined.
  • the robot teaching system includes a monitor camera 50 that captures the robot 100 and a monitor 60 that displays an image captured by the monitor camera 50.
  • the monitor camera 50 functions as robot state imaging means, and the monitor 60 functions as robot state display means.
  • the monocular camera 30, the stereo camera 40 and the monitor 60 are arranged in the vicinity of the teacher 10.
  • the monocular camera 30 is disposed at a position where the entire range in which the hand 21 moves when the instructor 10 teaches is within the field of view.
  • the stereo camera 40 is disposed at a position where the entire range in which the wrist 22 moves when the instructor 10 teaches is within the visual field.
  • the monitor 60 is arranged at a position where the display content can be seen when the teacher 10 performs teaching work. With such an arrangement, the teacher 10 can perform teaching work in real time while visually checking the state of the robot 100.
  • step S1 the robot teaching system executes a teaching image acquisition step (step S1).
  • step S ⁇ b> 1 the robot teaching system acquires a teaching image including the hand 21 and the wrist 22 of the teacher 10. This teaching image is used for teaching the robot 100.
  • Step S1 the monocular camera 30 acquires one teaching image including the hand 21 (Step S1a), and the stereo camera 40 acquires a stereo wrist image including two images including the wrist 22 ( Step S1b). That is, in step S1b, each camera constituting the stereo camera 40 acquires one teaching image including the wrist 22 one by one.
  • step S1b each camera constituting the stereo camera 40 acquires one teaching image including the wrist 22 one by one.
  • step S1 the monocular camera 30 and the stereo camera 40 transmit the acquired teaching images to the control device 200, and the control device 200 receives them and stores them in the storage means.
  • step S2 the control device 200 determines wrist coordinates representing the position and orientation of the wrist 22 based on the teaching image.
  • Step S2 includes a posture candidate data selection step (step S2a), a wrist position determination step (step S2b), and a wrist direction determination step (step S2c).
  • the control device 200 selects one posture candidate based on the teaching image including the hand 21 from among a plurality of posture candidate data representing the posture of the hand stored in the database. Select data. This selection can be performed by a known method. For example, the control device 200 can select the one having the highest degree of coincidence between the feature amount extracted from the teaching image and the feature amount representing the posture candidate data.
  • the control device 200 determines the position of the wrist 22 based on the stereo wrist image photographed by the stereo camera 40.
  • An example of a method for determining the position of the wrist 22 in the image will be described with reference to FIG. FIG. 3 shows one of the stereo wrist images.
  • the control device 200 first detects a constricted portion 22a represented by two points in the image, and calculates the position of the midpoint 22b of the constricted portion 22a. Then, the position of the midpoint 22b in the image is determined as the position of the wrist 22 in the image. Further, the control device 200 determines the position of the wrist 22 in the same manner while the stereo wrist image remains. Thereafter, the spatial position of the wrist 22 with respect to the stereo camera 40 can be calculated based on the position of the wrist 22 in each of the stereo wrist images.
  • step S2c the control device 200 determines the orientation of the wrist 22 in the teaching image of the hand 21 based on the correspondence between the teaching image of the hand 21 and the posture candidate data selected in step S2a. Since the posture candidate data represents coordinates representing the position of each joint of the fingers and the spatial position of the fingertip with reference to the position and orientation of the wrist, for example, the hand 21 in the teaching image and the selected posture candidate If the data best matches a particular orientation, that orientation can be determined as the orientation of the wrist 22.
  • step S2 the process including steps S3 to S8 and the process including steps S9 to S12 are executed in parallel. However, these may be executed in series.
  • control device 200 executes a finger coordinate determination step (step S3).
  • step S ⁇ b> 3 the control device 200 determines finger coordinates representing the positions of the joints and fingertips of the fingers based on the teaching image of the hand 21. This can be done according to the method of Tanimoto et al.
  • FIG. 4A shows an example of finger coordinates determined in this way. In FIG. 4A, finger coordinates related to the thumb, index finger and middle finger of the right hand of the hand 21 of the teacher 10 are shown.
  • the point (x 11 , y 11 , z 11 ), the point (x 12 , y 12 , z 12 ), and the point (x 13 , y 13 , z 13 ) are respectively the second joint and the first joint of the thumb. And the position of the fingertip.
  • the point (x 4 , y 4 , z 4 ) represents the wrist position determined in step S2b.
  • step S4 the control device 200 calculates a robot hand joint angle representing the angle of each joint of the robot hand 120 of the robot 100 based on the finger coordinates determined in step S3.
  • a specific example of this calculation method is not particularly shown, but can be appropriately designed by those skilled in the art depending on conditions such as the structure of the robot 100, the number of fingers of the robot hand 120, and the number of joints of each finger of the robot hand 120 it can.
  • FIG. 4B shows an example of the robot hand joint angle determined in this way.
  • the robot 100 itself is not shown, and only the angles of the joints are schematically shown.
  • each finger of the robot hand 120 has two joints.
  • the first joint (fingertip side joint) has one degree of freedom (angle ⁇ )
  • the second joint (base side joint) has two degrees of freedom (angles ⁇ and ⁇ ).
  • the robot 100 has three degrees of freedom with respect to a point (x 0 , y 0 , z 0 ) representing the position of the wrist, that is, the tip of the robot arm 110 and an angle ( ⁇ 0 , ⁇ 0 , ⁇ 0 ) representing the direction. .
  • the robot 100 can be controlled with a total of 15 degrees of freedom.
  • the robot finger 120a, the robot finger 120b, and the robot finger 120c corresponding to the thumb, index finger, and middle finger are shown.
  • FIGS. 4 (a) and 4 (b) for example for the thumb, a point in FIG. 4 (a) (x 11, y 11, z 11), the point (x 12, y 12, z 12), and point Based on the coordinates of (x 13 , y 13 , z 13 ), the angle ( ⁇ 1 ) of the first joint 122 and the angle ( ⁇ 1 , ⁇ 1 ) of the second joint 123 of the robot finger 120a are determined.
  • toe and a robot finger differ in a size, a movable range, etc., even when the number of joints is equal, the position of a joint does not necessarily correspond.
  • the index finger and the middle finger the number of joints is different between the finger and the robot finger. In such a case, a method for calculating the robot hand joint angle is well known to those skilled in the art.
  • step S5 the control device 200 executes a robot hand joint angle difference calculating step (step S5).
  • step S5 the control device 200 calculates a difference ⁇ between the robot hand joint angle calculated in step S4 and the past robot hand joint angle.
  • the past robot hand joint angle is, for example, a robot hand joint angle calculated based on a teaching image N frames before (where N is a predetermined integer).
  • the past robot hand joint angle may be a robot hand joint angle in a state where the robot hand 120 is last driven and stopped, that is, the robot hand joint angle actually realized by the robot hand 120.
  • This difference ⁇ is calculated for all joints of the robot hand 120, for example. However, the difference ⁇ only needs to be calculated for at least one joint.
  • control device 200 determines whether or not the difference ⁇ calculated in step S5 is larger than a predetermined threshold (step S6). This determination corresponds to the determination of whether or not the finger of the teacher 10 has moved to some extent. This determination may be performed based on whether one value is calculated based on the difference ⁇ for all of the joints of the robot hand 120 and this one value is greater than a predetermined threshold value, or the robot hand It may be performed based on each difference ⁇ for 120 joints.
  • step S7 the control device 200 creates robot hand teaching data for teaching the operation of the robot hand 120 based on the robot hand joint angle calculated in step S4. For example, robot hand teaching data for instructing to control the joint angle of the robot hand 120 to the one shown in FIG. 4B can be created. Since the robot hand joint angle (FIG. 4B) is calculated based on the finger coordinates (FIG. 4A) as described above, the robot hand teaching data is created based on the finger coordinates. It can be said that there is.
  • step S8 the control device 200 executes a robot hand drive command transmission step (step S8).
  • step S8 the control device 200 transmits a robot hand drive command to each joint of the robot hand 120 based on the robot hand teaching data created in step S7, thereby driving the robot hand 120. Since the robot hand teaching data is calculated based on the robot hand joint angle as described above, it can be said that the robot hand 120 is driven based on the robot hand joint angle. If it is determined in step S6 that the difference ⁇ is equal to or smaller than the threshold value, steps S7 and S8 are not executed, and the robot hand 120 remains stopped.
  • step S9 the control device 200 calculates a difference ⁇ L between the wrist position calculated in step S2b and the past wrist position.
  • the past wrist position is a wrist position calculated based on, for example, a teaching image N frames before (where N is a predetermined integer).
  • the past wrist position may be a wrist position when the robot arm 110 is last driven and stopped, that is, a wrist position corresponding to a posture that the robot arm 110 actually realizes.
  • the control device 200 determines whether or not the difference ⁇ L calculated in step S9 is larger than a predetermined threshold (step S10).
  • This determination corresponds to a determination as to whether or not the wrist of the teacher 10 has moved to some extent.
  • the determination is performed based only on the difference ⁇ L in the wrist position, but may be performed based on the difference in the wrist position and the difference in the wrist direction.
  • step S11 the control device 200 creates robot arm teaching data for teaching the operation of the robot arm 110 based on the wrist position determined in step S2a and the wrist direction determined in step S2b.
  • the wrist position and the wrist direction are converted into robot arm coordinates representing the position and orientation of the tip of the robot arm 110.
  • the control device 200 controls the position of the tip of the robot arm 110 to the point (x 0 , y 0 , z 0 ) in FIG. 4B, and the orientation of the robot arm 110 in FIG. 4B.
  • Robot arm teaching data for commanding control to angles ( ⁇ 0 , ⁇ 0 , ⁇ 0 ) can be created.
  • control device 200 executes a robot arm drive command transmission step (step S12).
  • step S12 the control device 200 transmits a robot arm drive command to the robot arm 110 based on the robot arm teaching data created in step S11, thereby driving the robot arm 110. Since the robot arm teaching data is calculated based on the wrist coordinates as described above, it can be said that the robot arm 110 is driven based on the wrist coordinates. If it is determined in step S10 that the difference ⁇ L is equal to or smaller than the threshold value, steps S11 and S12 are not executed, and the robot arm 110 remains stopped.
  • steps S3 to S8 and steps S9 to S12 When the execution of steps S3 to S8 and steps S9 to S12 is completed, the process of FIG. 2 ends, and the control device 200 repeats the process of FIG. 2 from the beginning again.
  • the state of the robot 100 is always photographed by the monitor camera 50 and displayed on the monitor 60. This is feedback to the teacher 10.
  • the teacher 10 moves the arm 23 and the hand 21 while watching this display, and can teach the robot 100 an appropriate operation.
  • the wrist 22 of the teacher 10 is recognized from the teaching image and automatically taught using the coordinates. Since data is created, teaching of the robot 100 including the robot arm 110 can be easily performed.
  • FIG. 5 shows a configuration related to the robot teaching system according to the second embodiment. All of the robots 101 to 103 in FIG. 5 have the same configuration as the robot 100 in FIG. 5 has the same configuration as that of the control device 200 of FIG. 1, but is connected to three robots 101 to 103, and can perform processing relating to these three devices at the same time. .
  • Such a configuration is particularly efficient when the corresponding robots 101 to 103 perform the same operation on a plurality of objects 131 to 133 having the same configuration.
  • the teacher 10 can teach all the robots 101 to 103 at the same time by one teaching. Although not shown in FIG. 5, feedback by the monitor camera 50 and the monitor 60 may be performed as in FIG.
  • FIG. 6 shows a configuration of a monocular camera 31 according to the robot teaching system according to the third embodiment.
  • the direction of the monocular camera 31 can be changed according to the movement of the hand 21 or the wrist 22 of the teacher 10. For example, in FIG. 6, when the hand 21 is in the position (a), the monocular camera 31 is controlled in the direction (A), and when the hand 21 is in the position (b), the monocular camera 31 is ( The direction of B) is controlled.
  • Such direction control of the monocular camera 31 can be performed by a control device using a known technique.
  • the direction of the monocular camera 31 can be controlled so that the teaching image is processed in real time, the feature points are extracted and tracked. In this case, it is not necessary to completely track the movement of the hand 21, and the hand 21 may be in a range that can be accommodated in the visual field of the monocular camera 31.
  • the monocular camera 31 is shown in FIG. 6, the same control is performed for the stereo camera.
  • FIG. 7 shows configurations of monocular cameras 32 and 33 according to a robot teaching system according to a modification of the third embodiment.
  • Monocular cameras 32 and 33 are located at different positions and have different fields of view. For example, in FIG. 7, when the hand 21 is at the position (a), the monocular camera 32 captures the teaching image, and when the hand 21 is at the position (b), the monocular camera 33 captures the teaching image. To do. Which of the monocular cameras 32 and 33 captures the teaching image can be determined by a control device using a known technique, for example. Although only the monocular cameras 32 and 33 are shown in FIG. 7, the same arrangement is made for the stereo cameras.
  • FIG. 8 shows a configuration related to the robot teaching system according to the fourth embodiment.
  • the robot 104 in FIG. 8 has the same configuration as the robot 100 in FIG.
  • the robot 105 in FIG. 8 has a configuration that is symmetrical to the robot 100 in FIG. 8 has the same configuration as that of the control device 200 of FIG. 1, but is connected to two robots 104 and 105, and can perform processing relating to these two devices at the same time. .
  • the monocular camera 30 captures an image including both hands of the teacher 10 and the stereo camera 40 captures an image including both wrists of the teacher 10. That is, the teaching image includes the wrists and hands for both arms of the teacher 10. In addition, wrist coordinates, finger coordinates, robot arm teaching data, and robot hand teaching data are determined or created for both arms, respectively. Two monocular cameras and two stereo cameras may be provided, and the right arm 20a and the left arm 20b may be photographed individually.
  • control device 202 has a function of recognizing the hand and wrist of the instructor 10 in the teaching image by distinguishing between the right arm 20a and the left arm 20b.
  • the control device 202 controls the robot 104 based on the wrist and hand teaching images of the right arm 20a of the teacher 10 and controls the robot 105 based on the wrist and hand teaching images of the teacher 10 left arm 20b.
  • teaching using both arms can be easily performed as in the first embodiment.
  • the coordinate system is set with one wrist (for example, the right wrist) as a reference, the entire work space can be represented by relative coordinates, and coordinate errors are reduced and controllability is improved.
  • one teacher 10 teaches using two arms (both arms), but the two arms may be of different teachers. That is, two teachers may teach using their respective arms. Such a configuration is particularly effective for work such as delivery of the object 130. Further, one or both of two teachers may teach using both arms, and three or more teachers may similarly teach using one arm or both arms, respectively.
  • the monocular camera acquires one teaching image including the hand 21 and the stereo camera acquires two teaching images including the wrist 22, so that three teaching images are acquired at a single point.
  • the number of teaching images need not be three.
  • a monocular camera and a stereo camera only one camera may be used, and this camera may acquire one teaching image including both the hand 21 and the wrist 22. In this case, it is possible to select the posture candidate data of the hand 21 and determine the wrist coordinates based on this one teaching image.
  • Two monocular cameras may be used, one of which may acquire a teaching image including the hand 21 as in the case of the monocular camera, and the other may acquire one teaching image including the wrist 22.
  • only one stereo camera may be used, or one or both of the stereo wrist images acquired by the stereo camera may be used as the teaching image of the hand 21.
  • a TOF (Time Of Flight) camera may be used as the teaching image acquisition means.
  • the TOF camera can obtain distance information to the subject. Based on this distance information, it is possible to select posture candidate data and determine wrist coordinates.
  • FIG. 9 shows another method for determining the position of the wrist 22.
  • the teacher 10 attaches the wristband 25 to the wrist and performs the teaching operation.
  • the control device can specify a portion corresponding to the wristband 25 in the teaching image and determine the position of the wrist 22 in relation to this. If the color of the wristband 25 is set as a specific color different from the skin color of the teacher 10, the control device can determine the position of the wrist 22 by detecting the specific color, and the position determination process Is simplified and accuracy is improved.
  • the control device can perform the first operation.
  • the position of one wrist can be determined by detecting one color
  • the position of the other wrist can be determined by detecting a second color different from the first color. In this way, the process of distinguishing and recognizing the right hand and the left hand in the teaching image is simplified and the accuracy is improved.
  • each wrist can be recognized separately in the teaching image. it can.
  • the hand 21 is based on the minute movement of the hand 21, wrist 22 or upper arm 23 with respect to the background (that is, the hand 21, wrist 22, upper arm 23 and parts other than the body of the teacher 10) in the teaching image, so-called “camera shake”.
  • the wrist 22 or the upper arm 23 may be recognized and the position thereof may be determined.
  • the position of the wrist 22 can be determined based on this.
  • the wristband as shown in FIG. 9 is not used, the position of the wrist 22 can be determined based on the difference in color (for example, the skin color, clothes, etc. of the teacher 10).
  • posture candidate data is selected in the posture candidate data selection step (step S2a in FIG. 2) without using information on the wrist position. This is based on information on the wrist position. You may go.
  • the posture candidate data selection step (step S2a) may be executed after the wrist position determination step (step S2b). Further, a portion ahead of the wrist 22 in the teaching image may be recognized as the hand 21 and used for selection of posture candidate data.
  • the actual driving is performed based on the teaching data immediately after the teaching data is created, but the driving may not be performed.
  • the created teaching data may be simply recorded.
  • the teaching data recorded later can be read and the robot can be driven based on this.
  • the robot has three robot hands and has a total of 15 controllable degrees of freedom, but the number of robot hands and the number of degrees of freedom are not limited to this.
  • the number of fingers of the robot hand may be at least one, and if there is a gripping operation or the like, it may be two or more.
  • the number of degrees of freedom is at least three variables representing the position of the tip of the robot arm in three dimensions, three variables representing the orientation of the tip of the robot arm in three dimensions, and 1 representing the angle of the first joint of the first finger.
  • the finger coordinates include coordinates representing the positions of the joints of the fingers and coordinates representing the positions of the fingertips, but the configuration of the finger coordinates is not limited to this.
  • the finger coordinates may consist only of coordinates representing the positions of the joints of the fingers, or may comprise only coordinates representing the position of the fingertip.
  • it may be a coordinate representing some position related to the finger, and any coordinates can be used as long as it can determine the joint angle of the robot hand.
  • the robot 100 has the fingers of the three robot hands 120, and the thumb, index finger, and middle finger among the fingers of the teacher 10 correspond to the fingers of the robot hand 120.
  • the three fingers used for may be a different combination.
  • teaching can be performed using only the thumb and forefinger, for example, and in the case of a robot having four or five fingers of the robot hand. Can teach using four or five fingers.

Abstract

ロボットの教示データを作成する方法およびロボット教示システムにおいて、ロボットアームを含むロボットの教示を簡単に行うことができるものを提供する。単眼カメラ（３０）およびステレオカメラ（４０）が、教示者（１０）の手首（２２）および手（２１）を含む教示画像を取得する（教示画像取得ステップ、ステップＳ１）。制御装置（２００）は、教示画像に基づいて、手首（２２）の位置および向きを表す手首座標を決定し（手首座標決定ステップ、ステップＳ２）、手首座標に基づいて、ロボットアーム（１１０）の動作を教示するロボットアーム教示データを作成する（ロボットアーム教示データ作成ステップ、ステップＳ１１）。

Description

ロボットの教示データを作成する方法およびロボット教示システム
　この発明は、ロボットの教示データを作成する方法およびロボット教示システムに関する。
　ロボットを用いて作業を行う際には、ロボットに動作のパターンを教示する必要がある。この教示の方法としては、動作のパターンを表す教示データを数値としてキーボードから直接入力する方法、教示者がロボットの制御装置を操作して動作を実行させ、これに伴って教示データを作成させる方法、および、人間の手の画像を入力して、これにロボットハンドの姿勢を一致させる教示データを自動的に作成させる方法、等がある。引用文献１には、人間の手の画像にロボットハンドの姿勢を一致させる方法の例が記載されている。
特開平４－３６５５７０号公報
　しかしながら、従来の技術では、ロボットアームを含むロボットの教示を簡単に行うことができないという問題があった。
　たとえば、教示データを数値としてキーボードから入力する場合や、教示者がロボットの制御装置を操作して動作を実行させる場合には、教示のために専門の知識が必要であり、また、複雑な動作を組み合わせての教示が困難である。また、人間の手の画像にロボットハンドを一致させる場合には、教示者の腕や体全体の動きによって手の位置が変わってしまうような動作に対応することができない。
　この発明はこのような問題点を解消するためになされたものであり、ロボットの教示データを作成する方法およびロボット教示システムにおいて、ロボットアームを含むロボットの教示を簡単に行うことができるものを提供することを目的とする。
　この発明に係る、ロボットの教示データを作成する方法は、ロボットアームおよびロボットハンドを備えるロボットについて、当該ロボットの少なくとも１台の動作を教示する教示データを作成する方法であって、人間の手首および手を含む教示画像を少なくとも１つ取得する、教示画像取得ステップと、教示画像に基づいて、手首の位置および向きを表す手首座標を決定する、手首座標決定ステップと、教示画像に基づいて、手指に関連する位置を表す手指座標を決定する、手指座標決定ステップと、手首座標に基づいて、ロボットアームの動作を教示するロボットアーム教示データを作成する、ロボットアーム教示データ作成ステップと、手指座標に基づいて、ロボットハンドの動作を教示するロボットハンド教示データを作成する、ロボットハンド教示データ作成ステップとを含む。
　この方法によれば、教示画像に基づく手首の位置および向きに応じて、ロボットのロボットアームの動作に関する教示データが作成される。
　教示画像取得ステップにおいて、ステレオカメラが、人間の手首を含む２つの画像からなるステレオ手首画像を取得し、手首座標決定ステップにおいて、手首の位置は、ステレオ手首画像に基づいて決定されてもよい。
　手首座標決定ステップは、人間の手の姿勢を表す複数の姿勢候補データのうちから、教示画像に基づいて１つの姿勢候補データを選択する、姿勢候補データ選択ステップと、教示画像と選択された姿勢候補データとの対応関係に基づいて、教示画像における手首の向きを決定する、手首方向決定ステップとを含んでもよい。
　ロボットは少なくとも２台であり、教示画像は、人間の両腕について、それぞれの手首および手を含み、手首座標、手指座標、ロボットアーム教示データ、およびロボットハンド教示データは、それぞれ両腕について決定または作成されてもよい。
　また、この発明に係るロボット教示システムは、上述の方法を実行する。
　この発明に係る、ロボットの教示データを作成する方法およびロボット教示システムは、教示者の手首を認識してその座標を利用するので、ロボットアームを含むロボットの教示を簡単に行うことができる。
この発明の実施の形態１に係るロボット教示システムに関連する構成を示す図である。 図１のロボット教示システムの動作を説明するフローチャートである。 手首の位置を決定する方法の一例を説明する図である。 （ａ）は図１のロボット教示システムが決定する手指座標の例を示す図である。（ｂ）は図１のロボット教示システムが決定するロボットハンド関節角度の例を示す図である。 この発明の実施の形態２に係るロボット教示システムに関連する構成を示す図である。 この発明の実施の形態３に係るロボット教示システムに係る単眼カメラの構成を示す図である。 この発明の実施の形態３の変形例に係るロボット教示システムに係る単眼カメラの構成を示す図である。 この発明の実施の形態４に係るロボット教示システムに係る構成を示す図である。 手首の位置を決定する方法について、図３とは異なる例を示す図である。
　以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係るロボット教示システムに関連する構成を示す。ロボット教示システムは、教示の対象となるロボット１００と、ロボット１００に接続された制御装置２００とを含む。ロボット１００は、マニピュレータと呼ばれるものであってもよい。
　ロボット１００は、ロボットアーム１１０およびロボットハンド１２０を含む。図１ではロボットハンド１２０は３本であるが、これは少なくとも２本であればよい。ロボットハンド１２０の根元はロボットアーム１１０の先端に連結されており、ロボットアーム１１０の位置および向きが決まればこれに応じてすべてのロボットハンド１２０の根元の位置が一意に決まる構成となっている。
　このロボット１００は、対象物１３０に対して作業を行うものである。作業としては、把持、運搬、組み付け等が可能である。
　制御装置２００は、その内部の構成については図示しないが、演算手段（ＣＰＵ等）と記憶手段（半導体メモリ装置、磁気ディスク装置等）とを備えるコンピュータである。この制御装置２００は、その記憶手段に格納された教示データ作成プログラムを実行することにより、ロボット１００の教示データを作成する教示データ作成装置として機能し、また、その記憶手段に格納された駆動制御プログラムを実行することにより、ロボット１００の動作を制御する駆動制御装置として機能する。これらの教示データ作成プログラムおよび駆動制御プログラムは、情報記憶媒体に記憶することができる。
　制御装置２００は、人間の手を含む画像に基づいて、手指の各関節の空間的位置および指先の空間的位置を表す座標を決定する機能を有する。このような機能は、たとえば、谷本らの研究（谷本貴頌他により２００６年３月に作成され公知となった「ロボットハンド制御のための自己増殖型ＳＯＭを用いた画像データベースからの手指形状の実時間推定」と題する筑波大学大学院博士課程システム情報工学研究科修士論文）に記載される方法を使用することによって実現することができる。この方法によれば、手を撮像した一つの二次元画像から手の姿勢の推定を行うことができる。谷本らの研究では、予め、手の関節の角度情報と手画像とを同期させて取得し、画像における輪郭抽出と特徴量化を行い、この特徴量と角度とをデータとしてデータベースを構築している。そして、手の実画像について、データベースの構築時と同様の特徴量化を行い、得られた特徴量とデータベースの特徴量との比較を行うことで手の関節の角度を推定し、手の姿勢を推定している。
　この方法によれば、手の姿勢を表すデータである特徴量について複数のパターンをデータベースに格納しておき、この複数のパターン（姿勢候補データ）のうちから実画像に基づいて１つのパターン（姿勢候補データ）を選択することが可能となる。この際、手首の位置を基準として原点を設定し、手首の向きを基準として座標軸を設定した座標系において、指の空間的位置を決定することができる。
　また、制御装置２００は、手または指の一部が画像に表れない場合（たとえばカメラの視野外にある場合、対象物によってカメラの視野が遮られる場合、教示者１０の体の一部、手、指等によってカメラの視野が遮られる場合、等）には、オクルージョンの部分（すなわち画像に表れない部分）を推定して補完する機能を有する。このような機能は、周知の画像処理技術を用いて実現可能である。
　ロボット教示システムは、制御装置２００に接続された単眼カメラ３０を含む。単眼カメラ３０は、手２１の教示画像取得手段として機能する。すなわち、人間である教示者１０の指を含む手２１を撮影し、手２１を含む画像を取得して制御装置２００に送信する。（なお、本明細書において「単眼カメラ」という名称は、後述のステレオカメラ４０との区別のために用いるものであり、同様の機能を有するカメラであれば単眼カメラでなくともよい。）
　なお、手２１は手首２２よりも先の部分であり、すなわち掌および指を含む部分である。腕２３は手首２２よりも根元側の部分である。この実施の形態では右腕であるが、左腕であってもよい。
　また、ロボット教示システムは、制御装置２００に接続されたステレオカメラ４０を含む。ステレオカメラ４０は、手首２２の教示画像取得手段として機能する。すなわち、教示者１０の手首２２を撮影し、手首２２を含む画像を取得して制御装置２００に送信する。ステレオカメラ４０は周知の構成によって立体映像を撮影することができる。すなわち、ステレオカメラ４０は少なくとも２つのカメラを含み、これらのカメラが互いに異なる位置から手首２２を含む画像を撮影する。それぞれの画像における手首２２の位置に基づいて、ステレオカメラ４０と手首２２との距離を含む空間的位置関係を決定することができる。
　さらに、ロボット教示システムは、ロボット１００を撮影するモニタ用カメラ５０と、モニタ用カメラ５０によって撮影された画像を表示するモニタ６０とを含む。モニタ用カメラ５０はロボット状態撮影手段として機能し、モニタ６０はロボット状態表示手段として機能する。
　単眼カメラ３０、ステレオカメラ４０およびモニタ６０は、教示者１０の近傍に配置される。単眼カメラ３０は、教示者１０が教示を行う際に手２１が移動する範囲をすべて視野に収める位置に配置される。ステレオカメラ４０は、たとえば、教示者１０が教示を行う際に手首２２が移動する範囲をすべて視野に収める位置に配置される。モニタ６０は、教示者１０が教示作業を行う際に、その表示内容を見ることができる位置に配置される。このような配置により、教示者１０はロボット１００の状態を視認しながら、リアルタイムで教示作業を行うことができる。
　以上のように構成されるロボット教示システムの動作を、図２のフローチャートを用いて説明する。
　まず、ロボット教示システムは、教示画像取得ステップ（ステップＳ１）を実行する。このステップＳ１において、ロボット教示システムは、教示者１０の手２１および手首２２を含む教示画像を取得する。この教示画像はロボット１００の教示に用いられるものである。
　実施の形態１では、ステップＳ１において、単眼カメラ３０が手２１を含む教示画像を１つ取得し（ステップＳ１ａ）、ステレオカメラ４０が手首２２を含む２つの画像からなるステレオ手首画像を取得する（ステップＳ１ｂ）。すなわち、ステップＳ１ｂでは、ステレオカメラ４０を構成するそれぞれのカメラが、手首２２を含む教示画像を１つずつ取得する。
　また、ステップＳ１において、単眼カメラ３０およびステレオカメラ４０は、それぞれ取得した教示画像を制御装置２００に送信し、制御装置２００はこれらを受信して記憶手段に格納する。
　次に、制御装置２００は、手首座標決定ステップ（ステップＳ２）を実行する。このステップＳ２において、制御装置２００は、教示画像に基づいて、手首２２の位置および向きを表す手首座標を決定する。ステップＳ２は、姿勢候補データ選択ステップ（ステップＳ２ａ）、手首位置決定ステップ（ステップＳ２ｂ）、および、手首方向決定ステップ（ステップＳ２ｃ）を含む。
　姿勢候補データ選択ステップ（ステップＳ２ａ）において、制御装置２００は、データベースに格納されている手の姿勢を表す複数の姿勢候補データのうちから、手２１を含む教示画像に基づいて、１つの姿勢候補データを選択する。この選択は公知の方法によって行うことができる。たとえば、制御装置２００は、教示画像から抽出した特徴量と、姿勢候補データを表す特徴量との一致度が最も高いものを選択することができる。
　また、手首位置決定ステップ（ステップＳ２ｂ）において、制御装置２００は、ステレオカメラ４０によって撮影されたステレオ手首画像に基づいて、手首２２の位置を決定する。
　図３を用いて、画像における手首２２の位置を決定する方法の一例を説明する。図３はステレオ手首画像の一方である。制御装置２００は、まず画像中の２点によって表されるくびれ部分２２ａを検出し、このくびれ部分２２ａの中点２２ｂの位置を算出する。そして、その画像における中点２２ｂの位置を、その画像における手首２２の位置として決定する。
　さらに、制御装置２００は、ステレオ手首画像の残る一方でも同様にして手首２２の位置を決定する。その後、ステレオ手首画像のそれぞれにおける手首２２の位置に基づいて、ステレオカメラ４０を基準とする手首２２の空間的な位置を算出することができる。
　ステップＳ２ａおよびステップＳ２ｂの後、制御装置２００は手首方向決定ステップ（ステップＳ２ｃ）を実行する。ステップＳ２ｃにおいて、制御装置２００は、手２１の教示画像と、ステップＳ２ａにおいて選択された姿勢候補データとの対応関係に基づいて、手２１の教示画像における手首２２の向きを決定する。姿勢候補データは、手首の位置および向きを基準として手指の各関節の位置および指先の空間的位置を表す座標を表すものであるので、たとえば、教示画像中の手２１と、選択された姿勢候補データとがある特定の向きにおいて最もよく一致する場合、その向きを手首２２の向きと決定することができる。
　ステップＳ２の後、ステップＳ３～Ｓ８を含む処理と、ステップＳ９～Ｓ１２を含む処理とが並列に実行される。ただし、これらは直列に実行されるものであってもよい。
　ステップＳ２の後、制御装置２００は、手指座標決定ステップ（ステップＳ３）を実行する。このステップＳ３において、制御装置２００は、手２１の教示画像に基づいて、手指の各関節および指先の位置を表す手指座標を決定する。これは上述の谷本らの方法に従って行うことができる。
　図４（ａ）は、このようにして決定される手指座標の例を示す。図４（ａ）では、教示者１０の手２１の右手の親指、人差し指および中指に関連する手指座標が示されている。たとえば、点（ｘ11，ｙ11，ｚ11）、点（ｘ12，ｙ12，ｚ12）、および点（ｘ13，ｙ13，ｚ13）は、それぞれ親指の第２関節、第１関節および指先の位置を表す。なお、点（ｘ4，ｙ4，ｚ4）はステップＳ２ｂにおいて決定される手首位置を表す。
　ステップＳ３の後、制御装置２００は、ロボットハンド関節角度算出ステップ（ステップＳ４）を実行する。このステップＳ４において、制御装置２００は、上記ステップＳ３で決定された手指座標に基づいて、ロボット１００のロボットハンド１２０の各関節の角度を表すロボットハンド関節角度を算出する。この算出方法の具体例はとくに示さないが、ロボット１００の構造、ロボットハンド１２０の指の数およびロボットハンド１２０の各指の関節の数等の条件に応じて、当業者が適宜設計することができる。
　図４（ｂ）は、このようにして決定されるロボットハンド関節角度の例を示す。なおこの図ではロボット１００自体の図示は省略し、各関節の角度のみを模式的に示す。ロボット１００において、ロボットハンド１２０の各指が２つの関節を持つ。第１関節（指先側の関節）は１つの自由度（角度ω）を持ち、第２関節（根元側の関節）は２つの自由度（角度θおよびφ）を持つ。また、ロボット１００は、手首すなわちロボットアーム１１０の先端の位置を表す点（ｘ0，ｙ0，ｚ0）および向きを表す角度（θ0，φ0，ψ0）についてそれぞれ３自由度を持つ。このように、ロボット１００は合計１５の自由度をもって制御可能である。なお、図４（ｂ）では、親指、人差し指および中指にそれぞれ対応するロボット指１２０ａ、ロボット指１２０ｂおよびロボット指１２０ｃとして表している。
　図４（ａ）および図４（ｂ）において、たとえば親指については、図４（ａ）の点（ｘ11，ｙ11，ｚ11）、点（ｘ12，ｙ12，ｚ12）、および点（ｘ13，ｙ13，ｚ13）の座標に基づいて、ロボット指１２０ａの第１関節１２２の角度（ω1）および第２関節１２３の角度（θ1，φ1）が決定される。
　なお、手指とロボット指とではサイズや可動範囲等が異なるため、関節の数が等しい場合であっても関節の位置が一致するとは限らない。また、人差し指および中指については、手指とロボット指とで関節の数が異なるが、このような場合にロボットハンド関節角度を算出する方法も、当業者には周知である。
　ステップＳ４の後、制御装置２００は、ロボットハンド関節角度差分算出ステップ（ステップＳ５）を実行する。このステップＳ５において、制御装置２００は、ステップＳ４で算出されたロボットハンド関節角度と、過去のロボットハンド関節角度との差分Δθを算出する。ここで、過去のロボットハンド関節角度とは、たとえばＮフレーム前（ただしＮは所定の整数）の教示画像に基づいて算出されたロボットハンド関節角度である。または、過去のロボットハンド関節角度とは、最後にロボットハンド１２０が駆動され停止した状態のロボットハンド関節角度、すなわち実際にロボットハンド１２０が実現しているそのロボットハンド関節角度であってもよい。
　この差分Δθは、たとえばロボットハンド１２０の関節のすべてについて算出される。ただし、この差分Δθは少なくとも１つの関節について算出されるものであればよい。
　次に、制御装置２００は、ステップＳ５で算出された差分Δθが、所定の閾値より大きいかどうかを判定する（ステップＳ６）。この判定は、教示者１０の手指がある程度大きな動きを示したかどうかの判定に相当する。この判定は、ロボットハンド１２０の関節のすべてについての差分Δθに基づいて１つの値を算出し、この１つの値が所定の閾値より大きいかどうかに基づいて行われてもよく、または、ロボットハンド１２０の各関節についての差分Δθのそれぞれに基づいて行われてもよい。
　ステップＳ６において、差分Δθが閾値より大きいと判定された場合、制御装置２００は、ロボットハンド教示データ作成ステップ（ステップＳ７）を実行する。このステップＳ７において、制御装置２００は、ステップＳ４で算出されたロボットハンド関節角度に基づいて、ロボットハンド１２０の動作を教示するロボットハンド教示データを作成する。たとえば、ロボットハンド１２０の関節角度を図４（ｂ）に示すものに制御することを指令するロボットハンド教示データを作成することができる。なお、上述のようにロボットハンド関節角度（図４（ｂ））は手指座標（図４（ａ））に基づいて算出されるので、ロボットハンド教示データは手指座標に基づいて作成されるものであるということもできる。
　ステップＳ７の後、制御装置２００は、ロボットハンド駆動指令送信ステップ（ステップＳ８）を実行する。このステップＳ８において、制御装置２００は、ステップＳ７で作成されたロボットハンド教示データに基づいてロボットハンド１２０の各関節にロボットハンド駆動指令を送信し、これによってロボットハンド１２０を駆動する。なお、上述のようにロボットハンド教示データはロボットハンド関節角度に基づいて算出されるので、ロボットハンド１２０はロボットハンド関節角度に基づいて駆動されるものであるということもできる。
　なお、上記ステップＳ６において、差分Δθが閾値以下であると判定された場合には、ステップＳ７およびＳ８は実行されず、ロボットハンド１２０は停止したままとなる。
　また、ステップＳ２の後、制御装置２００は、手首位置差分算出ステップ（ステップＳ９）を実行する。このステップＳ９において、制御装置２００は、ステップＳ２ｂで算出された手首位置と、過去の手首位置との差分ΔＬを算出する。ここで、過去の手首位置とは、たとえばＮフレーム前（ただしＮは所定の整数）の教示画像に基づいて算出された手首位置である。または、過去の手首位置とは、最後にロボットアーム１１０が駆動され停止した時点の手首位置、すなわち実際にロボットアーム１１０が実現している姿勢に対応する手首位置であってもよい。
　次に、制御装置２００は、ステップＳ９で算出された差分ΔＬが、所定の閾値より大きいかどうかを判定する（ステップＳ１０）。この判定は、教示者１０の手首がある程度大きな動きを示したかどうかの判定に相当する。
　なお、この例では判定は手首位置の差分ΔＬのみに基づいて行われるが、手首位置の差分および手首方向の差分に基づいて行われてもよい。
　ステップＳ１０において、差分ΔＬが閾値より大きいと判定された場合、制御装置２００は、ロボットアーム教示データ作成ステップ（ステップＳ１１）を実行する。このステップＳ１１において、制御装置２００は、ステップＳ２ａで決定された手首位置およびステップＳ２ｂで決定された手首方向に基づいて、ロボットアーム１１０の動作を教示するロボットアーム教示データを作成する。ここで、手首位置および手首方向は、ロボットアーム１１０の先端の位置および向きを表すロボットアーム座標に変換される。たとえば、制御装置２００は、ロボットアーム１１０の先端の位置を図４（ｂ）の点（ｘ0，ｙ0，ｚ0）に制御し、かつ、ロボットアーム１１０の向きを図４（ｂ）の角度（θ0，φ0，ψ0）に制御することを指令するロボットアーム教示データを作成することができる。
　ステップＳ１１の後、制御装置２００は、ロボットアーム駆動指令送信ステップ（ステップＳ１２）を実行する。このステップＳ１２において、制御装置２００は、ステップＳ１１で作成されたロボットアーム教示データに基づいてロボットアーム１１０にロボットアーム駆動指令を送信し、これによってロボットアーム１１０を駆動する。なお、上述のようにロボットアーム教示データは手首座標に基づいて算出されるので、ロボットアーム１１０は手首座標に基づいて駆動されるものであるということもできる。
　なお、上記ステップＳ１０において、差分ΔＬが閾値以下であると判定された場合には、ステップＳ１１およびＳ１２は実行されず、ロボットアーム１１０は停止したままとなる。
　ステップＳ３～Ｓ８およびステップＳ９～Ｓ１２の実行が完了すると、図２の処理が終了し、制御装置２００は再び図２の処理を最初から繰り返す。
　また、図１に示すように、ロボット１００の状態は、モニタ用カメラ５０によって常時撮影され、モニタ６０に表示される。これが教示者１０に対するフィードバックとなる。教示者１０は、この表示を見ながら腕２３および手２１を動かし、ロボット１００に適切な動作を教示することができる。
　以上のように、実施の形態１に係るロボットの教示データを作成する方法およびロボット教示システムによれば、教示者１０の手首２２を教示画像により認識し、その座標を利用して自動的に教示データを作成するので、ロボットアーム１１０を含むロボット１００の教示を簡単に行うことができる。
　特に、ロボットの操作方法を知らない教示者であっても教示を行うことができる。また、教示者１０のジェスチャがそのまま教示動作となるので、複雑な教示動作も簡単に行うことができ、また、人間特有の器用さを要する動作も簡単に教示することができる。
　また、単眼カメラ３０およびステレオカメラ４０が教示画像を取得し、また、モニタ用カメラ５０がロボット１００の状態を表す画像を取得するので、システム全体が安価に構築できる。また、これらのカメラによって遠隔操作が可能となるので、人間が作業困難な場所での作業の教示も行うことができる。
実施の形態２．
　実施の形態２は、実施の形態１において、同一の教示データによって複数のロボットの教示を行うものである。
　図５に、実施の形態２に係るロボット教示システムに関連する構成を示す。図５のロボット１０１～１０３は、いずれも図１のロボット１００と同様の構成を有する。また、図５の制御装置２０１は、図１の制御装置２００と同様の構成を有するが、３台のロボット１０１～１０３に接続されており、これら３台に関する処理を同時に行うことが可能である。
　このような構成は、同一の構成を有する複数の対象物１３１～１３３に対して、それぞれ対応するロボット１０１～１０３が同一の動作を行う場合において、特に効率的である。教示者１０は、一度の教示によって同時にすべてのロボット１０１～１０３の教示を行うことができる。
　なお、図５には示さないが、図１と同様にモニタ用カメラ５０およびモニタ６０によるフィードバックが行われてもよい。
実施の形態３．
　実施の形態３は、実施の形態１および２において、カメラの視野をより広くするものである。
　図６に、実施の形態３に係るロボット教示システムに係る単眼カメラ３１の構成を示す。単眼カメラ３１は、教示者１０の手２１または手首２２の動きに応じ、その向きを変更することが可能である。たとえば、図６において、手２１が（ａ）の位置にある場合には単眼カメラ３１は（Ａ）の向きに制御され、手２１が（ｂ）の位置にある場合には単眼カメラ３１は（Ｂ）の向きに制御される。
　このような単眼カメラ３１の方向制御は、制御装置によって、周知の技術を用いて行うことができる。たとえば、教示画像をリアルタイムで処理し、特徴点を抽出してこれを追尾するように単眼カメラ３１の方向を制御することができる。なお、この場合、手２１の移動を完全に追尾する必要はなく、手２１が単眼カメラ３１の視野に収まる範囲とすればよい。
　なお、図６には単眼カメラ３１のみを示すが、ステレオカメラについても同様の制御がなされる。
　このような構成によれば、より広い範囲にわたる動作の教示が可能となる。
　なお、図６では単眼カメラ３１は向きのみを変更可能であるが、向きではなく位置を変更可能としてもよく、向きおよび位置の双方を変更可能としてもよい。
　図７に、実施の形態３の変形例に係るロボット教示システムに係る単眼カメラ３２および３３の構成を示す。単眼カメラ３２および３３は異なる位置に配置され、異なる視野を有する。たとえば、図７において、手２１が（ａ）の位置にある場合には単眼カメラ３２が教示画像を撮影し、手２１が（ｂ）の位置にある場合には単眼カメラ３３が教示画像を撮影する。単眼カメラ３２および３３のいずれが教示画像を撮影するかは、たとえば制御装置によって、周知の技術を用いて決定することができる。
　なお、図７には単眼カメラ３２および３３のみを示すが、ステレオカメラについても同様の配置がなされる。
実施の形態４．
　実施の形態４は、実施の形態１～３において、教示動作を１本の腕でなく２本の腕で行うものである。
　図８に、実施の形態４に係るロボット教示システムに係る構成を示す。図８のロボット１０４は、図１のロボット１００と同様の構成を有する。また、図８のロボット１０５は、図１のロボット１００と左右対称となる構成を有する。また、図８の制御装置２０２は、図１の制御装置２００と同様の構成を有するが、２台のロボット１０４および１０５に接続されており、これら２台に関する処理を同時に行うことが可能である。
　単眼カメラ３０は、教示者１０の両手を含む画像を撮影し、ステレオカメラ４０は、教示者１０の両手首を含む画像を撮影する。すなわち、教示画像は、教示者１０の両腕について、それぞれの手首および手を含むことになる。また、手首座標、手指座標、ロボットアーム教示データ、およびロボットハンド教示データは、それぞれ両腕について決定されまたは作成される。
　なお、単眼カメラおよびステレオカメラはそれぞれ２台設けられてもよく、右腕２０ａおよび左腕２０ｂを個別に撮影してもよい。
　なお、制御装置２０２は、教示画像において、教示者１０の手および手首について、右腕２０ａのものと左腕２０ｂのものとを区別して認識する機能を有するものとする。制御装置２０２は、教示者１０の右腕２０ａの手首および手の教示画像に基づいてロボット１０４を制御し、教示者１０の左腕２０ｂの手首および手の教示画像に基づいてロボット１０５を制御する。
　このような構成によれば、両腕を用いる作業についても、実施の形態１と同様に簡単に教示を行うことができる。
　また、一方の手首（たとえば右手首）を基準として座標系を設定すれば、作業空間全体を相対座標によって表すことができ、座標の誤差が小さくなるとともに制御性が向上する。
　上述の実施の形態４では、一人の教示者１０が２本の腕（両腕）を用いて教示を行うが、２本の腕は異なる教示者のものであってもよい。すなわち、二人の教示者が、それぞれの腕を用いて教示を行ってもよい。このような構成は、対象物１３０の受け渡しのような作業に特に有効である。
　また、二人の教示者の一方または双方が両腕を用いて教示を行ってもよく、三人以上の教示者が同様にそれぞれ片腕または両腕を用いて教示を行ってもよい。
　上述の実施の形態１～４において、以下に示すような変形を施すことができる。
　実施の形態１、２および４では、単眼カメラが手２１を含む教示画像を１つ取得し、ステレオカメラが手首２２を含む教示画像を２つ取得するので、一時点で３つの教示画像が取得されることになるが、教示画像の数は３つでなくともよい。
　たとえば、単眼カメラおよびステレオカメラの代わりにただ１つのカメラを用い、このカメラが手２１および手首２２の双方を含む教示画像を１つ取得してもよい。この場合、この１つの教示画像に基づいて手２１の姿勢候補データの選択および手首座標の決定を行うことができる。
　また、２つの単眼カメラを用いてもよく、その一方が単眼カメラと同様に手２１を含む教示画像を取得し、他方は手首２２を含む１つの教示画像を取得してもよい。あるいは、１つのステレオカメラのみを用いてもよく、ステレオカメラによって取得されるステレオ手首画像の一方または双方を手２１の教示画像として用いてもよい。
　教示画像取得手段として、ＴＯＦ（Time Of Flight）カメラを用いてもよい。ＴＯＦカメラは、被写体までの距離情報を得ることができる。この距離情報をもとに姿勢候補データの選択および手首座標の決定を行うことができる。
　実施の形態１～４では、図３に示すように、教示画像中のくびれ部分２２ａに基づいて手首２２の位置を決定しているが、手首２２の位置はこれとは異なる方法で決定されてもよい。
　図９は、手首２２の位置を決定する他の方法を示す。図９では、教示者１０は手首にリストバンド２５を付して教示動作を行う。この場合、制御装置は、教示画像中でリストバンド２５に対応する部分を特定し、これに関連して手首２２の位置を決定することができる。リストバンド２５の色を教示者１０の肌の色とは異なる特定の色としておけば、制御装置はその特定の色を検出することによって手首２２の位置を決定することができ、位置決定の処理が簡素になるとともに精度が向上する。
　また、実施の形態４（図８）のように複数の腕が関わる教示作業の場合には、右手首のリストバンドと左手首のリストバンドとを互いに異なる色としておけば、制御装置は第１の色を検出することによって一方の手首の位置を決定することができ、第１の色とは異なる第２の色を検出することによって他方の手首の位置を決定することができる。このように、教示画像中で右手と左手とを区別して認識する処理が簡素になるとともに精度が向上する。
　なお、実施の形態４の変形例のように複数人の腕が関わる教示作業についても、すべての腕について異なる色のリストバンドを用いれば、教示画像中でそれぞれの手首を区別して認識することができる。
　さらに、教示画像における背景（すなわち教示者１０の手２１、手首２２、上腕２３および体以外の部分）に対する手２１、手首２２または上腕２３の微小な動き、いわゆる「手ぶれ」に基づいて、手２１、手首２２または上腕２３を認識し、その位置を決定してもよい。この場合、手２１または上腕２３が認識できれば、これに基づいて手首２２の位置を決定することができる。
　また、図９のようなリストバンドを用いない場合であっても、色の違い（たとえば教示者１０の肌の色、服装、等）に基づいて手首２２の位置を決定することができる。
　実施の形態１～４では、姿勢候補データ選択ステップ（図２のステップＳ２ａ）において、手首の位置に関する情報を用いずに姿勢候補データの選択を行うが、これは手首の位置に関する情報を用いて行ってもよい。この場合、姿勢候補データ選択ステップ（ステップＳ２ａ）は、手首位置決定ステップ（ステップＳ２ｂ）の後に実行されてもよい。また、教示画像において手首２２よりも先の部分を手２１として認識し、これを姿勢候補データの選択に用いてもよい。
　実施の形態１～４では、教示データを作成した直後にその教示データに基づいて実際の駆動を行っているが、駆動は行わなくともよい。たとえば、作成された教示データを単に記録するものであってもよい。この場合、後に記録された教示データを読み出し、これに基づいてロボットを駆動することができる。
　実施の形態１～４では、ロボットは３本のロボットハンドを備え合計１５の制御可能な自由度を持つが、ロボットハンドの数および自由度の数はこれに限られない。ロボットハンドの指の数は少なくとも１本あればよく、把持動作等がある場合は２本以上あればよい。また、自由度の数は、少なくとも、ロボットアームの先端の位置を３次元で表す３変数、ロボットアームの先端の向きを３次元で表す３変数、第１指の第１関節の角度を表す１変数、第１指の第２関節の角度を表す２変数、第２指の第１関節の角度を表す１変数、および、第２指の第２関節の角度を表す２変数の、合計１２あればよい。さらに、ロボットの自由度がこれより少ない場合には、さらに少ない変数によって教示を行ってもよい。
　実施の形態１～４では、手指座標は、手指の各関節の位置を表す座標と、指先の位置を表す座標とを含むが、手指座標の構成はこれに限られない。たとえば、手指座標は手指の各関節の位置を表す座標のみからなってもよく、また、指先の位置を表す座標のみからなってもよい。あるいは、手指に関連するなんらかの位置を表す座標であってもよく、これに対応してロボットハンド関節角度を決定することができるものであればよい。
　実施の形態１～４では、ロボット１００は３本のロボットハンド１２０の指を有しており、教示者１０の手指のうち親指・人差し指・中指がロボットハンド１２０の各指に対応したが、教示に用いる３本の指はこれとは異なる組合せであってもよい。また、ロボットハンドの指が２本であるロボットの場合には、たとえば親指および人差し指のみを用いて教示を行うことができ、また、４本または５本のロボットハンドの指を持つロボットの場合には、４本または５本の手指を用いて教示を行うことができる。

Claims (5)

  1. 　ロボットアームおよびロボットハンドを備えるロボットについて、当該ロボットの少なくとも１台の動作を教示する教示データを作成する方法であって、
    　人間の手首および手を含む教示画像を少なくとも１つ取得する、教示画像取得ステップと、
    　前記教示画像に基づいて、手首の位置および向きを表す手首座標を決定する、手首座標決定ステップと、
    　前記教示画像に基づいて、手指に関連する位置を表す手指座標を決定する、手指座標決定ステップと、
    　前記手首座標に基づいて、前記ロボットアームの動作を教示するロボットアーム教示データを作成する、ロボットアーム教示データ作成ステップと、
    　前記手指座標に基づいて、前記ロボットハンドの動作を教示するロボットハンド教示データを作成する、ロボットハンド教示データ作成ステップと
    を含む、ロボットの教示データを作成する方法。
  2. 　前記教示画像取得ステップにおいて、ステレオカメラが、人間の手首を含む２つの画像からなるステレオ手首画像を取得し、
    　前記手首座標決定ステップにおいて、前記手首の位置は、前記ステレオ手首画像に基づいて決定される
    請求項１に記載のロボットの教示データを作成する方法。
  3. 　前記手首座標決定ステップは、
    　人間の手の姿勢を表す複数の姿勢候補データのうちから、前記教示画像に基づいて１つの姿勢候補データを選択する、姿勢候補データ選択ステップと、
    　前記教示画像と選択された前記姿勢候補データとの対応関係に基づいて、前記教示画像における手首の向きを決定する、手首方向決定ステップと
    を含む
    請求項１に記載のロボットの教示データを作成する方法。
  4. 　前記ロボットは少なくとも２台であり、
    　前記教示画像は、人間の両腕について、それぞれの手首および手を含み、
    　前記手首座標、前記手指座標、前記ロボットアーム教示データ、および前記ロボットハンド教示データは、それぞれ両腕について決定または作成される
    請求項１に記載のロボットの教示データを作成する方法。
  5. 　請求項１～４のいずれか一項に記載の方法を実行する、ロボット教示システム。
PCT/JP2010/054936 2009-11-24 2010-03-23 ロボットの教示データを作成する方法およびロボット教示システム WO2011065035A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010800285557A CN102470530A (zh) 2009-11-24 2010-03-23 生成机器人的教导数据的方法以及机器人教导系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-266321 2009-11-24
JP2009266321A JP2011110621A (ja) 2009-11-24 2009-11-24 ロボットの教示データを作成する方法およびロボット教示システム

Publications (1)

Publication Number Publication Date
WO2011065035A1 true WO2011065035A1 (ja) 2011-06-03

Family

ID=44066138

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/054936 WO2011065035A1 (ja) 2009-11-24 2010-03-23 ロボットの教示データを作成する方法およびロボット教示システム

Country Status (4)

Country Link
JP (1) JP2011110621A (ja)
KR (1) KR20120025582A (ja)
CN (1) CN102470530A (ja)
WO (1) WO2011065035A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102350700A (zh) * 2011-09-19 2012-02-15 华南理工大学 一种基于视觉的机器人控制方法
EP2653272A1 (de) * 2012-04-17 2013-10-23 Siemens Aktiengesellschaft Betriebsverfahren für einen Rechner zum Programmieren der Bewegungen einer Maschine
WO2018077469A1 (de) * 2016-10-27 2018-05-03 Kuka Roboter Gmbh Verfahren zum steuern eines manipulators basierend auf handerkennung
CN112109069A (zh) * 2019-06-21 2020-12-22 发那科株式会社 机器人示教装置以及机器人系统
FR3101165A1 (fr) 2019-09-23 2021-03-26 Ponant Technologies Procédé d’enregistrement de séquences de commande et de contrôle d’un robot de test, logiciel pour mise en œuvre de ce procédé
CN112917470A (zh) * 2019-12-06 2021-06-08 鲁班嫡系机器人（深圳）有限公司 一种机械手的示教方法、装置、系统、存储介质及设备
CN113894774A (zh) * 2021-10-26 2022-01-07 季华实验室 一种机器人抓取控制方法、装置、存储介质和机器人

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778951B (zh) * 2012-06-15 2016-02-10 惠州华阳通用电子有限公司 使用虚拟按键的输入设备及输入方法
CN102814814B (zh) * 2012-07-31 2015-07-01 华南理工大学 一种双臂机器人基于Kinect的人机交互方法
CN102773863A (zh) * 2012-07-31 2012-11-14 华南理工大学 一种机器人精细遥操作方法
WO2014093822A1 (en) * 2012-12-14 2014-06-19 Abb Technology Ag Bare hand robot path teaching
JP6455869B2 (ja) * 2014-05-23 2019-01-23 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
TWM485805U (zh) * 2014-06-19 2014-09-11 Chao-Shen Chou 機械手臂控制系統
JP6550605B2 (ja) * 2014-12-02 2019-07-31 Ｓｏｉｎｎ株式会社 動作の転移装置、動作の転移方法及びプログラム
WO2016151667A1 (ja) * 2015-03-20 2016-09-29 富士機械製造株式会社 ティーチング装置及び制御情報の生成方法
CN104827474B (zh) * 2015-05-04 2017-06-27 南京理工大学 学习人的虚拟示教机器人智能编程方法及辅助装置
GB201509341D0 (en) * 2015-05-29 2015-07-15 Cambridge Medical Robotics Ltd Characterising robot environments
CN107921632B (zh) * 2015-09-03 2021-09-24 株式会社安川电机 处理轨迹编辑装置、机器人、物品处理系统以及物品制造方法
CN105345823B (zh) * 2015-10-29 2017-12-19 广东工业大学 一种基于空间力信息的工业机器人自由驱动示教方法
JP5892531B1 (ja) * 2015-11-16 2016-03-23 プレンプロジェクト・ホールディングス有限会社 リンク列マッピング装置、リンク列マッピング方法、及びプログラム
CN107303673A (zh) * 2016-04-19 2017-10-31 上海技美科技股份有限公司 机器人
TWI610245B (zh) * 2016-10-19 2018-01-01 廣明光電股份有限公司 機器人視覺座標的編程方法
CN106737668A (zh) * 2016-12-09 2017-05-31 南京理工大学 一种基于虚拟现实的带电作业机器人遥操作方法
CN107199566B (zh) * 2017-06-02 2019-09-10 东南大学 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN107160364B (zh) * 2017-06-07 2021-02-19 华南理工大学 一种基于机器视觉的工业机器人示教系统及方法
KR102001214B1 (ko) * 2017-10-31 2019-10-01 충남대학교산학협력단 가상 현실 기반 양팔로봇 교시 장치 및 방법
TWI734867B (zh) * 2017-11-20 2021-08-01 達明機器人股份有限公司 機器手臂作業軌跡的教導系統及方法
DE102018124671B4 (de) * 2018-10-06 2020-11-26 Bystronic Laser Ag Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms
JP2020142344A (ja) * 2019-03-08 2020-09-10 トヨタ自動車株式会社 環境監視システム
WO2020221311A1 (zh) * 2019-04-30 2020-11-05 齐鲁工业大学 基于可穿戴设备的移动机器人控制系统及控制方法
CN110170996B (zh) * 2019-05-09 2022-08-19 广西安博特智能科技有限公司 一种基于立体视觉的机器人快速示教系统
DE102019118012B3 (de) 2019-07-03 2020-09-17 Günther Battenberg Verfahren und Vorrichtung zum Steuern eines Robotersystems mittels menschlicher Bewegung
CN112894820A (zh) * 2021-01-29 2021-06-04 清华大学深圳国际研究生院 柔性机械臂遥操作人机交互装置及系统
KR102532351B1 (ko) * 2021-08-05 2023-05-15 서울대학교병원 헤드셋 기반의 비접촉 손동작 인식 기술을 활용한 수술 로봇 제어 시스템
KR102553830B1 (ko) * 2022-06-28 2023-07-10 주식회사 포탈301 카메라를 이용한 실시간 로봇 원격 제어 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003211377A (ja) * 2002-01-18 2003-07-29 Hitachi Ltd マニピュレーション動作支援装置及びその支援方法
JP2005046931A (ja) * 2003-07-30 2005-02-24 National Institute Of Information & Communication Technology ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム
WO2005046942A1 (ja) * 2003-11-13 2005-05-26 Japan Science And Technology Agency ロボットの駆動方法
JP2008307640A (ja) * 2007-06-14 2008-12-25 Honda Motor Co Ltd 運動制御システム、運動制御方法および運動制御プログラム
JP2009003813A (ja) * 2007-06-22 2009-01-08 Univ Of Tsukuba 手指形状推定装置及び手指形状推定方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002239960A (ja) * 2001-02-21 2002-08-28 Sony Corp ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置
JP2002301674A (ja) * 2001-04-03 2002-10-15 Sony Corp 脚式移動ロボット及びその運動教示方法、並びに記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003211377A (ja) * 2002-01-18 2003-07-29 Hitachi Ltd マニピュレーション動作支援装置及びその支援方法
JP2005046931A (ja) * 2003-07-30 2005-02-24 National Institute Of Information & Communication Technology ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム
WO2005046942A1 (ja) * 2003-11-13 2005-05-26 Japan Science And Technology Agency ロボットの駆動方法
JP2008307640A (ja) * 2007-06-14 2008-12-25 Honda Motor Co Ltd 運動制御システム、運動制御方法および運動制御プログラム
JP2009003813A (ja) * 2007-06-22 2009-01-08 Univ Of Tsukuba 手指形状推定装置及び手指形状推定方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOMOKI MURAKAMI: "Jiko Occlusion o Fukumu Jinbutsu Shisei no Kyori Gazo ni yoru Suitei", NARA INSTITUTE OF SCIENCE AND TECHNOLOGY JOHO KAGAKU KENKYUKA SHUSHI RONBUN, 24 March 2003 (2003-03-24) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102350700A (zh) * 2011-09-19 2012-02-15 华南理工大学 一种基于视觉的机器人控制方法
EP2653272A1 (de) * 2012-04-17 2013-10-23 Siemens Aktiengesellschaft Betriebsverfahren für einen Rechner zum Programmieren der Bewegungen einer Maschine
WO2018077469A1 (de) * 2016-10-27 2018-05-03 Kuka Roboter Gmbh Verfahren zum steuern eines manipulators basierend auf handerkennung
CN112109069A (zh) * 2019-06-21 2020-12-22 发那科株式会社 机器人示教装置以及机器人系统
FR3101165A1 (fr) 2019-09-23 2021-03-26 Ponant Technologies Procédé d’enregistrement de séquences de commande et de contrôle d’un robot de test, logiciel pour mise en œuvre de ce procédé
WO2021058307A1 (fr) 2019-09-23 2021-04-01 Ponant Technologies Procede d'enregistrement de sequences de commande et de controle d'un robot de test, logiciel pour mise en oeuvre de ce procede
CN112917470A (zh) * 2019-12-06 2021-06-08 鲁班嫡系机器人（深圳）有限公司 一种机械手的示教方法、装置、系统、存储介质及设备
CN113894774A (zh) * 2021-10-26 2022-01-07 季华实验室 一种机器人抓取控制方法、装置、存储介质和机器人

Also Published As

Publication number Publication date
CN102470530A (zh) 2012-05-23
JP2011110621A (ja) 2011-06-09
KR20120025582A (ko) 2012-03-15

Similar Documents

Publication Publication Date Title
WO2011065035A1 (ja) ロボットの教示データを作成する方法およびロボット教示システム
WO2011065034A1 (ja) ロボットの動作を制御する方法およびロボットシステム
US10919152B1 (en) Teleoperating of robots with tasks by mapping to human operator pose
Katz et al. Manipulating articulated objects with interactive perception
Chacko et al. An augmented reality interface for human-robot interaction in unconstrained environments
Pedram et al. Autonomous suturing framework and quantification using a cable-driven surgical robot
CN109955254A (zh) 移动机器人控制系统及机器人末端位姿的遥操作控制方法
CN107030692B (zh) 一种基于感知增强的机械手遥操作方法及系统
US11422625B2 (en) Proxy controller suit with optional dual range kinematics
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
Gratal et al. Visual servoing on unknown objects
Ottenhaus et al. Visuo-haptic grasping of unknown objects based on gaussian process implicit surfaces and deep learning
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
JP2009172685A (ja) マニピュレータシステムおよびその制御方法
Hwang et al. Automating surgical peg transfer: Calibration with deep learning can exceed speed, accuracy, and consistency of humans
KR20200051938A (ko) 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템
Schwaner et al. MOPS: A modular and open platform for surgical robotics research
Schwaner et al. Autonomous bi-manual surgical suturing based on skills learned from demonstration
Mayer et al. Automation of manual tasks for minimally invasive surgery
Guanglong et al. Human–manipulator interface using hybrid sensors with Kalman filters and adaptive multi-space transformation
Li et al. A dexterous hand-arm teleoperation system based on hand pose estimation and active vision
Wang et al. Robot programming by demonstration with a monocular RGB camera
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
Salvietti et al. Hands. dvi: A device-independent programming and control framework for robotic hands
WO2023203747A1 (ja) ロボット教示方法および装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080028555.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10832884

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20127000207

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10832884

Country of ref document: EP

Kind code of ref document: A1