WO2018043525A1 - ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 - Google Patents

ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 Download PDF

Info

Publication number
WO2018043525A1
WO2018043525A1 PCT/JP2017/031056 JP2017031056W WO2018043525A1 WO 2018043525 A1 WO2018043525 A1 WO 2018043525A1 JP 2017031056 W JP2017031056 W JP 2017031056W WO 2018043525 A1 WO2018043525 A1 WO 2018043525A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
robot
image
position information
reference table
Prior art date
Application number
PCT/JP2017/031056
Other languages
English (en)
French (fr)
Inventor
永井　亮
昭夫 黒澤
Original Assignee
倉敷紡績株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 倉敷紡績株式会社 filed Critical 倉敷紡績株式会社
Priority to JP2018537324A priority Critical patent/JP6855492B2/ja
Publication of WO2018043525A1 publication Critical patent/WO2018043525A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a robot system having an articulated robot capable of autonomously moving a hand to a target.
  • the present invention also relates to a control apparatus and control method for such a robot system.
  • a system that uses an articulated robot to recognize the surrounding environment and work based on information obtained from a visual sensor such as a camera has been studied. For example, it is an operation of recognizing a stacked object with a camera and moving a hand at the tip of a robot arm to the work object and grasping it.
  • the position information of the object is obtained by a camera or the like, and then the position information is converted from the camera coordinate system to the robot coordinate system.
  • the robot coordinate system it is necessary to obtain the relative positional relationship between the camera and the robot in advance. Therefore, a calibration matrix for performing coordinate transformation between the camera coordinate system and the world coordinate system and between the robot coordinate system and the world coordinate system is obtained by calibration. Thereby, the position coordinate in the camera coordinate system of a target object can be converted into the position coordinate in a robot coordinate system via a world coordinate system.
  • Patent Documents 1 and 2 a reference location provided in a robot and its destination are imaged to obtain a positional deviation between the two, and the displacement of the joint of the robot is controlled based on the positional deviation. Describes an articulated robot that can move an end effector (hand) to a target position even if there is an error in kinematic computation.
  • the present invention has been made in consideration of the above, and uses an articulated robot capable of autonomously moving the hand to the target, reducing the burden of complicated calibration work, and moving the hand to the target. It is an object of the present invention to provide a robot system, a robot system control device, and a robot system control method that can shorten the time.
  • the present invention creates a reference table that directly associates position information obtained from camera images and robot posture parameters in parallel with work by an articulated robot capable of autonomously moving the hand.
  • the robot is controlled using the reference table.
  • the robot system of the present invention includes an articulated robot that can autonomously move the hand to the target, one or more cameras that image the work space of the robot, and a control device.
  • the control device stores a reference table in which position information based on the image of the camera is associated with the posture parameter of the robot corresponding to the position information.
  • the control apparatus tries to move the said hand to a target object, it acquires an image from the said camera, recognizes the said target object in this image, and calculates the positional information on this target object.
  • the control device transmits the posture parameter associated with the position information to the robot and moves the hand to the object.
  • the hand moves autonomously toward the object, and the reference is performed before and / or after the hand reaches the object. Fill and update the table.
  • the robot posture parameter is a parameter related to the posture of the robot and can determine at least the position of the hand.
  • the control device autonomously moves the hand toward the target object, and after the hand reaches the target object.
  • the reference table is supplemented and updated by associating the position information of the object with the posture parameter.
  • the robot when the robot is provided with a sign fixed to the hand or arm and the control device does not find the position information of the object in the reference table, the hand moves the hand toward the object.
  • the reference table may be supplemented and updated by associating the position information of the marker with the posture parameter before and / or after reaching the object.
  • the robot autonomously includes a deviation detecting unit that detects a positional deviation between the hand and the object, and a drive control unit that controls the displacement of the joint of the robot so that the positional deviation is reduced.
  • the hand is moved to the object.
  • the deviation detection means may be a three-dimensional visual sensor fixed to the robot, or may be one or more cameras.
  • the robot system includes a first camera and a second camera, and the position information registered in the reference table is determined by the pixel position of the position in the image by the first camera and the second camera. It is a pair with a pixel position in the image.
  • the robot system includes a first camera and a second camera
  • the position information registered in the reference table includes a pixel position in an image by the first camera and an image by the first camera at the position. It may be a pair with distance information calculated based on the principle of triangulation from the image by the second camera.
  • the robot system has a first camera and a second camera
  • the position information registered in the reference table is based on the principle of triangulation from the image by the first camera and the image by the second camera at the position. It may be a three-dimensional position coordinate in the camera coordinate system calculated based on the above.
  • the robot system further includes a mirror that is within an angle of view of the camera and is arranged so that the work space is reflected when viewed from the camera, and the position registered in the reference table
  • the information may be a set of the pixel position of the direct image in the image by the camera and the pixel position of the reflection image by the mirror at the position.
  • the camera may be a distance image camera
  • the position information registered in the reference table may be a set of a pixel position and distance information of the position in the distance image by the distance image camera.
  • the posture parameter is a set of joint variables of the robot.
  • the posture parameter may be a three-dimensional position coordinate in a robot coordinate system.
  • the robot system control device of the present invention is a control device for a robot system having an articulated robot capable of autonomously moving a hand to an object. Then, the robot system control device stores a reference table in which position information based on images of one or more cameras that capture the work space of the robot and the posture parameters of the robot corresponding to the position information are associated with each other. Then, when the robot system control device tries to move the hand to the object, the robot system control apparatus acquires an image from the camera, recognizes the object in the image, and calculates position information of the object. To do. When the position information of the object is found in the reference table, the robot system control device transmits the posture parameter associated with the position information to the robot and moves the hand to the object. If the position information of the object is not found in the reference table, the hand moves the hand autonomously toward the object, and the reference table before and / or after the hand reaches the object. Replenish and update.
  • the robot system control method of the present invention is a control method for a robot system having an articulated robot capable of autonomously moving a hand to an object.
  • the robot system control method includes a step of autonomously moving the robot hand toward the first object, and a state in which the hand reaches the first object and holds the first object.
  • the robot workspace is imaged by one or more cameras, the first object is recognized in the image obtained by the imaging, and the position information of the first object Calculating posture parameters, obtaining posture parameters from the robot, and creating and storing a reference table in which the position information and the posture parameters are associated with each other.
  • the robot system control method further captures the work space where the second object exists with the camera, recognizes the second object in the image obtained by the imaging, and detects the second object. Calculating the position information and searching the position information of the second object from the reference table; and if the position information of the second object is found in the reference table, the position information associated with the position information
  • the posture parameter is transmitted to the robot, the hand is moved to the second object, and the position information of the second object is not found in the reference table, the hand is directed toward the second object. And replenishing and updating the reference table while the hand reaches the second object and holds the second object and is stopped and / or moved. .
  • the articulated robot can autonomously move the hand to the target position, so that precise calibration is not necessary.
  • the posture recorded in the reference table is the point that the hand has reached in the past or passed during the movement, and the record in which the position information and the robot posture parameter are recorded in the reference table.
  • the hand can quickly reach the work object.
  • the reference table is created using an actual camera and robot, the hand can be moved to the work object without being affected by errors in manufacturing the system, irregular lens distortion, and the like.
  • the time required for hand movement can be shortened while reducing the burden of complicated calibration work.
  • 1 is an overall configuration diagram of a robot system according to a first embodiment of the present invention. It is a functional block diagram of the robot system control device of a 1st embodiment of the present invention. It is a flowchart of the robot control method of 1st Embodiment of this invention. It is the image by the 1st camera and 2nd camera of 1st Embodiment of this invention. It is a figure which shows the example of the reference table of 1st Embodiment of this invention. It is a figure which shows the other example of the reference table of 1st Embodiment of this invention. It is a figure which shows the other example of the reference table of 1st Embodiment of this invention.
  • the robot system 10 of the present embodiment includes an articulated robot 20, a first camera 30 and a second camera 31 that capture an image of a robot work space, and a robot system control device 40.
  • robot system control device is simply referred to as “control device”.
  • control device In the work space of the robot, there is an object 52 to be worked.
  • Robot 20 is fixed at the work place.
  • the robot 20 includes a base 25 for fixing the robot to the work place, an arm 21 having a plurality of links 22 connected by joints 23, a hand 24 connected to the tip of the arm, and a drive unit 26.
  • Each joint of the robot includes an actuator (not shown) such as a servomotor and a sensor (not shown) that detects a joint variable of the joint.
  • the joint variable refers to the displacement of the joint, and specifically refers to the joint angle (inter-link angle) of the rotary joint and the inter-link distance of the linear motion joint.
  • the hand 24 is also called a hand tip or an end effector.
  • the robot 20 includes a three-dimensional visual sensor 27 fixed to the hand as means for detecting a positional deviation between the hand 24 and the object 52.
  • a sensor that measures the direction and distance of the point of interest using the principle of triangulation can be suitably used.
  • the drive unit 26 of the robot drives the actuator of each joint by a servo amplifier or the like.
  • the drive unit drives the joint of the robot so that the positional deviation detected by the visual sensor is reduced. Thereby, the robot can autonomously move the hand to the target.
  • the robot described in Patent Document 1 or 2 can be suitably used.
  • a part or all of the drive unit may be physically separated from the robot body, and may be formed integrally with the control device, for example.
  • the driving unit 26 can drive the robot by receiving joint variables from the outside or calculating the joint variables by receiving the three-dimensional position coordinates of the hand in the robot coordinate system from the outside.
  • the robot coordinate system is a coordinate system based on the fixed point of the robot, and is preferably a coordinate system based on the base 25.
  • the robot coordinate system may be an orthogonal coordinate system or various polar coordinate systems.
  • the term “three-dimensional position coordinates” simply means three-dimensional position coordinates in the robot coordinate system.
  • the robot 20 has a base 25 fixed to the work place and does not move throughout the work. Therefore, the position of the hand 24 can be represented by a combination of joint variables or a three-dimensional position coordinate of the hand.
  • the position of the hand and the posture of the arm are determined by the three joint variables of the arm.
  • the degree of freedom of the arm 21 is 3 and the degree of freedom of the hand 24 is 3
  • the position and posture of the hand and the posture of the arm are determined by the six joint variables of the arm and hand.
  • the three-dimensional position coordinates of the hand represent the position of the hand.
  • a parameter related to the posture of the robot and capable of determining at least the position of the hand is referred to as a “robot posture parameter” in this specification.
  • the type of the robot is not particularly limited, and various articulated robots such as a horizontal articulated type and a parallel link type can be used in addition to the serial link type vertical articulated robot illustrated in FIG.
  • the first camera 30 and the second camera 31 are fixed to the work place.
  • the two cameras are installed so as to image the work space of the robot 20.
  • the work space of the robot refers to an area in which the hand may move during work out of the space area that the robot hand 24 can reach.
  • the two cameras 30 and 31 are cameras that can capture a two-dimensional image.
  • the control device 40 includes a first communication unit 41, a second communication unit 42, a calculation unit 43, a storage unit 44, and a third communication unit 45.
  • the first communication unit 41 is connected to the driving unit 26 of the robot 20 through a signal line, and communicates with the robot.
  • the first communication unit transmits a posture parameter corresponding to the target position to the robot and instructs the hand 24 to move to the target position. Further, the first communication unit instructs the robot to autonomously move the hand to the target.
  • the first communication unit receives posture parameters such as joint variables from the robot.
  • the second communication unit 42 is connected to the first camera 30 and the second camera 31 via a signal line, and performs communication with the camera.
  • the second communication unit transmits an imaging instruction to the camera and receives an image from the camera.
  • the calculation unit 43 processes the image received by the second communication unit 42 from the cameras 30 and 31.
  • the calculation unit recognizes the object 52 in the image and calculates position information of the object.
  • the computing unit refers to the reference table and acquires posture parameters for moving the robot hand to the target object from the position information of the target object.
  • the calculation unit further replenishes and updates the reference table by associating the position information of the object with the posture parameters received from the robot. More precisely, the calculation unit creates one record that associates one piece of position information with the posture parameter of the robot corresponding to the position information, and additionally registers it in an existing reference table.
  • the storage unit 44 stores a reference table.
  • a rewritable and randomly accessible auxiliary storage device such as a hard disk device can be suitably used.
  • the third communication unit 45 is connected to the input device 46 and the output device 47 through signal lines, and communicates with the operator.
  • the third communication unit receives an instruction from the operator from the input device 46 and transmits the status of the robot system to the operator to the output device 47.
  • the control device 40 does not necessarily need to be physically one device, and a plurality of devices may share processing. Further, the control device may be formed integrally with the drive unit 26 of the robot.
  • the robot 20, the first camera 30, and the second camera 31 are installed in the work place.
  • the two cameras are installed at positions and orientations where the work space of the robot can be imaged.
  • the angle formed by the optical axes of the two cameras is preferably 30 to 150 degrees, more preferably 60 to 120 degrees, and particularly preferably 70 to 110 degrees. This is because the spatial resolution in the optical axis direction of the cameras becomes lower as the directions of the two cameras are parallel or closer to each other. However, the more the directions of the two cameras are different, the higher the possibility that an occlusion in which a part of the object becomes a blind spot occurs.
  • the orientations of the two cameras may be appropriately determined according to the shape of the object and the work space so that occlusion is unlikely to occur and the necessary spatial resolution can be ensured.
  • the robot and the camera are fixed to the work place through the following calibration process and work process.
  • the control device 40 transmits an imaging instruction from the second communication unit 42 to the cameras 30 and 31, and the camera images the work space.
  • An object 52 exists in the work space.
  • the second communication unit receives an image from the camera.
  • FIG. 4 shows an image received by the second communication unit. An object is recorded on the two images.
  • the calculation unit 43 processes two images and recognizes an object in the images.
  • a method for recognizing an object a known method such as feature point extraction or template matching can be used.
  • the calculation unit calculates position information of the target object of the hand movement from the recognized target object.
  • the position information of the target object can be a set of pixel positions (u 1i , v 1i , u 2i , v 2i ) of the target object in two images.
  • the calculation unit 43 searches the posture parameter with reference to the reference table stored in the storage unit 44 from the position information of the object. In the first operation after installing the robot and camera, the lookup table is empty. Otherwise, the lookup table has a record that associates position information and robot posture parameters for several points that the hand has reached or passed in the past. The calculation unit searches the reference table for a record including the position information of the object and the corresponding posture parameter.
  • the posture parameter associated with the position information is acquired and transmitted from the first communication unit to the robot, and the robot moves the hand to the object. Instruct the robot to
  • the first communication unit 41 instructs the robot to move the hand autonomously toward the object. Further, when the hand 24 reaches the object and grips the object, the first communication unit 41 of the control device receives the posture parameter from the robot, and the calculation unit 43 calculates the position information of the object previously calculated. And the posture parameter received from the robot are created and additionally registered in the reference table of the storage unit 44.
  • FIG. 5 shows an example of a reference table.
  • Each record of this reference table includes, as position information, coordinates (u 1i , v 1i ) as pixel positions in the first camera image, coordinates (u 2i , v 2i ) as pixel positions in the second camera image, and It consists of six joint angles ( ⁇ 1i , ⁇ 2i , ⁇ 3i , ⁇ 4i , ⁇ 5i , ⁇ 6i ) in a robot with 6 degrees of freedom as posture parameters.
  • the control device 40 may further replenish and update the reference table after the hand 24 has reached the object 52 and while the hand 24 is moving with the object gripped.
  • the first communication unit 41 and the second communication unit 42 of the control device specify the same time for the robot and the cameras 30 and 31, respectively. You can request to send parameters or images.
  • the 1st communication part 41 and the 2nd communication part 42 may each receive an attitude
  • the synchronization signal may be generated by a synchronization signal generation unit (not shown) in the control device 40, or may be generated by either the first or second communication unit.
  • the second communication unit receives images from the camera every moment, and the first communication unit has the same time as the posture parameter received from the robot. An image can be selected.
  • the calculation unit 43 recognizes the object in the images received from the cameras 30 and 31 and calculates its position information.
  • the calculation unit creates a record that associates the position information of the target object with the posture parameter received from the robot, and additionally registers the record in the reference table stored in the storage unit 44.
  • the position information obtained from the camera image of the point and the robot posture parameter corresponding to the point are registered in association with each other in the robot work space.
  • the position information registered in the reference table is not limited to the set of two pixel coordinates as shown in FIG.
  • the position information is calculated based on the principle of triangulation from the pixel position (u 1i , v 1i ) in the image by the first camera, the image by the first camera, and the image by the second camera, as shown in FIG. 6, for example. It may be a pair with the distance information (d i ).
  • the position information may be three-dimensional position coordinates in the camera coordinate system calculated based on the principle of triangulation from the image by the first camera and the image by the second camera. In these cases, it is necessary to know the center-to-center distance (base line length) between the first camera and the second camera and the epipolar line in the image.
  • base line length center-to-center distance between the first camera and the second camera and the epipolar line in the image.
  • a commercially available stereo camera in which the first camera and the second camera are integrated. Is used, the geometric parameters of such a camera are adjusted in advance, and
  • posture parameters registered in the reference table is a joint variable of the robot.
  • the joint variable is not limited to the set of joint angles as shown in FIG.
  • joint variables corresponding to the types of joints constituting the robot are combined using joint angles (inter-link angles) for rotary joints and inter-link distances for linear motion joints.
  • the position information of the object and the joint variable in a state where the object is actually gripped can be associated and registered in the reference table. Therefore, when a joint variable can be acquired by searching a reference table from position information of a new target object during subsequent operations, the new target object can be grasped by instructing the joint variable to the robot. it can. Furthermore, even if there is a deflection of the arm due to gravity, the position information obtained from the image from the camera already incorporates the deflection of the arm, and the hand can be moved to a new object without being affected by the deflection. .
  • the posture parameter registered in the reference table is the three-dimensional position coordinate of the object in the robot coordinate system.
  • the robot coordinate system may be a coordinate system that does not change throughout the work.
  • a coordinate system based on the base 25 of the robot can be used.
  • the robot coordinate system may be an orthogonal coordinate system or a polar coordinate system.
  • FIG. 9 shows a reference table using orthogonal coordinates (Rx i , Ry i , Rz i ) in the robot coordinate system as posture parameters. Representing the posture parameters in three-dimensional position coordinates has the advantage that the number of parameters can be reduced.
  • the 3D position coordinates of the object can be calculated from the joint variables at that time.
  • the three-dimensional position coordinates of the object can be calculated by the arithmetic unit based on, for example, the joint variable received from the robot by the first communication unit of the control device.
  • the calculation unit of the control device or the driving unit of the robot having the calculation function is A joint variable for moving the hand to the coordinate position can be calculated.
  • this embodiment does not exclude the creation of a simple reference table after the installation of the robot and camera and before the first work. In that case, performing precise calibration is contrary to the purpose of the present embodiment and is not necessary. For example, hold a target object on the hand and move it manually or automatically to the corner of the work space, create a record that associates the position information of the hand and the robot's posture parameters, and registers them in the reference table in advance You may keep it.
  • the number of records registered in advance in the lookup table is preferably 64 or less, more preferably 27 or less, particularly preferably 8 or less, and most preferably 0.
  • the reference table is created using an actual camera and robot, it is not affected by errors due to processing / installation during system production. Further, since there is no need to measure the internal and external parameters of the camera and the installation position / orientation of the robot, the degree of freedom in selecting and installing the apparatus is great. For example, a wider range can be covered using a camera with a large angle of view.
  • the hand since the hand is moved using the reference table, the point where the hand has visited once can be surely reached after the second time. Further, even if there is an irregular error factor due to lens distortion or the like, it is not affected. For example, when coordinate transformation is performed using a transformation matrix or the like for lens distortion, even if distortion aberration coefficient or the like is used, it can only be corrected for modeled barrel distortion, pincushion distortion, etc. The effects of regular distortion cannot be completely eliminated.
  • a camera with a cheaper lens system can be employed.
  • the robot system 11 of this embodiment is almost the same as that of the first embodiment.
  • a sign 51 is fixed to the hand 24 of the robot 20, and the reference table is replenished and updated using this sign.
  • the robot hand when moving the robot hand to the target object 52, images are acquired from the cameras 30 and 31, the target object is recognized in the image, and the target object is detected.
  • the posture parameter associated with the position information is transmitted to the robot, and the hand is moved to the object.
  • the position information of the object 52 is not found in the reference table, the hand is moved autonomously toward the object, and before and / or after the hand reaches the object, During the stop and / or movement, the reference table is supplemented and updated by associating the position information based on the camera image of the sign 51 and the posture parameter corresponding to the position information.
  • the joint variable when the position information of the marker is obtained cannot be directly registered in the reference table. This is because the position of the marker does not coincide with the position when the hand grips the object (the gripping position of the hand), and the joint variable does not correspond to the position of the marker. Therefore, the three-dimensional position coordinates of the sign are calculated from the joint variables when the position information of the sign is obtained and registered in the reference table. Alternatively, the three-dimensional position coordinates of the sign are once obtained from the joint variable when the position information of the sign is obtained, converted into the joint variable corresponding to the sign position based on the design data of the robot, and registered in the reference table. Is possible. At that time, the joint variable can be obtained in consideration of a geometric constraint condition for avoiding an obstacle in the work place.
  • the sign is not limited to the hand, and may be fixed to the arm 21 as long as it is a movable part of the robot.
  • an object to be a sign is fixed to the hand, a mark to be a sign is drawn on a part of the hand, and a characteristic part of the hand is a sign. For example.
  • the hand since the reference table is replenished and updated using the signs fixed to the hand 24 of the robot 20, the hand is the target regardless of whether the hand is holding the target.
  • the reference table can be replenished and updated regardless of the time before or after reaching.
  • the robot system 12 of the present embodiment is almost the same as that of the first embodiment.
  • the deviation detection means for the robot 20 to detect the positional deviation between the hand 24 and the object 52 includes the first camera 30 and the second camera 31.
  • a mirror is used to capture a direct image of a robot work space and a reflected image of the mirror with a single camera.
  • the robot system 13 of this embodiment includes an articulated robot 20, a mirror 38, a single camera 32 that captures a direct image of the robot work space and a reflected image by the mirror, and a control device 40.
  • an articulated robot 20 a robot 20 that captures a direct image of the robot work space and a reflected image by the mirror
  • a control device 40 a control device 40.
  • the robot 20 is the same as in the first embodiment.
  • the same camera 32 as the first camera 30 or the second camera 31 of the first embodiment can be used.
  • the camera 32 and the mirror 38 are installed so that a direct image of the robot work space and a reflection image by the mirror can be taken.
  • the configuration of the control device 40 is the same as that shown in FIG.
  • the image received by the second communication unit 42 from the camera 32 includes a direct image of the object 52 and an image reflected by the mirror 38.
  • the calculation unit 43 processes one image, recognizes an object, and calculates its position information. Others are the same as in the first embodiment.
  • FIG. 12 shows an example of a reference table.
  • Each record of this reference table includes coordinates (u di , v di ) as pixel positions in the image of the direct image of the object, coordinates (u mi , v mi ) as pixel positions in the image of the reflected image, and ,
  • Six joint variables ( ⁇ 1i , ⁇ 2i , ⁇ 3i , ⁇ 4i , ⁇ 5i , ⁇ 6i ) are included as posture parameters in the 6- DOF robot.
  • an image of the work space of the robot is captured by a single TOF camera.
  • the robot system 14 of the present embodiment includes an articulated robot 20, a single TOF camera 33 that images the robot work space, and a control device 40.
  • the robot 20 is the same as in the first embodiment.
  • the TOF camera 33 is a distance image generation camera based on a time-of-flight (Time of Flight: TOF) method, and captures a distance image in which the distance from the camera to a point captured in each pixel is recorded together with a two-dimensional image.
  • TOF Time of Flight
  • the configuration of the control device 40 is the same as that shown in FIG.
  • the calculation unit 43 processes the two-dimensional image and the distance image received from the TOF camera 33 by the second communication unit, recognizes the object 52 in the image, and acquires position information of the object. Others are the same as in the first embodiment.
  • FIG. 14 shows an example of a reference table.
  • Each record of the reference table includes coordinates (Cx i , Cy i , Cd i ) in the distance image of the object and six joint variables ( ⁇ 1i , ⁇ 2i , ⁇ as posture parameters in a 6- DOF robot. 3i , ⁇ 4i , ⁇ 5i , ⁇ 6i ).
  • a robot system is constructed by combining one or more cameras and one control device for one robot.
  • the present invention is not limited to this. You may control with a control apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

キャリブレーション作業の負荷が軽く、かつハンドの目標までの移動時間を短縮できる多関節ロボットシステムを提供する。 ロボットシステム（１０）は、自律的にハンド（２４）を対象物（５２）まで移動可能な多関節ロボット（２０）と、ロボットの作業空間を撮像する１台以上のカメラ（３０、３１）と、制御装置（４０）とを有する。制御装置は、カメラの画像に基づく位置情報とロボットの姿勢パラメータとを関連付けた参照表を記憶し、ハンドを対象物まで移動させようとするときに、カメラから画像を取得し、画像中に対象物を認識してその位置情報を算出し、その位置情報を参照表に発見した場合は、当該位置情報に関連付けられた姿勢パラメータをロボットに送信して、ハンドを対象物まで移動させ、対象物の位置情報を参照表に発見しない場合は、ハンドを対象物に向かって自律的に移動させ、ハンドの対象物への到達前及び／又は到達後に参照表を補充、更新する。

Description

ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
　本発明は、自律的にハンドを目標まで移動可能な多関節ロボットを有するロボットシステムに関する。また、本発明は、かかるロボットシステムの制御装置および制御方法に関する。
　多関節ロボットを用いて、カメラ等の視覚センサから得た情報を基に、ロボット自身が周辺環境を認識して作業を行うシステムが研究されている。例えば、バラ積みされた対象物をカメラで認識し、ロボットのアームの先端にあるハンドを作業対象物まで移動させて掴む、といった作業である。
　一般的なロボットシステムでは、ロボットのハンドを目標となる対象物まで移動させるために、カメラ等で対象物の位置情報を得た後、この位置情報をカメラ座標系からロボット座標系に変換してロボットに伝える。ここで、カメラ座標系からロボット座標系への変換には、カメラとロボットの相対位置関係を予め求めておく必要がある。そのため、キャリブレーションによって、カメラ座標系－世界座標系間、およびロボット座標系－世界座標系間の座標変換を行なうための変換行列を求める。これにより、対象物のカメラ座標系における位置座標を、世界座標系を介して、ロボット座標系における位置座標に変換することができる。
　しかし、カメラ座標系－世界座標系間の変換行列を決定するには、カメラの焦点距離、画像中心、画像サイズ（画素サイズ）、歪曲収差係数等の内部パラメータと、カメラの位置姿勢を表す外部パラメータを知る必要がある。そのために、例えば、チェッカーボード等の平面パターンとカメラの位置を高精度の三次元測定器を用いて求めることになり、極めて手間とコストのかかる作業を要した。
　ロボット座標系－世界座標系間の座標変換を決定するにも、世界座標系での位置座標が正確に分かっている教示点に、人手によりハンド移動させて姿勢パラメータを計測するなど、やはり極めて手間とコストのかかる作業が必要であった。
　これに対して、特許文献１および２には、ロボットに設けられた基準箇所とその移動先を撮像して両者の位置偏差を求め、その位置偏差に基づいてロボットの関節の変位を制御することにより、運動学的な演算に誤差があっても、エンドエフェクタ（ハンド）を目標位置にまで移動させることが可能な多関節ロボットが記載されている。
国際公開第２０１３／１７６２１２号 特開２０１５－２２１４７４号公報
　特許文献１および２に記載された方法によれば、ロボットシステムの正確なキャリブレーションを行わなくても、ロボットのハンドを目標にまで自律的に移動させることができる。しかしながら、移動中に位置偏差を何度も確認しながらハンドを目標に近づけていくため、ハンドを目標に到達させるのに時間がかかるという問題があった。
　本発明は、上記を考慮してなされたものであり、自律的にハンドを目標まで移動可能な多関節ロボットを利用し、煩雑なキャリブレーション作業の負担を軽減しつつ、ハンドの目標までの移動時間を短縮できるロボットシステム、ロボットシステム制御装置およびロボットシステム制御方法を提供することを目的とする。
　上記目的のために、本発明では、ハンドを自律的に移動可能な多関節ロボットによる作業と並行して、カメラの画像から得られる位置情報とロボットの姿勢パラメータとを直接関連付けた参照表を作成し、その参照表を利用してロボットを制御する。
　具体的には、本発明のロボットシステムは、自律的にハンドを目標まで移動可能な多関節ロボットと、前記ロボットの作業空間を撮像する１台以上のカメラと、制御装置とを有する。そして、前記制御装置は、前記カメラの画像に基づく位置情報と当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶する。そして、前記制御装置は、前記ハンドを対象物まで移動させようとするときに、前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出する。そして、前記制御装置は、前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させる。一方、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する。
　ここで、ロボットの姿勢パラメータとは、ロボットの姿勢に関連するパラメータであって、少なくともハンドの位置を決定できるものをいう。
　好ましくは、前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達後であって該ハンドが該対象物を保持した状態で、該対象物の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する。
　あるいは、前記ロボットが前記ハンドまたはアームに固定された標識を備えていて、前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に、前記標識の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新してもよい。
　好ましくは、前記ロボットが、前記ハンドと前記対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記対象物まで移動させる。前記偏差検出手段は、前記ロボットに固定された三次元視覚センサからなるものでもよいし、前記１台以上のカメラからなるものでもよい。
　好ましくは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である。
　あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、第１カメラによる画像中の画素位置と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組であってもよい。
　あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。
　あるいは、前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組であってもよい。
　あるいは、前記カメラが距離画像カメラであって、前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組であってもよい。
　上記いずれかのロボットシステムにおいて、好ましくは、前記姿勢パラメータが、前記ロボットの関節変数の組である。
　あるいは、上記いずれかのロボットシステムにおいて、前記姿勢パラメータが、ロボット座標系における三次元位置座標であってもよい。
　本発明のロボットシステム制御装置は、自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御装置である。そして、ロボットシステム制御装置は、前記ロボットの作業空間を撮像する１台以上のカメラの画像に基づく位置情報と、当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶する。そして、ロボットシステム制御装置は、前記ハンドを前記対象物まで移動させようとするときに、前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出する。そして、ロボットシステム制御装置は、前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する。
　本発明のロボットシステム制御方法は、自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御方法である。そして、ロボットシステム制御方法は、前記ロボットのハンドを第１対象物に向かって自律的に移動させる工程と、前記ハンドが前記第１対象物に到達して該第１対象物を保持した状態で停止中および／または移動中に、１台以上のカメラで前記ロボットの作業空間を撮像し、当該撮像により得られた画像中に前記第１対象物を認識して該第１対象物の位置情報を算出し、前記ロボットから姿勢パラメータを取得し、前記位置情報と前記姿勢パラメータとを関連付けた参照表を作成して記憶する工程とを有する。そして、ロボットシステム制御方法はさらに、前記カメラで第２対象物が存在する前記作業空間を撮像し、当該撮像により得られた画像中に前記第２対象物を認識して該第２対象物の位置情報を算出し、前記第２対象物の位置情報を前記参照表から検索する工程と、前記第２対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記第２対象物まで移動させ、前記第２対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記第２対象物に向かって自律的に移動させ、前記ハンドが前記第２対象物に到達して該第２対象物を保持した状態で停止中および／または移動中に、前記参照表を補充、更新する工程とを有する。
　本発明のロボットシステム、ロボットシステム制御装置またはロボットシステム制御方法によれば、多関節ロボットは自律的にハンドを目標位置まで移動可能なので、精密なキャリブレーションが不要になる。そして、ハンドが過去に到達した点または移動中に通過した点であって、その位置情報とロボットの姿勢パラメータを関連付けたレコードが参照表に記録された点については、参照表に記録された姿勢パラメータをロボットに指示することにより、ハンドを迅速に作業対象物に到達させることができる。また、参照表は実際のカメラおよびロボットを用いて作成されるので、システム製作時の誤差や不規則なレンズ歪等の影響を受けずに、ハンドを作業対象物まで移動させることができる。以上により、煩雑なキャリブレーション作業の負担を軽減しつつ、作業を続けるにつれて参照表に登録される位置情報の数が増えるので、ハンド移動に要する時間を短縮できる。
本発明の第１実施形態のロボットシステムの全体構成図である。 本発明の第１実施形態のロボットシステム制御装置の機能ブロック図である。 本発明の第１実施形態のロボット制御方法のフロー図である。 本発明の第１実施形態の第１カメラおよび第２カメラによる画像である。 本発明の第１実施形態の参照表の例を示す図である。 本発明の第１実施形態の参照表の他の例を示す図である。 本発明の第１実施形態の参照表の他の例を示す図である。 本発明の第２実施形態のロボットシステムの全体構成図である。 本発明の第３実施形態のロボットシステムの全体構成図である。 本発明の第４実施形態のロボットシステムの全体構成図である。 本発明の第４実施形態のカメラによる画像である。 本発明の第４実施形態の参照表の例を示す図である。 本発明の第５実施形態のロボットシステムの全体構成図である。 本発明の第５実施形態の参照表の例を示す図である。
　本発明の第１実施形態を図１～図７に基づいて説明する。
　図１において、本実施形態のロボットシステム１０は、多関節ロボット２０と、ロボットの作業空間を撮像する第１カメラ３０および第２カメラ３１と、ロボットシステム制御装置４０を有する。以下において「ロボットシステム制御装置」を単に「制御装置」という。ロボットの作業空間には、作業の対象となる対象物５２がある。
　ロボット２０は作業場に固定される。ロボット２０は、ロボットを作業場に固定するためのベース２５と、複数のリンク２２が関節２３で接続されたアーム２１と、アームの先端に接続されたハンド２４と、駆動部２６を有する。ロボットの各関節はサーボモータ等のアクチュエータ（図示せず）と、その関節の関節変数を検知するセンサー（図示せず）を備える。ここで、関節変数とはその関節の変位をいい、具体的には回転関節の関節角度（リンク間角度）や直動関節のリンク間距離のことをいう。ハンド２４は手先、エンドエフェクタとも呼ばれる。
　ロボット２０は、ハンド２４と対象物５２との位置偏差を検出する手段として、ハンドに固定された三次元視覚センサ２７を備える。視覚センサとしては、三角測量の原理を利用して注目点の方向および距離を計測するものを好適に用いることができる。例えば、２台のカメラからなるステレオカメラや、１台のカメラと１台のシート光源からなり光切断法を利用するものを好適に用いることができる。ロボットの駆動部２６はサーボアンプ等により各関節のアクチュエータを駆動する。駆動部は、視覚センサが検出した位置偏差が縮小するように、ロボットの関節を駆動する。これにより、ロボットが自律的にハンドを対象物まで移動させることができる。このようなロボットとして、特許文献１または２に記載されたロボットを好適に用いることができる。なお、駆動部はその一部または全部が、ロボット本体と物理的に離れて設けられ、例えば制御装置と一体に形成されていてもよい。
　また、駆動部２６は、外部から、関節変数を受信して、あるいは、ロボット座標系におけるハンドの三次元位置座標を外部から受信して関節変数を算出して、ロボットを駆動することができる。ここで、ロボット座標系は、ロボットの不動点を基準とする座標系であって、好ましくは、ベース２５を基準とする座標系である。ロボット座標系は、直交座標系であっても各種極座標系であってもよい。以下、単に「三次元位置座標」というときは、ロボット座標系における三次元位置座標を意味する。
　ロボット２０は、ベース２５が作業場に固定され、作業時を通して移動することがない。したがって、ハンド２４の位置は、関節変数の組み合わせやハンドの三次元位置座標によって表すことができる。例えば、アーム２１の自由度が３である場合、アームの３つの関節変数によって、ハンドの位置とアームの姿勢が定まる。あるいは、アーム２１の自由度が３でハンド２４の自由度が３である場合、アームおよびハンドの６つの関節変数によって、ハンドの位置および姿勢とアームの姿勢が定まる。また、ハンドの三次元位置座標はハンドの位置を表している。このように、ロボットの姿勢に関連し、少なくともハンドの位置を決定できるパラメータを、本明細書中で「ロボットの姿勢パラメータ」という。
　ロボットの形式は特に限定されず、図１に例示したシリアルリンク形の垂直多関節ロボットの他、水平多関節形やパラレルリンク形など各種の多関節ロボットを用いることができる。
　第１カメラ３０および第２カメラ３１は作業場に固定される。２台のカメラは、ロボット２０の作業空間を撮像するように設置されている。ここでロボットの作業空間とは、ロボットのハンド２４が到達可能な空間領域のうち、作業時にハンドが移動する可能性のある領域をいう。２台のカメラ３０、３１は二次元画像を撮像可能なカメラである。
　図２を参照して、制御装置４０は、第１通信部４１と、第２通信部４２と、演算部４３と、記憶部４４と第３通信部４５とを有する。
　第１通信部４１はロボット２０の駆動部２６と信号線で接続され、ロボットとの通信を行う。第１通信部は、目標位置に対応する姿勢パラメータをロボットに送信して、ハンド２４を目標位置まで移動させるよう指示する。また、第１通信部は、自律的にハンドを目標まで移動させるようロボットに指示する。また、第１通信部は、ロボットから関節変数等の姿勢パラメータを受信する。第２通信部４２は第１カメラ３０および第２カメラ３１と信号線で接続され、カメラとの通信を行う。第２通信部は、カメラに撮像指示を送信し、カメラから画像を受信する。
　演算部４３は、第２通信部４２がカメラ３０、３１から受信した画像を処理する。演算部は、対象物５２を画像中に認識して、対象物の位置情報を算出する。演算部は、参照表を参照して、対象物の位置情報から、ロボットのハンドを対象物まで移動させるための姿勢パラメータを取得する。演算部はさらに、対象物の位置情報と、ロボットから受信した姿勢パラメータとを関連付けて、参照表を補充、更新する。より正確には、演算部は、１つの位置情報とその位置情報に対応するロボットの姿勢パラメータとを関連付けた１つのレコードを作成して、既存の参照表に追加登録する。
　記憶部４４は、参照表を記憶する。記憶部としては、ハードディスク装置などの書き換え可能でランダムアクセス可能な補助記憶装置を好適に用いることができる。第３通信部４５は入力装置４６および出力装置４７と信号線で接続され、操作者との通信を行う。第３通信部は、入力装置４６から操作者からの指示を受信し、出力装置４７に操作者にロボットシステムの状況等を送信する。
　制御装置４０は、必ずしも物理的に１台の装置である必要はなく、複数台で処理を分担してもよい。また、制御装置は、ロボットの駆動部２６と一体に形成されていてもよい。
　次に、本実施形態のロボットシステム制御方法を説明する。各部の参照符号は、図１および図２に示した符号である。
　　まず、作業場にロボット２０、第１カメラ３０および第２カメラ３１を設置する。このとき、２台のカメラは、ロボットの作業空間を撮像可能な位置および向きに設置する。２台のカメラの光軸がなす角は、好ましくは３０～１５０度、より好ましくは６０～１２０度、特に好ましくは７０～１１０度である。２台のカメラの向きが平行または逆向きに近いほど、カメラの光軸方向の空間解像度が低くなるからである。ただし、２台のカメラの向きが異なるほど、対象物の一部が死角となるオクルージョンが発生する可能性が高まる。２台のカメラの向きはオクルージョンが発生しにくく、かつ、必要な空間解像度が確保できるよう、対象物の形状や作業空間に合わせて適宜決定すればよい。ロボットおよびカメラは、以下のキャリブレーション工程および作業工程を通して作業場に固定される。
　図３において、まず、制御装置４０が第２通信部４２からカメラ３０、３１に撮像指示を送信し、カメラが作業空間を撮像する。作業空間には対象物５２が存在する。第２通信部がカメラから画像を受信する。図４に第２通信部が受信する画像を示す。２枚の画像には対象物が記録されている。
　演算部４３は２つの画像を処理して、画像中に対象物を認識する。対象物を認識する方法としては、特徴点の抽出やテンプレートマッチングなど、公知の方法を用いることができる。演算部は、認識した対象物から、ハンド移動の目標となる対象物の位置情報を算出する。対象物の位置情報は、対象物の、２つの画像中の画素位置の組（ｕ１ｉ，ｖ１ｉ，ｕ２ｉ，ｖ２ｉ）とすることができる。
　演算部４３は対象物の位置情報から記憶部４４に記憶されている参照表を参照して、姿勢パラメータを検索する。ロボットとカメラ設置後の最初の作業では、参照表は空である。そうでない場合、参照表は、過去にハンドが到達または通過したいくつかの点について、位置情報とロボットの姿勢パラメータとを関連付けたレコードを有する。演算部は、参照表から、対象物の位置情報と対応する姿勢パラメータからなるレコードを検索する。
　算出された対象物の位置情報を参照表に発見した場合は、その位置情報に関連付けられた姿勢パラメータを取得して、第１通信部からロボットに送信し、ロボットがハンドを対象物まで移動させるよう、ロボットに指示する。
　算出された対象物の位置情報を参照表に発見しない場合は、第１通信部４１は、ロボットに、自律的に対象物に向かってハンドを移動させるよう指示する。さらに、ハンド２４が対象物に到達して対象物を把持したときに、制御装置の第１通信部４１がロボットから姿勢パラメータを受信し、演算部４３が、先に算出した対象物の位置情報と、ロボットから受信した姿勢パラメータとを関連付けたレコードを作成して、記憶部４４の参照表に追加登録する。
　図５に参照表の例を示す。この参照表の各レコードは、位置情報として第１カメラ画像中の画素位置としての座標（ｕ１ｉ，ｖ１ｉ）と第２カメラ画像中の画素位置としての座標（ｕ２ｉ，ｖ２ｉ）、および姿勢パラメータとして６自由度のロボットにおける６つの関節角度（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）からなる。
　また、制御装置４０は、ハンド２４が対象物５２に到達した後であって、対象物を把持した状態で移動している間に、参照表をさらに補充、更新してもよい。カメラの撮像タイミングとロボットの姿勢パラメータの取得タイミングが同期可能な場合は、制御装置の第１通信部４１および第２通信部４２からロボットおよびカメラ３０、３１に同時刻を指定して、それぞれ姿勢パラメータまたは画像を送信するよう要求できる。また、１つの同期信号に基づいて、第１通信部４１および第２通信部４２がロボットまたはカメラから、それぞれ姿勢パラメータまたは画像を受信してもよい。同期信号は制御装置４０内の同期信号生成部（図示せず）が生成してもよいし、第１または第２通信部のいずれかが生成してもよい。また、カメラ３０、３１が撮像時刻付の画像を生成可能なときは、第２通信部がカメラから時々刻々と画像を受信して、第１通信部がロボットから受信した姿勢パラメータと同時刻の画像を選択することができる。演算部４３は、カメラ３０、３１から受信した画像中に対象物を認識して、その位置情報を算出する。演算部は、対象物の位置情報とロボットから受信した姿勢パラメータとを関連付けたレコードを作成し、記憶部４４に記憶された参照表に追加登録する。
　ここで、参照表について、さらに詳細に説明する。
　参照表には、ロボットの作業空間内の点について、その点のカメラ画像から得られる位置情報と、その点に対応したロボットの姿勢パラメータとが、関連付けて登録される。
　参照表に登録する位置情報は、図５に示したような２つ画素座標の組には限られない。位置情報は、例えば図６に示すように、第１カメラによる画像中の画素位置（ｕ１ｉ，ｖ１ｉ）と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報（ｄｉ）との組であってもよい。あるいは、位置情報は、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。これらの場合、第１カメラと第２カメラの中心間距離（基線長）と画像中のエピポーラ線を知る必要があるが、例えば第１カメラと第２カメラが一体となった市販のステレオカメラなどを利用する場合には、このようなカメラの幾何学的パラメータが予め調整されており、内部校正作業は不要である。
　参照表に登録する姿勢パラメータの一例はロボットの関節変数である。関節変数は、図５に示したような関節角度の組には限定されない。姿勢パラメータとして関節変数を用いる場合は、回転関節では関節角度（リンク間角度）、直動関節ではリンク間距離を関節変数として、ロボットを構成する関節の種類に応じた関節変数を組み合わせる。
　本実施形態では、対象物の位置情報と、その対象物を実際に把持した状態での関節変数を関連付けて、参照表に登録できる。したがって、後続する作業時に、新たな対象物の位置情報から参照表を検索して関節変数が取得できた場合は、その関節変数をロボットに指示することによって、新たな対象物を把持することができる。さらに、重力によるアームの撓み等があっても、カメラによる画像から求めた位置情報にはアームの撓み等がすでに織り込まれており、撓みの影響を受けずにハンドを新たな対象物まで移動できる。
　参照表に登録する姿勢パラメータの他の例は、対象物のロボット座標系における三次元位置座標である。ロボット座標系は、作業時を通して変動しない座標系であればよい。好適には、ロボットのベース２５を基準とする座標系を用いることができる。ロボット座標系は直交座標系であっても極座標系であってもよい。一例として、図９に、ロボット座標系における直交座標（Ｒｘｉ，Ｒｙｉ，Ｒｚｉ）を姿勢パラメータとする参照表を示す。姿勢パラメータを三次元位置座標で表すことには、パラメータの数が少なくてすむというメリットがある。
　対象物の三次元位置座標は、そのときの関節変数から算出することができる。対象物の三次元位置座標は、例えば、制御装置の第１通信部がロボットから受信した関節変数を基に演算部が算出できる。また、後続する作業時に、新たな対象物の位置情報から参照表を検索して三次元位置座標が取得できた場合は、制御装置の演算部または演算機能を有するロボットの駆動部が当該三次元座標位置にハンドを移動させるための関節変数を算出することができる。
　なお、本実施形態は、ロボットとカメラ設置後であって最初の作業の前に、簡単な参照表を作成しておくことを排除するものではない。その際に精密なキャリブレーションを行うことは本実施形態の目的に反するし、必要でもない。例えば、ハンドに対象物を保持させて作業空間の角等に手動または自動で移動させ、そのときのハンドの位置情報とロボットの姿勢パラメータとを関連付けたレコードを作成し、予め参照表に登録しておいてもよい。参照表に予め登録しておくレコード数は、好ましくは６４以下、さらに好ましくは２７以下、特に好ましくは８以下であり、最も好ましくは０である。
　本実施形態では、自律的にハンドを目標位置まで移動可能なロボットを用いるので、キャリブレーション作業の負担が軽減される。また、作業を続けるにつれて参照表に登録される位置情報の数が増えるので、参照表に対象物の位置情報を発見する確率が上がり、結果として、ハンド移動に要する時間を短縮できる。
　本実施形態では、実際のカメラおよびロボットを用いて参照表を作成するので、システム製作時の加工・取り付け等による誤差の影響を受けない。また、カメラの内部および外部パラメータやロボットの設置位置・向き等を計測する必要がないので、装置の選択や設置の自由度が大きい。例えば、画角の大きいカメラを用いて、より広い範囲をカバーすることができる。
　本実施形態では、参照表を利用してハンドを移動させるので、ハンドが一度訪れた点には、二度目以降も確実に到達することができる。また、レンズ歪等による不規則な誤差要因があっても、その影響を受けない。例えば、レンズ歪について、変換行列等を利用して座標変換を行う場合は、歪曲収差係数等を用いたとしても、モデル化された樽形歪、糸巻形歪等に対して補正できるだけで、不規則な歪の影響を完全には排除できない。参照表を利用することにより、より安価なレンズ系を備えたカメラを採用することができる。
　次に、本発明の第２実施形態を図８に基づいて説明する。
　図８において、本実施形態のロボットシステム１１は、第１実施形態のそれとほぼ同じである。ただし、ロボット２０のハンド２４に標識５１が固定されており、この標識を利用して参照表の補充、更新を行う。
　本実施形態では、第１実施形態と同じく、ロボットのハンドを対象物５２まで移動させようとするときに、カメラ３０、３１から画像を取得し、画像中に対象物を認識して対象物の位置情報を算出し、その位置情報を参照表に発見した場合は、位置情報に関連付けられた姿勢パラメータをロボットに送信して、ハンドを対象物まで移動させる。しかし、対象物５２の位置情報を参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、ハンドが対象物に到達する前および／または後であって、ハンドが停止中および／または移動中に、標識５１のカメラ画像に基づく位置情報と、当該位置情報に対応する姿勢パラメータとを関連付けて、参照表を補充、更新する。
　ここで、標識の位置情報を求めたときの関節変数を、そのまま参照表に登録することはできない。標識の位置はハンドが対象物を把持するときの位置（ハンドの把持位置）と一致していないので、その関節変数はその標識の位置に対応していないからである。そこで、標識の位置情報を求めたときの関節変数から、標識の三次元位置座標を算出して参照表に登録する。あるいは、標識の位置情報を求めたときの関節変数から一旦標識の三次元位置座標を求め、ロボットの設計データを基に標識位置に対応する関節変数へ変換して、参照表に登録することも可能である。その際、作業場にある障害物を回避するための幾何学的な拘束条件等を考慮して関節変数を求めることができる。
　なお、標識の固定先はハンドに限られず、ロボットの可動部分であれば、アーム２１に固定されていてもよい。また、標識をハンドに固定することには、標識となる物体をハンドに固着させること、ハンドの一部に標識となるマークを描くこと、ハンドの一部であって特徴的な部分を標識とすることが含まれる。
　本実施形態によれば、ロボット２０のハンド２４に固定された標識を利用して参照表の補充、更新を行うので、ハンドが対象物を把持しているか否かに関わらず、ハンドが対象物に到達する前後に関わらず、参照表の補充、更新が可能となる。
　次に、本発明の第３実施形態を図９に基づいて説明する。
　図９において、本実施形態のロボットシステム１２は、第１実施形態のそれとほぼ同じである。ただし、ロボット２０がハンド２４と対象物５２との位置偏差を検出する偏差検出手段が、第１カメラ３０および第２カメラ３１からなる。
　次に、本発明の第４実施形態を図１０～図１２に基づいて説明する。本実施形態は、鏡を利用し、１台のカメラで、ロボットの作業空間の直接像および鏡による反射像を撮像する。
　図１０において、本実施形態のロボットシステム１３は、多関節ロボット２０と、鏡３８と、ロボットの作業空間の直接像および鏡による反射像を撮像する１台のカメラ３２と、制御装置４０とを有する。
　ロボット２０は第１実施形態と同じである。カメラ３２は、第１実施形態の第１カメラ３０または第２カメラ３１と同じものを用いることができる。カメラ３２および鏡３８は、ロボットの作業空間の直接像および鏡による反射像を撮像可能に設置される。
　制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。図１１に示すように、第２通信部４２がカメラ３２から受信する画像には、対象物５２の直接像と鏡３８による反射像が写り込んでいる。演算部４３は、１枚の画像を処理して、対象物を認識して、その位置情報を算出する。その他は第１実施形態と同様である。
　図１２に参照表の例を示す。この参照表の各レコードには、対象物の直接像の画像中の画素位置としての座標（ｕｄｉ，ｖｄｉ）、反射像の画像中の画素位置としての座標（ｕｍｉ，ｖｍｉ）と、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）が含まれている。
　次に、本発明の第５実施形態を図１３および図１４に基づいて説明する。本実施形態は、１台のＴＯＦカメラで、ロボットの作業空間を撮像する。
　図１３において、本実施形態のロボットシステム１４は、多関節ロボット２０と、ロボットの作業空間を撮像する１台のＴＯＦカメラ３３と、制御装置４０とを有する。
　ロボット２０は第１実施形態と同じである。ＴＯＦカメラ３３は、光飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）方式による距離画像生成カメラで、二次元画像とともにカメラから各画素に写った点までの距離が記録された距離画像を撮像する。
　制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。演算部４３は、ＴＯＦカメラ３３から第２通信部で受信した二次元画像および距離画像を処理して、対象物５２を画像中に認識して、その対象物の位置情報を取得する。その他は第１実施形態と同様である。
　図１４に参照表の例を示す。この参照表の各レコードは、対象物の距離画像中の座標（Ｃｘｉ，Ｃｙｉ，Ｃｄｉ）と、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）を含む。
　本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。
　例えば、上記各実施形態では、１台のロボットに対して１台以上のカメラと１台の制御装置を組み合わせてロボットシステムを構築したが、これには限られず、複数のロボットシステムを１台の制御装置で制御してもよい。
　１０～１４　ロボットシステム
　２０　多関節ロボット
　２１　アーム
　２２　リンク
　２３　関節
　２４　ハンド
　２５　ベース
　２６　駆動部
　２７　三次元視覚センサ（偏差検出手段）
　３０　第１カメラ
　３１　第２カメラ
　３２　カメラ
　３３　ＴＯＦカメラ
　３８　鏡
　４０　ロボットシステム制御装置（制御装置）
　４１　第１通信部（ロボットとのインターフェイス）
　４２　第２通信部（カメラとのインターフェイス）
　４３　演算部
　４４　記憶部
　４５　第３通信部（入出力装置とのインターフェイス）
　４６　入力装置
　４７　出力装置
　５１　標識
　５２　対象物

Claims (32)

  1. 　自律的にハンドを目標まで移動可能な多関節ロボットと、前記ロボットの作業空間を撮像する１台以上のカメラと、制御装置とを有し、
    　前記制御装置は、前記カメラの画像に基づく位置情報と当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶し、
    　前記制御装置は、前記ハンドを対象物まで移動させようとするときに、
    　　前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出し、
    　　前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、
    　　前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する、
    ロボットシステム。
  2. 　前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達後であって該ハンドが該対象物を保持した状態で、該対象物の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する、
    請求項１に記載のロボットシステム。
  3. 　前記ロボットが前記ハンドまたはアームに固定された標識を備え、
    　前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に、前記標識の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する、
    請求項１に記載のロボットシステム。
  4. 　前記ロボットが、前記ハンドと前記対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記対象物まで移動させる、
    請求項１～３のいずれか一項に記載のロボットシステム。
  5. 　前記偏差検出手段が、前記ロボットに固定された三次元視覚センサからなる、
    請求項４に記載のロボットシステム。
  6. 　前記偏差検出手段が、前記１台以上のカメラからなる、
    請求項４に記載のロボットシステム。
  7. 　前記ロボットシステムは第１カメラおよび第２カメラを有し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、
    請求項１～６のいずれか一項に記載のロボットシステム。
  8. 　前記ロボットシステムは第１カメラおよび第２カメラを有し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項１～６のいずれか一項に記載のロボットシステム。
  9. 　前記ロボットシステムは第１カメラおよび第２カメラを有し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項１～６のいずれか一項に記載のロボットシステム。
  10. 　前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項１～６のいずれか一項に記載のロボットシステム。
  11. 　前記カメラが距離画像カメラであって、
    　前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
    請求項１～６のいずれか一項に記載のロボットシステム。
  12. 　前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項１～１１のいずれか一項に記載のロボットシステム。
  13. 　前記姿勢パラメータが、ロボット座標系における三次元位置座標である、
    請求項１～１１のいずれか一項に記載のロボットシステム。
  14. 　自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御装置であって、
    　前記ロボットの作業空間を撮像する１台以上のカメラによる画像に基づく位置情報と、当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶し、
    　前記ハンドを前記対象物まで移動させようとするときに、
    　　前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出し、
    　　前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、
    　　前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する、
    ロボットシステム制御装置。
  15. 　前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、
    請求項１４に記載のロボットシステム制御装置。
  16. 　前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項１４に記載のロボットシステム制御装置。
  17. 　前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項１４に記載のロボットシステム制御装置。
  18. 　前記カメラは、前記作業空間と該作業空間が映り込んだ鏡とを１枚の画像に撮像し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項１４に記載のロボットシステム制御装置。
  19. 　前記カメラが距離画像カメラであって、
    　前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
    請求項１４に記載のロボットシステム制御装置。
  20. 　前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項１４～１９のいずれか一項に記載のロボットシステム制御装置。
  21. 　前記姿勢パラメータが、ロボット座標系における三次元位置座標である、
    請求項１４～１９のいずれか一項に記載のロボットシステム制御装置。
  22. 　自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御方法であって、
    　前記ロボットのハンドを第１対象物に向かって自律的に移動させる工程と、
    　前記ハンドが前記第１対象物に到達して該第１対象物を保持した状態で停止中および／または移動中に、１台以上のカメラで前記ロボットの作業空間を撮像し、当該撮像により得られた画像中に前記第１対象物を認識して該第１対象物の位置情報を算出し、前記ロボットから姿勢パラメータを取得し、前記位置情報と前記姿勢パラメータとを関連付けた参照表を作成して記憶する工程と、
    　前記カメラで第２対象物が存在する前記作業空間を撮像し、当該撮像により得られた画像中に前記第２対象物を認識して該第２対象物の位置情報を算出し、前記第２対象物の位置情報を前記参照表から検索する工程と、
    　前記第２対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記第２対象物まで移動させ、前記第２対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記第２対象物に向かって自律的に移動させ、前記ハンドが前記第２対象物に到達して該第２対象物を保持した状態で停止中および／または移動中に、前記参照表を補充、更新する工程と、
    を有するロボットシステム制御方法。
  23. 　前記ロボットが、前記ハンドと前記第１対象物または第２対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記第１対象物または第２対象物まで移動させる、
    請求項２２に記載のロボットシステム制御方法。
  24. 　前記偏差検出手段が、前記ロボットに固定された三次元視覚センサからなる、
    請求項２３に記載のロボットシステム制御方法。
  25. 　前記偏差検出手段が、前記１台以上のカメラからなる、
    請求項２３に記載のロボットシステム制御方法。
  26. 　前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、
    請求項２２～２５のいずれか一項に記載のロボットシステム制御方法。
  27. 　前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項２２～２５のいずれか一項に記載のロボットシステム制御方法。
  28. 　前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、
    　前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項２２～２５のいずれか一項に記載のロボットシステム制御方法。
  29. 　前記カメラは、前記作業空間と該作業空間が映り込むように配置された鏡とを１枚の画像内に撮像し、
    　前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項２２～２５のいずれか一項に記載のロボットシステム制御方法。
  30. 　前記カメラが距離画像カメラであって、
    　前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
    請求項２２～２５のいずれか一項に記載のロボットシステム制御方法。
  31. 　前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項２２～３０のいずれか一項に記載のロボットシステム制御方法。
  32. 　前記姿勢パラメータが、ロボット座標系における三次元位置座標である、
    請求項２２～３０のいずれか一項に記載のロボットシステム制御方法。
PCT/JP2017/031056 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 WO2018043525A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018537324A JP6855492B2 (ja) 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016172017 2016-09-02
JP2016-172017 2016-09-02

Publications (1)

Publication Number Publication Date
WO2018043525A1 true WO2018043525A1 (ja) 2018-03-08

Family

ID=61300669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031056 WO2018043525A1 (ja) 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法

Country Status (2)

Country Link
JP (1) JP6855492B2 (ja)
WO (1) WO2018043525A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110253575A (zh) * 2019-06-17 2019-09-20 深圳前海达闼云端智能科技有限公司 一种机器人抓取的方法、终端及计算机可读存储介质
WO2019234814A1 (ja) * 2018-06-05 2019-12-12 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
WO2020129706A1 (ja) * 2018-12-21 2020-06-25 オムロン株式会社 位置合わせ装置
CN111452034A (zh) * 2019-01-21 2020-07-28 广东若铂智能机器人有限公司 一种双相机机器视觉智能工业机器人控制系统及控制方法
CN111611989A (zh) * 2020-05-22 2020-09-01 四川智动木牛智能科技有限公司 一种基于自主机器人的多目标精准定位识别方法
WO2020175425A1 (ja) * 2019-02-25 2020-09-03 国立大学法人 東京大学 ロボットシステム、ロボットの制御装置、およびロボットの制御プログラム
WO2022091328A1 (ja) * 2020-10-30 2022-05-05 株式会社ニコン ロボットシステム、ロボットアーム、エンドエフェクタ、およびアダプタ
JP2023522179A (ja) * 2020-04-14 2023-05-29 リアルタイム ロボティクス， インコーポレーテッド センサーの配置を含むロボット操作環境の構成
US11964393B2 (en) 2018-03-21 2024-04-23 Realtime Robotics, Inc. Motion planning of a robot for various environments and tasks and improved operation of same
US11970161B2 (en) 2018-01-12 2024-04-30 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
US12017364B2 (en) 2019-04-17 2024-06-25 Realtime Robotics, Inc. Motion planning graph generation user interface, systems, methods and articles
US12083682B2 (en) 2023-07-12 2024-09-10 Realtime Robotics, Inc. Motion planning of a robot for various environments and tasks and improved operation of same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114643578B (zh) * 2020-12-18 2023-07-04 沈阳新松机器人自动化股份有限公司 一种提高机器人视觉引导精度的标定装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
WO2013176212A1 (ja) * 2012-05-25 2013-11-28 学校法人立命館 ロボット制御装置、ロボット制御方法、プログラム、記録媒体、ロボットシステム
JP2015174206A (ja) * 2014-03-18 2015-10-05 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
WO2013176212A1 (ja) * 2012-05-25 2013-11-28 学校法人立命館 ロボット制御装置、ロボット制御方法、プログラム、記録媒体、ロボットシステム
JP2015174206A (ja) * 2014-03-18 2015-10-05 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11970161B2 (en) 2018-01-12 2024-04-30 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
US11964393B2 (en) 2018-03-21 2024-04-23 Realtime Robotics, Inc. Motion planning of a robot for various environments and tasks and improved operation of same
JP7064586B2 (ja) 2018-06-05 2022-05-10 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
WO2019234814A1 (ja) * 2018-06-05 2019-12-12 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
JPWO2019234814A1 (ja) * 2018-06-05 2021-02-12 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
US11865730B2 (en) 2018-06-05 2024-01-09 Hitachi, Ltd. Camera position/attitude calibration device, camera position/attitude calibration method, and robot
WO2020129706A1 (ja) * 2018-12-21 2020-06-25 オムロン株式会社 位置合わせ装置
JP2020099969A (ja) * 2018-12-21 2020-07-02 オムロン株式会社 位置合わせ装置
US11922616B2 (en) 2018-12-21 2024-03-05 Omron Corporation Alignment device
EP3878606A4 (en) * 2018-12-21 2022-08-17 OMRON Corporation ALIGNMENT DEVICE
CN111452034A (zh) * 2019-01-21 2020-07-28 广东若铂智能机器人有限公司 一种双相机机器视觉智能工业机器人控制系统及控制方法
WO2020175425A1 (ja) * 2019-02-25 2020-09-03 国立大学法人 東京大学 ロボットシステム、ロボットの制御装置、およびロボットの制御プログラム
JP7228290B2 (ja) 2019-02-25 2023-02-24 国立大学法人 東京大学 ロボットシステム、ロボットの制御装置、およびロボットの制御プログラム
JPWO2020175425A1 (ja) * 2019-02-25 2021-11-18 国立大学法人 東京大学 ロボットシステム、ロボットの制御装置、およびロボットの制御プログラム
CN113439013A (zh) * 2019-02-25 2021-09-24 国立大学法人东京大学 机器人系统，机器人的控制装置，以及机器人的控制程序
CN113439013B (zh) * 2019-02-25 2024-05-14 国立大学法人东京大学 机器人系统，机器人的控制装置，以及机器人的控制程序
US12017364B2 (en) 2019-04-17 2024-06-25 Realtime Robotics, Inc. Motion planning graph generation user interface, systems, methods and articles
CN110253575B (zh) * 2019-06-17 2021-12-24 达闼机器人有限公司 一种机器人抓取的方法、终端及计算机可读存储介质
CN110253575A (zh) * 2019-06-17 2019-09-20 深圳前海达闼云端智能科技有限公司 一种机器人抓取的方法、终端及计算机可读存储介质
JP2023522179A (ja) * 2020-04-14 2023-05-29 リアルタイム ロボティクス， インコーポレーテッド センサーの配置を含むロボット操作環境の構成
JP7450297B2 (ja) 2020-04-14 2024-03-15 リアルタイム ロボティクス， インコーポレーテッド センサーの配置を含むロボット操作環境の構成
CN111611989A (zh) * 2020-05-22 2020-09-01 四川智动木牛智能科技有限公司 一种基于自主机器人的多目标精准定位识别方法
WO2022091328A1 (ja) * 2020-10-30 2022-05-05 株式会社ニコン ロボットシステム、ロボットアーム、エンドエフェクタ、およびアダプタ
US12083682B2 (en) 2023-07-12 2024-09-10 Realtime Robotics, Inc. Motion planning of a robot for various environments and tasks and improved operation of same

Also Published As

Publication number Publication date
JP6855492B2 (ja) 2021-04-07
JPWO2018043525A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6468741B2 (ja) ロボットシステム及びロボットシステムの校正方法
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP3946711B2 (ja) ロボットシステム
JP4021413B2 (ja) 計測装置
US20200298411A1 (en) Method for the orientation of an industrial robot, and industrial robot
JP6855491B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2004508954A (ja) 位置決め装置およびシステム
JP6816070B2 (ja) 干渉回避装置およびロボットシステム
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
CN111278608B (zh) 用于3d视觉机器人系统的校准物品
JP2015136770A (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP6900290B2 (ja) ロボットシステム
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
EP3411194A1 (en) Robot system calibration
US20230330764A1 (en) Autonomous assembly robots
JP2008168372A (ja) ロボット装置及び形状認識方法
JPWO2016113836A1 (ja) マニプレータ制御方法、システム、およびマニプレータ
JP2014149182A (ja) ワークとの相関位置決め方法
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17846530

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018537324

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17846530

Country of ref document: EP

Kind code of ref document: A1