JP5292998B2 - Robot apparatus control method and robot apparatus - Google Patents

Robot apparatus control method and robot apparatus Download PDF

Info

Publication number
JP5292998B2
JP5292998B2 JP2008215926A JP2008215926A JP5292998B2 JP 5292998 B2 JP5292998 B2 JP 5292998B2 JP 2008215926 A JP2008215926 A JP 2008215926A JP 2008215926 A JP2008215926 A JP 2008215926A JP 5292998 B2 JP5292998 B2 JP 5292998B2
Authority
JP
Japan
Prior art keywords
image
manipulator
imaging
hand
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008215926A
Other languages
Japanese (ja)
Other versions
JP2009051003A (en
Inventor
サン ゼンキ
ワン ホン
ハオ ミャオ
正和 藤井
幸弘 河野
Original Assignee
株式会社Ihi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN200710146651.1 priority Critical
Priority to CNA2007101466511A priority patent/CN101372098A/en
Application filed by 株式会社Ihi filed Critical 株式会社Ihi
Publication of JP2009051003A publication Critical patent/JP2009051003A/en
Application granted granted Critical
Publication of JP5292998B2 publication Critical patent/JP5292998B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

The invention provides a control method used for a robot device, comprising the steps as follows: when the manipulator of the robot device is controlled, a plurality of benchmark images are not needed to be prepared, rapid control can be carried out owning to light calculation load; furthermore, the position and gesture of manipulator correspondingly to the object can be controlled in three-dimensional space; according to the moving quantity of image of object (101) which leads the direction of the paw of the manipulator (1) to rotate in the image photographed by a camera (6), the direction of the paw of the manipulator (1) is controlled, thus leading the image of the object (101) to be arranged at the center of the visible field; according to the size of the image of the object (101) gained by the camera (6), the distance of the paw and the object (101) of the manipulator (1) is calculated, thus leading the paw of the manipulator (1) to move along the direction of the optical axis of the camera (6) so as to approach the object (101).

Description

本発明は、マニピュレータの先端にカメラを備えたロボット装置において、事前に目標状態から算出し記憶した目標特徴量とカメラにより取得した画像から得た特徴量とが一致するようにマニピュレータを動作させるロボット装置の制御方法及びロボット装置に関する。   The present invention relates to a robot apparatus having a camera at the tip of a manipulator that operates a manipulator so that a target feature value calculated and stored in advance from a target state matches a feature value obtained from an image acquired by the camera. The present invention relates to an apparatus control method and a robot apparatus.

従来、マニピュレータを備えたロボット装置が提案されており、また、このようなロボット装置のマニピュレータの動作を制御するためのロボット装置の制御方法が提案されている。そして、ロボット装置の制御方法として、マニピュレータにより把持を行う対象物を目標として、マニピュレータの手先を移動させるための制御方法が種々提案されている。   Conventionally, a robot apparatus provided with a manipulator has been proposed, and a control method of the robot apparatus for controlling the operation of the manipulator of such a robot apparatus has been proposed. As a control method of the robot apparatus, various control methods for moving the hand of the manipulator with an object to be gripped by the manipulator as a target have been proposed.

例えば、特許文献1には、対象物の基準画像を複数用意しておくとともに、マニピュレータの手先に取り付けたカメラによる画像情報を取得し、画像情報における対象物の形状に近い基準画像を検索することによって、対象物とマニピュレータの手先との位置関係を計算するようにしたロボット装置が記載されている。   For example, Patent Document 1 prepares a plurality of reference images of an object, acquires image information from a camera attached to the hand of a manipulator, and searches for a reference image close to the shape of the object in the image information. Describes a robot apparatus that calculates the positional relationship between the object and the hand of the manipulator.

また、特許文献2には、対象物の基準画像を用意しておき、マニピュレータの手先に取り付けたカメラにより画像を撮影しながら、基準画像に近い画像が得られるまで、マニピュレータを一定量移動させるようにしたロボット装置が記載されている。   In Patent Document 2, a reference image of an object is prepared, and the manipulator is moved by a certain amount until an image close to the reference image is obtained while taking an image with a camera attached to the hand of the manipulator. A robotic device is described.

特開2003−231078公報JP 2003-231078 A 特開2000−263482公報JP 2000-263482 A

ところで、特許文献1に記載のロボット装置においては、制御の精度を高めるためには、多くの基準画像を用意しておき、マニピュレータの動作のたびに全ての基準画像の検索を行なう必要があるため、計算負荷が高く、迅速な制御ができない。   By the way, in the robot apparatus described in Patent Document 1, in order to increase the accuracy of control, it is necessary to prepare a large number of reference images and search all the reference images every time the manipulator operates. The calculation load is high and quick control is not possible.

また、特許文献2に記載のロボット装置においては、2次元平面内におけるマニピュレータの位置及び姿勢合わせにしか対応できず、マニピュレータの対象物に対する位置及び姿勢を3次元空間内において制御することはできない。さらに、このロボット装置においては、撮像、計測とマニピュレータの動作とを繰り返さなければならないため、迅速な制御ができない。   In the robot apparatus described in Patent Document 2, only the position and orientation of the manipulator in the two-dimensional plane can be matched, and the position and orientation of the manipulator with respect to the object cannot be controlled in the three-dimensional space. Furthermore, in this robot apparatus, since imaging, measurement, and operation of the manipulator must be repeated, rapid control cannot be performed.

そこで、本発明は、前記の実情に鑑みてなされたものであり、その目的は、ロボット装置のマニピュレータを制御するにあたり、多くの基準画像を用意する必要がなく、計算負荷が軽く、迅速な制御が可能でありながら、マニピュレータの対象物に対する位置及び姿勢を3次元空間内において制御することができるようになされたロボット装置の制御方法及びロボット装置を提供することにある。   Therefore, the present invention has been made in view of the above circumstances, and the purpose thereof is to control a manipulator of a robot apparatus without having to prepare a large number of reference images, and to perform a quick control with a light calculation load. It is an object to provide a robot apparatus control method and a robot apparatus that can control the position and orientation of a manipulator with respect to an object in a three-dimensional space.

前述の課題を解決し、前記目的を達成するため、本発明に係るロボット装置の制御方法は、以下の構成のいずれか一を有するものである。   In order to solve the above-described problems and achieve the above object, a control method for a robot apparatus according to the present invention has any one of the following configurations.

〔構成1〕
6自由度以上のマニピュレータを有し、マニピュレータの手先位置に撮像手段を有するロボット装置を制御するロボット装置の制御方法であって、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報とを照合して、マニピュレータの手先の方向を旋回させたときの対象物の画像の撮像手段における移動量に基づいて、対象物の画像が撮像手段の視野の中心に位置するように、マニピュレータの手先の方向を制御し、次に、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報とを照合して、撮像手段によって得られた対象物の画像の大きさに基づいて、マニピュレータの手先と対象物との間の距離を算出して、マニピュレータの手先を撮像手段のレンズの光軸方向に移動させ、該手先を対象物に接近させ、次に、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報とを照合して、マニピュレータの手先の方向を、対象物の計測面に垂直な方向とし、
次に、撮像手段の視野内における対象物の画像が所定の方向となるように、マニピュレータの手先を回転制御することを特徴とするものである。
[Configuration 1]
A robot apparatus control method for controlling a robot apparatus having a manipulator having six degrees of freedom or more and having an image pickup means at a hand position of the manipulator, the image of the object obtained by the image pickup means and the shape of the object in advance The image of the object is positioned at the center of the field of view of the imaging means based on the amount of movement of the image of the object in the imaging means when the direction of the hand of the manipulator is turned. The object obtained by the imaging means by controlling the direction of the hand of the manipulator, and then collating the image of the object obtained by the imaging means with previously stored information about the shape of the object Based on the size of the image of the object, the distance between the hand of the manipulator and the object is calculated, and the hand of the manipulator is moved in the optical axis direction of the lens of the imaging means. Is to approximate該手destination object, then compares the pre-stored information about the shape of the image and the object of the object obtained by the imaging means, the direction of the hand of the manipulator, the object The direction perpendicular to the measurement surface of the object,
Next, as an image of the object within the field of view of the imaging means is a predetermined direction and is characterized that you rotation controlling hand of the manipulator.

〔構成2〕
構成1を有するロボット装置の制御方法において、対象物は、円形、または、円形に近似された形状の特徴量を有し、上面が計測面となっていることを特徴とするものである。
[Configuration 2]
In the control method of the robot apparatus having the configuration 1, the object has a feature quantity having a circular shape or a shape approximated to a circular shape, and the upper surface is a measurement surface.

〔構成3〕
構成1を有するロボット装置の制御方法において、対象物は、円形以外の任意の形状を有しており、円形、または、円形に近似された形状の特徴量を有する計測面を有していることを特徴とするものである。
[Configuration 3]
In the control method of the robot apparatus having the configuration 1, the target has an arbitrary shape other than a circle, and has a measurement surface having a feature amount of a circle or a shape approximated to a circle. It is characterized by.

〔構成4〕
構成1を有するロボット装置の制御方法において、マニピュレータの手先の方向を制御して、対象物の画像を撮像手段の視野の中心に位置させることは、撮像手段によって得られた画像上での視野の中心C0及び画像上での対象物の初期中心位置C1を取得し、選択した動作軸を回転させて画像上での対象物の中心位置C2を取得し、直線C0−C1間及び直線C1−C2間の距離及び傾きを求め、次に、直線C1−C2に垂直で視野中心C0を通る直線と、直線C1−C2との交点Aを定め、直線C0−A及び直線C2−A間の距離を求めることにより、マニピュレータの関節の選択した動作軸回りの回転量を定め、次に、選択した動作軸に直行する動作軸を回転させて画像上での対象物の中心位置C2を取得し、直線C0−C1間及び直線C1−C2間の距離及び傾きを求め、次に、直線C1−C2に垂直で視野中心C0を通る直線と、直線C1−C2との交点Aを定め、直線C0−A及び直線C2−A間の距離を求めることにより、マニピュレータの当該動作軸回りの回転量を定め、定められた各回転量に基づいてマニピュレータを制御し、対象物の画像を撮像手段の視野の中心とすることを特徴とするものである。
[Configuration 4]
A method of controlling a robot apparatus that have a structure 1, by controlling the direction of the hand of the manipulator, positioning the image of the object in the center of the field of view of the imaging means, the field of view on the image obtained by the imaging means The center C0 of the object and the initial center position C1 of the object on the image are acquired, the selected operation axis is rotated to acquire the center position C2 of the object on the image, and the line C0-C1 and the line C1- The distance and inclination between C2 are obtained, and then the intersection A between the straight line C1-C2 and the straight line passing through the visual field center C0 perpendicular to the straight line C1-C2 is determined, and the distance between the straight line C0-A and the straight line C2-A Determining the amount of rotation of the joint of the manipulator around the selected motion axis, and then rotating the motion axis orthogonal to the selected motion axis to obtain the center position C2 of the object on the image, Between straight line C0-C1 and straight C1-C2 distance and inclination are obtained, and then an intersection A between the straight line C1-C2 and a straight line passing through the visual field center C0 perpendicular to the straight line C1-C2 is determined, and between the straight line C0-A and the straight line C2-A The amount of rotation of the manipulator around the operation axis is determined, the manipulator is controlled based on each determined amount of rotation, and the image of the object is set as the center of the field of view of the imaging means. To do.

また、本発明に係るロボット装置は、以下の構成のいずれか一を有するものである。   The robot apparatus according to the present invention has any one of the following configurations.

〔構成
6自由度以上のマニピュレータを有し、マニピュレータの手先位置に撮像手段を有するロボット装置であって、マニピュレータの動作を制御する制御手段を備え、制御手段は、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報とを照合して、マニピュレータの手先の方向を旋回させたときの対象物の画像の撮像手段における移動量に基づいて、対象物の画像が撮像手段の視野の中心に位置するように、マニピュレータの手先の方向を制御し、次に、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報とを照合して、撮像手段によって得られた対象物の画像の大きさに基づいて、マニピュレータの手先と対象物との間の距離を算出して、マニピュレータの手先を撮像手段のレンズの光軸方向に移動させ、該手先を対象物に接近させ、次に、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報とを照合して、マニピュレータの手先の方向を、対象物の計測面に垂直な方向とし、次に、撮像手段の視野内における対象物の画像が所定の方向となるように、マニピュレータの手先を回転制御することを特徴とするものである。
[Configuration 5 ]
A robot apparatus having a manipulator having six or more degrees of freedom and having an image pickup means at a hand position of the manipulator, comprising a control means for controlling the operation of the manipulator, the control means including an image of an object obtained by the image pickup means, The image of the object is imaged based on the amount of movement of the image of the object when the direction of the hand of the manipulator is turned by collating with information stored in advance about the shape of the object Control the direction of the hand of the manipulator so that it is located at the center of the field of view, and then collate the image of the object obtained by the imaging means with pre-stored information about the shape of the object, Based on the size of the image of the object obtained by the imaging means, the distance between the hand of the manipulator and the object is calculated, and the hand of the manipulator is imaged. Is moved in the optical axis direction of the stage of the lens to approximate該手destination object, then compares the pre-stored information about the shape of the image and the object of the object obtained by the image pickup means the direction of the hand of the manipulator, the direction perpendicular to the measurement surface of the object, then, as the image of the object within the field of view of the imaging means is a predetermined direction, to the rotation control of the hand of the manipulator Rukoto It is characterized by.

〔構成
構成を有するロボット装置において、対象物は、円形、または、円形に近似された形状の特徴量を有し、上面が計測面となっていることを特徴とするものである。
[Configuration 6 ]
In the robot apparatus having the configuration 5 , the object has a feature amount of a circle or a shape approximated to a circle, and the upper surface is a measurement surface.

〔構成
構成を有するロボット装置において、対象物は、円形以外の任意の形状を有しており、円形、または、円形に近似された形状の特徴量を有する計測面を有していることを特徴とするものである。
[Configuration 7 ]
In the robot apparatus having the configuration 5 , the object has an arbitrary shape other than a circle, and has a measurement surface having a feature amount of a circle or a shape approximated to a circle. To do.

〔構成
構成を有するロボット装置において、制御手段は、マニピュレータの手先の方向を制御して、対象物の画像を撮像手段の視野の中心に位置させることは、撮像手段によって得られた画像上での視野の中心C0及び画像上での対象物の初期中心位置C1を取得し、選択した動作軸を回転させて画像上での対象物の中心位置C2を取得し、直線C0−C1間及び直線C1−C2間の距離及び傾きを求め、次に、直線C1−C2に垂直で視野中心C0を通る直線と、直線C1−C2との交点Aを定め、直線C0−A及び直線C2−A間の距離を求めることにより、マニピュレータの関節の選択した動作軸回りの回転量を定め、次に、選択した動作軸に直行する動作軸を回転させて画像上での対象物の中心位置C2を取得し、直線C0−C1間及び直線C1−C2間の距離及び傾きを求め、次に、直線C1−C2に垂直で視野中心C0を通る直線と、直線C1−C2との交点Aを定め、直線C0−A及び直線C2−A間の距離を求めることにより、マニピュレータの当該動作軸回りの回転量を定め、定められた各回転量に基づいてマニピュレータを制御し、対象物の画像を撮像手段の視野の中心とすることを特徴とするものである。
[Configuration 8 ]
In the robot apparatus having the configuration 5 , the control unit controls the direction of the hand of the manipulator so that the image of the object is positioned at the center of the field of view of the imaging unit, the field of view on the image obtained by the imaging unit The center C0 of the object and the initial center position C1 of the object on the image are acquired, the selected operation axis is rotated to acquire the center position C2 of the object on the image, and the line C0-C1 and the line C1- The distance and inclination between C2 are obtained, and then the intersection A between the straight line C1-C2 and the straight line passing through the visual field center C0 perpendicular to the straight line C1-C2 is determined, and the distance between the straight line C0-A and the straight line C2-A Determining the amount of rotation of the joint of the manipulator around the selected motion axis, and then rotating the motion axis orthogonal to the selected motion axis to obtain the center position C2 of the object on the image, Between straight line C0-C1 and The distance and the inclination between the lines C1-C2 are obtained, and then an intersection A between the straight line C1-C2 perpendicular to the straight line C1-C2 and the straight line C1-C2 is determined, and the straight lines C0-A and C2-A are determined. The amount of rotation between the operation axes of the manipulator is determined by determining the distance between the manipulators, the manipulator is controlled based on each determined amount of rotation, and the image of the object is set as the center of the field of view of the imaging means It is what.

本発明に係る複数ロボットの制御方法においては、構成1を有することにより、マニピュレータの手先の方向を旋回させたときの対象物の画像の撮像手段における移動量に基づいてマニピュレータの手先の方向を制御して、対象物の画像を撮像手段の視野の中心に位置させ、次に、撮像手段によって得られた対象物の画像の大きさに基づいてマニピュレータの手先と対象物との間の距離を算出し、マニピュレータの手先を撮像手段のレンズの光軸方向に移動させることにより、マニピュレータの手先を対象物に接近させ、次に、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報とを照合して、マニピュレータの手先の方向を、対象物の計測面に垂直な方向とし、次に、撮像手段の視野内における対象物の画像が所定の方向となるように、マニピュレータの手先を回転制御することができる。 In the control method for a plurality of robots according to the present invention, by having the configuration 1, the direction of the hand of the manipulator is controlled based on the amount of movement in the imaging means of the image of the object when the direction of the hand of the manipulator is turned. The image of the object is positioned at the center of the field of view of the imaging means, and then the distance between the hand of the manipulator and the object is calculated based on the size of the image of the object obtained by the imaging means Then, by moving the manipulator hand in the optical axis direction of the lens of the imaging means, the manipulator hand is brought close to the object , and then the object image obtained by the imaging means and the shape of the object in advance The direction of the hand of the manipulator is set to a direction perpendicular to the measurement surface of the object, and then the object in the field of view of the imaging means As the image becomes the predetermined direction, can it to rotate controlling hand of the manipulator.

本発明に係る複数ロボットの制御方法においては、構成2を有することにより、対象物は、円形、または、円形に近似された形状の特徴量を有し、上面が計測面となっているので、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報との照合を迅速に行うことができる。   In the control method for a plurality of robots according to the present invention, since the object has the feature amount of the circular shape or the shape approximated to the circular shape by having the configuration 2, the upper surface is the measurement surface. It is possible to quickly collate the image of the object obtained by the imaging unit with the information stored in advance about the shape of the object.

本発明に係る複数ロボットの制御方法においては、構成3を有することにより、対象物は、円形以外の任意の形状を有しており、円形、または、円形に近似された形状の特徴量を有する計測面を有しているので、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報との照合を迅速に行うことができる。   In the method for controlling a plurality of robots according to the present invention, by having the configuration 3, the object has an arbitrary shape other than a circle, and has a feature amount of a circle or a shape approximated to a circle. Since the measurement surface is provided, it is possible to quickly collate the image of the object obtained by the imaging unit with the information stored in advance about the shape of the object.

すなわち、本発明に係るロボット装置の制御方法においては、3次元空間においてマニピュレータと対象物との位置合わせ及び姿勢合わせを行うことができ、かつ、任意の関節を指定角度だけ動かし、かつ、撮像手段のレンズの光軸方向に動かすなど、一般的な産業用マニュピレータが有する動作を繰り返して位置合わせを行なうので、制御手段の構成を簡素化でき、演算付加を軽減することができる。   That is, in the control method of the robot apparatus according to the present invention, the manipulator and the object can be positioned and aligned in a three-dimensional space, an arbitrary joint is moved by a specified angle, and the imaging means Since the alignment is performed by repeating the operation of a general industrial manipulator such as moving the lens in the optical axis direction, the configuration of the control means can be simplified and the addition of computation can be reduced.

そして、本発明に係る複数ロボットにおいては、構成を有することにより、制御手段は、マニピュレータの手先の方向を旋回させたときの対象物の画像の撮像手段における移動量に基づいてマニピュレータの手先の方向を制御して、対象物の画像を撮像手段の視野の中心に位置させ、次に、撮像手段によって得られた対象物の画像の大きさに基づいてマニピュレータの手先と対象物との間の距離を算出し、マニピュレータの手先を撮像手段のレンズの光軸方向に移動させるので、任意の関節を指定角度だけ動かし、かつ、撮像手段のレンズの光軸方向に動かすなど、一般的な産業用マニュピレータが有する動作を繰り返すことにより、マニピュレータの手先を対象物に接近させ、次に、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報とを照合して、マニピュレータの手先の方向を、対象物の計測面に垂直な方向とし、次に、撮像手段の視野内における対象物の画像が所定の方向となるように、マニピュレータの手先を回転制御することができる。 In the plurality of robots according to the present invention, by having the configuration 5 , the control unit is configured to adjust the manipulator's hand based on the amount of movement in the image pickup unit of the image of the object when the direction of the hand of the manipulator is turned. Controlling the direction to position the image of the object in the center of the field of view of the imaging means, and then between the hand of the manipulator and the object based on the size of the image of the object obtained by the imaging means Calculates the distance and moves the manipulator's hand in the optical axis direction of the lens of the imaging means, so that any joint can be moved by a specified angle and moved in the optical axis direction of the lens of the imaging means. manipulator by repeating the operation with the, form of to approximate hand of the manipulator to the object, then the image and the object of the object obtained by the image pickup means The direction of the hand of the manipulator is set to a direction perpendicular to the measurement surface of the object, and then the image of the object in the field of view of the imaging means is a predetermined direction. as will be you to rotate controlling hand of the manipulator.

本発明に係る複数ロボットにおいては、構成を有することにより、対象物は、円形、または、円形に近似された形状の特徴量を有し、上面が計測面となっているので、制御手段は、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報との照合を迅速に行うことができる。 In the plurality of robots according to the present invention, by having the configuration 6 , the object has a feature quantity of a circle or a shape approximated to a circle, and the upper surface is a measurement surface. In addition, it is possible to quickly collate the image of the object obtained by the imaging unit with the information stored in advance about the shape of the object.

本発明に係る複数ロボットにおいては、構成を有することにより、対象物は、円形以外の任意の形状を有しており、円形、または、円形に近似された形状の特徴量を有する計測面を有しているので、制御手段は、撮像手段によって得られる対象物の画像と対象物の形状についての事前に記憶された情報との照合を迅速に行うことができる。 In the plurality of robots according to the present invention, by having the configuration 7 , the object has an arbitrary shape other than a circle, and a measurement surface having a feature amount of a circle or a shape approximated to a circle is provided. Since it has, the control means can perform collation with the information memorize | stored in advance about the image of the target object obtained by the imaging means, and the shape of the target object.

すなわち、本発明に係るロボット装置においては、3次元空間においてマニピュレータと対象物との位置合わせ及び姿勢合わせを行うことができ、かつ、任意の関節を指定角度だけ動かし、かつ、撮像手段のレンズの光軸方向に動かすなど、一般的な産業用マニュピレータが有する動作を繰り返して位置合わせを行なうので、制御手段の構成を簡素化でき、演算付加を軽減することができる。   That is, in the robot apparatus according to the present invention, the manipulator and the object can be aligned and postured in a three-dimensional space, an arbitrary joint can be moved by a specified angle, and the lens of the imaging unit can be moved. Since the alignment is performed by repeating the operation of a general industrial manipulator such as moving in the optical axis direction, the configuration of the control means can be simplified, and calculation addition can be reduced.

すなわち、本発明は、ロボット装置のマニピュレータを制御するにあたり、多くの基準画像を用意する必要がなく、計算負荷が軽く、迅速な制御が可能でありながら、マニピュレータの対象物に対する位置及び姿勢を3次元空間内において制御することができるようになされたロボット装置の制御方法及びロボット装置を提供することができるものである。   That is, according to the present invention, in controlling the manipulator of the robot apparatus, it is not necessary to prepare many reference images, the calculation load is light, and quick control is possible. It is possible to provide a robot apparatus control method and a robot apparatus which can be controlled in a dimensional space.

以下、本発明を実施するための最良の形態について図面を参照して説明する。   The best mode for carrying out the present invention will be described below with reference to the drawings.

〔ロボット装置の構成〕
図1は、本発明に係るロボット装置の構成を示す模式的な側面図である。
[Robot device configuration]
FIG. 1 is a schematic side view showing a configuration of a robot apparatus according to the present invention.

本発明に係るロボット装置は、図1に示すように、マニピュレータ1を有し、このマニピュレータ1により、対象物101の把持、運搬及び他の部材への組立が可能となされているものである。   As shown in FIG. 1, the robot apparatus according to the present invention includes a manipulator 1, and the manipulator 1 enables the object 101 to be gripped, transported, and assembled to another member.

マニピュレータ1は、複数のアクチュエータ(駆動装置)とリンク(剛体の構造物)とによって構成されており、6自由度を有している。すなわち、各リンク間は、回動(屈曲)、または、旋回可能な関節2a,2b,2c,2d,2e,2fを介して接続されており、それぞれアクチュエータによって相対駆動されるようになっている。各アクチュエータは、制御手段となるコンピュータ3によって制御される。   The manipulator 1 is composed of a plurality of actuators (driving devices) and links (rigid structures), and has six degrees of freedom. That is, the links are connected via joints 2a, 2b, 2c, 2d, 2e, and 2f that can be rotated (bent) or turned, and are relatively driven by actuators. . Each actuator is controlled by a computer 3 serving as control means.

このマニピュレータ1において、第1のリンク(基端部のリンク)1aは、基台部4に対し、基端側を第1の関節2aを介して接続されて設置されている。第1の関節2aは、鉛直軸(z軸)回りに旋回可能な関節である。この第1のリンク1aの先端側には、第2の関節2bを介して、第2のリンク1bの基端側が接続されている。第2の関節2bは、水平な軸回りに第2のリンク1bを回動可能とする関節である。第2のリンク1bの先端側には、第3の関節2cを介して、第3のリンク1cの基端側が接続されている。第3の関節2cは、水平な軸回りに第3のリンク1cを回動可能とする関節である。   In the manipulator 1, the first link (link at the base end) 1 a is installed with the base end connected to the base 4 via the first joint 2 a. The first joint 2a is a joint that can turn around a vertical axis (z-axis). The proximal end side of the second link 1b is connected to the distal end side of the first link 1a via the second joint 2b. The second joint 2b is a joint that allows the second link 1b to rotate around a horizontal axis. The proximal end side of the third link 1c is connected to the distal end side of the second link 1b via the third joint 2c. The third joint 2c is a joint that allows the third link 1c to rotate around a horizontal axis.

そして、第3のリンク1cの先端側には、第4の関節2dを介して、第4のリンク1dの基端側が接続されている。第4の関節2dは、第3のリンク1cの軸回りに第4のリンク1dを旋回可能とする関節である。第4のリンク1dの先端側には、第5の関節2eを介して、第5のリンク1eの基端側が接続されている。第5の関節2eは、第4のリンク1dの軸に直交する軸回りに第5のリンク1eを回動可能とする関節である。第5のリンク1eの先端側には、第6の関節2fを介して、第6のリンク1fの基端側が接続されている。第6の関節2fは、第5のリンク1eの軸回りに第6のリンク1fを旋回可能とする関節である。   And the base end side of the 4th link 1d is connected to the front end side of the 3rd link 1c via the 4th joint 2d. The fourth joint 2d is a joint that enables the fourth link 1d to turn around the axis of the third link 1c. The proximal end side of the fifth link 1e is connected to the distal end side of the fourth link 1d via the fifth joint 2e. The fifth joint 2e is a joint that allows the fifth link 1e to rotate about an axis orthogonal to the axis of the fourth link 1d. The proximal end side of the sixth link 1f is connected to the distal end side of the fifth link 1e via the sixth joint 2f. The sixth joint 2f is a joint that enables the sixth link 1f to turn around the axis of the fifth link 1e.

このように、マニピュレータ1においては、回動可能な関節と、旋回可能な関節とが、交互に計6個設けられていることにより、6自由度が確保されている。   As described above, in the manipulator 1, a total of six joints that can rotate and pivotable joints are alternately provided, so that six degrees of freedom are secured.

第6のリンク1fの先端側(以下、「手先」という。)には、対象物101を把持したり加工したりする先端ツール機構5が設けられている。この先端ツール機構5は、コンピュータ3や図示しないその他の制御装置によって制御される。また、手先の近傍には、撮像レンズ及びCCD(固体撮像素子)からなる撮像手段となるカメラ6が取付けられている。   A tip tool mechanism 5 for gripping and processing the object 101 is provided on the tip side of the sixth link 1 f (hereinafter referred to as “hand”). The tip tool mechanism 5 is controlled by the computer 3 or other control device (not shown). In addition, a camera 6 serving as an imaging unit including an imaging lens and a CCD (solid-state imaging device) is attached in the vicinity of the hand.

コンピュータ3は、画像特徴データテーブル3aを有している。この画像特徴データテーブル3aには、複数の対象物101の形状を示す画像データ及び数値データが記憶されている。また、コンピュータ3は、画像処理部3bを有しており、カメラ6から送られる画像信号から対象部品101の形状を抽出し、この形状と、画像特徴データテーブル3aに記憶された画像データ及び数値データとを照合する。そして、コンピュータ3は、動作指令生成部3cを有している。この動作指令生成部3cは、画像処理部3bにおける画像信号と画像特徴データテーブル3a内のデータとの照合結果に応じて、マニピュレータ1の各アクチュエータに対する動作指令信号を生成し、各アクチュエータに送る。   The computer 3 has an image feature data table 3a. In the image feature data table 3a, image data and numerical data indicating the shapes of the plurality of objects 101 are stored. The computer 3 has an image processing unit 3b, extracts the shape of the target component 101 from the image signal sent from the camera 6, and stores the shape, image data and numerical values stored in the image feature data table 3a. Match data. The computer 3 has an operation command generation unit 3c. The operation command generation unit 3c generates an operation command signal for each actuator of the manipulator 1 according to the collation result between the image signal in the image processing unit 3b and the data in the image feature data table 3a, and sends the operation command signal to each actuator.

そして、マニピュレータ1においては、第1のリンク1aに対する第2のリンク1bの位置、第2のリンク1bに対する第3のリンク1cの位置、第3のリンク1cに対する第4のリンク1dの位置と、順次先端側のリンクの位置が制御されることにより、手先の位置が制御され、この手先において先端ツール機構5によって把持したワークを所定の位置に搬送することができる。   In the manipulator 1, the position of the second link 1b with respect to the first link 1a, the position of the third link 1c with respect to the second link 1b, the position of the fourth link 1d with respect to the third link 1c, By sequentially controlling the position of the link on the distal end side, the position of the hand tip is controlled, and the work gripped by the tip tool mechanism 5 at this hand tip can be conveyed to a predetermined position.

そして、このロボット装置においては、以下に示す本発明に係るロボット装置の制御方法が実行されることにより、カメラ6のレンズの光軸に対して対象物101の計測面が垂直となるように、マニピュレータ1が自動制御される。なお、この実施の形態においては、対象物101が円形の部品であるものとして説明する。   In this robot apparatus, the control method of the robot apparatus according to the present invention described below is executed so that the measurement surface of the object 101 is perpendicular to the optical axis of the lens of the camera 6. The manipulator 1 is automatically controlled. In this embodiment, description will be made assuming that the object 101 is a circular component.

図2は、本発明に係るロボット装置の制御方法の事前準備(a)及び制御動作(b)を示すフローチャートである。   FIG. 2 is a flowchart showing advance preparation (a) and control operation (b) of the control method of the robot apparatus according to the present invention.

マニピュレータ1の自動制御を行うための事前準備として、図2中の(a)に示すように、S1において事前準備を開始すると、S2において、制御対象となるロボット装置のマニピュレータ1に固有のパラメータを算出し、コンピュータ3の記憶装置にテーブルとして記憶しておく。   As a preliminary preparation for performing automatic control of the manipulator 1, as shown in FIG. 2A, when the preliminary preparation is started in S1, parameters unique to the manipulator 1 of the robot apparatus to be controlled are set in S2. Calculated and stored as a table in the storage device of the computer 3.

すなわち、カメラ6の撮像素子の縦横の有効素子数(Xpx,Ypx)(解像度(ピクセル単位))、有効画素の縦横の大きさ(Xln,Yln)(物理長さ)に基づき、撮像素子におけるピクセルと物理量長さとの変換係数を、以下のように算定しておく。
(Kxln,Kyln)=(Xln/Xpx,Yln/Ypx)
That is, the pixels in the image sensor are based on the number of effective elements (Xpx, Ypx) (resolution (pixel units)) in the vertical and horizontal directions of the image sensor of the camera 6 and the vertical and horizontal sizes (Xln, Yln) (physical length) of the effective pixels. The conversion coefficient between the physical quantity length and the physical quantity length is calculated as follows.
(Kxln, Kyln) = (Xln / Xpx, Yln / Ypx)

図4は、カメラ6をピンホールカメラに模して表現した構成を示す斜視図である。   FIG. 4 is a perspective view illustrating a configuration in which the camera 6 is represented as a pinhole camera.

また、図4に示すように、カメラ6の撮像レンズ6aから撮像素子6bまでの距離Dpl(物理長さ)と、撮像レンズ6aから対象物101までの距離Lとに基づき、撮像画像における長さPSと実際の物理長さRSとの関係を算定しておく。なお、撮像レンズ6aから撮像素子6bまでの距離Dplと、撮像レンズ6aから対象物101までの距離Lとの関係は、撮像レンズ6aの焦点距離に基づいて算出することができる。したがって、撮像レンズ6aから撮像素子6bまでの距離Dplと撮像レンズ6aの焦点距離とに基づいて、撮像画像における長さPSと実際の物理長さRSとの関係を算定することができる。   Further, as shown in FIG. 4, the length in the captured image is based on the distance Dpl (physical length) from the imaging lens 6a of the camera 6 to the imaging element 6b and the distance L from the imaging lens 6a to the object 101. The relationship between PS and actual physical length RS is calculated in advance. Note that the relationship between the distance Dpl from the imaging lens 6a to the imaging element 6b and the distance L from the imaging lens 6a to the object 101 can be calculated based on the focal length of the imaging lens 6a. Therefore, the relationship between the length PS in the captured image and the actual physical length RS can be calculated based on the distance Dpl from the imaging lens 6a to the imaging element 6b and the focal length of the imaging lens 6a.

さらに、ロボット装置に固有のパラメータとしては、手先座標系からカメラ座標系への変換行列Tも算定しておく。   Furthermore, as a parameter unique to the robot apparatus, a conversion matrix T from the hand coordinate system to the camera coordinate system is also calculated.

次に、S3において、対象物101に固有のパラメータを算出し、コンピュータ3の画像特徴データテーブル3aに記憶しておく。   Next, in S3, parameters unique to the object 101 are calculated and stored in the image feature data table 3a of the computer 3.

すなわち、目標とする対象物101の画像特徴量として、カメラ6により対象物101を撮像したときの対象物101の形状の特徴量を記憶しておく。具体的には、対象物101の画像上の目標位置(Px,Py)(中心位置や重心位置など)をピクセル単位で記憶し、また、方向を示す姿勢θ(degree、あるいは、rad単位)、距離の判定に用いる大きさPS(ピクセル単位)などをテーブルとして記憶しておく。例えば、撮像された対象物101の形状が楕円である場合には、画像上の楕円の中心位置(Px、Py)、PS(長径、または、短径)、θ(長径の向き角度)などを記憶しておく。   That is, the feature amount of the shape of the target object 101 when the target object 101 is imaged by the camera 6 is stored as the target image feature amount of the target object 101. Specifically, the target position (Px, Py) (center position, center of gravity position, etc.) on the image of the object 101 is stored in units of pixels, and the orientation θ indicating the direction (degree or unit of rad), A size PS (pixel unit) used for distance determination is stored as a table. For example, when the shape of the captured object 101 is an ellipse, the center position (Px, Py), PS (major axis or minor axis), θ (major axis orientation angle), etc. on the image are set. Remember.

対象物101は、画像上において円に近似させ、例えば、円で覆い、その中心位置と半径とを求める。なお、対象物101の面積(上面の面積)を算出して記憶しておいてもよい。   The object 101 is approximated to a circle on the image, for example, covered with a circle, and the center position and the radius are obtained. Note that the area of the object 101 (the area of the upper surface) may be calculated and stored.

そして、S4において事前準備を終了する。事前準備が終了していれば、図2中の(b)に示すように、制御動作を実行することができる。すなわち、S5において制御動作を開始すると、S6においてセンタリングを実行する。   In S4, the preliminary preparation is finished. If the advance preparation has been completed, the control operation can be executed as shown in FIG. That is, when the control operation is started in S5, centering is executed in S6.

図3は、本発明に係るロボット装置の制御方法を実行している状態における各段階に応じた撮像画像を示す正面図である。   FIG. 3 is a front view showing a captured image corresponding to each stage in a state in which the robot apparatus control method according to the present invention is being executed.

センタリングは、図3中のフェーズ1に示すように、対象物101の画像が、カメラ6により撮像された画像の中心にくるように、マニピュレータ1を動作させる制御である。   Centering is control for operating the manipulator 1 so that the image of the object 101 is at the center of the image captured by the camera 6, as shown in phase 1 in FIG.

図5は、対象物101のセンタリングを行っている状態における撮像画像を示す正面図である。   FIG. 5 is a front view showing a captured image in a state where the object 101 is centered.

このセンタリングについては、図5に示すように、カメラ6により撮像された画像の中心位置をC0(X0,Y0)とし、この画像上における対象物101の初期位置をC1(Px1,Py1)として説明する。   As shown in FIG. 5, this centering is described with the center position of the image captured by the camera 6 being C0 (X0, Y0) and the initial position of the object 101 on this image being C1 (Px1, Py1). To do.

図6は、センタリング動作の手順を示すフローチャートである。   FIG. 6 is a flowchart showing the procedure of the centering operation.

このセンタリングは、以下の手順により行う。すなわち、図6に示すように、S11でセンタリングを開始すると、S12において、カメラ6により撮像された画像の中心位置をC0、画像上における対象物101の初期位置C1を取得したうえで、S13に進む。S13において、第4の関節2dを選択し、S14において、適当な値qt4だけ駆動させる。駆動量は、任意の角度及び向きでよいが、例えば、3deg乃至5deg程度とすることが好ましい。   This centering is performed according to the following procedure. That is, as shown in FIG. 6, when centering is started in S11, the center position of the image captured by the camera 6 is acquired in S12, and the initial position C1 of the object 101 on the image is acquired in S12. move on. In S13, the fourth joint 2d is selected, and in S14, it is driven by an appropriate value qt4. The driving amount may be any angle and direction, but is preferably about 3 deg to 5 deg, for example.

このとき、図5に示すように、カメラ6により再度撮像を行い、このときに取得された画像における対象物101の位置をC2(Px2,Py2)とし、図6中のS14に示すように、位置C2を取得して記憶する。   At this time, as shown in FIG. 5, the image is taken again by the camera 6, and the position of the object 101 in the image acquired at this time is C2 (Px2, Py2), and as shown in S14 in FIG. The position C2 is acquired and stored.

そして、S15に進み、図5に示すように、画像上における対象物101の位置C0と位置C2の距離d、位置C1と位置C2の距離d12を求める。これらは、それぞれの点の位置(画像上における座標)がわかっているので、以下の式により求めることができる。
d=√{(X0−Px2)+(Y0−Py2)
d12=√{(Px1−Px2)+(Py1−Py2)
Then, the process proceeds to S15, and as shown in FIG. 5, the distance d between the position C0 and the position C2 of the object 101 and the distance d12 between the position C1 and the position C2 on the image are obtained. Since the positions (coordinates on the image) of each point are known, these can be obtained by the following equations.
d = √ {(X0−Px2) 2 + (Y0−Py2) 2 }
d12 = √ {(Px1−Px2) 2 + (Py1−Py2) 2 }

次に、図6のS16に進み、直線C0〜C1の傾きk1と、直線C0〜C2の傾きk2と、直線C1〜C2の傾きk12とを求める。これらも、それぞれの点の位置(画像上における座標)がわかっているので、以下の式により求めることができる。
k1=(Py1−Py0)/(Px1−Px0)
k2=(Py2−Py0)/(Px2−Px0)
k12=(Py1−Py2)/(Px1−Px2)
Next, the process proceeds to S16 in FIG. 6 to determine the slope k1 of the straight lines C0 to C1, the slope k2 of the straight lines C0 to C2, and the slope k12 of the straight lines C1 to C2. Since these also know the position (coordinate on the image) of each point, they can be obtained by the following equations.
k1 = (Py1-Py0) / (Px1-Px0)
k2 = (Py2-Py0) / (Px2-Px0)
k12 = (Py1-Py2) / (Px1-Px2)

ここで、図5に示すように、直線C1〜C2に垂直で位置C0を通る直線と、直線C1〜C2との交点を点Aとする。図6のS17に進み、点Aと位置C0との距離d0Aを求める。これは、直線C1〜C2と点C0の距離であるので、以下の式により求めることができる。
d0A=|k12・X0−Y0+Py1−k12・Px1|/√(k12+1)
Here, as shown in FIG. 5, a point A is an intersection of a straight line that passes through the position C0 and is perpendicular to the straight lines C1 to C2 and the straight lines C1 to C2. Proceeding to S17 in FIG. 6, the distance d0A between the point A and the position C0 is obtained. Since this is the distance between the straight lines C1 and C2 and the point C0, it can be obtained by the following equation.
d0A = | k12 · X0−Y0 + Py1−k12 · Px1 | / √ (k12 2 +1)

次に、S18に進み、位置C1から点Aまでの距離d2Aを求める。この距離d2Aは、直角三角形C0−A−C2の辺の長さの関係より、以下のようして求められる。
d2A=√(d12−d0A
Next, proceeding to S18, a distance d2A from the position C1 to the point A is obtained. This distance d2A is obtained as follows from the relationship of the lengths of the sides of the right triangle C0-A-C2.
d2A = √ (d12 2 −d0A 2 )

S19に進み、第4の関節2dを所定値q4回転させる。この所定値q4の大きさは、以下の式により得る。
q4=d2A・q4t/d12
Proceeding to S19, the fourth joint 2d is rotated by a predetermined value q4. The magnitude of the predetermined value q4 is obtained by the following equation.
q4 = d2A · q4t / d12

すなわち、第4の関節2dをq4t回転させて画像上の位置がd12動いたので、d2Aだけ動かすための回転角度q4はいくらかを求める。   That is, the fourth joint 2d is rotated q4t to move the position on the image by d12, and therefore, what is the rotation angle q4 for moving by d2A is obtained.

所定値q4の符号は、以下のルールにより決める。すなわち、(−1/k12−k1)と(k2−k1)とが同符号ならば、q4tと同じ方向とし、(−1/k12−k1)と(k2−k1)とが異符号ならば、q4tと逆の方向とする。   The sign of the predetermined value q4 is determined according to the following rules. That is, if (−1 / k12−k1) and (k2−k1) have the same sign, the direction is the same as q4t, and if (−1 / k12−k1) and (k2−k1) have different signs, The direction is opposite to q4t.

次に、S20に進み、第5の関節2eについて、S12からS19までと同様の制御を行う。そして、カメラ6により撮像される画像における中心位置C0と、対象物101の位置(Px,Py)との差が一定以下の距離になれば、S21に進み、センタリング動作を終了する。画像の中心位置C0と対象物101の位置(Px,Py)との差が一定以下になっていない場合には、S12からS20までの動作を再び行う。   Next, it progresses to S20 and the same control as S12 to S19 is performed about the 5th joint 2e. If the difference between the center position C0 in the image captured by the camera 6 and the position (Px, Py) of the target object 101 is a certain distance or less, the process proceeds to S21 and the centering operation is terminated. If the difference between the center position C0 of the image and the position (Px, Py) of the object 101 is not below a certain level, the operations from S12 to S20 are performed again.

前述のようにしてセンタリングが終了した場合には、次に、図2中の(b)においてS7に進み、カメラ6を対象物101に接近させる動作を行う。   When the centering is completed as described above, next, the process proceeds to S7 in (b) in FIG. 2, and the operation of bringing the camera 6 close to the object 101 is performed.

センタリングの終了により、図3中のフェーズ2に示すように、カメラ6のレンズの光軸方向に手先を移動させても、取得される画像上における対象物101の位置は、画像の中心位置に停止したままとなる。この状態で、カメラ6のレンズの光軸方向に、手先を移動させて対象物101に接近させる。   3, even if the hand is moved in the optical axis direction of the lens of the camera 6 as shown in phase 2 in FIG. 3, the position of the object 101 on the acquired image remains at the center position of the image. Stay stopped. In this state, the hand is moved toward the object 101 in the optical axis direction of the lens of the camera 6.

手先をカメラ6のレンズの光軸方向に移動させるためには、マニピュレータ1とカメラ6のレンズの光軸との位置関係が既知である必要がある。図1に示すように、光軸座標系はTc、手先座標系はT6であり、これを変換する行列Tを事前に求めておけば、T・T6=Tcにより、光軸座標系Tcを求めることができ、カメラ6のレンズの光軸方向(zc軸方向)に手先を移動させればよい。   In order to move the hand in the optical axis direction of the lens of the camera 6, the positional relationship between the manipulator 1 and the optical axis of the lens of the camera 6 needs to be known. As shown in FIG. 1, the optical axis coordinate system is Tc and the hand coordinate system is T6. If a matrix T for converting this is obtained in advance, the optical axis coordinate system Tc is obtained by T · T6 = Tc. It is only necessary to move the hand in the optical axis direction (zc axis direction) of the lens of the camera 6.

zc軸方向ヘの移動量Lは、図4に示した撮像画像における長さPSと実際の物理長さRSとの関係により、以下のように求めることができる。
L=Dpl/(Kxpl・PS/cos(θ1))・RS
The amount of movement L in the zc-axis direction can be obtained as follows based on the relationship between the length PS and the actual physical length RS in the captured image shown in FIG.
L = Dpl / (Kxpl · PS / cos (θ1)) · RS

ただし、これは、KxplとKyplとが等しい値である場合である。KxplとKyplとが同じ値でない場合には、PSのx軸成分とy軸成分を取り出し、これらをPSxとPSyとして、以下のようにして求める。
L=Dpl/〔√{(Kxpl・PSx)+(Kypl・PSy)}/cos(θ1)〕・RS
However, this is a case where Kxpl and Kypl are equal values. If Kxpl and Kypl are not the same value, the x-axis component and y-axis component of PS are taken out and obtained as PSx and PSy as follows.
L = Dpl / [√ {(Kxpl · PSx) 2 + (Kypl · PSy) 2 } / cos (θ1)] · RS

なお、θ1は、鉛直軸に対して手先軸z6がどの程度傾いているかを示す角度であり、以下の式により得られる。
θ1=acos((z6×zc)/(|z6|・|zc|))
Θ1 is an angle indicating how much the hand axis z6 is inclined with respect to the vertical axis, and is obtained by the following equation.
θ1 = acos ((z6 × zc) / (| z6 | · | zc |))

ここで、(z6×zc)は、2つのベクトルz6とzcとの内積であり、|z6|、|zc|は、ベクトルz6,zcのノルム(長さ)である。acos(a)は、cos(θ)=aなるθであり、ただし、〔0≦θ≦180deg〕である。     Here, (z6 × zc) is an inner product of two vectors z6 and zc, and | z6 | and | zc | are norms (lengths) of vectors z6 and zc. acos (a) is θ such that cos (θ) = a, where [0 ≦ θ ≦ 180 deg].

これは、斜めから対象物101を見ることにより、見かけ上の大きさが小さく見えることを補正する操作である。なお、対象物101の形状が円であったり、または、円近似している場合には、最も長い径を求めれば、斜めから見ることによる影響を減らすことができるので、このようなcos(θ1)による補正を行う必要はない。   This is an operation for correcting that the apparent size looks small by looking at the object 101 from an oblique direction. If the shape of the object 101 is a circle or approximates a circle, if the longest diameter is obtained, the influence of viewing from an oblique direction can be reduced, so that cos (θ1 ) Correction is not necessary.

このようにして求められた距離Lに基づいて、カメラ6及び手先を、カメラ6のレンズの光軸zc方向に、対象物101に向けて移動させる。   Based on the distance L thus determined, the camera 6 and the hand are moved toward the object 101 in the direction of the optical axis zc of the lens of the camera 6.

次に、図2中の(b)においてS8に進み、姿勢合わせを行う。この姿勢合わせは、図3中のフェーズ3に示すように、カメラ6のレンズの光軸を対象物101の計測面(上面)に垂直となるように手先の姿勢を制御する動作である。   Next, in (b) of FIG. 2, it progresses to S8 and performs posture alignment. This posture adjustment is an operation for controlling the posture of the hand so that the optical axis of the lens of the camera 6 is perpendicular to the measurement surface (upper surface) of the object 101, as shown in Phase 3 in FIG.

例えば、計測面が床面と平行で、マニピュレータ1も計測面に平行な面上に置かれている場合において、手先軸z6とカメラのレンズの光軸zcとが平行である場合には、手先軸z6が床面に垂直となるように、すなわち、カメラ6が真下を向くように、マニピュレータ1の手先の姿勢を制御する。   For example, when the measurement surface is parallel to the floor surface and the manipulator 1 is also placed on a surface parallel to the measurement surface, the hand tip z6 and the optical axis zc of the camera lens are parallel. The posture of the hand of the manipulator 1 is controlled so that the axis z6 is perpendicular to the floor surface, that is, the camera 6 faces directly below.

そして、図2中の(b)においてS9に進み、2次元位置制御及び位相合わせを行う。   Then, in (b) of FIG. 2, the process proceeds to S9 to perform two-dimensional position control and phase alignment.

図7は、2次元位置制御及び位相合わせの手順を示すフローチャートである。   FIG. 7 is a flowchart showing a procedure for two-dimensional position control and phase alignment.

前述のように、姿勢合わせを行ったことにより、図3中のフェーズ4に示すように、対象物101の画像は、カメラ6により取得される画像の中心からずれている。しかし、計測面に対して、カメラ6のレンズの光軸は垂直になっている。したがって、この状態では、2次元画像フィードバックにより、位置及び位相を補正できる。ここで、位相とは、カメラ6の視野内における対象物101の画像の方向のことであり、マニピュレータの手先をカメラ6のレンズの光軸回りに回転させることによって補正される。   As described above, as a result of the alignment, the image of the target object 101 is deviated from the center of the image acquired by the camera 6 as shown in phase 4 in FIG. However, the optical axis of the lens of the camera 6 is perpendicular to the measurement surface. Therefore, in this state, the position and phase can be corrected by two-dimensional image feedback. Here, the phase is the direction of the image of the object 101 in the field of view of the camera 6 and is corrected by rotating the hand of the manipulator around the optical axis of the lens of the camera 6.

すなわち、図7のS22において、2次元位置制御及び位相合わせ制御を開始すると、S23に進み、画像上の対象物101の大きさPSと、画像処理により求めた大きさPS1とを比較する。画像処理により求めた大きさPS1のほうが小さければ、手先が対象物101に近づきすぎなので、対象物101から遠ざかる方向に手先を動作させ、PS1のほうが大きければ、手先が対象物101から遠すぎるので、対象物101に近づく方向に手先を動作させる。   That is, when two-dimensional position control and phase matching control are started in S22 of FIG. 7, the process proceeds to S23, and the size PS of the object 101 on the image is compared with the size PS1 obtained by image processing. If the size PS1 obtained by image processing is smaller, the hand is too close to the object 101. Therefore, the hand is moved in a direction away from the object 101. If PS1 is larger, the hand is too far from the object 101. The hand is moved in a direction approaching the object 101.

S24では、大きさPSと大きさPS1との偏差が所定の値以下となっているかを判別し、所定の値以下となっていなければ、S23に戻り、手先の移動操作を繰り返す。大きさPSと大きさPS1との偏差が所定の値以下となっていれば、S25に進む。   In S24, it is determined whether or not the deviation between the magnitude PS and the magnitude PS1 is equal to or smaller than a predetermined value. If the deviation is not smaller than the predetermined value, the process returns to S23 to repeat the hand movement operation. If the deviation between the magnitude PS and the magnitude PS1 is less than or equal to a predetermined value, the process proceeds to S25.

S25では、画像処理により対象物101の位置(Px,Py)を求め、以下の式により、手先の移動量を決定する。
〔カメラのx軸方向の手先移動量〕=Kxpl・(Px−X0)
〔カメラのy軸方向の手先移動量〕=Kypl・(Py−Y0)
In S25, the position (Px, Py) of the object 101 is obtained by image processing, and the movement amount of the hand is determined by the following equation.
[Hand movement amount of camera in x-axis direction] = Kxpl · (Px−X0)
[Amount of movement of the hand in the y-axis direction of the camera] = Kypl · (Py−Y0)

なお、実際の移動方向は、画像上における軸の向きと、手先の方向との関係から求める。そして、S26に進み、中心位置の偏差(Px−X0,Py−Y0)が所定の値以下になっているかを判別し、所定の値以下となっていなければ、S25に戻り、手先の移動操作を繰り返す。中心位置の偏差(Px−X0,Py−Y0)が所定の値以下となっていれば、S27に進む。   The actual movement direction is obtained from the relationship between the direction of the axis on the image and the direction of the hand. Then, the process proceeds to S26, where it is determined whether the deviation (Px-X0, Py-Y0) of the center position is equal to or smaller than a predetermined value. If not, the process returns to S25 to move the hand. repeat. If the deviation (Px−X0, Py−Y0) of the center position is not more than a predetermined value, the process proceeds to S27.

S27では、対象物101の位相θ1が目的の角度θとなるように、θ−θ1だけ第6の関節2fを回転操作する。そして、S28に進み、2次元位置制御及び位相合わせ制御が完了する。すなわち、図2中の(b)においてS10に進み、制御動作が完了する。   In S27, the sixth joint 2f is rotated by θ−θ1 so that the phase θ1 of the object 101 becomes the target angle θ. Then, the process proceeds to S28, and the two-dimensional position control and the phase matching control are completed. That is, in (b) of FIG. 2, the process proceeds to S10 and the control operation is completed.

ところで、前述の実施の形態においては、対象物101の形状を円形として説明している。しかし、対象物101の形状は、円形に限定されるわけではなく、対象物101の表面上に何らかの円形の特徴部分があり、画像処理により円形の部分が抽出できればよいのであり、例えば、外形は多角形だが、その中に円形の孔が空いているなどの形状でもよい。   By the way, in above-mentioned embodiment, the shape of the target object 101 is demonstrated as circular. However, the shape of the target object 101 is not limited to a circular shape. It is only necessary that there are some circular feature portions on the surface of the target object 101 and the circular portion can be extracted by image processing. Although it is a polygon, it may have a shape such as a circular hole in it.

本発明に係るロボット装置の構成を示す模式的な側面図である。It is a typical side view which shows the structure of the robot apparatus which concerns on this invention. 本発明に係るロボット装置の制御方法の事前準備(a)及び制御動作(b)を示すフローチャートである。It is a flowchart which shows the advance preparation (a) and control action (b) of the control method of the robot apparatus based on this invention. 本発明に係るロボット装置の制御方法を実行している状態における各段階に応じた撮像画像を示す正面図である。It is a front view which shows the captured image according to each step in the state which is performing the control method of the robot apparatus which concerns on this invention. 本発明に係るロボット装置におけるカメラをピンホールカメラに模して表現した構成を示す斜視図である。It is a perspective view which shows the structure which represented the camera in the robot apparatus which concerns on this invention imitating a pinhole camera. 本発明に係るロボット装置の制御方法においてセンタリングを行っている状態における撮像画像を示す正面図である。It is a front view which shows the captured image in the state which is performing centering in the control method of the robot apparatus which concerns on this invention. 本発明に係るロボット装置の制御方法におけるセンタリング動作の手順を示すフローチャートである。It is a flowchart which shows the procedure of the centering operation | movement in the control method of the robot apparatus which concerns on this invention. 本発明に係るロボット装置の制御方法における2次元位置制御及び位相合わせの手順を示すフローチャートである。It is a flowchart which shows the procedure of the two-dimensional position control and phase alignment in the control method of the robot apparatus which concerns on this invention.

符号の説明Explanation of symbols

1 マニピュレータ
1a 第1のリンク
1b 第2のリンク
1c 第3のリンク
1d 第4のリンク
1e 第5のリンク
1f 第6のリンク
2a 第1の関節
2b 第2の関節
2c 第3の関節
2d 第4の関節
2e 第5の関節
2f 第6の関節
3 コンピュータ
5 先端ツール機構
6 カメラ
101 対象物
DESCRIPTION OF SYMBOLS 1 Manipulator 1a 1st link 1b 2nd link 1c 3rd link 1d 4th link 1e 5th link 1f 6th link 2a 1st joint 2b 2nd joint 2c 3rd joint 2d 4th Joint 2e 5th joint 2f 6th joint 3 computer 5 tip tool mechanism 6 camera 101 object

Claims (8)

6自由度以上のマニピュレータを有し、マニピュレータの手先位置に撮像手段を有するロボット装置を制御するロボット装置の制御方法であって、
前記撮像手段によって得られる対象物の画像と前記対象物の形状についての事前に記憶された情報とを照合して、前記マニピュレータの手先の方向を旋回させたときの前記対象物の画像の前記撮像手段における移動量に基づいて、前記対象物の画像が前記撮像手段の視野の中心に位置するように、前記マニピュレータの手先の方向を制御し、
次に、前記撮像手段によって得られる対象物の画像と前記対象物の形状についての事前に記憶された情報とを照合して、前記撮像手段によって得られた対象物の画像の大きさに基づいて、前記マニピュレータの手先と前記対象物との間の距離を算出して、前記マニピュレータの手先を前記撮像手段のレンズの光軸方向に移動させ、該手先を前記対象物に接近させ
次に、前記撮像手段によって得られる対象物の画像と前記対象物の形状についての事前に記憶された情報とを照合して、前記マニピュレータの手先の方向を、前記対象物の計測面に垂直な方向とし、
次に、前記撮像手段の視野内における前記対象物の画像が所定の方向となるように、前記マニピュレータの手先を回転制御す
ことを特徴とするロボット装置の制御方法。
A robot apparatus control method for controlling a robot apparatus having a manipulator having six degrees of freedom or more and having an imaging means at a hand position of the manipulator,
The imaging of the object when the image of the object obtained by the imaging means and information stored in advance on the shape of the object are collated and the hand of the manipulator is turned. Based on the amount of movement in the means, control the direction of the hand of the manipulator so that the image of the object is located at the center of the field of view of the imaging means,
Next, based on the size of the image of the object obtained by the imaging means by comparing the image of the object obtained by the imaging means with information stored in advance about the shape of the object , Calculating the distance between the hand of the manipulator and the object, moving the hand of the manipulator in the optical axis direction of the lens of the imaging means, and bringing the hand closer to the object ;
Next, the image of the object obtained by the imaging unit is compared with information stored in advance about the shape of the object, and the direction of the hand of the manipulator is perpendicular to the measurement surface of the object. Direction,
Next, as an image of the object within the field of view of the imaging means is a predetermined direction, the control method for a robot apparatus, characterized in that you rotate controlling hand of the manipulator.
前記対象物は、円形、または、円形に近似された形状の特徴量を有し、上面が計測面となっている
ことを特徴とする請求項1記載のロボット装置の制御方法。
The method for controlling a robot apparatus according to claim 1, wherein the object has a feature amount of a circle or a shape approximated to a circle, and the upper surface is a measurement surface.
前記対象物は、円形以外の任意の形状を有しており、円形、または、円形に近似された形状の特徴量を有する計測面を有している
ことを特徴とする請求項1記載のロボット装置の制御方法。
The robot according to claim 1, wherein the object has an arbitrary shape other than a circle, and has a measurement surface having a feature quantity of a circle or a shape approximated to a circle. Control method of the device.
前記マニピュレータの手先の方向を制御して、前記対象物の画像を前記撮像手段の視野の中心に位置させることは、  Controlling the direction of the hand of the manipulator to position the image of the object at the center of the field of view of the imaging means;
前記撮像手段によって得られた画像上での前記視野の中心C0及び前記画像上での前記対象物の初期中心位置C1を取得し、選択した動作軸を回転させて前記画像上での前記対象物の中心位置C2を取得し、直線C0−C1間及び直線C1−C2間の距離及び傾きを求め、次に、直線C1−C2に垂直で視野中心C0を通る直線と、直線C1−C2との交点Aを定め、直線C0−A及び直線C2−A間の距離を求めることにより、前記マニピュレータの関節の前記選択した動作軸回りの回転量を定め、  The center C0 of the field of view on the image obtained by the imaging means and the initial center position C1 of the object on the image are acquired, and the object on the image is rotated by rotating the selected operation axis. The center position C2 is obtained, and the distance and inclination between the straight lines C0-C1 and the straight lines C1-C2 are obtained. Next, a straight line passing through the visual field center C0 perpendicular to the straight line C1-C2 and the straight line C1-C2 By determining the intersection point A and determining the distance between the straight line C0-A and the straight line C2-A, the rotation amount of the joint of the manipulator around the selected operation axis is determined,
次に、前記選択した動作軸に直行する動作軸を回転させて前記画像上での前記対象物の中心位置C2を取得し、直線C0−C1間及び直線C1−C2間の距離及び傾きを求め、次に、直線C1−C2に垂直で視野中心C0を通る直線と、直線C1−C2との交点Aを定め、直線C0−A及び直線C2−A間の距離を求めることにより、前記マニピュレータの当該動作軸回りの回転量を定め、  Next, the operation axis orthogonal to the selected operation axis is rotated to obtain the center position C2 of the object on the image, and the distance and inclination between the straight lines C0-C1 and between the straight lines C1-C2 are obtained. Next, an intersection A between the straight line C1-C2 and a straight line that is perpendicular to the straight line C1-C2 and passing through the visual field center C0 is determined, and the distance between the straight line C0-A and the straight line C2-A is obtained. Determine the amount of rotation around the motion axis,
定められた前記各回転量に基づいて前記マニピュレータを制御し、前記対象物の画像を前記撮像手段の視野の中心とする  The manipulator is controlled based on the determined rotation amounts, and the image of the object is set as the center of the field of view of the imaging means.
ことを特徴とする請求項1記載のロボット装置の制御方法。  The method for controlling a robot apparatus according to claim 1.
6自由度以上のマニピュレータを有し、マニピュレータの手先位置に撮像手段を有するロボット装置であって、
前記マニピュレータの動作を制御する制御手段を備え、
前記制御手段は、前記撮像手段によって得られる対象物の画像と前記対象物の形状についての事前に記憶された情報とを照合して、前記マニピュレータの手先の方向を旋回させたときの前記対象物の画像の前記撮像手段における移動量に基づいて、前記対象物の画像が前記撮像手段の視野の中心に位置するように、前記マニピュレータの手先の方向を制御し、次に、前記撮像手段によって得られる対象物の画像と前記対象物の形状についての事前に記憶された情報とを照合して、前記撮像手段によって得られた対象物の画像の大きさに基づいて、前記マニピュレータの手先と前記対象物との間の距離を算出して、前記マニピュレータの手先を前記撮像手段のレンズの光軸方向に移動させ、該手先を前記対象物に接近させ、次に、前記撮像手段によって得られる対象物の画像と前記対象物の形状についての事前に記憶された情報とを照合して、前記マニピュレータの手先の方向を、前記対象物の計測面に垂直な方向とし、次に、前記撮像手段の視野内における前記対象物の画像が所定の方向となるように、前記マニピュレータの手先を回転制御す
ことを特徴とするロボット装置。
A robot apparatus having a manipulator having 6 degrees of freedom or more and having an imaging means at a hand position of the manipulator,
Control means for controlling the operation of the manipulator,
The control unit compares the image of the object obtained by the imaging unit with information stored in advance about the shape of the object, and rotates the direction of the hand of the manipulator. The direction of the hand of the manipulator is controlled so that the image of the object is positioned at the center of the field of view of the imaging means based on the amount of movement of the image of the imaging means in the imaging means, and then obtained by the imaging means. The manipulator hand and the object based on the size of the image of the object obtained by the imaging means by comparing the image of the object to be obtained and information stored in advance about the shape of the object and calculates the distance between the object, the hand of the manipulator is moved in the optical axis direction of the lens of the imaging unit, to approximate該手destination on the object, then the image pickup means The image of the object thus obtained is compared with information stored in advance about the shape of the object, and the direction of the hand of the manipulator is set to a direction perpendicular to the measurement surface of the object, as the image of the object within the field of view of the imaging means is a predetermined direction, the robot apparatus characterized by you rotate controlling hand of the manipulator.
前記対象物は、円形、または、円形に近似された形状の特徴量を有し、上面が計測面となっている
ことを特徴とする請求項記載のロボット装置。
The robot apparatus according to claim 5 , wherein the object has a feature amount of a circle or a shape approximated to a circle, and the upper surface is a measurement surface.
前記対象物は、円形以外の任意の形状を有しており、円形、または、円形に近似された形状の特徴量を有する計測面を有している
ことを特徴とする請求項記載のロボット装置。
The robot according to claim 5 , wherein the object has an arbitrary shape other than a circle, and has a measurement surface having a feature amount of a circle or a shape approximated to a circle. apparatus.
前記制御手段は、前記マニピュレータの手先の方向を制御して、前記対象物の画像を前記撮像手段の視野の中心に位置させることは、  The control means controls the direction of the hand of the manipulator to position the image of the object at the center of the field of view of the imaging means.
前記撮像手段によって得られた画像上での前記視野の中心C0及び前記画像上での前記対象物の初期中心位置C1を取得し、選択した動作軸を回転させて前記画像上での前記対象物の中心位置C2を取得し、直線C0−C1間及び直線C1−C2間の距離及び傾きを求め、次に、直線C1−C2に垂直で視野中心C0を通る直線と、直線C1−C2との交点Aを定め、直線C0−A及び直線C2−A間の距離を求めることにより、前記マニピュレータの関節の前記選択した動作軸回りの回転量を定め、  The center C0 of the field of view on the image obtained by the imaging means and the initial center position C1 of the object on the image are acquired, and the object on the image is rotated by rotating the selected operation axis. The center position C2 is obtained, and the distance and inclination between the straight lines C0-C1 and the straight lines C1-C2 are obtained. Next, a straight line perpendicular to the straight line C1-C2 and passing through the visual field center C0 is obtained. By determining the intersection point A and determining the distance between the straight line C0-A and the straight line C2-A, the rotation amount of the joint of the manipulator around the selected operation axis is determined,
次に、前記選択した動作軸に直行する動作軸を回転させて前記画像上での前記対象物の中心位置C2を取得し、直線C0−C1間及び直線C1−C2間の距離及び傾きを求め、次に、直線C1−C2に垂直で視野中心C0を通る直線と、直線C1−C2との交点Aを定め、直線C0−A及び直線C2−A間の距離を求めることにより、前記マニピュレータの当該動作軸回りの回転量を定め、  Next, the operation axis orthogonal to the selected operation axis is rotated to obtain the center position C2 of the object on the image, and the distance and inclination between the straight lines C0-C1 and between the straight lines C1-C2 are obtained. Next, an intersection A between the straight line C1-C2 and a straight line that is perpendicular to the straight line C1-C2 and passing through the visual field center C0 is determined, and the distance between the straight line C0-A and the straight line C2-A is obtained. Determine the amount of rotation around the motion axis,
定められた前記各回転量に基づいて前記マニピュレータを制御し、前記対象物の画像を前記撮像手段の視野の中心とする  The manipulator is controlled based on the determined rotation amounts, and the image of the object is set as the center of the field of view of the imaging means.
ことを特徴とする請求項5記載のロボット装置。  The robot apparatus according to claim 5.
JP2008215926A 2007-08-23 2008-08-25 Robot apparatus control method and robot apparatus Active JP5292998B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200710146651.1 2007-08-23
CNA2007101466511A CN101372098A (en) 2007-08-23 2007-08-23 Robot device and control method thereof

Publications (2)

Publication Number Publication Date
JP2009051003A JP2009051003A (en) 2009-03-12
JP5292998B2 true JP5292998B2 (en) 2013-09-18

Family

ID=40446571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008215926A Active JP5292998B2 (en) 2007-08-23 2008-08-25 Robot apparatus control method and robot apparatus

Country Status (2)

Country Link
JP (1) JP5292998B2 (en)
CN (1) CN101372098A (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TR200909397A2 (en) 2009-12-14 2011-07-21 Vargin Gök Gökhan A robot with multiple axes.
JP2012254518A (en) * 2011-05-16 2012-12-27 Seiko Epson Corp Robot control system, robot system and program
CN102848387A (en) * 2011-06-28 2013-01-02 苏州经贸职业技术学院 Conveying manipulator system
JP5868257B2 (en) * 2012-05-10 2016-02-24 株式会社エイチアンドエフ Work position detection method and work transfer method using the same
JP2013255972A (en) * 2012-06-14 2013-12-26 Shinnichi Kogyo Co Ltd Workpiece conveying device and method for controlling the same
CN104238735A (en) * 2013-06-13 2014-12-24 原相科技股份有限公司 Device with gesture sensor
JP6188440B2 (en) * 2013-06-17 2017-08-30 キヤノン株式会社 Robot apparatus and robot control method
TWI614103B (en) * 2016-10-21 2018-02-11 和碩聯合科技股份有限公司 Mechanical arm positioning method and system adopting the same
CN109382849A (en) * 2017-08-07 2019-02-26 刘海云 Using the robot eyes of cone coordinate system vibration zoom
CN108858186B (en) * 2018-05-30 2021-05-07 南昌大学 Method for detecting, identifying and tracking infrared object by using trolley
CN109227540A (en) * 2018-09-28 2019-01-18 深圳蓝胖子机器人有限公司 A kind of robot control method, robot and computer readable storage medium
CN112793983B (en) * 2020-12-30 2022-04-19 易思维(杭州)科技有限公司 Automatic loading method suitable for clamping groove type material rack

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3208953B2 (en) * 1993-09-29 2001-09-17 株式会社デンソー Three-dimensional position and posture recognition method based on vision and three-dimensional position and posture recognition device based on vision
JP3466340B2 (en) * 1995-09-07 2003-11-10 アシスト シンコー株式会社 A 3D position and orientation calibration method for a self-contained traveling robot
JP3220706B2 (en) * 1996-02-29 2001-10-22 三井造船株式会社 Vision support device for manipulator operation
JPH1011146A (en) * 1996-06-25 1998-01-16 Shinko Electric Co Ltd Device for correcting stop posture of mobile object
JP2000263482A (en) * 1999-03-17 2000-09-26 Denso Corp Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot
JP2003211381A (en) * 2002-01-16 2003-07-29 Denso Wave Inc Robot control device
JP2003231078A (en) * 2002-02-14 2003-08-19 Denso Wave Inc Position control method for robot arm and robot device
JP2003326485A (en) * 2002-05-08 2003-11-18 Mitsubishi Heavy Ind Ltd Manipulator with sensor for capture
JP4825964B2 (en) * 2003-08-18 2011-11-30 独立行政法人 宇宙航空研究開発機構 Non-contact measuring device
CN101396830A (en) * 2007-09-29 2009-04-01 株式会社Ihi Robot control method and robot

Also Published As

Publication number Publication date
CN101372098A (en) 2009-02-25
JP2009051003A (en) 2009-03-12

Similar Documents

Publication Publication Date Title
JP5292998B2 (en) Robot apparatus control method and robot apparatus
CN107053167B (en) Control device, robot, and robot system
US9197810B2 (en) Systems and methods for tracking location of movable target object
JP6429473B2 (en) Robot system, robot system calibration method, program, and computer-readable recording medium
JP5860021B2 (en) Fastening device, robot system, and fastening method for fastening a plurality of fastening members
CN102448679B (en) Method and system for extremely precise positioning of at least one object in the end position in space
EP2783814A2 (en) Robot system and calibration method
JP3946711B2 (en) Robot system
US8306661B2 (en) Method and system for establishing no-entry zone for robot
JP5365379B2 (en) Robot system and robot system calibration method
JP5815761B2 (en) Visual sensor data creation system and detection simulation system
JP4819957B1 (en) Robot position information restoration apparatus and position information restoration method
JP5272617B2 (en) Robot apparatus and control method of robot apparatus
CN106003020A (en) Robot, robot control device, and robotic system
JP2018012184A (en) Control device, robot, and robot system
WO2018043525A1 (en) Robot system, robot system control device, and robot system control method
JP5088186B2 (en) Robot apparatus and control method of robot apparatus
JP5787646B2 (en) Robot system and component manufacturing method
JP2015174206A (en) Robot control device, robot system, robot, robot control method and robot control program
JP2015127096A (en) Robot system
JP2016182648A (en) Robot, robot control device and robot system
US10656097B2 (en) Apparatus and method for generating operation program of inspection system
KR101798883B1 (en) Position recognizing device
JP6267086B2 (en) Transmission angle calculation method, transmission angle correction device, robot control method, and robot control device
JP2016203282A (en) Robot with mechanism for changing end effector attitude

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130527

R151 Written notification of patent or utility model registration

Ref document number: 5292998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250