JP5211944B2 - Robot apparatus control method and robot apparatus - Google Patents
Robot apparatus control method and robot apparatus Download PDFInfo
- Publication number
- JP5211944B2 JP5211944B2 JP2008223791A JP2008223791A JP5211944B2 JP 5211944 B2 JP5211944 B2 JP 5211944B2 JP 2008223791 A JP2008223791 A JP 2008223791A JP 2008223791 A JP2008223791 A JP 2008223791A JP 5211944 B2 JP5211944 B2 JP 5211944B2
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- joint
- image feature
- robot apparatus
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、マニピュレータの先端にカメラを備えたロボット装置において、事前に目標状態から算出し記憶した目標特徴量とカメラにより取得した画像から得た特徴量とが一致するようにマニピュレータを動作させるロボット装置の制御方法及びロボット装置に関する。 The present invention relates to a robot apparatus having a camera at the tip of a manipulator that operates a manipulator so that a target feature value calculated and stored in advance from a target state matches a feature value obtained from an image acquired by the camera. The present invention relates to an apparatus control method and a robot apparatus.
従来、マニピュレータを備えたロボット装置が提案されており、また、このようなロボット装置のマニピュレータの動作を制御するためのロボット装置の制御方法が提案されている。そして、ロボット装置の制御方法として、マニピュレータにより把持を行う対象物を目標として、マニピュレータの手先を移動させるための制御方法が種々提案されている。 Conventionally, a robot apparatus provided with a manipulator has been proposed, and a control method of the robot apparatus for controlling the operation of the manipulator of such a robot apparatus has been proposed. As a control method of the robot apparatus, various control methods for moving the hand of the manipulator with an object to be gripped by the manipulator as a target have been proposed.
例えば、特許文献１には、対象物の基準画像を複数用意しておくとともに、マニピュレータの手先に取り付けたカメラによる画像情報を取得し、画像情報における対象物の形状に近い基準画像を検索することによって、対象物とマニピュレータの手先との位置関係を計算するようにしたロボット装置が記載されている。 For example, Patent Document 1 prepares a plurality of reference images of an object, acquires image information from a camera attached to the hand of a manipulator, and searches for a reference image close to the shape of the object in the image information. Describes a robot apparatus that calculates the positional relationship between the object and the hand of the manipulator.
また、特許文献２には、対象物の基準画像を用意しておき、マニピュレータの手先に取り付けたカメラにより画像を撮影しながら、基準画像に近い画像が得られるまで、マニピュレータを一定量移動させるようにしたロボット装置が記載されている。 In Patent Document 2, a reference image of an object is prepared, and the manipulator is moved by a certain amount until an image close to the reference image is obtained while taking an image with a camera attached to the hand of the manipulator. A robotic device is described.
さらに、特許文献３には、マニピュレータの動作中にカメラにより撮影された画像から求めた画像特徴量と、マニピュレータの各関節の動作速度との関係を示すヤコビ行列を推定し、このヤコビ行列に基づいてマニピュレータに対する指令信号を生成するようにしたロボット装置が記載されている。
Further,
ところで、特許文献１に記載のロボット装置においては、制御の精度を高めるためには、多くの基準画像を用意しておき、マニピュレータの動作のたびに全ての基準画像の検索を行なう必要があるため、計算負荷が高く、迅速な制御ができない。 By the way, in the robot apparatus described in Patent Document 1, in order to increase the accuracy of control, it is necessary to prepare a large number of reference images and search all the reference images every time the manipulator operates. The calculation load is high and quick control is not possible.
また、特許文献２に記載のロボット装置においては、２次元平面内におけるマニピュレータの位置及び姿勢合わせにしか対応できず、マニピュレータの対象物に対する位置及び姿勢を３次元空間内において制御することはできない。さらに、このロボット装置においては、撮像、計測とマニピュレータの動作とを繰り返さなければならないため、迅速な制御ができない。また、このロボット装置においては、カメラレンズの歪取りや座標系をあわせるなどのカメラキャリブレーションが必要であり、マニピュレータのリンク長の誤差や座標系のずれなどによる誤差が累積して、動作精度が劣化する虞がある。 In the robot apparatus described in Patent Document 2, only the position and orientation of the manipulator in the two-dimensional plane can be matched, and the position and orientation of the manipulator with respect to the object cannot be controlled in the three-dimensional space. Furthermore, in this robot apparatus, since imaging, measurement, and operation of the manipulator must be repeated, rapid control cannot be performed. Also, this robotic device requires camera calibration such as camera lens distortion removal and coordinate system alignment, and errors due to manipulator link length errors and coordinate system deviations accumulate, resulting in operational accuracy. There is a risk of deterioration.
そして、特許文献３に記載のロボット装置においては、ヤコビ行列の推定のために、ヤコビ行列の解析式をブロイデン法を使って解いているが、これは、非線形方程式を解いているだけなので、モデル化誤差に弱いという問題がある。
And in the robot apparatus of
そこで、本発明は、前述の実情に鑑みてなされたものであり、その目的は、ロボット装置のマニピュレータを制御するにあたり、多くの基準画像を用意する必要がなく、計算負荷が軽く、迅速な制御が可能でありながら、マニピュレータの対象物に対する位置及び姿勢を３次元空間内において制御することができるようになされたロボット装置の制御方法及びロボット装置を提供することにある。 Therefore, the present invention has been made in view of the above circumstances, and its purpose is to control a manipulator of a robot apparatus without having to prepare a large number of reference images, and to perform a quick control with a light calculation load. It is an object to provide a robot apparatus control method and a robot apparatus that can control the position and orientation of a manipulator with respect to an object in a three-dimensional space.
前述の課題を解決し、前記目的を達成するため、本発明に係るロボット装置の制御方法は、以下の構成のいずれか一を有するものである。 In order to solve the above-described problems and achieve the above object, a control method for a robot apparatus according to the present invention has any one of the following configurations.
〔構成１〕
本発明に係るロボット装置の制御方法は、６自由度以上のマニピュレータを有しマニピュレータの手先位置に撮像手段を有するロボット装置を制御するロボット装置の制御方法であって、マニピュレータのうち１つの関節を僅かに駆動させ、関節の動作速度と撮像手段により取得した対象物の画像を処理して得られるｍ個の画像特徴量の変化速度を求め、マニピュレータの各関節に対して関節の動作速度と画像特徴量の変化速度を求め、これらから行数がｍ、列数が関節の数となる行列を作成してこれをヤコビ行列の初期解と定め、画像特徴量に基づき、逐次最小二乗法を用いて、画像特徴量の変化速度とマニピュレータの各関節の動作速度との関係式であるヤコビ行列を推定し、事前に目標位置において取得された対象物の画像特徴量と対比して、マニピュレータの手先位置が目標位置に近づくように各関節の動作速度を求めてマニピュレータの指令信号とし、この指令信号に基づいてマニピュレータを動作させ手先位置を目標位置とすることを特徴とするものである。
[Configuration 1]
A control method of a robot apparatus according to the present invention is a control method of a robot apparatus that has a manipulator having six or more degrees of freedom and has an imaging means at a hand position of the manipulator, and includes a joint of one of the manipulators. The motion speed of the joint and the speed of change of the m image feature values obtained by processing the image of the object acquired by the imaging means are obtained by slightly driving, and the motion speed and image of the joint for each joint of the manipulator Determine the change rate of the feature value, create a matrix with the number of rows m and the number of columns from these, define this as the initial solution of the Jacobian matrix, and use the sequential least squares method based on the image feature value Thus, the Jacobian matrix, which is a relational expression between the change speed of the image feature value and the motion speed of each joint of the manipulator, is estimated, and is compared with the image feature value of the object acquired in advance at the target position. Then, the operation speed of each joint is obtained so that the hand position of the manipulator approaches the target position and used as a manipulator command signal, and the manipulator is operated based on the command signal to set the hand position as the target position. Is.
〔構成２〕
構成１を有するロボット装置の制御方法において、ヤコビ行列の推定において、忘却係数を固定ではなく動的に変化させることを特徴とするものである。
[Configuration 2]
In the control method of the robot apparatus having the configuration 1, the forgetting factor is dynamically changed instead of being fixed in the estimation of the Jacobian matrix.
〔構成３〕
本発明に係るロボット装置は、６自由度以上のマニピュレータと、マニピュレータの手先位置に設けられた撮像手段と、マニピュレータに対する指令信号を生成する制御手段とを備え、制御手段は、マニピュレータのうち１つの関節を僅かに駆動させ、関節の動作速度と撮像手段により取得した対象物の画像を処理して得られるｍ個の画像特徴量の変化速度を求め、マニピュレータの各関節に対して関節の動作速度と画像特徴量の変化速度を求め、これらから行数がｍ、列数が関節の数となる行列を作成してこれをヤコビ行列の初期解と定め、画像特徴量に基づき、逐次最小二乗法を用いて、画像特徴量の変化速度とマニピュレータの各関節の動作速度との関係式であるヤコビ行列を推定し、事前に目標位置において取得された対象物の画像特徴量と対比して、マニピュレータの手先位置が目標位置に近づくように各関節の動作速度を求めてマニピュレータに対する指令信号として生成し、この指令信号に基づいてマニピュレータを動作させ手先位置を目標位置とすることを特徴とするものである。
[Configuration 3 ]
A robot apparatus according to the present invention includes a manipulator having six or more degrees of freedom, an imaging unit provided at a hand position of the manipulator, and a control unit that generates a command signal for the manipulator , and the control unit includes one of the manipulators. The joint is slightly driven, the joint motion speed and the change speed of m image feature values obtained by processing the image of the object acquired by the imaging means are obtained, and the joint motion speed for each joint of the manipulator And a change rate of the image feature amount, and from these, a matrix having the number of rows m and the number of columns is the number of joints is defined as the initial solution of the Jacobian matrix. Is used to estimate the Jacobian matrix, which is the relational expression between the change rate of the image feature and the motion speed of each joint of the manipulator, and the image of the target object obtained in advance at the target position In contrast to the adjustment amount, the operation speed of each joint is obtained so that the hand position of the manipulator approaches the target position, and is generated as a command signal for the manipulator.The manipulator is operated based on the command signal, and the hand position is set as the target position. It is characterized by doing.
〔構成４〕
構成３を有するロボット装置において、制御手段は、ヤコビ行列の推定において、忘却係数を固定ではなく動的に変化させることを特徴とするものである。
[Configuration 4 ]
In the robot apparatus having the
本発明に係る複数ロボット装置の制御方法においては、構成１を有することにより、マニピュレータのうち１つの関節を僅かに駆動させ、関節の動作速度と撮像手段により取得した対象物の画像を処理して得られるｍ個の画像特徴量の変化速度を求め、マニピュレータの各関節に対して関節の動作速度と画像特徴量の変化速度を求め、これらから行数がｍ、列数が関節の数となる行列を作成してこれをヤコビ行列の初期解と定め、画像特徴量に基づき、逐次最小二乗法を用いて、画像特徴量の変化速度とマニピュレータの各関節の動作速度との関係式であるヤコビ行列を推定し、事前に目標位置において取得された対象物の画像特徴量と対比して、マニピュレータの手先位置が目標位置に近づくように各関節の動作速度を求めてマニピュレータの指令信号とし、この指令信号に基づいてマニピュレータを動作させ手先位置を目標位置とするので、多くの基準画像を用意する必要がないため、計算負荷が軽く、迅速な制御が可能である。そして、このロボット装置の制御方法においては、適切な初期解を選び、かつ、逐次最小二乗法を用いてヤコビ行列の推定を行なうことにより、ヤコビ行列の推定演算の収束を迅速化し、ロバスト性を向上させることができる。また、マニピュレータを３次元空間内において制御することができる。
また、ヤコビ行列の推定に先だって、マニピュレータのうち１つの関節を僅かに駆動させ、関節の動作速度と撮像手段により取得した対象物の画像を処理して得られるｍ個の画像特徴量の変化速度を求め、マニピュレータの各関節に対して関節の動作速度と画像特徴量の変化速度を求め、これらから行数がｍ、列数が関節の数となる行列を作成してこれをヤコビ行列の初期解と定めるので、ヤコビ行列の適切な初期解が選択され、推定演算の収束を迅速化し、ロバスト性を向上させることができる。
In the control method for a plurality of robot apparatuses according to the present invention, by having the configuration 1, one joint of the manipulator is slightly driven, and the operation speed of the joint and the image of the object acquired by the imaging means are processed. The change speed of the obtained m image feature values is obtained, and the operation speed of the joint and the change speed of the image feature value are obtained for each joint of the manipulator. From these, the number of rows is m and the number of columns is the number of joints. A matrix is created and defined as the initial solution of the Jacobian matrix. Based on the image features, using the successive least squares method, the Jacobian is a relational expression between the rate of change of the image features and the operating speed of each joint of the manipulator. Estimating the matrix and comparing the image feature of the object acquired in advance at the target position, the operation speed of each joint is determined so that the hand position of the manipulator approaches the target position. The command signal, since the target position hand position to operate the manipulator based on the command signal, it is not necessary to prepare a number of the reference image, lighter calculation load, it is possible to quickly control. In this robot apparatus control method, by selecting an appropriate initial solution and estimating the Jacobian matrix using the successive least squares method, the convergence of the Jacobian matrix estimation calculation is accelerated, and the robustness is increased. Can be improved. Further, the manipulator can be controlled in the three-dimensional space.
In addition, prior to the estimation of the Jacobian matrix, one joint of the manipulator is slightly driven, the joint operation speed and the change speed of m image feature amounts obtained by processing the image of the object acquired by the imaging means. For each joint of the manipulator, obtain the joint movement speed and the image feature change speed, create a matrix with the number of rows m and the number of joints from these, and use this as the initial Jacobian matrix Since it is determined as a solution, an appropriate initial solution of the Jacobian matrix is selected, and the convergence of the estimation calculation can be speeded up and the robustness can be improved.
本発明に係る複数ロボット装置の制御方法においては、構成２を有することにより、ヤコビ行列の推定において、忘却係数を固定ではなく動的に変化させるので、より正確な推定を行うことができる。 In the control method for a plurality of robot apparatuses according to the present invention, since the configuration 2 is provided, the forgetting factor is dynamically changed instead of being fixed in the estimation of the Jacobian matrix, so that more accurate estimation can be performed.
そして、本発明に係る複数ロボット装置においては、構成３を有することにより、制御手段は、マニピュレータのうち１つの関節を僅かに駆動させ、関節の動作速度と撮像手段により取得した対象物の画像を処理して得られるｍ個の画像特徴量の変化速度を求め、マニピュレータの各関節に対して関節の動作速度と画像特徴量の変化速度を求め、これらから行数がｍ、列数が関節の数となる行列を作成してこれをヤコビ行列の初期解と定め、画像特徴量に基づき、逐次最小二乗法を用いて、画像特徴量の変化速度とマニピュレータの各関節の動作速度との関係式であるヤコビ行列を推定し、事前に目標位置において取得された対象物の画像特徴量と対比して、マニピュレータの手先位置が目標位置に近づくように各関節の動作速度を求めてマニピュレータに対する指令信号として生成し、この指令信号に基づいてマニピュレータを動作させ手先位置を目標位置とするので、多くの基準画像を用意する必要がないため、計算負荷が軽く、迅速な制御が可能である。そして、このロボット装置においては、適切な初期解を選び、かつ、逐次最小二乗法を用いてヤコビ行列の推定を行なうことにより、ヤコビ行列の推定演算の収束を迅速化し、ロバスト性を向上させることができる。また、マニピュレータを３次元空間内において制御することができる。
また、制御手段は、ヤコビ行列の推定に先だって、マニピュレータのうち１つの関節を僅かに駆動させ、関節の動作速度と撮像手段により取得した対象物の画像を処理して得られるｍ個の画像特徴量の変化速度を求め、マニピュレータの各関節に対して関節の動作速度と画像特徴量の変化速度を求め、これらから行数がｍ、列数が関節の数となる行列を作成してこれをヤコビ行列の初期解と定めるので、ヤコビ行列の適切な初期解が選択され、推定演算の収束を迅速化し、ロバスト性を向上させることができる。
In the multiple robot apparatus according to the present invention, having the
In addition, prior to the estimation of the Jacobian matrix, the control means slightly drives one joint of the manipulator, and m image features obtained by processing the joint operation speed and the image of the object acquired by the imaging means. The rate of change of the quantity is obtained, the speed of movement of the joint and the rate of change of the image feature quantity are obtained for each joint of the manipulator, and a matrix in which the number of rows is m and the number of columns is the number of joints is created. Since it is determined as the initial solution of the Jacobian matrix, an appropriate initial solution of the Jacobian matrix is selected, the convergence of the estimation operation can be speeded up, and the robustness can be improved.
本発明に係る複数ロボット装置においては、構成４を有することにより、制御手段は、ヤコビ行列の推定において、忘却係数を固定ではなく動的に変化させるので、より正確な推定を行うことができる。
In the multiple robot apparatus according to the present invention, having the
すなわち、本発明は、ロボット装置のマニピュレータを制御するにあたり、多くの基準画像を用意する必要がなく、計算負荷が軽く、迅速な制御が可能でありながら、マニピュレータの対象物に対する位置及び姿勢を３次元空間内において制御することができるようになされたロボット装置の制御方法及びロボット装置を提供することができるものである。 That is, according to the present invention, in controlling the manipulator of the robot apparatus, it is not necessary to prepare many reference images, the calculation load is light, and quick control is possible. It is possible to provide a robot apparatus control method and a robot apparatus which can be controlled in a dimensional space.
以下、本発明を実施するための最良の形態について図面を参照して説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
〔ロボット装置の構成〕
図１は、本発明に係るロボット装置の構成を示す模式的な側面図である。
[Robot device configuration]
FIG. 1 is a schematic side view showing a configuration of a robot apparatus according to the present invention.
本発明に係るロボット装置は、図１に示すように、６自由度のマニピュレータ１を有し、このマニピュレータ１により、対象物１０１の把持、運搬、加工または他の部材への組立が可能となされているものである。 As shown in FIG. 1, the robot apparatus according to the present invention has a manipulator 1 having six degrees of freedom, and the manipulator 1 enables the object 101 to be gripped, transported, processed, or assembled into another member. It is what.
マニピュレータ１は、複数のアクチュエータ（駆動装置）とリンク（剛体の構造物）とによって構成されており、６自由度を有している。すなわち、各リンク間は、回動（屈曲）、または、旋回可能な関節２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆを介して接続されており、それぞれアクチュエータによって相対駆動されるようになっている。各アクチュエータは、制御手段となるコンピュータ３によって制御される。
The manipulator 1 is composed of a plurality of actuators (driving devices) and links (rigid structures), and has six degrees of freedom. That is, the links are connected via joints 2a, 2b, 2c, 2d, 2e, and 2f that can be rotated (bent) or turned, and are relatively driven by actuators. . Each actuator is controlled by a
このマニピュレータ１において、第１のリンク（基端部のリンク）１ａは、基台部４に対し、基端側を第１の関節２ａを介して接続されて設置されている。第１の関節２ａは、鉛直軸（ｚ軸）回りに旋回可能な関節である。この第１のリンク１ａの先端側には、第２の関節２ｂを介して、第２のリンク１ｂの基端側が接続されている。第２の関節２ｂは、水平な軸回りに第２のリンク１ｂを回動可能とする関節である。第２のリンク１ｂの先端側には、第３の関節２ｃを介して、第３のリンク１ｃの基端側が接続されている。第３の関節２ｃは、水平な軸回りに第３のリンク１ｃを回動可能とする関節である。
In the manipulator 1, the first link (link at the base end) 1 a is installed with the base end connected to the
そして、第３のリンク１ｃの先端側には、第４の関節２ｄを介して、第４のリンク１ｄの基端側が接続されている。第４の関節２ｄは、第３のリンク１ｃの軸回りに第４のリンク１ｄを旋回可能とする関節である。第４のリンク１ｄの先端側には、第５の関節２ｅを介して、第５のリンク１ｅの基端側が接続されている。第５の関節２ｅは、第４のリンク１ｄの軸に直交する軸回りに第５のリンク１ｅを回動可能とする関節である。第５のリンク１ｅの先端側には、第６の関節２ｆを介して、第６のリンク１ｆの基端側が接続されている。第６の関節２ｆは、第５のリンク１ｅの軸回りに第６のリンク１ｆを旋回可能とする関節である。
And the base end side of the
このように、マニピュレータ１においては、回動可能な関節と、旋回可能な関節とが、交互に計６個設けられていることにより、６自由度が確保されている。 As described above, in the manipulator 1, a total of six joints that can rotate and pivotable joints are alternately provided, so that six degrees of freedom are secured.
第６のリンク１ｆの先端側（以下、「手先」という。）には、対象物１０１を把持したり加工したりする先端ツール機構５が設けられている。この先端ツール機構５は、コンピュータ３や図示しないその他の制御装置によって制御される。また、手先の近傍には、撮像レンズ及びＣＣＤやＣＭＯＳなどの固体撮像素子からなる撮像手段となるカメラ６が取付けられている。
A
コンピュータ３は、メモリ３ａを有している。このメモリ３ａには、マニピュレータ１の先端ツール機構５を目標位置及び目標姿勢としたときにカメラ６によって得られる対象物１０１の画像に基づく画像特徴量が記憶されている。メモリ３ａに記憶された画像特徴量は、画像処理部３ｂに送られる。この画像処理部３ｂは、マニピュレータ１の動作中にカメラ６により取得された対象物１０１の画像に基づく画像特徴量を求めて、指令信号生成部（ヤコビ行列推定部）３ｃに送る。指令信号生成部３ｃは、逐次最小二乗法を用いて、画像特徴量の変化速度とマニピュレータ１の各関節２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆの動作速度との関係式であるヤコビ行列を推定する。そして、メモリ３ａに記憶された画像特徴量と対比してマニピュレータ１の先端ツール機構５が目標位置に近づくような先端ツール機構５の速度を求め、この先端ツール機構５の速度とヤコビ行列から各関節２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆの動作速度を求めてマニピュレータ１の指令信号として出力する。この指令信号は、マニピュレータ１に送られる。マニピュレータ１は、送られた指令信号に基づいて動作し、先端ツール機構５を目標位置に移動させる。すなわち、マニピュレータ１においては、第１のリンク１ａに対する第２のリンク１ｂの位置、第２のリンク１ｂに対する第３のリンク１ｃの位置、第３のリンク１ｃに対する第４のリンク１ｄの位置と、順次先端側のリンクの位置が制御されることにより、先端ツール機構５の位置が制御され、この先端ツール機構５を所定の位置に移動させることができる。
The
〔ロボット装置の制御方法〕
そして、このロボット装置においては、以下に示す本発明に係るロボット装置の制御方法が実行されることにより、マニピュレータ１が自動制御される。すなわち、このロボット装置においては、事前に目標位置において取得した画像から算出し記憶している画像特徴量と、カメラ６により取得された画像から算出した画像特徴量とが一致するように、マニピュレータ１を動作させる。
[Robot device control method]
In this robot apparatus, the manipulator 1 is automatically controlled by executing the following robot apparatus control method according to the present invention. That is, in this robot apparatus, the manipulator 1 is configured so that the image feature amount calculated and stored from the image acquired in advance at the target position matches the image feature amount calculated from the image acquired by the camera 6. To work.
このロボット装置においては、ヤコビ行列の推定において、適切な初期解を選び、かつ、逐次最小二乗法を用いることにより、推定演算の収束を速くし、ロバスト性を向上させることができる。 In this robot apparatus, in the estimation of the Jacobian matrix, an appropriate initial solution is selected, and the successive least squares method is used, so that the convergence of the estimation calculation can be accelerated and the robustness can be improved.
なお、本発明で用いるヤコビ行列とは、マニピュレータ１のある関節の動作角度がθである瞬間における関節の動作速度Δθに対する画像特徴量の変化速度Δｆ（θ）の関係であり、以下に示す行列のＪである。
Δｆ（θ）＝Ｊ（θ）Δθ ・・・（式１）
The Jacobian matrix used in the present invention is the relationship between the change speed Δf (θ) of the image feature amount with respect to the joint movement speed Δθ at the moment when the movement angle of a certain joint of the manipulator 1 is θ, and the matrix shown below J.
Δf (θ) = J (θ) Δθ (Expression 1)
図２は、本発明に係るロボット装置の制御方法の手順を示すフローチャートである。 FIG. 2 is a flowchart showing the procedure of the control method of the robot apparatus according to the present invention.
このロボット装置においては、コンピュータ３は、図２に示すように、本発明に係るロボット装置の制御方法を実行する。すなわち、コンピュータ３は、ステップｓｔ１で制御を開始すると、ステップｓｔ２に進み、マニピュレータ１を僅かに駆動させ、各関節２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆの動作速度と画像特徴量の変化速度との関係を求め、この関係により、ヤコビ行列の初期解を定める。次に、ステップｓｔ３に進み、逐次最小二乗法（以下、「ＲＬＳ」という。）を使ってヤコビ行列の推定を行なうための初期設定を行なう。
In this robot apparatus, as shown in FIG. 2, the
そして、ステップｓｔ４に進み、画像サーボ制御を開始し、ステップｓｔ５に進む。ステップｓｔ５では、カメラ６により対象物１０１の画像を取得し、この画像から、画像特徴量の算出を行って、ステップｓｔ６に進む。 Then, the process proceeds to step st4, image servo control is started, and the process proceeds to step st5. In step st5, an image of the object 101 is acquired by the camera 6, and an image feature amount is calculated from the image, and the process proceeds to step st6.
ステップｓｔ６では、ＲＬＳを使ってヤコビ行列の値を推定し、ステップｓｔ７に進む。ステップｓｔ７では、カメラ６により得られている画像の画像特徴量と、メモリ３ａに記憶されている目標位置における画像特徴量との偏差に基づいて、ヤコビ行列の逆行列を用いて、各関節２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆの動作速度を算出し、ステップｓｔ８に進む。ステップｓｔ８では、算出された各関節２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆの動作速度を指令信号としてマニピュレータ１に出力し、ステップｓｔ９に進む。
In step st6, the value of the Jacobian matrix is estimated using RLS, and the process proceeds to step st7. In step st7, based on the deviation between the image feature quantity of the image obtained by the camera 6 and the image feature quantity at the target position stored in the
ステップｓｔ９では、制御の終了条件が達成されているか否かを判別する。この終了条件としては、例えば、対象物１０１が静止している場合において、カメラ６により得られている画像の画像特徴量と、メモリ３ａに記憶されている目標位置における画像特徴量との偏差が閾値以下となっている場合である。または、対象物１０１が動作している場合においては、先端ツール機構５が対象物１０１の動作範囲内にあるか、最終位置に到達したかを判別する。あるいは、先端ツール機構５が対象物１０１を把持できたか、対象物１０１を変更する必要があるかを判別する。終了条件が達成されていなければ、ステップｓｔ５に戻り、終了条件が達成されていれば、ステップｓｔ１０に進む。
In step st9, it is determined whether or not the control end condition is achieved. As the end condition, for example, when the object 101 is stationary, there is a deviation between the image feature amount of the image obtained by the camera 6 and the image feature amount at the target position stored in the
ステップｓｔ１０では、画像サーボ制御を終了し、ステップｓｔ１１に進み、制御を終了する。 In step st10, the image servo control is terminated, the process proceeds to step st11, and the control is terminated.
〔ヤコビ行列の初期解の算出〕
前述のようにしてヤコビ行列の推定を行うにあたっては、初期解を適切に設定する必要がある。初期解の設定は、単純には、適当な値、例えば、単位行列などとすればよいが、より正確な推定を行うには、（式１）より、マニピュレータ１の関節を速度Δθで僅かに動かしたときに画像特徴量がどのような速度Δｆで動くかを求めることが好ましい。
[Calculation of initial solution of Jacobian matrix]
When estimating the Jacobian matrix as described above, it is necessary to appropriately set an initial solution. The initial solution may simply be set to an appropriate value, for example, a unit matrix. However, in order to perform more accurate estimation, the joint of the manipulator 1 is slightly increased at a speed Δθ from (Equation 1). It is preferable to determine at what speed Δf the image feature amount moves when moved.
具体的には、マニピュレータ１には６個の関節あるので、第ｉ関節（但し、ｉ＝１〜６）だけを僅かに動かしたときのｍ個の画像特徴量を並べたベクトルの変化速度Δｆｊ（但し、ｊ＝１〜ｍ）を求めると、以下の式が得られる。
Ｊｉ０＝〔Δｆ１・・・Δｆｍ〕diag（Δθ１，・・・，Δθ６）−１・・・（式２）
Specifically, since the manipulator 1 has six joints, a vector change rate Δfj in which m image feature amounts are arranged when only the i-th joint (where i = 1 to 6) is slightly moved. When (where j = 1 to m) is obtained, the following expression is obtained.
Ji0 = [Δf1... Δfm] diag (Δθ1,..., Δθ6) −1 (Expression 2)
なお、diag（Δθ１，・・・，Δθ６）は、対角要素としてΔθ１〜Δθ６が並ぶ６×６の対角行列であり、〔Δｆ１・・・Δｆ６〕は、画像特徴量がｍ個ならば、ｍ×６の行列である。 Note that diag (Δθ1,..., Δθ6) is a 6 × 6 diagonal matrix in which Δθ1 to Δθ6 are arranged as diagonal elements, and [Δf1... Δf6] is m image feature amounts. , M × 6 matrix.
〔その他の初期解設定〕
マニピュレータ１の関節の軸数をｎとし、画像特徴量の数をｍとしたとき、（ｎ＋１）×（ｎ＋１）のゼロ行列をＰ０、ｍ×ｎのヤコビ行列の初期解をＪｉ０、ｍ×１のゼロ行列をＪｔ０とする。
[Other initial solution settings]
When n is the number of joint axes of the manipulator 1 and m is the number of image feature amounts, the zero matrix of (n + 1) × (n + 1) is P0, and the initial solution of the Jacobian matrix of m × n is Ji0, m × 1. The zero matrix of is Jt0.
ここで、ヤコビ行列の推定に用いる忘却係数λを０より大きく１以下の値とする。忘却係数λが大きいほど、過去の値が現在の値に影響する、つまり、時間軸でのデータの影響度が大きくなるので、ノイズに強くなるが、収束が遅くなる。逆に、忘却係数λを小さくすると、過去の値が現在の値に影響しなくなるので、収束速度は速くなるが、ノイズや初期解のずれなどに弱くなる。 Here, the forgetting factor λ used for estimating the Jacobian matrix is set to a value greater than 0 and equal to or less than 1. As the forgetting factor λ increases, the past value affects the current value, that is, the influence of the data on the time axis increases, so that the noise becomes stronger but the convergence becomes slower. On the other hand, if the forgetting factor λ is reduced, the past value does not affect the current value, so the convergence speed is increased, but it is weak against noise and the deviation of the initial solution.
〔画像取得、特徴量算出〕
カメラ６により取得された画像から求められる画像特徴量は、例えば、対象物１０１が円形状ならば、円の中心位置と半径、対象物１０１が楕円ならば、中心と長径、短径及び傾き、対象物１０１が四角形ならば、４頂点の位置などである。
[Image acquisition, feature calculation]
The image feature amount obtained from the image acquired by the camera 6 is, for example, if the object 101 is circular, the center position and radius of the circle, and if the object 101 is ellipse, the center, major axis, minor axis, and inclination, If the object 101 is a quadrangle, the positions of the four vertices and the like.
このような画像特徴量を並べたベクトルをｆｋ（但し、ｋは、制御ステップ数を意味する整数）とする。最初に取得された画像から得た画像特徴量をｆ０とする。 A vector in which such image feature amounts are arranged is assumed to be fk (where k is an integer meaning the number of control steps). The image feature amount obtained from the first acquired image is assumed to be f0.
〔ヤコビ行列の推定〕
制御開始からの時刻、または現在の時刻をｔｋ（ｋは制御ステップ数を意味する整数）とし、制御開始直後の時刻をｔ０とする。関節角度をθｋとし、制御開始直後の角度をθ０とする。そして、ｋ＝１を初期解として、以下の式を解く。
[Estimation of Jacobian matrix]
The time from the start of control or the current time is tk (k is an integer indicating the number of control steps), and the time immediately after the start of control is t0. The joint angle is θk, and the angle immediately after the start of control is θ0. Then, the following equation is solved with k = 1 as an initial solution.
ここで、ｆは、画像特徴量、θは、マニピュレータ１の関節の動作角度、ｔは、時刻、Ｊｉｋは、（式１）におけるヤコビ行列、λは、忘却係数（調整パラメータ）である。他は、物理的に意味のある数値ではなく、逐次最小二乗法の計算を行なう上で計算される値である。 Here, f is the image feature amount, θ is the operation angle of the joint of the manipulator 1, t is the time, Jik is the Jacobian matrix in (Equation 1), and λ is the forgetting factor (adjustment parameter). The other is not a physically meaningful numerical value, but a value calculated when performing a sequential least squares calculation.
この推定においては、制御周期１回ごとにｋの値を１増やしてゆく。この計算を制御周期ごとに繰り返すことにより、新しい関節角度θｋ＋１が得られる。そして、マニピュレータ１の関節がこの角度になるように、マニピュレータ１を動作させる。 In this estimation, the value of k is increased by 1 every control cycle. By repeating this calculation every control cycle, a new joint angle θk + 1 is obtained. Then, the manipulator 1 is operated so that the joint of the manipulator 1 is at this angle.
〔忘却係数の適応調整を含むヤコビ行列の推定〕
前述のように、忘却係数λを動的に変更することにより、より収束速度を向上させることができる。λｋの初期解λ０を適当な値、たとえば１に選ぶとする。この場合、各制御周期での計算式は以下のようになる。
[Estimation of Jacobian matrix including adaptive adjustment of forgetting factor]
As described above, the convergence speed can be further improved by dynamically changing the forgetting factor λ. It is assumed that the initial solution λ0 of λk is selected to an appropriate value, for example, 1. In this case, the calculation formula in each control cycle is as follows.
ここで、ｆは、画像特徴量、θは、マニピュレータ１の関節の動作角度、ｔは、時刻、Ｊｉｋは、（式１）におけるヤコビ行列、λｋは、忘却係数（調整パラメータ）である。 Here, f is an image feature amount, θ is an operation angle of the joint of the manipulator 1, t is a time, Jik is a Jacobian matrix in (Expression 1), and λk is a forgetting factor (adjustment parameter).
なお、αは微小な正の数であり、λｋの動的変化の割合を調整するパラメータである。αを大きな値にすると、λｋの値が大きく変化し、ノイズに弱くなる。逆に、αを小さな値にするほど、適応は遅くなるが、安定した挙動となる。 Α is a minute positive number and is a parameter for adjusting the rate of dynamic change in λk. When α is set to a large value, the value of λk changes greatly and becomes weak against noise. Conversely, the smaller the value of α, the slower the adaptation but the more stable the behavior.
また、λｋを求める式における〔 〕λ＋ λ−の意味は、〔 〕内の計算結果がλ＋よりも大きな値のときは、計算結果をλ＋とし、計算結果がλ−よりも小さな値のときは、計算結果をλ−とするという意味である。これは、λを０より大きく１以下の値とする必要があるため、計算結果がこの範囲を超えないようにするためである。また、この値を調整し、動的に得られるλｋの値の範囲を制限することにより、収束速度やロバスト性を調整することもできる。 Also, the meaning of the equation for λk [] lambda + lambda-of, [when the calculation result is larger than lambda + in], the calculation result was a lambda +, when the result of calculation is a value smaller than lambda-is This means that the calculation result is λ−. This is because λ needs to be greater than 0 and less than or equal to 1, so that the calculation result does not exceed this range. Further, by adjusting this value and limiting the range of λk values obtained dynamically, the convergence speed and robustness can be adjusted.
１ マニピュレータ
１ａ 第１のリンク
１ｂ 第２のリンク
１ｃ 第３のリンク
１ｄ 第４のリンク
１ｅ 第５のリンク
１ｆ 第６のリンク
２ａ 第１の関節
２ｂ 第２の関節
２ｃ 第３の関節
２ｄ 第４の関節
２ｅ 第５の関節
２ｆ 第６の関節
３ コンピュータ
３ａ メモリ
３ｂ 画像処理部
３ｃ 指令信号生成部
５ 先端ツール機構
６ カメラ
１０１ 対象物
DESCRIPTION OF SYMBOLS 1
Claims (4)
前記マニピュレータのうち１つの関節を僅かに駆動させ、関節の動作速度と前記撮像手段により取得した対象物の画像を処理して得られるｍ個の画像特徴量の変化速度を求め、前記マニピュレータの各関節に対して前記関節の動作速度と前記画像特徴量の変化速度を求め、これらから行数がｍ、列数が関節の数となる行列を作成してこれをヤコビ行列の初期解と定め、
前記画像特徴量に基づき、逐次最小二乗法を用いて、画像特徴量の変化速度とマニピュレータの各関節の動作速度との関係式であるヤコビ行列を推定し、事前に目標位置において取得された前記対象物の画像特徴量と対比して、マニピュレータの手先位置が前記目標位置に近づくように各関節の動作速度を求めてマニピュレータの指令信号とし、この指令信号に基づいて前記マニピュレータを動作させ手先位置を前記目標位置とする
ことを特徴とするロボット装置の制御方法。 A robot apparatus control method for controlling a robot apparatus having a manipulator having six degrees of freedom or more and having an imaging means at a hand position of the manipulator,
One of the manipulators is slightly driven, and the joint operation speed and the change speed of m image feature values obtained by processing the image of the object acquired by the imaging means are obtained. The movement speed of the joint and the change rate of the image feature amount are calculated for the joint, and a matrix in which the number of rows is m and the number of columns is the number of joints is defined as an initial solution of the Jacobian matrix,
Based on said image feature amount, by sequentially using the least squares method to estimate the Jacobian matrix is a relational expression between the image feature amount of change rate and operating speed of each joint of the manipulator, acquired at the target position in advance the In contrast to the image feature amount of the object, the operation speed of each joint is obtained so that the hand position of the manipulator approaches the target position, and the manipulator is operated based on the command signal. A control method for a robot apparatus, wherein:
ことを特徴とする請求項１記載のロボット装置の制御方法。 The method for controlling a robot apparatus according to claim 1, wherein, in the estimation of the Jacobian matrix, a forgetting factor is dynamically changed instead of being fixed.
前記マニピュレータの手先位置に設けられた撮像手段と、
前記マニピュレータに対する指令信号を生成する制御手段と
を備え、
前記制御手段は、前記マニピュレータのうち１つの関節を僅かに駆動させ、関節の動作速度と前記撮像手段により取得した対象物の画像を処理して得られるｍ個の画像特徴量の変化速度を求め、前記マニピュレータの各関節に対して前記関節の動作速度と前記画像特徴量の変化速度を求め、これらから行数がｍ、列数が関節の数となる行列を作成してこれをヤコビ行列の初期解と定め、前記画像特徴量に基づき、逐次最小二乗法を用いて、画像特徴量の変化速度とマニピュレータの各関節の動作速度との関係式であるヤコビ行列を推定し、事前に目標位置において取得された前記対象物の画像特徴量と対比して、マニピュレータの手先位置が前記目標位置に近づくように各関節の動作速度を求めてマニピュレータに対する指令信号として生成し、この指令信号に基づいて前記マニピュレータを動作させ手先位置を前記目標位置とする
ことを特徴とするロボット装置。 A manipulator with more than 6 degrees of freedom,
Imaging means provided at the hand position of the manipulator;
Control means for generating a command signal for the manipulator,
The control means slightly drives one joint of the manipulators, and obtains an operation speed of the joint and a change speed of m image feature amounts obtained by processing the image of the object acquired by the imaging means. Then, the operation speed of the joint and the change speed of the image feature amount are obtained for each joint of the manipulator, and a matrix having m rows and column numbers is created from these, and this is expressed as a Jacobian matrix. defined as the initial solution, based on the image feature amount, using the least squares method sequentially estimates the Jacobian matrix is a relationship between the operating speed of the joints of the image feature amount of change rate and the manipulator, in advance to the target position The movement speed of each joint is obtained as a command signal for the manipulator so that the hand position of the manipulator approaches the target position in comparison with the image feature amount of the object acquired in step The robot apparatus, characterized in that said target position hand position to operate the manipulator based on the command signal.
ことを特徴とする請求項３記載のロボット装置。 The robot apparatus according to claim 3 , wherein the control unit dynamically changes the forgetting factor instead of being fixed in the estimation of the Jacobian matrix.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101630766A CN101396830A (en) | 2007-09-29 | 2007-09-29 | Robot control method and robot |
| CN200710163076.6 | 2007-09-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009083094A JP2009083094A (en) | 2009-04-23 |
| JP5211944B2 true JP5211944B2 (en) | 2013-06-12 |
Family
ID=40515795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008223791A Active JP5211944B2 (en) | 2007-09-29 | 2008-09-01 | Robot apparatus control method and robot apparatus |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5211944B2 (en) |
| CN (1) | CN101396830A (en) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6261095A (en) * | 1985-09-11 | 1987-03-17 | カシオ計算機株式会社 | Overdabbing unit for electronic musical apparatus |
| CN101372098A (en) * | 2007-08-23 | 2009-02-25 | 株式会社Ihi | Robot device and control method thereof |
| CN101870104B (en) * | 2009-04-25 | 2012-09-19 | 鸿富锦精密工业（深圳）有限公司 | Manipulator inverse moving method |
| JP5306313B2 (en) * | 2010-12-20 | 2013-10-02 | 株式会社東芝 | Robot controller |
| CN103170978B (en) * | 2011-12-20 | 2016-08-31 | 中国科学院合肥物质科学研究院 | The optical fiber shape estimation feedback of continuous robot |
| JP5948913B2 (en) * | 2012-02-01 | 2016-07-06 | セイコーエプソン株式会社 | Robot apparatus, image generation apparatus, image generation method, and image generation program |
| JP2014140942A (en) * | 2013-01-25 | 2014-08-07 | Seiko Epson Corp | Robot control system, robot, robot control method, and program |
| JP6343938B2 (en) * | 2014-01-14 | 2018-06-20 | セイコーエプソン株式会社 | Robot, control apparatus, robot system, and control method |
| CN104385283B (en) * | 2014-07-03 | 2016-08-24 | 哈尔滨工程大学 | A kind of quick judgment method of sixdegree-of-freedom simulation Singularity |
| JP2016087705A (en) * | 2014-10-29 | 2016-05-23 | 株式会社安川電機 | Processing device and workpiece production method |
| CN105899334A (en) | 2014-10-29 | 2016-08-24 | 株式会社安川电机 | Machining device and production method of workpiece |
| JP5896003B1 (en) * | 2014-10-29 | 2016-03-30 | 株式会社安川電機 | Processing apparatus, teaching method, workpiece production method, controller, and control method |
| CN108748162B (en) * | 2018-07-09 | 2021-05-25 | 五邑大学 | Mechanical arm control method based on least square method for robot experiment teaching |
| CN109591020B (en) * | 2019-01-21 | 2023-02-28 | 兰州大学 | Distributed cooperative control method and device for optimizing self-adaptive maneuverability of multi-redundancy mechanical arm |
| CN110587616B (en) * | 2019-08-20 | 2023-01-24 | 辽宁成大生物股份有限公司 | Cell factory operation process method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000263482A (en) * | 1999-03-17 | 2000-09-26 | Denso Corp | Attitude searching method and attitude searching device of work, and work grasping method and work grasping device by robot |
| JP2003211381A (en) * | 2002-01-16 | 2003-07-29 | Denso Wave Inc | Robot control device |
| JP2003231078A (en) * | 2002-02-14 | 2003-08-19 | Denso Wave Inc | Position control method for robot arm and robot device |
| JP2004223663A (en) * | 2003-01-24 | 2004-08-12 | Doshisha | Impedance control device and impedance control program |
| JP4222338B2 (en) * | 2005-05-13 | 2009-02-12 | トヨタ自動車株式会社 | Adaptive visual feedback control method |
| US7612532B2 (en) * | 2005-06-21 | 2009-11-03 | Gm Global Technology Operations, Inc. | Method for controlling and monitoring using a state estimator having variable forgetting factors |
| JP4508164B2 (en) * | 2006-06-26 | 2010-07-21 | トヨタ自動車株式会社 | Articulated robot and its control program |
-
2007
- 2007-09-29 CN CNA2007101630766A patent/CN101396830A/en active Pending
-
2008
- 2008-09-01 JP JP2008223791A patent/JP5211944B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101396830A (en) | 2009-04-01 |
| JP2009083094A (en) | 2009-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5211944B2 (en) | Robot apparatus control method and robot apparatus | |
| EP2450157B1 (en) | Robot controlling device | |
| JP6700669B2 (en) | Control method, robot device, program, recording medium, and article manufacturing method | |
| CN108422420B (en) | Robot system having learning control function and learning control method | |
| JP7122821B2 (en) | Robot system and robot control method | |
| JP5685027B2 (en) | Information processing apparatus, object gripping system, robot system, information processing method, object gripping method, and program | |
| JP5292998B2 (en) | Robot apparatus control method and robot apparatus | |
| JP2009083095A (en) | Control method of robot device, and the robot device | |
| JP6773098B2 (en) | Robot system and robot control method | |
| CN110253574B (en) | Multi-task mechanical arm pose detection and error compensation method | |
| JP2015182144A (en) | Robot system and calibration method of robot system | |
| JP2011067941A (en) | Visual perception system and method for humanoid robot | |
| JP2014161950A (en) | Robot system, robot control method, and robot calibration method | |
| CN111319039B (en) | Robot | |
| JP2008183690A (en) | Robot control device and system | |
| JP6322949B2 (en) | Robot control apparatus, robot system, robot, robot control method, and robot control program | |
| US20170028548A1 (en) | Robot control device and robot control method | |
| JP4715296B2 (en) | Robot hand holding and gripping control method. | |
| Nambi et al. | Toward intuitive teleoperation of micro/nano-manipulators with piezoelectric stick-slip actuators | |
| JP4222338B2 (en) | Adaptive visual feedback control method | |
| KR101257793B1 (en) | Method for controlling a very high speed parallel robot using a synchronization of multi-axis motion | |
| JP7205569B2 (en) | Robotic system, working method and pick-up method | |
| JP2019214105A (en) | Robot control apparatus and robot control method | |
| JP2020082313A (en) | Robot control device, learning device and robot control system | |
| JP7433509B2 (en) | Control device, robot system, learning device, trajectory model, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130211 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5211944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |