JPH07244519A - Method for controlling motion of movable target by using picture - Google Patents

Method for controlling motion of movable target by using picture

Info

Publication number
JPH07244519A
JPH07244519A JP6034806A JP3480694A JPH07244519A JP H07244519 A JPH07244519 A JP H07244519A JP 6034806 A JP6034806 A JP 6034806A JP 3480694 A JP3480694 A JP 3480694A JP H07244519 A JPH07244519 A JP H07244519A
Authority
JP
Japan
Prior art keywords
movable object
image
target
motion control
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6034806A
Other languages
Japanese (ja)
Inventor
Kimiyoshi Endou
公誉 遠藤
Naoki Takegawa
直樹 武川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP6034806A priority Critical patent/JPH07244519A/en
Publication of JPH07244519A publication Critical patent/JPH07244519A/en
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Numerical Control (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

PURPOSE:To prevent a movable target from being easily influenced by an error or environmental variation at the time of moving the target at a high speed along a target track in movable target motion control using a picture. CONSTITUTION:A target track for a target in the three-dimensional space of a camera is set up (step 11), a picture at the time of moving the camera along the target track is found out, the feature point of the picture is extracted from the picture, a reference picture feature vector is found out of the picture feature point, and a feedback matrix is found out of the reference picture feature vector (steps 12 to 15). The reference picture feature vector and the feedback matrix are inputted (step 16). Time is set up to '0' (step 17), a picture feature vector and a motion control vector are successively found out and operation for controlling the matron of the camera is repeated based on these vectors in each time DELTAT up to end time T (steps 18 to 22).

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、可動物体に取り付けら
れた撮像装置から得られる対象物体の画像情報と、あら
かじめ与えられた、対象物体に対する可動物体の位置及
び姿勢の目標軌道を基に決定される参照画像情報とを比
較して、可動物体を目標軌道に沿って運動させる、画像
による可動物体の運動制御方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention is based on image information of a target object obtained from an image pickup device attached to the movable object and a predetermined trajectory of the position and orientation of the movable object with respect to the target object. The present invention relates to a method for controlling motion of a movable object by means of an image, in which the movable object is moved along a target trajectory by comparing it with reference image information.

【0002】[0002]

【従来の技術】可動物体を目標軌道に沿って運動させる
例として、自動車等の移動体やロボットのマニピュレー
タのエンドエフェクタを、固定された対象に対して、あ
らかじめ設定された目標軌道に沿って運動させる例が考
えられる。この場合、自動車が道路に沿って走るよう
に、また障害物等を避けるように自動車の自動操縦が行
なわれ、ロボットのマニピュレータが作業を行なおうと
する対象に対して設定された目標軌道に沿って移動させ
られる。
2. Description of the Related Art As an example of moving a movable object along a target trajectory, a moving object such as an automobile or an end effector of a manipulator of a robot is moved along a predetermined target trajectory with respect to a fixed object. An example is possible. In this case, the vehicle is automatically piloted so that it runs along the road and avoids obstacles, etc., and the robot manipulator follows the target trajectory set for the target object. Be moved.

【0003】以下の説明では可動物体に対して撮像装置
は固定されているため、可動物体の運動と撮像装置の運
動は同じであるとして説明する。また、撮像装置として
ビデオカメラ(以下単に「カメラ」と表記する)を用い
るものとして説明する。
In the following description, since the image pickup device is fixed with respect to the movable object, the movement of the movable object and the movement of the image pickup device are the same. In addition, a video camera (hereinafter simply referred to as “camera”) will be described as an imaging device.

【0004】従来、カメラが撮影する画像を用いて、カ
メラが対象物体に対して設定された目標軌道に沿って運
動するようにカメラを制御する方法には次の2種類があ
った。
Conventionally, there have been the following two types of methods for controlling a camera using an image captured by the camera so that the camera moves along a target trajectory set for a target object.

【0005】第1の方法は、カメラで対象物体を撮影し
た画像から、カメラを中心とする座標系での対象物体の
位置及び姿勢を推定し、それに基づいて対象物体を中心
とする座標系で、あらかじめ記述しておいたカメラの目
標運動の軌道をカメラを中心とする座標系におけるカメ
ラの運動の軌道に変換することにより、カメラをその軌
道に沿って運動するように制御するものである。
The first method is to estimate the position and orientation of the target object in a coordinate system centered on the camera from an image of the target object captured by the camera, and then use the coordinate system centered on the target object based on the estimated position and orientation. By converting the trajectory of the desired motion of the camera described in advance into the trajectory of the motion of the camera in the coordinate system centered on the camera, the camera is controlled to move along the trajectory.

【0006】第2の方法は、カメラからの画像またはそ
の画像から抽出した画像特徴(点、エッヂ、領域等)か
ら直接カメラの運動の制御量を決定し、カメラを制御す
るビジュアルサーボと呼ばれる方法である。
The second method is a method called visual servo for controlling the camera by directly determining the control amount of the motion of the camera from the image from the camera or image features (points, edges, regions, etc.) extracted from the image. Is.

【0007】[0007]

【発明が解決しようとする課題】上述した第1の方法
は、座標系間の変換が多く、変換時に発生する誤差が、
変換を行なう毎に累積されていくため、結果的に誤差が
大きくなり、カメラを運動させる軌道が目標軌道から外
れてしまうことがあり、また、カメラの制御時に行なわ
なければならない処理が多く、それに要する処理時間が
大きくなるため制御の遅延を生じ、その結果、制御中に
生じた誤差や環境の変動の影響を受けやすく、カメラの
運動する軌道の目標軌道に対する誤差が大きくなるとい
う欠点があった。
In the first method described above, there are many conversions between coordinate systems, and the error that occurs during conversion is
Since it accumulates every time the conversion is performed, the error becomes large as a result, the trajectory for moving the camera may deviate from the target trajectory, and there are many processes that must be performed when controlling the camera. Since the processing time required is long, control is delayed, and as a result, it is vulnerable to errors generated during control and environmental fluctuations, and the error of the trajectory of the camera with respect to the target trajectory becomes large. .

【0008】上述した第2の方法は、1枚の画像または
1枚の画像から得られた画像特徴のみを制御情報として
用いるため、カメラがあらかじめ広い空間にわたり、ま
た時間的に設定された目標軌道に沿って運動するように
制御することが不可能であった。
Since the second method described above uses only one image or image features obtained from one image as the control information, the camera has a target trajectory set in advance over a wide space and set temporally. It was impossible to control to move along.

【0009】本発明の目的は、以上のような欠点を解決
し、可動物体を高速に目標軌道に沿って移動させ、かつ
誤差や環境の変動の影響を受けにくい、冒頭に述べた種
類の画像による可動物体の運動制御方法を提供すること
である。
The object of the present invention is to solve the above-mentioned drawbacks, to move a movable object at high speed along a target trajectory, and to be less susceptible to errors and environmental fluctuations. Is to provide a method for controlling the movement of a movable object.

【0010】[0010]

【課題を解決するための手段】本発明の画像による可動
物体の運動制御方法は、可動物体の目標軌道を生成する
第1の処理と、目標軌道に沿って可動物体を運動させた
ときに撮像装置によって逐次撮影される画像から時系列
参照画像特徴ベクトルを生成する第2の処理と、時系列
参照画像特徴ベクトルと運動制御時に撮影される画像か
らの画像特徴ベクトルに基づき可動物体の運動制御ベク
トルを生成する第3の処理と、前記運動制御ベクトルに
したがって前記可動物体の運動を制御する第4の処理を
有する。
According to an image motion control method of a movable object of the present invention, a first process for generating a target trajectory of a movable object and an image when the movable object is moved along the target trajectory. Second processing for generating a time-series reference image feature vector from images sequentially captured by the device, and a motion control vector of a movable object based on the time-series reference image feature vector and the image feature vector from the image captured during motion control And a fourth process for controlling the motion of the movable object according to the motion control vector.

【0011】[0011]

【作用】本発明の、カメラが対象物体に対して設定され
た目標軌道に沿って運動するように制御される原理を説
明する。説明の簡単のために、初めに請求項1,8,1
1の特徴を併せ持つ場合について説明する。
The principle by which the camera is controlled so as to move along the target trajectory set with respect to the object will be described. For simplification of description, first, the claims 1, 8, 1
A case having both features of 1 will be described.

【0012】図1で示すように、カメラ2が対象物体1
に対してどのような運動をするかを3次元空間内の目標
軌道として表す。この軌道はカメラ2の位置だけでな
く、カメラ2がどの方向に向いているかを表すカメラ2
の姿勢も含むものである。
As shown in FIG. 1, the camera 2 has a target object 1
What kind of motion is performed with respect to is expressed as a target trajectory in a three-dimensional space. This trajectory indicates not only the position of the camera 2 but also the direction in which the camera 2 is facing.
It also includes the attitude of.

【0013】本発明は離散時間システムを仮定するた
め、目標軌道に沿った運動の開始時刻を0、終了時刻を
Τとする。また、説明の簡単のためサンプリング間隔を
一定とし、ΔΤと設定する。ただしT=N・ΔΤ(Nは
正の整数)とする。
Since the present invention assumes a discrete-time system, the start time of the movement along the target trajectory is 0 and the end time is T. Further, for the sake of simplicity of explanation, the sampling interval is fixed and is set to ΔΤ. However, T = N · ΔΤ (N is a positive integer).

【0014】前記目標軌道上をカメラ2が運動したとき
の各時刻j・ΔT(j=0,1,・・・,N)にカメラ
2が撮影するN+1枚の各画像から画像処理により画像
特徴を求める。画像特徴の例としては点、エッヂ、領域
等がある。これにより各時刻0,ΔT,2・ΔT,・・
・,N・ΔTにおける画像特徴、すなわN+1個の画像
特徴の時系列が求まる。
Image features obtained by image processing from N + 1 images captured by the camera 2 at each time j · ΔT (j = 0, 1, ..., N) when the camera 2 moves on the target trajectory. Ask for. Examples of image features include dots, edges, regions, etc. As a result, each time 0, ΔT, 2 · ΔT, ...
The time series of image features at N · ΔT, that is, N + 1 image features, is obtained.

【0015】次に、求められた時系列の画像特徴から時
系列の参照画像特徴ベクトルを求める。つまり、時刻j
・ΔT(j=0,1,・・・,N)における画像特徴か
ら参照画像特徴ベクトル
Next, a time-series reference image feature vector is obtained from the obtained time-series image features. That is, time j
・ From the image feature at ΔT (j = 0, 1, ..., N) to the reference image feature vector

【0016】[0016]

【外1】 を求める。[Outer 1] Ask for.

【0017】画像特徴ベクトルImage feature vector

【0018】[0018]

【外2】 とカメラ2の運動制御ベクトル[Outside 2] And camera 2 motion control vector

【0019】[0019]

【外3】 との関係は次の式(1)で表される。[Outside 3] The relationship between and is expressed by the following equation (1).

【0020】[0020]

【数1】 j とGj は行列である。[Equation 1] A j and G j are matrices.

【0021】以下では請求項7に示した、画像特徴とし
てカメラ2で撮影する対象物体1の特徴点がカメラ2か
らの画像に映った点を用いた場合を例に説明する。この
画像に映った点のことを画像特徴点と呼ぶ。また、対象
物体1上に設定する特徴点としては対象物体1の頂点や
対象物体1上にある突起や穴、描かれた点等を利用する
ことができる。
In the following, the case where the feature points of the target object 1 photographed by the camera 2 appearing in the image from the camera 2 are used as image features will be described as an example. The points shown in this image are called image feature points. Further, as the feature points set on the target object 1, the vertices of the target object 1, the protrusions or holes on the target object 1, the drawn points, or the like can be used.

【0022】まず、カメラ2で撮影する対象物体1上に
同一直線上にない3点以上のn点の特徴点
First, n or more characteristic points of 3 points or more not on the same straight line on the target object 1 photographed by the camera 2.

【0023】[0023]

【外4】 を設定する。次に、カメラ2のモデルを図1のように設
定する。図1に示すように、カメラ2の光軸に沿ってz
軸を設定し、カメラ2の焦点距離をfとする。次に、カ
メラ2で撮影する対象物体1上の特徴点
[Outside 4] To set. Next, the model of the camera 2 is set as shown in FIG. As shown in FIG. 1, z along the optical axis of the camera 2
The axis is set and the focal length of the camera 2 is set to f. Next, the feature points on the target object 1 captured by the camera 2

【0024】[0024]

【外5】 が画像に映った画像特徴点の画像面座標系での座標を
(Xi ,Yi )と表す。
[Outside 5] The coordinates of the image feature points shown in the image in the image plane coordinate system are represented by (X i , Y i ).

【0025】このとき、画像特徴ベクトルをAt this time, the image feature vector is

【0026】[0026]

【外6】 カメラ2の運動制御ベクトルを[Outside 6] The motion control vector of camera 2

【0027】[0027]

【外7】 とする。[Outside 7] And

【0028】VX ,VY ,VZ はx,y,z各座標軸に
沿った並進速度、
V X , V Y and V Z are translational velocities along the x, y and z coordinate axes, respectively.

【0029】[0029]

【外8】 はx,y,z各座標軸周りの回転角速度である。[Outside 8] Is the rotational angular velocity about each of the x, y, and z coordinate axes.

【0030】すると、式(1)の行列Aj 及び行列Gj
は次式(2),(3)のように表される。
Then, the matrix A j and the matrix G j of the equation (1) are
Is expressed by the following equations (2) and (3).

【0031】[0031]

【数2】 [Equation 2]

【0032】[0032]

【数3】 ここで、zij,Xij,Yijはそれぞれ時刻j・ΔTにお
ける特徴点
[Equation 3] Here, z ij , X ij , and Y ij are feature points at time j · ΔT, respectively.

【0033】[0033]

【外9】 のz座標及びその特徴点が画像に映った画像特徴点の座
標(Xi ,Yi )である。
[Outside 9] Is the z coordinate and its feature point is the coordinate (X i , Y i ) of the image feature point reflected in the image.

【0034】次に、対象物体1に対して、あらかじめ設
定された目標軌道に沿ってカメラ2が運動するために
は、運動の制御を実際に行なうオンライン処理中の時刻
j・ΔTにカメラ2が撮影する画像からの画像特徴ベク
トル
Next, in order for the camera 2 to move with respect to the target object 1 along a preset target trajectory, the camera 2 moves at time j · ΔT during the online processing for actually controlling the movement. Image feature vector from the captured image

【0035】[0035]

【外10】 が、第2の処理で求めた目標軌道上をカメラ2が運動中
の時刻j・ΔTに撮影する画像からの参照画像特徴ベク
トル
[Outside 10] Is a reference image feature vector from an image taken at time j · ΔT when the camera 2 is moving on the target trajectory obtained in the second process.

【0036】[0036]

【外11】 に一致する必要がある。そこでこの2つの画像特徴ベク
トル
[Outside 11] Must match. So these two image feature vectors

【0037】[0037]

【外12】 が一致するようにカメラ2の運動制御ベクトル[Outside 12] Motion control vector of camera 2 so that

【0038】[0038]

【外13】 を決定し、その運動制御ベクトル[Outside 13] And its motion control vector

【0039】[0039]

【外14】 にしたがってカメラ2の運動を制御すれば、カメラ2
は、対象物体1に対してあらかじめ設定された目標軌道
に沿って運動するように制御されると考えられる。する
と、これは次式(4)の評価関数IN を最小化する運動
制御ベクトル
[Outside 14] If the movement of the camera 2 is controlled according to
Is considered to be controlled so as to move along the target trajectory set in advance with respect to the target object 1. Then, this is the motion control vector that minimizes the evaluation function I N of the following equation (4).

【0040】[0040]

【外15】 を求める問題に帰着される。ベクトルの右肩のTはその
ベクトルを転置することを表す。
[Outside 15] Results in the problem of seeking. The T on the right side of a vector represents transposing the vector.

【0041】[0041]

【数4】 ここでQj ,Hj-1 は正値対称行列である。上式の第1
項は時刻j・ΔTにカメラ2が撮影した画像から求めら
れた画像特徴ベクトル
[Equation 4] Here, Q j and H j-1 are positive-value symmetric matrices. First of the above formula
The term is an image feature vector obtained from the image captured by the camera 2 at time j · ΔT

【0042】[0042]

【外16】 と目標とする参照画像特徴ベクトル[Outside 16] And the target reference image feature vector

【0043】[0043]

【外17】 との2乗距離を表し、第2項はカメラ2の運動エネルギ
ーを表している。この評価関数IN を最小化することに
より、第1項から全時間(j=1,2,・・・,N)の
画像から求めた画像特徴ベクトル
[Outside 17] And the second term represents the kinetic energy of the camera 2. By minimizing this evaluation function I N , the image feature vector obtained from the image of the entire time (j = 1, 2, ..., N) from the first term

【0044】[0044]

【外18】 が目標とする参照画像特徴ベクトル[Outside 18] The target reference image feature vector

【0045】[0045]

【外19】 に近付き、一致することが期待され、また第2項から運
動制御ベクトル
[Outside 19] Is expected to match, and from the second term, the motion control vector

【0046】[0046]

【外20】 が過大になりカメラ2の運動の能力を越えないように制
限される。
[Outside 20] Is too large and the movement capacity of the camera 2 is not exceeded.

【0047】式(4)の行列Qj 及びHj はカメラ2の
運動に要求される条件から適当に定める。例えば、
The matrices Q j and H j in the equation (4) are appropriately determined based on the conditions required for the movement of the camera 2. For example,

【0048】[0048]

【数5】 [Equation 5]

【0049】[0049]

【数6】 等と定める。ただしIは単位行列である。[Equation 6] Etc. However, I is an identity matrix.

【0050】以上の準備から式(4)で与えられる評価
関数IN を最小にする運動制御ベクトル
From the above preparations, the motion control vector that minimizes the evaluation function I N given by equation (4)

【0051】[0051]

【外21】 を求めるために必要なフィードバック行列は次のように
して求められる(参考文献「現代制御論」、Julius T.
Tou 著、中村嘉平、伊藤正美、松尾強 共訳、コロナ
社)。
[Outside 21] The feedback matrix required to obtain is as follows (reference “Modern Control Theory”, Julius T. et al.
Tou, Kahei Nakamura, Masami Ito, Tsuyoshi Matsuo co-translation, Corona Publishing Co.).

【0052】まず、E0 を全ての要素が0の零行列、D
0 =QN ,F0 =E0 −2QN =−2QN とする。
First, E 0 is a zero matrix in which all the elements are 0, and D
0 = Q N, and F 0 = E 0 -2Q N = -2Q N.

【0053】次に、式(7),(8)にしたがってR
1 ,S1 を求める。すなわち式(9),(10)とな
る。
Next, according to equations (7) and (8), R
1 and S 1 are calculated. That is, equations (9) and (10) are obtained.

【0054】[0054]

【数7】 [Equation 7]

【0055】[0055]

【数8】 [Equation 8]

【0056】[0056]

【数9】 [Equation 9]

【0057】[0057]

【数10】 次に、式(11),(12),(13)にしたがってD
1 ,E1 ,F1 を求める。すなわち式(14),(1
5),(16)となる。
[Equation 10] Next, according to equations (11), (12), and (13), D
Calculate 1 , E 1 , F 1 . That is, equations (14) and (1
5) and (16).

【0058】[0058]

【数11】 [Equation 11]

【0059】[0059]

【数12】 [Equation 12]

【0060】[0060]

【数13】 [Equation 13]

【0061】[0061]

【数14】 [Equation 14]

【0062】[0062]

【数15】 [Equation 15]

【0063】[0063]

【数16】 同様にして式(7),(8)と式(11),(12),
(13)を繰り返し用いることによってR2 ,S2 ,D
2 ,E2 ,F2 ,・・・,RN ,SN ,DN ,EN ,F
N を求める。このRj ,Sj (j=1,2,・・・,
N)が式(4)の評価関数IN を最小にする運動制御ベ
クトル
[Equation 16] Similarly, equations (7), (8) and equations (11), (12),
By repeatedly using (13), R 2 , S 2 , D
2 , E 2 , F 2 , ..., R N , S N , D N , E N , F
Find N. This R j , S j (j = 1, 2, ...,
N) is a motion control vector that minimizes the evaluation function I N of equation (4).

【0064】[0064]

【外22】 を求めるときに必要なフィードバック行列である。[Outside 22] This is the feedback matrix needed to find

【0065】次に、このフィードバック行列Rj ,Sj
(j=1,2,・・・,N)を用いて運動制御ベクトル
Next, this feedback matrix R j , S j
The motion control vector using (j = 1, 2, ..., N)

【0066】[0066]

【外23】 を求める方法を説明する。ここで、時刻を0とし、時刻
0においてカメラ2が撮影した画像から画像特徴を抽出
し、その画像特徴から画像特徴ベクトル
[Outside 23] The method of obtaining is explained. Here, the time is set to 0, the image feature is extracted from the image captured by the camera 2 at the time 0, and the image feature vector is extracted from the image feature.

【0067】[0067]

【外24】 を求める。[Outside 24] Ask for.

【0068】次に、式(17)にしたがってカメラ2の
運動制御ベクトル
Next, according to the equation (17), the motion control vector of the camera 2

【0069】[0069]

【外25】 を求める。すなわち式(18)となる。[Outside 25] Ask for. That is, equation (18) is obtained.

【0070】[0070]

【数17】 [Equation 17]

【0071】[0071]

【数18】 このカメラ運動制御ベクトル[Equation 18] This camera motion control vector

【0072】[0072]

【外26】 にしたがってカメラ2を制御する。[Outside 26] The camera 2 is controlled accordingly.

【0073】次に、時刻が1・ΔTになった時点におけ
るカメラ2が撮影した画像から画像特徴ベクトル
Next, from the image taken by the camera 2 at the time when the time becomes 1 · ΔT, the image feature vector

【0074】[0074]

【外27】 を求め、式(17)から運動制御ベクトル[Outside 27] And the motion control vector from equation (17)

【0075】[0075]

【外28】 を求め、[Outside 28] Seeking

【0076】[0076]

【外29】 にしたがってカメラ2の運動を制御する。以下同様にし
て時刻がT(=N・ΔT)に達するまで
[Outside 29] The motion of the camera 2 is controlled in accordance with. Similarly, until the time reaches T (= N · ΔT)

【0077】[0077]

【外30】 を求め、[Outside 30] Seeking

【0078】[0078]

【外31】 にしたがってカメラ2の運動を制御する。[Outside 31] The motion of the camera 2 is controlled in accordance with.

【0079】以上のようにして求められた運動制御ベク
トル
The motion control vector obtained as described above

【0080】[0080]

【外32】 は式(4)の評価関数IN を最小にするものであり、そ
れにしたがってカメラ2の運動を制御することにより対
象物体1に対して設定された軌道に沿ってカメラ2が動
くように制御することが可能になる。
[Outside 32] Is to minimize the evaluation function I N of the equation (4), and controls the movement of the camera 2 accordingly to control the camera 2 to move along the trajectory set for the target object 1. It will be possible.

【0081】次に、本発明の処理の流れを説明する。Next, the processing flow of the present invention will be described.

【0082】本発明はオフライン処理とオンライン処理
に分けられる。最初の処理はオフライン処理であり、対
象物体1に対して設定した目標軌道をカメラ制御用のパ
ラメタに変換する処理である。続く処理はオンライン処
理であり、カメラ2を実際に制御する処理である。
The present invention is divided into offline processing and online processing. The first process is an offline process, which is a process of converting a target trajectory set for the target object 1 into a parameter for camera control. The subsequent process is an online process, which is a process for actually controlling the camera 2.

【0083】オフライン処理はさらに3つの処理に分け
られる。第1の処理は、対象物体1に対するカメラ2の
運動すべき目標軌道を設定する処理(軌道設定処理)で
ある。第2の処理は、第1の処理で設定された目標軌道
に沿ってカメラ2が運動するときにカメラ2が撮影する
対象物体1の映った動画像から、時系列の参照画像特徴
ベクトルを求める処理(参照画像特徴ベクトル生成処
理)である。第3の処理は、第2の処理で求めた時系列
の参照画像特徴ベクトルからカメラ2を制御する際に必
要な時系列のフィードバック行列を求める処理(フィー
ドバック行列設定処理)である。オンライン処理ではオ
フライン処理の第2の処理で求めた時系列の参照画像特
徴ベクトル及びオフライン処理の第3の処理で求めた時
系列のフィードバック行列を用いてカメラ2の運動制御
ベクトルを求め、それにしたがってカメラ2の運動の制
御を実際に行なう。
The offline process is further divided into three processes. The first processing is processing (trajectory setting processing) for setting a target trajectory for the camera 2 to move with respect to the target object 1. In the second process, a time-series reference image feature vector is obtained from a moving image of the target object 1 captured by the camera 2 when the camera 2 moves along the target trajectory set in the first process. It is a process (reference image feature vector generation process). The third process is a process (feedback matrix setting process) of obtaining a time-series feedback matrix necessary for controlling the camera 2 from the time-series reference image feature vector obtained in the second process. In the online processing, the motion control vector of the camera 2 is obtained using the time-series reference image feature vector obtained in the second processing of the offline processing and the time-series feedback matrix obtained in the third processing of the offline processing, and The motion of the camera 2 is actually controlled.

【0084】まず、オフライン処理の第1の処理につい
て説明する。第1の処理ではカメラ2が対象物体1に対
してどのような運動をするのかを3次元空間内の目標軌
道として設定する。
First, the first offline processing will be described. In the first process, what movement the camera 2 makes with respect to the target object 1 is set as a target trajectory in a three-dimensional space.

【0085】次に、第2の処理について説明する。ま
ず、第1の処理で設定された目標軌道上をカメラ2が運
動中の各時刻j・ΔT(j=0,1,・・・,N)にカ
メラ2が撮影するN+1枚の画像を求め、その各画像か
ら画像処理により画像特徴を求める。次に、求められた
時刻j・ΔT(j=0,1,・・・,N)における画像
特徴から参照画像特徴ベクトル
Next, the second processing will be described. First, N + 1 images taken by the camera 2 are obtained at each time j · ΔT (j = 0, 1, ..., N) when the camera 2 is moving on the target trajectory set in the first process. , Image characteristics are obtained from each of the images by image processing. Next, from the image features at the obtained time j · ΔT (j = 0, 1, ..., N) to the reference image feature vector

【0086】[0086]

【外33】 を求める。[Outside 33] Ask for.

【0087】次に、第3の処理であるが、ここで式
(7)と式(8)及び式(11)から式(13)を見る
と、これらの式には運動制御時にカメラ2が撮影する画
像から得られる画像特徴ベクトル
Next, regarding the third processing, looking at the equations (7), (8), and (11) to (13), these equations show that the camera 2 is in motion control. Image feature vector obtained from the captured image

【0088】[0088]

【外34】 が含まれていない。そこでこれらの式はカメラ2の運動
制御を行なう前にオフラインで計算することが可能であ
る。よって式(7)と式(8)及び式(11)から式
(13)までを用いてフィードバック行列Rj ,Sj
(j=1,2,・・・,N)を求める処理がオフライン
処理の第3の処理である。
[Outside 34] Is not included. Therefore, these equations can be calculated off-line before the motion control of the camera 2 is performed. Therefore, the feedback matrices R j and S j are calculated using the equations (7) and (8) and the equations (11) to (13).
The process of obtaining (j = 1, 2, ..., N) is the third process of the offline processing.

【0089】また、それ以降の式(17)によりカメラ
2の運動制御ベクトル
Further, the motion control vector of the camera 2 is calculated by the following equation (17).

【0090】[0090]

【外35】 を求める処理は、運動制御時にカメラ2が撮影する画像
から得られる画像特徴ベクトル
[Outside 35] Is a feature vector obtained from the image captured by the camera 2 during motion control.

【0091】[0091]

【外36】 が必要なため、オンライン処理になる。[Outside 36] Is required, so online processing is required.

【0092】[0092]

【実施例】次に、本発明の実施例について図面を参照し
て説明する。
Embodiments of the present invention will now be described with reference to the drawings.

【0093】始めに〔作用〕の項で説明した例に基づい
て述べる。図2は本発明の第1の実施例のフローチャー
トである。本実施例では画像特徴として先に例として挙
げた画像特徴点を用いるものとする。
First, description will be made based on the example described in the section [Operation]. FIG. 2 is a flowchart of the first embodiment of the present invention. In this embodiment, the image feature points given as examples above are used as the image features.

【0094】本実施例の処理の流れは、制御を行なうた
めの準備であるオフライン処理(図2左側)と実際の制
御を行なうオンライン処理(図2右側)に分かれる。
The process flow of this embodiment is divided into an offline process (left side in FIG. 2) which is a preparation for performing control, and an online process (right side in FIG. 2) that performs actual control.

【0095】まず、オフライン処理について説明する。
オフライン処理では、まず最初にカメラ2が対象物体1
に対してどのような運動をするかを表わす3次元空間内
での目標軌道を設定する(ステップ11)。これは対象
物体1の形状情報及び対象物体1とカメラ2がどのよう
な幾何的な関係にあるかを示す配置情報に基づいた計算
による軌道生成法、あるいは実際にカメラ2を3次元空
間で運動させ、その運動した軌跡を計測することにより
軌道を設定する方法がある。前者の方法は請求項2に、
後者の方法は請求項3にそれぞれ対応する。また、この
2つを合わせて、最初に対象物体1の形状情報及び対象
物体1とカメラ2がどのような幾何的な関係にあるかを
示す配置情報に基づいて計算により仮の目標軌道を生成
し、次にその仮の目標軌道に沿ってカメラ2を運動させ
ながら適宜修正し、その修正された運動の軌跡を計測す
ることにより目標軌道を設定する方法がある。これは請
求項4に対応する。
First, the offline processing will be described.
In the off-line processing, first, the camera 2 sets the target object 1
A target trajectory in a three-dimensional space that represents what kind of motion is to be set is set (step 11). This is a trajectory generation method by calculation based on the shape information of the target object 1 and the arrangement information indicating the geometrical relationship between the target object 1 and the camera 2, or actually moving the camera 2 in a three-dimensional space. Then, there is a method of setting the trajectory by measuring the trajectory of the movement. The former method is defined in claim 2,
The latter method respectively corresponds to claim 3. Further, by combining these two, a temporary target trajectory is first generated by calculation based on the shape information of the target object 1 and the arrangement information indicating the geometrical relationship between the target object 1 and the camera 2. Then, there is a method of setting the target trajectory by moving the camera 2 along the provisional target trajectory, making appropriate corrections, and measuring the trajectory of the corrected movement. This corresponds to claim 4.

【0096】次に、設定された目標軌道に沿ってカメラ
2を実際に運動させたときにカメラ2が撮影する時系列
の画像を求める(ステップ12)。次に、その時系列画
像の各画像から画像処理により画像特徴点を抽出し、時
系列の画像特徴点を求める(ステップ13)。次に、こ
の時系列の画像特徴点の座標値から時系列の参照画像特
徴ベクトルを
Next, a time series image taken by the camera 2 when the camera 2 is actually moved along the set target trajectory is obtained (step 12). Next, image feature points are extracted from each of the time-series images by image processing to obtain time-series image feature points (step 13). Next, a time-series reference image feature vector is calculated from the coordinate values of the time-series image feature points.

【0097】[0097]

【外37】 と定める(ステップ14)。これは請求項6に対応する
方法である。
[Outside 37] (Step 14). This is the method corresponding to claim 6.

【0098】また、対象物体1の形状情報とカメラパラ
メタ及びカメラ2が運動する目標軌道から各時刻におけ
る画像特徴点の座標を計算により求め、それから時系列
の参照画像特徴ベクトルを求めることができる。これは
請求項5に対応する方法である。
Further, the coordinates of the image feature points at each time can be calculated from the shape information of the target object 1, the camera parameters, and the target trajectory of the camera 2 to move, and then the time-series reference image feature vector can be calculated. This is the method corresponding to claim 5.

【0099】次に、Next,

【0100】[0100]

【外38】 あらかじめ与えておいたQj ,Hj (j=0,1,・・
・、N)、式(3)で与えられるGj (j=0,1,・
・・,N)から式(7)〜式(12)にしたがってフィ
ードバック行列Rj ,Sj (j=1,2,・・・,N)
を求める(ステップ15)。
[Outside 38] Q j , H j (j = 0, 1, ...
, N) and G j (j = 0, 1, ...
.., N) and feedback matrices R j , S j (j = 1, 2, ..., N) according to equations (7) to (12).
Is calculated (step 15).

【0101】Gj (j=0,1,・・・,N)を求める
際、カメラ中心座標系での対象物体1の特徴点の奥行き
値であるz座標が必要になるが、対象物体1に対する3
次元空間でのカメラ2の目標軌道があらかじめ与えられ
ていることから、その対象物体1の幾何モデル及びカメ
ラ2の運動する目標軌道に基づいて、それを求めること
ができる。また、対象物体1に設定した最少6点または
同一平面上にある最少4点の特徴点が画像に映った画像
特徴点から各特徴点の奥行き値z座標を計算により求め
ることが可能であり、この一例として参考文献“A new
technique forfully autonomous 3D robotics hand/eye
caribration ”,R.T.Tsai and R.K.Lenz, IEEE Trans
actions of Robotics and Automation, Vol.5, No.3, p
p.345-358. の方法がある。前者の方法は請求項9、後
者の方法は請求項10に対応する。以上がオフライン処
理である。
When obtaining G j (j = 0, 1, ..., N), the z coordinate, which is the depth value of the feature point of the target object 1 in the camera center coordinate system, is required. Against 3
Since the target trajectory of the camera 2 in the dimensional space is given in advance, it can be obtained based on the geometric model of the target object 1 and the moving target trajectory of the camera 2. Further, it is possible to calculate the depth value z-coordinate of each feature point from the image feature points in which the minimum of 6 feature points set in the target object 1 or the minimum of 4 feature points on the same plane are reflected in the image, An example of this is the reference “A new
technique forfully autonomous 3D robotics hand / eye
caribration ”, RTTsai and RKLenz, IEEE Trans
actions of Robotics and Automation, Vol.5, No.3, p
There is a method of p.345-358. The former method corresponds to claim 9 and the latter method corresponds to claim 10. The above is the offline processing.

【0102】次に、オンライン処理について説明する。
オンライン処理では、オフライン処理で求めた
Next, online processing will be described.
In online processing, obtained in offline processing

【0103】[0103]

【外39】 j ,Sj (j=1,2,・・・,N)を読み込み記憶
しておく(ステップ16)。
[Outside 39] R j , S j (j = 1, 2, ..., N) are read and stored (step 16).

【0104】次に、j=0、すなわち時刻を0とする
(ステップ17)。次に、時刻j・ΔTでのカメラ2か
ら画像を求め、その画像から画像処理等によって画像特
徴点を抽出し、その画像特徴点の座標値から画像特徴ベ
クトル
Next, j = 0, that is, the time is set to 0 (step 17). Next, an image is obtained from the camera 2 at time j · ΔT, image feature points are extracted from the image by image processing, and the image feature vector is calculated from the coordinate values of the image feature points.

【0105】[0105]

【外40】 を求める(ステップ18)。次に、その画像特徴ベクト
[Outside 40] Is calculated (step 18). Then the image feature vector

【0106】[0106]

【外41】 を式(17)に代入し、カメラ2の運動制御ベクトル[Outside 41] Substituting into equation (17), the motion control vector of camera 2

【0107】[0107]

【外42】 を求め、その運動制御ベクトル[Outside 42] The motion control vector

【0108】[0108]

【外43】 にしたがってカメラ2を制御する(ステップ19,2
0)。次に、時刻をΔT進め(ステップ21)、もし時
刻が終了時刻Tに達すれば終了、そうでなければ画像特
徴ベクトルを抽出する処理に戻る(ステップ22)。以
上がオンライン処理である。
[Outside 43] Control the camera 2 according to (steps 19 and 2).
0). Next, the time is advanced by .DELTA.T (step 21). If the time reaches the end time T, the process ends. If not, the process returns to the process of extracting the image feature vector (step 22). The above is the online processing.

【0109】以上のオフライン及びオンラインの2つの
処理を行なうことにより、対象物体1に対してあらかじ
め設定された目標軌道に沿ってカメラ2が運動するよう
にカメラ2の運動を制御することが可能になる。以上で
説明した実施例は請求項11に対応する。
By performing the above-described two processes, offline and online, it is possible to control the motion of the camera 2 so that the camera 2 moves along a target trajectory preset with respect to the target object 1. Become. The embodiment described above corresponds to claim 11.

【0110】また、式(1)に基づいてオフラインで全
時間にわたるカメラ2の運動制御ベクトル
Further, based on the equation (1), the motion control vector of the camera 2 is taken offline for the entire time.

【0111】[0111]

【外44】 をあらかじめ求めておく方法もある。この方法は請求項
12に対応する。それを第2の実施例を示す図3を用い
て説明する。
[Outside 44] There is also a method of obtaining in advance. This method corresponds to claim 12. This will be described with reference to FIG. 3 showing the second embodiment.

【0112】まず、オフライン処理では第1の実施例に
示した方法で目標とする参照画像特徴ベクトル
First, in the off-line processing, the target reference image feature vector is obtained by the method shown in the first embodiment.

【0113】[0113]

【外45】 及びフィードバック行列Rj ,Sj (j=1,2,・・
・,N)を求めておく(ステップ31〜35)。さら
に、時刻0でカメラ2が撮影する画像から画像特徴ベク
トルを求め(ステップ36,37)、
[Outside 45] And the feedback matrix R j , S j (j = 1, 2, ...
, N) is obtained (steps 31 to 35). Further, an image feature vector is obtained from the image captured by the camera 2 at time 0 (steps 36 and 37),

【0114】[0114]

【外46】 とし、式(17)に基づいてカメラ2の運動制御ベクト
[Outside 46] And the motion control vector of the camera 2 based on equation (17)

【0115】[0115]

【外47】 を求める(ステップ38)。次に、式(1)にしたがっ
て次の時刻の画像特徴ベクトル
[Outside 47] Is calculated (step 38). Next, according to equation (1), the image feature vector at the next time

【0116】[0116]

【外48】 を求め(ステップ39)、式(17)からカメラ2の運
動制御ベクトル
[Outside 48] (Step 39), the motion control vector of the camera 2 is calculated from the equation (17).

【0117】[0117]

【外49】 を求める。これを繰り返すことにより(ステップ40,
41)、
[Outside 49] Ask for. By repeating this (step 40,
41),

【0118】[0118]

【外50】 を求めることができる。以上がオフライン処理である。[Outside 50] Can be asked. The above is the offline processing.

【0119】次に、カメラ2を実際に制御するオンライ
ン処理時にはこのカメラ2の運動制御ベクトル
Next, during the online processing for actually controlling the camera 2, the motion control vector of this camera 2

【0120】[0120]

【外51】 を読み込んで記憶しておき(ステップ42)、毎時刻に
運動制御ベクトル
[Outside 51] Is read and stored (step 42), and the motion control vector is calculated every time.

【0121】[0121]

【外52】 を読み出し、それにしたがってカメラ2の運動を制御す
る(ステップ43〜46)。
[Outside 52] Is read out and the movement of the camera 2 is controlled accordingly (steps 43 to 46).

【0122】[0122]

【発明の効果】【The invention's effect】

(1)請求項1の発明では、撮像装置が運動する軌道
を、対象物体と撮像装置の配置関係で決定される画像か
ら抽出した時系列の画像特徴ベクトルで表現し、それに
よって撮像装置の運動を制御するため、対象物体に対し
て設定された軌道に沿って撮像装置を運動させることが
可能になる。これによって運動制御時の撮像装置に対す
る対象物体の位置姿勢が異なる場合でも、また撮像装置
が取り付けられた可動物体の初期状態の位置姿勢が異な
る場合でも、対象物体に対して設定された軌道に沿って
撮像装置が運動するように撮像装置の運動を制御するこ
とができる。
(1) According to the invention of claim 1, the trajectory of the movement of the image pickup apparatus is expressed by a time-series image feature vector extracted from an image determined by the positional relationship between the target object and the image pickup apparatus, and the movement of the image pickup apparatus is thereby expressed. Therefore, it is possible to move the imaging device along the trajectory set for the target object. As a result, even if the position and orientation of the target object with respect to the image pickup device during motion control differ, and even if the position and orientation of the movable object with the image pickup device attached in the initial state differ, the trajectory set for the target object The motion of the imaging device can be controlled so that the imaging device moves.

【0123】(2)請求項11の発明では、オンライン
処理中に逐次撮像装置画像からの画像特徴ベクトルを用
いてフィードバックによる制御を行なうため、オンライ
ン処理中に対象物体の位置、姿勢が変化したり、撮像装
置の運動の制御に誤差が発生した場合にも、それらの影
響を吸収し安定に制御することが可能である。
(2) In the eleventh aspect of the present invention, since the control is performed by feedback using the image feature vector from the image of the image pickup device sequentially during the online processing, the position and orientation of the target object may change during the online processing. Even when an error occurs in the control of the motion of the image pickup apparatus, it is possible to absorb the influence of them and perform stable control.

【0124】(3)請求項12の発明では、オンライン
処理中に撮像装置画像からの画像特徴を抽出する処理及
び撮像装置の制御ベクトルを求める処理が不要なので、
高速に制御を行なうことが可能になる。
(3) According to the twelfth aspect of the present invention, there is no need for the process of extracting the image feature from the image of the image pickup device and the process of obtaining the control vector of the image pickup device during the online processing.
It becomes possible to control at high speed.

【図面の簡単な説明】[Brief description of drawings]

【図1】カメラモデル及び画像面に投影された対象物体
の説明図である。
FIG. 1 is an explanatory diagram of a target object projected on a camera model and an image plane.

【図2】本発明の第1の実施例のフローチャートであ
る。
FIG. 2 is a flow chart of the first embodiment of the present invention.

【図3】本発明の第2の実施例のフローチャートであ
る。
FIG. 3 is a flowchart of a second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 対象物体 2 カメラ 11〜22,31〜46 ステップ 1 target object 2 camera 11-22, 31-46 steps

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 B60R 1/00 B G05D 1/02 K G06T 7/00 G08G 1/16 C 7531−3H ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Office reference number FI Technical display location B60R 1/00 B G05D 1/02 K G06T 7/00 G08G 1/16 C 7531-3H

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 可動物体に取り付けられた撮像装置から
得られる対象物体の画像情報と、あらかじめ与えられ
た、前記対象物体に対する前記可動物体の位置及び姿勢
の目標軌道を基に決定される参照画像情報とを比較し
て、前記可動物体を前記目標軌道に沿って運動させる、
画像による可動物体の運動制御方法であって、 前記可動物体の目標軌道を生成する第1の処理と、前記
目標軌道に沿って前記可動物体を運動させたときに前記
撮像装置によって逐次撮影される画像から時系列参照画
像特徴ベクトルを生成する第2の処理と、前記時系列参
照画像特徴ベクトルと運動制御時に撮影される画像から
の画像特徴ベクトルに基づき前記可動物体の運動制御ベ
クトルを生成する第3の処理と、前記運動制御ベクトル
にしたがって前記可動物体の運動を制御する第4の処理
を有する、前記画像による可動物体の運動制御方法。
1. A reference image determined based on image information of a target object obtained from an imaging device attached to the movable object and a predetermined target trajectory of the position and orientation of the movable object with respect to the target object. Comparing the information to move the movable object along the target trajectory,
A method for controlling a motion of a movable object by means of an image, comprising: a first process for generating a target trajectory of the movable object; and a sequence of shooting by the imaging device when the movable object is moved along the target trajectory. A second process for generating a time-series reference image feature vector from an image, and a second process for generating a motion control vector for the movable object based on the time-series reference image feature vector and an image feature vector from an image captured during motion control A method for controlling the motion of a movable object by the image, including the process of 3 and a fourth process of controlling the motion of the movable object according to the motion control vector.
【請求項2】 前記第1の処理が、前記対象物体の形状
情報及び前記対象物体と前記可動物体の配置情報に基づ
き、計算により前記対象物体に対する前記可動物体の運
動すべき目標軌道を生成するものである請求項1記載の
画像による可動物体の運動制御方法。
2. The first process generates a target trajectory to be moved by the movable object with respect to the target object by calculation based on the shape information of the target object and the arrangement information of the target object and the movable object. The method for controlling motion of a movable object by an image according to claim 1, which is a thing.
【請求項3】 前記第1の処理が、前記可動物体を実際
に運動させ、その運動の軌跡を計測することにより、前
記対象物体に対する前記可動物体の運動すべき目標軌道
を生成するものである請求項1記載の画像による可動物
体の運動制御方法。
3. The first processing is to actually move the movable object and measure a trajectory of the movement to generate a target trajectory for the movable object to move with respect to the target object. A method for controlling motion of a movable object using an image according to claim 1.
【請求項4】 前記第1の処理が、最初に前記対象物体
の形状情報及び前記対象物体と前記可動物体の配置情報
に基づき、計算により前記対象物体に対する前記可動物
体の運動すべき仮の目標軌道を生成し、次に前記仮目標
軌道に沿って前記可動物体を実際に運動させながら前記
仮目標軌道を修正し、その修正された運動の軌跡を計測
することにより、前記対象物体に対する前記可動物体の
運動すべき目標軌道を生成するものである請求項1記載
の画像による可動物体の運動制御方法。
4. The tentative target to be moved of the movable object with respect to the target object by calculation based on the shape information of the target object and the arrangement information of the target object and the movable object first. By generating a trajectory, then correcting the temporary target trajectory while actually moving the movable object along the temporary target trajectory, and measuring the trajectory of the corrected motion, the movable object with respect to the target object is measured. The method for controlling the motion of a movable object by means of an image according to claim 1, wherein a target trajectory for the object to move is generated.
【請求項5】 前記第2の処理が、前記対象物体の形状
情報、前記撮像装置の各種パラメタ及び前記対象物体と
前記撮像装置との配置情報に基づき、目標軌道を前記可
動物体が運動したときに前記撮像装置が撮影する時系列
の画像を計算で求め、その時系列の画像から前記時系列
参照画像特徴ベクトルを生成するものである請求項1か
ら4のいずれか1項記載の画像による可動物体の運動制
御方法。
5. When the movable object moves along a target trajectory based on the shape information of the target object, various parameters of the imaging device, and arrangement information of the target object and the imaging device, the second processing. 5. The movable object according to any one of claims 1 to 4, wherein a time-series image captured by the imaging device is calculated, and the time-series reference image feature vector is generated from the time-series image. Motion control method.
【請求項6】 前記第2の処理が、前記可動物体を実際
に目標軌道に沿って運動させ、前記撮像装置が撮影する
時系列の画像から前記時系列参照画像特徴ベクトルを生
成するものである請求項1から4のいずれか1項記載の
画像による可動物体の運動制御方法。
6. The second process is to actually move the movable object along a target trajectory to generate the time-series reference image feature vector from a time-series image captured by the imaging device. A motion control method for a movable object using an image according to any one of claims 1 to 4.
【請求項7】 前記第2の処理における参照画像特徴ベ
クトルとして、前記対象物体上の特徴点が画像上に投影
された3点以上の画像特徴点の座標を用いる請求項1か
ら4のいずれか1項記載の画像による可動物体の運動制
御方法。
7. The coordinate of three or more image feature points on which a feature point on the target object is projected on an image is used as a reference image feature vector in the second processing. A method for controlling the motion of a movable object by the image according to item 1.
【請求項8】 前記第3の処理が、前記可動物体に取り
付けられた前記撮像装置からの画像から求められる画像
特徴ベクトルと運動制御ベクトルとの関係式及び前記時
系列参照画像特徴ベクトルと運動制御時に得られる時系
列の画像特徴ベクトルとの一致度を表現する評価関数を
基に、フィードバック制御に用いるフィードバック行列
の時系列を求める第1の処理と、前記参照画像特徴ベク
トル、前記フィードバック行列の時系列及び前記運動制
御時に得られる画像特徴ベクトルを基に、フィードバッ
ク制御則により前記可動物体の運動制御ベクトルを求め
る第2の処理とを有する請求項1から7のいずれか1項
記載の画像による可動物体の運動制御方法。
8. The third process is a relational expression between an image feature vector and a motion control vector obtained from an image from the imaging device attached to the movable object, and the time-series reference image feature vector and motion control. A first process for obtaining a time series of a feedback matrix used for feedback control based on an evaluation function expressing the degree of coincidence with a time series image feature vector, and the time of the reference image feature vector and the feedback matrix. The second process for obtaining the motion control vector of the movable object according to a feedback control rule based on the sequence and the image feature vector obtained during the motion control. Motion control method for objects.
【請求項9】 前記第1の処理が、前記可動物体の目標
軌道及び前記対象物体と前記可動物体の配置情報から、
前記撮像装置を中心とする座標系での前記対象物体の特
徴点の奥行きを求め、それに基づいて前記画像特徴ベク
トルと運動制御ベクトルとの関係式を求めるものである
請求項8記載の画像による可動物体の運動制御方法。
9. The first process, based on the target trajectory of the movable object and the arrangement information of the target object and the movable object,
9. The movable image according to claim 8, wherein the depth of the feature point of the target object in a coordinate system centered on the imaging device is obtained, and the relational expression between the image feature vector and the motion control vector is obtained based on the depth. Motion control method for objects.
【請求項10】 前記第1の処理が、前記対象物体上の
6点以上または同一平面上の4点以上の特徴点が画像上
に投影された画像特徴点の座標から、前記撮像装置を中
心とする座標系での前記対象物体の特徴点の奥行きを計
算によって求め、それに基づいて前記画像特徴ベクトル
と運動制御ベクトルとの関係式を求めるものである請求
項8記載の画像による可動物体の運動制御方法。
10. The first processing is based on the coordinates of the image feature points where 6 or more feature points on the target object or 4 or more feature points on the same plane are projected on the image, and the image pickup device is centered. 9. The motion of the movable object by the image according to claim 8, wherein the depth of the feature point of the target object in the coordinate system is calculated and the relational expression between the image feature vector and the motion control vector is calculated based on the calculated depth. Control method.
【請求項11】 フィードバック行列の時系列を求める
第1の処理を前記可動物体の運動制御を行なう前に行な
い、運動制御ベクトルを求める第2の処理を運動制御時
に行なう請求項8から10のいずれか1項記載の画像に
よる可動物体の運動制御方法。
11. The method according to claim 8, wherein the first process for obtaining the time series of the feedback matrix is performed before the motion control of the movable object, and the second process for obtaining the motion control vector is performed during the motion control. 2. A method for controlling the motion of a movable object by the image according to item 1.
【請求項12】 フィードバック行列の時系列を求める
第1の処理及び前記可動物体の運動制御ベクトルを求め
る第2の処理を前記可動物体の運動制御の前にあらかじ
め行なっておく請求項8から10のいずれか1項記載の
画像による可動物体の運動制御方法。
12. The method according to claim 8, wherein a first process for obtaining a time series of a feedback matrix and a second process for obtaining a motion control vector of the movable object are performed before the motion control of the movable object. A motion control method for a movable object by the image according to any one of claims.
JP6034806A 1994-03-04 1994-03-04 Method for controlling motion of movable target by using picture Pending JPH07244519A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6034806A JPH07244519A (en) 1994-03-04 1994-03-04 Method for controlling motion of movable target by using picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6034806A JPH07244519A (en) 1994-03-04 1994-03-04 Method for controlling motion of movable target by using picture

Publications (1)

Publication Number Publication Date
JPH07244519A true JPH07244519A (en) 1995-09-19

Family

ID=12424473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6034806A Pending JPH07244519A (en) 1994-03-04 1994-03-04 Method for controlling motion of movable target by using picture

Country Status (1)

Country Link
JP (1) JPH07244519A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986694A (en) * 1996-09-03 1999-11-16 Fuji Electric Co., Ltd. Image processing apparatus for moving camera
JP2007535765A (en) * 2004-04-27 2007-12-06 本田技研工業株式会社 Simultaneous positioning and mapping using multi-view feature descriptors
JP2013013950A (en) * 2011-07-01 2013-01-24 Seiko Epson Corp Robot, robot control device, robot control method and robot control program
WO2019116891A1 (en) * 2017-12-15 2019-06-20 川崎重工業株式会社 Robot system and robot control method
WO2020054281A1 (en) * 2018-09-12 2020-03-19 キヤノン株式会社 Robot system, robot system control device, robot system control method, imaging device, control program, and recording medium
JP2020113134A (en) * 2019-01-15 2020-07-27 株式会社アトラックラボ Unmanned moving object, unmanned moving object control method and unmanned moving program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986694A (en) * 1996-09-03 1999-11-16 Fuji Electric Co., Ltd. Image processing apparatus for moving camera
JP2007535765A (en) * 2004-04-27 2007-12-06 本田技研工業株式会社 Simultaneous positioning and mapping using multi-view feature descriptors
JP4644248B2 (en) * 2004-04-27 2011-03-02 本田技研工業株式会社 Simultaneous positioning and mapping using multi-view feature descriptors
JP2013013950A (en) * 2011-07-01 2013-01-24 Seiko Epson Corp Robot, robot control device, robot control method and robot control program
WO2019116891A1 (en) * 2017-12-15 2019-06-20 川崎重工業株式会社 Robot system and robot control method
JP2019107704A (en) * 2017-12-15 2019-07-04 川崎重工業株式会社 Robot system and robot control method
WO2020054281A1 (en) * 2018-09-12 2020-03-19 キヤノン株式会社 Robot system, robot system control device, robot system control method, imaging device, control program, and recording medium
JP2020040184A (en) * 2018-09-12 2020-03-19 キヤノン株式会社 Robot system, control method of robot system, control program and recording medium
US11992960B2 (en) 2018-09-12 2024-05-28 Canon Kabushiki Kaisha Robot system, control apparatus of robot system, control method of robot system, imaging apparatus, and storage medium
JP2020113134A (en) * 2019-01-15 2020-07-27 株式会社アトラックラボ Unmanned moving object, unmanned moving object control method and unmanned moving program

Similar Documents

Publication Publication Date Title
CN109975792B (en) Method for correcting point cloud motion distortion of multi-line laser radar based on multi-sensor fusion
CN107627303B (en) PD-SMC control method of visual servo system based on eye-on-hand structure
CN110520694A (en) A kind of visual odometry and its implementation
CN109807937B (en) Robot hand-eye calibration method based on natural scene
CN111801198A (en) Hand-eye calibration method, system and computer storage medium
CN110581945B (en) Control system, control device, image processing device, and storage medium
JP2015212644A (en) Information processor, method thereof, measurement device and work device
CN113570662A (en) System and method for 3D localization of landmarks from real world images
CN115446836A (en) Visual servo method based on mixing of multiple image characteristic information
JPH07244519A (en) Method for controlling motion of movable target by using picture
US20100246893A1 (en) Method and Apparatus for Nonlinear Dynamic Estimation of Feature Depth Using Calibrated Moving Cameras
Colombo et al. Affine visual servoing: A framework for relative positioning with a robot
CN109542094A (en) Mobile robot visual point stabilization without desired image
Fuchs et al. Advanced 3-D trailer pose estimation for articulated vehicles
CN110722547B (en) Vision stabilization of mobile robot under model unknown dynamic scene
JPH07218251A (en) Method and device for measuring stereo image
JP3326851B2 (en) Method and apparatus for recognizing three-dimensional position and orientation based on vision
Lei et al. Visually guided robotic tracking and grasping of a moving object
CN113459841B (en) Automatic charging control method and device based on uncalibrated binocular vision
JP3151149B2 (en) Manipulator control method using image information
JP2002189519A (en) Tracing system and tracing method
JP7172151B2 (en) Control systems, controllers and programs
CN106826826B (en) A kind of robot control method and device
Pari et al. Image based visual servoing: Estimated image jacobian by using fundamental matrix vs analytic jacobian
Huynh et al. Dynamic Hybrid Filter for Vision‐Based Pose Estimation of a Hexa Parallel Robot