JP2700260B2 - Image processing device - Google Patents
Image processing deviceInfo
- Publication number
- JP2700260B2 JP2700260B2 JP29193788A JP29193788A JP2700260B2 JP 2700260 B2 JP2700260 B2 JP 2700260B2 JP 29193788 A JP29193788 A JP 29193788A JP 29193788 A JP29193788 A JP 29193788A JP 2700260 B2 JP2700260 B2 JP 2700260B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- image processing
- processing apparatus
- reference pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、対象パターンと参照パターンとを重ね合せ
る画像処理装置に係り、特に実時間で処理を行なう画像
処理装置に関する。Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus that superimposes a target pattern and a reference pattern, and more particularly to an image processing apparatus that performs processing in real time.
二つのパターンを重も合せる方法としては、特開昭62
−169284号の例がある。この方法は、パターンの輪郭線
を方向別に分類し、各方向ごとにその重心位置を求め、
二つのパターンについて対応する方向の重心位置の差が
すべて同一になるようなパターンの回転移動角を探し、
二つのパターンを重ね合せるための並行・回転移動量を
求めるものである。Japanese Patent Application Laid-Open No. Sho 62
There is an example of -169284. This method classifies the contour of the pattern by direction, finds the position of the center of gravity for each direction,
Search for the rotational movement angle of the pattern such that the difference between the positions of the centers of gravity in the corresponding directions for the two patterns is all the same,
This is to determine the parallel / rotational movement amount for superimposing two patterns.
また、別の例として、特開昭60−84610号がある。こ
の例は、二つのパターンの間に働く引力を仮想し、この
力の方向にパターンを並行移動し、二つのパターンを重
ね合せるものである。Another example is JP-A-60-84610. In this example, an attractive force acting between two patterns is imagined, the patterns are moved in parallel in the direction of the force, and the two patterns are superimposed.
さらに、一般的に知られている方法として、テンプレ
ートマッチングがあげられる。この方法は、参照パター
ンを少しずつずらしながら、二つのパターンの重なり具
合を示す相関係数を計算し、この系数が最大となる位置
を探すものである。Further, a generally known method is template matching. This method calculates a correlation coefficient indicating the degree of overlap between two patterns while shifting the reference pattern little by little, and seeks a position where this coefficient is maximized.
上記従来技術のうち第１と第３の方法では、重ね合せ
るためのパターンの移動量の決定に際し、どちらに行く
べきか基準がないので、すべての場合について探索する
必要があった。このため処理時間が長くなる欠点があっ
た。In the first and third methods of the above-mentioned prior art, when determining the moving amount of the pattern to be superimposed, since there is no reference to which to go, it is necessary to search in all cases. For this reason, there was a drawback that the processing time became long.
また、対象パターンに欠落やノイスがある場合、重ね
合せの精度が落ちたり、うまくいかなくなる問題があっ
た。In addition, when the target pattern has a missing portion or a noise, there is a problem in that the accuracy of the superimposition is lowered or the pattern is not good.
一方、上記第２の方法では、平行移動による重ね合せ
のみが考えられており、二つのパターンの間に回転移動
を含むずれがあると、対処できなかった。On the other hand, in the above-mentioned second method, only the superposition by the parallel movement is considered, and if there is a shift including the rotational movement between the two patterns, it cannot be dealt with.
本発明の目的は、対象パターンの欠落やノイズに強
く、回転を含む一般的なずれに対処でき、高速処理が可
能なパターン重ね合せ画像処理装置を提供することであ
る。SUMMARY OF THE INVENTION It is an object of the present invention to provide a pattern superimposed image processing apparatus that is resistant to missing or noise of a target pattern, can cope with general deviation including rotation, and can perform high-speed processing.
本発明は、上記目的を達成するために、画像の対象パ
ターンと参照パターンとを重ね合せる画像処理装置にお
いて、対象パターンに基づくポテンシャル場を計算する
ポテンシャル計算装置と、参照パターンを記憶する画像
記憶装置と、ポテンシャル計算装置の出力と画像記憶装
置に記憶された参照パターンとにより画像の縦および横
方向に働く力の合力を計算する力計算装置と、ポテンシ
ャル計算装置の出力と画像記憶装置に記憶された参照パ
ターンとにより画像を回転させるモーメントの合力を計
算するモーメント計算装置と、縦および横方向の合力並
びにモーメントの合力に基づき参照パターンと対象パタ
ーンとのずれを修正する手段とを含む画像処理装置を提
案するものである。In order to achieve the above object, the present invention provides an image processing apparatus that superimposes a target pattern and a reference pattern on an image, a potential calculation device that calculates a potential field based on the target pattern, and an image storage device that stores the reference pattern And a force calculator for calculating the resultant of forces acting in the vertical and horizontal directions of the image based on the output of the potential calculator and the reference pattern stored in the image memory, and the output of the potential calculator and stored in the image memory. Image processing apparatus comprising: a moment calculation device for calculating a resultant force of a moment for rotating an image based on a reference pattern obtained from the reference pattern; Is proposed.
前記ずれ修正手段は、具体的には、特徴パターンに対
応した参照パターンを与えられた位置に応じて生成する
参照パターン生成装置と、参照パターンを生成するため
の形状および位置データを記憶するパターン情報記憶装
置と、上記縦および横方向の合力並びにモーメントの方
向にパターン情報記憶装置中の位置データを書き換えさ
せる修正装置とからなる。Specifically, the shift correcting means includes a reference pattern generation device that generates a reference pattern corresponding to a feature pattern in accordance with a given position, and pattern information that stores shape and position data for generating the reference pattern. It comprises a storage device and a correction device for rewriting position data in the pattern information storage device in the direction of the resultant force and moment in the vertical and horizontal directions.
本発明は、また、ロボットアーム等の誘導対象物に固
定されたカメラ等の入力機器から取り込まれた画像の対
象パターンと参照パターンとを重ね合せ、誘導物を所定
の位置に誘導する画像処理装置において、対象パターン
に基づくポテンシャル場を計算するポテンシャル計算装
置と、参照パターンを記憶する画像記憶装置と、ポテン
シャル計算装置の出力と画像記憶装置に記憶された参照
パターンとにより画像の縦および横方向に働く力の合力
を計算する力計算装置と、ポテンシャル計算装置の出力
と画像記憶装置に記憶された参照パターンとにより前記
画像を回転させるモーメントの合力を計算するモーメン
ト計算装置と、縦および横方向の合力並びに前記モーメ
ントの合力に基づき誘導対象物を移動させ参照パターン
と対象パターンとのずれを修正する手段とを含む画像処
理装置を提案するものである。The present invention also provides an image processing apparatus that superimposes a target pattern of an image captured from an input device such as a camera fixed to a guidance target such as a robot arm and a reference pattern, and guides the guidance to a predetermined position. In, a potential calculation device that calculates a potential field based on the target pattern, an image storage device that stores a reference pattern, and the output of the potential calculation device and the reference pattern stored in the image storage device in the vertical and horizontal directions of the image A force calculation device for calculating the resultant of the acting forces, a moment calculation device for calculating the resultant of the moments for rotating the image by the output of the potential calculation device and the reference pattern stored in the image storage device, and a vertical and horizontal direction. The guidance target is moved based on the resultant force and the resultant force of the moment, and the reference pattern and the target pattern are moved. It is to propose an image processing apparatus including a means for correcting the record.
本発明は、さらに、カメラ等の入力機器から取り込ま
れた画像の対象パターンと参照パターンとを重ね合せ、
カメラ等のぶれを解消する画像処理装置において、対象
パターンに基づくポテンシャル場を計算するポテンシャ
ル計算装置と、カメラ等から最初に取り込まれた画像を
参照パターンとして記憶する画像記憶装置と、ポテンシ
ャル計算装置の出力と画像記憶装置に記憶された参照パ
ターンとにより画像の縦および横方向に働く力の合力を
計算する力計算装置と、ポテンシャル計算装置の出力と
画像記憶装置に記憶された参照パターンとにより画像を
回転させるモーメントの合力を計算するモーメント計算
装置と、縦および横方向の合力並びにモーメントの合力
に基づきカメラ等から新たに取り込まれる画像をずらす
画像ずらし装置とを含む画像処理装置を提案するもので
ある。The present invention further superimposes a target pattern and a reference pattern of an image captured from an input device such as a camera,
In an image processing device that eliminates blurring of a camera or the like, a potential calculation device that calculates a potential field based on a target pattern, an image storage device that stores an image first captured from a camera or the like as a reference pattern, A force calculation device for calculating a resultant force of forces acting in the vertical and horizontal directions of the image based on the output and the reference pattern stored in the image storage device, and an image based on the output of the potential calculation device and the reference pattern stored in the image storage device The present invention proposes an image processing device including a moment calculating device that calculates a resultant force of moments for rotating the image, and an image shifting device that shifts an image newly captured from a camera or the like based on the resultant force in the vertical and horizontal directions and the resultant force of the moment. is there.
いずれの場合も、カメラ等の入力機器から入力された
濃淡画像からその画像の特徴パターンを計算しポテンシ
ャル計算装置に出力する特徴パターン計算装置を備える
ことができる。In any case, a feature pattern calculation device that calculates a feature pattern of the image from a grayscale image input from an input device such as a camera and outputs the calculated feature pattern to a potential calculation device can be provided.
また、ポテンシャル計算装置は、自らの計算結果を記
憶する第２の画像記憶装置を備え、第２の画像記憶装置
との間のループを用いて差分法によりポテンシャル場を
計算する装置としてもよい。In addition, the potential calculation device may include a second image storage device that stores its own calculation result, and may calculate the potential field by a difference method using a loop with the second image storage device.
さらに、モーメント計算装置は、画像領域を複数の領
域に分割し、各領域で合計した縦および横方向の力を加
減算し、前記モーメントを近似演算する装置とすること
も可能である。Further, the moment calculating device may be a device that divides the image region into a plurality of regions, adds and subtracts the total vertical and horizontal forces in each region, and approximates the moment.
ポテンシャル計算装置は対象パターンを源とするポテ
ンシャル場を計算する。力計算装置とモーメント計算装
置とはこのポテンシャル場に参照パターンをのせた場合
に働く力とモーメントの合力とを計算する。この力とモ
ーメトンは二つのパターンを重ね合せる方向に働くの
で、力とモーメントの方向にパターンを動かすと、二つ
のパターンを重ね合せできる。また、この力とモーメン
トは二つのパターンの各部に働く力の合力であり、しか
も二つのパターンが接近するほど強く働くから、対象パ
ターンに欠落やノイズがあっても、正確に重ね合せるこ
とが可能である。The potential calculation device calculates a potential field from the target pattern. The force calculation device and the moment calculation device calculate the force acting when the reference pattern is placed on this potential field and the resultant force of the moment. Since the force and the mometon act in the direction in which the two patterns overlap, moving the pattern in the direction of the force and the moment allows the two patterns to overlap. Also, this force and moment are the sum of the forces acting on each part of the two patterns.Moreover, the closer the two patterns are, the stronger they work, so even if the target pattern has missing or noise, it can be superimposed accurately It is.
繰り返し計算によるポテンシャルの近似計算は、少な
い繰り返し回数でも妥当な近似を与え、また、他の処理
と同時並列に計算できることから、処理の高速化を可能
にする。The approximation of the potential by iterative calculation gives a reasonable approximation even with a small number of repetitions, and can be performed simultaneously and in parallel with other processes.
さらに、画面の４分割によるモーメント計算の近似
は、乗算を必要としないので、処理を高速化できる。Further, the approximation of moment calculation by dividing the screen into four does not require multiplication, so that the processing can be speeded up.
実施例の説明に先立ち、本発明によるパターンの重ね
合せ原理について説明する。Prior to the description of the embodiments, the principle of pattern superposition according to the present invention will be described.
第２図において、Ａは対象パターン,Bは参照パターン
であり、ＢはＡに対してずれている。対象パターンA,参
照パターンB2次元平面上の関数ａ（x,y）,b（x,y）で表
現する。このとき、 で定義される２次元のポテンシャル場φ（x,y）を考え
る。次にこのポテンシャル場に参照パターンＢを置いた
場合にこのパターンに作用する力とモーメントの合力と
を と定義する。ただし、Ｓは画像平面上の全領域で、
（x0，y0）は参照パターンＢの重心位置である。上記ポ
テンシャル場φ（x,y）はちょうどパターンＡに電荷を
与えた場合に生じる電場に似た形となり、力Fx,Fyとモ
ーメントＮとは、参照パターンＢに対象パターンＡと逆
の電荷を与えた場合に働く力に似たものとなる。したが
って、対象パターンＡと参照パターンＢとがある程度重
なっている状態では、Fx,FyとＮとは両パターンを完全
に重ね合せるような方向に働くことになる。そこで、参
照パターンＢを（Fx,Fy）の方向に（dx,dy）だけずら
し、かつ重心まわりにＮの方向にｄθだけ回転させて、
再びFx,Fy,N計算することを繰り返すと、対象パターン
Ａと参照パターンＢとを重ね合せできる。In FIG. 2, A is a target pattern, B is a reference pattern, and B is shifted from A. The target pattern A and the reference pattern B are represented by functions a (x, y) and b (x, y) on a two-dimensional plane. At this time, Consider a two-dimensional potential field φ (x, y) defined by Next, when the reference pattern B is placed in this potential field, the force acting on this pattern and the resultant of the moment are Is defined. Where S is the entire area on the image plane,
(X 0 , y 0 ) is the position of the center of gravity of the reference pattern B. The potential field φ (x, y) has a shape similar to an electric field generated when a charge is applied to the pattern A, and the forces Fx, Fy and the moment N express the charge opposite to that of the target pattern A to the reference pattern B. It is similar to the force that works when given. Therefore, in a state where the target pattern A and the reference pattern B overlap to some extent, Fx, Fy, and N act in a direction such that both patterns are completely overlapped. Then, the reference pattern B is shifted by (dx, dy) in the direction of (Fx, Fy) and rotated around the center of gravity by dθ in the direction of N,
By repeating the calculation of Fx, Fy, N again, the target pattern A and the reference pattern B can be superimposed.
本発明による画像処理装置の第１実施例の構成を第１
図に示す。本実施例はテーブルなどの上に置かれた物体
の位置および姿勢をカメラりから取り込んだ画像により
求めるものである。図において、１は対象物を写すカメ
ラ、２はカメラ１により得た濃淡画像から特徴パターン
を取り出す特徴パターン計算装置である。特徴パターン
計算装置２は、本実施例では、特徴パターンとして画面
を微分して得られるエッジパターンを計算する。３は特
徴パターン計算装置２の出力画像をもとにポテンシャル
場を計算するポテンシャル計算装置、４は計算されたポ
テンシャル場を記憶する第１画像記憶装置である。９は
物体11の形状データとカメラ位置を基準とした物体の推
定位置および姿勢データを記憶しているパターン情報記
憶装置、10はパターン情報記憶装置９のデータに基づい
てカメラの視点から見た時に推定される物体11の参照パ
ターンを生成する参照パターン生成装置、６は生成され
た参照パターンを記憶する第２画像記憶装置である。The configuration of the first embodiment of the image processing apparatus according to the present invention
Shown in the figure. In this embodiment, the position and orientation of an object placed on a table or the like are obtained from images captured from a camera. In the figure, reference numeral 1 denotes a camera that captures an object, and 2 denotes a feature pattern calculation device that extracts a feature pattern from a grayscale image obtained by the camera 1. In this embodiment, the feature pattern calculation device 2 calculates an edge pattern obtained by differentiating a screen as a feature pattern. Reference numeral 3 denotes a potential calculation device that calculates a potential field based on an output image of the feature pattern calculation device 2, and 4 denotes a first image storage device that stores the calculated potential field. Reference numeral 9 denotes a pattern information storage device that stores shape data of the object 11 and estimated position and orientation data of the object based on the camera position. Reference numeral 10 denotes a pattern information storage device when viewed from the viewpoint of the camera based on the data of the pattern information storage device 9. A reference pattern generation device that generates a reference pattern of the estimated object 11 is a second image storage device that stores the generated reference pattern.
参照パターン生成装置10が生成する参照パターンは、
特徴パターン計算装置２が計算する特徴パターンに対応
したものであり、本実施例では物体の隠線消去により得
られるワイヤフレーム像である。５は第1,第２画像記憶
装置4,6のデータにより参照パターンに作用する力を計
算する力計算装置、７は同じくモーメントを計算するモ
ーメント計算装置である。８は力計算装置５およびモー
メント計算装置７で求められた力とモーメントによりパ
ターン情報記憶装置９の中の物体位置を修正する修正装
置である。The reference pattern generated by the reference pattern generation device 10 is
This corresponds to a feature pattern calculated by the feature pattern calculation device 2, and in this embodiment, is a wire frame image obtained by erasing hidden lines of an object. Reference numeral 5 denotes a force calculation device for calculating a force acting on the reference pattern based on the data of the first and second image storage devices 4 and 6, and reference numeral 7 denotes a moment calculation device for calculating a moment. Reference numeral 8 denotes a correction device that corrects an object position in the pattern information storage device 9 based on the force and moment obtained by the force calculation device 5 and the moment calculation device 7.
ポテンシャル計算装置３のポテンシャル計算は、式
（１）の解を正確に得るものであってもよいが、一般に
多大の計算を要するので、ここでは以下に示す差分演算
により近似的に計算する。The potential calculation of the potential calculation device 3 may be one that accurately obtains the solution of the equation (1), but generally requires a large amount of calculation.
ここで▲Ut ij▼は画素（i,j）のｔ回目の繰り返し計算
結果aijは入力エッジパターンの（i,j）画素値、ｋは定
数である。この計算は繰り返し回数が多いほど式（１）
の解に近付くが、少ない繰り返し回数であっても、以下
の処理を行なうのに十分な近似を与える。また、カメラ
１から画像を連続的に入力する場合、一つ前の画像に対
する計算結果を初期値とすると、繰り返し回数を節約で
きる。第１図の例では第１画像記憶装置４に▲Ut ij▼を
記憶しておき、ポテンシャル計算装置３と第１画像記憶
装置４との間のループにより繰り返し計算を行なう。 Here, ▲ U t ijは is the t-th repetition calculation result a ij of the pixel (i, j), (i, j) pixel value of the input edge pattern, and k is a constant. In this calculation, as the number of repetitions increases, the expression (1)
, But gives an approximation sufficient to perform the following processing even with a small number of iterations. When images are continuously input from the camera 1, the number of repetitions can be reduced by setting the calculation result for the immediately preceding image as an initial value. In the example of FIG. 1, ▲ U t ij記憶 is stored in the first image storage device 4, and the calculation is repeatedly performed by a loop between the potential calculation device 3 and the first image storage device 4.
力計算装置５では次式によりx,y方向の力を計算す
る。The force calculator 5 calculates the forces in the x and y directions according to the following equations.
一方、モーメント計算装置７では次式によりモーメン
トを計算する。 On the other hand, the moment calculator 7 calculates the moment by the following equation.
ここでbijは参照パターンＢの（i,j）画素値、i0，j0は
Ｂの重心位置に相当する画素位置である。 Here, b ij is an (i, j) pixel value of the reference pattern B, and i 0 and j 0 are pixel positions corresponding to the position of the center of gravity of B.
ところで、参照パターンＢがおおよそ画面中心にある
場合には、上記のモーメント計算は以下のように近似で
きる。すなわち、画面Ｓを第３図に示すようにS1，S2，
S3，S4の４領域に分割し、それぞれの領域で合計した力
を として Ｎ＝Fx1＋Fy1−Fx2−Fy2＋Fx3−Fy3＋Fx4＋Fy4 （12） により近似できる。なお、分割数は４領域に限らず、複
数であればよいが、あまり多く分割しないでも、充分な
近似精度が得られるから、計算速度とのかね合いで分割
数を決める。By the way, when the reference pattern B is approximately at the center of the screen, the above moment calculation can be approximated as follows. That is, the screen S is displayed as S 1 , S 2 ,
Divided into four areas S 3 and S 4 and the total force in each area N = Fx 1 + Fy 1 −Fx 2 −Fy 2 + Fx 3 −Fy 3 + Fx 4 + Fy 4 (12) It should be noted that the number of divisions is not limited to four, but may be any number. However, even if the number of divisions is not too large, sufficient approximation accuracy can be obtained.
修正装置８は、力計算装置５とモーメント計算装置７
でそれぞれ計算した力とモーメントの方向に応じて、パ
ターン情報記憶装置９の中の物体位置および姿勢に以下
に示すdx,dy,dθを加算する。The correction device 8 includes a force calculation device 5 and a moment calculation device 7.
The following dx, dy, and dθ are added to the object position and orientation in the pattern information storage device 9 in accordance with the directions of the force and moment calculated respectively.
次に本実施例の動作について説明する。 Next, the operation of this embodiment will be described.
まず、第１画像記憶装置４には▲Ut ij▼＝０ポテンシ
ャルをセットし、パターン情報記憶装置９には物体位置
および姿勢の初期推定値をセットする。カメラ１から物
体11の画像を入力し始めると、特徴パターン計算装置２
はそのエッジパターンを対象パターンとして生成し、ポ
テンシャル計算装置３は繰り返し計算によりポテンシャ
ル場を第１画像記憶装置４に出力する。一方、参照パタ
ーン生成装置10はパターン情報記憶装置９にセットされ
た初期物体位置および姿勢により参照パターンを第２画
像記憶装置６の書き込む。力計算装置５およびモーメン
ト計算装置７は第１および第２画像記憶装置4,6内のデ
ータにより力とモーメントを計算し、修正装置８はその
計算結果に基づいてパターン情報記憶装置９にセットさ
れた物体位置および姿勢を修正する。参照パターン生成
装置10は再び修正された位置および姿勢により参照パタ
ーンを生成し、第２画像記憶装置６に書き込む。この繰
り返しにより参照パターンは対象パターンである物体の
エッジパターンに重なってゆく。重ね合せが完了したこ
との判定は、例えば、上記繰り返し処理において過去数
回の位置姿勢修正量の平均がほとんど０になったかどう
かによりなされる。カメラの位置が既知であれば、重ね
合せ処理が完了した時点でのパターン情報記憶装置９内
の物体位置および姿勢データにより物体の位置と姿勢と
を知ることができる。First, (U t ij) = 0 potential is set in the first image storage device 4, and initial estimated values of the object position and orientation are set in the pattern information storage device 9. When input of an image of the object 11 from the camera 1 starts, the feature pattern calculation device 2
Generates the edge pattern as a target pattern, and the potential calculation device 3 outputs the potential field to the first image storage device 4 by iterative calculation. On the other hand, the reference pattern generation device 10 writes a reference pattern in the second image storage device 6 based on the initial object position and orientation set in the pattern information storage device 9. The force calculation device 5 and the moment calculation device 7 calculate forces and moments based on the data in the first and second image storage devices 4 and 6, and the correction device 8 is set in the pattern information storage device 9 based on the calculation results. Correct the object position and orientation. The reference pattern generation device 10 generates a reference pattern based on the corrected position and orientation again, and writes the reference pattern in the second image storage device 6. By this repetition, the reference pattern overlaps with the edge pattern of the object which is the target pattern. The determination that the superposition has been completed is made based on, for example, whether or not the average of the past several times of the position and orientation corrections has become almost zero in the above-described repetitive processing. If the position of the camera is known, the position and orientation of the object can be known from the object position and orientation data in the pattern information storage device 9 at the time when the superposition processing is completed.
上記実施例において、特徴パターン計算装置２はエッ
ジパターン以外の例えばテクスチャや色を抽出するもの
であってもよい。この場合、パターン情報記憶装置９内
の形状データとしては、その特徴量に対応した推定パタ
ーンを表示し得るデータを用意しておくことになる。In the above embodiment, the feature pattern calculation device 2 may extract, for example, a texture or a color other than the edge pattern. In this case, as the shape data in the pattern information storage device 9, data capable of displaying an estimated pattern corresponding to the feature amount is prepared.
上記実施例においてカメラ１の視点は必ずしも物体の
真上になくてもよく、第４図（Ｂ）に示すように斜め方
向から見ることも可能である。この場合、物体11の姿勢
によっては対象パターンと参照パターンとが同図（Ａ）
のように合同とならないこともあるが、二つのパターン
の間に働く力の定性的な方向が保存されているので、重
ね合せできる。In the above embodiment, the viewpoint of the camera 1 does not always have to be directly above the object, and can be viewed from an oblique direction as shown in FIG. 4 (B). In this case, depending on the posture of the object 11, the target pattern and the reference pattern may be different from those shown in FIG.
However, the qualitative direction of the force acting between the two patterns is preserved, so that they can be superimposed.
第５図は本発明をロボットアームの誘導に利用した第
２実施例の構成を示す図である。カメラ１からモーメン
ト計算装置７までは第１実施例と同様のものである。12
は力計算装置５とモーメント計算装置７とにより計算し
た力とモーメントに応じてロボットアーム13を動かすべ
き方向を計算するロボットアーム制御装置である。14は
ロボットアーム13が物体11をつかむ所定の位置にある時
の物体11の参照パターンを生成し第２画像記憶装置６に
書き込む参照パターン発生装置である。なお、本実施例
の場合、カメラ１はロボットアーム13の先端に固定され
ている。FIG. 5 is a diagram showing a configuration of a second embodiment in which the present invention is used for guiding a robot arm. The components from the camera 1 to the moment calculation device 7 are the same as those in the first embodiment. 12
Is a robot arm control device that calculates the direction in which the robot arm 13 should be moved in accordance with the force and moment calculated by the force calculation device 5 and the moment calculation device 7. Reference numeral 14 denotes a reference pattern generation device that generates a reference pattern of the object 11 when the robot arm 13 is at a predetermined position where the object 11 is grasped, and writes the reference pattern into the second image storage device 6. In this embodiment, the camera 1 is fixed to the tip of the robot arm 13.
ロボットアーム13が物体11をつかもうとして近付いて
いる場合、参照パターン発生装置14は、ロボットアーム
13が物体11をつかむための所定の位置にあるときにカメ
ラから得られる物体の推定パターンを第２画像記憶装置
６に予め書き込んでおく。以下、第１実施例と同様の手
順で力とモーメントが計算されるが、本実施例では、こ
の力とモーメントにより第２画像記憶装置６の参照パタ
ーンを動かすかわりに、ロボットアーム13を動かし、カ
メラ画面上での物体位置を変化させて重ね合せる。した
がって、重ね合せ処理が完了した時点でロボットアーム
13の先端は物体11をつかむ所定の位置に誘導されること
になる。When the robot arm 13 approaches to grasp the object 11, the reference pattern generator 14
An estimated pattern of the object obtained from the camera when 13 is at a predetermined position for grasping the object 11 is written in the second image storage device 6 in advance. Hereinafter, forces and moments are calculated in the same procedure as in the first embodiment. In this embodiment, instead of moving the reference pattern of the second image storage device 6 by using the forces and moments, the robot arm 13 is moved. The object position on the camera screen is changed and superimposed. Therefore, when the superposition process is completed, the robot arm
The tip of 13 is guided to a predetermined position where the object 11 is grasped.
既に述べたように、本発明の重ね合せ処理では漸近的
に重ね合せを行なう。したがって、上記第２実施例にお
いて物体11がゆっくり移動しているような場合でも、そ
れを追跡してロボットアーム13の先端を所定の位置に誘
導できる。As described above, in the overlay processing of the present invention, overlay is asymptotically performed. Therefore, even when the object 11 is moving slowly in the second embodiment, it can be tracked and the tip of the robot arm 13 can be guided to a predetermined position.
第６図は本発明をカメラぶれ補正装置に利用した第３
実施例である。カメラ１から修正装置８までは第１実施
例と同様のものである。15はカメラ１の画像を修正装置
８が出力するdx,dy,dθと逆の方向に移動および回転さ
せて出力する画像ずらし装置である。16は第２画像記憶
装置６への画像の書き込みを制御するスイッチである。
17はモニタディスプレイである。FIG. 6 shows a third embodiment in which the present invention is applied to a camera shake correction apparatus.
This is an example. The components from the camera 1 to the correction device 8 are the same as those in the first embodiment. Reference numeral 15 denotes an image shifter that moves and rotates the image of the camera 1 in the direction opposite to the directions dx, dy, and dθ output by the correction device 8 and outputs the image. A switch 16 controls writing of an image to the second image storage device 6.
17 is a monitor display.
初めに書込み制御スイッチ16を閉じて基準となる画像
の特徴パターンを第２画像記憶装置６に記憶する。その
後、書込み制御スイッチ16を開いておき、カメラ１から
入力される画像に対して第１実施例と同様の手順により
力とモーメントを計算する。この力とモーメントにより
画像ずらし装置15を用いてカメラ１の画像を移動および
回転させて特徴パターン計算装置２が生成する対象パタ
ーンと第２画像記憶装置６の参照パターンとを重ね合せ
る。これによりモニタ７に映る画像はカメラ１が揺れて
も第２画像記憶装置６に記憶した基準画像の位置に固定
して見える。First, the writing control switch 16 is closed and the reference image feature pattern is stored in the second image storage device 6. Thereafter, the writing control switch 16 is opened, and the force and moment are calculated for the image input from the camera 1 in the same procedure as in the first embodiment. The image of the camera 1 is moved and rotated using the image shifting device 15 by the force and moment, and the target pattern generated by the feature pattern calculation device 2 and the reference pattern of the second image storage device 6 are superimposed. As a result, the image reflected on the monitor 7 looks fixed at the position of the reference image stored in the second image storage device 6 even when the camera 1 shakes.
本発明の重ね合せ方式では、参照パターンと対象パタ
ーンの各部に働く力の合力の方向により、重ね合せるた
めの移動方向を決定するので、対象パターンの欠落やノ
イズに対して強い重ね合せを実現できる。In the superposition method of the present invention, the moving direction for superposition is determined based on the direction of the resultant force of the forces acting on each part of the reference pattern and the target pattern. .
本発明の重ね合せ処理は、その各処理を同時進行的に
行ない、しかも処理の大半を簡単な加減算によって近似
でき、処理の高速化が容易である。In the superposition processing of the present invention, each processing is performed simultaneously, and most of the processing can be approximated by simple addition and subtraction, so that the processing can be speeded up easily.
本発明では、モーメントを考えることにより対象パタ
ーンと参照パターンの間に回転によるずれがある場合に
も対処できる。したがって、移動ロボットの誘導のみで
はなく、広く一般的な重ね合せ処理に対処することが可
能となる。また、パターンに働く力の定性的方向が保存
されていれば、対象パターンと参照パターンが位置姿勢
のずれによって合同でなくなるような場合にも利用でき
る。すなわち、従来のテンプレートマッチングとは異な
り、重ね合せるべき参照パターンが処理の進行とともに
変形するような重ね合せも実行できる。In the present invention, by considering the moment, it is possible to cope with the case where there is a displacement due to rotation between the target pattern and the reference pattern. Therefore, it is possible to cope with not only the guidance of the mobile robot but also a general overlapping process. Further, if the qualitative direction of the force acting on the pattern is stored, it can also be used in a case where the target pattern and the reference pattern are not congruent due to a shift in position and orientation. That is, unlike the conventional template matching, it is also possible to execute the superposition such that the reference pattern to be superimposed is deformed as the processing proceeds.
第１図は本発明による画像処理装置の第１実施例の構成
を示す図、第２図は本発明に用いる重ね合せの原理を説
明する図、第３図はモーメントの近似計算方法を説明す
る図、第４図は対象物とカメラのと位置関係を説明する
図、第５図はロボットアームの誘導に利用した本発明に
よる画像処理装置の第２実施例の構成を示す図、第６図
はカメラぶれ補正装置に利用した本発明による画像処理
装置の第３実施例の構成を示す図である。 １……カメラ、２……特徴パターン計算装置、３……ポ
テンシャル計算装置、４……第１画像記憶装置、５……
力計算装置、６……第２画像記憶装置、７……モーメン
ト計算装置、８……修正装置、９……パターン情報記憶
装置、10……参照パターン生成装置、11……物体、12…
…ロボットアーム制御装置、13……ロボットアーム、14
……参照パターン発生装置、15……画像ずらし装置、16
……書込み制御スイッチ、17……モニタ。FIG. 1 is a diagram showing the configuration of a first embodiment of an image processing apparatus according to the present invention, FIG. 2 is a diagram illustrating the principle of superposition used in the present invention, and FIG. 3 is a diagram illustrating an approximate calculation method of moment. FIG. 4 is a view for explaining the positional relationship between the object and the camera. FIG. 5 is a view showing the configuration of a second embodiment of the image processing apparatus according to the present invention used for guiding the robot arm. FIG. 9 is a diagram showing the configuration of a third embodiment of the image processing apparatus according to the present invention used in a camera shake correction apparatus. DESCRIPTION OF SYMBOLS 1 ... Camera 2 ... Feature pattern calculation device 3 ... Potential calculation device 4 ... First image storage device 5 ...
Force calculation device, 6 second image storage device, 7 moment calculation device, 8 correction device, 9 pattern information storage device, 10 reference pattern generation device, 11 object, 12
… Robot arm control device, 13 …… Robot arm, 14
…… Reference pattern generator, 15 …… Image shifter, 16
...... Write control switch, 17 Monitor.
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−182390（ＪＰ，Ａ) 特開 昭60−84669（ＪＰ，Ａ) 日本ロボット学会誌，1987年，第５ 巻，第５号，ｐ．343−350 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-61-182390 (JP, A) JP-A-60-84669 (JP, A) Journal of the Robotics Society of Japan, 1987, Vol. 5, No. 5, p. 343-350
Claims (7)
ね合せる画像処理装置において、 前記対象パターンに基づくポテンシャル場を計算するポ
テンシャル計算装置と、 前記参照パターンを記憶する記憶処理装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像の縦および横
方向に働く力の合力を計算する力計算装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像を回転させる
モーメントの合力を計算するモーメント計算装置と、 前記縦および横方向の合力並びに前記モーメントの合力
に基づき前記参照パターンと前記対象パターンとのずれ
を修正する手段と を含むことを特徴とする画像処理装置。1. An image processing apparatus for superimposing a target pattern on an image with a reference pattern, a potential calculation device for calculating a potential field based on the target pattern, a storage processing device for storing the reference pattern, and the potential calculation A force calculation device that calculates a resultant force of forces acting in the vertical and horizontal directions of the image based on an output of the device and a reference pattern stored in the image storage device; and an output of the potential calculation device and stored in the image storage device. A moment calculation device that calculates a resultant force of a moment for rotating the image by the reference pattern, and a unit that corrects a shift between the reference pattern and the target pattern based on the resultant force in the vertical and horizontal directions and the resultant force. An image processing apparatus comprising:
パターンを与えられた位置に応じて生成する参照パター
ン生成装置と、前記参照パターンを生成するための形状
および位置データを記憶するパターン情報記憶装置と、
上記縦および横方向の力並びにモーメントの方向に前記
パターン情報記憶装置中の位置データを書き換えさせる
修正装置とからなることを特徴とする画像処理装置。2. The image processing apparatus according to claim 1, wherein said shift correcting means generates a reference pattern corresponding to said characteristic pattern in accordance with a given position, and further comprising: A pattern information storage device for storing shape and position data for generation,
An image processing apparatus, comprising: a correcting device for rewriting position data in the pattern information storage device in the directions of the vertical and horizontal forces and moments.
器から取り込まれた画像の対象パターンと参照パターン
とを重ね合せ、前記誘導物を所定の位置に誘導する画像
処理装置において、 前記対象パターンに基づくポテンシャル場を計算するポ
テンシャル計算装置と、 前記参照パターンを記憶する画像記憶装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像の縦および横
方向に働く力の合力を計算する力計算装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像を回転させる
モーメントの合力を計算するモーメント計算装置と、 前記縦および横方向の合力並びに前記モーメントの合力
に基づき前記誘導対象物を移動させ前記参照パターンと
前記対象パターンとのずれを修正する手段と を含むことを特徴とする画像処理装置。3. An image processing apparatus which superimposes a target pattern of an image taken from an input device such as a camera fixed to a guidance target and a reference pattern and guides the guidance to a predetermined position. A potential calculation device for calculating a potential field based on a pattern; an image storage device for storing the reference pattern; and a vertical and horizontal direction of the image based on an output of the potential calculation device and a reference pattern stored in the image storage device. A force calculation device for calculating a resultant force of forces acting on the image; a moment calculation device for calculating a resultant force for rotating the image based on an output of the potential calculation device and a reference pattern stored in the image storage device; And moving the guidance target based on the resultant force of the moment and the resultant force in the lateral direction and the resultant force. The image processing apparatus characterized by including a means for correcting the displacement of the turn and the target pattern.
の対象パターンと参照パターンとを重ね合せ、カメラ等
のぶれを解消する画像処理装置において、 前記対象パターンに基づくポテンシャル場を計算するポ
テンシャル計算装置と、 前記カメラ等から最初に取り込まれた画像を前記参照パ
ターンとして記憶する画像記憶装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像の縦および横
方向に働く力の合力を計算する力計算装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像を回転させる
モーメントの合力を計算するモーメント計算装置と、 前記縦および横方向の合力並びに前記モーメントの合力
に基づき前記カメラ等から新たに取り込まれる画像をず
らす画像ずらし装置と を含むことを特徴とする画像処理装置。4. An image processing apparatus for superimposing a target pattern of an image taken from an input device such as a camera and a reference pattern and eliminating blurring of a camera or the like, wherein a potential field based on the target pattern is calculated. A device, an image storage device that stores an image first captured from the camera or the like as the reference pattern, and a vertical and horizontal direction of the image based on an output of the potential calculation device and the reference pattern stored in the image storage device. A force calculation device that calculates a resultant force of forces acting in a direction; a moment calculation device that calculates a resultant force of a moment for rotating the image based on an output of the potential calculation device and a reference pattern stored in the image storage device; Based on the resultant force in the vertical and horizontal directions and the resultant force of the moment, The image processing apparatus characterized by comprising an image shifting device to shift the image to be taken in.
処理装置において、 前記カメラ等の入力機器から入力された濃淡画像から当
該画像の特徴パターンを計算し前記ポテンシャル計算装
置に出力する特殊パターン計算装置を備えたことを特徴
とする画像処理装置。5. The image processing apparatus according to claim 1, wherein a characteristic pattern of the image is calculated from a grayscale image input from an input device such as the camera, and output to the potential calculation apparatus. An image processing apparatus, comprising:
処理装置において、 前記ポテンシャル計算装置が、当該計算結果を記憶する
第２の画像処理装置を備え、第２の画像記憶装置との間
のループを用いて差分法によりポテンシャル場を計算す
る装置であることを特徴とする画像処理装置。6. The image processing device according to claim 1, wherein the potential calculation device includes a second image processing device for storing the calculation result, and a second image storage device. An image processing apparatus for calculating a potential field by a difference method using a loop between the image processing apparatus and the image processing apparatus.
処理装置において、 前記モーメント計算装置が、前記画像領域を複数の領域
に分割し、各領域で合計した縦および横方向の力を加減
算し、前記モーメントを近似演算する装置であることを
特徴とする画像処理装置。7. The image processing apparatus according to claim 1, wherein the moment calculating device divides the image area into a plurality of areas, and totals the vertical and horizontal directions in each area. An image processing apparatus, which is an apparatus for adding and subtracting a force to approximate the moment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29193788A JP2700260B2 (en) | 1988-11-18 | 1988-11-18 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29193788A JP2700260B2 (en) | 1988-11-18 | 1988-11-18 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02137072A JPH02137072A (en) | 1990-05-25 |
| JP2700260B2 true JP2700260B2 (en) | 1998-01-19 |
Family
ID=17775386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29193788A Expired - Lifetime JP2700260B2 (en) | 1988-11-18 | 1988-11-18 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2700260B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06344279A (en) * | 1993-06-07 | 1994-12-20 | Hitachi Ltd | Remote operation device and method |
| US5459636A (en) * | 1994-01-14 | 1995-10-17 | Hughes Aircraft Company | Position and orientation estimation neural network system and method |
| JP3350745B2 (en) * | 1994-08-17 | 2002-11-25 | 株式会社日立製作所 | Image measurement device |
| US8098926B2 (en) * | 2007-01-10 | 2012-01-17 | Applied Materials Israel, Ltd. | Method and system for evaluating an evaluated pattern of a mask |
| CN115236850B (en) * | 2021-04-23 | 2024-03-15 | 成都极米科技股份有限公司 | Method for controlling vibrating mirror to achieve 2-time and 4-time pixel lifting and projector |
-
1988
- 1988-11-18 JP JP29193788A patent/JP2700260B2/en not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 日本ロボット学会誌，１９８７年，第５巻，第５号，ｐ．３４３−３５０ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02137072A (en) | 1990-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230252670A1 (en) | Method for detecting hand key points, method for recognizing gesture, and related devices | |
| JP3244798B2 (en) | Moving image processing device | |
| Hager et al. | Efficient region tracking with parametric models of geometry and illumination | |
| Hager et al. | X vision: A portable substrate for real-time vision applications | |
| US8917240B2 (en) | Virtual desktop coordinate transformation | |
| US5644689A (en) | Arbitrary viewpoint three-dimensional imaging method using compressed voxel data constructed by a directed search of voxel data representing an image of an object and an arbitrary viewpoint | |
| US6016148A (en) | Automated mapping of facial images to animation wireframes topologies | |
| CN108062776A (en) | Camera Attitude Tracking method and apparatus | |
| JPH0772844B2 (en) | Robot teaching device | |
| JPS6016673B2 (en) | Object recognition device in servo system | |
| Triesch et al. | Robotic gesture recognition | |
| US11562489B2 (en) | Pixel-wise hand segmentation of multi-modal hand activity video dataset | |
| JP2986455B1 (en) | Hand gesture recognition device | |
| Jurie et al. | Real time 3d template matching | |
| JP2700260B2 (en) | Image processing device | |
| JP2000331170A (en) | Hand motion recognizing device | |
| Hager | The'x-vision'system: A general-purpose substrate for vision-based robotics | |
| CN114505864B (en) | Hand-eye calibration method, device, equipment and storage medium | |
| Malm et al. | A new approach to hand-eye calibration | |
| CN113961068B (en) | Close-range real object eye movement interaction method based on augmented reality helmet | |
| CN115272410A (en) | Dynamic target tracking method, device, equipment and medium without calibration vision | |
| Lim et al. | Resolution consideration in spatially variant sensors | |
| Sullivan et al. | Using active-deformable models to track deformable objects in robotic visual servoing experiments | |
| Lakshmipathy et al. | Contact tracing: A low cost reconstruction framework for surface contact interpolation | |
| Che et al. | Real-time 3d hand gesture based mobile interaction interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081003 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091003 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091003 Year of fee payment: 12 |