JP2809348B2 - 3D position measuring device - Google Patents

3D position measuring device

Info

Publication number
JP2809348B2
JP2809348B2 JP1271237A JP27123789A JP2809348B2 JP 2809348 B2 JP2809348 B2 JP 2809348B2 JP 1271237 A JP1271237 A JP 1271237A JP 27123789 A JP27123789 A JP 27123789A JP 2809348 B2 JP2809348 B2 JP 2809348B2
Authority
JP
Japan
Prior art keywords
image
slit light
point
measuring
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP1271237A
Other languages
Japanese (ja)
Other versions
JPH03131706A (en
Inventor
圭一 見持
Original Assignee
三菱重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工業株式会社 filed Critical 三菱重工業株式会社
Priority to JP1271237A priority Critical patent/JP2809348B2/en
Publication of JPH03131706A publication Critical patent/JPH03131706A/en
Application granted granted Critical
Publication of JP2809348B2 publication Critical patent/JP2809348B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えば、移動ロボット用の視覚センサや無
人搬送車の障害物検出センサ等に適用される両眼立体視
法により物体の3次元位置を計測する3次元位置計測装
置に関する。
DETAILED DESCRIPTION OF THE INVENTION [Industrial Application Field] The present invention relates to a three-dimensional object by a binocular stereoscopic method applied to, for example, a visual sensor for a mobile robot or an obstacle detection sensor of an automatic guided vehicle. The present invention relates to a three-dimensional position measuring device for measuring a position.

〔従来の技術〕[Conventional technology]

物体の3次元位置を非接触で計測する装置として、両
眼立体視法が知られている。これは、第4図に示すよう
に、2台のテレビカメラ1,2をそれぞれ光軸がxy平面上
にあり、かつy軸と平行になるように設置して対象物3
を撮像し、これらのテレビカメラ1,2から得られる画像
信号に基づいて対象物3の3次元位置を求める装置であ
る。
A binocular stereoscopic method is known as a device for measuring a three-dimensional position of an object in a non-contact manner. This is achieved by installing two television cameras 1 and 2 such that their optical axes are on the xy plane and parallel to the y axis, as shown in FIG.
Is a device for obtaining the three-dimensional position of the object 3 based on the image signals obtained from the television cameras 1 and 2.

即ち、第4図の構成で、対象物3を撮像すると、第5
図に示すように対象物3上の点Pは、それぞれのテレビ
カメラ1,2で得られる画像IL,IR上では、点pL(xL,
yL)、点pR(xR,yR)に結像される。従って、点Pの座
標のうち、y座標、つまり奥行き は次式で与えられる。
That is, in the configuration shown in FIG.
As shown in the figure, a point P on the object 3 is a point p L (x L , I L) on the images I L and I R obtained by the respective television cameras 1 and 2.
y L ) and an image at a point p R (x R , y R ). Therefore, among the coordinates of the point P, the y coordinate, that is, the depth Is given by the following equation.

さらに必要ならばx,y座標も単純な幾何学的性質によ
り計算できる。ここに4はy軸であり、かつテレビカメ
ラ1の光軸であり、5はテレビカメラ2の光軸、L,Rは
テレビカメラ1,2の撮像レンズ中心であり、fは、それ
らのレンズの焦点距離である。又、CR,CLはテレビカメ
ラ1,2で得られる画像IL,IRの中心位置であり(xL,
yL),(xR,yR)はそれらの画像上にとった座標軸であ
る。
If necessary, the x and y coordinates can also be calculated by simple geometric properties. Here, 4 is the y-axis and the optical axis of the television camera 1, 5 is the optical axis of the television camera 2, L and R are the imaging lens centers of the television cameras 1 and 2, and f is the lens of those lenses. Is the focal length. C R and C L are the center positions of the images I L and I R obtained by the television cameras 1 and 2, respectively (x L ,
y L), a (x R, y R) took on their image coordinate axes.

テレビカメラ1から得られる画像IL上の点Pの像pL
対応するテレビカメラ2から得られる画像IR上の像pR
探すための方法として、相関法、粗密探索、弛緩法や動
的計画法などが用いられているが、何れの方法において
も、第6図に示すように画像IL上の特徴点a1を含む水平
走査線lLに対応する画像IR上の水平走査線lR上で、点a1
に対応する点を探索するようにしている。
As a method for finding an image p R of the image I R obtained from the television camera 2 corresponding to the image p L point P on the image I L obtained from the television camera 1, correlation method, coarse to fine, relaxation Ya have been used include dynamic programming, in any manner, the horizontal on the image I R corresponding to the horizontal scanning line l L including the feature point a 1 of the image I L as shown in FIG. 6 On scan line l R , point a 1
The point corresponding to is searched for.

従って第6図で点a1に対応する点はその点a1が存在す
るエッジの特徴が良く似ているエッジ上の点として、点
b1が選ばれる。ここでエッジとは画像上で明るさが急変
する部分であり、対象物の輪郭や稜に対応する部分であ
り、対応付けのための特徴点となる。
Thus the point corresponding to the point a 1 in FIG. 6 as a point on the edge where edge features the presence of the point a 1 is similar, the point
b 1 is selected. Here, the edge is a portion where the brightness changes suddenly on the image, a portion corresponding to the contour or ridge of the object, and is a feature point for association.

〔発明が解決しようとする課題〕[Problems to be solved by the invention]

第4図〜第6図で説明した従来の3次元位置計測装置
で問題となるのは、第6図で点a1に対応する点を画像IR
上で探すとき、水平走査線lRの左端から右端までに含ま
れるすべての特徴点を調べる必要があることである。
The problem with conventional three-dimensional position measurement apparatus described in Figure 4-Figure 6, the image I R to the point corresponding to the point a 1 in FIG. 6
When looking above, it is the need to examine all of the feature points included in the left end of the horizontal scanning lines l R to the right.

これは、対象物からテレビカメラまでの距離が不明で
あることに起因する。
This is because the distance from the object to the television camera is unknown.

このように、従来は、水平走査線lR上のすべての特徴
点を調べる必要があるので、処理時間が極めて大きくな
り、実用性に乏しい。
Thus, conventionally, it is necessary to examine all of the feature points on the horizontal scanning line l R, processing time becomes very large, little practical use.

本発明は、上述した問題点を解決すべくなされたもの
であり、本発明の課題は、あらかじめ、対象物が存在す
る空間を、別の手段を用いて限定することにより、点a1
に対応する点を水平走査線lR上で探すとき、その探索範
囲が限定でき、その結果、処理の高速化が図れる3次元
位置計測装置を提供することができる。
The present invention has been made to solve the above-described problems, and an object of the present invention is to limit the space in which an object exists in advance by using another means to obtain a point a 1
When looking for corresponding points on the horizontal scanning line l R in, the search range can be limited, as a result, it is possible to provide a three-dimensional position measuring device faster processing can be achieved.

〔課題を解決するための手段〕[Means for solving the problem]

本発明による3次元位置計測装置は、対象物を撮像す
る第1と第2の2つの撮像装置を有し、前記2つの撮像
装置から得られる2枚の画像に基づいて両眼立体視法に
より前記対象物の3次元位置を計測する装置において、
前記対象物を含む空間に向けて探索範囲を限定するスリ
ット光を投光するスリット光投光装置と、このスリット
光投光装置をオン/オフ制御するオン/オフ制御手段
と、前記スリット光投光装置のスリット光オフ時及びオ
ン時における前記第1及び第2の撮像装置の撮影画像に
より前記対象物の3次元位置を計測する計測手段とを具
備してなることを特徴とする。
A three-dimensional position measuring apparatus according to the present invention has first and second two imaging devices for imaging a target object, and performs binocular stereovision based on two images obtained from the two imaging devices. In an apparatus for measuring a three-dimensional position of the object,
A slit light projecting device for projecting slit light for limiting a search range toward a space including the target object, on / off control means for controlling on / off of the slit light projecting device, and the slit light projecting device; And a measuring means for measuring a three-dimensional position of the object based on images taken by the first and second imaging devices when the slit light of the optical device is turned off and on.

即ち、本発明においては、スリット光を対象物を含む
空間に投光することにより、前記2枚の画像間で互いに
対応する特徴点を対応付けるための探索範囲を限定する
ようになされている。
That is, in the present invention, the search range for associating mutually corresponding feature points between the two images is limited by projecting the slit light into the space including the target object.

〔作用〕[Action]

本発明によれば、スリット光投光装置から対象物を含
む空間に投光されたスリット光をいづれか一方のテレビ
カメラでとらえると、3角測量の原理で、対象物面上の
スリット像の各点の位置の奥行きが求められる。この奥
行きの中で、テレビカメラに対して最も近い奥行きと最
も遠い奥行きを調べることによって、両眼立体視で対応
探索における水平走査線上の探索範囲を制限することが
できる。
According to the present invention, when one of the television cameras captures the slit light projected from the slit light projector to the space including the object, each of the slit images on the object surface is obtained based on the principle of triangulation. The depth of the position of the point is determined. By examining the depth closest to and farthest from the television camera among the depths, it is possible to limit the search range on the horizontal scanning line in the correspondence search in binocular stereovision.

〔実施例〕〔Example〕

第1図は本発明の一実施例に係る3次元位置計測装置
の構成図であり、対象物3は撮像手段であるテレビカメ
ラ1,2によって撮像され、さらにスリット光投光装置6
から水平スリット光7が投影され、対象物3上にそのス
リット光の照射部分8が生じる。
FIG. 1 is a configuration diagram of a three-dimensional position measuring apparatus according to an embodiment of the present invention, in which an object 3 is imaged by television cameras 1 and 2 as image pickup means, and a slit light projecting device 6
The horizontal slit light 7 is projected from the object 3, and an irradiated portion 8 of the slit light is generated on the object 3.

尚、ここでは、テレビカメラ1,2は、従来の技術とし
て第4,5図で説明したように、各々の光軸は、同一水平
面上にあり、かつ、平行になるように設けているが、特
に、このように配置しない場合でも、撮像して得られた
画像を補正することにより、同一の結果が得られるの
で、配置についての制限はない。又、水平スリット光7
についても、同様のことが言える。
Here, as described with reference to FIGS. 4 and 5 as a conventional technique, the television cameras 1 and 2 are provided so that their optical axes are on the same horizontal plane and are parallel to each other. In particular, even when the arrangement is not performed in this way, the same result can be obtained by correcting the image obtained by imaging, and there is no restriction on the arrangement. In addition, horizontal slit light 7
The same can be said for.

スリット光投光装置6は、ホストコンピュータ18の指
令により、スリット光ON/OFF回路19を通してオン−オフ
可能である。
The slit light projecting device 6 can be turned on and off through a slit light ON / OFF circuit 19 according to a command from the host computer 18.

テレビカメラ1,2から得られる画像信号は、A/D変換回
路10,11によりディジタル信号に変換され画像メモリ12,
13に格納される。
Image signals obtained from the TV cameras 1 and 2 are converted into digital signals by A / D conversion circuits 10 and 11,
Stored in 13.

特徴抽出回路14,15は画像信号から明るさの変化を検
出し、対象物3の輪郭や稜に当たるエッジを特徴点とし
て抽出するものである。
The feature extraction circuits 14 and 15 detect a change in brightness from the image signal and extract an edge corresponding to a contour or a ridge of the object 3 as a feature point.

対応探索回路16は、特徴抽出回路14,15によって得ら
れる各々の画像上の特徴点同志を各水平走査線毎に対応
付ける回路であり、17は、対応付けされた特徴点から
(1)式により奥行きを計算する3次元座標計算回路で
ある。
The correspondence search circuit 16 is a circuit for associating feature points on each image obtained by the feature extraction circuits 14 and 15 for each horizontal scanning line. This is a three-dimensional coordinate calculation circuit that calculates depth.

これらの処理はスリット光投光装置6がオフのときに
行われる。一方、スリット光がオンの時は、A/D変換器1
0の出力であるディジタル化された画像信号は画像メモ
リ20に格納され、そのデータは画像メモリ12に格納され
ているスリット光がオフの時に得られた画像と、差分回
路21で両者の差がとられる。
These processes are performed when the slit light projector 6 is off. On the other hand, when slit light is on, A / D converter 1
The digitized image signal, which is the output of 0, is stored in the image memory 20, and the data is the difference between the image obtained when the slit light stored in the image memory 12 is off and the difference obtained by the difference circuit 21. Be taken.

中心検出回路22は、差分回路21の出力であるスリット
像だけが残った画像において、各垂直走査線毎にスリッ
ト像の中心位置を計算するものである。
The center detection circuit 22 calculates the center position of the slit image for each vertical scanning line in an image in which only the slit image output from the difference circuit 21 remains.

さらに23は、各垂直走査線毎の中心位置から3角測量
の原理に基づき、スリット像の各点の奥行きを求めた
後、奥行きの最大値と最小値を求め、対応探索回路16
に、水平走査線上における探索範囲を出力する最大値・
最小値検出回路である。
Further, at 23, the depth of each point of the slit image is obtained from the center position of each vertical scanning line based on the principle of triangulation, and then the maximum and minimum values of the depth are obtained.
The maximum value for outputting the search range on the horizontal scanning line
This is a minimum value detection circuit.

次にこのように構成された3次元計測装置の作用につ
いて述べる。
Next, the operation of the three-dimensional measuring device thus configured will be described.

まず、スリット光オフの状態でテレビカメラ1,2で画
像を撮像する。次に、スリット光をオンにしてテレビカ
メラ1で画像を撮像し、画像メモリ20を経由して差分回
路21に送られる。そこで画像メモリ12に格納されている
スリット光オフの時の画像との差がとられる。すると、
第2図に示すようにスリット像だけが残る。
First, images are taken by the television cameras 1 and 2 with the slit light off. Next, the slit light is turned on, an image is captured by the television camera 1, and sent to the difference circuit 21 via the image memory 20. Therefore, a difference from the image when the slit light is off stored in the image memory 12 is obtained. Then
As shown in FIG. 2, only the slit image remains.

ここに、スリット光はz=−hの平面と同一平面上に
ある。
Here, the slit light is on the same plane as the plane of z = -h.

中心検出回路22において、この画像のスリット像と交
叉する各垂直走査線lv上で、そのスリット像の中心位置
q(xL,yL)を計算する。ここに、点Qは点qに対応す
る対象物上の点である。
The center detection circuit 22 calculates the center position q (x L , y L ) of the slit image on each vertical scanning line lv crossing the slit image of this image. Here, the point Q is a point on the object corresponding to the point q.

点Qの奥行き(y座標)yは次式で求まる。 The depth (y coordinate) y of the point Q is obtained by the following equation.

スリット像の各点で奥行きyを求め、その中の最大値
ymaxと最小値yminを最大値・最小値検出回路23で求め
る。
Find the depth y at each point of the slit image, and find the maximum value
Request y max and the minimum value y min at maximum and minimum value detecting circuit 23.

これらのデータは対応探索回路16に送られる。 These data are sent to the correspondence search circuit 16.

一方、スリット光オフの時に得た画像メモリ12,13に
格納された画像は、特徴抽出回路14,15で明るさの変化
する部分を特徴点として検出して対応探索回路16に送ら
れる。
On the other hand, the images stored in the image memories 12 and 13 obtained when the slit light is off are detected by the feature extraction circuits 14 and 15 as the feature points where the brightness changes, and sent to the correspondence search circuit 16.

対応探索回路16で奥行きymaxとyminのデータから水平
走査線上での対応探索の範囲が決定される。
The correspondence search circuit 16 determines the range of the correspondence search on the horizontal scanning line from the data of the depths y max and y min .

この方法は、第3図において、画像IL上の特徴点pL
対応する点を画像IR上で探す場合、考慮すべき奥行き方
向の空間はyminyymaxであるから、点P1から点P2
での間に対象物上の点Pがあると判断され、従って、画
像IR上では のどこかに対応する点pRが存在するはずである。
The method in FIG. 3, when searching for a point corresponding to the feature point p L of the image I L on the image I R, because the space in the depth direction to be considered is the y min yy max, the point P 1 it is determined that there is a point P on the object until the point P 2 from, therefore, on the image I R There should be a point p R corresponding to somewhere in.

である。 It is.

この式でlp・f/ymin,lb・f/ymaxは点pLの位置に不変
であり、すべての水平走査線上の対応探索に共通であ
る。
In this equation, lp · f / ymin and lb · f / ymax are invariant to the position of the point p L and are common to the correspondence search on all horizontal scanning lines.

このように点pLに対して探索範囲はpR1xRpR2に限
定されるので水平走査線lR上のすべての範囲を探す必要
がなくなる。
As described above, since the search range for the point p L is limited to p R1 × R p R2 , it is not necessary to search the entire range on the horizontal scanning line l R.

〔発明の効果〕〔The invention's effect〕

以上述べたように、本発明によれば、対象物を撮像す
る第1と第2の2つの撮像装置を有し、前記2つの撮像
装置から得られる2枚の画像に基づいて両眼立体視法に
より前記対象物の3次元位置を計測する装置において、
前記対象物を含む空間に向けて探索範囲を限定するスリ
ット光を投光するスリット光投光装置と、このスリット
光投光装置をオン/オフ制御するオン/オフ制御手段
と、前記スリット光投光装置のスリット光オフ時及びオ
ン時における前記第1及び第2の撮像装置の撮影画像に
より前記対象物の3次元位置を計測する計測手段とを設
ける構成としたので、従来の両眼立体視法だけでは、2
枚の画像の各々の特徴点同志の対応付けにおいて、水平
走査線上の探索範囲が広く処理時間が極めて大であった
が、スリット光を用いた計測により、対象物を含む空間
の奥行き方向の最小値と最大値が分かるので、その結
果、探索範囲を小さく制限でき、処理時間が大幅に短縮
された3次元位置計測装置が提供できる。
As described above, according to the present invention, there are two first and second imaging devices for imaging an object, and binocular stereoscopic vision is performed based on two images obtained from the two imaging devices. In a device for measuring the three-dimensional position of the object by a method,
A slit light projecting device for projecting slit light for limiting a search range toward a space including the target object, on / off control means for controlling on / off of the slit light projecting device, and the slit light projecting device; And a measuring means for measuring the three-dimensional position of the object based on images taken by the first and second imaging devices when the slit light of the optical device is turned off and on, so that the conventional binocular stereoscopic vision is used. By law alone, 2
The search range on the horizontal scanning line was wide and the processing time was extremely long in associating the feature points of each of the images, but the measurement using the slit light showed that the minimum distance in the depth direction of the space including the object was measured. Since the value and the maximum value are known, as a result, a three-dimensional position measuring apparatus can be provided in which the search range can be limited to a small value and the processing time is greatly reduced.

【図面の簡単な説明】[Brief description of the drawings]

第1図は、本発明の一実施例に係る全体の構成図、第2
図は同実施例におけるスリット光を用いた計測の説明
図、第3図は同実施例における探索範囲の制限の作用説
明図、第4図は従来の3次元計測装置の構成図、第5図
および第6図は、それぞれ従来の3次元計測装置の作用
説明図である。 1,2……テレビカメラ、3……対象物、6……スリット
光投光装置。
FIG. 1 is an overall configuration diagram according to an embodiment of the present invention, FIG.
FIG. 3 is an explanatory view of measurement using slit light in the embodiment, FIG. 3 is an explanatory view of an operation of limiting a search range in the embodiment, FIG. 4 is a configuration diagram of a conventional three-dimensional measuring apparatus, FIG. And FIG. 6 are explanatory diagrams of the operation of the conventional three-dimensional measuring device. 1,2 ... TV camera, 3 ... Target object, 6 ... Slit light projector.

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】対象物を撮像する第1と第2の2つの撮像
装置を有し、前記2つの撮像装置から得られる2枚の画
像に基づいて両眼立体視法により前記対象物の3次元位
置を計測する装置において、 前記対象物を含む空間に向けて探索範囲を限定するスリ
ット光を投光するスリット光投光装置と、このスリット
光投光装置をオン/オフ制御するオン/オフ制御手段
と、前記スリット光投光装置のスリット光オフ時及びオ
ン時における前記第1及び第2の撮像装置の撮影画像に
より前記対象物の3次元位置を計測する計測手段とを具
備してなることを特徴とする3次元位置計測装置。
1. An image pickup apparatus comprising: first and second image pickup devices for picking up an image of an object; and 3 b of the object by binocular stereoscopic vision based on two images obtained from the two image pickup devices. An apparatus for measuring a three-dimensional position, comprising: a slit light projecting device for projecting slit light for limiting a search range toward a space including the object; and an on / off control for turning on / off the slit light projecting device. Control means; and measuring means for measuring a three-dimensional position of the object based on images taken by the first and second imaging devices when the slit light projecting device is turned off and on the slit light. A three-dimensional position measuring device, characterized in that:
JP1271237A 1989-10-18 1989-10-18 3D position measuring device Expired - Fee Related JP2809348B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1271237A JP2809348B2 (en) 1989-10-18 1989-10-18 3D position measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1271237A JP2809348B2 (en) 1989-10-18 1989-10-18 3D position measuring device

Publications (2)

Publication Number Publication Date
JPH03131706A JPH03131706A (en) 1991-06-05
JP2809348B2 true JP2809348B2 (en) 1998-10-08

Family

ID=17497268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1271237A Expired - Fee Related JP2809348B2 (en) 1989-10-18 1989-10-18 3D position measuring device

Country Status (1)

Country Link
JP (1) JP2809348B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714277B2 (en) * 1991-07-25 1998-02-16 株式会社東芝 Lead shape measuring device
JP5332122B2 (en) * 2006-03-23 2013-11-06 日産自動車株式会社 Work position detection system and work position detection method
JP2008185511A (en) * 2007-01-31 2008-08-14 Bridgestone Corp Tire rro measurement method and its device
JP5630208B2 (en) * 2010-10-25 2014-11-26 株式会社安川電機 Shape measuring device, robot system, and shape measuring method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2535561B2 (en) * 1987-09-19 1996-09-18 株式会社豊田中央研究所 Three-dimensional coordinate measuring device

Also Published As

Publication number Publication date
JPH03131706A (en) 1991-06-05

Similar Documents

Publication Publication Date Title
JP3064928B2 (en) Subject extraction method
JP3539788B2 (en) Image matching method
US5757674A (en) Three-dimensional position detecting apparatus
JP3349121B2 (en) Stereo camera mounting structure
JP2003304561A (en) Stereo image processing apparatus
JP2809348B2 (en) 3D position measuring device
JPH1144533A (en) Preceding vehicle detector
JP4918675B2 (en) 3D coordinate measurement method
JP3340599B2 (en) Plane estimation method
JPH0875454A (en) Range finding device
JP3253328B2 (en) Distance video input processing method
JP2970835B2 (en) 3D coordinate measuring device
JP3912638B2 (en) 3D image processing device
JPH0737106A (en) Edge recognition method
JP2003329418A (en) Three-dimensional measuring instrument
JP3525712B2 (en) Three-dimensional image capturing method and three-dimensional image capturing device
JP2566395B2 (en) Three-dimensional coordinate measuring device
JPH09259282A (en) Device and method for detecting moving obstacle
JP3991501B2 (en) 3D input device
JP2979619B2 (en) Stereoscopic device
JPH1194527A (en) Stereo measuring method and device using image processing
JP2586454B2 (en) 3D position extraction method
JPH0949714A (en) Apparatus for extracting three-dimensional shape
KR100187455B1 (en) Traffic lane sensing apparatus using an image system and method thereof
JPH05282430A (en) Environment recognizing device for mobile vehicle

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees