JPH06160087A - Method and apparatus for measuring distance using image - Google Patents
Method and apparatus for measuring distance using imageInfo
- Publication number
- JPH06160087A JPH06160087A JP4312219A JP31221992A JPH06160087A JP H06160087 A JPH06160087 A JP H06160087A JP 4312219 A JP4312219 A JP 4312219A JP 31221992 A JP31221992 A JP 31221992A JP H06160087 A JPH06160087 A JP H06160087A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- area
- image
- occlusion
- occlusion area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は画像演算処理を用い複数
の２次元画像から距離データを得る画像を用いた距離測
定方法及びその装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a distance measuring method and apparatus using an image for obtaining distance data from a plurality of two-dimensional images by using image arithmetic processing.
【０００２】[0002]
【従来の技術】オクリュージョンとは、観測者から見て
手前にある不透明物体がより遠方にある物体を隠すこと
である。この結果、視点の異なる複数画像の対応点を見
つけることにより距離を計測するステレオマッチングで
は、ある視点で見えた点が別の視点では、手前の物体に
隠されてしまい見えなくなり、対応点が存在しないとい
う欠点が生じる。2. Description of the Related Art Occlusion means that an opaque object in front of an observer hides an object farther away. As a result, in stereo matching that measures distances by finding corresponding points in multiple images from different viewpoints, points that are visible at one viewpoint are hidden by an object in front of another and disappear, and there is a corresponding point. The disadvantage is that it does not.
【０００３】従来のオクリュージョン領域の距離測定方
法としては、Marr D.“Analysis ofoccluding contou
r,”Proc. Royal Soc. B197, pp 411-475, 1977が挙げ
られる。ここでは、近い物体は遠い物体と違って隠れて
いないから、はっきりした閉輪郭線を持っていることが
期待されるので、閉輪郭線が検出できる物体が手前にあ
り、そのエッジ付近にオクリュージョンがあるとする。As a conventional distance measuring method in the occlusion region, Marr D. "Analysis of occluding contou
r, ”Proc. Royal Soc. B197, pp 411-475, 1977. Here, near objects are not hidden like far objects, so they are expected to have a clear closed contour. Therefore, it is assumed that there is an object in front of which a closed contour can be detected and there is an occlusion near the edge.
【０００４】[0004]
【発明が解決しようとする課題】しかしこの方法では、
閉輪郭線という高度の認識レベルのものを使うので、こ
の輪郭線を正確に抽出するのが非常に難しいという問題
点があった。また、オクリュージョン領域の広さやそこ
の距離をどのように推定するかは考えられていなかっ
た。However, in this method,
Since a closed contour line with a high recognition level is used, there is a problem that it is very difficult to accurately extract this contour line. Moreover, how to estimate the size of the occlusion region and the distance there was not considered.
【０００５】本発明は、かかる従来のオクリュージョン
領域の距離測定方法に鑑み、低レベル処理で簡単にオク
リュージョンを判定し、その領域の距離を推定する画像
を用いた距離測定方法及びその装置を提供することを目
的とする。In view of the conventional distance measurement method for an occlusion area, the present invention provides a distance measurement method using an image for easily determining an occlusion by low level processing and estimating the distance of the area, and a method thereof. The purpose is to provide a device.
【０００６】[0006]
【課題を解決するための手段】本発明の画像を用いた距
離測定方法は、相関演算手段によって、複数の視点より
被写体を撮像した複数の画像の相関を演算することによ
り距離を得る距離演算工程と、演算によって得られた距
離の妥当性を判断する正誤判定工程と、距離測定不可能
領域からオクリュージョン領域を判定するオクリュージ
ョン領域判定工程と、距離測定不可能領域の距離を推定
する距離推定工程を含み、前記正誤判定工程では、視点
の異なる画像を３枚以上使用し、複数の画像の組み合わ
せによる複数の距離の一致度合いから距離測定不可能領
域を決定することを特徴とする。According to a distance measuring method using an image of the present invention, a distance calculating step for obtaining a distance by calculating a correlation of a plurality of images of a subject from a plurality of viewpoints by a correlation calculating means. And a correctness determination step of determining the validity of the distance obtained by the calculation, an occlusion area determination step of determining an occlusion area from the distance measurement impossible area, and estimating a distance of the distance measurement impossible area. In the correctness determination step, including the distance estimation step, three or more images with different viewpoints are used, and the distance unmeasurable region is determined from the degree of coincidence of a plurality of distances obtained by combining a plurality of images.
【０００７】また、本発明の画像を用いた距離測定装置
は、複数の２次元撮像手段と、その２次元撮像手段を用
い複数の視点より被写体を撮像した複数画像の相関を演
算することにより距離を得る距離演算手段と、演算によ
って得られた距離の妥当性を判断する正誤判定手段と、
距離測定不可能領域からオクリュージョン領域を判定す
るオクリュージョン領域判定手段と、距離測定不可能領
域の距離を推定する距離推定手段を備え、前記正誤判定
手段では、視点の異なる画像を３枚以上使用し、複数の
画像の組み合わせによる複数の距離の一致度合いから距
離測定不可能領域を決定することを特徴とする。Further, a distance measuring device using an image according to the present invention calculates a distance by calculating a correlation between a plurality of two-dimensional image pickup means and a plurality of images obtained by picking up an object from a plurality of viewpoints using the two-dimensional image pickup means. A distance calculation means for obtaining, and a correctness determination means for determining the validity of the distance obtained by the calculation,
An occlusion area determination means for determining an occlusion area from the distance measurement impossible area and a distance estimation means for estimating the distance of the distance measurement impossible area are provided, and the correctness determination means includes three images with different viewpoints. It is characterized in that it is used as described above, and the distance unmeasurable region is determined from the degree of coincidence of a plurality of distances obtained by combining a plurality of images.
【０００８】[0008]
【作用】本発明は、視点の異なる複数の画像を用い複数
の画像の組み合わせによる複数の距離を求め、これが一
致しないところを距離測定不可能領域とし、この領域の
うち物体の順序構造が逆転した点をオクリュージョン領
域として判定することで、簡単かつ信頼性の高いオクリ
ュージョン判定を行い、オクリュージョンでない距離測
定不可能領域は、周囲の正しい距離からの平滑化で、ま
たオクリュージョン領域は、１番右の視点の画像に対し
て距離を求めたときは、オクリュージョン領域の距離は
これをその右領域の距離から外挿し、１番左の視点で撮
像した画像に対して距離を求めた場合は、オクリュージ
ョン領域の距離はこれをその左領域の距離から外挿する
ことにより信頼性の高いステレオ距離計測を実現する。The present invention obtains a plurality of distances by combining a plurality of images by using a plurality of images having different viewpoints, and defines a region where these do not match as a distance unmeasurable region, and the order structure of objects in this region is reversed. By determining the point as an occlusion area, a simple and reliable occlusion judgment can be performed.A non-occlusion distance measurable area is smoothed from the correct distance in the surroundings and As for the area, when the distance is obtained for the image of the right-most viewpoint, the distance of the occlusion area is extrapolated from the distance of the right area, and for the image captured by the left-most viewpoint. When the distance is obtained, the distance in the occlusion area is extrapolated from the distance in the left area to realize highly reliable stereo distance measurement.
【０００９】[0009]
【実施例】図１は本発明の一実施例における画像を用い
た距離測定装置を模式的に示した構成図である。図１に
おいて、１は画像を撮像する２次元撮像手段、２は撮像
した画像を一旦蓄えておく画像メモリ、３は画像メモリ
２にある複数の画像信号から対応点を見つけ距離を計算
する距離演算手段、４は距離演算手段３で得られた複数
の距離を蓄える距離メモリ、５は距離演算手段３で得ら
れた距離が正しいかどうかを判断する正誤判定手段、６
は距離測定不可能領域のうちオクリュージョンの領域を
抜き出すオクリュージョン領域判定手段、７は前記距離
メモリ４，正誤判定手段５及びオクリュージョン領域判
定手段６からの出力に基づいて、距離測定不可能領域の
距離を推定する距離推定手段である。DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a schematic diagram showing a distance measuring device using an image in one embodiment of the present invention. In FIG. 1, 1 is a two-dimensional image pickup means for picking up an image, 2 is an image memory for temporarily storing the picked up image, and 3 is a distance calculation for finding a corresponding point from a plurality of image signals in the image memory 2 and calculating a distance. A means 4 is a distance memory for storing a plurality of distances obtained by the distance calculating means 3, and a correctness determining means 5 is for judging whether or not the distance obtained by the distance calculating means 3 is correct, 6
Is an occlusion area determination means for extracting an occlusion area from the area where distance cannot be measured, and 7 is a distance measurement based on the outputs from the distance memory 4, the correctness determination means 5 and the occlusion area determination means 6. It is a distance estimating means for estimating the distance of the impossible area.
【００１０】以上のように構成された、本実施例の画像
を用いた距離測定装置について、以下その動作を図２の
距離測定の原理図を用いて説明し、それとともに、本発
明にかかる測定方法についても説明する。The operation of the distance measuring apparatus using the image of the present embodiment configured as described above will be described below with reference to the principle diagram of distance measuring of FIG. 2 and the measurement according to the present invention. The method is also described.
【００１１】図２において、８は測定対象の物体、９a
及び９bは２次元撮像手段１のレンズ、10a及び10bはレ
ンズ９a及び９bを通して物体８を受像する受光面であ
る。In FIG. 2, 8 is an object to be measured, and 9a
Reference numerals 9 and 9b are lenses of the two-dimensional image pickup means 1, and reference numerals 10a and 10b are light receiving surfaces for receiving the object 8 through the lenses 9a and 9b.
【００１２】複数の２次元撮像手段１によって物体８に
ついて視点の異なる複数の画像を撮像し、その輝度値を
画像信号として画像メモリ２に蓄える。本実施例では簡
単のために２次元撮像手段１を３台にしている。この
時、１番右(図１で上段)の２次元撮像手段の画像信号を
画像(1)とし、それから順(図１で中段，下段)に左に視
点を移動して撮像した画像の画像信号を画像(2)，画像
(3)とする。A plurality of two-dimensional image pickup means 1 pick up a plurality of images of the object 8 from different viewpoints and store the brightness values in the image memory 2 as image signals. In this embodiment, the number of the two-dimensional image pickup means 1 is three for simplicity. At this time, the image signal of the rightmost (upper part in FIG. 1) two-dimensional imaging means is taken as the image (1), and then the image is taken by moving the viewpoint to the left in order (middle part, lower part in FIG. 1). Signal image (2), image
(3)
【００１３】次に距離演算手段３では、画像メモリ２に
蓄えられた画像信号を使って、まず画像(1)と画像(2)の
間で相関Ｐを数１で計算する。Next, the distance calculating means 3 uses the image signals stored in the image memory 2 to calculate the correlation P between the image (1) and the image (2) by the formula (1).
【００１４】[0014]
【数１】 [Equation 1]
【００１５】この数１の最小点をもって対応点とし視差
ｄ12(図２参照)を得る。ここで数１の和は視差を求めた
い点の回りにある大きさの領域を決めてとる。その視差
ｄ12から画像座標ｘ0，ｙ0にある物体８の距離ｚ12を数
２で求める。The parallax d 12 (see FIG. 2) is obtained by setting the minimum point of the equation 1 as a corresponding point. Here, the sum of Equation 1 is determined by determining a region of a certain size around the point for which parallax is to be obtained. From the parallax d 12 , the distance z 12 of the object 8 at the image coordinates x 0 , y 0 is calculated by the equation 2.
【００１６】[0016]
【数２】 [Equation 2]
【００１７】これにより図２に物体８の画像の２次元座
標とその点での距離を出力する。ここでＢは２次元撮像
手段１間の基線長、Ｆはレンズの焦点距離である。距離
演算手段３では距離ｚ12以外にも画像(1)と画像(3)を用
いた距離ｚ13、画像(2)と画像(3)を用いた距離ｚ23の３
つの距離を求め距離メモリ４に蓄える。As a result, the two-dimensional coordinates of the image of the object 8 and the distance at that point are output in FIG. Here, B is the baseline length between the two-dimensional imaging means 1, and F is the focal length of the lens. In addition to the distance z 12 , the distance calculation means 3 has a distance z 13 using the image (1) and the image (3) and a distance z 23 using the image (2) and the image (3).
Two distances are obtained and stored in the distance memory 4.
【００１８】次に正誤判定手段５では、距離メモリ４に
蓄えられた各画像間の距離から、数３が成り立たない領
域を距離測定不可能領域としてこの点の座標を出力す
る。Next, the correctness determination means 5 outputs the coordinates of this point from the distances between the images stored in the distance memory 4 as the distance-measurable area in the area where Equation 3 does not hold.
【００１９】[0019]
【数３】 ｜ ｚ12−ｚ23 ｜ ＜Ｔ かつ、 ｜ ｚ23−ｚ13 ｜ ＜Ｔ かつ、 ｜ ｚ12−ｚ13 ｜ ＜Ｔ (数３)で、ｚ12とｚ13は同じ２次元座標点での距離で、
ｚ23はｚ12で得られた画像(1)に対応した画像(2)の座標
点での距離を表している。ここで、Ｔはしきい値であ
り、本実施例では、Ｔ＝１cmとする。これは、Ｂ＝10c
m，Ｆ＝２cm，ｚ＝100cmで１画素単位の視差精度を要請
したときの距離精度に対応しているので、雑音の影響に
よる距離のずれを最もよく排除できる。しかし、幾分こ
の値からずれても測定は可能である。また、基線長Ｂと
焦点距離Ｆが変わった場合は、しきい値Ｔの値を変えて
かまわないのは当然である。[Equation 3] | z 12 −z 23 | <T and | z 23 −z 13 | <T and | z 12 −z 13 | <T (Equation 3), and z 12 and z 13 are the same two dimensions The distance at the coordinate points,
z 23 represents the distance at the coordinate point of the image (2) corresponding to the image (1) obtained in z 12 . Here, T is a threshold value, and in this embodiment, T = 1 cm. This is B = 10c
Since m, F = 2 cm, and z = 100 cm correspond to the distance accuracy when parallax accuracy is requested in units of one pixel, it is possible to best eliminate the distance deviation due to the influence of noise. However, it is possible to measure even if it deviates somewhat from this value. Further, when the base line length B and the focal length F change, it is natural that the threshold value T may be changed.
【００２０】次にオクリュージョン領域判定の原理を、
図３に示すオクリュージョンの状態図及び図４に示すオ
クリュージョン領域判定の概念図を用いて説明する。Next, the principle of the occlusion area determination is
This will be described with reference to the state diagram of the occlusion shown in FIG. 3 and the conceptual diagram of the occlusion area determination shown in FIG.
【００２１】図３において、手前にある長方形の不透明
物体Ａと、この不透明物体Ａに隠されている正方形の物
体Ｂを撮像した画像を視点が右のものから順にそれぞれ
画像(1)，画像(2)，画像(3)として示されている。そし
て物体Ａにはマーク１として□が、物体Ｂにはマーク２
として●とマーク３として×がつけられている。画像
(2)のように視点が左に移動すると、近いマーク□は、
マーク●とマーク×より左に移動する量が大きいのでマ
ーク□とマーク●は重なってしまう。さらに、視点を左
に移動すると、画像(3)に示すように、マーク□とマー
ク●の順序は逆になってしまう。このマーク●の位置
が、オクリュージョンになっている。In FIG. 3, images of a rectangular opaque object A in the foreground and a square object B hidden by the opaque object A are picked up in order from the right viewpoint to the image (1) and the image ( 2), shown as image (3). And mark A is marked on object A and mark 2 is marked on object B.
The mark is marked with and the mark 3 is marked with x. image
When the viewpoint moves to the left as in (2), the close mark □
Since the amount of movement to the left is greater than that of mark ● and mark x, mark □ and mark ● will overlap. Furthermore, when the viewpoint is moved to the left, the order of the mark □ and the mark ● is reversed as shown in the image (3). The position of this mark ● is an occlusion.
【００２２】これは、図４のように図示するともっとよ
くわかる。横軸にエピポーラライン上のｘ軸を取り、縦
軸に一番右の画像を原点として基線長Ｂを取る。そして
対応点を結んで行くと正しい対応点ならば一直線に並ぶ
はずである。オクリュージョンはマーク□の対応点を結
んだ直線(1)と、マーク●の対応点を結んだ直線(2)のよ
うに最初、直線(1)のｘ座標＜直線(2)のｘ座標であった
のが、直線(2)のｘ座標＜直線(1)のｘ座標になることを
意味し、物体の順序構造が逆転した点をオクリュージョ
ン領域と判定する。すなわち(数４)の式が成り立たなく
なる点である。このように本方法では、ステレオマッチ
ングのマッチングの状態から簡単にオクリュージョン領
域を判定することができる。This can be better understood by illustrating it as shown in FIG. The horizontal axis is the x-axis on the epipolar line, and the vertical axis is the baseline length B with the rightmost image as the origin. When the corresponding points are connected, the correct corresponding points should be aligned. Occlusion is the straight line (1) connecting the corresponding points of the mark □ and the straight line (2) connecting the corresponding points of the mark ●. First, the x coordinate of the straight line (1) <x coordinate of the straight line (2) It means that the x-coordinate of the straight line (2) <the x-coordinate of the straight line (1), and the point where the ordered structure of the object is reversed is determined as the occluded region. That is, this is the point where the formula of (Equation 4) does not hold. As described above, in this method, the occlusion area can be easily determined from the matching state of the stereo matching.
【００２３】この考え方を基にオクリュージョン領域判
定手段６では、正誤判定手段５の出力と距離メモリ４か
ら、物体８の満たす順序拘束Based on this idea, the occlusion area judging means 6 uses the output of the correctness judging means 5 and the distance memory 4 to restrain the order that the object 8 satisfies.
【００２４】[0024]
【数４】もしも、 ｘ＜ｘ′ のとき ｘ＋ＢＦ／ｚ＜ｘ′＋ＢＦ／ｚ′ の成り立たない点を判定し、その点をオクリュージョン
として座標を出力する。ここでｘ，ｘ′はエピポーララ
イン上での水平方向の座標を表し、例えば、マーク□と
マーク×は(数４)を満たし、マーク□とマーク●はこの
関係を満たさない。このとき距離としては、ｚ12とｚ13
を用い、少なくとも一方に対して(数４)が成り立たない
ときオクリュージョンとする。## EQU4 ## If x <x ', a point where x + BF / z <x' + BF / z 'is not established is determined, and the coordinate is output with the point as an occlusion. Here, x and x'represent horizontal coordinates on the epipolar line. For example, mark □ and mark x satisfy (Equation 4), and mark □ and mark ● do not satisfy this relationship. At this time, the distances are z 12 and z 13.
And the occlusion when (Equation 4) does not hold for at least one.
【００２５】最後に距離推定手段７の動作を説明する。
オクリュージョンではない距離測定不可能領域は、周り
の正しい距離から数５により推定する。Finally, the operation of the distance estimating means 7 will be described.
The distance non-measurable area which is not an occlusion is estimated from the correct distance around by the equation (5).
【００２６】[0026]
【数５】∬M ａ(Ｚ−ｚ)2＋ｂ(∇ｚ）２ｄｘｄｙ Ｍ：オクリュージョン領域を除いた距離測定領域 ａ：０ ｆｏｒ オクリュージョンでない測定不可能領
域 Ｃ for 測定可能領域 ｂ：０ for 測定可能領域 Ｃ for オクリュージョンでない測定不可能領域 のエネルギー関数を最小化することで距離を推定する。
ここで、Ｚは距離メモリ４に蓄えられた距離、ｚは推定
距離である。また、この距離の推定は、距離信号にロー
パスフィルタをかけて平滑化しても良いし、正しい距離
を持つ近傍画素の距離の平均を代入してもよい。Equation 5] ∬ M a (Z-z) 2 + b (∇z) 2 dxdy M: Distance excluding occlusion area measuring area a: 0 for octene Liu not John unmeasurable region C for measurable region b : 0 for measurable area C for non-occluded non-measurable area The distance is estimated by minimizing the energy function.
Here, Z is the distance stored in the distance memory 4, and z is the estimated distance. In addition, this distance estimation may be smoothed by applying a low-pass filter to the distance signal, or the average of the distances of neighboring pixels having the correct distance may be substituted.
【００２７】オクリュージョン領域の推定の概念図を図
５に示す。図５に示す通り一番右の視点で撮像した画像
に対して距離Ｚを求めた場合、オクリュージョンは距離
エッジの右側に生じると考えられるので、この領域での
距離は、オクリュージョン領域の右側の距離で外挿して
やればよい。従ってオクリュージョン領域の距離を正し
く得られた距離Ａで破線のように外挿する。A conceptual diagram of the estimation of the occlusion region is shown in FIG. As shown in FIG. 5, when the distance Z is obtained for the image captured from the rightmost viewpoint, the occlusion is considered to occur on the right side of the distance edge. Therefore, the distance in this region is the occlusion region. Extrapolation should be done at the distance on the right side of. Therefore, the distance of the occlusion area is extrapolated with the correctly obtained distance A as shown by the broken line.
【００２８】このオクリュージョン領域判定、距離推定
の方法は、２台のみの２次元撮像手段を用いる場合、本
実施例でのｚ12のみを使うことで行うことができる。This occlusion area determination and distance estimation method can be performed by using only z 12 in this embodiment when using only two two-dimensional image pickup means.
【００２９】本発明の前記実施例は２次元撮像手段１を
３台の構成で示したが、３台以上何台用いようがまった
く同じように距離を求められることは容易に類推するこ
とができる。In the above-described embodiment of the present invention, the two-dimensional image pickup means 1 is shown as having three units. However, it can be easily inferred that the same distance can be obtained regardless of how many units are used. .
【００３０】また、本実施例では、画像(1)に対しての
距離を求める方法を示したが、これを一番左の視点で撮
像した画像、ここでは画像(3)に対して求めることも、
本方法の記述を左右逆にすることにより簡単に達せられ
る。Further, in this embodiment, the method for obtaining the distance to the image (1) has been shown. However, this is obtained for the image picked up from the leftmost viewpoint, here the image (3). Also,
It can be easily reached by reversing the description of the method.
【００３１】本発明の前記実施例は、専用の演算手段を
用いた構成で示したが、汎用のコンピューターを用いて
ソフトウエア的に演算を実現したり、専用のＣＰＵを用
いたファームウエアで実現しても良いことは当然であ
る。また本発明の各演算手段を、１チップマイコンで実
現しても良いのも当然である。Although the above-described embodiment of the present invention has been shown as a configuration using a dedicated computing means, it can be implemented by software using a general-purpose computer or by firmware using a dedicated CPU. Of course, you can do that. Further, it goes without saying that each computing means of the present invention may be realized by a one-chip microcomputer.
【００３２】[0032]
【発明の効果】以上説明したように、本発明の画像を用
いた距離測定方法及びその装置によれば、複数の画像の
組み合わせによる距離結果から測定不可能領域を決定
し、その中で物体の順序拘束からオクリュージョン領域
を判定し、これらの距離を正しく得られた距離から推定
することにより信頼性の高い距離計測を実現できる。As described above, according to the distance measuring method using an image and the apparatus therefor of the present invention, an unmeasurable region is determined from the distance result obtained by combining a plurality of images, and the object It is possible to realize highly reliable distance measurement by determining the occlusion region from the order constraint and estimating these distances from the correctly obtained distances.
【図１】本発明の一実施例における距離測定装置を模式
的に示した構成図である。FIG. 1 is a configuration diagram schematically showing a distance measuring device according to an embodiment of the present invention.
【図２】距離測定の原理図である。FIG. 2 is a principle diagram of distance measurement.
【図３】オクリュージョンの状態を示す図である。FIG. 3 is a diagram showing an occlusion state.
【図４】オクリュージョン領域判定の概念図である。FIG. 4 is a conceptual diagram of occlusion area determination.
【図５】オクリュージョン領域の距離推定の概念図であ
る。FIG. 5 is a conceptual diagram of distance estimation in an occlusion area.
【符号の説明】 １…２次元撮像手段、 ２…画像メモリ、 ３…距離演
算手段、 ４…距離メモリ、 ５…正誤判定手段、 ６
…オクリュージョン領域判定手段、 ７…距離推定手
段。[Explanation of Codes] 1 ... Two-dimensional image pickup means, 2 ... Image memory, 3 ... Distance calculation means, 4 ... Distance memory, 5 ... Correctness determination means, 6
... Occlusion area determination means, 7 ... Distance estimation means.
Claims (7)
被写体を撮像した複数の画像の相関を演算することによ
って距離を得る距離演算工程と、演算によって得られた
距離の妥当性を判断する正誤判定工程と、距離測定不可
能領域からオクリュージョン領域を判定するオクリュー
ジョン領域判定工程と、距離測定不可能領域の距離を推
定する距離推定工程を含み、前記正誤判定工程では、視
点の異なる画像を３枚以上使用し、複数の画像の組み合
わせによる複数の距離の一致度合いから距離測定不可能
領域を決定することを特徴とする画像を用いた距離測定
方法。1. A distance calculation step of obtaining a distance by calculating a correlation of a plurality of images of a subject taken from a plurality of viewpoints by a correlation calculation means, and a correctness determination to determine the validity of the distance obtained by the calculation. Step, including an occlusion area determination step for determining an occlusion area from the distance measurement impossible area, including a distance estimation step for estimating the distance of the distance measurement impossible area, in the correctness determination step, images of different viewpoints 3. A distance measuring method using an image, comprising using three or more sheets, and determining an area in which the distance cannot be measured from the degree of coincidence of a plurality of distances obtained by combining a plurality of images.
部分については視点が移動しても物体の水平方向の順序
構造が保存される性質を使い判定することを特徴とする
請求項１記載の画像を用いた距離測定方法。2. The occlusion area is determined by using the property that the horizontal ordered structure of the object is preserved for the visible portion even if the viewpoint moves. Distance measurement method using images.
ージョンでない領域では、周辺の正しい距離との平滑化
により推定し、オクリュージョン領域では、一番右の視
点で撮像した画像に対してオクリュージョン領域を判定
した場合、オクリュージョン領域の距離をその右領域の
正しい距離から外挿し、一番左の視点で撮像した画像に
対してオクリュージョン領域を判定した場合、オクリュ
ージョン領域の距離をその左領域の正しい距離から外挿
することで推定することを特徴とする請求項１記載の画
像を用いた距離測定方法。3. The distance in the distance non-measurable area is estimated by smoothing with a correct distance in the periphery in a non-occlusion area, and in the occlusion area, with respect to an image captured from the rightmost viewpoint. When the occlusion area is determined by the extrapolation, the distance of the occlusion area is extrapolated from the correct distance of the right area, and when the occlusion area is determined for the image captured from the leftmost viewpoint, the occlusion area is determined. The distance measuring method using an image according to claim 1, wherein the distance in the John area is estimated by extrapolating from the correct distance in the left area.
なる画像を２枚使い、見えている部分については視点が
移動しても物体の水平方向の順序構造が保存される性質
を使い判定し、右にある２次元撮像手段で撮像した画像
に対してオクリュージョン領域を判定した場合、オクリ
ュージョン領域右の正しい距離から外挿し、左にある２
次元撮像手段で撮像した画像に対してオクリュージョン
領域を判定した場合、オクリュージョン領域左の正しい
距離から外挿することでオクリュージョン領域の距離を
推定することを特徴とする画像を用いた距離測定方法。4. In the occlusion area determination, two images with different viewpoints are used, and the visible portion is determined by using the property that the horizontal order structure of the object is preserved even if the viewpoint moves. When the occlusion area is determined for the image picked up by the two-dimensional image pickup means on the right side, extrapolation is performed from the correct distance on the right side of the occlusion area, and 2 on the left side.
When the occlusion area is determined with respect to the image captured by the three-dimensional imaging means, an image characterized by estimating the distance of the occlusion area by extrapolating from the correct distance on the left side of the occlusion area is used. How to measure the distance.
像手段を用い複数の視点より被写体を撮像した複数画像
の相関を演算することにより距離を得る距離演算手段
と、演算によって得られた距離の妥当性を判断する正誤
判定手段と、距離測定不可能領域からオクリュージョン
領域を判定するオクリュージョン領域判定手段と、距離
測定不可能領域の距離を推定する距離推定手段を備え、
前記正誤判定手段では、視点の異なる画像を３枚以上使
用し、複数の画像の組み合わせによる複数の距離の一致
度合いから距離測定不可能領域を決定することを特徴と
する画像を用いた距離測定装置。5. A plurality of two-dimensional image pickup means, a distance calculation means for obtaining a distance by calculating a correlation between a plurality of images obtained by picking up an object from a plurality of viewpoints using the two-dimensional image pickup means, and a distance calculation means obtained by the calculation. A correctness determination means for determining the validity of the distance, an oclusion area determination means for determining an occlusal area from the distance unmeasurable area, and a distance estimation means for estimating the distance of the distance unmeasurable area,
In the correctness determination unit, three or more images with different viewpoints are used, and the distance measurement impossible area is determined from the degree of coincidence of a plurality of distances obtained by combining a plurality of images. .
部分については視点が移動しても物体の水平方向の順序
構造が保存される性質を使い判定することを特徴とする
請求項５記載の画像を用いた距離測定装置。6. The occlusion region is determined by using the property that the horizontal ordered structure of the object is preserved for the visible portion even if the viewpoint moves. Distance measuring device using images.
ージョンでない領域では、周辺の正しい距離との平滑化
により推定し、オクリュージョン領域では、一番右にあ
る２次撮像手段で撮像した画像に対してオクリュージョ
ン領域を判定した場合、オクリュージョン領域の距離を
その右領域の正しい距離から外挿し、一番左にある２次
元撮像手段で撮像した画像に対してオクリュージョン領
域を判定した場合、オクリュージョン領域の距離をその
左領域の正しい距離から外挿することで推定することを
特徴とする請求項５記載の画像を用いた距離測定装置。7. The distance in the distance non-measurable area is estimated by smoothing with a correct peripheral distance in a non-occlusion area, and in the occlusion area, an image is picked up by the rightmost secondary image pickup means. When the occlusion area is determined for the captured image, the distance of the occlusion area is extrapolated from the correct distance of the right area, and the occlusion is performed for the image captured by the leftmost two-dimensional imaging means. The distance measuring device using an image according to claim 5, wherein when the area is determined, the distance of the occlusion area is extrapolated from the correct distance of the left area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4312219A JPH06160087A (en) | 1992-11-20 | 1992-11-20 | Method and apparatus for measuring distance using image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4312219A JPH06160087A (en) | 1992-11-20 | 1992-11-20 | Method and apparatus for measuring distance using image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06160087A true JPH06160087A (en) | 1994-06-07 |
Family
ID=18026626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4312219A Pending JPH06160087A (en) | 1992-11-20 | 1992-11-20 | Method and apparatus for measuring distance using image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06160087A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004354255A (en) * | 2003-05-29 | 2004-12-16 | Sogo Keibi Hosho Co Ltd | Distance measuring device and method, and program for making computer perform method |
| WO2007047610A1 (en) * | 2005-10-14 | 2007-04-26 | Microsoft Corporation | Occlusion handling in stereo imaging |
| JP2017518147A (en) * | 2014-03-28 | 2017-07-06 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Quantitative three-dimensional imaging of surgical scenes |
| US10334227B2 (en) | 2014-03-28 | 2019-06-25 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging of surgical scenes from multiport perspectives |
| US10350009B2 (en) | 2014-03-28 | 2019-07-16 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging and printing of surgical implants |
| US10555788B2 (en) | 2014-03-28 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
| US11266465B2 (en) | 2014-03-28 | 2022-03-08 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional visualization of instruments in a field of view |
-
1992
- 1992-11-20 JP JP4312219A patent/JPH06160087A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004354255A (en) * | 2003-05-29 | 2004-12-16 | Sogo Keibi Hosho Co Ltd | Distance measuring device and method, and program for making computer perform method |
| WO2007047610A1 (en) * | 2005-10-14 | 2007-04-26 | Microsoft Corporation | Occlusion handling in stereo imaging |
| JP2017518147A (en) * | 2014-03-28 | 2017-07-06 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Quantitative three-dimensional imaging of surgical scenes |
| US10334227B2 (en) | 2014-03-28 | 2019-06-25 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging of surgical scenes from multiport perspectives |
| US10350009B2 (en) | 2014-03-28 | 2019-07-16 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging and printing of surgical implants |
| US10368054B2 (en) | 2014-03-28 | 2019-07-30 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging of surgical scenes |
| US10555788B2 (en) | 2014-03-28 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
| JP2020054832A (en) * | 2014-03-28 | 2020-04-09 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Quantitative three-dimensional imaging of surgical scenes |
| US11266465B2 (en) | 2014-03-28 | 2022-03-08 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional visualization of instruments in a field of view |
| US11304771B2 (en) | 2014-03-28 | 2022-04-19 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5682065B2 (en) | Stereo image processing apparatus and stereo image processing method | |
| JP3242529B2 (en) | Stereo image matching method and stereo image parallax measurement method | |
| US20090324059A1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| EP1286307A2 (en) | Recovering depth from multiple images using multi-plane and spatial propagation | |
| KR20180087944A (en) | Method and apparatus for stereo matching | |
| JP2002024807A (en) | Object movement tracking technique and recording medium | |
| CN106991378B (en) | Depth-based face orientation detection method and device and electronic device | |
| WO2022105676A1 (en) | Method and system for measuring wear of workpiece plane | |
| CN105934757A (en) | Method and apparatus for detecting incorrect associations between keypoints of first image and keypoints of second image | |
| CN107504917B (en) | Three-dimensional size measuring method and device | |
| JP3842988B2 (en) | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program | |
| JPH06160087A (en) | Method and apparatus for measuring distance using image | |
| CN110800020B (en) | Image information acquisition method, image processing equipment and computer storage medium | |
| JP2008275366A (en) | Stereoscopic 3-d measurement system | |
| JP2802034B2 (en) | 3D object measurement method | |
| Bryant et al. | Robust camera calibration for an autonomous underwater vehicle | |
| US7158665B2 (en) | Image processing device for stereo image processing | |
| Ma et al. | Depth from defocus via active quasi-random point projections | |
| JPH11223516A (en) | Three dimensional image pickup device | |
| JP3525712B2 (en) | Three-dimensional image capturing method and three-dimensional image capturing device | |
| Jeon et al. | A robust stereo-matching algorithm using multiple-baseline cameras | |
| KR101614874B1 (en) | Intelligent 3D CCTV Camera image processing device. | |
| CN115564836B (en) | Monocular coordinate conversion method and device for curtain wall robot and electronic equipment | |
| CN106767532A (en) | A kind of special equipment of fixed three-dimensional detection method | |
| Bhadouria et al. | Stereo image to graphics conversion for indoor environments |