JP2807137B2 - 3D shape detection method - Google Patents
3D shape detection methodInfo
- Publication number
- JP2807137B2 JP2807137B2 JP4333977A JP33397792A JP2807137B2 JP 2807137 B2 JP2807137 B2 JP 2807137B2 JP 4333977 A JP4333977 A JP 4333977A JP 33397792 A JP33397792 A JP 33397792A JP 2807137 B2 JP2807137 B2 JP 2807137B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- image
- pixel
- pixels
- relative difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、両眼視差を用いて立体
の形状を検出する立体形状検出方法に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for detecting a three-dimensional shape using binocular parallax.
【０００２】[0002]
【従来の技術】従来より、一対の撮像手段により得た２
つの画像による両眼視差を利用して立体の形状を検出す
る方法が各種提案されている。この種の立体形状検出方
法の原理を図９を用いて説明する。ＴＶカメラのような
一対の撮像手段の撮像面１０ａ，１０ｂに対してレンズ
１１ａ，１１ｂを通して同じ対象物体上の点Ｐが投影さ
れているものとする。また、撮像面１０ａ，１０ｂは１
つの平面上に配置され、各撮像面１０ａ，１０ｂから対
応する各レンズ１１ａ，１１ｂまでの距離ｆは等しく、
レンズ１１ａ，１１ｂの光軸は平行であるものとする。
ここに、距離ｆは、点Ｐを撮像面１０ａ，１０ｂに結像
させるように設定される。撮像面１０ａ，１０ｂに対す
る点Ｐの投影点をＰL ，ＰR とし、各レンズ１１ａ，１
１ｂの中心ＯL ，ＯR を通り撮像面１０ａ，１０ｂに下
ろした垂線の足から各投影点ＰL ，ＰR までの距離をそ
れぞれｄL ，ｄR とし、レンズ１１ａ，１１ｂの中心Ｏ
L ，ＯR の間の距離をＢとすると、両レンズ１１ａ，１
１ｂの中心ＯL ，ＯR を含む平面から点Ｐまでの距離Ｚ
は、次式のように表すことができる。 Ｚ＝Ｂ・ｆ／Ｄ ただし、Ｄ＝ｄL ＋ｄR ここにおいて、Ｄは両撮像面１０ａ，１０ｂでの視差に
なる。このように、同じ点Ｐについて両撮像面１０ａ，
１０ｂの上での視差Ｄを求めることによって点Ｐまでの
距離Ｚを求めることができ、さらに、撮像面１０ａ，１
０ｂの上での投影点ＰL またはＰR の位置と、撮像面１
０ａ，１０ｂからレンズ１１ａ，１１ｂの中心ＯL ，Ｏ
R までの距離ｆが既知であることによって、距離Ｚがわ
かればレンズ１１ａまたは１１ｂの光軸から点Ｐまでの
距離も求めることができ、結果的に点Ｐの３次元位置を
求めることができるのである。2. Description of the Related Art Conventionally, two images obtained by a pair of imaging means have been used.
Various methods for detecting a three-dimensional shape using binocular parallax between two images have been proposed. The principle of this type of three-dimensional shape detection method will be described with reference to FIG. It is assumed that a point P on the same target object is projected through the lenses 11a and 11b on the imaging surfaces 10a and 10b of a pair of imaging means such as a TV camera. The imaging surfaces 10a and 10b are 1
Are arranged on two planes, the distance f from each imaging surface 10a, 10b to each corresponding lens 11a, 11b is equal,
The optical axes of the lenses 11a and 11b are assumed to be parallel.
Here, the distance f is Ru is set to the point P so as to form an image pickup surface 10a, to 10b. IMAGING surface 10a, the projected point of the point P with respect to 10b and P L, P R, each lens 11a, 1
The center O L of 1b, O R street imaging surface 10a, P each projection point from perpendicular foot drawn down to 10b L, P the distance to R each d L, and d R, a lens 11a, 11b center O of
L, and the distance between the O R is is B, both lenses 11a, 1
1b center O L, a distance from the plane including the O R to the point P Z of
Can be expressed as: Z = B · f / D where D = d L + d R where D is the parallax between both imaging surfaces 10a and 10b. Thus, for the same point P, both imaging surfaces 10a,
The distance Z to the point P can be obtained by obtaining the parallax D on the image plane 10b.
0b and the position of the projection point P L or P R on the imaging surface 1
0a, lens 11a from 10b, 11b center O L of, O
Since the distance f to R is known, if the distance Z is known, the distance from the optical axis of the lens 11a or 11b to the point P can also be obtained, and as a result, the three-dimensional position of the point P can be obtained. It is.
【０００３】ところで、上記原理より明らかなように、
両眼視差を用いて３次元位置を求めるためには、両撮像
面１０ａ，１０ｂに投影されている像の中から同じ点Ｐ
に対応する投影点ＰL ，ＰR を求めることが必要であ
る。これを「対応付け問題」と呼んでいる。「対応付け
問題」についてさらに詳しく説明する。いま、一対の撮
像手段によって得た画像に基づいて対象物体のエッジを
抽出し図１０のような２枚のエッジ画像ＩL ，ＩR が得
られたとする。ここで、両レンズ１１ａ，１１ｂの中心
ＯL，ＯR を結ぶ方向をＸ方向とし、撮像面１０ａ，１
０ｂに沿ってＸ方向に直交する方向をＹ方向として、エ
ッジ画像ＩL ，ＩR の横方向がＸ方向に一致し、縦方向
がＹ方向に一致するものとする。さらに、レンズ１１
ａ，１１ｂの中心ＯL ，ＯR を通り撮像面１０ａ，１０
ｂに直交する垂線の足は両エッジ画像ＩL ，ＩRの中心
に対応するものとする。すなわち、同じ点Ｐについては
両エッジ画像ＩL，ＩR のＸ方向の座標値の差が視差Ｄ
に対応することになる。[0003] By the way, as is clear from the above principle,
In order to obtain the three-dimensional position using the binocular parallax, the same point P is selected from the images projected on both imaging surfaces 10a and 10b.
It is necessary to determine the projection points P L and P R corresponding to. This is called an “association problem”. The "association problem" will be described in more detail. Now, it is assumed that the edges of the target object are extracted based on the images obtained by the pair of imaging means, and two edge images I L and I R as shown in FIG. 10 are obtained. Here, both lens 11a, the center O L of 11b, and a direction connecting the O R and X direction, the imaging surface 10a, 1
The direction orthogonal to the X direction along the 0b as Y-direction, edge images I L, the transverse I R matches the X direction, the vertical direction is assumed to match the Y-direction. Further, the lens 11
a, 11b of the center O L, O R street imaging surface 10a, 10
The perpendicular leg perpendicular to b corresponds to the center of both edge images I L and I R. In other words, both edge image for the same point P is I L, the difference parallax D coordinate values in the X direction of I R
Will correspond.
【０００４】いま、一方のエッジ画像ＩL に示されるエ
ッジについて３次元座標を求める範囲をウインドウＷ1
によって指定し、このウインドウＷ1 の中のエッジａに
対応するエッジを他方のエッジ画像ＩR から求めること
を考える。この場合、エッジ画像ＩR ではエッジａに対
応する候補となるエッジｂ，ｃ，ｄが複数存在している
から、候補となるエッジｂ，ｃ，ｄを含む範囲でウイン
ドウＷ2 を設定する。ここに、両ウインドウＷ1 ，Ｗ2
のＹ方向の座標値の範囲は一致するように設定する。こ
の例においては「対応付け問題」は、エッジａに対応す
るエッジとしてエッジｂ，ｃ，ｄの中からエッジｄを誤
りなく検出するということである。[0004] Now, one of the edge image I L window range for obtaining the three-dimensional coordinates for the edge indicated in W 1
Specify by considering that obtaining the edge corresponding to the edge a in the windows W 1 from the other edge image I R. In this case, since the edge b of the candidate corresponding to the edge a the edge image I R, c, d there are a plurality, the candidate edge b, c, sets a window W 2 in a range including the d. Here, both windows W 1 , W 2
Are set so that the ranges of the coordinate values in the Y direction coincide with each other. In this example, the "correspondence problem" means that the edge d is detected without error from the edges b, c, and d as the edge corresponding to the edge a.
【０００５】この「対応付け問題」の解法は種々提案さ
れている。１つの解法としては、エッジａの各画素に対
するエッジｂ，ｃ，ｄの各画素間のＸ方向の位置の相対
差が視差Ｄに対応するものと考え、両エッジ画像ＩL ，
ＩR のエッジが対象物体の同じ線上のエッジに対応する
のであれば、エッジ上の画素の視差ＤはＹ方向のどの位
置でもほぼ等しくなるという原理を用いることが考えら
れている。すなわち、エッジａの各画素ごとにエッジ
ｂ，ｃ，ｄの各画素のうちＹ方向の座標値が同じである
画素との位置の相対差を求め、位置の相対差に関する度
数分布を求めることによって、度数がピーク値となる位
置の相対差が求める視差Ｄであると判断するのである
（山口・中山・白井・浅田：信頼性の高い対応を優先し
た多段階ステレオ法，電子情報通信学会論文誌，Vol. J
74-D-II, No. 7，1991）。[0005] Various solutions to this "association problem" have been proposed. One solution is to consider that the relative difference in the X direction position between each pixel of the edge b, c, and d with respect to each pixel of the edge a corresponds to the parallax D, and the two edge images I L ,
If the edges of the I R corresponds to the same line of the edge of the target object, the disparity D of the pixels on the edges it is considered to use the principle of approximately equal at any position in the Y direction. That is, for each pixel of the edge a, the relative difference of the position with the pixel having the same coordinate value in the Y direction among the pixels of the edges b, c, and d is obtained, and the frequency distribution related to the relative difference of the position is obtained. , The relative difference between the positions where the frequency reaches the peak value is determined to be the parallax D to be determined (Yamaguchi, Nakayama, Shirai, Asada: Multi-stage stereo method giving priority to highly reliable correspondence, Transactions of the Institute of Electronics, Information and Communication Engineers) , Vol. J
74-D-II, No. 7, 1991).
【０００６】さらに詳しく説明する。図１１に示すよう
に、ウインドウＷ1 ，Ｗ2 がＹ方向について３画素分の
幅で設定されているとすると、エッジａの画素ａ１はエ
ッジｂ，ｃ，ｄの画素ｂ１，ｃ１，ｄ１のいずれかに対
応し、同様に画素ａ２は画素ｂ２，ｃ２，ｄ２のいずれ
か、画素ａ３は画素ｂ３，ｃ３，ｄ３のいずれかに対応
すると考えられる。そこで、対応すると考えられる画素
間のＸ方向の位置の相対差を求め、その度数分布を求め
る。図１１では、画素ａ１のＸ方向の座標値は「３０
１」、画素ｂ１，ｃ１，ｄ１のＸ方向の座標値はそれぞ
れ「２０１」，「２０５」，「２０８」であるから、位
置の相対差はそれぞれ「１００」，「９６」，「９３」
になる。このような位置の相対差をウインドウＷ1 ，Ｗ
2 のすべての画素について求め、その度数分布をヒスト
グラムに表すと図１２のようになる。This will be described in more detail. As shown in FIG. 11, assuming that the windows W 1 and W 2 are set to have a width of three pixels in the Y direction, the pixel a1 of the edge a becomes the pixel b1, c1, d1 of the edge b, c, d. It is considered that the pixel a2 corresponds to any of the pixels b2, c2, and d2, and the pixel a3 corresponds to any of the pixels b3, c3, and d3. Therefore, the relative difference in the position in the X direction between the pixels considered to correspond to each other is obtained, and the frequency distribution thereof is obtained. In FIG. 11, the coordinate value of the pixel a1 in the X direction is “30”.
1 ", and the coordinate values in the X direction of the pixels b1, c1, and d1 are" 201 "," 205 ", and" 208 ", respectively, so that the relative differences between the positions are" 100 "," 96 ", and" 93 ", respectively.
become. The relative differences between such positions are represented by the windows W 1 , W
FIG. 12 shows the histogram of the frequency distribution obtained for all the two pixels.
【０００７】図１２に示したヒストグラムを見れば、度
数がピーク値になるのは位置の相対差が「９３」となる
ときであって、この値をエッジａに対応しているエッジ
ｄとの視差Ｄとして採用するのであって、視差Ｄが求ま
れば上述した原理によって対象物体においてエッジａに
対応する部位の３次元形状を求めることができるのであ
る。Referring to the histogram shown in FIG. 12, the frequency reaches the peak value when the relative difference between the positions becomes "93", and this value is compared with the edge d corresponding to the edge a. This is adopted as the parallax D. If the parallax D is obtained, the three-dimensional shape of the portion corresponding to the edge a in the target object can be obtained by the above-described principle.
【０００８】[0008]
【発明が解決しようとする課題】上述のように画素間の
位置の相対差の度数分布を用いれば視差Ｄを求めること
ができると考えられるが、実際には図１２のように度数
の差が大きくない場合には、得られた複数の度数ピーク
値の差異が明確ではなく、度数に顕著なピーク値が得ら
れないことが多い。すなわち、度数のピーク値に対応す
る位置の相対差を求める視差Ｄと判断すると、誤検出が
生じる可能性が高く、視差Ｄを信頼性よく求めることが
できないという問題がある。As described above, it is considered that the parallax D can be obtained by using the frequency distribution of the relative difference between the positions of the pixels. If not , multiple frequency peaks obtained
In many cases , the difference between the values is not clear, and a remarkable peak value is not obtained in the frequency. That is, if it is determined that the parallax D is a relative difference between the positions corresponding to the peak values of the frequencies, there is a high possibility that erroneous detection will occur, and there is a problem that the parallax D cannot be obtained with high reliability.
【０００９】本発明は上記問題点の解決を目的とするも
のであり、２つの画像間での画素の対応付けを正確に行
い、視差を信頼性よく検出することができるようにした
立体形状検出方法を提供しようとするものである。SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problem, and to accurately associate pixels between two images and detect a three-dimensional shape with high reliability. It seeks to provide a way.
【００１０】[0010]
【課題を解決するための手段】請求項１の発明では、上
記目的を達成するために、互いに離間して配設された一
対の撮像手段により同じ対象物体の濃淡画像を撮像し、
濃淡画像に基づいて対象物体のエッジを抽出したエッジ
画像を求めた後、一方のエッジ画像において検出目標と
するエッジを指定し、指定したエッジを構成する各画素
と他方のエッジ画像のエッジを構成する各画素のうち両
撮像手段の配列方向の一直線上に並んでいる各画素との
位置の相対差を求めるとともに、位置の相対差を求めた
各画素に関する濃度の微分情報に基づいて重み係数を求
め、位置の相対差に関する度数を重み係数により重み付
けして求めた度数分布に基づいて対応するエッジ間の視
差を決定し、決定した視差に基づいて対象物体の立体形
状を求めるのである。According to the first aspect of the present invention, in order to achieve the above object, a gray image of the same target object is taken by a pair of image pickup means arranged apart from each other,
After obtaining an edge image in which the edge of the target object is extracted based on the grayscale image, an edge to be detected is designated in one of the edge images, and each pixel constituting the designated edge and an edge of the other edge image are constituted. The relative difference between the position of each pixel and the position of each pixel aligned on a straight line in the arrangement direction of the two image pickup means is determined, and the weight coefficient is determined based on the density differential information for each pixel for which the relative difference between the positions has been determined. The parallax between the corresponding edges is determined based on the frequency distribution obtained by weighting the frequencies related to the relative differences between the positions with the weighting coefficients, and the three-dimensional shape of the target object is determined based on the determined parallax.
【００１１】請求項２ないし請求項５の発明は、望まし
い重み係数の決定方法の実施態様であって、請求項２の
発明では、位置の相対差を求める各画素間の濃度の微分
値の差に基づいて重み係数を決定し、請求項３の発明で
は、位置の相対差を求める各画素間の濃度の微分方向値
の差に基づいて重み係数を決定し、請求項４の発明で
は、位置の相対差を求める各画素間の濃度の微分値の符
号の同異に基づいて重み係数を決定し、請求項５の発明
では一方のエッジ画像の各画素の濃度の微分値に基づい
て重み係数を決定するのである。The invention according to claims 2 to 5 is an embodiment of a method for determining a desirable weighting coefficient. In the invention according to claim 2, the difference between the differential values of the densities of the respective pixels for obtaining the relative difference between the positions is determined. In the invention according to claim 3, the weight coefficient is determined based on the difference in the differential direction value of the density between each pixel for obtaining the relative difference between the positions. The weighting factor is determined on the basis of the difference in the sign of the differential value of the density between the pixels for which the relative difference is determined. In the invention according to claim 5, the weighting factor is determined based on the differential value of the density of each pixel of one edge image. Is determined.
【００１２】[0012]
【作用】本発明方法によれば、対応すると考えられる画
素間の位置の相対差に関する度数分布を求める際に、各
画素の濃度の微分情報に基づく重み係数で度数に重み付
けを行うのであって、濃度の微分情報を併用することに
より情報量が増加するから、対応する画素を検出する確
率が高くなるのである。すなわち、対応する画素間では
濃度の微分情報に関連があると考えられるから、関連性
の高い画素については度数を強調するように重み付けす
ることによって、関連性の高い画素を他の画素に対して
際立たせることができ、結果的に間違った相対差位置の
度数ピーク値の影響を排除できる可能性が高くなるので
ある。According to the method of the present invention, when the frequency distribution relating to the relative difference between the positions of the pixels considered to correspond to each other is obtained, the frequency is weighted by a weight coefficient based on the differential information of the density of each pixel. Since the amount of information is increased by using the differential information of the density together, the probability of detecting the corresponding pixel is increased. That is, since it is considered that the differential information of the density is related between the corresponding pixels, the pixels having high relevance are weighted so as to emphasize the frequency, so that the pixels having high relevance are compared with other pixels. Can stand out, resulting in the wrong relative difference position
The possibility of eliminating the influence of the frequency peak value increases.
【００１３】[0013]
【実施例】（実施例１） 図１に本発明方法を適用する装置の概略構成を示す。撮
像手段であるＴＶカメラ１ａ，１ｂを２台設け、ＴＶカ
メラ１ａ，１ｂにより得た同じ対象物体に関する濃淡画
像をフレームメモリである画像蓄積部２ａ，２ｂに格納
する。視差に基づく立体形状の検出は画像蓄積部２ａ，
２ｂに格納された濃淡画像に基づいて行われる。すなわ
ち、濃淡画像にはエッジ抽出部３ａ，３ｂにおいて周知
のエッジ抽出処理が施されてエッジ画像が求められる。
目的とするエッジが抽出しやすいように、対象物体には
適当な方向から照明が施される。また、微分情報抽出部
４ａ，４ｂでは、エッジ画像のエッジを構成する画素に
ついて濃度の微分情報（微分値、微分方向値、微分値の
符号など）が求められる。濃度の微分値は画素の濃度の
変化率を示し、濃度の微分方向値は画素の濃度の変化が
もっとも大きい方向（あるいは、その方向に直交する方
向）を示す。このようにして求めたエッジ画像および微
分情報を用いて、視差検出部５では視差を決定する。視
差が決定されると、３次元座標演算部６において図９を
用いて説明した原理を適用して対象物体の３次元形状を
検出することができるのである。FIG. 1 shows a schematic configuration of an apparatus to which the method of the present invention is applied. Two TV cameras 1a and 1b as image pickup means are provided, and gray-scale images of the same target object obtained by the TV cameras 1a and 1b are stored in image storage units 2a and 2b as frame memories. The detection of the three-dimensional shape based on the parallax is performed by the image storage unit 2a,
This is performed based on the grayscale image stored in 2b. That is, a well-known edge extraction process is performed on the grayscale image in the edge extraction units 3a and 3b to obtain an edge image.
The target object is illuminated from an appropriate direction so that a target edge can be easily extracted. Further, the differential information extracting units 4a and 4b obtain density differential information (differential value, differential direction value, sign of differential value, etc.) for the pixels constituting the edge of the edge image. The density differential value indicates the rate of change of the pixel density, and the density differential direction value indicates the direction in which the density change of the pixel is greatest (or the direction orthogonal to that direction). The parallax detection unit 5 determines parallax using the edge image and the differential information thus obtained. When the parallax is determined, the three-dimensional coordinate calculation unit 6 can detect the three-dimensional shape of the target object by applying the principle described with reference to FIG.
【００１４】本実施例では、濃度の微分情報として微分
値を用いる場合について説明する。画像蓄積部２ａ，２
ｂには、図２に示すような濃淡画像ＤL ，ＤR が格納さ
れているものとする（図２では斜線のピッチが小さいほ
ど暗い状態を示している）。エッジ抽出部３ａ，３ｂで
は、この濃淡画像ＤL ，ＤR から図１０に示したような
エッジ画像ＩL ，ＩR が抽出され、微分情報抽出部４
ａ，４ｂでは、エッジ画像ＩL ，ＩR で抽出したエッジ
を構成する画素について微分値が求められる。いま、図
１０と同様に各エッジ画像ＩL ，ＩR の中でウインドウ
Ｗ1 ，Ｗ2 を設定し、ウインドウＷ1 ，Ｗ2 の中でエッ
ジに対応する画素に対して図１１のように符号を付与し
ているものとする。また、ウインドウＷ1 ，Ｗ2 の中の
各画素の微分値を求めた結果が図３のようになったもの
とする。In this embodiment, a case where a differential value is used as density differential information will be described. Image storage units 2a, 2
The b, (shows a dark as pitch hatched in FIG. 2 is small) grayscale image D L as shown in FIG. 2, D R is assumed to be stored. Edge extraction section 3a, in 3b, the grayscale image D L, D R edge image as shown in FIG. 10 from I L, I R are extracted, the differential information extracting section 4
In (a) and (4b), a differential value is obtained for the pixels constituting the edges extracted from the edge images I L and I R. Now, as shown in FIG. 11 with respect to pixels corresponding to the edge in Figure 10 similarly to the edge image I L, set the window W 1, W 2 in the I R, window W 1, W 2 It is assumed that a code is given. It is also assumed that the result of calculating the differential value of each pixel in the windows W 1 and W 2 is as shown in FIG.
【００１５】視差検出部５では、対応すると考えられる
画素間の位置の相対差とともに、対応すると考えられる
画素間の微分値の差の絶対値を求める。従来の技術で説
明したように、たとえば、画素ａ１に対応する画素の候
補は、画素ｂ１，ｃ１，ｄ１であるから、微分値の差の
絶対値は、それぞれ「５０」，「５０」，「１０」にな
る。そこで、微分値の差の絶対値Ｅ２に対して図４のよ
うな関係で重み係数Ｖを設定すると、対応する画素間で
は重み係数は「２」になり、対応しない画素間では重み
係数は「１」になる。したがって、位置の相対差に関し
て度数分布を求める際に、各度数に対して対応する重み
係数での重み付けを行えば、濃度の微分情報を用いない
場合には図１２のようになった度数分布が、図５のよう
になるのであって、視差を示す位置の相対差についての
度数が他の度数よりも大幅に大きくなる。このように、
目的とする相対差に対応する度数を他の相対差に対する
度数に対して際立たせることができ、結果的に、間違っ
た相対差位置の度数ピーク値の影響を排除して視差を信
頼性よく検出することができのである。なお、重み係数
を決定する関係は図４に示すものに限定されるものでは
なく、対象物体に対する照明の方向などを調節すること
によって、他の関係でも対応関係を有する画素を強調す
るように設定することが可能である。The parallax detector 5 calculates the absolute value of the difference between the differential values of the pixels considered to correspond, as well as the relative difference of the positions of the pixels considered to correspond. As described in the related art, for example, since the pixel candidates corresponding to the pixel a1 are the pixels b1, c1, and d1, the absolute values of the differential values are “50”, “50”, and “50”, respectively. 10 ". Therefore, when the weighting coefficient V is set in the relationship shown in FIG. 4 with respect to the absolute value E2 of the differential value difference, the weighting coefficient becomes “2” between corresponding pixels, and the weighting coefficient becomes “2” between non-corresponding pixels. 1 ". Therefore, when a frequency distribution is obtained with respect to the relative difference between positions, weighting is performed on each frequency with a corresponding weighting coefficient. If the differential information of the density is not used, the frequency distribution as shown in FIG. 12 is obtained. 5, the frequency of the relative difference between the positions indicating the parallax is much larger than the other frequencies. in this way,
It is possible to accentuate the frequency corresponding to the relative difference of interest with respect to frequency for the other relative difference, consequently, wrong
The influence of the frequency peak value of the relative difference position is eliminated, and the parallax can be detected with high reliability. Note that the relationship for determining the weighting factor is not limited to that shown in FIG. 4, but is set so that pixels having a corresponding relationship in other relationships are emphasized by adjusting the direction of illumination of the target object and the like. It is possible to
【００１６】（実施例２） 本実施例は、微分値に代えて微分方向値を用いるもので
あって、各エッジ画像ＩL ，ＩR のエッジを構成する画
素について、対応すると考えられる画素の微分方向値の
差の絶対値を求め、この絶対値Ｅ３に対して図６に示す
ような関係で重み係数Ｖを決定する。他の点は実施例１
と同様である。[0016] (Example 2) This example, there is used a differential direction value instead of the differential value, each of the edge images I L, the pixels constituting the edge of the I R, the pixel considered corresponding The absolute value of the difference between the differential direction values is obtained, and the weight coefficient V is determined based on the relationship shown in FIG. 6 with respect to the absolute value E3. Other points are Example 1.
Is the same as
【００１７】（実施例３）本実施例は、微分値の符号を
用いて重み係数を決定するのであって、対比する２つの
画素の微分値の符号が同じであれば「１」、符号が異な
れば「０」となるように値Ｅ４を設定し、値Ｅ４に対し
て図７に示すように重み係数Ｖを決定するのである。他
の点は実施例１と同様である。(Embodiment 3) In this embodiment, the weight coefficient is determined using the sign of the differential value. If the sign of the differential value of the two pixels to be compared is the same, the sign is "1" and the sign is If different, the value E4 is set so as to be "0", and the weight coefficient V is determined for the value E4 as shown in FIG. Other points are the same as in the first embodiment.
【００１８】（実施例４） 本実施例は、検出対象であるウインドウＷ1 の中のエッ
ジａを構成する各画素について微分値の絶対値を求め、
この絶対値に基づいて重み係数を決定するのであって、
重み係数Ｖは微分値の絶対値Ｅ５に対して図８に示すよ
うな関係で決定される。すなわち、図８に示すように、
微分値の絶対値Ｅ５が０近傍では重み係数Ｖを０とし、
微分値の絶対値Ｅ５が所定値以上になると微分値の絶対
値Ｅ５が大きくなるほど重み係数Ｖを大きくすること
で、微分値の絶対値Ｅ５の大きいコントラストの強い部
分を強調することができる。このように重み係数を設定
しても実施例１と同様の効果が得られる。[0018] (Example 4) This example, the absolute value of a differential value for each pixel constituting the edges a in the window W 1 is detected,
The weight coefficient is determined based on the absolute value,
The weighting coefficient V is determined in relation to the absolute value E5 of the differential value as shown in FIG. That is, as shown in FIG.
When the absolute value E5 of the differential value is close to 0, the weight coefficient V is set to 0,
When the absolute value E5 of the differential value exceeds a predetermined value, the absolute value of the differential value
Increasing the weighting coefficient V as the value E5 increases
, Where the absolute value E5 of the differential value is large and the contrast is strong
Minutes can be emphasized. Even if the weight coefficient is set in this way, the same effect as in the first embodiment can be obtained.
【００１９】[0019]
【発明の効果】本発明は上述のように、互いに離間して
配設された一対の撮像手段により同じ対象物体の濃淡画
像を撮像し、濃淡画像に基づいて対象物体のエッジを抽
出したエッジ画像を求めた後、一方のエッジ画像におい
て検出目標とするエッジを指定し、指定したエッジを構
成する各画素と他方のエッジ画像のエッジを構成する各
画素のうち両撮像手段の配列方向の一直線上に並んでい
る各画素との位置の相対差を求めるとともに、位置の相
対差を求めた各画素に関する濃度の微分情報に基づいて
重み係数を求め、位置の相対差に関する度数を重み係数
により重み付けして求めた度数分布に基づいて対応する
エッジ間の視差を決定し、決定した視差に基づいて対象
物体の立体形状を求めるものであり、対応すると考えら
れる画素間の位置の相対差に関する度数分布を求める際
に、各画素の濃度の微分情報に基づく重み係数で度数に
重み付けを行うのであって、濃度の微分情報を併用する
ことにより情報量が増加するから、対応する画素を検出
する確率が高くなるという利点がある。すなわち、関連
性の高い画素については度数を強調するように重み付け
することによって、関連性の高い画素を他の画素に対し
て際立たせることができ、結果的に間違った相対差位置
の度数ピーク値の影響を排除できる可能性が高くなると
いう効果がある。According to the present invention, as described above, a gray image of the same target object is picked up by a pair of image pickup means arranged apart from each other, and an edge image obtained by extracting an edge of the target object based on the gray image is obtained. Is determined, an edge to be detected is designated in one edge image, and among the pixels constituting the designated edge and the pixels constituting the edge of the other edge image, one of the pixels constituting the edge is aligned on the straight line in the arrangement direction of both imaging means. In addition to calculating the relative difference between the position of each pixel and the weighting coefficient based on the density differential information for each pixel for which the relative difference has been determined, the frequency relating to the relative difference between the positions is weighted by the weighting coefficient. The parallax between corresponding edges is determined based on the frequency distribution obtained in the above, and the three-dimensional shape of the target object is obtained based on the determined parallax. When calculating the frequency distribution related to the relative difference, the frequency is weighted with a weight coefficient based on the differential information of the density of each pixel, and the amount of information increases by using the differential information of the density together. There is an advantage that the probability of detecting is increased. That is, by weighting the highly relevant pixel so as to emphasize the frequency, the highly relevant pixel can be made to stand out from other pixels, and as a result, the wrong relative difference position can be obtained.
This has the effect of increasing the possibility of eliminating the influence of the frequency peak value .
【図１】実施例を示すブロック回路図である。FIG. 1 is a block circuit diagram showing an embodiment.
【図２】実施例で得られる濃淡画像の例を示す説明図で
ある。FIG. 2 is an explanatory diagram showing an example of a grayscale image obtained in an embodiment.
【図３】実施例１における微分値の例を示す説明図であ
る。FIG. 3 is an explanatory diagram illustrating an example of a differential value in the first embodiment.
【図４】実施例１において重み係数の決定に用いる関係
を示すグラフ図である。FIG. 4 is a graph showing a relationship used for determining a weight coefficient in the first embodiment.
【図５】実施例１において視差の決定に用いるヒストグ
ラムを示す図である。FIG. 5 is a diagram illustrating a histogram used for determining parallax in the first embodiment.
【図６】実施例２において重み係数の決定に用いる関係
を示すグラフ図である。FIG. 6 is a graph showing a relationship used for determining a weight coefficient in the second embodiment.
【図７】実施例３において重み係数の決定に用いる関係
を示すグラフ図である。FIG. 7 is a graph showing a relationship used for determining a weight coefficient in the third embodiment.
【図８】実施例４において重み係数の決定に用いる関係
を示すグラフ図である。FIG. 8 is a graph showing a relationship used for determining a weight coefficient in a fourth embodiment.
【図９】本発明の原理を説明する図である。FIG. 9 is a diagram illustrating the principle of the present invention.
【図１０】エッジ画像の一例を示す説明図である。FIG. 10 is an explanatory diagram illustrating an example of an edge image.
【図１１】ウインドウにより選択した画素の例を示す図
である。FIG. 11 is a diagram illustrating an example of a pixel selected by a window.
【図１２】従来例において視差の決定に用いるヒストグ
ラムを示す図である。FIG. 12 is a diagram showing a histogram used for determining parallax in a conventional example.
１ａ ＴＶカメラ １ｂ ＴＶカメラ ２ａ 画像蓄積部 ２ｂ 画像蓄積部 ３ａ エッジ抽出部 ３ｂ エッジ抽出部 ４ａ 微分情報抽出部 ４ｂ 微分情報抽出部 ５ 視差検出部 ６ ３次元座標演算部 ＤL 濃淡画像 ＤR 濃淡画像 ＩL エッジ画像 ＩR エッジ画像 ＷL ウインドウ ＷR ウインドウ1a TV camera 1b TV camera 2a Image storage unit 2b Image storage unit 3a Edge extraction unit 3b Edge extraction unit 4a Differential information extraction unit 4b Differential information extraction unit 5 Parallax detection unit 6 Three-dimensional coordinate calculation unit D L gray image D R gray image I L edge image I R edge image W L window W R window
Claims (5)
段により同じ対象物体の濃淡画像を撮像し、濃淡画像に
基づいて対象物体のエッジを抽出したエッジ画像を求め
た後、一方のエッジ画像において検出目標とするエッジ
を指定し、指定したエッジを構成する各画素と他方のエ
ッジ画像のエッジを構成する各画素のうち両撮像手段の
配列方向の一直線上に並んでいる各画素との位置の相対
差を求めるとともに、位置の相対差を求めた各画素に関
する濃度の微分情報に基づいて重み係数を求め、位置の
相対差に関する度数を重み係数により重み付けして求め
た度数分布に基づいて対応するエッジ間の視差を決定
し、決定した視差に基づいて対象物体の立体形状を求め
ることを特徴とする立体形状検出方法。An image of a gray scale of the same target object is captured by a pair of image capturing means arranged apart from each other, and an edge image obtained by extracting an edge of the target object based on the gray scale image is obtained. An edge to be detected in the image is designated, and each pixel constituting the designated edge and each of the pixels constituting the edge of the other edge image are aligned with the pixels aligned on a straight line in the arrangement direction of both imaging means. Based on the frequency distribution obtained by calculating the relative difference between the positions and obtaining the weighting coefficient based on the differential information of the density of each pixel for which the relative difference between the positions has been obtained, and by weighting the frequency regarding the relative difference between the positions by the weighting coefficient. A three-dimensional shape detection method comprising: determining a parallax between corresponding edges; and obtaining a three-dimensional shape of the target object based on the determined parallax.
各画素間の濃度の微分値の差に基づいて決定することを
特徴とする請求項１記載の立体形状検出方法。2. The three-dimensional shape detection method according to claim 1, wherein the weighting factor is determined based on a difference in a differential value of density between pixels for obtaining a relative difference between positions.
各画素間の濃度の微分方向値の差に基づいて決定するこ
とを特徴とする請求項１記載の立体形状検出方法。3. The three-dimensional shape detection method according to claim 1, wherein the weighting coefficient is determined based on a difference in a differential direction value of density between each pixel for obtaining a relative difference in position.
各画素間の濃度の微分値の符号の同異に基づいて決定す
ることを特徴とする請求項１記載の立体形状検出方法。4. The three-dimensional shape detection method according to claim 1, wherein the weighting factor is determined based on the difference in the sign of the differential value of the density between the pixels for which the relative difference between the positions is obtained.
画素の濃度の微分値に基づいて決定することを特徴とす
る請求項１記載の立体形状検出方法。5. The method according to claim 1, wherein the weighting factor is determined based on a differential value of the density of each pixel of one edge image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4333977A JP2807137B2 (en) | 1992-12-15 | 1992-12-15 | 3D shape detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4333977A JP2807137B2 (en) | 1992-12-15 | 1992-12-15 | 3D shape detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06180218A JPH06180218A (en) | 1994-06-28 |
| JP2807137B2 true JP2807137B2 (en) | 1998-10-08 |
Family
ID=18272113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4333977A Expired - Fee Related JP2807137B2 (en) | 1992-12-15 | 1992-12-15 | 3D shape detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2807137B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011240595A (en) * | 2010-05-18 | 2011-12-01 | Meinan Mach Works Inc | Outer periphery edge detector of material wood end, and method of the same |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0824665B2 (en) * | 1986-11-28 | 1996-03-13 | オリンパス光学工業株式会社 | Endoscope device |
| JP4243692B2 (en) * | 2005-03-16 | 2009-03-25 | 国立大学法人東京工業大学 | Three-dimensional shape detection apparatus and three-dimensional shape detection method |
| JP5437087B2 (en) | 2010-01-15 | 2014-03-12 | オリンパス株式会社 | Endoscope apparatus and program |
| CN103814306B (en) * | 2011-06-24 | 2016-07-06 | 索弗特凯耐提克软件公司 | Depth survey quality strengthens |
| JP2013157747A (en) | 2012-01-27 | 2013-08-15 | Denso Corp | Sound field control apparatus and program |
| US9098754B1 (en) * | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
-
1992
- 1992-12-15 JP JP4333977A patent/JP2807137B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011240595A (en) * | 2010-05-18 | 2011-12-01 | Meinan Mach Works Inc | Outer periphery edge detector of material wood end, and method of the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06180218A (en) | 1994-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3242529B2 (en) | Stereo image matching method and stereo image parallax measurement method | |
| US8326025B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| JP3539788B2 (en) | Image matching method | |
| CN109813251B (en) | Method, device and system for three-dimensional measurement | |
| CN110310320B (en) | Binocular vision matching cost aggregation optimization method | |
| US4573191A (en) | Stereoscopic vision system | |
| US6556704B1 (en) | Method for forming a depth image from digital image data | |
| US6480620B1 (en) | Method of and an apparatus for 3-dimensional structure estimation | |
| US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| JP3008875B2 (en) | Subject extraction device | |
| JP2807137B2 (en) | 3D shape detection method | |
| CN115063469A (en) | Space-time stereo matching method based on multi-frame speckles | |
| JP4394487B2 (en) | Stereo image processing device | |
| JP4424797B2 (en) | 3D shape detection method | |
| Luo et al. | Using surface model to correct and fit disparity data in stereo vision | |
| Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
| JP2961272B1 (en) | Object recognition apparatus and method using feature vector | |
| CN114399532A (en) | Camera position and posture determining method and device | |
| JPH0875454A (en) | Range finding device | |
| JPH1062154A (en) | Processing method of measured value, method and device for shape reconstruction | |
| JP2958462B1 (en) | Method and apparatus for correcting luminance of stereo image | |
| JPH01311207A (en) | Three-dimensional shape measuring method | |
| JPH047805B2 (en) | ||
| JPH06215111A (en) | Parallax detection processing method | |
| Salari et al. | On the reliability of correlation based stereo matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980707 |
|
| LAPS | Cancellation because of no payment of annual fees |