JP3017122B2

JP3017122B2 - Depth information extraction device and depth information extraction method

Info

Publication number: JP3017122B2
Application number: JP9085208A
Authority: JP
Inventors: 鍾一朴; 誠喜井上
Original assignee: 株式会社エイ・ティ・アール知能映像通信研究所
Priority date: 1997-04-03
Filing date: 1997-04-03
Publication date: 2000-03-06
Anticipated expiration: 2017-04-03
Also published as: JPH10283474A

Description

DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】この発明は、多眼カメラによ
り撮影したステレオ画像からの視差情報に基づいて、奥
行き情報を算出する奥行き情報抽出装置装置および奥行
き情報抽出方法に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a depth information extracting apparatus and a depth information extracting method for calculating depth information based on disparity information from stereo images taken by a multi-lens camera.

【０００２】[0002]

【従来の技術】画像認識における特徴抽出や、柔軟かつ
効率よく映像を合成、制作、加工、編集するための映像
部品データベースの構築においては、カメラ等により撮
影された画像情報から奥行き情報を抽出することが行わ
れる。2. Description of the Related Art In feature extraction in image recognition and construction of a video component database for synthesizing, producing, processing, and editing video flexibly and efficiently, depth information is extracted from image information captured by a camera or the like. Is done.

【０００３】ここで、奥行き情報とは、光軸がＺ軸と一
致するカメラ中心座標系での各画素に対応する物体のＺ
座標値をいう。[0003] Here, the depth information refers to the Z of an object corresponding to each pixel in the camera center coordinate system whose optical axis coincides with the Z axis.
Refers to coordinate values.

【０００４】映像合成等のためには、密な、なおかつ、
シャープな奥行きマップを得ることが必要となる。ここ
で、「密な」とは、画面全体の全ての画素ごとに奥行き
値があることを意味し、「シャープな」とは、物体の境
界線が明らかなことを意味する。[0004] For image synthesis, etc.,
It is necessary to obtain a sharp depth map. Here, “dense” means that there is a depth value for every pixel on the entire screen, and “sharp” means that the boundary of the object is clear.

【０００５】ところで、奥行きマップを得るための方法
としては、まず、いわゆる両眼ステレオ法が知られてい
る。両眼ステレオ法とは、人間の両眼視を工学的に実現
しようとするものである。As a method for obtaining a depth map, first, a so-called binocular stereo method is known. The binocular stereo method aims to realize human binocular vision from an engineering viewpoint.

【０００６】図１２は、標準的なステレオ撮像系の構成
を示す概念図である。すなわち、視線の平行な等価な２
つのカメラを設置し、このステレオ撮像系を用いて得ら
れた２枚の画像から、画像上の各点でカメラからの距離
が推定される。両眼ステレオ問題では、２枚の画像上で
の対応点が求まれば、幾何学的に三角測量の原理から距
離を一意に定めることができる。FIG. 12 is a conceptual diagram showing the configuration of a standard stereo imaging system. That is, the parallel equivalent 2
Two cameras are installed, and the distance from the camera at each point on the image is estimated from two images obtained using this stereo imaging system. In the binocular stereo problem, if corresponding points on two images are obtained, the distance can be uniquely determined geometrically from the principle of triangulation.

【０００７】図１１に示した撮像系の場合、左右画像内
での対応点の位置は、水平走査線上（ｘ軸）に拘束され
る。この水平走査線のことをエピポーラ線と呼ぶ。両画
像中の対応点においては、明るさや明度パターンが似て
いると仮定すると、対応点を含む所定面積の領域（以
下、マッチングウィンドウと呼ぶ）についての明度差ま
たは明度間の相関係数を基にして、最適な対応点を探索
することが可能である。このような方法を総称して、領
域法と呼ぶ。In the case of the imaging system shown in FIG. 11, the positions of the corresponding points in the left and right images are restricted on the horizontal scanning line (x-axis). This horizontal scanning line is called an epipolar line. Assuming that the brightness and the brightness pattern are similar at the corresponding points in both images, the brightness difference or the correlation coefficient between the brightnesses for a region of a predetermined area including the corresponding points (hereinafter referred to as a matching window) is assumed. Thus, it is possible to search for an optimal corresponding point. Such methods are collectively referred to as an area method.

【０００８】[0008]

【発明が解決しようとする課題】しかしながら、このよ
うな対応点を求める方法、すなわちステレオマッチング
の方法の構成においては、以下のような問題点が存在す
る。However, in the method of obtaining such corresponding points, that is, in the configuration of the stereo matching method, there are the following problems.

【０００９】つまり、両画像間に規則的な模様が存在す
る場合、視点変化に伴う形変化がある場合、テキスチャ
情報が不足している領域が存在する場合には、上述した
ような対応点の探索を一意に行うことができない。That is, when there is a regular pattern between the two images, when there is a shape change due to a change in the viewpoint, and when there is an area where the texture information is insufficient, the corresponding point The search cannot be performed uniquely.

【００１０】さらに、一方の画像のある領域が、他方の
画像からは観測されない場合があるという、いわゆるオ
クルージョン（ｏｃｃｌｕｓｉｏｎ）問題に対しては、
両眼ステレオ法では、左右の両画像について真のマッチ
ングをとることは不可能である。このため、根本的には
対応することができず、何らかの仮定と知識に基づいて
適当な補間を行うしかなかった。[0010] Further, with respect to the so-called occlusion problem that a certain region of one image may not be observed from the other image,
With the binocular stereo method, it is impossible to perform true matching for both left and right images. For this reason, it was fundamentally impossible to cope with the problem, and appropriate interpolation was performed based on some assumptions and knowledge.

【００１１】上記問題点のうち、特にテキスチャ不足の
問題、規則的なパターンの問題を改善する方法として、
Ｍ．ＯｋｕｔｏｍｉａｎｄＴ．Ｋａｎａｄｅ，”Ａ
Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅｓｔｅｒｅｏ”，Ｉ
ＥＥＥＴｒａｎｓ．ＰＡＭＩ，ｖｏｌ．１５，ｎｏ．
４，ｐｐ．３５３−３６３，Ａｐｒｉｌ１９９３に開
示されているように多基線ステレオマッチング法が提案
されている。カメラの台数が増え、計算量が増加すると
いう問題点はあるもののこの方法を用いることで、実時
間奥行き抽出器も実現されている。Among the above-mentioned problems, in particular, a method of improving the problem of lack of texture and the problem of regular patterns are as follows.
M. Okutomi and T.K. Kanade, "A
Multi-baseline stereo ”, I
EEE Trans. PAMI, vol. 15, no.
4, pp. 353-363, April 1993, a multi-baseline stereo matching method has been proposed. Although there is a problem that the number of cameras increases and the amount of calculation increases, a real-time depth extractor is also realized by using this method.

【００１２】しかしながら、オクルージョン問題につい
ては、あまり注目した例が多くない。これは、かつては
ロボットビジョンがステレオマッチングの主な応用であ
り、画面全体から見ると相対的に小さい領域であるオク
ルージョンには関心が払われにくかったという事情によ
る。[0012] However, there are not many examples of the occlusion problem that have attracted much attention. This is due to the fact that robot vision was once a major application of stereo matching, and it was difficult to pay attention to occlusion, which is a relatively small area when viewed from the entire screen.

【００１３】ただし、後に説明するように、このオクル
ージョン問題の存在が、物体の境界線の明確に保存され
た奥行きマップの獲得を妨害する要因となる。However, as will be described later, the existence of the occlusion problem hinders the acquisition of a depth map in which the boundary of the object is clearly stored.

【００１４】Ｙ．Ｎａｋａｍｕｒａｅｔａｌ．，”
Ｏｃｃｌｕｓｉｏｎｄｅｔｅｃｔａｂｌｅｓｔｅｒ
ｅｏ − Ｏｃｃｕｌｕｓｉｏｎｐａｔｔｅｒｎｓ
ｉｎｃａｍｅｒａｍａｔｒｉｘ，”Ｐｒｏｃ．ＩＥＥ
ＥＣＶＰＲ’９６，ｐｐ．３７１−３７８，Ｓａｎ
Ｆｒａｎｃｉｓｃｏ，Ｊｕｎｅ１９９６に開示されて
いるように、オクルージョンのパターンを定量的に分析
し、オクルージョンが検出できるステレオマッチングも
提案されているが、領域法におけるステレオマッチング
の重要なポイントであるマッチングウィンドウの大きさ
に関する対策は検討されていない。Y. Nakamura et al. , "
Occlusion detectable ster
eo-Occlusion patterns
incamera matrix, "Proc. IEEE
ECVPR '96, pp. 371-378, San
As disclosed in Francisco, June 1996, stereo matching that can quantitatively analyze an occlusion pattern and detect occlusion has been proposed, but the size of the matching window, which is an important point of stereo matching in the area method, has been proposed. No measures have been considered.

【００１５】ここで、一般に領域法の性能はマッチング
ウィンドウの大きさに強く影響される。その大きさは、
ある領域の特徴を表せる十分な輝度変化を含み、雑音耐
性を保つような大きさとすることが必要である。一方、
形の変化や不連続部の影響を避けるためには、その大き
さは小さくなければならない。Here, in general, the performance of the area method is strongly influenced by the size of the matching window. Its size is
It is necessary to have a size that includes a sufficient change in luminance that can represent the characteristics of a certain region and that maintains noise immunity. on the other hand,
The size must be small to avoid the effects of shape changes and discontinuities.

【００１６】このようなマッチングウィンドウの問題に
対する方策としては、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ，”
Ａｃｏｍｐｕｔｅｒｉｍｐｌｅｍｅｎｔａｔｉｏｎ
ｏｆａｔｈｅｏｒｙｏｆｈｕｍａｎｓｔｅ
ｒｅｏｖｉｓｉｏｎ，”Ｐｈｉｌ．Ｔｒａｎｓ．Ｒｏ
ｙａｌＳｏｃ．Ｌｏｎｄｏｎ，ｖｏｌ．Ｂ２９２，ｐ
ｐ．２１７−２５３，１９８１に開示されているような
階層的な手法がある。As a measure against such a problem of the matching window, W.S. E. FIG. L. Grimson, "
A computer implementation
of a theory of human ste
reo vision, "Phil. Trans. Ro
yal Soc. London, vol. B292, p
p. 217-253, 1981.

【００１７】すなわち、まず低い解像度で粗い推定を行
い、その結果を利用して、徐々に解像度および推定精度
を高めていくという方法である。That is, a rough estimation is first made at a low resolution, and the resolution and estimation accuracy are gradually increased using the result.

【００１８】一般には、階層的手法では、処理しようと
している層においては、それよりも一層低い解像度の粗
い推定値の付近だけを探索するように制限を加える。In general, the hierarchical approach restricts the layer being processed to search only near lower resolution coarse estimates.

【００１９】これは、隣接する画素の奥行きは急には変
化しないという仮定に基づいており、平坦部など奥行き
の変化の滑らかな領域では、比較的正確に奥行きを求め
留ことが可能である。This is based on the assumption that the depth of adjacent pixels does not change abruptly, and it is possible to obtain the depth relatively accurately in an area where the depth changes smoothly, such as a flat portion, and stay there.

【００２０】しかしながら、物体の境界線など奥行きの
不連続な領域では、やはり十分な精度は得られず、誤差
を引き起こしてしまうという問題があった。However, there is a problem that sufficient accuracy cannot be obtained in a discontinuous depth region such as a boundary line of an object, causing an error.

【００２１】この発明は、上記のような問題点を解決す
るためになされたものであって、その目的は、オクルー
ジョンの影響を抑制して物体の境界線付近の奥行き情報
の誤差を低減することが可能な奥行き情報抽出装置およ
び奥行き情報抽出方法を提供することである。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to suppress the influence of occlusion and reduce errors in depth information near the boundary of an object. To provide a depth information extraction device and a depth information extraction method that can perform the above.

【００２２】この発明の他の目的は、物体の境界線と奥
行きマップのエッジの一致を保持しつつ、雑音耐性の良
好な奥行き情報抽出装置および奥行き情報抽出方法を提
供することである。Another object of the present invention is to provide a depth information extracting apparatus and a depth information extracting method which have good noise resistance while maintaining the coincidence between the boundary line of the object and the edge of the depth map.

【００２３】[0023]

【課題を解決するための手段】請求項１記載の奥行き情
報抽出装置は、撮影したステレオ画像に基づいて、奥行
き情報を抽出する奥行き情報抽出装置であって、対象画
像を撮影する多眼撮像手段を備え、多眼撮像手段は、基
準画像を撮影し、光学像を各画素に対応する画像データ
に変換して出力する第１の撮像手段と、第１の撮像手段
の周りに光軸が互いに平行となるように配置され、それ
ぞれが撮影した光学像を各画素に対応する画像データに
変換して出力するｎ個（ｎ：自然数、ｎ≧２）の撮像手
段とを含み、第１の撮像手段から出力される第１の画像
データとｎ個の第２の撮像手段からそれぞれ出力される
ｎ個の第２の画像データとを記憶・保持する画像記憶手
段と、画像記憶手段からの出力に応じて、第１の画像デ
ータに属する各画素に対応する奥行き情報を抽出する奥
行き情報演算手段とをさらに備え、奥行き情報演算手段
は、第１の画像データの任意の１つの画素に対する奥行
きデータの抽出処理を、ｉ）第１の画像データと第２の
画像データのうちのｉ番目（１≦ｉ≦ｎ）の画像データ
との間で、第１の画像データ中の１つの画素を含む所定
面積を有する第１の領域と、ｉ番目の画像データ中の対
応する位置の所定面積を有する第２の領域との画素デー
タ値を比較して、一致の程度を表す第０番目の比較値を
算出する処理をｎ個の第２の画像データのそれぞれに対
して行い、算出されたｎ個の第０番目の比較値のうち小
さい側からの所定数に基づいて第０番目の代表値を決定
し、ｉｉ）各ｉ番目の画像データにおいて、第２の領域
を（移動量）＝（単位移動量）×ｊ（ｊ：自然数）だけ
第１の撮像手段の光軸に近づく方向にずらした後に、第
１の領域と第２の領域との画素データ値を比較して、一
致の程度を表す第ｊ番目の比較値を算出する処理をｎ個
の第２の画像データのそれぞれに対して行い、算出され
たｎ個の第ｊ番目の比較値のうち小さい側からの所定数
に基づいて第ｊ番目の代表値を決定するステップを、ｊ
＝１からｊ＝ｍ（ｍ：所定の自然数）まで繰り返し、ｉ
ｉｉ）第０番目から第ｍ番目までの代表値のうち最小の
ものに対応する移動量を、第１の画像データの任意の１
つの画素に対する視差量として奥行きデータを算出する
ことにより実行する。According to a first aspect of the present invention, there is provided a depth information extracting apparatus for extracting depth information based on a captured stereo image. A multi-view imaging unit, which captures a reference image, converts an optical image into image data corresponding to each pixel and outputs the image data, and an optical axis around the first imaging unit. A first imaging unit that includes n (n: natural number, n ≧ 2) imaging units that are arranged so as to be parallel, each convert an optical image captured into image data corresponding to each pixel, and output the image data. Image storage means for storing and holding first image data output from the means and n second image data respectively output from the n second imaging means; and an output from the image storage means. Corresponding to each image belonging to the first image data. And depth information calculation means for extracting depth information corresponding to the first image data, and the depth information calculation means performs a depth data extraction process for any one pixel of the first image data. A first area having a predetermined area including one pixel in the first image data between an i-th (1 ≦ i ≦ n) image data of the second image data and an i-th image data; The process of comparing the pixel data values of the corresponding area in the image data with the second area having the predetermined area and calculating the 0th comparison value indicating the degree of coincidence is performed on n pieces of second image data. , And a 0-th representative value is determined based on a predetermined number from the smaller side among the calculated n-th 0-th comparison values. Ii) In each i-th image data, The second area is defined as (movement amount) = (unit movement amount) × j ( (j: natural number) after shifting in the direction approaching the optical axis of the first imaging means, and comparing the pixel data values of the first area and the second area, and the j-th comparison indicating the degree of coincidence A value calculation process is performed on each of the n pieces of second image data, and a j-th representative value is calculated based on a predetermined number from the smaller one of the calculated n-th j-th comparison values. J
= 1 to j = m (m: predetermined natural number), i
ii) The movement amount corresponding to the smallest one of the 0th to mth representative values is set to any one of the first image data.
This is performed by calculating depth data as a parallax amount for one pixel.

【００２４】請求項２記載の奥行き情報抽出装置は、請
求項１記載の奥行き情報抽出装置の構成において、第１
の画像データとｉ番目の画像データとの間の第ｊ番目の
比較値ｅｊｉは、第１の画像データの位置ｒ＝（ｘ、
ｙ）における画素の輝度値をＩ_D（ｒ）とし、第ｉ番目
の画像データの位置ｒにおける画素の輝度値をＩｉ
（ｒ）とし、第１の領域をＷ０、第２の領域をＷ１と
し、第ｉ番目の画像データにおいて、位置ｒからｄ＝
（単位移動量）×ｊだけ第１の撮像手段の光軸に近づく
方向にずれた位置を（ｒ＋ｄｊｉ）とするとき、According to a second aspect of the present invention, there is provided a depth information extracting apparatus according to the first aspect.
The j-th comparison value eji between the i-th image data and the i-th image data is represented by the position r = (x,
The luminance value of the pixel at y) is I _D (r), and the luminance value of the pixel at the position r of the i-th image data is Ii.
(R), the first area is W0, the second area is W1, and in the i-th image data, d =
When a position shifted in a direction approaching the optical axis of the first imaging unit by (unit movement amount) × j is (r + dji),

【００２５】[0025]

【数５】 (Equation 5)

【００２６】として算出される。請求項３記載の奥行き
情報抽出装置は、撮影したステレオ画像に基づいて、奥
行き情報を抽出する奥行き情報抽出装置であって、対象
画像を撮影する多眼撮像手段を備え、多眼撮像手段は、
基準画像を撮影し、光学像を各画素に対応する画像デー
タに変換して出力する第１の撮像手段と、第１の撮像手
段の周りに光軸が互いに平行となるように配置され、そ
れぞれが撮影した光学像を各画素に対応する画像データ
に変換して出力するｎ個（ｎ：自然数、ｎ≧２）の撮像
手段とを含み、第１の撮像手段から出力される第１の画
像データとｎ個の第２の撮像手段からそれぞれ出力され
るｎ個の第２の画像データとを記憶・保持する画像記憶
手段と、画像記憶手段からの出力に応じて、第１の画像
データに属する各画素に対応する奥行き情報を抽出する
奥行き情報演算手段とをさらに備え、奥行き情報演算手
段は、第１の画像データの任意の１つの画素に対する奥
行きデータの抽出処理を、ｉ）第０番目の探索ステップ
では、探索領域を（移動量）＝（単位移動量）×ｊ
（ｊ：自然数、１≦ｊ≦ｍ、ｍ：所定数）で規定される
範囲として、ｉ−１）第１の画像データと第２の画像デ
ータのうちのｉ番目（１≦ｉ≦ｎ）の画像データとの間
で、第１の画像データ中の１つの画素を含む所定面積を
有する第１の領域と、ｉ番目の画像データ中の対応する
位置の所定面積を有する第２の領域との画素データ値を
比較して、一致の程度を表す第０番目の比較値を算出す
る処理をｎ個の第２の画像データのそれぞれに対して行
い、算出されたｎ個の第０番目の比較値のうち小さい側
からの所定数の比較値に基づいて第０番目の代表値を決
定し、ｉ−２）各ｉ番目の画像データにおいて、第２の
領域を移動量だけ第１の撮像手段の光軸に近づく方向に
ずらした後に、第１の領域と第２の領域との画素データ
値を比較して、一致の程度を表す第ｊ番目の比較値を算
出する処理をｎ個の第２の画像データのそれぞれに対し
て行い、算出されたｎ個の第ｊ番目の比較値のうち小さ
い側からの所定数の比較値に基づいて第ｊ番目の代表値
を決定するステップを、ｊ＝１からｊ＝ｍ（ｍ：所定の
自然数）まで繰り返し、ｉ−３）第０番目から第ｍ番目
までの代表値のうち最小のものに対応する移動量を、第
１の画像データの任意の１つの画素に対する第０番目の
探索ステップにおける視差値として奥行きデータを算出
し、ｉｉ）第ｋ番目（ｋ≧１）の探索ステップでは、所
定面積を所定係数倍縮小し、かつ、縮小された所定面積
を有する第１の領域内の画素に対して、第（ｋ−１）番
目の探索ステップにおいてそれぞれ算出されたｐ個
（ｐ：自然数）の視差値の集合で規定される範囲を探索
領域として、ｉｉ−１）各ｉ番目の画像データにおい
て、第２の領域を探索領域に属する第ｑ番目（１≦ｑ≦
ｐ）の視差値だけ第１の撮像手段の光軸に近づく方向に
ずらした後に、第１の領域と第２の領域との画素データ
値を比較して、一致の程度を表す第ｑ番目のステップに
おける比較値を算出する処理をｎ個の第２の画像データ
のそれぞれに対して行い、算出されたｎ個の第ｑ番目の
ステップにおける比較値のうち小さい側からの所定数の
比較値に基づいて第ｑ番目の代表値を決定するステップ
を、ｑ＝１からｑ＝ｐまで繰り返し、ｉｉ−２）第１番
目から第ｐ番目までの代表値のうち最小のものに対応す
る移動量を、第１の画像データの任意の１つの画素に対
する第ｋ番目の探索ステップにおける視差量として奥行
きデータを算出する探索ステップをｋの値が所定数とな
るまで繰り返すことで実行する。Is calculated as The depth information extracting device according to claim 3 is a depth information extracting device that extracts depth information based on a captured stereo image, and includes a multi-view imaging unit that captures a target image.
A first imaging unit that captures a reference image, converts an optical image into image data corresponding to each pixel, and outputs the image data. A first imaging unit is arranged around the first imaging unit so that the optical axes are parallel to each other. And n (n: natural number, n ≧ 2) image pickup means for converting an optical image taken by the camera into image data corresponding to each pixel and outputting the image data, and a first image output from the first image pickup means Image storage means for storing and holding data and n pieces of second image data respectively output from the n pieces of second image pickup means, and converting the first image data according to the output from the image storage means. Depth information calculating means for extracting depth information corresponding to each of the pixels belonging to the image processing apparatus, wherein the depth information calculating means performs a process of extracting depth data for any one pixel of the first image data, i. In the search step, the search area is Movement amount) = (unit moving distance) × j
(J: natural number, 1 ≦ j ≦ m, m: a predetermined number) i-1) i-th (1 ≦ i ≦ n) of the first image data and the second image data A first area having a predetermined area including one pixel in the first image data, and a second area having a predetermined area at a corresponding position in the i-th image data. Is performed on each of the n pieces of second image data to calculate a 0th comparison value indicating the degree of coincidence, and the calculated n pieces of 0th values are compared. The 0th representative value is determined based on a predetermined number of comparative values from the smaller side among the comparative values. I-2) In each i-th image data, the second area is moved by the moving amount in the first imaging. After shifting in the direction approaching the optical axis of the means, the pixel data values of the first area and the second area are compared, and Is performed on each of the n pieces of second image data, and a predetermined number from the smaller one of the calculated n pieces of j-th comparison values is calculated. Is determined from j = 1 to j = m (m: a predetermined natural number) by repeating the step of determining the j-th representative value based on the comparison value of i-3) the 0-th to m-th representative values , The depth data is calculated as the disparity value in the 0th search step for any one pixel of the first image data, and ii) the k-th (k ≧ 1) In the search step, the predetermined area is reduced by a predetermined coefficient and the pixels in the first region having the reduced predetermined area are calculated in the (k-1) -th search step. (P: natural number) defined by a set of disparity values That range as the search area, in ii-1) each i-th image data, the q-th belonging to the second region in the search region (1 ≦ q ≦
After shifting in the direction approaching the optical axis of the first imaging unit by the parallax value of p), the pixel data values of the first area and the second area are compared, and the q-th pixel value indicating the degree of coincidence is compared. A process of calculating a comparison value in the step is performed on each of the n pieces of second image data, and a predetermined number of comparison values from the smaller side among the calculated comparison values in the nth qth step are calculated. The step of determining the q-th representative value based on the above is repeated from q = 1 to q = p, and ii-2) The moving amount corresponding to the smallest one of the first to p-th representative values is determined. The search step of calculating depth data as the amount of parallax in the k-th search step for any one pixel of the first image data is repeated until the value of k reaches a predetermined number.

【００２７】請求項４記載の奥行き情報抽出装置は、請
求項３記載の奥行き情報抽出装置の構成において、第ｋ
番目の探索ステップにおける、第１の画像データとｉ番
目の画像データとの間の第ｊ番目の比較値ｅｊｉｋは、
第１の画像データの位置ｒ＝（ｘ、ｙ）における画素の
輝度値をＩ_D（ｒ）とし、第ｉ番目の画像データの位置
ｒにおける画素の輝度値をＩｉ（ｒ）とし、第ｋ番目の
探索ステップにおける第１の領域をＷｋ０、第２の領域
をＷｋ１とし、第ｉ番目の画像データにおいて、位置ｒ
からｄ＝（単位移動量）×ｊだけ第１の撮像手段の光軸
に近づく方向にずれた位置を（ｒ＋ｄｊｉ）とすると
き、[0027] According to a fourth aspect of the present invention, in the depth information extracting apparatus according to the third aspect, the k-th depth information extracting apparatus is provided.
The j-th comparison value ejik between the first image data and the i-th image data in the i-th search step is
The luminance value of the pixel at the position r = (x, y) of the first image data is set to I _D (r), the luminance value of the pixel at the position r of the i-th image data is set to Ii (r), and In a first search step, the first area is Wk0, the second area is Wk1, and the position r
When the position shifted in the direction approaching the optical axis of the first imaging unit by d = (unit movement amount) × j from (r + dji) is

【００２８】[0028]

【数６】 (Equation 6)

【００２９】として算出される。請求項５記載の奥行き
情報抽出方法は、平行な光軸を有する多眼カメラにより
撮影した、基準画像である第１の画像データとそれを取
り囲むｎ個（ｎ：自然数、ｎ≧２）の第２の画像データ
とを含むステレオ画像データに基づいて、第１の画像デ
ータ中の任意の１つの画素に対する奥行き情報を抽出す
る奥行き情報抽出方法であって、ｉ）第１の画像データ
と第２の画像データのうちのｉ番目（１≦ｉ≦ｎ）の画
像データとの間で、第１の画像データ中の１つの画素を
含む所定面積を有する第１の領域と、ｉ番目の画像デー
タ中の対応する位置の所定面積を有する第２の領域との
画素データ値を比較して、一致の程度を表す第０番目の
比較値を算出する処理をｎ個の第２の画像データのそれ
ぞれに対して行い、算出されたｎ個の第０番目の比較値
のうち小さい側からの所定数に基づいて第０番目の代表
値を決定するステップと、ｉｉ）各ｉ番目の画像データ
において、第２の領域を（移動量）＝（単位移動量）×
ｊ（ｊ：自然数）だけ第１の撮像手段の光軸に近づく方
向にずらした後に、第１の領域と第２の領域との画素デ
ータ値を比較して、一致の程度を表す第ｊ番目の比較値
を算出する処理をｎ個の第２の画像データのそれぞれに
対して行い、算出されたｎ個の第ｊ番目の比較値のうち
小さい側からの所定数に基づいて第ｊ番目の代表値を決
定するサブステップを、ｊ＝１からｊ＝ｍ（ｍ：所定の
自然数）まで繰り返すステップと、ｉｉｉ）第０番目か
ら第ｍ番目までの代表値のうち最小のものに対応する移
動量を、第１の画像データの任意の１つの画素に対する
視差量として奥行きデータを算出するステップとを備え
る。Is calculated as The depth information extracting method according to claim 5, wherein the first image data, which is a reference image, taken by a multi-lens camera having parallel optical axes, and n (n: natural number, n ≧ 2) first image data surrounding the first image data. A depth information extracting method for extracting depth information for an arbitrary pixel in the first image data based on stereo image data including the second image data and i) the first image data and the second image data. A first area having a predetermined area including one pixel in the first image data between the i-th (1 ≦ i ≦ n) image data of the i-th image data and the i-th image data The process of comparing the pixel data value with the second region having the predetermined area at the corresponding position in the corresponding position and calculating the 0th comparison value indicating the degree of coincidence is performed for each of the n pieces of second image data. And the calculated n 0th ratios Determining a 0th representative value based on a predetermined number from the smaller side of the value, ii) for each i-th image data, the second region (movement amount) = (unit moving distance) ×
After shifting by j (j: natural number) in the direction approaching the optical axis of the first imaging means, the pixel data values of the first area and the second area are compared, and the j-th pixel value indicating the degree of coincidence is compared. Is performed on each of the n pieces of second image data, and the j-th comparison value is calculated based on a predetermined number from the smaller one of the calculated n-th comparison values. Repeating the sub-step of determining the representative value from j = 1 to j = m (m: a predetermined natural number); and iii) the movement corresponding to the smallest one of the 0-th to m-th representative values. Calculating depth data as the amount of parallax for any one pixel of the first image data.

【００３０】請求項６記載の奥行き情報抽出方法は、請
求項５記載の奥行き情報抽出方法の構成において、第１
の画像データとｉ番目の画像データとの間の第ｊ番目の
比較値ｅｊｉは、第１の画像データの位置ｒ＝（ｘ、
ｙ）における画素の輝度値をＩ_D（ｒ）とし、第ｉ番目
の画像データの位置ｒにおける画素の輝度値をＩｉ
（ｒ）とし、第１の領域をＷ０、第２の領域をＷ１と
し、第ｉ番目の画像データにおいて、位置ｒからｄ＝
（単位移動量）×ｊだけ第１の撮像手段の光軸に近づく
方向にずれた位置を（ｒ＋ｄｊｉ）とするとき、According to a sixth aspect of the present invention, in the depth information extracting method according to the fifth aspect, the first
The j-th comparison value eji between the i-th image data and the i-th image data is represented by the position r = (x,
The luminance value of the pixel at y) is I _D (r), and the luminance value of the pixel at the position r of the i-th image data is Ii.
(R), the first area is W0, the second area is W1, and in the i-th image data, d =
When a position shifted in a direction approaching the optical axis of the first imaging unit by (unit movement amount) × j is (r + dji),

【００３１】[0031]

【数７】 (Equation 7)

【００３２】として算出される。請求項７記載の奥行き
情報抽出方法は、平行な光軸を有する多眼カメラにより
撮影した、基準画像である第１の画像データとそれを取
り囲むｎ個（ｎ：自然数、ｎ≧２）の第２の画像データ
とを含むステレオ画像データに基づいて、第１の画像デ
ータ中の任意の１つの画素に対する奥行き情報を抽出す
る奥行き情報抽出方法であって、第０番目の探索ステッ
プと、第１から第Ｒ番目までの探索ステップとを備え、
第０番目の探索ステップは、ｉ）探索領域を（移動量）
＝（単位移動量）×ｊ（ｊ：自然数、１≦ｊ≦ｍ、ｍ：
所定数）で規定される範囲として、ｉ−１）第１の画像
データと第２の画像データのうちのｉ番目（１≦ｉ≦
ｎ）の画像データとの間で、第１の画像データ中の１つ
の画素を含む所定面積を有する第１の領域と、ｉ番目の
画像データ中の対応する位置の所定面積を有する第２の
領域との画素データ値を比較して、一致の程度を表す第
０番目の比較値を算出する処理をｎ個の第２の画像デー
タのそれぞれに対して行い、算出されたｎ個の第０番目
の比較値のうち小さい側からの所定数の比較値に基づい
て第０番目の代表値を決定するステップと、ｉ−２）各
ｉ番目の画像データにおいて、第２の領域を移動量だけ
第１の撮像手段の光軸に近づく方向にずらした後に、第
１の領域と第２の領域との画素データ値を比較して、一
致の程度を表す第ｊ番目の比較値を算出する処理をｎ個
の第２の画像データのそれぞれに対して行い、算出され
たｎ個の第ｊ番目の比較値のうち小さい側からの所定数
の比較値に基づいて第ｊ番目の代表値を決定するサブス
テップを、ｊ＝１からｊ＝ｍ（ｍ：所定の自然数）まで
繰り返すステップと、ｉ−３）第０番目から第ｍ番目ま
での代表値のうち最小のものに対応する移動量を、第１
の画像データの任意の１つの画素に対する第０番目の探
索ステップにおける視差値として奥行きデータを算出し
するステップとを含み、各第ｋ番目（１≦ｋ≦Ｒ）の探
索ステップは、ｉｉ）所定面積を第（ｋ−１）番目の探
索ステップに比べて所定係数倍縮小し、かつ、縮小され
た所定面積を有する第１の領域内の画素に対して、第
（ｋ−１）番目の探索ステップにおいてそれぞれ算出さ
れたｐ個（ｐ：自然数）の視差値の集合で規定される範
囲を探索領域として、ｉｉ−１）各ｉ番目の画像データ
において、第２の領域を探索領域に属する第ｑ番目（１
≦ｑ≦ｐ）の視差値だけ第１の撮像手段の光軸に近づく
方向にずらした後に、第１の領域と第２の領域との画素
データ値を比較して、一致の程度を表す第ｑ番目のサブ
ステップにおける比較値を算出する処理をｎ個の第２の
画像データのそれぞれに対して行い、算出されたｎ個の
第ｑ番目のサブステップにおける比較値のうち小さい側
からの所定数の比較値に基づいて第ｑ番目の代表値を決
定するサブステップを、ｑ＝１からｑ＝ｐまで繰り返す
ステップと、ｉｉ−２）第１番目から第ｐ番目までの代
表値のうち最小のものに対応する移動量を、第１の画像
データの任意の１つの画素に対する第ｋ番目の探索ステ
ップにおける視差量として奥行きデータを算出するステ
ップとを含む。Is calculated. The depth information extracting method according to claim 7, wherein the first image data as a reference image and n (n: natural number, n ≧ 2) surrounding the first image data, which is a reference image, taken by a multi-lens camera having parallel optical axes. A depth information extracting method for extracting depth information for any one pixel in the first image data based on stereo image data including the first image data and the second image data. To the R-th search step,
The 0th search step includes: i) setting the search area (movement amount)
= (Unit movement amount) × j (j: natural number, 1 ≦ j ≦ m, m:
I-1) of the first image data and the second image data (1 ≦ i ≦
a first area having a predetermined area including one pixel in the first image data and a second area having a predetermined area at a corresponding position in the i-th image data between the image data of n) A process of comparing the pixel data value with the region and calculating a 0th comparison value indicating the degree of coincidence is performed on each of the n pieces of second image data, and the calculated nth 0th value is calculated. Determining a 0th representative value based on a predetermined number of comparative values from the smaller one of the i-th comparative values; and i-2) in each i-th image data, moving the second region by the moving amount After shifting in the direction approaching the optical axis of the first imaging means, the pixel data values of the first area and the second area are compared, and a j-th comparison value indicating the degree of coincidence is calculated. Is performed on each of the n pieces of second image data, and the calculated j-th j-th Repeating a sub-step of determining a j-th representative value based on a predetermined number of comparison values from the smaller side among the comparison values from j = 1 to j = m (m: a predetermined natural number); 3) The movement amount corresponding to the smallest one of the 0-th to m-th representative values is set to the first
Calculating depth data as a parallax value in a zeroth search step for any one pixel of the image data of the image data of each of the k-th (1 ≦ k ≦ R). The (k-1) th search is performed on the pixels in the first region having the reduced area by a predetermined coefficient as compared with the (k-1) th search step. A range defined by a set of p (p: natural number) parallax values calculated in the step is defined as a search area, and ii-1) in each i-th image data, a second area belongs to the search area. q-th (1
≤ q ≤ p), the pixel data values of the first area and the second area are compared with each other after shifting in a direction approaching the optical axis of the first imaging means, and a value indicating the degree of coincidence is obtained. A process of calculating a comparison value in the q-th sub-step is performed for each of the n pieces of second image data, and a predetermined value from the smaller one of the calculated n comparison values in the q-th sub-step is determined. Repeating the sub-step of determining the q-th representative value based on the numerical comparison value from q = 1 to q = p; and ii-2) the smallest of the first to p-th representative values. Calculating depth data as the amount of parallax in the k-th search step for any one pixel of the first image data using the movement amount corresponding to the first image data.

【００３３】請求項８記載の奥行き情報抽出方法は、請
求項７記載の奥行き情報抽出方法の構成において、第ｋ
番目の探索ステップにおける、第１の画像データとｉ番
目の画像データとの間の第ｊ番目の比較値ｅｊｉｋは、
第１の画像データの位置ｒ＝（ｘ、ｙ）における画素の
輝度値をＩ_D（ｒ）とし、第ｉ番目の画像データの位置
ｒにおける画素の輝度値をＩｉ（ｒ）とし、第ｋ番目の
探索ステップにおける第１の領域をＷｋ０、第２の領域
をＷｋ１とし、第ｉ番目の画像データにおいて、位置ｒ
からｄ＝（単位移動量）×ｊだけ第１の撮像手段の光軸
に近づく方向にずれた位置を（ｒ＋ｄｊｉ）とすると
き、The depth information extracting method according to the eighth aspect is the same as the depth information extracting method according to the seventh aspect, except that the k-th
The j-th comparison value ejik between the first image data and the i-th image data in the i-th search step is
The luminance value of the pixel at the position r = (x, y) of the first image data is set to I _D (r), the luminance value of the pixel at the position r of the i-th image data is set to Ii (r), and In a first search step, the first area is Wk0, the second area is Wk1, and the position r
When the position shifted in the direction approaching the optical axis of the first imaging unit by d = (unit movement amount) × j from (r + dji) is

【００３４】[0034]

【数８】 (Equation 8)

【００３５】として算出される。Is calculated as

【００３６】[0036]

BEST MODE FOR CARRYING OUT THE INVENTION

［実施の形態１］［奥行き情報抽出装置の構成］図１は、本発明の実施の
形態１の奥行き抽出装置１００の構成を示す概略ブロッ
ク図である。First Embodiment [Configuration of Depth Information Extraction Device] FIG. 1 is a schematic block diagram showing a configuration of a depth extraction device 100 according to a first embodiment of the present invention.

【００３７】奥行き情報抽出装置１００は、対象画像を
撮像する多眼カメラ１０と、多眼カメラ１０からの画像
信号をデジタル信号に変換するＡ／Ｄ変換器１２と、Ａ
／Ｄ変換器１２からの出力を受けて、基準画像および参
照画像の画像データを保持する映像記憶装置１４と、映
像記憶装置１４に記憶された画像情報に基づいて、基準
画像の各画素について奥行き情報の抽出を行い、奥行き
マップを出力する奥行き計算演算ユニット１６とを含
む。The depth information extracting apparatus 100 includes a multi-lens camera 10 for capturing an object image, an A / D converter 12 for converting an image signal from the multi-lens camera 10 into a digital signal,
The video storage device 14 receives the output from the / D converter 12 and stores the image data of the reference image and the reference image, and the depth of each pixel of the reference image is determined based on the image information stored in the video storage device 14. A depth calculation operation unit 16 for extracting information and outputting a depth map.

【００３８】図２は、多眼カメラ１０の構成をより詳細
に示す概念図である。多眼カメラ１０の中央部には、基
準画像を撮像する基準カメラ１１ａが配置され、その上
下左右に、一定の距離Ｌをおいて参照画像を撮像する参
照カメラ１１ｂ〜１１ｅが配置される。ここでは、すべ
てのカメラ１１ａ〜１１ｅは、光軸が平行で、同一仕様
のものであるとする。実際には、各カメラ毎に微妙に特
性が異なるため、カメラの校正を行い、実効的に同一特
性のカメラが光軸を平行として配置されているのと等価
な構成となるように調整されているものとする。FIG. 2 is a conceptual diagram showing the configuration of the multi-lens camera 10 in more detail. At the center of the multi-lens camera 10, a reference camera 11a that captures a reference image is arranged, and reference cameras 11b to 11e that capture reference images at a fixed distance L are arranged above, below, left, and right of the camera. Here, it is assumed that all the cameras 11a to 11e have the same specifications with parallel optical axes. Actually, since the characteristics are slightly different for each camera, the cameras are calibrated and adjusted so that a camera having the same characteristics is effectively equivalent to a configuration in which the optical axes are arranged in parallel. Shall be

【００３９】したがって、上記のような校正が可能な範
囲であれば、各カメラは必ずしも同一仕様である必要は
なく、等間隔に配置される必要もなく、また、光軸も必
ずしも平行である場合に限定されるものではない。さら
に、カメラの台数も、上述のような５台に限定されるも
のではなく、以下の説明で明らかとなるように、より多
くのカメラを用いる場合にも、本発明を適用することが
可能である。Therefore, as long as the above-mentioned calibration is possible, the cameras do not necessarily have to have the same specifications, they need not be arranged at equal intervals, and the optical axes are not necessarily parallel. However, the present invention is not limited to this. Further, the number of cameras is not limited to five as described above, and as will be apparent from the following description, the present invention can be applied to a case where more cameras are used. is there.

【００４０】ただし、光軸の平行なカメラが等間隔で配
置されている場合の方が、奥行き情報を抽出する手順が
簡素化される。However, the procedure for extracting depth information is simplified when cameras with parallel optical axes are arranged at equal intervals.

【００４１】図３は、図２のように配置された多眼カメ
ラ１０により得られる画像データの幾何学的配置を示す
図である。FIG. 3 is a diagram showing a geometric arrangement of image data obtained by the multi-lens camera 10 arranged as shown in FIG.

【００４２】図３中では、基準画像にインデックスｉ＝
０を割り当て、上画像には、ｉ＝１を、左画像にはｉ＝
２を、下画像にはｉ＝３を、右画像にはｉ＝４をそれぞ
れ割り当てて区別するものとする。In FIG. 3, the index i =
0, i = 1 for the upper image, and i =
2 and i = 3 for the lower image and i = 4 for the right image, respectively.

【００４３】図３を参照して、３次元空間の点Ｐ＝
（Ｘ，Ｙ，Ｚ）は、基準画像上の点ｐ０＝（ｘ０，ｙ
０）に投影される。ここで、ｘ０＝Ｆ×Ｘ／Ｚ、ｙ０＝
Ｆ×Ｙ／Ｚと表される。Ｆはカメラの焦点距離である。Referring to FIG. 3, a point P =
(X, Y, Z) is a point p0 = (x0, y) on the reference image.
0). Here, x0 = F × X / Z, y0 =
Expressed as F × Y / Z. F is the focal length of the camera.

【００４４】点Ｐはまた参照カメラＣｉ（ｉ＝１，２，
３，４）の参照画像上の点ｐｉ＝（ｘｉ，ｙｉ）にも投
影される。The point P is also the reference camera Ci (i = 1, 2, 2).
It is also projected on the point pi = (xi, yi) on the reference image of (3, 4).

【００４５】ここで、ｘｉ，ｙｉは、以下の式で表され
る。Here, xi and yi are represented by the following equations.

【００４６】[0046]

【数９】 (Equation 9)

【００４７】ただし、基線長ベクトルＤｉ＝（Ｄｉｘ，
Ｄｉｙ）は、それぞれＤ１＝（０，−Ｌ），Ｄ２＝（−
Ｌ，０），Ｄ３＝（０，Ｌ），Ｄ４＝（Ｌ，０）であ
る。However, the base line length vector Di = (Dix,
Diy) is D1 = (0, -L) and D2 = (-
L, 0), D3 = (0, L), D4 = (L, 0).

【００４８】図２および図３に示したようなカメラの配
置では、点Ｐの真の視差ｄｉは、すべての参照画像に対
し、ｄｉ＝Ｆ×Ｌ／Ｚ＝｜ｐｉ−ｐ０｜で表せる。したがって、視差ｄｉが推定されれば、それ
に応じて、奥行きＺを取得することができる。In the arrangement of the cameras as shown in FIGS. 2 and 3, the true parallax di of the point P can be expressed as di = F × L / Z = | pi-p0 | for all the reference images. Therefore, if the parallax di is estimated, the depth Z can be acquired accordingly.

【００４９】上述したようなカメラの配置では、ある画
素について１つのカメラからオクルージョンのために真
のマッチングがとれない場合、対称の位置に置かれた他
のカメラからは真のマッチングとれる可能性が高い。In the camera arrangement as described above, if a certain pixel cannot be matched properly by one camera due to occlusion, there is a possibility that another camera located at a symmetrical position will be able to achieve true matching. high.

【００５０】以下に、説明するように、本発明ではこの
ような特性に基づいて奥行き情報の抽出を行う。As described below, in the present invention, depth information is extracted based on such characteristics.

【００５１】［奥行き情報の抽出］続いて、図１に示し
た、奥行き計算演算ユニット１６の動作について説明す
る。図４は、多眼カメラ１０により撮像され、映像記憶
装置１４に記憶される画像データの例を示す概念図であ
る。[Extraction of Depth Information] Next, the operation of the depth calculation operation unit 16 shown in FIG. 1 will be described. FIG. 4 is a conceptual diagram illustrating an example of image data captured by the multi-lens camera 10 and stored in the video storage device 14.

【００５２】以下では、基準画像中の人物の右手の甲の
上の点ｒに対応する画素の奥行きデータを抽出する場合
について説明する。Hereinafter, a case will be described in which depth data of a pixel corresponding to a point r on the back of the right hand of a person in a reference image is extracted.

【００５３】まず、点ｒを囲む所定面積のマッチングウ
ィンドウＷ０を基準画像中に設定する。たとえば、上画
像（ｉ＝１）について、画面中の対応する位置（基準画
面におけるマッチングウィンドウの位置と画像周辺部か
ら同等の位置）にマッチングウィンドウＷ１を設定する
と、視差のためにマッチングウィンドウＷ０中の画像デ
ータとマッチングウィンドウＷ１中の画像データとは、
ずれたものとなっている。First, a matching window W0 of a predetermined area surrounding the point r is set in the reference image. For example, if the matching window W1 is set at a corresponding position on the screen (i.e., the position of the matching window on the reference screen and a position equivalent to the peripheral portion of the image) with respect to the upper image (i = 1), the matching window W0 is displayed due to parallax. And the image data in the matching window W1
It has shifted.

【００５４】そこで、以下では、マッチングウィンドウ
Ｗ１を基準画像の方向に、言い換えると基準画像を撮像
したカメラの光軸に近づく方向に順次ずらせて行きつ
つ、マッチングウィンドウＷ１中の画像データとマッチ
ングウィンドウＷ０中の画像データがもっとも一致する
位置を探索していく。このもっとも両者が一致する位置
までずらせる量が、基準画像と参照画像（ｉ＝１）との
視差に対応することになる。同様の手続きを他の参照画
面（ｉ＝２，３，４）に対しても行うものとする。な
お、以下では参照画像中のマッチングウィンドウをすべ
て共通の符号Ｗ１で表すものとする。Therefore, in the following, the image data in the matching window W1 and the matching window W0 are sequentially shifted in the direction of the reference image, in other words, in the direction approaching the optical axis of the camera that captured the reference image. The position where the inner image data is most matched is searched for. The amount of shift to the position where the two coincide with each other corresponds to the parallax between the reference image and the reference image (i = 1). A similar procedure is performed for other reference screens (i = 2, 3, 4). In the following, it is assumed that all matching windows in the reference image are represented by a common code W1.

【００５５】上述した両マッチングウィンドウ内の画像
データの一致の程度を表す尺度として、たとえば、以下
に示すような画像データの輝度値の自乗偏差を用いるこ
とが可能である。As a measure indicating the degree of coincidence of the image data in the two matching windows, for example, the following square deviation of the luminance value of the image data can be used.

【００５６】[0056]

【数１０】 (Equation 10)

【００５７】ここで、自乗偏差ｅｊｉ（ｒ，ｄｊｉ）の
式中、Ｉ_D（ｒ）は基準画像中の位置ベクトルｒで表さ
れる位置の輝度値を、Ｉｉ（ｒ）は参照画像（ｉ＝１〜
４）中の位置ベクトルｒで表される位置の輝度値を示
し、ｂ∈Ｗ０とは、ベクトルｂがマッチングウィンドウ
Ｗ０中を動くことを、ｂ∈Ｗ１とは、、ベクトルｂがマ
ッチングウィンドウＷ１中を動くことを、それぞれ示
す。Here, in the equation of the square deviation eji (r, dji), I _D (r) is the luminance value of the position represented by the position vector r in the reference image, and Ii (r) is the reference image (i = 1
4) indicates the luminance value of the position represented by the position vector r in the image, b∈W0 indicates that the vector b moves in the matching window W0, and b∈W1 indicates that the vector b indicates the position in the matching window W1. , Respectively.

【００５８】また、ベクトルｄｊｉとは、参照画像ｉに
おいて、マッチングウィンドウを順次基準画像の方向へ
ずらせる手続きを行う際に、ｊ番目に移動した移動ベク
トルを表すものとする。つまり、移動後の位置ベクトル
は、（ｒ＋ｄｊｉ）となる。したがって、一回のステッ
プで所定の単位移動量ずつ基準画像側にマッチングウィ
ンドウＷ１の位置をずらせていくとすると、ｊ番目のス
テップでは、ベクトルｄｊｉの大きさは、以下の式で表
されることになる。The vector dji is assumed to represent a j-th moving vector when a procedure for sequentially shifting the matching window in the direction of the reference image in the reference image i is performed. That is, the position vector after the movement is (r + dji). Therefore, assuming that the position of the matching window W1 is shifted toward the reference image by a predetermined unit movement amount in one step, in the j-th step, the magnitude of the vector dji is expressed by the following equation. become.

【００５９】｜ｄｊｉ｜＝（単位移動量）×ｊまた、移動量の最大値としては、予めカメラ配置等を考
慮して、所定の値ＳＲが設定され、この最大移動量まで
の範囲を探索領域として、視差の推定が行われるものと
する。| Dji | = (unit movement amount) × j As the maximum value of the movement amount, a predetermined value SR is set in advance in consideration of camera arrangement and the like, and a range up to the maximum movement amount is searched. It is assumed that parallax is estimated as a region.

【００６０】ここで、単位移動量としては画素数の整数
倍の値でもよく、また、画素数の任意の係数倍の値でも
よい。任意の係数倍の場合、移動位置の輝度値は周囲の
画素の輝度値から補間により求めることができる。Here, the unit movement amount may be a value that is an integral multiple of the number of pixels, or a value that is an arbitrary multiple of the number of pixels. In the case of an arbitrary coefficient multiple, the luminance value at the movement position can be obtained by interpolation from the luminance values of the surrounding pixels.

【００６１】図２に示したようなカメラの配置では、原
理的には視差の大きさｄは、すべての参照画像に対して
一定のはずである。In the arrangement of the cameras as shown in FIG. 2, the magnitude d of the parallax should be constant for all the reference images in principle.

【００６２】したがって、奥行きの不連続ない場所で
は、たとえば、単純に４つの参照画像における自乗偏差
の和が最小の点における移動量が視差を表すとしても、
正確な結果を得ることができる。Therefore, in a place where there is no discontinuity in depth, for example, even if the movement amount at the point where the sum of the squared deviations in the four reference images is simple represents parallax,
Accurate results can be obtained.

【００６３】しかしながら、奥行きの不連続な場所、た
とえばオクルージョンの影響のある場所では、以下のよ
うな問題点が存在する。However, in a place where the depth is discontinuous, for example, in a place where occlusion is affected, the following problems exist.

【００６４】図５は、各参照画像について、自乗偏差ｅ
ｊｉを求めた場合の一例を示す。図５に示した例では、
真の視差の値（ｄ〜６）において、オクルージョンの影
響のために、下画像および右画像からの自乗偏差が大き
な値を持つ。このため、たとえば、単純に４つの参照画
像における自乗偏差の和が最小の点が視差を表すとし
て、視差の推定を行うと誤った値（ｄ〜１９）が得られ
てしまうことになる。FIG. 5 shows the square deviation e for each reference image.
An example when ji is obtained is shown. In the example shown in FIG.
In the true parallax value (d to 6), the square deviation from the lower image and the right image has a large value due to the effect of occlusion. For this reason, for example, if the point where the sum of the squared deviations in the four reference images simply represents the parallax indicates that the parallax is estimated, an incorrect value (d to 19) will be obtained.

【００６５】以上のような問題点には、マッチングをと
る際、推定結果に悪影響を与えるような観測データを、
予め除去しておくことで対処することが可能である。The problems described above include, when matching is performed, observation data that adversely affects the estimation result.
It is possible to deal with it by removing it in advance.

【００６６】したがって、たとえば、位置ｒにおける視
差ｄ（ｒ）の推定を以下の式に従って、行うことが可能
である。Therefore, for example, the parallax d (r) at the position r can be estimated according to the following equation.

【００６７】[0067]

【数１１】 [Equation 11]

【００６８】ここで、ｅ’ｊｉはｅｊｉをソートしたも
のであり、ｉ＜ｋに対してｅ’ｊｉ＞ｅｊｋである。つ
まり、上記の方法では、自乗偏差ｅｊｉのうち、小さい
方から２つの和により、視差ｄを評価する。Here, e'ji is a sort of eji, and e'ji> ejk for i <k. That is, in the above method, the parallax d is evaluated by the sum of the two square deviations ej from the smaller one.

【００６９】もちろん、カメラの台数や観測条件等に応
じて、小さい方からいくつのデータをとるかは決定され
るものであって、この個数に限定されるものではない。Of course, depending on the number of cameras, observation conditions, and the like, the number of pieces of data to be taken is determined from the smaller one, and is not limited to this number.

【００７０】図６は、上述したような、奥行きデータの
抽出手順を示す概念図である。まず、ｊ＝０、つまりｄ
０ｉ＝０であって、マッチングウィンドウＷ１は初期位
置にあるとして、自乗偏差ｅ０ｉを各参照画像において
求める。FIG. 6 is a conceptual diagram showing a procedure for extracting depth data as described above. First, j = 0, that is, d
Assuming that 0i = 0 and the matching window W1 is at the initial position, the square deviation e0i is obtained for each reference image.

【００７１】つづいて、自乗偏差ｅｊｉをソート処理し
て、ｅ’０ｉを求め、小さい側の２つの和（ｅ’０３＋
ｅ’０４）を評価値（代表値）として抽出する。Subsequently, the square deviation eji is sorted to obtain e′0i, and the sum of the two smaller values (e′03 +
e′04) is extracted as an evaluation value (representative value).

【００７２】同様の処理をｊの値を１ずつ増やしなが
ら、ｊ＝ＳＲ（探索領域の最大値）となるまで繰り返
す。各ステップ（ｊ＝ｋ）で得られた評価値のなかで最
小の値を有する（ｅ’ｋ３＋ｅ’ｋ４）に対応するｄｋ
ｉを視差の値とする。ここで、すべての参照画像につい
てｄｋｉの値は同一の値であるので、これを単純にｄｋ
で表すことにする。The same processing is repeated while increasing the value of j by 1 until j = SR (the maximum value of the search area). Dk corresponding to (e′k3 + e′k4) having the minimum value among the evaluation values obtained in each step (j = k)
Let i be the value of parallax. Here, since the value of dki is the same for all the reference images, this is simply referred to as dk
Will be represented by

【００７３】図７は、図６で説明した手順を、基準画像
中の任意の１つの画素に対する処理について、より詳細
に示すフローチャートである。奥行き計算演算ユニット
１６は、処理を開始すると（ステップＳ１００）、まず
変数ｊの値を初期化する（ステップＳ１０２）。FIG. 7 is a flowchart showing the procedure described with reference to FIG. 6 in more detail with respect to processing on an arbitrary one pixel in the reference image. When starting the processing (step S100), the depth calculation operation unit 16 first initializes the value of the variable j (step S102).

【００７４】つづいて、奥行き計算演算ユニット１６
は、各参照画像について自乗偏差ｅｊｉを計算し（ステ
ップＳ１０４）、各参照画像について得られた自乗偏差
の値ｅｊ１、ｅｊ２、ｅｊ３、ｅｊ４の値をソート処理
する（ステップＳ１０６）。Subsequently, the depth calculation operation unit 16
Calculates the squared deviation ej for each reference image (step S104), and sorts the values of the squared deviation values ej1, ej2, ej3, and ej4 obtained for each reference image (step S106).

【００７５】ソート結果に基づいて、小さい側から２つ
の値の和（ｅ’ｊ３＋ｅ’ｊ４）が代表値として代表値
配列Ｅ（ｊ）に格納される（ステップＳ１０８）。Based on the sorting result, the sum of the two values (e'j3 + e'j4) from the smaller side is stored as a representative value in the representative value array E (j) (step S108).

【００７６】つづいて、奥行き計算演算ユニット１６
は、移動量の値が探索領域の最大値に達しているかの判
断を行い（ステップＳ１１０）、最大値に達していない
場合は、ｊの値を１だけ増加させて（ステップＳ１１
２）、ふたたび処理をステップＳ１０４に復帰させる。Subsequently, the depth calculation operation unit 16
Determines whether the value of the movement amount has reached the maximum value of the search area (step S110). If the value has not reached the maximum value, the value of j is increased by 1 (step S11).
2) The process returns to step S104.

【００７７】一方、奥行き計算演算ユニット１６は、移
動量が最大値に達していると判断した場合（ステップＳ
１１０）、代表値配列Ｅ（ｊ）のなかの最小値を求める
（ステップＳ１１４）。最小値に対応する移動量を視差
ｄｍとして出力し（ステップＳ１１６）、処理を終了す
る（ステップＳ１１８）。On the other hand, when the depth calculation operation unit 16 determines that the movement amount has reached the maximum value (step S
110), the minimum value in the representative value array E (j) is obtained (step S114). The movement amount corresponding to the minimum value is output as the parallax dm (step S116), and the process ends (step S118).

【００７８】以上のような構成とすることで、奥行き情
報抽出装置１００は、物体の境界付近の奥行き情報の抽
出においてオクルージョンの影響を抑制し、物体の境界
線と奥行きマップのエッジとの一致の良好な奥行き情報
抽出動作を実現することが可能である。With the above-described configuration, the depth information extracting apparatus 100 suppresses the influence of occlusion in the extraction of depth information near the boundary of the object, and determines whether or not the boundary between the object and the edge of the depth map matches. It is possible to realize a good depth information extraction operation.

【００７９】また、奥行き計算演算ユニット１６が行う
処理に対応する奥行き情報抽出方法によっても、同様の
効果を得ることができる。Similar effects can be obtained by a depth information extraction method corresponding to the processing performed by the depth calculation operation unit 16.

【００８０】［実施の形態２］実施の形態１の奥行き情
報抽出装置においては、マッチング処理において、４つ
の参照画像からのデータのうち、選択された２つの参照
画像からのデータに基づいて視差の推定を行うという非
線形な処理により、オクルージョンの影響を低減するこ
とが可能であった。[Embodiment 2] In the depth information extracting apparatus according to Embodiment 1, in the matching process, the parallax is calculated based on the data from the two selected reference images out of the data from the four reference images. The effect of occlusion can be reduced by the non-linear processing of estimating.

【００８１】しかしながら、４つの参照画像からの情報
のうち２つしか用いないということは、雑音耐性の観点
からは望ましくない。However, using only two of the information from the four reference images is not desirable from the viewpoint of noise resistance.

【００８２】そこで、単純に雑音耐性を向上させるため
だけであれば、マッチングウィンドウの大きさを大きく
することで対処可能である。しかしながら、上述したと
おり、本当の物体の境界線と奥行きマップのエッジが一
致するようにするためには、マッチングウィンドウの大
きさは、小さい方が望ましい。Therefore, in order to simply improve the noise resistance, it is possible to cope with the problem by increasing the size of the matching window. However, as described above, it is desirable that the size of the matching window be small in order to make the boundary line of the real object coincide with the edge of the depth map.

【００８３】実施の形態２では、このようなトレードオ
フを解決することが可能な奥行き情報抽出装置および奥
行き情報抽出方法を提供する。The second embodiment provides a depth information extracting device and a depth information extracting method capable of solving such a trade-off.

【００８４】ここで、実施の形態２の奥行き情報抽出装
置の構成は、基本的に実施の形態１の奥行き情報抽出装
置１００の構成と同様である。Here, the configuration of the depth information extracting device of the second embodiment is basically the same as the configuration of the depth information extracting device 100 of the first embodiment.

【００８５】実施の形態２の奥行き情報抽出装置の構成
が、奥行き情報抽出装置１００の構成と異なる点は、以
下に説明するとおり、奥行き計算演算ユニット１６が階
層的な奥行き情報抽出動作を行う点である。The configuration of the depth information extraction device according to the second embodiment is different from the configuration of the depth information extraction device 100 in that the depth calculation operation unit 16 performs a hierarchical depth information extraction operation as described below. It is.

【００８６】以下に述べる、奥行き計算演算ユニット１
６の階層的な奥行き情報抽出動作は、まず大きさの大き
なマッチングウィンドウで実施の形態１の奥行き情報抽
出動作を行った場合、その奥行きマップ中のマッチング
ウィンドウ中に正しい奥行き値が存在していることを前
提としている。The depth calculation operation unit 1 described below
In the hierarchical depth information extracting operation of No. 6, when the depth information extracting operation of the first embodiment is performed in a matching window having a large size, a correct depth value exists in the matching window in the depth map. It is assumed that

【００８７】図８は、このような奥行き計算演算ユニッ
ト１６の階層的な奥行き情報抽出動作を説明するための
処理およびデータのフローを示す図である。FIG. 8 is a diagram showing a process and data flow for explaining the hierarchical depth information extracting operation of the depth calculation operation unit 16 as described above.

【００８８】まず、奥行き計算演算ユニット１６は、第
０の階層では、マッチングウィンドウの大きさをＷＳ＝
Ｗ００＝Ｗ０１＝１５×１５画素として、実施の形態１
の図７において説明した手順に従って、視差情報の抽出
を行い（ステップＳ２００）、視差マップを作成する
（ステップＳ２０２）。First, the depth calculation operation unit 16 determines the size of the matching window as WS =
First Embodiment assuming that W00 = W01 = 15 × 15 pixels
According to the procedure described with reference to FIG. 7, parallax information is extracted (step S200), and a parallax map is created (step S202).

【００８９】ここで、基準画面におけるマッチングウィ
ンドウをＷ００で、参照画面におけるマッチングウィン
ドウをＷ０１で表した。Here, the matching window on the reference screen is represented by W00, and the matching window on the reference screen is represented by W01.

【００９０】つづいて、奥行き計算演算ユニット１６
は、第１の階層の処理として、マッチングウィンドウの
大きさをＷＳ＝Ｗ１０＝Ｗ１１＝７×７画素として、視
差情報の抽出を行う（ステップＳ２０６）。ここで、こ
の第１の階層での基準画面におけるマッチングウィンド
ウをＷ１０で、参照画面におけるマッチングウィンドウ
をＷ１１で表す。また、第１の階層においては、視差を
探索する探索領域は、後に説明するように、マッチング
ウインドウＷ１０中に含まれる各画素について、第０の
階層の処理で得られた視差値の集合の範囲に限定するも
のとする（ステップＳ２０４）。Subsequently, the depth calculation operation unit 16
Extracts the disparity information as the processing of the first layer, with the size of the matching window as WS = W10 = W11 = 7 × 7 pixels (step S206). Here, the matching window on the reference screen in the first hierarchy is represented by W10, and the matching window on the reference screen is represented by W11. In the first hierarchy, the search area for searching for parallax is, as described later, a range of a set of parallax values obtained in the processing of the zeroth hierarchy for each pixel included in the matching window W10. (Step S204).

【００９１】第１の階層で得られた視差値に基づいて、
視差マップが作成される（ステップＳ２０８）。Based on the parallax value obtained in the first hierarchy,
A parallax map is created (Step S208).

【００９２】つづいて、奥行き計算演算ユニット１６
は、第２の階層の処理として、マッチングウィンドウの
大きさをＷＳ＝Ｗ２０＝Ｗ２１＝７×７画素として、視
差情報の抽出を行う（ステップＳ２１２）。ここで、こ
の第２の階層での基準画面におけるマッチングウィンド
ウをＷ２０で、参照画面におけるマッチングウィンドウ
をＷ２１で表す。また、第２の階層においても、視差を
探索する探索領域は、マッチングウインドウＷ２０中に
含まれる各画素について、第１の階層の処理で得られた
視差値の集合の範囲に限定するものとする（ステップＳ
２１０）。Subsequently, the depth calculation operation unit 16
Extracts the disparity information as the process of the second layer, with the size of the matching window as WS = W20 = W21 = 7 × 7 pixels (step S212). Here, the matching window on the reference screen in the second hierarchy is represented by W20, and the matching window on the reference screen is represented by W21. Also in the second layer, the search area for searching for parallax is limited to the range of the set of parallax values obtained in the processing of the first layer for each pixel included in the matching window W20. (Step S
210).

【００９３】第２の階層で得られた視差値に基づいて、
視差マップが作成される（ステップＳ２１４）。On the basis of the disparity value obtained in the second hierarchy,
A parallax map is created (Step S214).

【００９４】図８に示した例では、処理の階層は、第２
の階層までとした。したがって、ステップＳ２１４にお
いて作成された視差マップに基づいて、奥行きマップが
形成される。In the example shown in FIG. 8, the processing hierarchy is the second hierarchy.
Up to the hierarchy. Therefore, a depth map is formed based on the parallax map created in step S214.

【００９５】階層の数は、測定対象や測定条件等に応じ
て、変更することが可能である。上述したとおり、図８
のステップＳ２００の処理は、実施の形態１の図７で説
明した処理と同様である。The number of hierarchies can be changed according to the measurement object, measurement conditions, and the like. As described above, FIG.
The processing in step S200 is the same as the processing described in FIG. 7 of the first embodiment.

【００９６】図９は、図８中のステップＳ２０６または
ステップＳ２１２の処理を示すフローチャートである。FIG. 9 is a flowchart showing the processing in step S206 or S212 in FIG.

【００９７】まず、１つ前の階層における視差マップの
抽出結果に基づいて、処理を行う階層の基準画像に対す
るマッチングウィンドウＷｋ０（ｋ＝１，２）中に存在
する視差値を配列ｄｓ（ｊ）（ｉ＝１，２，…，ｊｍａ
ｘ：ｊｍａｘは、一つ前の階層の視差マップにおいてマ
ッチングウインドウＷｋ０中に存在する視差値の個数）
中に読み込んでおくとともに、変数ｊの値を初期値”
１”に、変数ｄの値をｄｓ（１）に初期化しておく（ス
テップＳ３０２）。First, based on the extraction result of the parallax map in the immediately preceding hierarchy, the parallax values existing in the matching window Wk0 (k = 1, 2) for the reference image of the hierarchy to be processed are arranged in an array ds (j). (I = 1,2, ..., jma
x: jmax is the number of disparity values existing in the matching window Wk0 in the disparity map of the immediately preceding layer)
And the value of the variable j is initialized to "
The value of the variable d is initialized to 1 "at ds (1) (step S302).

【００９８】つぎに、奥行き計算演算ユニット１６は、
マッチングウィンドウＷｋ１を移動量ｄで規定される量
だけ、初期位置（基準画像中のマッチングウィンドウＷ
ｋ０の位置に対応する参照画像中の位置）からずらし
て、各参照画面において自乗偏差ｅｊｉｋを求める（ス
テップＳ３０４）。ここで、自乗偏差ｅｊｉｋは、ｋ番
目の階層の処理でのｊ番目のステップにおけるｉ番目の
参照画像での自乗偏差であることを示し、以下の式で表
わされる。Next, the depth calculation operation unit 16
The matching window Wk1 is moved to the initial position (the matching window W in the reference image) by an amount defined by the moving amount d.
It is shifted from the position in the reference image corresponding to the position of k0), and the square deviation ejik is obtained in each reference screen (step S304). Here, the square deviation ejik indicates the square deviation of the i-th reference image in the j-th step in the processing of the k-th layer, and is represented by the following equation.

【００９９】[0099]

【数１２】 (Equation 12)

【０１００】ここで、実施の形態１と同一の符号は、同
一の意味を表わす。つづいて、奥行き計算演算ユニット
１６は、各参照画像について得られた自乗偏差の値ｅｊ
１ｋ、ｅｊ２ｋ、ｅｊ３ｋ、ｅｊ４ｋの値をソート処理
する（ステップＳ３０６）。Here, the same symbols as those in the first embodiment represent the same meanings. Subsequently, the depth calculation operation unit 16 calculates the value ej of the squared deviation obtained for each reference image.
The values of 1k, ej2k, ej3k, and ej4k are sorted (step S306).

【０１０１】ソート結果に基づいて、小さい側から２つ
の値の和（ｅ’ｊ３ｋ＋ｅ’ｊ４ｋ）が代表値として代
表値配列Ｅ（ｊ）に格納される（ステップＳ３０８）。On the basis of the result of the sorting, the sum (e'j3k + e'j4k) of the two values from the smaller side is stored in the representative value array E (j) as a representative value (step S308).

【０１０２】つづいて、奥行き計算演算ユニット１６
は、移動量の値が探索領域の最大値に達しているかの判
断を行い（ステップＳ３１０）、最大値に達していない
場合は、ｊの値を１だけ増加させて（ステップＳ３１
２）、移動量ｄの値をｄｓ（ｊ）として、ふたたび処理
をステップＳ３０４に復帰させる。Subsequently, the depth calculation operation unit 16
Determines whether the value of the movement amount has reached the maximum value of the search area (step S310). If the value has not reached the maximum value, the value of j is increased by 1 (step S31).
2) The value of the movement amount d is set to ds (j), and the process returns to step S304.

【０１０３】一方、奥行き計算演算ユニット１６は、移
動量が最大値に達していると判断した場合（ステップＳ
３１０）、代表値配列Ｅ（ｊ）のなかの最小値を求める
（ステップＳ３１４）。最小値に対応する移動量ｄｓ
（ｊ）を視差ｄｍとして出力し（ステップＳ３１６）、
次の画素に対する処理に移行する。On the other hand, when the depth calculation operation unit 16 determines that the moving amount has reached the maximum value (step S
310), the minimum value in the representative value array E (j) is obtained (step S314). Movement amount ds corresponding to minimum value
(J) is output as the parallax dm (step S316),
The process moves to the next pixel.

【０１０４】以上のような構成とすることで、実施の形
態２の奥行き情報抽出装置は、物体の境界付近の奥行き
情報の抽出においてオクルージョンの影響を抑制し、物
体の境界線と奥行きマップのエッジとの一致が良好であ
るとともに、雑音耐性に優れた奥行き情報抽出動作を実
現することが可能である。With the above-described configuration, the depth information extracting apparatus according to the second embodiment suppresses the influence of occlusion in the extraction of depth information near the boundary of an object, and reduces the boundary of the object and the edge of the depth map. And a depth information extraction operation with excellent noise immunity can be realized.

【０１０５】図１０は、上述したような階層的な奥行き
情報抽出方法の流れを示す概念図であり、図１１は、従
来の階層的な奥行き情報抽出方法の流れを示す概念図で
ある。FIG. 10 is a conceptual diagram showing the flow of the above-described hierarchical depth information extracting method, and FIG. 11 is a conceptual diagram showing the flow of the conventional hierarchical depth information extracting method.

【０１０６】まず、図１１を参照して、従来の階層的な
奥行き情報抽出方法においては、まず低い解像度で粗い
推定を行い、その結果を利用して、徐々に解像度および
推定精度を高めていく。First, referring to FIG. 11, in the conventional hierarchical depth information extraction method, coarse estimation is first performed at a low resolution, and the resolution and estimation accuracy are gradually increased using the result. .

【０１０７】つまり、処理しようとしている（ｎ＋１）
層においては、それよりも一層低い第ｎ層における解像
度の粗い推定値ｄｎの付近だけを探索するように制限を
加える。同時に、マッチングウィンドウの大きさも、た
とえば第ｎ層の大きさの１／２として、視差値の推定値
ｄｎ＋１を求める。That is, (n + 1) to be processed
In a layer, the search is restricted so as to search only in the vicinity of the lower-resolution estimated value dn in the lower n-th layer. At the same time, the estimated value dn + 1 of the parallax value is obtained assuming that the size of the matching window is, for example, の of the size of the n-th layer.

【０１０８】このような構成とすることで、計算量を低
減することは可能であるが、上述したとおり、物体の境
界線など奥行きの不連続な領域では、やはり十分な精度
は得られず、誤差を引き起こしてしまうという問題があ
った。With such a configuration, it is possible to reduce the amount of calculation. However, as described above, sufficient accuracy cannot be obtained in a discontinuous region such as a boundary line of an object. There was a problem of causing an error.

【０１０９】これに対して、図１０を参照して、実施の
形態２の奥行き計算演算ユニット１６の処理において
は、第１層の処理では、参照画像中のマッチングウィン
ドウの初期位置から基準画像へ向けて移動させる最大量
のＳＲまでの範囲を探索領域として、実施の形態１で説
明した方法で視差値の推定を行う。On the other hand, referring to FIG. 10, in the processing of the depth calculation operation unit 16 according to the second embodiment, in the processing of the first layer, from the initial position of the matching window in the reference image to the reference image The disparity value is estimated by the method described in the first embodiment, using the range up to the maximum amount of SR to be moved toward as the search area.

【０１１０】第２層目以降では、直前の層で得られた視
差マップに基づき、マッチングウインドウ中に存在する
奥行き値だけを候補として探索を行う。In the second and subsequent layers, only the depth values existing in the matching window are searched as candidates based on the disparity map obtained in the immediately preceding layer.

【０１１１】したがって、マッチングウインドウの十分
に広い第１層での推定値の中から、マッチングウィンド
ウを小さくした場合に、推定値として最適なものを抽出
することになる。Therefore, when the matching window is reduced from the estimated values in the first layer having a sufficiently wide matching window, the optimum one is extracted as the estimated value.

【０１１２】つまり、第１層での処理においては、雑音
耐性の良好な処理が行われて視差値の候補が抽出され、
順次マッチングウインドウを小さくして行う第２層以降
の処理により、物体の境界線と奥行きマップのエッジの
一致が良好な奥行き値が、奥行き値の候補の中から選択
されることになる。In other words, in the processing in the first layer, processing with good noise resistance is performed, and parallax value candidates are extracted.
By the processing of the second and subsequent layers performed by sequentially reducing the matching window, a depth value having a good match between the boundary line of the object and the edge of the depth map is selected from the depth value candidates.

【０１１３】以上のような構成とすることで、実施の形
態２の奥行き情報抽出方法は、物体の境界付近の奥行き
情報の抽出においてオクルージョンの影響を抑制し、物
体の境界線と奥行きマップのエッジとの一致が良好であ
るとともに、雑音耐性に優れた奥行き情報抽出動作を実
現することが可能である。With the above-described configuration, the depth information extracting method according to the second embodiment suppresses the influence of occlusion in the extraction of depth information near the boundary of an object, and reduces the boundary of the object and the edge of the depth map. And a depth information extraction operation with excellent noise immunity can be realized.

【０１１４】[0114]

【発明の効果】以上説明したとおり、本発明によれば、
オクルージョンの影響を抑制して物体の境界線付近の奥
行き情報の誤差を低減することが可能な奥行き情報抽出
装置および奥行き情報抽出方法を提供することが可能で
ある。As described above, according to the present invention,
It is possible to provide a depth information extraction device and a depth information extraction method capable of suppressing the influence of occlusion and reducing errors in depth information near the boundary of an object.

【０１１５】さらに、この発明によれば、物体の境界線
と奥行きマップのエッジの一致を保持しつつ、雑音耐性
の良好な奥行き情報抽出装置および奥行き情報抽出方法
を提供することが可能となる。Further, according to the present invention, it is possible to provide a depth information extracting device and a depth information extracting method which have good noise resistance while maintaining the coincidence between the boundary line of the object and the edge of the depth map.

[Brief description of the drawings]

【図１】本発明の実施の形態１の奥行き情報抽出装置１
００の構成を示す概略ブロック図である。FIG. 1 is a depth information extracting device 1 according to a first embodiment of the present invention.
It is a schematic block diagram which shows the structure of 00.

【図２】多眼カメラ１０の構成を示す概念図である。FIG. 2 is a conceptual diagram showing a configuration of a multi-lens camera 10.

【図３】多眼カメラ１０により得られる画像データの幾
何学的配置を示す図である。FIG. 3 is a diagram showing a geometric arrangement of image data obtained by the multi-view camera 10.

【図４】多眼カメラ１０により撮像された画像データを
示す概念図である。FIG. 4 is a conceptual diagram showing image data captured by the multi-lens camera 10.

【図５】各参照画像について、自乗偏差ｅｊｉを求めた
場合を示す図である。FIG. 5 is a diagram showing a case where a square deviation “eji” is obtained for each reference image.

【図６】実施の形態１の奥行きデータの抽出手順を示す
概念図である。FIG. 6 is a conceptual diagram showing a procedure for extracting depth data according to the first embodiment.

【図７】図６で説明した手順を、基準画像中の任意の１
つの画素に対する処理について、より詳細に示すフロー
チャートである。FIG. 7 is a flowchart illustrating the procedure described with reference to FIG.
6 is a flowchart illustrating processing for one pixel in more detail.

【図８】実施の形態２の階層的な奥行き情報抽出動作を
説明するための処理およびデータのフローを示す図であ
る。FIG. 8 is a diagram showing a process and data flow for explaining a hierarchical depth information extracting operation according to the second embodiment.

【図９】図８に示した多眼ステレオマッチング処理の流
れをより詳細に示すフローチャートである。9 is a flowchart illustrating the flow of the multi-view stereo matching processing illustrated in FIG. 8 in more detail.

【図１０】実施の形態２の階層的な奥行き情報抽出方法
の流れを示す概念図である。FIG. 10 is a conceptual diagram showing a flow of a hierarchical depth information extracting method according to the second embodiment.

【図１１】従来の階層的な奥行き情報抽出方法の流れを
示す概念図である。FIG. 11 is a conceptual diagram showing a flow of a conventional hierarchical depth information extracting method.

【図１２】従来の両眼ステレオマッチングの幾何学的は
位置を示す図である。FIG. 12 is a diagram showing a geometric position of the conventional binocular stereo matching.

[Explanation of symbols]

１０多眼カメラ１１ａ基準カメラ１１ｂ〜ｅ参照カメラ１２Ａ／Ｄ変換器１４映像記憶装置１６奥行き計算演算ユニット１００奥行き情報抽出装置 Reference Signs List 10 multi-lens camera 11a reference camera 11b-e reference camera 12 A / D converter 14 video storage device 16 depth calculation operation unit 100 depth information extraction device

フロントページの続き (56)参考文献特開平９−62843（ＪＰ，Ａ) 特開平８−279045（ＪＰ，Ａ) 特開平６−109450（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00,7/60 G01B 11/00 Continuation of the front page (56) References JP-A-9-62843 (JP, A) JP-A-8-279045 (JP, A) JP-A-6-109450 (JP, A) (58) Fields studied (Int .Cl. ⁷ , DB name) G06T 7/00, 7/60 G01B 11/00

Claims

(57) [Claims]

1. A depth information extraction device for extracting depth information based on a captured stereo image, comprising: a multi-view imaging unit that captures a target image, wherein the multi-view imaging unit captures a reference image. A first imaging unit that converts an optical image into image data corresponding to each pixel and outputs the image data; and a state in which optical axes are parallel to each other around the first imaging unit.
N (n: natural number, n ≧ 2) imaging means arranged so as to be capable of being calibrated , each of which converts an optical image taken into image data corresponding to each pixel and outputs the image data; An image storage unit for storing and holding first image data output from an imaging unit and n second image data respectively output from the n second imaging units; and Further comprising: depth information calculating means for extracting depth information corresponding to each pixel belonging to the first image data in accordance with the output of the first image data. Extracting depth data for a pixel; i) converting the first image data between i-th (1 ≦ i ≦ n) image data of the first image data and the second image data; Including the one pixel in A pixel data value of a first area having a constant area is compared with a pixel data value of a second area having a predetermined area at a corresponding position in the i-th image data. A process of calculating a comparison value is performed on each of the n pieces of second image data, and a 0th comparison value is calculated based on a predetermined number from the smaller side of the calculated n pieces of the 0th comparison value. Ii) In each of the i-th image data, the second area is defined as (movement amount) = (unit movement amount) × j (j: natural number)
After shifting only in the direction approaching the optical axis of the first imaging means, the pixel data values of the first area and the second area are compared, and the j-th comparison value indicating the degree of coincidence is calculated. The calculating process is performed for each of the n pieces of second image data, and the j-th representative value is calculated based on the predetermined number from the smaller one of the calculated n-th j-th comparison values. Repeating the step of determining the value from j = 1 to j = m (m: a predetermined natural number); iii) the moving amount corresponding to the smallest one of the 0th to mth representative values, A depth information extraction device, which is executed by calculating depth data as a parallax amount for any one pixel of the first image data.

2. The j-th comparison value eji between the first image data and the i-th image data is a value of a pixel at a position r = (x, y) of the first image data. the luminance value and I _D (r), the luminance value of the pixel at the position r of the i-th image data is set to Ii (r), the first region W0, the second region and W1, the In the i-th image data, when a position shifted from the position r by d = (unit movement amount) × j in a direction approaching the optical axis of the first imaging means is (r + dji), The depth information extraction device according to claim 1, wherein the depth information is calculated as:

3. A depth information extracting device for extracting depth information based on a captured stereo image, comprising: a multi-view imaging unit that captures a target image, wherein the multi-view imaging unit captures a reference image. A first imaging unit that converts an optical image into image data corresponding to each pixel and outputs the image data; and a state in which optical axes are parallel to each other around the first imaging unit.
N (n: natural number, n ≧ 2) imaging means arranged so as to be capable of being calibrated , each of which converts an optical image taken into image data corresponding to each pixel and outputs the image data; An image storage unit that stores and holds first image data output from an imaging unit and n second image data respectively output from the n second imaging units; Further comprising depth information calculating means for extracting depth information corresponding to each pixel belonging to the first image data in accordance with the output of the first image data, wherein the depth information calculating means comprises any one of the first image data In the 0th search step, the search area is defined as (movement amount) = (unit movement amount) × j (j: natural number, 1 ≦ j ≦ m,
m: a predetermined number) i-1) between the first image data and the i-th (1 ≦ i ≦ n) image data of the second image data,
Pixel data values of a first area having a predetermined area including the one pixel in the first image data and a second area having the predetermined area at a corresponding position in the i-th image data Is performed on each of the n pieces of second image data to calculate a 0th comparison value representing the degree of matching, and the calculated n pieces of the 0th comparison value are calculated. Determining a 0-th representative value based on a predetermined number of comparison values from the smaller side, i-2) in each of the i-th image data,
Is shifted in the direction approaching the optical axis of the first image pickup means by the movement amount, and then the pixel data values of the first area and the second area are compared to indicate the degree of coincidence. A process of calculating a j-th comparison value is performed for each of the n pieces of second image data, and the calculated n pieces of the j-th
Determining a j-th representative value based on the predetermined number of comparison values from the smaller side of the j-th comparison value;
= 1 to j = m (m: a predetermined natural number). I-3) The movement amount corresponding to the smallest one of the 0th to mth representative values is calculated by the first image data. , Depth data is calculated as a disparity value in a 0th search step for any one pixel of ii). In the kth (k ≧ 1) search step, the predetermined area is reduced by a predetermined coefficient, and For the pixels in the first region having the reduced predetermined area, (k−
1) p calculated in the first search step
A range defined by a set of disparity values (p: natural number) is defined as a search area. Ii-1) In each of the i-th image data, the second area belongs to the q-th (1) belonging to the search area. ≦ q ≦
After shifting in the direction approaching the optical axis of the first imaging means by the parallax value of p), the pixel data values of the first area and the second area are compared, and q-th representing the degree of coincidence is compared. The process of calculating the comparison value in the nth step is performed by the n second
Determining the q-th representative value based on the predetermined number of comparison values from the smaller one of the calculated n comparison values in the q-th step Is repeated from q = 1 to q = p. Ii-2) The movement amount corresponding to the smallest one of the first to p-th representative values is set to any one of the first image data. A depth information extraction device that executes a search step of calculating depth data as a parallax amount in a k-th search step for one pixel until the value of k reaches a predetermined number.

4. In the k-th search step,
Wherein the j-th comparison value ejik between the first image data and the i-th image data, the position of the first image data r = (x, y) of the luminance values of pixels in I _D (R), the luminance value of the pixel at the position r of the i-th image data is Ii (r), and the first area in the k-th search step is W
k0, the second area is Wk1, and in the i-th image data, d = (unit movement amount) × j from position r.
When the position shifted in the direction approaching the optical axis of the first imaging means is (r + dji), The depth information extraction device according to claim 3 , wherein the depth information is calculated as:

5. A first image data serving as a reference image and n (n: natural number, n ≧ 2) second image data surrounding the first image data, which is a reference image, taken by a multi-lens camera capable of being calibrated to have a parallel optical axis. A depth information extracting method for extracting depth information for any one pixel in the first image data based on stereo image data including the first image data and the first image data. A first region having a predetermined area including the one pixel in the first image data, between the i-th (1 ≦ i ≦ n) image data of the second image data, The process of comparing the pixel data values of the corresponding area in the i-th image data with the second area having the predetermined area and calculating the 0th comparison value indicating the degree of coincidence is performed by the n Performed on each of the second image data, Determining a 0th representative value based on a predetermined number from the smaller one of the n pieces of the 0th comparison values obtained, and ii) in each of the i-th image data, Area is (movement amount) = (unit movement amount) × j (j: natural number)
After shifting only in the direction approaching the optical axis of the first imaging means, the pixel data values of the first area and the second area are compared, and the j-th comparison value indicating the degree of coincidence is obtained. A calculation process is performed on each of the n pieces of second image data, and a j-th representative value is calculated based on the predetermined number from the smaller one of the calculated n-th j-th comparison values. The sub-steps for determining the values are from j = 1 to j = m (m:
Iii) calculating the movement amount corresponding to the smallest one of the 0th to mth representative values with respect to any one pixel of the first image data. Calculating the depth data as the depth information.

6. The j-th comparison value eji between the first image data and the i-th image data is a value of a pixel at a position r = (x, y) of the first image data. the luminance value and I _D (r), the luminance value of the pixel at the position r of the i-th image data is set to Ii (r), the first region W0, the second region and W1, the In the i-th image data, when a position shifted from the position r by d = (unit movement amount) × j in a direction approaching the optical axis of the first imaging means is (r + dji), The depth information extraction method according to claim 5 , wherein the depth information is calculated as:

7. A first image data as a reference image and n second (n: natural number, n ≧ 2) surrounding the first image data, which is a reference image, taken by a multi-lens camera capable of being calibrated to have a parallel optical axis. A depth information extraction method for extracting depth information for any one pixel in the first image data based on stereo image data including the first image data and the first image data. To the R-th search step. The 0-th search step includes the steps of: i) setting the search area to (movement amount) = (unit movement amount) × j (j:
A natural number, 1 ≦ j ≦ m, m: a predetermined number) i-1) i-th (1 ≦ i ≦ n) of the first image data and the second image data Between image data
Pixel data values of a first area having a predetermined area including the one pixel in the first image data and a second area having the predetermined area at a corresponding position in the i-th image data Is performed on each of the n pieces of second image data to calculate a 0th comparison value representing the degree of matching, and the calculated n pieces of the 0th comparison value are calculated. Determining a 0-th representative value based on a predetermined number of comparison values from the smaller side of the i-th image data;
Is shifted in the direction approaching the optical axis of the first image pickup means by the movement amount, and then the pixel data values of the first area and the second area are compared to indicate the degree of coincidence. A process of calculating a j-th comparison value is performed for each of the n pieces of second image data, and the calculated n pieces of the j-th
Repeating a sub-step of determining a j-th representative value based on the predetermined number of comparison values from the smaller one of the comparison values from j = 1 to j = m (m: a predetermined natural number); I-3) The disparity in the 0th search step for any one pixel of the first image data is determined by calculating the movement amount corresponding to the smallest one of the 0th to mth representative values. Calculating depth data as a value, wherein the k-th (1 ≦ k ≦ R) search step includes: ii) comparing the predetermined area with a (k−1) th search step Pixels in the first area having the coefficient multiplied and reduced and having the reduced predetermined area are assigned a (k−
1) p calculated in the first search step
A range defined by a set of disparity values (p: natural number) is defined as a search area. Ii-1) In each of the i-th image data, the second area belongs to the q-th (1) belonging to the search area. ≦ q ≦
After shifting in the direction approaching the optical axis of the first imaging means by the parallax value of p), the pixel data values of the first area and the second area are compared, and q-th representing the degree of coincidence is compared. A process of calculating a comparison value in the n-th sub-step is performed on each of the n pieces of second image data, and the calculated comparison values in the n-th q-th sub-step from the smaller side are compared. The sub-step of determining the q-th representative value based on the predetermined number of comparison values includes q = 1 to q =
and ii-2) calculating the movement amount corresponding to the smallest one of the first to p-th representative values with respect to any k-th pixel of the first image data. Calculating the depth data as the amount of parallax in the searching step.

8. In the k-th search step,
Wherein the j-th comparison value ejik between the first image data and the i-th image data, the position of the first image data r = (x, y) of the luminance values of pixels in I _D (R), the luminance value of the pixel at the position r of the i-th image data is Ii (r), and the first area in the k-th search step is W
k0, the second area is Wk1, and in the i-th image data, d = (unit movement amount) × j from position r.
When the position shifted in the direction approaching the optical axis of the first imaging means is (r + dji), The depth information extracting method according to claim 7, wherein the depth information is calculated as: