JPH10283474A - 奥行き情報抽出装置および奥行き情報抽出方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 物体の境界線と抽出された奥行きマップのエ
ッジの一致が良好な奥行き情報を抽出する。 【解決手段】 多眼カメラにより得られた基準画像及び
参照画像に基づいて、奥行き情報の抽出を行う場合、参
照画像中のマッチングウィンドウを所定画素数づつ基準
画像の方向に移動させながら、マッチングウインドウ内
の輝度値の分布について、各参照画像に対する自乗偏差
を求め、自乗偏差の小さな方から所定数の値を代表値と
して、代表値が最小となるときの移動量を視差値として
抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、多眼カメラによ
り撮影したステレオ画像からの視差情報に基づいて、奥
行き情報を算出する奥行き情報抽出装置装置および奥行
き情報抽出方法に関する。

【０００２】

【従来の技術】画像認識における特徴抽出や、柔軟かつ
効率よく映像を合成、制作、加工、編集するための映像
部品データベースの構築においては、カメラ等により撮
影された画像情報から奥行き情報を抽出することが行わ
れる。

【０００３】ここで、奥行き情報とは、光軸がＺ軸と一
致するカメラ中心座標系での各画素に対応する物体のＺ
座標値をいう。

【０００４】映像合成等のためには、密な、なおかつ、
シャープな奥行きマップを得ることが必要となる。ここ
で、「密な」とは、画面全体の全ての画素ごとに奥行き
値があることを意味し、「シャープな」とは、物体の境
界線が明らかなことを意味する。

【０００５】ところで、奥行きマップを得るための方法
としては、まず、いわゆる両眼ステレオ法が知られてい
る。両眼ステレオ法とは、人間の両眼視を工学的に実現
しようとするものである。

【０００６】図１２は、標準的なステレオ撮像系の構成
を示す概念図である。すなわち、視線の平行な等価な２
つのカメラを設置し、このステレオ撮像系を用いて得ら
れた２枚の画像から、画像上の各点でカメラからの距離
が推定される。両眼ステレオ問題では、２枚の画像上で
の対応点が求まれば、幾何学的に三角測量の原理から距
離を一意に定めることができる。

【０００７】図１１に示した撮像系の場合、左右画像内
での対応点の位置は、水平走査線上（ｘ軸）に拘束され
る。この水平走査線のことをエピポーラ線と呼ぶ。両画
像中の対応点においては、明るさや明度パターンが似て
いると仮定すると、対応点を含む所定面積の領域（以
下、マッチングウィンドウと呼ぶ）についての明度差ま
たは明度間の相関係数を基にして、最適な対応点を探索
することが可能である。このような方法を総称して、領
域法と呼ぶ。

【０００８】

【発明が解決しようとする課題】しかしながら、このよ
うな対応点を求める方法、すなわちステレオマッチング
の方法の構成においては、以下のような問題点が存在す
る。

【０００９】つまり、両画像間に規則的な模様が存在す
る場合、視点変化に伴う形変化がある場合、テキスチャ
情報が不足している領域が存在する場合には、上述した
ような対応点の探索を一意に行うことができない。

【００１０】さらに、一方の画像のある領域が、他方の
画像からは観測されない場合があるという、いわゆるオ
クルージョン（ｏｃｃｌｕｓｉｏｎ）問題に対しては、
両眼ステレオ法では、左右の両画像について真のマッチ
ングをとることは不可能である。このため、根本的には
対応することができず、何らかの仮定と知識に基づいて
適当な補間を行うしかなかった。

【００１１】上記問題点のうち、特にテキスチャ不足の
問題、規則的なパターンの問題を改善する方法として、
Ｍ．Ｏｋｕｔｏｍｉ ａｎｄ Ｔ．Ｋａｎａｄｅ，”Ａ
Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ ｓｔｅｒｅｏ”，Ｉ
ＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，ｖｏｌ．１５，ｎｏ．
４，ｐｐ．３５３−３６３，Ａｐｒｉｌ １９９３に開
示されているように多基線ステレオマッチング法が提案
されている。カメラの台数が増え、計算量が増加すると
いう問題点はあるもののこの方法を用いることで、実時
間奥行き抽出器も実現されている。

【００１２】しかしながら、オクルージョン問題につい
ては、あまり注目した例が多くない。これは、かつては
ロボットビジョンがステレオマッチングの主な応用であ
り、画面全体から見ると相対的に小さい領域であるオク
ルージョンには関心が払われにくかったという事情によ
る。

【００１３】ただし、後に説明するように、このオクル
ージョン問題の存在が、物体の境界線の明確に保存され
た奥行きマップの獲得を妨害する要因となる。

【００１４】Ｙ．Ｎａｋａｍｕｒａ ｅｔ ａｌ．，”
Ｏｃｃｌｕｓｉｏｎ ｄｅｔｅｃｔａｂｌｅ ｓｔｅｒ
ｅｏ − Ｏｃｃｕｌｕｓｉｏｎ ｐａｔｔｅｒｎｓ
ｉｎｃａｍｅｒａ ｍａｔｒｉｘ，”Ｐｒｏｃ．ＩＥＥ
Ｅ ＣＶＰＲ’９６，ｐｐ．３７１−３７８，Ｓａｎ
Ｆｒａｎｃｉｓｃｏ，Ｊｕｎｅ １９９６に開示されて
いるように、オクルージョンのパターンを定量的に分析
し、オクルージョンが検出できるステレオマッチングも
提案されているが、領域法におけるステレオマッチング
の重要なポイントであるマッチングウィンドウの大きさ
に関する対策は検討されていない。

【００１５】ここで、一般に領域法の性能はマッチング
ウィンドウの大きさに強く影響される。その大きさは、
ある領域の特徴を表せる十分な輝度変化を含み、雑音耐
性を保つような大きさとすることが必要である。一方、
形の変化や不連続部の影響を避けるためには、その大き
さは小さくなければならない。

【００１６】このようなマッチングウィンドウの問題に
対する方策としては、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ，”
Ａ ｃｏｍｐｕｔｅｒ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ
ｏｆ ａ ｔｈｅｏｒｙ ｏｆ ｈｕｍａｎ ｓｔｅ
ｒｅｏ ｖｉｓｉｏｎ，”Ｐｈｉｌ．Ｔｒａｎｓ．Ｒｏ
ｙａｌ Ｓｏｃ．Ｌｏｎｄｏｎ，ｖｏｌ．Ｂ２９２，ｐ
ｐ．２１７−２５３，１９８１に開示されているような
階層的な手法がある。

【００１７】すなわち、まず低い解像度で粗い推定を行
い、その結果を利用して、徐々に解像度および推定精度
を高めていくという方法である。

【００１８】一般には、階層的手法では、処理しようと
している層においては、それよりも一層低い解像度の粗
い推定値の付近だけを探索するように制限を加える。

【００１９】これは、隣接する画素の奥行きは急には変
化しないという仮定に基づいており、平坦部など奥行き
の変化の滑らかな領域では、比較的正確に奥行きを求め
留ことが可能である。

【００２０】しかしながら、物体の境界線など奥行きの
不連続な領域では、やはり十分な精度は得られず、誤差
を引き起こしてしまうという問題があった。

【００２１】この発明は、上記のような問題点を解決す
るためになされたものであって、その目的は、オクルー
ジョンの影響を抑制して物体の境界線付近の奥行き情報
の誤差を低減することが可能な奥行き情報抽出装置およ
び奥行き情報抽出方法を提供することである。

【００２２】この発明の他の目的は、物体の境界線と奥
行きマップのエッジの一致を保持しつつ、雑音耐性の良
好な奥行き情報抽出装置および奥行き情報抽出方法を提
供することである。

【００２３】

【課題を解決するための手段】請求項１記載の奥行き情
報抽出装置は、撮影したステレオ画像に基づいて、奥行
き情報を抽出する奥行き情報抽出装置であって、対象画
像を撮影する多眼撮像手段を備え、多眼撮像手段は、基
準画像を撮影し、光学像を各画素に対応する画像データ
に変換して出力する第１の撮像手段と、第１の撮像手段
の周りに光軸が互いに平行となるように配置され、それ
ぞれが撮影した光学像を各画素に対応する画像データに
変換して出力するｎ個（ｎ：自然数、ｎ≧２）の撮像手
段とを含み、第１の撮像手段から出力される第１の画像
データとｎ個の第２の撮像手段からそれぞれ出力される
ｎ個の第２の画像データとを記憶・保持する画像記憶手
段と、画像記憶手段からの出力に応じて、第１の画像デ
ータに属する各画素に対応する奥行き情報を抽出する奥
行き情報演算手段とをさらに備え、奥行き情報演算手段
は、第１の画像データの任意の１つの画素に対する奥行
きデータの抽出処理を、ｉ）第１の画像データと第２の
画像データのうちのｉ番目（１≦ｉ≦ｎ）の画像データ
との間で、第１の画像データ中の１つの画素を含む所定
面積を有する第１の領域と、ｉ番目の画像データ中の対
応する位置の所定面積を有する第２の領域との画素デー
タ値を比較して、一致の程度を表す第０番目の比較値を
算出する処理をｎ個の第２の画像データのそれぞれに対
して行い、算出されたｎ個の第０番目の比較値のうち小
さい側からの所定数に基づいて第０番目の代表値を決定
し、ｉｉ）各ｉ番目の画像データにおいて、第２の領域
を（移動量）＝（単位移動量）×ｊ（ｊ：自然数）だけ
第１の撮像手段の光軸に近づく方向にずらした後に、第
１の領域と第２の領域との画素データ値を比較して、一
致の程度を表す第ｊ番目の比較値を算出する処理をｎ個
の第２の画像データのそれぞれに対して行い、算出され
たｎ個の第ｊ番目の比較値のうち小さい側からの所定数
に基づいて第ｊ番目の代表値を決定するステップを、ｊ
＝１からｊ＝ｍ（ｍ：所定の自然数）まで繰り返し、ｉ
ｉｉ）第０番目から第ｍ番目までの代表値のうち最小の
ものに対応する移動量を、第１の画像データの任意の１
つの画素に対する視差量として奥行きデータを算出する
ことにより実行する。

【００２４】請求項２記載の奥行き情報抽出装置は、請
求項１記載の奥行き情報抽出装置の構成において、第１
の画像データとｉ番目の画像データとの間の第ｊ番目の
比較値ｅｊｉは、第１の画像データの位置ｒ＝（ｘ、
ｙ）における画素の輝度値をＩ０（ｒ）とし、第ｉ番目
の画像データの位置ｒにおける画素の輝度値をＩｉ
（ｒ）とし、第１の領域をＷ０、第２の領域をＷ１と
し、第ｉ番目の画像データにおいて、位置ｒからｄ＝
（単位移動量）×ｊだけ第１の撮像手段の光軸に近づく
方向にずれた位置を（ｒ＋ｄｊｉ）とするとき、

【００２５】

【数５】

【００２６】として算出される。請求項３記載の奥行き
情報抽出装置は、撮影したステレオ画像に基づいて、奥
行き情報を抽出する奥行き情報抽出装置であって、対象
画像を撮影する多眼撮像手段を備え、多眼撮像手段は、
基準画像を撮影し、光学像を各画素に対応する画像デー
タに変換して出力する第１の撮像手段と、第１の撮像手
段の周りに光軸が互いに平行となるように配置され、そ
れぞれが撮影した光学像を各画素に対応する画像データ
に変換して出力するｎ個（ｎ：自然数、ｎ≧２）の撮像
手段とを含み、第１の撮像手段から出力される第１の画
像データとｎ個の第２の撮像手段からそれぞれ出力され
るｎ個の第２の画像データとを記憶・保持する画像記憶
手段と、画像記憶手段からの出力に応じて、第１の画像
データに属する各画素に対応する奥行き情報を抽出する
奥行き情報演算手段とをさらに備え、奥行き情報演算手
段は、第１の画像データの任意の１つの画素に対する奥
行きデータの抽出処理を、ｉ）第０番目の探索ステップ
では、探索領域を（移動量）＝（単位移動量）×ｊ
（ｊ：自然数、１≦ｊ≦ｍ、ｍ：所定数）で規定される
範囲として、ｉ−１）第１の画像データと第２の画像デ
ータのうちのｉ番目（１≦ｉ≦ｎ）の画像データとの間
で、第１の画像データ中の１つの画素を含む所定面積を
有する第１の領域と、ｉ番目の画像データ中の対応する
位置の所定面積を有する第２の領域との画素データ値を
比較して、一致の程度を表す第０番目の比較値を算出す
る処理をｎ個の第２の画像データのそれぞれに対して行
い、算出されたｎ個の第０番目の比較値のうち小さい側
からの所定数の比較値に基づいて第０番目の代表値を決
定し、ｉ−２）各ｉ番目の画像データにおいて、第２の
領域を移動量だけ第１の撮像手段の光軸に近づく方向に
ずらした後に、第１の領域と第２の領域との画素データ
値を比較して、一致の程度を表す第ｊ番目の比較値を算
出する処理をｎ個の第２の画像データのそれぞれに対し
て行い、算出されたｎ個の第ｊ番目の比較値のうち小さ
い側からの所定数の比較値に基づいて第ｊ番目の代表値
を決定するステップを、ｊ＝１からｊ＝ｍ（ｍ：所定の
自然数）まで繰り返し、ｉ−３）第０番目から第ｍ番目
までの代表値のうち最小のものに対応する移動量を、第
１の画像データの任意の１つの画素に対する第０番目の
探索ステップにおける視差値として奥行きデータを算出
し、ｉｉ）第ｋ番目（ｋ≧１）の探索ステップでは、所
定面積を所定係数倍縮小し、かつ、縮小された所定面積
を有する第１の領域内の画素に対して、第（ｋ−１）番
目の探索ステップにおいてそれぞれ算出されたｐ個
（ｐ：自然数）の視差値の集合で規定される範囲を探索
領域として、ｉｉ−１）各ｉ番目の画像データにおい
て、第２の領域を探索領域に属する第ｑ番目（１≦ｑ≦
ｐ）の視差値だけ第１の撮像手段の光軸に近づく方向に
ずらした後に、第１の領域と第２の領域との画素データ
値を比較して、一致の程度を表す第ｑ番目のステップに
おける比較値を算出する処理をｎ個の第２の画像データ
のそれぞれに対して行い、算出されたｎ個の第ｑ番目の
ステップにおける比較値のうち小さい側からの所定数の
比較値に基づいて第ｑ番目の代表値を決定するステップ
を、ｑ＝１からｑ＝ｐまで繰り返し、ｉｉ−２）第１番
目から第ｐ番目までの代表値のうち最小のものに対応す
る移動量を、第１の画像データの任意の１つの画素に対
する第ｋ番目の探索ステップにおける視差量として奥行
きデータを算出する探索ステップをｋの値が所定数とな
るまで繰り返すことで実行する。

【００２７】請求項４記載の奥行き情報抽出装置は、請
求項３記載の奥行き情報抽出装置の構成において、第ｋ
番目の探索ステップにおける、第１の画像データとｉ番
目の画像データとの間の第ｊ番目の比較値ｅｊｉｋは、
第１の画像データの位置ｒ＝（ｘ、ｙ）における画素の
輝度値をＩ０（ｒ）とし、第ｉ番目の画像データの位置
ｒにおける画素の輝度値をＩｉ（ｒ）とし、第ｋ番目の
探索ステップにおける第１の領域をＷｋ０、第２の領域
をＷｋ１とし、第ｉ番目の画像データにおいて、位置ｒ
からｄ＝（単位移動量）×ｊだけ第１の撮像手段の光軸
に近づく方向にずれた位置を（ｒ＋ｄｊｉ）とすると
き、

【００２８】

【数６】

【００２９】として算出される。請求項５記載の奥行き
情報抽出方法は、平行な光軸を有する多眼カメラにより
撮影した、基準画像である第１の画像データとそれを取
り囲むｎ個（ｎ：自然数、ｎ≧２）の第２の画像データ
とを含むステレオ画像データに基づいて、第１の画像デ
ータ中の任意の１つの画素に対する奥行き情報を抽出す
る奥行き情報抽出方法であって、ｉ）第１の画像データ
と第２の画像データのうちのｉ番目（１≦ｉ≦ｎ）の画
像データとの間で、第１の画像データ中の１つの画素を
含む所定面積を有する第１の領域と、ｉ番目の画像デー
タ中の対応する位置の所定面積を有する第２の領域との
画素データ値を比較して、一致の程度を表す第０番目の
比較値を算出する処理をｎ個の第２の画像データのそれ
ぞれに対して行い、算出されたｎ個の第０番目の比較値
のうち小さい側からの所定数に基づいて第０番目の代表
値を決定するステップと、ｉｉ）各ｉ番目の画像データ
において、第２の領域を（移動量）＝（単位移動量）×
ｊ（ｊ：自然数）だけ第１の撮像手段の光軸に近づく方
向にずらした後に、第１の領域と第２の領域との画素デ
ータ値を比較して、一致の程度を表す第ｊ番目の比較値
を算出する処理をｎ個の第２の画像データのそれぞれに
対して行い、算出されたｎ個の第ｊ番目の比較値のうち
小さい側からの所定数に基づいて第ｊ番目の代表値を決
定するサブステップを、ｊ＝１からｊ＝ｍ（ｍ：所定の
自然数）まで繰り返すステップと、ｉｉｉ）第０番目か
ら第ｍ番目までの代表値のうち最小のものに対応する移
動量を、第１の画像データの任意の１つの画素に対する
視差量として奥行きデータを算出するステップとを備え
る。

【００３０】請求項６記載の奥行き情報抽出方法は、請
求項５記載の奥行き情報抽出方法の構成において、第１
の画像データとｉ番目の画像データとの間の第ｊ番目の
比較値ｅｊｉは、第１の画像データの位置ｒ＝（ｘ、
ｙ）における画素の輝度値をＩ０（ｒ）とし、第ｉ番目
の画像データの位置ｒにおける画素の輝度値をＩｉ
（ｒ）とし、第１の領域をＷ０、第２の領域をＷ１と
し、第ｉ番目の画像データにおいて、位置ｒからｄ＝
（単位移動量）×ｊだけ第１の撮像手段の光軸に近づく
方向にずれた位置を（ｒ＋ｄｊｉ）とするとき、

【００３１】

【数７】

【００３２】として算出される。請求項７記載の奥行き
情報抽出方法は、平行な光軸を有する多眼カメラにより
撮影した、基準画像である第１の画像データとそれを取
り囲むｎ個（ｎ：自然数、ｎ≧２）の第２の画像データ
とを含むステレオ画像データに基づいて、第１の画像デ
ータ中の任意の１つの画素に対する奥行き情報を抽出す
る奥行き情報抽出方法であって、第０番目の探索ステッ
プと、第１から第Ｒ番目までの探索ステップとを備え、
第０番目の探索ステップは、ｉ）探索領域を（移動量）
＝（単位移動量）×ｊ（ｊ：自然数、１≦ｊ≦ｍ、ｍ：
所定数）で規定される範囲として、ｉ−１）第１の画像
データと第２の画像データのうちのｉ番目（１≦ｉ≦
ｎ）の画像データとの間で、第１の画像データ中の１つ
の画素を含む所定面積を有する第１の領域と、ｉ番目の
画像データ中の対応する位置の所定面積を有する第２の
領域との画素データ値を比較して、一致の程度を表す第
０番目の比較値を算出する処理をｎ個の第２の画像デー
タのそれぞれに対して行い、算出されたｎ個の第０番目
の比較値のうち小さい側からの所定数の比較値に基づい
て第０番目の代表値を決定するステップと、ｉ−２）各
ｉ番目の画像データにおいて、第２の領域を移動量だけ
第１の撮像手段の光軸に近づく方向にずらした後に、第
１の領域と第２の領域との画素データ値を比較して、一
致の程度を表す第ｊ番目の比較値を算出する処理をｎ個
の第２の画像データのそれぞれに対して行い、算出され
たｎ個の第ｊ番目の比較値のうち小さい側からの所定数
の比較値に基づいて第ｊ番目の代表値を決定するサブス
テップを、ｊ＝１からｊ＝ｍ（ｍ：所定の自然数）まで
繰り返すステップと、ｉ−３）第０番目から第ｍ番目ま
での代表値のうち最小のものに対応する移動量を、第１
の画像データの任意の１つの画素に対する第０番目の探
索ステップにおける視差値として奥行きデータを算出し
するステップとを含み、各第ｋ番目（１≦ｋ≦Ｒ）の探
索ステップは、ｉｉ）所定面積を第（ｋ−１）番目の探
索ステップに比べて所定係数倍縮小し、かつ、縮小され
た所定面積を有する第１の領域内の画素に対して、第
（ｋ−１）番目の探索ステップにおいてそれぞれ算出さ
れたｐ個（ｐ：自然数）の視差値の集合で規定される範
囲を探索領域として、ｉｉ−１）各ｉ番目の画像データ
において、第２の領域を探索領域に属する第ｑ番目（１
≦ｑ≦ｐ）の視差値だけ第１の撮像手段の光軸に近づく
方向にずらした後に、第１の領域と第２の領域との画素
データ値を比較して、一致の程度を表す第ｑ番目のサブ
ステップにおける比較値を算出する処理をｎ個の第２の
画像データのそれぞれに対して行い、算出されたｎ個の
第ｑ番目のサブステップにおける比較値のうち小さい側
からの所定数の比較値に基づいて第ｑ番目の代表値を決
定するサブステップを、ｑ＝１からｑ＝ｐまで繰り返す
ステップと、ｉｉ−２）第１番目から第ｐ番目までの代
表値のうち最小のものに対応する移動量を、第１の画像
データの任意の１つの画素に対する第ｋ番目の探索ステ
ップにおける視差量として奥行きデータを算出するステ
ップとを含む。

【００３３】請求項８記載の奥行き情報抽出方法は、請
求項７記載の奥行き情報抽出方法の構成において、第ｋ
番目の探索ステップにおける、第１の画像データとｉ番
目の画像データとの間の第ｊ番目の比較値ｅｊｉｋは、
第１の画像データの位置ｒ＝（ｘ、ｙ）における画素の
輝度値をＩ０（ｒ）とし、第ｉ番目の画像データの位置
ｒにおける画素の輝度値をＩｉ（ｒ）とし、第ｋ番目の
探索ステップにおける第１の領域をＷｋ０、第２の領域
をＷｋ１とし、第ｉ番目の画像データにおいて、位置ｒ
からｄ＝（単位移動量）×ｊだけ第１の撮像手段の光軸
に近づく方向にずれた位置を（ｒ＋ｄｊｉ）とすると
き、

【００３４】

【数８】

【００３５】として算出される。

【００３６】

【発明の実施の形態】

［実施の形態１］ ［奥行き情報抽出装置の構成］図１は、本発明の実施の
形態１の奥行き抽出装置１００の構成を示す概略ブロッ
ク図である。

【００３７】奥行き情報抽出装置１００は、対象画像を
撮像する多眼カメラ１０と、多眼カメラ１０からの画像
信号をデジタル信号に変換するＡ／Ｄ変換器１２と、Ａ
／Ｄ変換器１２からの出力を受けて、基準画像および参
照画像の画像データを保持する映像記憶装置１４と、映
像記憶装置１４に記憶された画像情報に基づいて、基準
画像の各画素について奥行き情報の抽出を行い、奥行き
マップを出力する奥行き計算演算ユニット１６とを含
む。

【００３８】図２は、多眼カメラ１０の構成をより詳細
に示す概念図である。多眼カメラ１０の中央部には、基
準画像を撮像する基準カメラ１１ａが配置され、その上
下左右に、一定の距離Ｌをおいて参照画像を撮像する参
照カメラ１１ｂ〜１１ｅが配置される。ここでは、すべ
てのカメラ１１ａ〜１１ｅは、光軸が平行で、同一仕様
のものであるとする。実際には、各カメラ毎に微妙に特
性が異なるため、カメラの校正を行い、実効的に同一特
性のカメラが光軸を平行として配置されているのと等価
な構成となるように調整されているものとする。

【００３９】したがって、上記のような校正が可能な範
囲であれば、各カメラは必ずしも同一仕様である必要は
なく、等間隔に配置される必要もなく、また、光軸も必
ずしも平行である場合に限定されるものではない。さら
に、カメラの台数も、上述のような５台に限定されるも
のではなく、以下の説明で明らかとなるように、より多
くのカメラを用いる場合にも、本発明を適用することが
可能である。

【００４０】ただし、光軸の平行なカメラが等間隔で配
置されている場合の方が、奥行き情報を抽出する手順が
簡素化される。

【００４１】図３は、図２のように配置された多眼カメ
ラ１０により得られる画像データの幾何学的配置を示す
図である。

【００４２】図３中では、基準画像にインデックスｉ＝
０を割り当て、上画像には、ｉ＝１を、左画像にはｉ＝
２を、下画像にはｉ＝３を、右画像にはｉ＝４をそれぞ
れ割り当てて区別するものとする。

【００４３】図３を参照して、３次元空間の点Ｐ＝
（Ｘ，Ｙ，Ｚ）は、基準画像上の点ｐ０＝（ｘ０，ｙ
０）に投影される。ここで、ｘ０＝Ｆ×Ｘ／Ｚ、ｙ０＝
Ｆ×Ｙ／Ｚと表される。Ｆはカメラの焦点距離である。

【００４４】点Ｐはまた参照カメラＣｉ（ｉ＝１，２，
３，４）の参照画像上の点ｐｉ＝（ｘｉ，ｙｉ）にも投
影される。

【００４５】ここで、ｘｉ，ｙｉは、以下の式で表され
る。

【００４６】

【数９】

【００４７】ただし、基線長ベクトルＤｉ＝（Ｄｉｘ，
Ｄｉｙ）は、それぞれＤ１＝（０，−Ｌ），Ｄ２＝（−
Ｌ，０），Ｄ３＝（０，Ｌ），Ｄ４＝（Ｌ，０）であ
る。

【００４８】図２および図３に示したようなカメラの配
置では、点Ｐの真の視差ｄｉは、すべての参照画像に対
し、 ｄｉ＝Ｆ×Ｌ／Ｚ＝｜ｐｉ−ｐ０｜ で表せる。したがって、視差ｄｉが推定されれば、それ
に応じて、奥行きＺを取得することができる。

【００４９】上述したようなカメラの配置では、ある画
素について１つのカメラからオクルージョンのために真
のマッチングがとれない場合、対称の位置に置かれた他
のカメラからは真のマッチングとれる可能性が高い。

【００５０】以下に、説明するように、本発明ではこの
ような特性に基づいて奥行き情報の抽出を行う。

【００５１】［奥行き情報の抽出］続いて、図１に示し
た、奥行き計算演算ユニット１６の動作について説明す
る。図４は、多眼カメラ１０により撮像され、映像記憶
装置１４に記憶される画像データの例を示す概念図であ
る。

【００５２】以下では、基準画像中の人物の右手の甲の
上の点ｒに対応する画素の奥行きデータを抽出する場合
について説明する。

【００５３】まず、点ｒを囲む所定面積のマッチングウ
ィンドウＷ０を基準画像中に設定する。たとえば、上画
像（ｉ＝１）について、画面中の対応する位置（基準画
面におけるマッチングウィンドウの位置と画像周辺部か
ら同等の位置）にマッチングウィンドウＷ１を設定する
と、視差のためにマッチングウィンドウＷ０中の画像デ
ータとマッチングウィンドウＷ１中の画像データとは、
ずれたものとなっている。

【００５４】そこで、以下では、マッチングウィンドウ
Ｗ１を基準画像の方向に、言い換えると基準画像を撮像
したカメラの光軸に近づく方向に順次ずらせて行きつ
つ、マッチングウィンドウＷ１中の画像データとマッチ
ングウィンドウＷ０中の画像データがもっとも一致する
位置を探索していく。このもっとも両者が一致する位置
までずらせる量が、基準画像と参照画像（ｉ＝１）との
視差に対応することになる。同様の手続きを他の参照画
面（ｉ＝２，３，４）に対しても行うものとする。な
お、以下では参照画像中のマッチングウィンドウをすべ
て共通の符号Ｗ１で表すものとする。

【００５５】上述した両マッチングウィンドウ内の画像
データの一致の程度を表す尺度として、たとえば、以下
に示すような画像データの輝度値の自乗偏差を用いるこ
とが可能である。

【００５６】

【数１０】

【００５７】ここで、自乗偏差ｅｊｉ（ｒ，ｄｊｉ）の
式中、Ｉ０（ｒ）は基準画像中の位置ベクトルｒで表さ
れる位置の輝度値を、Ｉｉ（ｒ）は参照画像（ｉ＝１〜
４）中の位置ベクトルｒで表される位置の輝度値を示
し、ｂ∈Ｗ０とは、ベクトルｂがマッチングウィンドウ
Ｗ０中を動くことを、ｂ∈Ｗ１とは、、ベクトルｂがマ
ッチングウィンドウＷ１中を動くことを、それぞれ示
す。

【００５８】また、ベクトルｄｊｉとは、参照画像ｉに
おいて、マッチングウィンドウを順次基準画像の方向へ
ずらせる手続きを行う際に、ｊ番目に移動した移動ベク
トルを表すものとする。つまり、移動後の位置ベクトル
は、（ｒ＋ｄｊｉ）となる。したがって、一回のステッ
プで所定の単位移動量ずつ基準画像側にマッチングウィ
ンドウＷ１の位置をずらせていくとすると、ｊ番目のス
テップでは、ベクトルｄｊｉの大きさは、以下の式で表
されることになる。

【００５９】｜ｄｊｉ｜＝（単位移動量）×ｊ また、移動量の最大値としては、予めカメラ配置等を考
慮して、所定の値ＳＲが設定され、この最大移動量まで
の範囲を探索領域として、視差の推定が行われるものと
する。

【００６０】ここで、単位移動量としては画素数の整数
倍の値でもよく、また、画素数の任意の係数倍の値でも
よい。任意の係数倍の場合、移動位置の輝度値は周囲の
画素の輝度値から補間により求めることができる。

【００６１】図２に示したようなカメラの配置では、原
理的には視差の大きさｄは、すべての参照画像に対して
一定のはずである。

【００６２】したがって、奥行きの不連続ない場所で
は、たとえば、単純に４つの参照画像における自乗偏差
の和が最小の点における移動量が視差を表すとしても、
正確な結果を得ることができる。

【００６３】しかしながら、奥行きの不連続な場所、た
とえばオクルージョンの影響のある場所では、以下のよ
うな問題点が存在する。

【００６４】図５は、各参照画像について、自乗偏差ｅ
ｊｉを求めた場合の一例を示す。図５に示した例では、
真の視差の値（ｄ〜６）において、オクルージョンの影
響のために、下画像および右画像からの自乗偏差が大き
な値を持つ。このため、たとえば、単純に４つの参照画
像における自乗偏差の和が最小の点が視差を表すとし
て、視差の推定を行うと誤った値（ｄ〜１９）が得られ
てしまうことになる。

【００６５】以上のような問題点には、マッチングをと
る際、推定結果に悪影響を与えるような観測データを、
予め除去しておくことで対処することが可能である。

【００６６】したがって、たとえば、位置ｒにおける視
差ｄ（ｒ）の推定を以下の式に従って、行うことが可能
である。

【００６７】

【数１１】

【００６８】ここで、ｅ’ｊｉはｅｊｉをソートしたも
のであり、ｉ＜ｋに対してｅ’ｊｉ＞ｅｊｋである。つ
まり、上記の方法では、自乗偏差ｅｊｉのうち、小さい
方から２つの和により、視差ｄを評価する。

【００６９】もちろん、カメラの台数や観測条件等に応
じて、小さい方からいくつのデータをとるかは決定され
るものであって、この個数に限定されるものではない。

【００７０】図６は、上述したような、奥行きデータの
抽出手順を示す概念図である。まず、ｊ＝０、つまりｄ
０ｉ＝０であって、マッチングウィンドウＷ１は初期位
置にあるとして、自乗偏差ｅ０ｉを各参照画像において
求める。

【００７１】つづいて、自乗偏差ｅｊｉをソート処理し
て、ｅ’０ｉを求め、小さい側の２つの和（ｅ’０３＋
ｅ’０４）を評価値（代表値）として抽出する。

【００７２】同様の処理をｊの値を１ずつ増やしなが
ら、ｊ＝ＳＲ（探索領域の最大値）となるまで繰り返
す。各ステップ（ｊ＝ｋ）で得られた評価値のなかで最
小の値を有する（ｅ’ｋ３＋ｅ’ｋ４）に対応するｄｋ
ｉを視差の値とする。ここで、すべての参照画像につい
てｄｋｉの値は同一の値であるので、これを単純にｄｋ
で表すことにする。

【００７３】図７は、図６で説明した手順を、基準画像
中の任意の１つの画素に対する処理について、より詳細
に示すフローチャートである。奥行き計算演算ユニット
１６は、処理を開始すると（ステップＳ１００）、まず
変数ｊの値を初期化する（ステップＳ１０２）。

【００７４】つづいて、奥行き計算演算ユニット１６
は、各参照画像について自乗偏差ｅｊｉを計算し（ステ
ップＳ１０４）、各参照画像について得られた自乗偏差
の値ｅｊ１、ｅｊ２、ｅｊ３、ｅｊ４の値をソート処理
する（ステップＳ１０６）。

【００７５】ソート結果に基づいて、小さい側から２つ
の値の和（ｅ’ｊ３＋ｅ’ｊ４）が代表値として代表値
配列Ｅ（ｊ）に格納される（ステップＳ１０８）。

【００７６】つづいて、奥行き計算演算ユニット１６
は、移動量の値が探索領域の最大値に達しているかの判
断を行い（ステップＳ１１０）、最大値に達していない
場合は、ｊの値を１だけ増加させて（ステップＳ１１
２）、ふたたび処理をステップＳ１０４に復帰させる。

【００７７】一方、奥行き計算演算ユニット１６は、移
動量が最大値に達していると判断した場合（ステップＳ
１１０）、代表値配列Ｅ（ｊ）のなかの最小値を求める
（ステップＳ１１４）。最小値に対応する移動量を視差
ｄｍとして出力し（ステップＳ１１６）、処理を終了す
る（ステップＳ１１８）。

【００７８】以上のような構成とすることで、奥行き情
報抽出装置１００は、物体の境界付近の奥行き情報の抽
出においてオクルージョンの影響を抑制し、物体の境界
線と奥行きマップのエッジとの一致の良好な奥行き情報
抽出動作を実現することが可能である。

【００７９】また、奥行き計算演算ユニット１６が行う
処理に対応する奥行き情報抽出方法によっても、同様の
効果を得ることができる。

【００８０】［実施の形態２］実施の形態１の奥行き情
報抽出装置においては、マッチング処理において、４つ
の参照画像からのデータのうち、選択された２つの参照
画像からのデータに基づいて視差の推定を行うという非
線形な処理により、オクルージョンの影響を低減するこ
とが可能であった。

【００８１】しかしながら、４つの参照画像からの情報
のうち２つしか用いないということは、雑音耐性の観点
からは望ましくない。

【００８２】そこで、単純に雑音耐性を向上させるため
だけであれば、マッチングウィンドウの大きさを大きく
することで対処可能である。しかしながら、上述したと
おり、本当の物体の境界線と奥行きマップのエッジが一
致するようにするためには、マッチングウィンドウの大
きさは、小さい方が望ましい。

【００８３】実施の形態２では、このようなトレードオ
フを解決することが可能な奥行き情報抽出装置および奥
行き情報抽出方法を提供する。

【００８４】ここで、実施の形態２の奥行き情報抽出装
置の構成は、基本的に実施の形態１の奥行き情報抽出装
置１００の構成と同様である。

【００８５】実施の形態２の奥行き情報抽出装置の構成
が、奥行き情報抽出装置１００の構成と異なる点は、以
下に説明するとおり、奥行き計算演算ユニット１６が階
層的な奥行き情報抽出動作を行う点である。

【００８６】以下に述べる、奥行き計算演算ユニット１
６の階層的な奥行き情報抽出動作は、まず大きさの大き
なマッチングウィンドウで実施の形態１の奥行き情報抽
出動作を行った場合、その奥行きマップ中のマッチング
ウィンドウ中に正しい奥行き値が存在していることを前
提としている。

【００８７】図８は、このような奥行き計算演算ユニッ
ト１６の階層的な奥行き情報抽出動作を説明するための
処理およびデータのフローを示す図である。

【００８８】まず、奥行き計算演算ユニット１６は、第
０の階層では、マッチングウィンドウの大きさをＷＳ＝
Ｗ００＝Ｗ０１＝１５×１５画素として、実施の形態１
の図７において説明した手順に従って、視差情報の抽出
を行い（ステップＳ２００）、視差マップを作成する
（ステップＳ２０２）。

【００８９】ここで、基準画面におけるマッチングウィ
ンドウをＷ００で、参照画面におけるマッチングウィン
ドウをＷ０１で表した。

【００９０】つづいて、奥行き計算演算ユニット１６
は、第１の階層の処理として、マッチングウィンドウの
大きさをＷＳ＝Ｗ１０＝Ｗ１１＝７×７画素として、視
差情報の抽出を行う（ステップＳ２０６）。ここで、こ
の第１の階層での基準画面におけるマッチングウィンド
ウをＷ１０で、参照画面におけるマッチングウィンドウ
をＷ１１で表す。また、第１の階層においては、視差を
探索する探索領域は、後に説明するように、マッチング
ウインドウＷ１０中に含まれる各画素について、第０の
階層の処理で得られた視差値の集合の範囲に限定するも
のとする（ステップＳ２０４）。

【００９１】第１の階層で得られた視差値に基づいて、
視差マップが作成される（ステップＳ２０８）。

【００９２】つづいて、奥行き計算演算ユニット１６
は、第２の階層の処理として、マッチングウィンドウの
大きさをＷＳ＝Ｗ２０＝Ｗ２１＝７×７画素として、視
差情報の抽出を行う（ステップＳ２１２）。ここで、こ
の第２の階層での基準画面におけるマッチングウィンド
ウをＷ２０で、参照画面におけるマッチングウィンドウ
をＷ２１で表す。また、第２の階層においても、視差を
探索する探索領域は、マッチングウインドウＷ２０中に
含まれる各画素について、第１の階層の処理で得られた
視差値の集合の範囲に限定するものとする（ステップＳ
２１０）。

【００９３】第２の階層で得られた視差値に基づいて、
視差マップが作成される（ステップＳ２１４）。

【００９４】図８に示した例では、処理の階層は、第２
の階層までとした。したがって、ステップＳ２１４にお
いて作成された視差マップに基づいて、奥行きマップが
形成される。

【００９５】階層の数は、測定対象や測定条件等に応じ
て、変更することが可能である。上述したとおり、図８
のステップＳ２００の処理は、実施の形態１の図７で説
明した処理と同様である。

【００９６】図９は、図８中のステップＳ２０６または
ステップＳ２１２の処理を示すフローチャートである。

【００９７】まず、１つ前の階層における視差マップの
抽出結果に基づいて、処理を行う階層の基準画像に対す
るマッチングウィンドウＷｋ０（ｋ＝１，２）中に存在
する視差値を配列ｄｓ（ｊ）（ｉ＝１，２，…，ｊｍａ
ｘ：ｊｍａｘは、一つ前の階層の視差マップにおいてマ
ッチングウインドウＷｋ０中に存在する視差値の個数）
中に読み込んでおくとともに、変数ｊの値を初期値”
１”に、変数ｄの値をｄｓ（１）に初期化しておく（ス
テップＳ３０２）。

【００９８】つぎに、奥行き計算演算ユニット１６は、
マッチングウィンドウＷｋ１を移動量ｄで規定される量
だけ、初期位置（基準画像中のマッチングウィンドウＷ
ｋ０の位置に対応する参照画像中の位置）からずらし
て、各参照画面において自乗偏差ｅｊｉｋを求める（ス
テップＳ３０４）。ここで、自乗偏差ｅｊｉｋは、ｋ番
目の階層の処理でのｊ番目のステップにおけるｉ番目の
参照画像での自乗偏差であることを示し、以下の式で表
わされる。

【００９９】

【数１２】

【０１００】ここで、実施の形態１と同一の符号は、同
一の意味を表わす。つづいて、奥行き計算演算ユニット
１６は、各参照画像について得られた自乗偏差の値ｅｊ
１ｋ、ｅｊ２ｋ、ｅｊ３ｋ、ｅｊ４ｋの値をソート処理
する（ステップＳ３０６）。

【０１０１】ソート結果に基づいて、小さい側から２つ
の値の和（ｅ’ｊ３ｋ＋ｅ’ｊ４ｋ）が代表値として代
表値配列Ｅ（ｊ）に格納される（ステップＳ３０８）。

【０１０２】つづいて、奥行き計算演算ユニット１６
は、移動量の値が探索領域の最大値に達しているかの判
断を行い（ステップＳ３１０）、最大値に達していない
場合は、ｊの値を１だけ増加させて（ステップＳ３１
２）、移動量ｄの値をｄｓ（ｊ）として、ふたたび処理
をステップＳ３０４に復帰させる。

【０１０３】一方、奥行き計算演算ユニット１６は、移
動量が最大値に達していると判断した場合（ステップＳ
３１０）、代表値配列Ｅ（ｊ）のなかの最小値を求める
（ステップＳ３１４）。最小値に対応する移動量ｄｓ
（ｊ）を視差ｄｍとして出力し（ステップＳ３１６）、
次の画素に対する処理に移行する。

【０１０４】以上のような構成とすることで、実施の形
態２の奥行き情報抽出装置は、物体の境界付近の奥行き
情報の抽出においてオクルージョンの影響を抑制し、物
体の境界線と奥行きマップのエッジとの一致が良好であ
るとともに、雑音耐性に優れた奥行き情報抽出動作を実
現することが可能である。

【０１０５】図１０は、上述したような階層的な奥行き
情報抽出方法の流れを示す概念図であり、図１１は、従
来の階層的な奥行き情報抽出方法の流れを示す概念図で
ある。

【０１０６】まず、図１１を参照して、従来の階層的な
奥行き情報抽出方法においては、まず低い解像度で粗い
推定を行い、その結果を利用して、徐々に解像度および
推定精度を高めていく。

【０１０７】つまり、処理しようとしている（ｎ＋１）
層においては、それよりも一層低い第ｎ層における解像
度の粗い推定値ｄｎの付近だけを探索するように制限を
加える。同時に、マッチングウィンドウの大きさも、た
とえば第ｎ層の大きさの１／２として、視差値の推定値
ｄｎ＋１を求める。

【０１０８】このような構成とすることで、計算量を低
減することは可能であるが、上述したとおり、物体の境
界線など奥行きの不連続な領域では、やはり十分な精度
は得られず、誤差を引き起こしてしまうという問題があ
った。

【０１０９】これに対して、図１０を参照して、実施の
形態２の奥行き計算演算ユニット１６の処理において
は、第１層の処理では、参照画像中のマッチングウィン
ドウの初期位置から基準画像へ向けて移動させる最大量
のＳＲまでの範囲を探索領域として、実施の形態１で説
明した方法で視差値の推定を行う。

【０１１０】第２層目以降では、直前の層で得られた視
差マップに基づき、マッチングウインドウ中に存在する
奥行き値だけを候補として探索を行う。

【０１１１】したがって、マッチングウインドウの十分
に広い第１層での推定値の中から、マッチングウィンド
ウを小さくした場合に、推定値として最適なものを抽出
することになる。

【０１１２】つまり、第１層での処理においては、雑音
耐性の良好な処理が行われて視差値の候補が抽出され、
順次マッチングウインドウを小さくして行う第２層以降
の処理により、物体の境界線と奥行きマップのエッジの
一致が良好な奥行き値が、奥行き値の候補の中から選択
されることになる。

【０１１３】以上のような構成とすることで、実施の形
態２の奥行き情報抽出方法は、物体の境界付近の奥行き
情報の抽出においてオクルージョンの影響を抑制し、物
体の境界線と奥行きマップのエッジとの一致が良好であ
るとともに、雑音耐性に優れた奥行き情報抽出動作を実
現することが可能である。

【０１１４】

【発明の効果】以上説明したとおり、本発明によれば、
オクルージョンの影響を抑制して物体の境界線付近の奥
行き情報の誤差を低減することが可能な奥行き情報抽出
装置および奥行き情報抽出方法を提供することが可能で
ある。

【０１１５】さらに、この発明によれば、物体の境界線
と奥行きマップのエッジの一致を保持しつつ、雑音耐性
の良好な奥行き情報抽出装置および奥行き情報抽出方法
を提供することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の奥行き情報抽出装置１
００の構成を示す概略ブロック図である。

【図２】多眼カメラ１０の構成を示す概念図である。

【図３】多眼カメラ１０により得られる画像データの幾
何学的配置を示す図である。

【図４】多眼カメラ１０により撮像された画像データを
示す概念図である。

【図５】各参照画像について、自乗偏差ｅｊｉを求めた
場合を示す図である。

【図６】実施の形態１の奥行きデータの抽出手順を示す
概念図である。

【図７】図６で説明した手順を、基準画像中の任意の１
つの画素に対する処理について、より詳細に示すフロー
チャートである。

【図８】実施の形態２の階層的な奥行き情報抽出動作を
説明するための処理およびデータのフローを示す図であ
る。

【図９】図８に示した多眼ステレオマッチング処理の流
れをより詳細に示すフローチャートである。

【図１０】実施の形態２の階層的な奥行き情報抽出方法
の流れを示す概念図である。

【図１１】従来の階層的な奥行き情報抽出方法の流れを
示す概念図である。

【図１２】従来の両眼ステレオマッチングの幾何学的は
位置を示す図である。

【符号の説明】

１０ 多眼カメラ １１ａ 基準カメラ １１ｂ〜ｅ 参照カメラ １２ Ａ／Ｄ変換器 １４ 映像記憶装置 １６ 奥行き計算演算ユニット １００ 奥行き情報抽出装置

Claims (8)

【特許請求の範囲】
1. 【請求項１】 撮影したステレオ画像に基づいて、奥行
   き情報を抽出する奥行き情報抽出装置であって、 対象画像を撮影する多眼撮像手段を備え、 前記多眼撮像手段は、 基準画像を撮影し、光学像を各画素に対応する画像デー
   タに変換して出力する第１の撮像手段と、 前記第１の撮像手段の周りに光軸が互いに平行となるよ
   うに配置され、それぞれが撮影した光学像を各画素に対
   応する画像データに変換して出力するｎ個（ｎ：自然
   数、ｎ≧２）の撮像手段とを含み、 前記第１の撮像手段から出力される第１の画像データと
   前記ｎ個の第２の撮像手段からそれぞれ出力されるｎ個
   の第２の画像データとを記憶・保持する画像記憶手段
   と、 前記画像記憶手段からの出力に応じて、前記第１の画像
   データに属する各画素に対応する奥行き情報を抽出する
   奥行き情報演算手段とをさらに備え、 前記奥行き情報演算手段は、 第１の画像データの任意の１つの画素に対する奥行きデ
   ータの抽出処理を、 ｉ）前記第１の画像データと前記第２の画像データのう
   ちのｉ番目（１≦ｉ≦ｎ）の画像データとの間で、前記
   第１の画像データ中の前記１つの画素を含む所定面積を
   有する第１の領域と、前記ｉ番目の画像データ中の対応
   する位置の前記所定面積を有する第２の領域との画素デ
   ータ値を比較して、一致の程度を表す第０番目の比較値
   を算出する処理を前記ｎ個の第２の画像データのそれぞ
   れに対して行い、算出されたｎ個の前記第０番目の比較
   値のうち小さい側からの所定数に基づいて第０番目の代
   表値を決定し、 ｉｉ）前記各ｉ番目の画像データにおいて、前記第２の
   領域を（移動量）＝（単位移動量）×ｊ（ｊ：自然数）
   だけ第１の撮像手段の光軸に近づく方向にずらした後
   に、前記第１の領域と前記第２の領域との画素データ値
   を比較して、一致の程度を表す第ｊ番目の比較値を算出
   する処理を前記ｎ個の第２の画像データのそれぞれに対
   して行い、算出されたｎ個の前記第ｊ番目の比較値のう
   ち小さい側からの前記所定数に基づいて第ｊ番目の代表
   値を決定するステップを、ｊ＝１からｊ＝ｍ（ｍ：所定
   の自然数）まで繰り返し、 ｉｉｉ）前記第０番目から第ｍ番目までの代表値のうち
   最小のものに対応する移動量を、前記第１の画像データ
   の任意の１つの画素に対する視差量として奥行きデータ
   を算出することにより実行する、奥行き情報抽出装置。
2. 【請求項２】 前記第１の画像データと前記ｉ番目の画
   像データとの間の前記第ｊ番目の比較値ｅｊｉは、 前記第１の画像データの位置ｒ＝（ｘ、ｙ）における画
   素の輝度値をＩ０（ｒ）とし、前記第ｉ番目の画像デー
   タの位置ｒにおける画素の輝度値をＩｉ（ｒ）とし、前
   記第１の領域をＷ０、前記第２の領域をＷ１とし、前記
   第ｉ番目の画像データにおいて、位置ｒからｄ＝（単位
   移動量）×ｊだけ第１の撮像手段の光軸に近づく方向に
   ずれた位置を（ｒ＋ｄｊｉ）とするとき、 【数１】 として算出される、請求項１記載の奥行き情報抽出装
   置。
3. 【請求項３】 撮影したステレオ画像に基づいて、奥行
   き情報を抽出する奥行き情報抽出装置であって、 対象画像を撮影する多眼撮像手段を備え、 前記多眼撮像手段は、 基準画像を撮影し、光学像を各画素に対応する画像デー
   タに変換して出力する第１の撮像手段と、 前記第１の撮像手段の周りに光軸が互いに平行となるよ
   うに配置され、それぞれが撮影した光学像を各画素に対
   応する画像データに変換して出力するｎ個（ｎ：自然
   数、ｎ≧２）の撮像手段とを含み、 前記第１の撮像手段から出力される第１の画像データと
   前記ｎ個の第２の撮像手段からそれぞれ出力されるｎ個
   の第２の画像データとを記憶・保持する画像記憶手段
   と、 前記画像記憶手段からの出力に応じて、前記第１の画像
   データに属する各画素に対応する奥行き情報を抽出する
   奥行き情報演算手段とをさらに備え、 前記奥行き情報演算手段は、 第１の画像データの任意の１つの画素に対する奥行きデ
   ータの抽出処理を、 ｉ）第０番目の探索ステップでは、探索領域を（移動
   量）＝（単位移動量）×ｊ（ｊ：自然数、１≦ｊ≦ｍ、
   ｍ：所定数）で規定される範囲として、 ｉ−１）前記第１の画像データと前記第２の画像データ
   のうちのｉ番目（１≦ｉ≦ｎ）の画像データとの間で、
   前記第１の画像データ中の前記１つの画素を含む所定面
   積を有する第１の領域と、前記ｉ番目の画像データ中の
   対応する位置の前記所定面積を有する第２の領域との画
   素データ値を比較して、一致の程度を表す第０番目の比
   較値を算出する処理を前記ｎ個の第２の画像データのそ
   れぞれに対して行い、算出されたｎ個の前記第０番目の
   比較値のうち小さい側からの所定数の比較値に基づいて
   第０番目の代表値を決定し、 ｉ−２）前記各ｉ番目の画像データにおいて、前記第２
   の領域を前記移動量だけ第１の撮像手段の光軸に近づく
   方向にずらした後に、前記第１の領域と前記第２の領域
   との画素データ値を比較して、一致の程度を表す第ｊ番
   目の比較値を算出する処理を前記ｎ個の第２の画像デー
   タのそれぞれに対して行い、算出されたｎ個の前記第ｊ
   番目の比較値のうち小さい側からの前記所定数の比較値
   に基づいて第ｊ番目の代表値を決定するステップを、ｊ
   ＝１からｊ＝ｍ（ｍ：所定の自然数）まで繰り返し、 ｉ−３）前記第０番目から第ｍ番目までの代表値のうち
   最小のものに対応する移動量を、前記第１の画像データ
   の任意の１つの画素に対する第０番目の探索ステップに
   おける視差値として奥行きデータを算出し、 ｉｉ）第ｋ番目（ｋ≧１）の探索ステップでは、前記所
   定面積を所定係数倍縮小し、かつ、前記縮小された所定
   面積を有する第１の領域内の画素に対して、第（ｋ−
   １）番目の探索ステップにおいてそれぞれ算出されたｐ
   個（ｐ：自然数）の視差値の集合で規定される範囲を探
   索領域として、 ｉｉ−１）前記各ｉ番目の画像データにおいて、前記第
   ２の領域を前記探索領域に属する第ｑ番目（１≦ｑ≦
   ｐ）の視差値だけ第１の撮像手段の光軸に近づく方向に
   ずらした後に、前記第１の領域と前記第２の領域との画
   素データ値を比較して、一致の程度を表す第ｑ番目のス
   テップにおける比較値を算出する処理を前記ｎ個の第２
   の画像データのそれぞれに対して行い、算出されたｎ個
   の前記第ｑ番目のステップにおける比較値のうち小さい
   側からの前記所定数の比較値に基づいて第ｑ番目の代表
   値を決定するステップを、ｑ＝１からｑ＝ｐまで繰り返
   し、 ｉｉ−２）前記第１番目から第ｐ番目までの代表値のう
   ち最小のものに対応する移動量を、前記第１の画像デー
   タの任意の１つの画素に対する第ｋ番目の探索ステップ
   における視差量として奥行きデータを算出する探索ステ
   ップをｋの値が所定数となるまで繰り返すことで実行す
   る、奥行き情報抽出装置。
4. 【請求項４】 前記第ｋ番目の探索ステップにおける、
   前記第１の画像データと前記ｉ番目の画像データとの間
   の前記第ｊ番目の比較値ｅｊｉｋは、 前記第１の画像データの位置ｒ＝（ｘ、ｙ）における画
   素の輝度値をＩ０（ｒ）とし、前記第ｉ番目の画像デー
   タの位置ｒにおける画素の輝度値をＩｉ（ｒ）とし、前
   記第ｋ番目の探索ステップにおける前記第１の領域をＷ
   ｋ０、前記第２の領域をＷｋ１とし、前記第ｉ番目の画
   像データにおいて、位置ｒからｄ＝（単位移動量）×ｊ
   だけ第１の撮像手段の光軸に近づく方向にずれた位置を
   （ｒ＋ｄｊｉ）とするとき、 【数２】 として算出される、請求項１記載の奥行き情報抽出装
   置。
5. 【請求項５】 平行な光軸を有する多眼カメラにより撮
   影した、基準画像である第１の画像データとそれを取り
   囲むｎ個（ｎ：自然数、ｎ≧２）の第２の画像データと
   を含むステレオ画像データに基づいて、前記第１の画像
   データ中の任意の１つの画素に対する奥行き情報を抽出
   する奥行き情報抽出方法であって、 ｉ）前記第１の画像データと前記第２の画像データのう
   ちのｉ番目（１≦ｉ≦ｎ）の画像データとの間で、前記
   第１の画像データ中の前記１つの画素を含む所定面積を
   有する第１の領域と、前記ｉ番目の画像データ中の対応
   する位置の前記所定面積を有する第２の領域との画素デ
   ータ値を比較して、一致の程度を表す第０番目の比較値
   を算出する処理を前記ｎ個の第２の画像データのそれぞ
   れに対して行い、算出されたｎ個の前記第０番目の比較
   値のうち小さい側からの所定数に基づいて第０番目の代
   表値を決定するステップと、 ｉｉ）前記各ｉ番目の画像データにおいて、前記第２の
   領域を（移動量）＝（単位移動量）×ｊ（ｊ：自然数）
   だけ第１の撮像手段の光軸に近づく方向にずらした後
   に、前記第１の領域と前記第２の領域との画素データ値
   を比較して、一致の程度を表す第ｊ番目の比較値を算出
   する処理を前記ｎ個の第２の画像データのそれぞれに対
   して行い、算出されたｎ個の前記第ｊ番目の比較値のう
   ち小さい側からの前記所定数に基づいて第ｊ番目の代表
   値を決定するサブステップを、ｊ＝１からｊ＝ｍ（ｍ：
   所定の自然数）まで繰り返すステップと、 ｉｉｉ）前記第０番目から第ｍ番目までの代表値のうち
   最小のものに対応する移動量を、前記第１の画像データ
   の任意の１つの画素に対する視差量として奥行きデータ
   を算出するステップとを備える、奥行き情報抽出方法。
6. 【請求項６】 前記第１の画像データと前記ｉ番目の画
   像データとの間の前記第ｊ番目の比較値ｅｊｉは、 前記第１の画像データの位置ｒ＝（ｘ、ｙ）における画
   素の輝度値をＩ０（ｒ）とし、前記第ｉ番目の画像デー
   タの位置ｒにおける画素の輝度値をＩｉ（ｒ）とし、前
   記第１の領域をＷ０、前記第２の領域をＷ１とし、前記
   第ｉ番目の画像データにおいて、位置ｒからｄ＝（単位
   移動量）×ｊだけ第１の撮像手段の光軸に近づく方向に
   ずれた位置を（ｒ＋ｄｊｉ）とするとき、 【数３】 として算出される、請求項２記載の奥行き情報抽出方
   法。
7. 【請求項７】 平行な光軸を有する多眼カメラにより撮
   影した、基準画像である第１の画像データとそれを取り
   囲むｎ個（ｎ：自然数、ｎ≧２）の第２の画像データと
   を含むステレオ画像データに基づいて、前記第１の画像
   データ中の任意の１つの画素に対する奥行き情報を抽出
   する奥行き情報抽出方法であって、 第０番目の探索ステップと、第１から第Ｒ番目までの探
   索ステップとを備え、 前記第０番目の探索ステップは、 ｉ）探索領域を（移動量）＝（単位移動量）×ｊ（ｊ：
   自然数、１≦ｊ≦ｍ、ｍ：所定数）で規定される範囲と
   して、 ｉ−１）前記第１の画像データと前記第２の画像データ
   のうちのｉ番目（１≦ｉ≦ｎ）の画像データとの間で、
   前記第１の画像データ中の前記１つの画素を含む所定面
   積を有する第１の領域と、前記ｉ番目の画像データ中の
   対応する位置の前記所定面積を有する第２の領域との画
   素データ値を比較して、一致の程度を表す第０番目の比
   較値を算出する処理を前記ｎ個の第２の画像データのそ
   れぞれに対して行い、算出されたｎ個の前記第０番目の
   比較値のうち小さい側からの所定数の比較値に基づいて
   第０番目の代表値を決定するステップと、 ｉ−２）前記各ｉ番目の画像データにおいて、前記第２
   の領域を前記移動量だけ第１の撮像手段の光軸に近づく
   方向にずらした後に、前記第１の領域と前記第２の領域
   との画素データ値を比較して、一致の程度を表す第ｊ番
   目の比較値を算出する処理を前記ｎ個の第２の画像デー
   タのそれぞれに対して行い、算出されたｎ個の前記第ｊ
   番目の比較値のうち小さい側からの前記所定数の比較値
   に基づいて第ｊ番目の代表値を決定するサブステップ
   を、ｊ＝１からｊ＝ｍ（ｍ：所定の自然数）まで繰り返
   すステップと、 ｉ−３）前記第０番目から第ｍ番目までの代表値のうち
   最小のものに対応する移動量を、前記第１の画像データ
   の任意の１つの画素に対する第０番目の探索ステップに
   おける視差値として奥行きデータを算出しするステップ
   とを含み、 前記各第ｋ番目（１≦ｋ≦Ｒ）の探索ステップは、 ｉｉ）前記所定面積を第（ｋ−１）番目の探索ステップ
   に比べて所定係数倍縮小し、かつ、前記縮小された所定
   面積を有する第１の領域内の画素に対して、第（ｋ−
   １）番目の探索ステップにおいてそれぞれ算出されたｐ
   個（ｐ：自然数）の視差値の集合で規定される範囲を探
   索領域として、 ｉｉ−１）前記各ｉ番目の画像データにおいて、前記第
   ２の領域を前記探索領域に属する第ｑ番目（１≦ｑ≦
   ｐ）の視差値だけ第１の撮像手段の光軸に近づく方向に
   ずらした後に、前記第１の領域と前記第２の領域との画
   素データ値を比較して、一致の程度を表す第ｑ番目のサ
   ブステップにおける比較値を算出する処理を前記ｎ個の
   第２の画像データのそれぞれに対して行い、算出された
   ｎ個の前記第ｑ番目のサブステップにおける比較値のう
   ち小さい側からの前記所定数の比較値に基づいて第ｑ番
   目の代表値を決定するサブステップを、ｑ＝１からｑ＝
   ｐまで繰り返すステップと、 ｉｉ−２）前記第１番目から第ｐ番目までの代表値のう
   ち最小のものに対応する移動量を、前記第１の画像デー
   タの任意の１つの画素に対する第ｋ番目の探索ステップ
   における視差量として奥行きデータを算出するステップ
   とを含む、奥行き情報抽出方法。
8. 【請求項８】 前記第ｋ番目の探索ステップにおける、
   前記第１の画像データと前記ｉ番目の画像データとの間
   の前記第ｊ番目の比較値ｅｊｉｋは、 前記第１の画像データの位置ｒ＝（ｘ、ｙ）における画
   素の輝度値をＩ０（ｒ）とし、前記第ｉ番目の画像デー
   タの位置ｒにおける画素の輝度値をＩｉ（ｒ）とし、前
   記第ｋ番目の探索ステップにおける前記第１の領域をＷ
   ｋ０、前記第２の領域をＷｋ１とし、前記第ｉ番目の画
   像データにおいて、位置ｒからｄ＝（単位移動量）×ｊ
   だけ第１の撮像手段の光軸に近づく方向にずれた位置を
   （ｒ＋ｄｊｉ）とするとき、 【数４】 として算出される、請求項７記載の奥行き情報抽出方
   法。