JP2769387B2 - ３次元データ獲得方法及び３次元データ獲得装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、画像演算処理を用い、複数の２次元画像か
ら奥行きデータを得る、３次元データ獲得方法及び、３
次元データ獲得装置に関するものである。

従来の技術 従来の奥行き検出処理方法としては、例えば「航空写
真図形の処理」（第４回画像工学コンファレンス,pp29-
32）があげられる。これらの方法の特徴とする点のひと
つは、相関をとる範囲が画像の濃淡だけで決定されてい
るところである。

発明が解決しようとする課題 従って画像に濃淡が有る場合においても、オクルージ
ョン（視点の違いによりある物体が前の物体後ろに入
り、見えなくなった状態）が発生した場合には、適切な
相関をとる範囲が決定できず、正しい奥行きが求まらな
いという課題が有った。

また相関演算量が莫大になるという課題もあった。

本発明はかかる従来の奥行き検出処理方法の課題に鑑
み、オクルージョンが発生した場合にも、相関をとる範
囲を正しく決定でき、正しい奥行きが求められる、また
相関演算量を低減する、３次元データ獲得方法及び、３
次元データ獲得装置を提供することを目的とする。

課題を解決するための手段 本発明は、相関演算手段によって、複数の視点より被
写体を撮像した複数の画像の相関を演算する相関演算工
程と、領域決定手段によって、その画像の相関演算を行
う画像の領域を決定する領域決定工程と、視差演算手段
によって、相関演算結果より視差を求める視差演算工程
と、奥行きデータ演算手段によって、その視差より奥行
き方向のデータを演算する奥行きデータ演算工程とを備
え、領域決定工程では、相関値の最低値、偏移に対する
相関値の傾き、相関値の平均に応じて相関演算を行う領
域を決定する３次元データ獲得方法である。

また、本発明は、複数の２次元撮像手段と、その２次
元撮像手段を用い、複数の視点より被写体を撮像した複
数の画像の相関を演算する相関演算手段と、その画像の
相関演算を行う画像の領域を決定する領域決定手段と、
相関演算結果より視差を求める視差演算手段と、その視
差より奥行き方向のデータを演算する奥行きデータ演算
手段とを備え、領域決定手段は、相関値の最低値、偏移
に対する相関値の傾き、相関値の平均に応じて相関演算
を行う領域を決定する３次元データ獲得装置である。

作用 本発明は、相関演算結果を領域決定手段により判定
し、相関値が十分でない場合には、相関演算を行う領域
の大きさや、位置を変更することにより、正しく相関演
算が行われる領域を決定して、相関値を計算し正しい奥
行きを求める。

実施例 以下、本発明の実施例について図面を参照して説明す
る。

第１図は、本発明の第１の実施例における３次元デー
タ獲得装置を、模式的に示した構成図である。第１図に
おいて、１は視覚の異なるステレオペアの画像信号を一
旦蓄える画像メモリ、２はそれら画像信号の帯域を制限
するフィルタ、３は、それら帯域制限を受けた２つの信
号の相関を演算する相関演算器、４はその相関演算結果
をもとに相関演算の領域を決定する演算領域決定器、５
は前記相関演算結果より視差を計算する視差演算器、６
はその視点から奥行きを計算する奥行きデータ演算器で
ある。

以上のように構成された、本実施例の３次元データ獲
得装置について、以下その動作を説明し、それととも
に、本発明にかかる３次元データ獲得方法に付いても説
明する。

入力されたステレオペアの画像信号を画像メモリ１に
蓄積し、相関演算を行う前に、相関演算の領域の広さに
応じて帯域制限をフィルター２により行う。領域が広い
場合には帯域制限は十分に行い、領域が狭い場合には帯
域制限は少なくし、相関演算量を低減する。

フィルター２の具体的構成を第２図に示す。同図の11
から14は独立したフィルター要素で、15は切り替えスイ
ッチである。各フィルター要素11〜14の帯域は、 フィルターa11＞フィルターb12＞フィルターc13＞フィ
ルターd14 ‥（１） として、全てのフィルター要素11〜14を通過した信号
は、最も帯域が制限されたものとなるように構成する。
フィルターの帯域は、相関演算を行う代表点の間隔にほ
ぼ反比例するように構成する。帯域の切り替えは、演算
領域決定器４により後述するようにして定める。フィル
ター２により帯域制限された画像信号を、相関演算器５
により、相関の最も強い場所を求める。

その相関演算器の構成を第３図に示す。同図におい
て、21は代表点を記憶するメモリ、22は差分絶対値演算
器、23は累積加算器、24は相関値メモリ、25は代表点選
択器、26は累積加算器23と相関値メモリ24の制御器であ
る。相関演算器３の演算は、次式（２） により行う。ここで、（Xk,Yk）は代表点メモリ21が記
憶する信号の位置を示し、ｋは代表点の番号である。ま
たｉとｊは相関演算を行う範囲を示し、Ｐ（i,j）の最
小になる点（i,j）が相関の最も強い点となる。SrとSl
はステレオペアの画像信号の右と左の信号を示す。

この演算は、第３図において、帯域制限された２つの
画像信号１、２（視角の異なるステレオペアの画像信
号）が入力され、右の画像信号を代表点メモリ21に記憶
して、（２）式に示した差分絶対値と累積加算の演算
を、差分絶対値器22と累積加算器23で行い、得られた相
関値Ｐ（i,j）を相関値メモリ24に蓄積し、最小値とそ
の位置を示すデータ（i,j）を出力する。制御器26は、
後述する演算領域決定器４の出力に対応して（２）式の
演算が正しく行われるように、累積加算器23と相関値メ
モリ24を制御する。また代表点選択器25は相関演算領域
の大きさに応じて使用する代表点を決定し、代表点メモ
リ21を制御する。相関演算領域の大きさと、代表点配置
の関係を第４図に示す。

第４図（ａ）は初期段階で、相関演算領域の大きさが
最大のときの代表点配置であり、（ｂ）は第２段階で、
相関演算領域の大きさが初期段階の1/4ときの代表点配
置であり、（ｃ）は第３段階で、相関演算領域の大きさ
が初期段階の1/16ときの代表点配置である。それぞれの
代表点配置は相似形であり、相関演算領域の面積は、そ
れぞれ1/4の関係にある。その初期段階において相関演
算領域の大きさは、入力される画像の大きさの1/16とす
る。

各演算領域で相関値の演算を行った場合、入力される
画像の条件により相関値の状態が変化する。この状態を
第５図に示す。縦軸は相関値であり、横軸は相関演算を
行うときの偏移であり、（２）式とｉとｊに対応する。
第５図においてａで示したものは、相関値の谷が鋭く現
われており、相関値のいちばん小さい点が左右画像の対
応点である。この場合、相関演算領域内で、左右画像が
非常に良く対応している場合の例である。次にｂで示し
たものは、相関演算領域内に位置がずれて対応している
部分がある場合である。この場合、小さい谷が２個（一
般には複数個）でき、また谷の最小値がａの場合に比べ
て大きくなる。またｃで示したものは、左右の画像内に
信号の変化がほとんど無く、相関値の十分な谷が出来
ず、また偏移に対する相関値の変化が小さくなる。この
ような場合左右画像の正しい対応は求めることが出来な
い。

相関演算領域が初期段階において、ａの場合は十分な
対応がとれており、相関演算領域の変更は必要ない。ｃ
の場合は入力された左右画像の相関演算領域内に十分な
信号の変化が無いため、これ以上の対応は演算出来ず、
演算領域の変更は行われない。ｂの場合には相関演算領
域内に、信号の変化があるがその領域の分割が適切でな
いため、鋭い相関の谷が得られていないものである。し
たがってｂの場合には相関演算領域を、再分割し相関演
算を再計算する。相関演算領域の再分割方法は第４図に
示すように４等分（1/4）する。

以上のようにして相関演算領域の分割を行いながら、
対応点を調べ全ての相関演算領域において、ｂの状態が
無くなるまで行う。第６図に相関演算領域の変更方法を
整理して示す。ここで相関平均値は、相関値を偏移にお
いて積算平均したものである。第６図において、Ｃの演
算領域の拡大は、初期段階を相関演算領域が最大のもの
から始めた場合、相関演算領域の更なる拡大変更は行わ
ない。またＣの状態は、入力された画像には相関が識別
出来る程度の、信号変化が無い条件を示しているもので
あり、この場合は後述するように左右上下の視差量によ
り補完を行う領域とする。またＤで示した分類は、要素
の組合せとして存在するが、実際の状態としては存在し
ない。またＢで示した状態は、視点の違いによりある物
体が前の物体後ろに入り、見えなくなった状態（オクル
ージョン）を示すものである。Ａで示した状態では、領
域は固定したままとする。以上の制御を演算領域決定器
４で行う。

決定された相関演算領域に対して、相関値のノイズに
よる対応点の誤りが少なくなるよう、相関演算領域の大
きさに対応してフィルター２の帯域を制御する。以上の
ようにしてステレオペアの画像を用いて、実際の画像を
相関演算領域に分離した例を第７図に示す。第７図
（ａ），（ｂ）は左画像と右画像と、初期段階の相関演
算領域の分割を示す。D1、D2、Ｄ′１、Ｄ′２は画像の
中心から木と人が、どれだけ離れているかを示すもので
ある。同図（ｃ），（ｄ）は、木のある相関演算領域の
分割を進め、初期段階から更に３回分割を行い、第４段
階までの分割を示したものである。この例では左画像を
代表点メモリ21に記録して相関演算の基準としている。
右画像はこの左画像に対応した相関の強いエリアを示し
たものである。図中において網掛けをした領域は、相関
の平均値が高くまた最小値が十分小さく、第６図におけ
るＡの状態で左右の画像の対応が正しくとれた事を示す
ものである。また斜線の領域は相関の平均値は高いが、
最小値は網掛けの部分より少し大きいもので、左右の画
像の対応が一応正しくとれた事を示すものであるを示
す。何も示していない部分は相関値の最小値が大きく、
第６図のＢの状態である。一般的にこの状態は被写体の
後ろに目標が隠れた場合であり、オクルージョンが発生
している状態であり、この部分の状態では左右画像の正
しい対応がとれない部分である。また丸印を付けたとこ
ろは、第４段階の分割の位置を左右にずらすことによ
り、左右画像の対応がとれる可能性がある部分である。
このように分割状態が最小の場合で且つ第６図の状態で
あれば、分割した領域の位置を左右上下に移動させて相
関の計算をもう一度行ってみる。分割した領域の位置を
移動することにより、オクルージョンの状態から抜け出
し、正しい対応関係が求まる場合が多い。

以上のようにして左右のステレオペアの画像間で対応
部分が求められる。ステレオペアの画像間で対応部分を
求めた後、更に相関演算単位以下の対応を次のようにし
て求める。

第８図は相関演算単位以下の対応を求める原理を示し
たもので、Ｍで示した相関値の仮想の最小点の偏移Siを
次式により求める。

Si＝ｉ＋（ａ−ｂ）／（２＊｛ma×（a,b）−ｃ｝） ‥（３） このようにして相関演算単位である単位偏移量以下ま
での対応を求め、データの精度の改善を行った後、視差
に変換する。視差Δへの変換は、撮像素子上での相関演
算を行う単位距離をDO、ステレオペア画像間での対応点
間の間隔（単位は相関演算間隔）をDsとしたき以下のよ
うになる。

Δ＝DO＊Ds ‥（４） 以上のように左右画像の各部分における視差を（４）
式で求める。この処理は視差演算器５で行う。視差を求
めた後で奥行き（距離）情報に変換する。変換方法は第
９図に示す配置としたとき、距離情報Ｚは（５）式より
求める。

Ｚ＝2a＊f/Δ ‥（５） Δ＝（ΔＬ＋ΔＲ） ‥（６） ここで、2aは２つの光学系の距離であり、ｆは光学系
の焦点距離であり、ΔＬ、ΔＲは光学像に対応点間の中
心からの距離である。このようにして左右画像の対応関
係から視差Δを求め、（５）式の関係より奥行き情報Ｚ
を求める。

更に左右の対応関係が明らかでない第６図Ｃの条件の
部分では、その周囲の対応関係が明かなブロックより奥
行き情報を求める。Ｃの条件は画像の変化が殆ど無い条
件であり、奥行きも当然なめらかに変化している。従っ
てこのような条件の場合奥行き情報は周囲からの補間で
ほぼ正しく求まる。また左右の対応関係が明かでない第
６図Ｂの条件の場合、オクルージョンが発生し、前方に
ある物体のために後方の物体が隠されている条件であ
る。従ってＺの大きな値のブロックより奥行き情報を外
挿する。一般に画像のエッジ部分が画像の奥行き情報が
変化する部分であるので、奥行き情報の外挿は画像のエ
ッジ部分までとする。このようにする事により、オクル
ージョンによて左右の対応関係が求まらない領域におい
ても、奥行きを推定することが可能となる。以上の処理
を奥行きデータ演算器６で行う。

以上のように本実施例によれば、複数の視点より被写
体を撮像した複数の画像の相関を演算する相関演算器
と、画像の相関演算を行う画像の領域を決定する領域決
定器と、相関演算結果より視差を求める視差演算器と、
視差より奥行き方向のデータを演算する奥行きデータ演
算器とを設けることにより、相関演算結果を領域決定器
により判定し、相関値が十分でない場合には、相関演算
を行う領域の大きさや、位置を変更することにより、オ
クルージョンが発生している場合においても正しく相関
演算が行われる領域を決定して、相関値を計算し正しい
奥行きを求めるものである。

また画像信号に変化がなく十分な相関演算結果が得ら
れない場合や、オクルージョンで物体が隠されている場
合には、周囲の相関演算結果をもとに奥行き情報を、内
挿及び外挿して奥行き情報を推定することを可能として
いる。

以上説明したように、本実施例によれば、相関演算結
果を領域決定器により判定し、相関値が十分でない場合
には、相関演算を行う領域の大きさや、位置を変更する
ことにより、正しく相関演算が行われる領域を決定し
て、相関値を計算できるため、ステレオペア画像間の対
応関係が正しく求まり、正しく奥行きを求めることがで
きる。また、相関演算を行う前に、演算領域の大きさに
対応して画像信号の帯域を制限することにより、演算効
率を改善し画像間の相関演算量を低減できるものであ
る。

次に本発明の第２の実施例として、相関をとる画像が
３枚以上に増加した場合を示す。

第10図はその本発明の第２の実施例を示す３次元デー
タ獲得装置の構成図である。同図において、13は複数の
画像を記憶する画像メモリ、２は画像信号の帯域を制限
するフィルタ、３は２つの信号の相関を演算する相関演
算器、４は相関演算結果をもとに相関演算の領域を決定
する演算領域決定器、５は相関演算結果より視差を計算
する視差演算器、６は視差から奥行きを計算する奥行き
データ演算器、11は複数の奥行きデータを合成する奥行
きデータ合成器、12は奥行きデータ合成時の重みを決定
する重み決定器である。第１図の構成と異なるのは13の
複数の画像を記録する画像メモリ、11の複数の奥行きデ
ータを合成する奥行きデータ合成器及び12の奥行きデー
タ合成時の重みを決定する重み決定器を設け、各ステレ
オペアから得られた奥行きデータを再合成する点であ
る。

前記のように合成された第２の実施例の奥行きデータ
獲得装置について、以下その動作を説明するとともに、
本発明にかかる３次元データ獲得方法に付いても説明す
る。

入力された３枚以上の画像は一旦画像メモリ13に記録
される。各２枚のステレオペア画像に対して、第１の実
施例と同様に奥行きデータを求める。奥行きデータとと
もに、相関演算器３より求められた相関値を基に、奥行
きデータを再合成するための重みデータを重み決定器12
で求める。

重みの決定方法を第11図に示す。相関値の最小値が小
さく、相関平均値が大きいときは、重みを大きくする。
この条件から遠ざかるにしたがい、重みを小さくする。
この重みは相関演算の条件の良い部分から得られる奥行
きデータに大きな重みを付け、奥行きデータの信頼性を
改善する。このようにして重みを求め、奥行きデータ合
成基11により、演算された各奥行きデータにたいして重
み付き平均を求め、最終の奥行きデータとする。

以上のように、本実施例によれば、複数の奥行きデー
タを合成する奥行きデータ合成器11、及び奥行きデータ
合成時の重みを決定する重み決定器12を設けることによ
り、奥行きデータの信頼性を改善することが可能とな
る。

なお本発明の上記実施例においては、相関値を求める
ブロックの大きさに対応して帯域制限を行っているが、
これは少ない演算量で効率よく正しい動きベクトルを演
算するために必要となるものである。従って動きベクト
ルを演算する効率が問題とならないときは、そのような
帯域制限の必要はない。

また本発明の上記実施例は、専用の演算器を用いた構
成を示したが、汎用のコンピューターを用いてソフトウ
エア的に演算を実現したり、専用のCPUを用いたファー
ムウエアで実現しても良いことは当然である。また本発
明の各演算器を、１チップマイコンで実現しても良いの
も当然である。

発明の効果 以上説明したように、本発明によれば、相関演算結果
を領域決定器により判定し、相関値が十分でない場合に
は、相関演算を行う領域の大きさや位置を変更すること
により、正しく相関演算が行われる領域を決定して、相
関値を計算できるため、ステレオペア画像間の対応関係
が正しく求まり、正しい奥行きを求めることができ、そ
の実用的効果は大きい。

【図面の簡単な説明】

第１図は本発明における一実施例の３次元データ獲得装
置のブロック図、第２図は同実施例のフィルターの構成
を示すブロック図、第３図は同実施例の相関演算器の構
成を示すブロック図、第４図は同実施例の相関実施例の
代表点の配置を示す構成図、第５図は同実施例の相関値
の変化を示すグラフ、第６図は同実施例の相関演算の領
域を制御する条件を示す関係図、第７図は同実施例の画
像の対応関係を示す画像図、第８図は同実施例の画像の
対応関係を求める演算のグラフ、第９図は同実施例の奥
行きデータ演算の原理を示す構成図、第10図は本発明の
他の実施例の３次元データ獲得装置のブロック図、第11
図は同実施例の奥行きデータの重みの決定条件の関係図
である。 ３……相関演算器、４……演算領域決定器、５……視差
演算器、６……奥行きデータ演算器、12……重み決定
器、13……奥行きデータ合成器。

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】相関演算手段によって、複数の視点より被
   写体を撮像した複数の画像の相関を演算する相関演算工
   程と、領域決定手段によって、その画像の相関演算を行
   う画像の領域を決定する領域決定工程と、視差演算手段
   によって、前記相関演算結果より視差を求める視差演算
   工程と、奥行きデータ演算手段によって、その視差より
   奥行き方向のデータを演算する奥行きデータ演算工程と
   を備え、前記領域決定工程では、相関値の最低値、偏移
   に対する相関値の傾き、相関値の平均に応じて相関演算
   を行う領域を決定することを特徴とする３次元データ獲
   得方法。
2. 【請求項２】相関演算に入力される画像の帯域を制限
   し、領域決定工程の結果に応じて前記帯域制限の帯域を
   変化さすことを特徴とする請求項１記載の３次元データ
   獲得方法。
3. 【請求項３】重み決定手段によって、相関演算工程より
   求めた相関演算値より奥行きデータの重みを決定する重
   み決定工程と、奥行きデータ合成手段によって、その重
   みにより奥行きデータを合成する奥行きデータ合成工程
   を備えたことを特徴とする請求項１又は２記載の３次元
   データ獲得方法。
4. 【請求項４】複数の２次元撮像手段と、その２次元撮像
   手段を用い、複数の視点より被写体を撮像した複数の画
   像の相関を演算する相関演算手段と、その画像の相関演
   算を行う画像の領域を決定する領域決定手段と、前記相
   関演算結果より視差を求める視差演算手段と、その視差
   より奥行き方向のデータを演算する奥行きデータ演算手
   段とを備え、前記領域決定手段は、相関値の最低値、偏
   移に対する相関値の傾き、相関値の平均に応じて相関演
   算を行う領域を決定することを特徴とする３次元データ
   獲得装置。
5. 【請求項５】相関演算手段に入力される画像の帯域を制
   限するフィルターを備え、前記領域決定手段の出力に応
   じて前記フィルターの帯域を変化さすことを特徴とする
   請求項４記載の３次元データ獲得装置。
6. 【請求項６】相関演算手段の相関値を基に奥行きデータ
   の重みを決定する重み決定手段と、その重みに従って奥
   行きデータを合成する奥行きデータ合成手段を備えたこ
   とを特徴とする請求項４又は５記載の３次元データ獲得
   装置。