JPH04329481A - ３次元データ獲得方法及び３次元データ獲得装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像演算処理を用い、複
数の２次元画像から奥行きデータを得る３次元データ獲
得方法、及び３次元データ撮像装置に関するものである
。

【０００２】

【従来の技術】従来の奥行き検出処理方法としては、例
えば「航空写真図形の処理」（第４回画像工学コンファ
レンスｐｐ２９−３２）等に開示されている技術が知ら
れている。しかしながらこれらの方法では、画像の相関
は視差の大きさを考慮せず、すなわち、視差の大きさを
無視してそのまま相関演算を行う一定の範囲を決定し、
相関演算を行う画像には特別な処理を施さずに相関演算
を行っている。

【０００３】

【発明が解決しようとする課題】従って画像に濃淡が有
る場合においても、視差が大きくステレオペア間の画像
に変形がある場合には、相関演算が正しく行えず、正し
い奥行きが求まらないという課題が有った。また相関演
算量が莫大になるという課題もあった。

【０００４】本発明はかかる従来の装置の課題に鑑み、
視差が大きい場合には、相関をとる範囲内で、互いの画
像の変形を修正し、または画像の変形に応じて相関演算
領域を変形し、正しく相関演算を行ない、正しい奥行き
を求められるようにし、更に相関演算量を低減する、３
次元データ獲得方法、及び３次元データ撮像装置を提供
することを目的とする。

【０００５】

【課題を解決する手段】本発明は、複数の視点より被写
体を撮像した複数の画像の画像に対し、相関演算により
視差を求め、この視差の大きさに応じてその相関演算を
行う画像の修正を行う画像修正手段、または相関演算を
行う代表点の位置を修正して相関演算を行う相関演算手
段と、画像の相関演算を行う画像の領域を決定する領域
決定手段と、相関演算結果より視差を求める視差演算手
段と、視差より奥行き方向のデータを演算する奥行きデ
ータ演算手段とを備えたものである。

【０００６】

【作用】本発明は、前記した構成により、複数の視点よ
り被写体を撮像した複数の画像を修正し、複数の画像の
相関を演算し、画像の相関演算を行う画像の領域を決定
し、前記相関演算結果より視差を求め、その視差より奥
行き方向のデータを演算するに際し、得られた視差が大
きいとき、相関演算を行う１つのペアの画像の修正また
は相関演算の代表点位置の修正を行ない、相関値の最低
値及び相関値の平均に応じて相関演算を行う領域を決定
するので、視差が大きくステレオペア間の画像に変形が
あった場合においても、相関演算を行う画像または相関
演算位置を修正し、正しい相関演算が行えるようにし、
相関値を正しく計算し正しい奥行きを求める。

【０００７】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【０００８】図１は本発明の第１の実施例における３次
元データ獲得装置を模式的に示した構成図である。図１
において、１は画像を一旦蓄える画像メモリ、２はそれ
ら画像信号の帯域を制限するフィルタ、７は画像の変形
を修正するする画像修正器、３はそれら２つの信号の相
関を演算する相関演算器、５はその相関演算結果より視
差を計算する視差演算器、４はその相関演算結果及び視
差演算結果等に基づいて、上記帯域制限領域、相関演算
の領域、画像の修正、代表点修正等を決定する演算領域
決定器、６は上記視差から奥行きを計算する奥行きデー
タ演算器である。

【０００９】以上のように構成された、本実施例の３次
元データ獲得装置について、以下その動作を説明する。

【００１０】入力されたステレオペアの画像信号を画像
メモリ１に蓄積し、相関演算を行う前に、相関演算の領
域の広さに応じて帯域制限をフィルター２により行う。 領域が広い場合には帯域制限は十分に行い、領域が狭い
場合には帯域制限は少なくし、相関演算量を低減する。

【００１１】フィルター２の構成を、図２に示す。同図
１１から１４は独立したフィルター要素で、１５は切り
替えスイッチである。各フィルター要素の帯域は、フィ
ルターａ１１＞フィルターｂ１２＞フィルターｃ１３＞
フィルターｄ１４−−（１）として全てのフィルター要
素を通過した信号は最も帯域が制限されたものとなるよ
うに構成する。フィルターの帯域は、相関演算を行う代
表点の間隔にほぼ反比例するように構成する。帯域の切
り替えは、演算領域決定器４により定められる。

【００１２】フィルター２により帯域制限された画像信
号を、画像修正器７を経由して相関演算器５により、相
関の最も強い場所を求める。画像修正器７は後述する視
差演算器５の結果を基に画像の変形修正を行うため、初
めて画像の相関演算を行うときは、画像の変形修正は行
わない。

【００１３】次に相関演算器３の構成を図３に示す。同
図において２１は代表点メモリ、２２は差分絶対値演算
器、２３は累積加算器、２４は相関値メモリ、２５は代
表点選択及び修正器、２６は累積加算器２３と相関値メ
モリ２４の制御器である。相関演算器３の演算はＰ（ｉ
，ｊ）＝Σｋ｜Ｓｒ（Ｘｋ，Ｙｋ）−Ｓｌ（Ｘｋ＋ｉ，
Ｙｋ＋ｊ）｜−−（２）を行う。（Ｘｋ，Ｙｋ）は代表
点メモリ２１が記憶する信号の位置を示し、ｋは代表点
の番号である。またｉとｊは相関演算を行う範囲を示し
、Ｐ（ｉ，ｊ）の最小になる点（ｉ，ｊ）が相関の最も
強い点となる。ＳｒとＳｌはステレオペアの画像信号の
右と左の信号を示す。この演算は図３において、帯域制
限された２つの画像信号１、２（視角の異なるステレオ
ペアの画像信号）が入力され、右の画像信号を代表点メ
モリ２１に記憶して、数式（２）に示した差分絶対値と
累積加算の演算を、差分絶対値器２２と累積加算器２３
で行い、得られた相関値Ｐ（ｉ，ｊ）を相関値メモリ２
４に蓄積し、最小値とその位置を示すデータ（ｉ，ｊ）
を出力する。制御器２６は、演算領域決定器４の出力に
対応して数式（２）の演算が正しく行われるように、累
積加算器２３と相関値メモリ２４を制御する。また代表
点選択器２５は相関演算領域の大きさに応じて使用する
代表点を決定し、代表点メモリ２１を制御する。また後
述する視差に応じて代表点配置を変形する。相関演算領
域の大きさと、代表点配置の関係を図４に示す。

【００１４】図４（ａ）は初期段階で、相関演算領域の
大きさが最大のときの代表点配置であり、（ｂ）は第２
段階で、相関演算領域の大きさが初期段階の１／４とき
の代表点配置であり、（ｃ）は第３段階で、相関演算領
域の大きさが初期段階の１／１６ときの代表点配置であ
る。それぞれの代表点配置は相似形であり、相関演算領
域の面積はそれぞれ１／４の関係にある。初期段階にお
いて相関演算領域の大きさは入力される画像の大きさの
１／１６とする。

【００１５】相関の各演算領域で相関値の演算を行った
場合、入力される画像の条件により相関値の状態が変化
する。この状態を図５に示す。縦軸は相関値であり、横
軸は相関演算を行うときの偏移であり、数式（２）のｉ
とｊに対応する。図５においてａで示したものは、相関
値の谷が鋭く現われており、相関値のいちばん小さい点
が左右画像の対応点である。この場合相関演算領域内で
、左右画像が非常に良く対応している場合の例である。 次にｂで示したものは、相関演算領域内に位置がずれて
対応している部分がある場合、または画像に変形がある
場合である。この場合、小さい谷が複数個でき、また谷
の最小値がａの場合に比べて大きくなる。またｃで示し
たものは、左右の画像内に信号の変化がほとんど無く、
相関値の十分な谷が出来ず、また偏移に対する相関値の
変化が小さくなる。このような場合左右画像の正しい対
応は求めることが出来ない。

【００１６】相関演算領域が初期段階において、ａの場
合は十分な対応がとれており、相関演算領域の変更は必
要ない。ｃの場合は入力された左右画像の相関演算領域
内に十分な信号の変化が無いため、これ以上の対応は演
算出来ず、演算領域の変更は行わない。ｂの場合には相
関演算領域内に、信号の変化があるがその領域の分割が
適切でない、または視差が大きく相関演算を行っている
画像間で変形が大きく、正しい相関値が得られていない
状態であるため、鋭い相関の谷が得られていないもので
ある。したがってｂの場合で、相関の谷が視差の大きい
方向をしめしている場合には、相関演算を行っている画
像または相関演算領域（代表点の演算位置）を変形する
。

【００１７】視差が大きい場合の画像の変形例を、図６
に示す。同図（ａ）は（ｂ）に示す立方体を左側に寄っ
て撮像した画像である。同図（ｃ）は（ｂ）に示す立方
体を右側に寄って撮像した画像である。１つの対応画像
（ステレオペア画像）で左側から撮像した画像であれば
、左側が拡大され右側が縮小されているため、左側を縮
小し右側を拡大する修正を行う。これらの変形した画像
の修正する方向を図７に示す。

【００１８】図８を用いて画像の修正を行い、画像の相
関演算を行う手順を示す。同図（ａ）、（ｂ）が１組の
ステレオペア画像である。（ａ）の左側画像で（ｂ）の
右側画像と相関演算を行った場合、画像の変形が有り、
十分正確な相関が得られない。そこで図７に示した画像
の修正の方向に従って画像を修正する。図８（ｃ）に左
側画像の修正した結果を示す。この（ｃ）の修正した左
側画像と（ｂ）の右側画像の相関演算を行う。以上の画
像の修正は視差演算器５の視差の大きさにより、演算領
域決定器４の判定を基に、画像修正器７で行う。以上の
ようにステレオペア間の画像で視差が大きい場合でも、
十分正しい相関演算が行える。

【００１９】以上に、視差が大きい場合の相関演算方法
における修正を、画像の修正を行う方法で示したが、も
う１つの方法として、代表点の配置の方を修正する方法
も実現できる。たとえば左側の画像データが代表点に取
り込まれる場合、左側画像が拡大され右側画像が縮小さ
れているため、代表点のデータをとる位置を左側では拡
大し右側では縮小した位置に配置し、データを取り込み
右側の画像と相関演算を行う。図９に代表点の修正の方
向を示す。代表点の位置の修正方向は画像の修正方向と
は逆方向になる。図９（ａ）は左側画像が代表点のデー
タとして取り込まれる場合の修正方向である。同図（ｂ
）は右側画像が代表点のデータとして取り込まれる場合
の修正方向である。代表点の修正の１例を同図（ｃ）に
示す。（ｃ）の代表点の配置は、同図（ａ）のＡの位置
に代表点があった場合の例である。ここでは１つのステ
レオペア画像で、左側の画像が代表点のデータになるも
のとして示したが、もし右側の画像が代表点のデータと
なる場合、上記説明の左右を逆にすれば良い。 このようにして視差が大きい場合の相関演算を行い、正
しい相関演算を行う。

【００２０】以上のように視差が大きくステレオペアの
画像に変形がある場合においても、画像又は代表点の修
正により十分正しい相関演算が行われ、視差演算器５及
び奥行きデータ演算器６により、正確な奥行きデータが
得られる。

【００２１】次に相関値の谷の部分の最小値のレベルが
小さくなく、図５に示すｂの場合で、相関値の谷が視差
の小さい方向を示している場合、相関演算領域を再分割
し相関演算を再計算する。相関演算領域の再分割方法は
、図４に示すように４等分する。

【００２２】以上のようにして、相関演算領域の分割、
及び相関演算領域の画像の修正または代表点の位置を修
正しながら相関値を調べ、全ての相関演算領域において
、ｂの状態が無くなるまで行う。図１０に相関演算領域
の変更方法、及び相関演算領域の画像の修正または代表
点の位置の修正する条件を整理して示す。ここで相関平
均値は、相関値を偏移において積算平均したものである
。図１０において、ｃ：の演算領域の拡大は、初期段階
を相関演算領域が最大のものから始めた場合、相関演算
領域の更なる拡大変更は行わない。またｃ：の状態は、
入力された画像には相関が識別出来る程度の、信号変化
が無い条件を示しているものであり、この場合は後述す
るように左右上下の視差量により補完を行う領域とする
。またｂ：で示した状態は、視差が一定以上ある状態か
、視点の違いによりある物体が前の物体後ろに入り、見
えなくなった状態（オクルージョン）を示すものである
。以上の制御を演算領域決定器４で行う。

【００２３】このように演算領域決定器４で決定された
相関演算領域に対して、相関値のノイズによる対応点の
誤りが少なくなるよう、相関演算領域の大きさに対応し
て、上記フィルター２の帯域を制御する。以上のように
してステレオペアの画像を用いて、実際の画像を相関演
算領域に分離した例（視差による画像の修正は含まない
例）を図１１に示す。

【００２４】図１１（ａ）、（ｂ）は左画像、右画像と
、初期段階の相関演算領域の分割を示す。Ｄ１、Ｄ２、
Ｄ’１、Ｄ’２は画像の中心から木と人が、どれだけ離
れているかを示すものである。同図（ｃ）、（ｄ）は木
のある相関演算領域の分割を進め、初期段階から更に３
回分割を行い、第４段階までの分割を示したものである
。この例では左画像を代表点メモリ２１に記録して相関
演算の基準としている。右画像はこの左画像に対応した
相関の強いエリアを示したものである。図中において網
掛けをした領域は、相関の平均値が高くまた最小値が十
分小さく、図１０におけるａ：の状態で左右の画像の対
応が正しくとれた事を示すものである。また斜線の領域
は相関の平均値は高いが、最小値は網掛けの部分よりも
少し大きいもので、左右の画像の対応が一応正しくとれ
た事を示すものであるを示す。何も示していない部分は
相関値の最小値が大きい状態である。一般的にこの状態
は被写体の後ろに目標が隠れた場合であり、オクルージ
ョンが発生している状態であり、この分割の状態では左
右画像の正しい対応がとれない部分である。また丸印を
付けたところは、第４段階の分割の位置を左右にずらす
ことにより、左右画像の対応がとれる可能性がある部分
である。このように分割状態が最小の場合で且つ図１０
ｂ：の状態であれば、分割した領域の位置を左右上下に
移動させて相関の計算をもう一度行ってみる。分割した
領域の位置を移動することにより、オクルージョンの状
態から抜け出し、正しい対応関係が求まる場合が多い。

【００２５】以上のようにして左右のステレオペアの画
像間で対応部分が求められる。ステレオペアの画像間で
対応部分を求めた後、更に相関演算単位以下の対応を次
のようにして求める。図１２は相関演算単位以下の対応
を求める原理を示したもので、Ｍで示した相関値の仮想
の最小点の偏移Ｓｉを次式により求める。 　　　　　　Ｓｉ＝ｉ＋（ａ−ｂ）／｛２×（ｍａｘ（
ａ，ｂ）−ｃ）｝　　−−（３）このようにして相関演
算単位である単位偏移量以下までの対応を求め、データ
の精度の改善を行なった後、視差に変換する。視差△へ
の変換は、撮像素子上での相関演算を行う単位距離をＤ
０、ステレオペア画像間での対応点間の間隔（単位は相
関演算間隔）をＤｓとしたとき以下のようになる。 　　　　　　　　　　　　△　　＝　　Ｄ０＊Ｄｓ　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　−−（４）以上のように左右画像の各部分における視
差を数式（４）で求める。この処理は視差演算器５で行
う。視差を求めた後で奥行き（距離）情報に変換する。 変換方法は図１３に示す配置としたとき、距離情報Ｚは
数式（５）により求める。 　　　　　　　　　　　　Ｚ　　＝　　２ａ＊ｆ　　／
　　△　　　　　　　　　　　　　　　　　　　　　　
−−（５）　　　　　　　　　　　　△　　＝　　（△
Ｌ＋△Ｒ）　　　　　　　　　　　　　　　　　　　　
　　　　−−（６）ここで２ａは２つの光学系の距離で
あり、ｆは光学系の焦点距離であり、△Ｌ、△Ｒは光学
像の対応点間の中心からの距離である。このようにして
左右画像の対応関係から視差△を求め、数式（５）の関
係より奥行き情報Ｚを求める。

【００２６】更に左右の対応関係が明かでない図１０ｃ
：の条件の部分では、その周囲の対応関係が明かなブロ
ックより奥行き情報を求める。ｃ：の条件は画像の変化
が殆ど無い条件であり、奥行きも当然なめらかに変化し
ている。従ってこのような条件の場合奥行き情報は周囲
からの補間でほぼ正しく求まる。また左右の対応関係が
十分明かでない図６ｂ：の条件の場合、視差が大きく画
像が変形している場合か、オクルージョンが発生し、前
方にある物体のために後方の物体が隠されている条件で
ある。従ってＺの大きな値のブロックより奥行き情報を
外挿する。一般に画像のエッジ部分が画像の奥行き情報
が変化する部分であるので、奥行き情報の外挿は画像の
エッジ部分までとする。このようにする事により、オク
ルージョンにより左右の対応関係が求まらない領域にお
いても、奥行きを推定することが可能となる。以上の処
理を奥行きデータ演算器６で行う。

【００２７】以上の処理により、相関演算結果及び視差
演算結果を領域決定器により判定し、相関値が十分小さ
くなく視差が大きい方向を示しているときは、相関演算
を行っている画像の変形修正行い、または相関演算を行
う代表点の位置を変形し相関演算を行い、また相関値が
十分小さくなく視差が小さい方向を示しているときは、
相関演算を行う領域の大きさや、位置を変更する。以上
の処理により、正しく相関演算が行われる領域を決定し
て、相関値を計算できるため、画角の異なりにより画像
が変形している場合においても、ステレオペア画像間の
対応関係が正しく求まり、正しい奥行きを求めることが
できる。また相関演算を行う前に、演算領域の大きさに
対応して画像信号の帯域を制限することにより、演算効
率を改善し画像間の相関演算量を低減できるものである
。また、画像信号に変化がなく十分な相関演算結果が得
られない場合や、オクルージョンで物体が隠されている
場合には、周囲の相関演算結果をもとに奥行き情報を、
内挿及び外挿して奥行き情報を推定することを可能とし
ている。

【００２８】次に本発明の第２の実施例として、相関を
とる画像が３枚以上に増加した場合を示す。図１４は本
発明の第２の実施例を示す３次元データ獲得装置の構成
図である。同図において１３は複数の画像を記録する画
像メモリ、２は画像信号の帯域を制限するフィルタ、７
は画像の修正を行う画像修正器、３は２つの信号の相関
を演算する相関演算器、４は相関演算結果をもとに相関
演算の領域を決定する演算領域決定器、５は相関演算結
果より視差を計算する視差演算器、６は視差から奥行き
を計算する奥行きデータ演算器、１１は複数の奥行きデ
ータを合成する奥行きデータ合成器、１２は奥行きデー
タ合成時の重みを決定する重み決定器である。図１の構
成と異なるのは複数の画像を記録する画像メモリ１３、
複数の奥行きデータを合成する奥行きデータ合成器１１
及び奥行きデータ合成時の重みを決定する重み決定器１
２を設け、各ステレオペアから得られた奥行きデータを
再合成する点である。

【００２９】前記のように合成された第２の実施例の奥
行きデータ獲得装置について、以下その動作を説明する
。

【００３０】入力された３枚以上の画像は一旦画像メモ
リ１３に記録される。各２枚のステレオペア画像に対し
て、第１の実施例と同様に奥行きデータを求める。奥行
きデータとともに、相関演算器３より求められた相関値
を基に、奥行きデータを再合成するための重みデータを
重み決定器１２で求める。重みの決定方法を図１５に示
す。相関値の最小値が小さく、相関平均値が大きいとき
は、重みを大きくする。この条件から遠ざかるにしたが
い、重みを小さくする。この重みは相関演算の条件の良
い部分から得られた奥行きデータに大きな重みを付け、
奥行きデータの信頼性を改善する。このようにして重み
を求め、奥行きデータ合成器１１により、演算された各
奥行きデータにたいして重み付き平均を求め、最終の奥
行きデータとする。

【００３１】以上のように、本実施例によれば、複数の
奥行きデータを合成する奥行きデータ合成器１１、及び
奥行きデータ合成時の重みを決定する重み決定器１２を
設けることにより、奥行きデータの信頼性を改善するこ
とが可能となる。重みは図１５の値に限る必要はない。 また複数の奥行きデータを合成する奥行きデータ合成器
１１は、重みつき平均に限る必要はなく、得られた複数
の奥行きの中間値を選択する、メディアンフィルターに
より奥行きデータを合成しても良い。

【００３２】なお本発明の実施例において、相関値を求
めるブロックの大きさに対応して帯域制限を行っている
が、これは少ない演算量で効率よく正しい動きベクトル
を演算するために必要となるものである。従って動きベ
クトルを演算する効率が問題とならないときは、帯域制
限の必要はない。

【００３３】また本発明の第１の実施例は、画像の修正
は左側で撮像された画像について行ったが、これに限る
必要はなく、右側で撮像された画像でも良い。さらに左
右両方の画像をともに修正してもよい。この時修正量は
、片側だけの時の半分で良い。

【００３４】さらに本発明の実施例で示した画像の修正
の方向と大きさは、撮像部の光学系のｆ値や撮像部間の
距離や、撮像部のレンズ中心の向いている方向により異
なるものであり、本実施例はその１例である。従って修
正の方向と大きさは、本願発明の実施例のものだけでな
いのは当然で、修正の方向と大きさは、相関演算を行う
ステレオペア間の画像が、お互いの変形がなくなる方向
に行うものである。

【００３５】また本発明の実施例では、水平方向のステ
レオペアしか示していないが、垂直方向にも同様のこと
がいえる。

【００３６】また本発明の実施例は専用の演算器を用い
た構成で示したが、汎用のコンピューターを用いてソフ
トウエアで演算を実現したり、専用のＣＰＵを用いたフ
ァームウエアで実現しても良いことは当然である。また
本発明の各演算器を、１チップマイコンで実現しても良
いのは当然である。

【００３７】

【発明の効果】以上説明したように、本発明によれば、
正しく相関演算が行われる領域を決定して、相関値を計
算できる。従って画角の変化によりステレオペア画像間
で画像に変形があった場合においても、対応関係が正し
く求まり、正しい奥行きを求めることができ、その実用
的効果は大きい。

【図面の簡単な説明】

【図１】本発明における一実施例の３次元データ獲得装
置のブロック図である。

【図２】同実施例におけるフィルターの構成を示すブロ
ック図である。

【図３】同実施例における相関演算器の構成を示すブロ
ック図である。

【図４】同実施例における相関演算の代表点の配置を示
す図である。

【図５】同実施例における相関値の変化を示す図である
。

【図６】同実施例における画像修正の１例を示す図であ
る。

【図７】同実施例における変形画像の修正方向を示す図
である。

【図８】同実施例における画像の修正例を示す図である
。

【図９】同実施例の相関演算の代表点配置の修正方向を
示す図である。

【図１０】同実施例における画像の修正または代表点の
修正と相関演算の領域を制御する条件を示す図である。

【図１１】同実施例における画像の対応関係を示す図で
ある。

【図１２】同実施例における画像の対応関係を求める演
算の説明図である。

【図１３】同実施例における奥行きデータ演算の説明図
である。

【図１４】本発明の他の実施例の３次元データ獲得装置
のブロック図である。

【図１５】同実施例における奥行きデータの重みの決定
条件の説明図である。

【符号の説明】

３　　相関演算器 ４　　演算領域決定器 ５　　視差演算器 ６　　奥行きデータ演算器 ７　　画像修正器 １２　　重み決定器 １３　　奥行きデータ合成器

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数の視点より被写体を撮像した複数の画
   像を修正する画像修正工程と、複数の画像の相関を演算
   する相関演算工程と、領域決定手段によって、画像の相
   関演算を行う画像の領域を決定する領域決定工程と、視
   差演算手段によって、前記相関演算結果より視差を求め
   る視差演算工程と、奥行きデータ演算手段によって、そ
   の視差より奥行き方向のデータを演算する奥行きデータ
   演算工程を備え、前記画像修正工程又は相関演算工程で
   は、前記視差演算工程から得られた視差が大きいとき、
   相関演算を行う１つのペアの画像の修正または相関演算
   の代表点位置の修正を行ない、前記領域決定工程では相
   関値の最低値及び相関値の平均に応じて相関演算を行う
   領域を決定することを特徴とする３次元データ獲得方法
   。
2. 【請求項２】相関演算に入力される画像の帯域を制限す
   るにあたり、前記領域決定工程の結果に応じて前記帯域
   制限の帯域を変化さすことを特徴とする請求項１の３次
   元データ獲得方法。
3. 【請求項３】重み決定手段によって、相関演算工程より
   求めた相関演算値より奥行きデータの重みを決定する重
   み決定工程と、その重みにより前記奥行きデータを合成
   する奥行きデータ合成工程を備えたことを特徴とする請
   求項１または２の３次元データ獲得方法。
4. 【請求項４】複数の２次元撮像手段と、その２次元撮像
   手段の画像を修正する画像修正手段と、この画像修正手
   段より得られる、複数の視点より被写体を撮像した複数
   の画像の相関を演算する相関演算手段と、その画像の相
   関演算を行う画像の領域を決定する領域決定手段と、前
   記相関演算結果より視差を求める視差演算手段と、その
   視差より奥行き方向のデータを演算する奥行きデータ演
   算手段とを備え、前記画像修正手段又は相関演算手段は
   、前記視差演算結果が大きいとき、相関演算を行う１つ
   のペアの画像の修正させ、または相関演算の代表点位置
   の修正を行ない、前記領域決定手段は、相関値の最低値
   及び相関値の平均に応じて相関演算を行う領域を決定す
   ることを特徴とする３次元データ獲得装置。
5. 【請求項５】相関演算手段に入力される画像の帯域を制
   限するフィルターを備え、前記領域決定手段の出力に応
   じて前記フィルターの帯域を変化さすことを特徴とする
   請求項４の３次元データ獲得装置。
6. 【請求項６】相関演算手段の相関値を基に、奥行きデー
   タの重みを決定する重み決定手段と、その重みに従って
   奥行きデータを合成する奥行きデータ合成手段を備えた
   ことを特徴とする請求項４または５の３次元データ獲得
   装置。