JPH0634342A - ３次元画像入力装置 - Google Patents

Abstract

(57)【要約】 【目的】 左右の濃淡画像の対応点づけが容易で、対応
点探索時間が短く、距離精度の良い３次元画像入力装置
を提供する。 【構成】 複数眼２次元画像入力装置４０は、被写体の
画像を入力し、狭い光軸間隔の濃淡画像５１，５２を出
力すると共に、広い光軸間隔の濃淡画像５１，５３を出
力する。概略位相差検出装置６１は、濃淡画像５１，５
２から概略の位相差を検出し、概略距離画像を出力す
る。対応点探索範囲限定装置６３は、概略距離画像から
対応点の探索範囲を限定する。詳細位相差検出装置６４
では、限定された対応点検索範囲において、濃淡画像５
１，５３から詳細な位相差を検出し、詳細距離画像を出
力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の２次元画像から
被写体の位相差を検出して距離画像を得るステレオ画像
法を用いた３次元画像入力装置、特に位相差を検出する
対応点探索時間を短縮した３次元画像入力装置に関する
ものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。 文献１；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２ 文献２；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０ この文献２に記載されているように、３次元画像入力方
式には、受動的手法（パッシブ手法）と能動的手法（ア
クティブ手法）とがある。能動的手法とは、３次元情報
を取得するために、巧みに制御され、その形状パターン
や濃淡、スペクトル等に対し何等かの意味を持ったエネ
ルギー（光波、電波、音波等）を対象に照射する手法の
ことを指す。これに対して受動的手法とは、対象に対し
て通常の照明等は行うにしても、計測に関して意味のあ
るエネルギーを利用しない計測のことをいう。一般的に
いって、能動的手法の方が、受動的手法のものより計測
の信頼性が高くなる。受動的手法の代表的なものがステ
レオ画像法であり、それを図２に示す。

【０００３】図２は、前記文献２に記載された従来の３
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、２次元画像入力装置
である２台のカメラ１，２を所定距離離して配置し、左
右のカメラ１，２で撮られた被写体３の結像位置の差、
即ち位相差を利用し、三角測量法によって被写体３まで
の距離を計る方法である。図３は、図２のステレオ画像
法で得られた信号の濃淡画像と距離画像の２枚の画像の
説明図である。濃淡画像は、図２のカメラ１，２で得ら
れるカラーや白黒の画像である。距離画像は、３次元位
置に関する画像であり、マトリクスデータで一つ一つの
画素が対象物（被写体３）の奥行きに関する情報を持つ
ものである。このような濃淡画像と距離画像とから、偏
光フイルタを用いた両眼融合方式によって立体画像表示
を行ったり、レンチキュラ板を用いて立体画像表示を行
ったしている。立体画像表示の一例を図４に示す。

【０００４】図４は、前記文献１に記載された従来の３
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板１０
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。１個のレンズ板内にはａ，ｂ，
ｃ，…，ｆの部分に、それぞれａ₁ ，ｂ₁ ，ｃ₁ ，…，
ｆ₁ という多方向から撮像したストライプ状の多眼像１
１を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像１１は左右の眼１２，１３に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。このようにして濃淡画像と距離画像とから立体
画像を得るわけであるが、その際に、距離画像を例えば
図５のような装置で検出している。

【０００５】図５は、従来の３次元画像入力装置の一構
成例を示すブロック図である。この３次元画像入力装置
では、複数眼の２次元画像入力装置２０を備えている。
２次元画像入力装置２０は、例えば図２に示す単眼の左
カメラ１と単眼の右カメラ２とを備え、その左カメラ１
の画角中心０₁ を通る光軸Ｈ１と右カメラ２の画角中心
０₂ を通る光軸Ｈ２とが、所定間隔Ｌ₀ だけ離れて配置
されており、該左カメラ１によって左目の濃淡画像２１
が、該右カメラ２によって右目の濃淡画像２２が出力さ
れるようになっている。これらの濃淡画像２１，２２
は、位相差検出手段３０に入力される。位相差検出手段
３０は、特徴抽出手段３１，３２と、その出力側に接続
された対応点検索手段３３とで構成され、該対応点検索
手段３３から距離画像３４が出力されるようになってい
る。

【０００６】この種の３次元画像入力装置では、例えば
図２の被写体３が２次元画像入力装置２０に入力され、
該２次元画像入力装置２０から左目の濃淡画像２１と右
目の濃淡画像２２が出力される。位相差検出手段３０内
の特徴抽出手段３１，３２では、左右の濃淡画像２１，
２２から被写体３の特徴を抽出し、それを対応点検索手
段３３へ送る。対応点検索手段３３は、左右の濃淡画像
２１，２２の被写体３に対応する対応点検索を行い、そ
の左右の濃淡画像２１，２２の位相差を求め、距離画像
３４を作成し、それを出力する。

【０００７】図６は、図５の２次元画像入力装置２０を
用い、ステレオ画像法による距離の検出方法を示す模式
図である。左カメラ１の画角中心０₁ と右カメラ２の画
角中心０₂ とは所定間隔Ｌ₀ だけ離れて配置されてい
る。被写体３までの距離ｌは、左右のカメラ１，２が被
写体３を見る角度θ₁ ，θ₂ から、簡単な三角関数で
（１）式のように表現される。 ｌ（ｔａｎθ₂ −ｔａｎθ₁ ）＝Ｌ₀ 位相差Δ＝ｔａｎθ₂ −ｔａｎθ₁ ∴ｌ・Δ＝Ｌ₀ ・・・（１） ｔａｎθ₁ ，ｔａｎθ₂ は、同じ光学系（レンズ等）を
用いた場合、２次元画像入力装置２０内に設けられた光
／電変換機能を有する固体撮像素子の水平方向の画素番
号に対応するので、その差（ｔａｎθ₂ −ｔａｎθ₁ ）
は、それぞれのカメラ１，２で被写体３の結像している
画素番号の差、即ち位相差として表すことができる。こ
の関係を図７に示す。図７は、図５の３次元画像入力装
置における距離−位相差特性曲線例を示す図である。こ
の特性曲線は、カメラ１，２の最大画角５４°、カメラ
１，２の配置間隔Ｌ₀ が２０ｃｍ、固体撮像素子の有効
画素数５００個のときの例である。

【０００８】

【発明が解決しようとする課題】しかしながら、図５の
３次元画像入力装置では、次のような課題があった。図
８は、図５の３次元画像入力装置における対応点検索領
域を示す図である。従来の３次元画像入力装置では、対
応点の検索領域３５は、固体撮像素子全域にわたって検
索しないと、近距離の画像の位相差が検出できないの
で、検索時間がかかってしまうという問題がある。ま
た、位相差の大きい領域は、短い距離変化で大きな位相
差の変化をするので、左右のカメラ１，２での濃淡画像
２１，２２における被写体形状は相異が大きくなり、対
応点づけすることが困難なことが多く、技術的に十分満
足のゆく３次元画像入力装置を提供することができなか
った。本発明は、前記従来技術が持っていた課題とし
て、左右の濃淡画像からの位相差を検出するのに多くの
走査時間が必要になる、及び左右の濃淡画像での被写体
形状の相異が大きく、対応点づけが困難になるという点
について解決した３次元画像入力装置を提供するもので
ある。

【０００９】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、ステレオ画像法を用いた３次元画像
入力装置において、被写体の画像を入力して距離変化に
対する位相差変化の小さい濃淡画像の対の信号を出力す
る第１の２次元画像入力手段と、前記被写体の画像を入
力して距離変化に対する位相差変化の大きい濃淡画像の
対の信号を出力する第２の２次元画像入力手段と、前記
位相差変化の小さい濃淡画像の対から概略距離画像を作
成する概略距離画像作成手段と、詳細距離画像作成手段
とを、備えている。詳細距離画像作成手段は、前記概略
距離画像に対応する位相差変化の大きい濃淡画像領域を
指定し、その指定された濃淡画像領域内で対応点検索を
行なって詳細距離画像を作成する機能を有している。第
２の発明では、第１の発明の詳細距離画像作成手段を、
前記概略距離画像をある距離範囲毎に層別し、その層毎
に前記詳細距離画像を作成する構成にしている。

【００１０】第３の発明では、第１の発明の第１の２次
元画像入力手段を、配置間隔を狭くした２つの２次元画
像入力装置で構成し、前記第２の２次元画像入力手段
を、配置間隔を広くした２つの２次元画像入力手段で構
成している。第４の発明では、第３の発明の第１の２次
元画像入力手段における１つの２次元画像入力手段と、
第２の２次元画像入力手段における１つの２次元画像入
力装置とを、共有構造にしている。第５の発明では、第
３の発明の第１の２次元画像入力手段における１つの２
次元画像入力装置の光軸と、第２の２次元画像入力手段
における１つの２次元画像入力装置の光軸とを、一致さ
せた構成にしている。

【００１１】

【作用】第１〜第４の発明によれば、以上のように３次
元画像入力装置を構成したので、第１の２次元画像入力
手段は、被写体の画像を入力し、対応点づけのしやすい
狭い光軸間隔の例えば２枚の濃淡画像の信号を出力す
る。第２の２次元画像入力手段は、前記被写体の画像を
入力し、広い光軸間隔の例えば２枚の濃淡画像の信号を
出力する。概略距離画像作成手段は、狭い光軸間隔の２
枚の濃淡画像から、距離画像の概略値を検出し、詳細距
離画像作成手段へ送る。詳細距離画像作成手段では、概
略距離画像を利用して広い光軸間隔の２枚の濃淡画像か
ら詳細な距離画像を作成する。これにより、対応点づけ
が容易で、対応点検索時間が短く、距離精度の良い３次
元画像入力が行える。

【００１２】第５の発明によれば、第１の２次元画像入
力手段中の１つの２次元画像入力装置の光軸と、第２の
２次元画像入力手段中の１つの２次元画像入力装置の光
軸とが一致しているので、それらの２次元画像入力装置
から出力される濃淡画像を用いて、第１の発明と同様
に、概略距離画像を検出し、その概略距離画像を利用し
て詳細な距離画像の作成が行える。この際、概略距離画
像は変えずに、詳細距離画像の距離精度の向上が図れる
と共に、ぼけた濃淡画像も独立に取り扱って対応点探索
の容易化が図れる。従って、前記課題を解決できるので
ある。

【００１３】

【実施例】第１の実施例 図１は、本発明の第１の実施例を示す３次元画像入力装
置の構成ブロック図である。この３次元画像入力装置
は、被写体の画像を入力して濃淡画像の信号を出力する
複数眼２次元画像入力装置４０を備えている。複数眼２
次元画像入力装置４０は、光軸Ｈ４１を有する第１の２
次元画像入力装置４１と、光軸Ｈ４２を有する第２の２
次元画像入力装置４２と、光軸Ｈ４３を有する第３の２
次元画像入力装置４３とを備え、光軸Ｈ４１とＨ４２の
光軸間隔Ｌ₁ が狭く、光軸Ｈ４１とＨ４３の光軸間隔Ｌ
₂ が広く設定されている。第１，第２，第３の２次元画
像入力装置４１，４２，４３は、例えば単眼レンズ及び
固体撮像素子からなる２次元センサでそれぞれ構成さ
れ、該第１の２次元画像入力装置４１から左目の濃淡画
像５１が、第２の２次元画像入力装置４２から中目の濃
淡画像５２が、第３の２次元画像入力装置４３から右目
の濃淡画像５３がそれぞれ出力され、それらの濃淡画像
５１，５２，５３が半導体メモリ等に記憶されるように
なっている。

【００１４】光軸間隔Ｌ₁ とＬ₂ の比は、撮像の仕方に
より任意に決められる。また、各２次元画像入力装置４
１，４２，４３の光軸Ｈ４１，Ｈ４２，Ｈ４３は、水平
方向に対してその光軸中心が整合をとられており、視線
方向に対してそれぞれ平行になるように調整されてい
る。濃淡画像５１，５２は、概略距離画像作成手段に入
力される。概略距離画像作成手段は、光軸間隔Ｌ₁ の狭
い方の２つの濃淡画像５１，５２から位相差を検出する
概略位相差検出装置６１と、該概略位相差検出装置６１
での検出結果を距離画像として記憶しておく概略距離画
像記憶装置６２とで、構成されている。概略距離画像記
憶装置６２は、半導体メモリ等で構成されている。この
概略距離画像記憶装置６２では、位相差を距離に変換し
た後にその距離を記憶しても良いが、位相差のまま記憶
しておいた方が後の処理がしやすい。

【００１５】概略距離画像記憶装置６２の出力側には、
詳細距離画像作成手段が接続されている。詳細距離画像
作成手段は、対応点検索範囲限定装置６３、詳細位相差
検出装置６４、及び詳細距離画像記憶装置６５で構成さ
れている。対応点検索範囲限定装置６３は、種々の被写
体がとる概略距離値を距離毎に層別し、かつ各画素の距
離値より検索範囲を限定する機能を有し、その出力側に
詳細位相差検出装置６４が接続されている。詳細位相差
検出装置６４は、光軸間隔の広い方Ｌ₂ の２つの濃淡画
像５１，５３を、対応点検索範囲限定装置６３で指定さ
れた画素範囲内で検索し、詳細位相差を検出する機能を
有し、その出力側に詳細距離画像記憶装置６５が接続さ
れている。詳細距離画像記憶装置６５は、詳細位相差検
出装置６４で検出された位相差を距離値に変換して記憶
しておくもので、半導体メモリ等で構成されている。な
お、各２次元画像入力装置４１，４２，４３の光軸間隔
Ｌ₁ ，Ｌ₂ 、最大画角、及び固体撮像素子の画素数等
は、図示しない装置に記憶されており、概略位相差検出
時及び詳細位相差検出時に適宜使用されるようになって
いる。

【００１６】次に、動作を説明する。被写体の画像が複
数眼２次元画像入力装置４０に入力されると、その第
１，第２，第３の２次元画像入力装置４１，４２，４３
から、濃淡画像５１，５２，５３がそれぞれ出力され
る。概略位相差検出装置６１では、光軸間隔の狭い方Ｌ
₁の２つの濃淡画像５１，５２から、位相差を検出し、
その検出結果を概略距離画像記憶装置６２に記憶させ
る。対応点検索範囲限定装置６３は、概略距離画像記憶
装置６２の内容を入力し、種々の被写体がとる概略距離
値を距離毎に層別し、各画素の距離値より検索範囲を限
定し、その限定結果を詳細位相差検出装置６４へ送る。
詳細位相差検出装置６４では、光軸間隔の広い方Ｌ₂ の
２つの濃淡画像５１，５３を、対応点検索範囲限定装置
６３で限定された画素範囲内において検索し、詳細位相
差を検出する。この位相差は、距離値に変換して詳細距
離画像記憶装置６５に記憶される。

【００１７】図９は、図１の３次元画像入力装置におけ
る距離−位相差特性曲線例を示す図である。図９では横
軸に距離（ｍ）をとり、縦軸に位相差（画素数であるビ
ット数）がとられている。特性曲線７１は、画角５４°
で光軸間隔が１０ｃｍのときの曲線である。特性曲線７
２は、画角５４°で光軸間隔が２０ｃｍのときの曲線で
ある。ｌ₁ は特性曲線７１で求めたある被写体の点の概
略距離値の例である。Δｌ₁及びΔｌ₂ は、概略距離値
の距離測定精度である。一般的には、固体撮像素子は空
間量子化デバイスであるので、１画素の位相差ずれによ
る距離変化分を距離測定精度とする。点ｌ₂ はｌ₁ に対
応する特性曲線７２上の点で、距離ｌ₁ になる特性曲線
７２の位相差を表す。ΔＢは、概略距離ｌ₁ に対しての
測定精度（Δｌ₁ 及びΔｌ₂ ）に対応する位相差の幅で
ある。

【００１８】図９では、狭い光軸間隔Ｌ₁ と広い光軸間
隔Ｌ₂ との比を２にしてあるので、同じ距離に対する距
離精度（１画素当りの距離変化）が広い光軸間隔Ｌ₂ の
方が２倍良い。なお、光軸間隔Ｌ₁ ，Ｌ₂ の比で距離精
度比は任意に変えられる。この図９では、２つの特性曲
線７１，７２が例えばリードオンリーメモリ（ＲＯＭ）
に記憶されていて、位相差がわかればそれに対する距離
値が読出せるようになっている。この２つの特性曲線７
１，７２を使い、次のようにして詳細距離画像を求め
る。なお、説明の簡単化のために、被写体を点画像とし
て説明する。

【００１９】図１０（ａ），（ｂ）は、従来と第１の実
施例の対応点検索領域の説明図である。従来の方法で
は、図９の特性曲線７２のみなので、図１０（ａ）の検
索領域３５に示すように、例えば距離１ｍの被写体の画
像８１を見つけようとすると、約１５０画素の検索を行
わないと、同じ対応点を見つけることができず、その分
だけ検索時間が必要であった。これに対し、本実施例で
は、従来の半分の概略検索領域８２（７５画素）の検索
を行えば、精度は悪いが、概略の距離値８３を検出する
ことができ、従来の半分の検索時間で対応点を検出でき
るようになる。そして、検出された概略距離８３から、
光軸間隔Ｌ₁ とＬ₂ の比を用いて概略距離８４を換算し
（図９の特性曲線７１から特性曲線７２への変換）、第
３の２次元画像入力装置４３における点画像８１の存在
する位相差部分を前記概略距離測定精度の範囲（この場
合、前後２画素分の詳細検索領域８５）内を再度詳細に
対応点検索すれば、従来と同じ距離精度が得られること
になる。

【００２０】即ち、従来では約１５０画素の対応点検索
に対し、本実施例では約８０画素（約７０画素＋該当点
＋精度２画素×２）の検索で検出することができ、検索
時間を約１／２にできる。また、位相差が大きいときに
は、比較すべき濃淡画像内の被写体の形状（見え方）の
差が大きい、即ち相対的に歪んでいるので、対応点が同
じ対応点かを同定するのが困難になるし、また、被写体
を見る角度により、反射輝度も変化してしまって対応点
づけが困難になる。これに対し、本実施例では、被写体
の形状（見え方）の差が低減されるので、対応点の見い
出し方が楽になる利点も有している。さらに、狭い光軸
間隔Ｌ₁ による概略距離画像領域が得られているので、
広い光軸間隔Ｌ₂ によって見え方が異なり、対応点が見
つからない画素に対しても、概略距離画像及び光軸間隔
Ｌ₁ 及びＬ₂ から、第３の２次元画像入力装置４３の濃
淡画像５３の詳細距離画像領域が推定されるので、その
領域内を、さらに特徴出しを行って対応点検索できる。
そのため、従来よりも対応点検索の不明画素数を低減で
きる利点もある。この不明画素は、特徴距離の変更、類
似度等の追加処理で補完すればよい。

【００２１】図１１（ａ），（ｂ）は、概略位相差検出
装置６１で得られた概略距離画像から、それぞれの被写
体までの距離を層別して詳細画像の検出を行うための例
を説明する図である。この例では、被写体を２個で説明
する。図１２（ａ），（ｂ）は、図１の概略距離画像の
層別化の例を示す図である。この図に示すように、ある
距離から次のある距離までを第１層とし、次に第２層と
し、第ｎ層まで距離範囲を決めて層別化しておく。但
し、その層別化の際、第ｍ層と第（ｍ＋１）層は距離精
度Δｌ_w 及びΔｌ_w1に応じて距離精度のかぶり（８６）
を有している。

【００２２】図１１において、ある被写体は概略距離画
像がｌ_a 、他の被写体がｌ_b であったとする。この場
合、概略距離ｌ_a を含む距離画像の層内の対応した第１
の２次元画像入力装置４１の濃淡画像群と、前記層及び
距離精度内に対応した第３の２次元画像入力装置４３の
濃淡画像群とを、その距離精度最悪値内で比較すれば、
その層に含まれる被写体の距離画像を一度に対応させる
ことができる。この処理を各距離層にわたって並列に処
理すれば、より短時間の対応点探索が可能となる利点を
有する。概略距離画像ｌ_b が他の距離層にあれば、２つ
の並列処理であり、ｌ_a とｌ_b が同じ距離層にあれば、
１つの処理で、それぞれの詳細距離画像を検出できる。

【００２３】第２の実施例 図１３（ａ），（ｂ）は、本発明の第２の実施例を示す
３次元画像入力装置の構成ブロック図である。この３次
元画像入力装置は、被写体の画像を入力して濃淡画像１
５１，１５２，１５３，１５４を出力する複数眼２次元
画像入力装置１４０を備えている。複数眼２次元画像入
力装置１４０は、第１及び第２の２眼２次元画像入力装
置１４１，１４２を縦に重ねて、ハーフミラー１４３、
及びミラー１４４等の光学部材を介して光路を形成し、
一体化した装置である。図１３では複数眼２次元画像入
力装置１４０のカメラヘッド部のみが示されている。

【００２４】第１の２眼２次元画像入力装置１４１は、
第１及び第２の２次元画像入力装置１４１ａ，１４１ｂ
を有し、それらが狭い光軸間隔Ｌ₁ で配置され、水平方
向の光軸中心は整合がとられている。第２の２眼２次元
画像入力装置１４２は、第１及び第２の２次元画像入力
装置１４２ａ，１４２ｂを有し、それらは広い光軸間隔
Ｌ₂ で配置され、それらの水平方向の光軸中心は整合が
とられている。各２次元画像入力装置１４１ａ，１４１
ｂ，１４２ａ，１４２ｂは、単眼レンズ及び固体撮像素
子等でそれぞれ構成されている。

【００２５】第１の２次元画像入力装置１４１ａの光軸
中心と第１の２次元画像入力装置１４２ａの光軸中心と
は、ハーフミラー１４３及びミラー１４４で整合がとら
れ、同一光軸となっている。２次元画像入力装置１４１
ａ，１４１ｂと２次元画像入力装置１４２ａ，１４２ｂ
との光軸間隔Ｌ_c は、該２次元画像入力装置１４１ａ及
び１４１ｂを光の入射方向に対して後方にずらせば、２
次元画像入力装置１４２ａと１４２ｂとの光路長差を無
くせるので、数値的制限は無いが、小型化のためには小
さい方が良い。そのため、複数眼２次元画像入力装置１
４０は、３本の光軸中心が水平に並んだ形で被写体を見
る構造になっている。

【００２６】２次元画像入力装置１４１ａからは左目の
濃淡画像１５１が出力される。同様に、２次元画像入力
装置１４１ｂから右目の濃淡画像１５２が、２次元画像
入力装置１４２ａから左目の濃淡画像１５３が、２次元
画像入力装置１４２ｂから右目の濃淡画像１５４がそれ
ぞれ出力され、それらの濃淡画像１５１，１５２，１５
３，１５４が半導体メモリ等に記憶される。濃淡画像１
５１，１５２は、概略距離画像作成手段に入力される。
概略距離画像作成手段は、濃淡画像１５１，１５２から
概略位相差を検出する概略位相差検出装置１６１と、該
概略位相差検出装置１６１で検出された位相差を距離値
に変換してそれを記憶する概略距離画像記憶装置１６２
とで、構成されている。

【００２７】概略距離画像記憶装置１６２の出力側に
は、詳細距離画像作成手段が接続されている。詳細距離
画像作成手段は、対応点検索範囲限定装置１６３、詳細
位相差検出装置１６４、及び詳細距離画像記憶装置１６
５で構成されている。また、複数眼２次元画像入力装置
１４０には、３次元カメラ（以下、３Ｄカメラという）
設定条件指示装置１７０が接続されている。３Ｄカメラ
設定条件指示装置１７０は、操作者が例えばズームレン
ズのズーム比を変えたり、焦点面をずらして画像をぼか
す等の操作を行ったときに、それに応じた値を記憶して
おき、必要に応じてそれらの信号を対応点検索範囲限定
装置１６３へ送る装置である。なお、ズーム比等のカメ
ラ設定条件は、２次元画像入力装置１４１ａと１４１ｂ
のペア、及び２次元画像入力装置１４２ａと１４２ｂの
ペアで、それぞれ変更できるようになっている。

【００２８】対応点検索範囲限定装置１６３は、図１の
対応点検索範囲限定装置６３とほぼ同様の機能を有する
が、３Ｄカメラ設定条件指示装置１７０の指示に従い、
検索範囲が変えられるようになっている。詳細位相差検
出装置１６４は、濃淡画像１５３，１５４を入力し、対
応点検索範囲限定装置１６３の指示に従い、詳細位相差
を検出する装置である。詳細距離画像記憶装置１６５
は、詳細位相差検出装置１６４で検出された位相差を距
離値に変換し、それを記憶しておく装置である。次に、
動作を説明する。この３次元画像入力装置は、基本的に
は図１の装置と同様の動作を行う。即ち、複数眼２次元
画像入力装置１４０が被写体の画像を入力し、濃淡画像
１５１，１５２，１５３，１５４を出力する。概略位相
差検出装置１６１は、左目の濃淡画像１５１と右目の濃
淡画像１５２から、概略の位相差を検出し、その検出し
た位相差を概略距離に変換して概略距離画像記憶装置１
６２に記憶する。対応点検索範囲限定装置１６３では、
概略距離画像記憶装置１６２の内容に基づき、対応点検
索範囲を限定し、その限定結果を詳細位相差検出装置１
６４へ送る。詳細位相差検出装置１６４は、対応点検索
範囲限定装置１６３で限定された検索範囲内で左目の濃
淡画像１５３と右目の濃淡画像１５４から詳細な位相差
を検出し、その検出された位相差を詳細距離に変換して
詳細距離画像記憶装置１６５に記憶する。

【００２９】次に、第１の実施例と異なる点を図１４及
び図１５を参照しつつ、説明する。図１４は、図９と同
様に、図１３の３次元画像入力装置における距離−位相
差特性曲線例を示す図である。特性曲線１７１は、２次
元画像入力装置１４１ａと１４１ｂのペアによる曲線で
あり、画角７０°、光軸間隔Ｌ₁ が１０ｃｍの例であ
る。特性曲線１７２は、２次元画像入力装置１４２ａと
１４２ｂのペアによる曲線であり、画角５４°、光軸間
隔Ｌ₂ が２０ｃｍの例である。特性曲線１７３は、２次
元画像入力装置１４２ａと１４２ｂのペアによる曲線で
あり、画角７０°、光軸間隔Ｌ₂ が２０ｃｍの例であ
る。なお、図１４の１８０は、被写体の第１の２次元画
像入力装置１４１ａ，１４２ａでの検索範囲である。

【００３０】図１４の特性曲線１７２と１７３を比較す
るとわかるように、特性曲線１７３を使用するよりは、
特性曲線１７２を使用する方が、ある被写体に対する距
離測定精度（距離変化に対する位相差の変化が大きい方
が良い）が向上することがわかる。このような動作を行
うためには、例えば、２次元画像入力装置１４２ａと１
４２ｂのペアの方にズームレンズを取り付けておいて、
そのズーム比を３Ｄカメラ設定条件指示装置１７０で変
えることで、特性曲線１７３〜１７２の間に任意に特性
曲線を描くことができる。即ち、ズーム比を変えること
で、距離測定精度を向上できる利点を有する。この３次
元画像入力装置の他の利点として、２次元画像入力装置
１４１ａと１４１ｂのペアの方はズーム比を変えないで
おくと、例えば静止画を見ていることを仮定すれば、概
略位相差検出装置１６１で概略距離画像が既に得られて
いるので、ズーム比を変えたときの詳細画像を得る検索
のみを行えば良く、概略距離画像を検索する時間だけ短
縮できる。ここで、例えば、概略距離値の被写体を指定
して所望距離精度を得るようにズーム比を変えること
も、ＣＲＴペン入力等で可能である。

【００３１】さらに、２次元画像入力装置１４２ａと１
４２ｂのペアは、その焦点を的確に合わせておくが、２
次元画像入力装置１４１ａと１４１ｂのペアは、多少ぼ
かした画像を得るようにしておくことも可能である。こ
れは、２次元画像入力装置１４１ａと１４１ｂのペアの
濃淡画像１５１，１５２を基に、概略位相差検出装置１
６１で概略距離画像を検出し、２次元画像入力装置１４
２ａと１４２ｂのペアの濃淡画像１５３，１５４を基
に、詳細位相差検出装置１６４で詳細距離画像を検出す
る構成にしているために、該濃淡画像１５１，１５２の
情報は該濃淡画像１５３，１５４の情報とは独立であっ
ても良く、距離画像のみが関係する処理方式になってい
るからである。また、ぼかした画像を得る目的は、被写
体の模様（テクスチャ）等が細かいと、対応点検索範囲
限定装置１６３による対応点検索時の特徴抽出が細かく
なりすぎて対応点検索が困難となることを防止するもの
で、大きな特徴（即ち、空間周波数領域における低域成
分）の比較で概略距離画像を検出することを目的として
いる。

【００３２】このように、第２の実施例では、光学的な
被写体の入力条件をペア毎（２次元画像入力装置１４１
ａと１４１ｂ、及び２次元画像入力装置１４２ａと１４
２ｂ）に変更できる利点があり、さらに短時間に距離精
度を向上でき、その上、対応点検索を容易にできる等の
利点も有している。図１５は、図１３の３次元画像入力
装置のズーム比による像の大きさ変化の処理例を説明す
る図である。図１５中の１８１は濃淡画像の見える範
囲、１８２は距離画像の見える範囲である。図１３の３
Ｄカメラ設定条件指示装置１７０では、ズーム比によっ
て被写体の見える範囲（大きさ等）１８１，１８２が変
わるので、図１５に示すように、２次元画像入力装置１
４１ａと１４１ｂのペアの距離画像の画素番号と、２次
元画像入力装置１４２ａと１４２ｂのペアの該当する被
写体の画素番号への変換を指示できるようになってい
る。

【００３３】なお、本発明は上記実施例に限定されず、
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。 （ｉ） 図１３では、複数眼２次元画像入力装置１４０
を第１及び第２の２眼２次元画像入力装置１４１，１４
２で構成したが、図１のような３眼のもので構成した
り、あるいはそれ以上のもので構成しても良い。また、
ハーフミラー１４３及びミラー１４４を他の光学部材で
構成しても良い。 （ii） 図１の複数眼２次元画像入力装置４０を４眼以
上のもので構成しても良い。

【００３４】

【発明の効果】以上詳細に説明したように、第１〜第３
の発明によれば、距離検出精度のゆるい濃淡画像のペア
と、距離検出精度の良い濃淡画像のペアとから、距離を
検出するようにしているので、距離検出精度のゆるい濃
淡画像のペアから、短時間に概略距離画像を検出し、そ
の概略距離画像を用いて距離検出精度の良い濃淡画像の
対応点探索領域を限定することで、短時間に距離精度の
良い距離画像を出力でき、対応点検索時間を短縮した３
次元画像入力装置を実現できる。さらに、まず概略距離
を検出すれば良いので、２次元画像入力装置の配置間隔
を狭くでき、被写体の見え方（形状、輝度等）の差異が
小さくなり、より対応点検索が容易となり、誤検出が減
少すると共に、不明点を明確化する等の他の画像処理の
処理時間も短縮できる。

【００３５】第４の発明によれば、２次元画像入力装置
を共有構造にしているので、第１及び第２の２次元画像
入力手段の構成が簡単になる。第５の発明によれば、第
１の２次元画像入力手段中の１つの２次元画像入力装置
の光軸と第２の２次元画像入力手段中の１つの２次元画
像入力装置の光軸とが一致する構成であるので、概略距
離画像を変えずに詳細距離画像の距離精度を向上させる
ことができる。さらに、ぼけた濃淡画像も独立に取り扱
えて、光学的入力条件を制御することで、対応点検索を
容易にできる。従って、より対応点検索時間を短縮した
３次元画像入力装置を実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す３次元画像入力装
置の構成ブロック図である。

【図２】従来の３次元画像入力方式の一つであるステレ
オ画像法の説明図である。

【図３】図２のステレオ画像法で得られた濃淡画像と距
離画像の説明図である。

【図４】従来の３次元画像表示方式の一つである多眼式
レンチキュラ方式の原理図である。

【図５】従来の３次元画像入力装置の構成ブロック図で
ある。

【図６】図５の距離検出例を示す図である。

【図７】図５の距離−位相差特性曲線例を示す図であ
る。

【図８】図５の対応点検索領域を示す図である。

【図９】図１の距離−位相差特性曲線例を示す図であ
る。

【図１０】従来と第１の実施例の対応点検索領域の説明
図である。

【図１１】図１の概略距離画像を距離毎に層別化して処
理する説明図である。

【図１２】図１の概略距離画像の層別化例を示す図であ
る。

【図１３】本発明の第２の実施例を示す３次元画像入力
装置の構成ブロック図である。

【図１４】図１３の距離−位相差特性曲線例を示す図で
ある。

【図１５】図１３のズーム比による像の大きさ変化の処
理例を説明する図である。

【符号の説明】

４０，１４０ 複数眼２次元画像入力
装置 ４１，４２，４３ 第１，第２，第３の２
次元画像入力装置 ５１〜５３，１５１〜１５４ 濃淡画像 ６１，１６１ 概略位相差検出装置 ６２，１６２ 概略距離画像記憶装置 ６３，１６３ 対応点検索範囲限定装
置 ６４，１６４ 詳細位相差検出装置 ６５，１６５ 詳細距離画像記憶装置 １４１，１４２ 第１，第２の２眼２次
元画像入力装置 １４１ａ，１４１ｂ 第１，第２の２次元画
像入力装置 １４２ａ，１４２ｂ 第１，第２の２次元画
像入力装置 １４３ ハーフミラー １４４ ミラー

Claims (5)

【特許請求の範囲】
1. 【請求項１】 被写体の画像を入力して距離変化に対す
   る位相差変化の小さい濃淡画像の対の信号を出力する第
   １の２次元画像入力手段と、 前記被写体の画像を入力して距離変化に対する位相差変
   化の大きい濃淡画像の対の信号を出力する第２の２次元
   画像入力手段と、 前記位相差変化の小さい濃淡画像の対から概略距離画像
   を作成する概略距離画像作成手段と、 前記概略距離画像に対応する位相差変化の大きい濃淡画
   像領域を指定し、その指定された濃淡画像領域内で対応
   点検索を行なって詳細距離画像を作成する詳細距離画像
   作成手段とを、 備えたことを特徴とする３次元画像入力装置。
2. 【請求項２】 前記詳細距離画像作成手段は、前記概略
   距離画像をある距離範囲毎に層別し、その層毎に前記詳
   細距離画像を作成する構成にしたことを特徴とする請求
   項１記載の３次元画像入力装置。
3. 【請求項３】 前記第１の２次元画像入力手段は、配置
   間隔を狭くした２つの２次元画像入力装置で構成し、 前記第２の２次元画像入力手段は、配置間隔を広くした
   ２つの２次元画像入力装置で構成したことを特徴とする
   請求項１記載の３次元画像入力装置。
4. 【請求項４】 前記第１の２次元画像入力手段における
   １つの２次元画像入力装置と、前記第２の２次元画像入
   力手段における１つの２次元画像入力装置とを、共有構
   造にしたことを特徴とする請求項３記載の３次元画像入
   力装置。
5. 【請求項５】 前記第１の２次元画像入力手段における
   １つの２次元画像入力装置の光軸と、前記第２の２次元
   画像入力手段における１つの２次元画像入力装置の光軸
   とが、一致する構成にしたことを特徴とする請求項３記
   載の３次元画像入力装置。