JPH06265322A

JPH06265322A - 複数画像からの視差検出方法

Info

Publication number: JPH06265322A
Application number: JP5050899A
Authority: JP
Inventors: Katsuhiko Mori; 克彦森; Katsumi Iijima; 克己飯島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-03-11
Filing date: 1993-03-11
Publication date: 1994-09-20

Abstract

(57)【要約】【目的】オクルージョン部が生じても、オクルージョ
ン部での対応点を推定して画像全域の視差を検出可能と
する。【構成】複数の撮像系により得られた複数の画像の対
応点を抽出し、視差ラインを得る（Ｓ１１）。視差ライ
ンがオクルージョン部を含むかどうかを判断し（Ｓ１
２）、オクルージョン部を含む場合には、オクルージョ
ン部で分断されたそれぞれのラインが同一物体を表わし
ているものかどうかを判断する（Ｓ１３）。ここで、同
一物体を表わしていると判断されたら、オクルージョン
部を滑らかな補間によってうめて視差ラインを滑らかに
結ぶ（Ｓ１５）。一方、同一物体を表わしていないと判
断されたら、各撮像系に対して手前にある物体を表わす
ラインのみを延長してライン同志を補間する（Ｓ１
４）。このとき、オクルージョン部での視差ラインは滑
らかには結ばない。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の撮像系により撮
像された複数の画像からの対応点抽出処理方法、すなわ
ち視差検出方法に関する。

【０００２】

【従来の技術】従来、複数の撮像系により撮像された複
数の画像からの対応点抽出方法の代表的なものとして
は、テンプレートマッチング法と、視覚の処理に基づく
協調アルゴリズムとがある。

【０００３】テンプレートマッチング法は、左撮像系と
右撮像系とを有する複眼撮像を考え、左撮像系により左
画像が撮像され、右撮像系により右画像が撮像されると
した場合、例えば左画像中のある１点を囲むテンプレー
トを考え、そのテンプレートの画像に対する右画像中で
の類似性を比較することによって、対応点を決定するも
のである。なお、類似性の比較には、以下に示す二通り
の方法がる。

【０００４】（ａ）ＳＳＤＡ法(Sequential Similarity
Detection Algorithm) ＳＳＤＡ法は、以下の（１）式で示すように、左画像の
エピポーラライン上の全ての画素及び右画像のエピポー
ラライン上の全ての画素に対して、左画像のテンプレー
ト内の画像中の画素値と探索する右画像中の画素値との
差を加算して、得られた和Ｅ（ｘ，ｙ）が最小値になる
座標を対応点の座標とするものである。

【０００５】

【数１】ＳＳＤＡ法では、今までに計算した他の座標における最
小値よりも計算中の画素値の差の和が大きくなった場合
には、計算を中止して次の座標に移動してもよいため、
余分な計算をなくして計算時間を短縮することができ
る。

【０００６】（ｂ）相関法相関法は、以下の（２）式に示すように、左画像のテン
プレート内の画像中の画素値と探索する右画像中の画素
値との相互相関をとることにより相関値ρ（ｘ，ｙ）を
求めて、求めた相関値ρ（ｘ，ｙ）が最大値となる座標
を対応点の座標とするものである。

【０００７】

【数２】なお、（２）式に示した正規化相互相関では、最大値は
“１”となる。

【０００８】次に、協調アルゴリズムについて説明す
る。

【０００９】David Marrにより提案された協調アルゴリ
ズムは、以下に示す３つの規則を用いて視差ラインを得
るアルゴリズムである(D. Marr, Vision: A Computatio
nalInvestigation into the Human Representation and
Processing of VisualInformation, W. H. Freeman &
Co., San Francisco Calif., 1982) 。規則１（適合性）‥‥‥黒点は黒点とのみ整合し得る。規則２（一意性）‥‥‥殆ど常に、一つの画像の一つの
黒点は、他方の画像の唯一の黒点と整合し得る。規則３（連続性）‥‥‥整合する点の視差は、殆ど全域
で滑らかに変化する。

【００１０】協調アルゴリズムを実現する対応点抽出装
置は、Marrによると、多くの処理装置が並列にかつ相互
に結合されたネットワークを形成してなるものであり、
図１８の（ａ）に示すグラフの各交点または節点に、小
さな処理装置がそれぞれ置かれる。もし節点が黒点の正
しい対を表すならば、該節点に置かれた処理装置は最終
的に値“１”をもち、一方、もしそれが正しくない対
（誤標的）を表すならば、該処理装置は値“０”をも
つ。

【００１１】規則２から、ただ１つの対応が水平または
垂直の線に沿って許される。そこで、各水平または垂直
の線に沿った節点に置かれた処理装置は全て、互いに抑
制し合うようにする。これは各線に沿った競合の結果、
ただ一つの処理装置が値“１”として生き残り、他の処
理装置の値を全て“０”にすることで、規則２を満足し
ようという考え方によるものである。

【００１２】規則３によれば、正しい対は破線に沿って
存在しやすいので、この方向に並ぶ処理装置間に、興奮
性の結合を挿入する。これは、各局所的な処理装置に図
１８の（ｂ）に示すような構造を与える。すなわち、両
眼からの視線に対応する水平の線２０１および垂直の線
２０２に沿う処理装置には抑制性結合をかけ、視差一定
の線に対応する斜めの線２０３に沿う処理装置には興奮
性結合をかける。このアルゴリズムは二次元の画像に応
用することができる。その場合は、図１８の（ｃ）に示
すように、抑制性結合はそのままで、興奮性結合が視差
一定の二次元の微小近傍２０４にかかるようにする。

【００１３】かかる対応点抽出装置では、左画像と右画
像とをそれぞれ撮り、二つの黒点が整合する所（誤標的
も含めて全て）は“１”を与えて他は全て“０”を与え
ることにより、処理装置のネットワークに負荷を加えた
のち、ネットワークを走らせる。各処理装置は興奮性近
傍の“１”を合計し、抑制性近傍の“１”を合計する。
そして、一方の合計に適当な重みをかけたのち、結果の
数値を引き算する。もし結果がある閾値を超えればその
処理装置は値“１”にセットされ、もしそうでなければ
その処理装置は“０”にセットされる。形式的に、この
アルゴリズムは、次の（３）式に示す反復関係によって
表される。

【００１４】

【数３】ここで、

【００１５】

【外１】は、図１８の（ａ）に示したネットワークにおける位置
（ｘ，ｙ）、視差ｄ、及び時間ｔに対応する細胞の状態
を示す。Ｓ（ｘ，ｙ，ｄ）は局所的興奮性近傍、Ｏ
（ｘ，ｙ，ｄ）は抑制性近傍である。εは抑制定数であ
り。σは閾値関数である。初期状態Ｃ^o は、定められた
視差範囲内で、誤標的を含む可能な対を全て含んでい
る。ここで、それは各繰り返しごとに加えられる（そう
する必要はないが、こうするとアルゴリズムがより速く
収束する）。

【００１６】

【発明が解決しようとする課題】しかしながら、上述し
た従来の対応点抽出方法においては、複数の撮像系で立
体物を撮像した際に、一方の撮像系では撮像されている
が他方の撮像系では撮像されていない部分すなわちオク
ルージョン部が生じる場合があり、このオクルージョン
部においては対応点が抽出されない、つまり視差が検出
不可能であるるという問題点があった。

【００１７】そこで本発明は、オクルージョン部が生じ
ても、オクルージョン部での対応点を推定して画像全域
の視差を検出可能な、複数画像からの視差検出方法を提
供することを目的とする。

【００１８】

【課題を解決するための手段】上記目的を達成するため
本発明の複数画像からの視差検出方法は、それぞれ複数
の撮像系で同一物体を撮像することにより得られた複数
の画像から、一つの画像中の任意の点に対する他の画像
中の対応点を抽出する、複数画像からの視差検出方法に
おいて、前記対応点の抽出を行なえずにオクルージョン
部となる部位が存在する場合には、前記対応点の抽出が
行なわれている部位の視差を表わす線または面の形状に
基づいて前記物体の形状を推定し、前記オクルージョン
部の補間処理を行なうことを特徴とする。

【００１９】また、前記視差を表す線または面の形状か
ら前記物体が一つの物体か否かを判断し、前記物体が一
つの物体であると判断された場合には前記オクルージョ
ン部を滑らかな線で補間し、前記物体が複数の物体であ
ると判断された場合には、前記撮像系に対して手前に存
在する物体の視差を表わす線または面の形状を延長して
前記オクルージョン部を補間してもよい。。

【００２０】そして、前記視差を表わす線または面の形
状は、前記視差を表わす線または面の曲率を用いること
ができる。

【００２１】

【作用】上記のとおり構成された本発明では、対応点の
抽出を行なえずにオクルージョン部となる部位が存在す
る場合には、対応点の抽出が行なわれている部位の視差
を表わす線または面の形状に基づいて物体の形状を推定
し、オクルージョン部の補間処理を行なうことで、対応
点が抽出できないオクルージョン部が存在してもオクル
ージョン部における対応点が抽出され、各画像のオーバ
ーラップ部の全ての領域における対応点の抽出、すなわ
ち視差検出が可能となる。

【００２２】そして、物体の形状の推定は、物体の視差
を表わす線または面の形状により撮像された物体が一つ
か否かを判断し、物体が一つの物体のときにはオクルー
ジョン部を滑らかな線で補間し、複数の物体のときには
撮像系に対して手前に存在する物体の視差を表わす線ま
たは面の形状を延長してオクルージョン部を補間するこ
とにより可能となる。

【００２３】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２４】（第１実施例）図１は、本発明の複数画素
からの視差検出方法の第１実施例のフローチャートであ
る。本実施例の視差検出方法を簡単に説明すると、ま
ず、複数の撮像系により得られた複数の画像から、従来
の技術で述べた対応点抽出法により各画像の対応点を抽
出し、後述する視差ラインを得る（Ｓ１１）。そして、
この視差ラインが空白となる部分すなわちオクルージョ
ン部を含むかどうかを判断し（Ｓ１２）、オクルージョ
ン部を含まない場合には何も処理を施さないが、オクル
ージョン部を含む場合には、オクルージョン部で分断さ
れたそれぞれのラインが同一物体を表わしているものか
どうかを判断する（Ｓ１３）。ここで、同一物体を表わ
していると判断されたら、オクルージョン部を滑らかな
補間によってうめて視差ラインを滑らかに結ぶ（Ｓ１
５）。一方、同一物体を表わしていないと判断された
ら、各撮像系に対して手前にある物体を表わすラインの
みを延長してライン同志を補間する（Ｓ１４）。このと
き、オクルージョン部での視差ラインは滑らかには結ば
ない。

【００２５】上述した各手順に基づいて、オクルージョ
ン部における対応点抽出すなわち視差検出が行なわれ
る。以下に、上述した各手順について詳細に説明する。

【００２６】まず、視差ラインという概念について説明
する。

【００２７】本実施例では、例えば図２に示すような、
それぞれ光軸Ｌ_L、Ｌ_Rが平行となるように配置された
左撮像系２５と右撮像系２６とよりなる複眼撮像装置を
考える。各撮像系２５、２６は、それぞれ撮像素子とし
てＣＣＤ等のセンサ（不図示）が備えられている。ま
た、説明を簡単にするため、各撮像系２５、２６のセン
サにより得られる左画像２１および右画像２２はそれぞ
れ各撮像系２５、２６と被写体３０との間の位置に示す
とともに、左右各画像２１、２２上のずれはｘ方向の一
次元ずれしか存在しないとする。以下の図においても特
にことわりがなければこれに従う。

【００２８】図２において、被写体２０上の点Ｐと左撮
像系２５のレンズ中心２３と右撮像系２６のレンズ中心
２４との３点を結んで生成される平面をエピポーラ面２
９といい、そのエピポーラ面２９が、左画像２１中を横
切るラインを左のエピポーラライン２７、右画像２２中
を横切るラインを右のエピポーラライン２８という。

【００２９】今は、各撮像系２５、２６の光軸Ｌ_L、Ｌ
_Rが平行な複眼撮像装置について考えているので、この
複眼撮像装置により図３に示すように平面被写体３２を
撮像すると、この平面被写体３２は各画像２１、２２中
にひずみなく撮像される。よって、左右のエピポーララ
イン２７、２８はそれぞれ各画像２１、２２をｘ方向に
読み出すことによって得られる。

【００３０】一方、図３に示すように各撮像系２５、２
６の光軸Ｌ_L、Ｌ_Rが平行でない状態、すなわち各光軸
Ｌ_L、Ｌ_Rが含まれる平面において各撮像系２５、２６
のレンズ中心２３、２４を結ぶ直線に垂直な直線と各光
軸Ｌ_L、Ｌ_Rとがある所定の角度（輻輳角）をもって交
わる状態で平面被写体３２を撮像した時は、各光軸
Ｌ _L、Ｌ_Rが平行な場合と同様に撮像しても、この平面
被写体３２は各画像２１、２２中に台形ひずみをもって
撮像される。この場合には、各撮像系２５，２６の輻輳
角は既知なので一次変換により画像を再配置して、複眼
撮像装置の光軸Ｌ_L、Ｌ_Rが平行であるときの画像を得
る。これによって左右のエピポーラライン２７、２８は
再配置された画像のｘ方向を読み出すことによって得ら
れる。

【００３１】上述のようにして得られた左右のエピポー
ラライン２７、２８を、図５に示すように配置すること
によって得られる画面を視差画面５１と呼ぶ。すなわ
ち、左のエピポーラライン２７を横軸、右のエピポーラ
ライン２８を縦軸とし、左右のエピポーラライン２７、
２８の左端２７ａ、２８ａが視差画面５１の左下端の点
に対応するように、左右のエピポーラライン２７、２８
を直交配置することによって得られる画面が視差画面５
１である。

【００３２】ここで、図６に示すように、左右各撮像系
２５、２６の光軸Ｌ_L、Ｌ_Rが平行な複眼撮像装置によ
って、平面視半円柱状の物体６１の背景に平板状の物体
６２が配置された景色を撮像し、左右各画像からそれぞ
れ得られた左右のエピポーラライン２７、２８の対応点
を、図５に示した視差画面５１上にプロットしていく
と、理想的には図７に示すようなラインを得ることがで
きる。このラインを視差ライン７１と呼ぶ。つまりこの
視差ライン７１は左右のエピポーラライン１３、１４の
対応点を示し、同時に視差も示す。

【００３３】以下、この視差ライン７１についてもう少
し詳しく説明する。左右のエピポーラライン１３、１４
上で視差が一定の所では、視差画面５１上における視差
ライン７１は４５度右上がりの直線となる。この視差ラ
イン７１の変化により左右の画像中の視差変化がわか
る。このことを図８を参照して説明する。図８の（ａ）
に示すように、左右各撮像系２５、２６のレンズ中心２
３、２４からの奥行きが一定となる位置をそれぞれ同じ
記号☆、★、○、◎で表わし、これを図８の（ｂ）に示
す視差画面５１上にプロットすると、視差画面５１上で
はそれぞれ同じ記号同志が４５右上がりの直線上にプロ
ットされる。また、図８の（ａ）に一点鎖線で示すよう
な、途中で☆の位置から★の位置に突出する凸状の物体
８１を撮像したときに得られる視差ラインは、図８の
（ｂ）に一点鎖線で示すように、☆の示す視差ラインよ
り始まり、途中で★の示す視差ラインに移り、最後に再
び☆の示す視差ラインに戻ることになる。さらに、図８
の（ａ）、（ｂ）より、視差画面５１の右上がりの対角
線は各レンズ中心２３、２４からの奥行が無限遠の視差
ラインを示すことが理解できる。

【００３４】上述したように、視差ライン７１は各レン
ズ中心２３、２４からの奥行を示している。したがって
図７に示した視差画面５１中の右下端の点Ａから、視差
画面５１中の左上端に向かう矢印の方向に視差ライン７
１を見たとすると、その形状が実際の三次元の景色の物
体配置を表現している。つまり、視差ライン７１により
三次元の景色の物体配置を推定することが可能となる。

【００３５】今、図６に示した物体６１、６２を左右各
撮像系２５、２６で撮像し、得られた左右各画像の対応
点を、例えば従来の技術で示したテンプレートマッチン
グ法で（別に他の方法でもよい）抽出した結果、図９に
示すように、視差画面５１中に、２つの空白領域すなわ
ちオクルージョン部９１で分断された３本のライン９
２、９３、９４を得たとする。これら２つのオクルージ
ョン部９１は、左撮像系２５では撮像されるが右撮像系
２６では撮像されず、また右撮像系２６では撮像される
が左撮像系２５では撮像されず、対応点が抽出できない
所である。以下に、各オクルージョン部９１における対
応点を抽出する方法を示す。

【００３６】図９において、視差画面５１の右下端の点
Ｂから、得られたライン９２、９３、９４をみると一番
手前にライン９３が見える。このラインの意味を考察し
てみる。例えば、図１０の（ａ）に示すように平面視方
形状の物体１０１の背景に平板状の物体１０２が配置さ
れている景色を左右各撮像系２５、２６により撮像した
とき、理想的には図１０の（ｂ）の視差画面５１中に描
かれた視差ライン１０３が得られる。また、図１１の
（ａ）に示すように平面視三角形状の物体１１１の背景
に平板状の物体１１２が配置されている景色を左右各撮
像系２５、２６により撮像したとき、理想的には図１１
の（ｂ）の視差画面５１中に描かれた視差ライン１１３
が得られる。これらの結果から、視差画面５１中に現わ
れる視差ラインの形状は、撮像される物体の形状に類似
するということができ、図９に示したライン９３は、円
弧状の形状を有する物体を撮像することにより得られた
ものであると推定することができる。

【００３７】ここで、「一物体の可視表面における視差
は、連続的に変化する。」という仮定を定義すると、こ
の仮定により、図９に示した視差画面５１中に発生した
各オクルージョン部９１の、ライン９２、９３、９４と
の接続部はできるだけ滑らかな線でつなぐ必要があると
わかる。また、図９中のライン９２とライン９３との間
のオクルージョン部９１において対応点を推定すること
によって得られる、ライン９２からの延長線とライン９
３からの延長線とは必ず交点をもつわけであるが、前記
仮定から、ライン９２とライン９３とが同一物体から得
られたものであれば各延長線は滑らかに結ばなければな
らない。一方、同一物体から得られたものでないならば
各延長線は滑らかに結んではいけない。この同一物体か
否かの判断は、ライン９２とライン９３の形状から判断
できる。ライン９３とライン９４との間のオクルージョ
ン部９１についても同様である。

【００３８】上記のことから、図９中の各オクルージョ
ン部９１の対応点を含む、全ての対応点を示す線は、表
している物体ごとのラインを合わせたものだと考えるこ
とができる。また、その線を視差画面５１上に関数とし
てグラフ化して表すことができる。つまり、視差ライン
７１（図７参照）を、左のエピポーラライン２７の画素
の番号を入力値とし、右のエピポーラライン２８の画素
の番号を出力値とする関数と考える。すると、各物体を
表すライン毎に関数が存在し、オクルージョン部９１の
対応点も含む、全ての対応点を示す視差ライン７１の関
数をＦ、各物体を表す各関数をＦ₁ ，Ｆ₂ ，・・・，Ｆ
_k とするとＦ＝Ｆ₁ ＋Ｆ₂ ＋・・・＋Ｆ_k （４）と表すことができる。この（４）式中の各関数Ｆ₁ ，Ｆ
₂ ・・・，Ｆ_k は、視差ライン７１が表している物体を
判断することによって得られる。

【００３９】以下に図９において、補間された関数Ｆと
しての視差ライン７１を得る方法を示す。この関数Ｆを
得るためには、幾つかのパラメータが存在する。それ
は、得られているラインの形状、オクルージョン部９１
の隙間の大きさ等である。ここで一例として、ラインの
形状を表すパラメータとしてラインの曲率ρを使用す
る。今回は簡単のためこのラインの曲率ρだけでライン
の形状から同一物体か否かの判断をすることにする。ラ
イン９３の曲率をρ₉₃、ライン９４の曲率をρ₉₄とし、
またライン９３を表す関数をＦ₉₃、ライン９４を表す関
数をＦ₉₄とする。図９から、ライン９３の曲率ρ₉₃とラ
イン９４の曲率ρ₉₄とは異なるので、ライン９３を表す
関数Ｆ₉₃とライン９４を表す関数Ｆ₉₄は違うものと判断
される。そこで関数Ｆ₉₃と関数Ｆ₉₄とは滑らかに結ばな
い。また、点Ｂから見たとき、ライン９３の方がライン
９４よりも手前に存在し、ライン９３の表す物体の方が
ライン９４の表す物体よりも手前に存在すると判断され
るので、ライン９３とライン９４との間のオクルージョ
ン部９１は、ライン９３の形状を延ばすことによって補
間する。その補間されたラインとライン９４とは滑らか
には結ばない。ライン９２とライン９３との間のオクル
ージョン部９１においても同様に、ライン９３の形状を
延ばすことによって補間し、補間されたラインとライン
９２とは滑らかに結ばない。これにより、図７に示した
視差ライン７１が得られる。

【００４０】以上説明したように、オクルージョン部９
１以外で得られるライン９２、９３、９４、およびオク
ルージョン部９１の隙間の大きさを基に実際の三次元の
景色の物体配置を推定し、全体の視差ライン７１を検出
することで、左右各撮像系２５、２６で撮像された画像
の全域にわたって、対応点抽出つまり視差検出すること
が可能となった。

【００４１】さらに、初めにも述べたように本実施例で
は、説明をわかりやすくするため、左右各画像２１、２
２上のずれがセンサのｘ軸方向にしか存在しないという
一次元ずれのみで考えたが、これに限定するものではな
い。例えば、二次元ずれが生じている画像の場合、今ま
で示した方法でｘ方向の一次元ずれを検出した後、セン
サのｙ方向に信号を読み出してｘ方向と同様にｙ方向の
ずれを検出し、ｘ，ｙ各方向のずれを合成することによ
り、二次元ずれも検出できる。また、二次元ずれを検出
する別の方法として、左右各撮像系２５、２６で得られ
た左画像２１および右画像２２を図１２に示すように配
置して視差立体１１１を構成し、その中に従来の技術で
示したテンプレートマッチング法等の対応点抽出法を用
いて得られた対応点をプロットすると、視差ラインが面
になった視差面が得られる。そして、この視差面を基
に、上述した手順と同様な手順でオクルージョン部の視
差を検出することも可能である。また、この方法の改良
版として、全画像を使用するのではなく複数対のエピポ
ーララインを使用して、同様に視差立体１２１を構成し
て視差面を生成し、同様にオクルージョン部の視差を検
出することも可能である。

【００４２】さらに、図１３に示すように、左撮像系２
５および右撮像系２６を輻輳角が互いに外向きとなるよ
うに配置させ、左撮像系２５および右撮像系２６の両方
で撮像可能なオーバラップ部１３１が撮像範囲の一部に
しかないときも、エピポーララインの再配置を行い、同
様にオーバラップ部１３１内のオクルージョン部の視差
を検出することが可能である。

【００４３】左右各撮像系２５、２６に輻輳角がつく
と、レンズ中心２３、２４からの奥行が一定の位置での
視差ラインは変化する。例えば、図１３に示したように
輻輳角が外向きのときに撮像した物体が、レンズ中心２
３、２４からの奥行きが無限遠の所に存在するとした場
合には、図１４に破線で示すような弧状の視差ライン１
４１が得られる。逆に輻輳角が内向きのときには、輻輳
角がないときの視差ライン７１に対して対称となる位置
に一点鎖線で示したような弧状の視差ライン１４１’が
得られる。輻輳角がついたときの視差ライン１４１、１
４１’の曲率は、輻輳角の大きさに応じて変化する。よ
って、このようにそれぞれ輻輳角がついたときの視差ラ
インの様子がわかっていれば、左右各撮像系２５、２６
に輻輳角がついたときでも、画像及びエピポーラライン
の再配置を行わなずに輻輳角がないときと同様の処理を
行い、オーバーラップ部１３１内の全ての視差を検出す
ることは可能である。

【００４４】（第２実施例）今、従来の技術で示したテ
ンプレートマッチング法等の対応点抽出法に基づいて、
２つの撮像系で得られた各画像の対応点を抽出して視差
画面上にプロットした結果、図１５に示すような、４つ
のオクルージョン部１５１で分断された５本のライン１
５２、１５３、１５４、１５５、１５６が描かれた視差
画面５１を得たとする。そして、図１６に示すように、
各ライン１５２、１５３、１５４、１５５、１５６をそ
の曲率を維持しつつ延長して滑らかにつながるものと連
結する。これにより図１６においては、ライン１５２と
ライン１５６とが連結されるとともに、ライン１５３と
ライン１５５とが連結され、２つの領域１６１、１６２
を形成する。領域１６１、１６２はそれぞれ三次元の景
色に配置された物体を示している。

【００４５】このように、各ライン１５２、１５３、１
５４、１５５、１５６の形状とオクルージョン部１５１
の隙間をパラメータとして、各ライン１５２、１５３、
１５４、１５５、１５６を補間することにより各物体を
分離できる。図１６に示した視差画面５１に、視差画面
５１の右下端の点Ａより陰線処理を施すことにより、図
１７に示すような視差ライン１７１が得られる。これに
より、２つの撮像系で得られた各画像の視差が検出可能
となる。

【００４６】以上説明した各実施例では２つの撮像系で
得られた２つの画像についての視差検出の処理について
示したが、撮像系の数はこれに限られるものではなく、
３つ以上であってもよい。

【００４７】

【発明の効果】以上説明したように本発明によれば、対
応点の抽出が行なわれている部位の視差を表わす線また
は面の形状に基づいて物体の形状を推定し、オクルージ
ョン部の補間処理を行なうことで、物体を複数の撮像系
で撮像した際に生じるオクルージョン部における対応点
抽出つまり視差検出が可能となり、撮像された各画像の
オーバーラップ部の全ての領域にわたって視差を検出す
ることができる。

【図面の簡単な説明】

【図１】本発明の複数画像からの視差検出方法の一実施
例のフローチャートである。

【図２】左右２つの撮像系を有する複眼撮像装置により
被写体を撮像したときに得られる左右画像のエピポーラ
ラインを説明するための図である。

【図３】左右各撮像系の光軸が平行に配置された複眼撮
像装置により平面被写体を撮像したときに得られる左右
画像を示す図である。

【図４】左右各撮像系が輻輳角を有する複眼撮像装置に
より平面被写体を撮像したときに得られる左右画像を示
す図である。

【図５】左右のエピポーララインから構成される視差画
面を示す図である。

【図６】平面視半円柱状の物体の背景に平板状の物体が
配置された景色を撮像するときの、各物体と左右各撮像
系の配置を示す図である。

【図７】図６に示した２つの物体を撮像して得られる理
想的な視差ラインを示す視差画面の図である。

【図８】左右各撮像系のレンズ中心からの奥行きに対す
る視差ラインの変化を説明するための図で、同図（ａ）
は左右各撮像系に対する位置による左右のエピポーララ
インへの対応を示す図、同図（ｂ）は同図（ａ）により
得られた視差画面の図である。

【図９】オクルージョン部により視差ラインが途切れて
いる、補間前の視差画面の図である。

【図１０】図９に示した視差画面上のラインの意味を考
察するための図で、同図（ａ）は平面視方形状の物体の
背景に平板状の物体が配置された景色を撮像するとき
の、各物体と左右各撮像系の配置を示す図、同図（ｂ）
は同図（ａ）に示した２つの物体を撮像して得られる理
想的な視差ラインを示す視差画面の図である。

【図１１】図９に示した視差画面上のラインの意味を考
察するための図で、同図（ａ）は平面視三角形状の物体
の背景に平板状の物体が配置された景色を撮像するとき
の、各物体と左右各撮像系の配置を示す図、同図（ｂ）
は同図（ａ）に示した２つの物体を撮像して得られる理
想的な視差ラインを示す視差画面の図である。

【図１２】左右各画像の二次元ずれを検出する方法の一
例を説明するための図である。

【図１３】輻輳角が外向きのときの左右各撮像系の配置
を示す図である。

【図１４】輻輳角がないとき、輻輳角が外向きのとき、
および輻輳角が内向きのときの無限遠での視差ラインを
示す視差画面の図である。

【図１５】本発明の複数画像からの視差検出方法の第２
実施例を説明するための、ある物体を撮像して得られた
補間前の視差ラインを示す視差画面の図である。

【図１６】図１５に示した各ラインを延長して各ライン
の補間を行なった視差画面の図である。

【図１７】図１６に示した視差画面に陰影処理を施して
得られた理想的な視差ラインを示す視差画面の図であ
る。

【図１８】協調アルゴリズムを説明するための図であ
る。

【符号の説明】

２０被写体２１左画像２２右画像２３、２４レンズ中心２５左撮像系２６右撮像系２７左のエピポーラライン２７ａ、２８ａ左端２８右のエピポーラライン２９エピポーラ面３２平面被写体５１視差画面６１、６２、８１、１０１、１０２、１１１、１１２
物体７１、１０３、１１３、１４１、１４１’、１７１
視差ライン９１、１５１オクルージョン部９２、９３、９４、１５２、１５３、１５４、１５５、
１５６ライン１３１オーバーラップ部１６１、１６２領域Ｌ_L、Ｌ_R 光軸

Claims

【特許請求の範囲】

【請求項１】それぞれ複数の撮像系で同一物体を撮像
することにより得られた複数の画像から、一つの画像中
の任意の点に対する他の画像中の対応点を抽出する、複
数画像からの視差検出方法において、前記対応点の抽出を行なえずにオクルージョン部となる
部位が存在する場合には、前記対応点の抽出が行なわれ
ている部位の視差を表わす線または面の形状に基づいて
前記物体の形状を推定し、前記オクルージョン部の補間
処理を行なうことを特徴とする、複数画像からの視差検
出方法。
【請求項２】前記視差を表す線または面の形状から前
記物体が一つの物体か否かを判断し、前記物体が一つの
物体であると判断された場合には前記オクルージョン部
を滑らかな線で補間し、前記物体が複数の物体であると
判断された場合には、前記撮像系に対して手前に存在す
る物体の視差を表わす線または面の形状を延長して前記
オクルージョン部を補間する、請求項１に記載の複数画
素からの視差検出方法。
【請求項３】前記視差を表わす線または面の形状は、
前記視差を表わす線または面の曲率を用いる、請求項１
または２に記載の複数画像からの視差検出方法。