JPH07282259A

JPH07282259A - 視差演算装置及び画像合成装置

Info

Publication number: JPH07282259A
Application number: JP6074790A
Authority: JP
Inventors: Atsushi Morimura; 森村　　淳; Takeo Azuma; 健夫吾妻
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-04-13
Filing date: 1994-04-13
Publication date: 1995-10-27
Anticipated expiration: 2019-08-04
Also published as: JP3551467B2

Abstract

(57)【要約】【目的】物体による遮蔽があった場合、基準とする画
像を替え、遮蔽の条件のない条件で対応関係を調べるこ
とにより、遮蔽の正しい判定を行う。【構成】入力された２種類以上の画像信号の対応を求
める対応点演算手段２の結果に基づいて視差データを演
算する視差データ演算手段３と、対応点演算手段２の結
果から対応の評価を求める評価データ蓄積手段４と、視
差データと対応の評価よりオクルージョンの判定を行う
オクルージョン判定手段５を具備し、入力された２種類
以上の画像中の物体の対応関係をそれぞれの画像を基準
として求め、物体の遮蔽により対応しない部分を他の画
像を基準として求めた対応関係より判定し、遮蔽のある
部分を決定して遮蔽された部分の視差を推定し、前記対
応点演算より求めた視差と統合する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の画像から画像の
対応関係を求め、画像の奥行きに対応する視差（奥行
き）を求める画像の視差演算装置及び視差と画像データ
から任意の視線方向から見た画像を合成する画像合成装
置に関する。

【０００２】

【従来の技術】従来複数の画像から視差を求める場合、
画像間の対応関係を画像の相関や、差分の加算などを演
算し、最も相関が高く差分の加算が低い部分を画像間の
対応点とし、対応点の位置の違いを視差として検出して
いた。また画像間の対応がはっきりしている部分だけか
ら画像を合成するため、画像間の対応がとれる部分のみ
画像を合成していた。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
画像の対応を調べ視差を演算する方法では、前後方向に
物体が置かれている位置が異なり、後ろの物体が前の物
体に遮蔽され見えない部分があった場合、対応関係が求
まらず、視差が演算できなかった。特に前にある物体が
撮像装置に近い場合、遮蔽部分が多くなり、視差が大き
な範囲で求められないという課題があった。

【０００４】また、従来対応関係を演算する密度で視差
境界の分解能が決定されており、分解能の改善には対応
関係の演算を高密度で（数多く）行うしか良い方法がな
かった。また、画像間の対応関係がはっきりしない部分
は画像間の対応がとれず、画像が合成できなかった。

【０００５】本発明は、物体による遮蔽があった場合に
おいても、基準とする画像を替え、遮蔽の条件のない条
件で対応関係を調べることにより、遮蔽の正しい判定を
行うことを目的とする。

【０００６】また、視差の境界があり、対応が正しく求
まらない条件で、対応関係を演算する領域を移動して対
応を求めることにより、視差境界いっぱいまで正しい対
応が求めることを目的とする。

【０００７】さらに、視差の境界を、輝度の境界と対応
評価の値を用いて推定し、視差の境界に対する分解能が
低い対応演算結果から分解能の高い視差を推定すること
を目的とし、より正確な視差を効率的に求めることを目
的とする。

【０００８】また画像間の対応関係がはっきりわからな
い部分においても、遮蔽の条件を正しく判定し、遮蔽の
関係から推定した視差を用いて、任意の視線方向の画像
を画像でーたの抜けなく合成することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、上記目的を達
成するために、画像間の対応のない部分を正しく対応の
ある部分から推定する構成としたものである。

【００１０】即ち、入力された２種類以上の画像信号の
対応を求める対応点演算手段と、前記対応点演算手段の
結果より視差データを演算する視差データ演算手段と、
前記対応点演算手段の結果より対応の評価を求める対応
評価演算手段と、前記視差データと前記対応の評価より
オクルージョンの判定を行うオクルージョン判定手段と
を具備し、入力された２種類以上の画像中の物体の対応
関係をそれぞれの画像を基準として求め、物体の遮蔽に
より対応しない部分を他の画像を基準として求めた対応
関係より判定し、物体の遮蔽のない領域で安定した対応
の求められた部分より、物体の遮蔽のある部分を決定し
て遮蔽された部分の視差を推定し、前記対応点演算より
求めた視差と統合する構成である。

【００１１】

【作用】本発明によれば、物体による遮蔽があった場合
においても、基準とする画像を替え、遮蔽の条件のない
条件で対応関係を調べることにより、遮蔽の正しい判定
を行うことが可能になる。

【００１２】また視差の境界があり、対応が正しく求ま
らない条件で、対応関係を演算する領域を移動して対応
を求めることにより、視差境界いっぱいまで正しい対応
が求めることが可能になる。

【００１３】さらに視差の境界を、輝度の境界と対応評
価の値を用いて推定し、視差の境界に対する分解能が低
い対応演算結果から分解能の高い視差を推定することを
可能となし、より正確な視差を効率的に求めることが可
能となる。

【００１４】また画像間の対応関係がはっきりわからな
い部分においても、遮蔽の条件を正しく判定し、遮蔽の
関係から推定した視差を用いて、任意の視線方向の画像
を合成することが可能である。

【００１５】

【実施例】以下本発明の実施例の視差演算装置につい
て、図面を参照しながら説明する。

【００１６】（第１の実施例）図１、図２に本発明の第
１の実施例における視差演算装置の構成の前半部分と後
半部分とを示す。図中、１は入力画像を記憶する画像メ
モリ、２は画像間の対応を演算する対応点演算手段、３
は対応点演算の結果に基づいて視差データを求める視差
データ演算手段、４は演算された視差データの評価デー
タを蓄積する対応評価手段としての評価データ蓄積手
段、５は視差データと評価データよりオクルージョンの
判定を行うオクルージョン判定手段、６はオクルージョ
ンと判定されたデータを蓄積するオクルージョンデータ
蓄積手段、７は評価データの悪い部分の視差を用いない
ようにする低評価部抑圧手段、８はオクルージョン部の
視差を補充する視差補充手段である。以上のように構成
された本実施例の視差演算装置の動作について説明す
る。

【００１７】入力される画像は２台のステレオカメラで
撮像されたもので、撮像位置のちがいにより近くの物体
は撮像データの位置の異なり（視差に対応する）が多
く、遠くの物体は撮像データの位置の異なり（視差）が
少ないものである。これらの入力された画像は、まず画
像メモリ１に蓄積され、１式に１例として示す対応点の
演算を対応点演算手段２で行う。（式１） Pr(Zn,i,j)= Σ｜SR(Xk,Yk)-SL(Xk+i,Yk+j)｜ Xk,Yk∈Zn ここでＳＲ、ＳＬは右画像、左画像の信号値でありＸ
ｋ，Ｙｋは対応演算領域Ｚｎの内部の座標値である。Ｐ
ｒ(Zn,i,j)は右画像を基準とする対応の評価値であり、
ｉ，ｊは視差である。視差データ演算手段３では２式の
演算を行い右画像基準の領域Znrの視差Ｄｓｒ(Zn)を求
めそのデータを記録する。（式２） Dsr(Zn)=(i,j) for MIN{Pr(Zn,i,j)} またこの視差（i,j）のＰｒ（Zn,i,j）の値を右画像を
基準とした領域Ｚｎの評価値として評価データ蓄積手段
４に記録する。左画像を基準としたものは、式１のＳＲ
とＳＬを入れ替えて同様の演算を行う。（式３） Pl(Zn,i,j)= Σ｜SL(Xk,Yk)-SR(Xk+i,Yk+j)｜ Xk,Yk∈Zn （式４） Dsl(Zn)=(i,j) for MIN{Pl(Zn,i,j)} このようにして得られた右画像基準と左画像基準の視差
データと評価データをもとに以下に示す遮蔽（オクルー
ジョン）の判定をオクルージョン判定手段５で行う。オ
クルージョン判定の方法を図３を参照して行う。

【００１８】図３（ａ）は左画像、（ｂ）は右画像、図
３（ｃ）（ｄ）は図３（ａ）（ｂ）の拡大したものであ
る。図３の斜線部は、オクルージョンにより左右の画像
で対応部がなく、対応点が正しく計算できない領域を示
したものである。また、右画像のＡ点は左画像のＡ’点
に対応し、また右画像のＢ点は左画像のＢ’点に対応す
る。オクルージョンの判定は、対応が正しく求められ右
画像基準の評価の良い（この例では評価値の小さい）Ａ
点に対してさらに一定画素左（右でもよい）進んだＸ点
（２点ＡＸの距離は領域Ｚｎの水平距離と同程度）での
右画像基準の評価値を調べ、評価値が悪い（この例では
評価値が大きい）場合、評価値の良いＡ点の対応点を調
べＡ’とする。

【００１９】（対応点は左画像に存在）次に左画像の
Ａ’点から一定画素左（Ａ点からＸ点の方向）のＢ’点
の左画像基準の評価値を調べる。Ｂ’の評価値が悪い場
合は、左右間の画像の対応演算が行えない状態（画像の
レベルの変化が殆どない等の理由による）と判断する。
またＢ’の評価値が良い場合、Ｂ’の対応点であるＢ点
（右画像）を調べ、各画像上の距離ＡＢ，距離Ａ’Ｂ’
を求める。距離ＡＢ−距離Ａ’Ｂ’が一定値より大きい
とき、ＡＢ間をオクルージョン領域と判定する。左画像
については左右の関係を逆にして同じ判定をする。

【００２０】以上のオクルージョン判定をオクルージョ
ン判定手段５で行い、判定された結果をオクルージョン
データ蓄積手段６に記憶する。次に、視差データと評価
データをもとに、定められたレベルより低い評価値の付
けられた視差データを不定とし、取り除く操作を低評価
部抑圧手段７で行う。このようにして対応関係が不確か
な部分を取り除いたあとでオクルージョン部の視差を視
差補充手段８で補充する。視差補充の方法を図４を用い
て説明する。

【００２１】図４（ａ）で斜線部はオクルージョン部で
あり、オクルージョン部をはさんで点Ａ点Ｂが対応の評
価値が良く、安定した視差が演算できている点である。
右画像を基準とした視差データで右側の視差が左側の視
差より小さい（遠くにある場合で、図４（ｂ）に示すよ
うに点Ａの視差はa2-a1、点Ｂの視差はb2-b1とする）場
合にオクルージョンが発生する条件である。従って右画
像を基準とした視差データの補充は右側から左側に行
い、右側の視差視差データを補充する。

【００２２】図４（ａ）のＡ点からア、イ、ウの順番
で、視差が安定にもとまっているＢ点まで補充を行う。
左画像を基準とした視差を補充する場合には、オクルー
ジョン部の左側から右側に行う。左基準と右基準では左
右の方向が逆になるが、その他の処理は同じである。こ
のようにし視差を補充することにより、オクルージョン
により正しい対応がとれず視差がもとまらない状態で
も、正しい視差と推定される視差を補充できる。

【００２３】以上のように第１の実施例によれば、左右
の画像間の対応関係が正しく求められる点をもとに、物
体による遮蔽で左右の画像間の対応関係がない部分を正
しく求め、さらにこの部分の視差を物体の遮蔽の関係か
ら正しいと推定される視差を補充することが可能とな
り、その実用的価値は非常に高い。

【００２４】（第２の実施例）次に本発明の第２の実施
例について説明する。本発明の第２の実施例では第１の
実施例の対応点の演算方法の性能改善の例を挙げる。図
５と図２（この部分は第１の実施例と同じ）に構成を示
す。第１の実施例と同じ構成部は同じ番号を付し説明は
省略する。第１の実施例と異なるのは、領域シフト手段
１１と対応点演算手段１２である。

【００２５】以下に第２の実施例の動作について説明す
る。画像メモリ１に画像を取り込み視差データ、評価デ
ータを演算するまでは第１の実施例と同じである。領域
シフト手段１１では、求められた対応点の評価データを
用い、評価が悪い部分について対応点の演算領域（式１
のZn）の位置を丁度半周期分だけ左右にずらした、２個
の演算領域で対応点を演算する制御を行う。対応点の演
算は対応点演算手段１２で行う。演算点が数個連続して
ある場合には、演算領域を初めの位置から１８０度シフ
トして演算することになる。このように演算領域Ｚｎを
半周期ずらすことにより、図６に示すように視差エッジ
をまたいでいる演算領域Ａ１が、Ａ２、Ａ３のように視
差エッジを殆どまたがないようになる。

【００２６】このように視差エッジをまたがない場合、
１つの演算領域内で（例えばＡ２）で視差の大きな変化
がなく、対応演算が良い評価値で演算できることにな
る。また演算領域Ｂ１では半周期ずらした状態がＢ２、
Ｂ３となり、視差の境界を含まないＢ２の評価値が改善
できる。このように視差エッジに対応する評価値の悪い
部分を改善し、第１の実施例のオクルージョン判定手段
５から視差補充手段８の各処理により視差を求める。

【００２７】以上のように本発明の第２の実施例によれ
ば、視差が変化する近辺の視差の演算を第１の実施例よ
り正確に行え、より正しい視差を検出できその実用的価
値は高い。

【００２８】（第３の実施例）次に本発明の第３の実施
例について説明する。本発明の第３の実施例では第１お
よび第２の実施例の視差の境界及びオクルージョンの境
界における演算方法を示す。図７、図８及び図１（この
部分は第１の実施例と同じ）に構成を示す。

【００２９】なお、第１の実施例と同じ構成部は同じ番
号を付し説明は省略する。第１の実施例に追加され異な
るのは以下に示す各手段で、図中２１、２２はエッジ抽
出手段、２３、２５、２７は選択手段、２４は統合手
段、２６は対応変換手段、２８は視差外挿手段、２９は
ノイズ抑圧手段、３０は視差統合手段、３１は視差補充
手段である。

【００３０】以下に第３の実施例の動作について説明す
る。画像メモリ１に画像を取り込み視差データ、オクル
ージョンデータを演算し求める方法は第１および第２の
実施例と同じである。このようにして得られた評価デー
タと画像データのエッジをエッジ抽出手段２１、２２で
演算する。次に評価データのエッジでオクルージョン部
分に含まれない部分を選択手段２３で求め、画像のエッ
ジと非オクルージョン部の評価データエッジを統合手段
２４で統合する。

【００３１】統合方法の１例として、エッジ成分の絶対
値をとりその平均レベルをエッジの強度とする。このエ
ッジ強度の積を統合レベルとし、統合レベルの一定値以
上を選択し、統合した視差エッジとする。この視差エッ
ジはオクルージョン部を含まず、且つ画像のエッジに対
応したものである。次に画像のエッジでオクルージョン
部に含まれるものを選択手段２５で選ぶ。また非オクル
ージョン部の視差（画像）エッジの近傍に対応する対応
画像（非オクルージョン部の視差（画像）エッジが左基
準（左画像）なら右基準（右画像）、またはその逆）の
エッジの近傍を視差データ（左画像と右画像の対応関係
を示すデータである）を用い、対応変換手段２６で求め
る。

【００３２】図３を用いて上記のオクルージョン部の視
差エッジの求め方を説明する。統合手段２４で抽出され
た視差エッジ且つ画像エッジはＡ’Ｂ’ではさまれる部
分である。このデータと視差データから対応変換手段２
６では対応画像のＡとＢの近傍部分が出力される。次に
選択手段２５からオクルージョン部の画像エッジ（Ｂの
すぐ右のエッジ）が出力され、この出力と対応変換手段
２６の出力でともに出力される部分を選択手段２７で選
択し、Ｂ近傍の視差エッジで且つ画像エッジの部分を出
力する。

【００３３】以上のようにして非オクルージョン部の視
差エッジで且つ画像のエッジである部分をもとに、対応
画像中の対応部でオクルージョン部に含まれる視差エッ
ジ且つ画像エッジを選択手段２７で選択し、オクルージ
ョン部の視差エッジとする。このように非オクルージョ
ン部、オクルージョン部の視差エッジを左右画像の対応
が確かな部分より安定に求めたあと、視差補充と視差外
挿を行う。

【００３４】図９を用いて視差補充、視差外挿の説明す
る。図９（ａ）は左画像基準視差、（ｂ）は右画像基準
の視差を示す。オクルージョン部の視差補充は右画像を
基準（図９(ａ)）とした視差データのとき、視差補充は
右側から左側に行う。オクルージョン部を補充する視差
データはオクルージョン部の右側の視差データを補充す
る。９図（ａ）のＡ点はオクルージョン部の右側で、評
価値が良く（低く）安定した正しい対応（Ａ’点）があ
る。このＡ点から上記方法で安定にもとめた視差エッジ
まで補充を行う。

【００３５】左画像を基準とした視差を補充する場合に
は、オクルージョン部の左側から右側に行う。左基準と
右基準では左右の方向が逆になるが、その他の処理は同
じである。この視差補充は視差補充手段３１で行う。次
に視差の外挿は視差外挿手段２８で、図９（ｂ）に示す
ように、非オクルージョン部の視差エッジまで左右の安
定した視差（Ａ’Ｂ’点の視差）を外挿する。また視差
のエッジ部でない視差データはノイズ抑圧手段２９を用
い、視差データにメディアンフィルタを掛けることによ
り周囲の視差と異なる値の視差を取り除く。

【００３６】メディアンの処理は、中心と周囲の９近傍
の視差のデータの中央値２個の平均を用いる。評価値が
悪くデータ数が少ないときは、データ数が奇数のときは
中央値のデータを出力し、偶数のときは２個の中央値の
平均とする。データ数が４未満ではメディアン処理を行
わない。このようにして視差のノイズ成分を抑圧し、オ
クルージョン部で視差の補充されたものと、視差エッジ
で視差を外挿したものを視差統合手段３０で統合する。
統合はまず視差のエッジ部分及びオクルージョン部でな
いデータを採用し、次に視差エッジ部、最後にオクルー
ジョン部のデータを採用して統合する。このようにして
２枚（複数）の画像からその対応関係をしらべ、視差を
演算する。

【００３７】以上のようにまず、画像データ、左右画像
の対応の評価データから安定して求められる非オクルー
ジョン部の視差エッジを求める。次にこの非オクルージ
ョン部視差エッジの周辺に対応する対応画像の視差エッ
ジ周辺と、オクルージョン部の画像エッジから、オクル
ージョン部の視差エッジを求める。このようにオクルー
ジョンがなく、安定して演算できる部分より視差と視差
エッジを求め、その後にオクルージョン部の視差エッジ
を求める。このようにして求めた視差エッジ、オクルー
ジョン部の視差エッジを用いて、安定に求めなれなかっ
た部分の視差を補充、外挿し２枚（複数）の画像からな
るべく正確な視差を演算する。この方式によりオクルー
ジョンのない部分と、オクルージョンがある部において
もより正確な視差を効率的に求めることが可能となり、
その実用的価値は非常に高い。

【００３８】なお、ノイズ抑圧手段２９は視差統合手段
３０の後でもよい。また、低評価部抑圧手段７は評価の
低い部分を取り除くだけでなく、周辺部のデータの中央
値（メディアン）を採用しても良く、また評価値に応じ
た重み付平均を用いることもできる。また領域シフト手
段１１は水平方向だけでなく、垂直方向、斜め方向にず
らしてもよい。

【００３９】なお本実施例では、入力される画像を２枚
とした例を示したが、入力画像は２枚に限る必要はな
く、３枚、４枚でもよい。枚数が多くなれば情報量が増
加し、異なる画像の組合せで求めた視差を組合せ、正確
さを増す方向での処理も可能である。

【００４０】また画像の対応関係の演算を式１を用いて
行ったが、式１に限る必要はなく、絶対値を２乗にして
もよく、またそれ以上の次数でもよい。また対応関係で
あるので相関値の演算でもよい。

【００４１】（第４の実施例）次に上記の視差演算装置
を用いた画像合成装置の構成例を図面を参照しながら説
明する。図１０に画像合成装置の合成部の構成を示す。
視差検出部は第１から第３の実施例の視差演算装置を用
い、画像構成装置の前部の処理を行う。図１０に示され
る入力信号（データ）は視差演算装置のものである。図
１０において、４１は視差データを距離データに変換す
る視差距離変換手段、４２はオクルージョン部の画像の
さらに遮蔽側の画像を生成する画像生成手段、４３は距
離データと生成画像データと画像データから指定された
視線方向の画像を合成する画像合成手段である。以下各
部の動作を説明する。

【００４２】入力される視差データは第１から第３の実
施例で示したような視差の演算結果（図１０に視差出力
で記載）である。視差距離変換手段４１では視差データ
を実際の距離に変換する。変換された距離Ｚは式５で求
める。（式５）Ｚ＝ａＦ／ｄここでａは視差を求めた画像を撮像したカメラ間の距離
（基線長）である。Ｆはカメラのレンズの焦点距離であ
る。ｄは視差である。次に画像生成手段４２はオクルー
ジョンデータと視差出力データを用い、オクルージョン
部の両側で視差の小さい方向を検出する。オクルージョ
ン部のこの方向に延長された部分は、オクルージョン部
を撮影したカメラでも前の部分にある物体に遮蔽されて
画像として撮影されなかった部分である。

【００４３】図１１でこの部分の説明を行う。図１１
（ａ）は右カメラの画像で、オクルージョン部を斜線で
示す。Ｂは前にある物体の像で、Ａは後ろにある物体の
像である。斜線部はオクルージョン部つまり左カメラで
は物体Ｂのため、Ａの左側が遮蔽され見えない（撮像さ
れない）部分である。このときの側面図を’（ｂ）に示
す。この時Ｖの方向から見た画像を合成しようとしたと
き、Ｃの部分の画像が右カメラにも撮像されておらず、
この部分の画像がなくなることになる。この部分が上に
示したオクルージョン部の視差の小さい方向の部分であ
る。この部分の画像の抜けを防止するため、Ｃの部分の
画像の生成を行う。生成の方法はオクルージョン部Ｏと
その右側Ａの画像と同じ画像を、左右方向を逆にしてＣ
の部分の画像とする。このようにすると生成の方法は単
純であり、生成した画像は比較的自然にみえる。また画
像を生成した部分の視差はオクルージョン部と同じに設
定する。

【００４４】このように物体の影で撮像されていない部
分を、画像生成部４２で生成する。このように生成され
た画像と、カメラで撮像された画像と画像各部の距離デ
ータをもとに、画像合成部４３で視線方向を設定した画
像を合成する。合成方法は、まず設定された視線方向が
カメラで撮影された方向に対して、どの方向（右、斜め
左）に何度異なっているかで処理を行う。設定された視
線方向（カメラで撮影された方向の差）に画像データを
シフトする。シフト量Ｓは式６で決定する。（式６）Ｓ＝ｋ／Ｚここでｋは定数である。

【００４５】さらに式５を式６に代入すると、式７とな
る。（式７）Ｓ＝ｋｄ／ａＦ＝ｂｄここでｂは定数であり基線長とレンズの焦点距離及び定
数ｋできまる。画像のシフト量は、基本的には視差ｄに
比例させればよい。このようにして指定された視線方向
に、画像データを視差の大きさに比例させて移動させる
ことにより、画像を合成する。上下方向を含む画像のシ
フトは以下の方法で画像を生成する。合成した画像でデ
ータのない部分の上下で距離の遠い（視差の小さい）部
分の画像を用い、データのない方向に画像データを外挿
する。この方法はオクルージョン部分の処理の方向を９
０度変化させた処理である。合成に用いる画像は、指定
された視線方向に近いカメラで撮像されたものが適して
いるが、どちらのカメラの画像を用いてもよい。この処
理を画像合成手段４３で行う。

【００４６】以上のように本実施例の画像合成方法で
は、視線方向をカメラの撮像方向から大きく変化させた
場合に生じる、画像の抜け（画像データがない部分）と
なる部分の画像を生成することにより、視線方向が大き
く異なった場合においても、画像の抜けがなく違和感の
ない、自然な画像を合成することが可能となる。

【００４７】なお、画像の生成方法は遮蔽部分の近傍の
画像の反転に限る必要はなく、遮蔽部がなくなった反対
側の部分の画像データ（物体により遮蔽が発生するが、
その物体がなくなった部分での背景の画像データ）を用
いてもよい。

【００４８】また、画像合成方法は、図１２に示す構成
でもよい。図１２において、４４は画像シフト手段、４
５は画像ぬけ検出手段、４６は画像外挿手段、４７は画
像合成手段である。まず初めに画像シフト手段４４で視
差の大きさに応じて視線方向に画像を移動させる。次に
画像ぬけ検出手段４５で画像の移動により画像データが
ない部分を検出する。検出された画像データのないぬけ
の周辺の画像で視差が小さい部分（遠くにある部分）の
画像データを用い、画像データのない部分に外挿する。
外挿は画像外挿手段４６で行う。

【００４９】外挿の方法は画像データを外挿方向と反対
方向にある画像データをそのまま画像の外挿値とする。
外挿された画像と視線方向の反対側に移動された画像の
加算を画像合成手段４７で行う。

【００５０】以上の処理を行うことにより、左右方向と
上下方向の処理を同じ回路や処理ソフトで実現でき、効
率的な画像合成が行える。

【００５１】

【発明の効果】以上のように本発明によれば、物体によ
る遮蔽があった場合においても、基準とする画像を替え
た遮蔽の条件の異なる条件で対応関係を調べることによ
り、遮蔽の正しい判定を行うことが可能になる。

【００５２】また視差の境界があり、対応が正しく求ま
らない条件で、対応関係を演算する領域を移動して対応
を求めることにより、視差境界いっぱいまで正しい対応
が求めることが可能になる。

【００５３】さらに視差の境界を、輝度の境界と対応評
価の値を用いて推定し、視差の境界に対する分解能が低
い対応演算結果から分解能の高い視差を演算することが
可能となり、より正確な視差を効率的に求めることが可
能となる。またオクルージョン部の視差境界も、オクル
ージョンでない部分の視差境界部とその対応関係及び輝
度の境界より正しく推定でき、オクルージョン部におい
てもより正確な視差を効率的に求めることが可能とな
り、その実用的価値は非常に高い。

【００５４】また画像合成を行った場合、視差境界が正
確に求められ、視線方向を変化させた場合、視差境界に
なっている画像の境界が正確に合成することが可能にな
る。

【００５５】さらに画像データがない部分をオクルージ
ョン情報、視差情報をもとに周囲の画像データから外挿
することにより、視線方向を大きく変化させた場合にお
いても、画像の抜けが発生しないようにすることがで
き、違和感がなく自然な画像を合成することが可能とな
る。

【図面の簡単な説明】

【図１】本発明の第１の実施例における視差演算装置の
前半部分の構成を示す図

【図２】本発明の第１の実施例における視差演算装置の
後半部分の構成を示す図

【図３】本実施例の視差演算装置のオクルージョン部検
出の方法を示す図

【図４】本実施例の視差演算装置の視差とオクルージョ
ン部視差補充を示す図

【図５】本発明の第２の実施例における視差演算装置の
前半部分の構成を示す図

【図６】本実施例の視差演算装置の視差エッジにおける
演算領域を示す図

【図７】本発明の第３の実施例における視差演算装置の
前半部分の構成を示す図

【図８】本発明の第３の実施例における視差演算装置の
後半部分の構成を示す図

【図９】本発明の第３の実施例における視差演算装置の
視差補充と視差外挿を示す図

【図１０】本発明の第４の実施例における画像合成装置
の構成を示す図

【図１１】本発明の第４の実施例における画像合成装置
の画像生成部を示す図

【図１２】本発明の第４の実施例における画像合成装置
の第２の構成を示す図

【符号の説明】

１画像メモリ２対応点演算手段３視差データ演算手段４評価データ蓄積手段５オクルージョン判定手段６オクルージョンデータ蓄積手段７低評価部抑圧手段８、３１視差補充手段１１領域シフト手段２１、２２エッジ抽出手段２３、２５、２７選択手段２４統合手段２６対応変換手段２８視差外挿手段２９ノイズ抑圧手段３０視差統合手段４１視差距離変換手段４２画像生成手段４３、４７画像合成手段４４画像シフト手段４５画像ぬけ検出手段４６画像外挿手段

Claims

【特許請求の範囲】

【請求項１】入力された２種類以上の画像信号の対応を
求める対応点演算手段と、前記対応点演算手段の結果に
基づいて視差データを演算する視差データ演算手段と、
前記対応点演算手段の結果から対応の評価を求める対応
評価手段と、前記視差データと前記対応の評価よりオク
ルージョンの判定を行うオクルージョン判定手段とを具
備し、入力された２種類以上の画像中の物体の対応関係
をそれぞれの画像を基準として求め、物体の遮蔽により
対応しない部分を他の画像を基準として求めた対応関係
より判定し、遮蔽のある部分を決定して遮蔽された部分
の視差を推定し、前記対応点演算より求めた視差と統合
する視差演算装置。
【請求項２】入力された２種類以上の画像信号の対応を
求める対応点演算手段と、前記対応点演算手段の結果に
基づいて視差データを演算する視差データ演算手段と、
前記対応点演算手段の結果から対応の評価を求める対応
評価手段と、前記対応評価演算手段の結果が良くない部
分の対応演算位置を変更して対応点の演算を行わす領域
シフト制御手段と、前記視差データと前記対応の評価よ
りオクルージョンの判定を行うオクルージョン判定手段
とを具備し、入力された２種類以上の画像中の物体の対
応関係をそれぞれの画像を基準として求め、対応評価が
悪くなる部分の対応演算領域をシフトして対応評価を改
善し、物体の遮蔽により対応しない部分を他の画像を基
準として求めた対応関係より判定し、遮蔽のある部分を
決定して遮蔽された部分の視差を推定し、前記対応点演
算より求めた視差と統合する視差演算装置。
【請求項３】入力された２種類以上の画像信号の対応を
求める対応点演算手段と、前記対応点演算手段の結果に
基づいて視差データを演算する視差データ演算手段と、
前記対応点演算手段の結果から対応の評価値を求める対
応評価手段と、前記視差データと前記対応の評価よりオ
クルージョンの判定を行うオクルージョン判定手段と、
前記対応評価値の変動部分を抽出する対応評価エッジ抽
出部と、前記画像信号の変動部分を抽出する画像エッジ
抽出部とを具備し、前記オクルージョンの判定結果と前
記対応評価エッジの出力と画像エッジの出力より非オク
ルージョン部の視差エッジを抽出するとともに、前記オ
クルージョン部の視差エッジと前記オクルージョンの判
定結果と前記視差データよりオクルージョン部の視差エ
ッジを求め、遮蔽のある部分と正確な視差エッジを決定
して遮蔽された部分の視差を推定し、前記対応点演算よ
り求めた視差と統合する視差演算装置。
【請求項４】オクルージョン部はその近傍の視差から演
算して後ろ側の視差を補充する請求項１または２記載の
視差演算装置。
【請求項５】オクルージョン部は左基準画像であればオ
クルージョン部の左側の視差を補充し、右基準画像であ
ればオクルージョン部の右側の視差を補充する請求項１
または２記載の視差演算装置。
【請求項６】非オクルージョン部は視差エッジの両側か
ら視差エッジまで視差を外挿し、オクルージョン部は視
差から演算して後ろ側の視差を視差エッジまで補充する
請求項３記載の視差演算装置。
【請求項７】非オクルージョン部は視差エッジの両側か
ら視差エッジまで視差を外挿し、オクルージョン部は左
基準画像であればオクルージョン部の左側の視差を補充
し、右基準画像であればオクルージョン部の右側の視差
を補充する請求項３記載の視差演算装置。
【請求項８】画像データと画像データに対応する視差デ
ータから視線方向の画像を合成する画像合成手段を具備
し、視差データに応じて画像を移動させ画像を合成し、
画像の移動量が大きく画像データがない部分の画像を視
差の小さい部分の画像を用いて合成する画像合成装置。
【請求項９】入力された２種類以上の画像信号の対応を
求める対応点演算手段と、前記対応点演算手段の結果に
基づいて視差データを演算する視差データ演算手段と、
前記対応点演算手段の結果から対応の評価を求める対応
評価手段と、前記視差データと前記対応の評価よりオク
ルージョンの判定を行うオクルージョン判定手段とを具
備し、入力された２種類以上の画像中の物体の対応関係
をそれぞれの画像を基準として求め、物体の遮蔽により
対応しない部分を他の画像を基準として求めた対応関係
より決定し、遮蔽された部分の視差を推定して前記対応
点演算より求めた視差と統合し、前記オクルージョン判
定手段の出力と画像データよりオクルージョン部よりさ
らに内側の画像を合成する画像生成手段と、前記画像生
成手段の出力と前記統合された視差と画像データより定
められた視線方向の画像を合成する画像合成手段とを具
備し、任意の視線方向からの画像を合成する画像合成装
置。