JP3551467B2 - 視差演算装置、視差演算方法及び画像合成装置 - Google Patents
視差演算装置、視差演算方法及び画像合成装置 Download PDFInfo
- Publication number
- JP3551467B2 JP3551467B2 JP07479094A JP7479094A JP3551467B2 JP 3551467 B2 JP3551467 B2 JP 3551467B2 JP 07479094 A JP07479094 A JP 07479094A JP 7479094 A JP7479094 A JP 7479094A JP 3551467 B2 JP3551467 B2 JP 3551467B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- occlusion
- evaluation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、複数の画像から画像の対応関係を求め、画像の奥行きに対応する視差（奥行き）を求める画像の視差演算装置及び視差と画像データから任意の視線方向から見た画像を合成する画像合成装置に関する。
【０００２】
【従来の技術】
従来複数の画像から視差を求める場合、画像間の対応関係を画像の相関や、差分の加算などを演算し、最も相関が高く差分の加算が低い部分を画像間の対応点とし、対応点の位置の違いを視差として検出していた。また画像間の対応がはっきりしている部分だけから画像を合成するため、画像間の対応がとれる部分のみ画像を合成していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の画像の対応を調べ視差を演算する方法では、前後方向に物体が置かれている位置が異なり、後ろの物体が前の物体に遮蔽され見えない部分があった場合、対応関係が求まらず、視差が演算できなかった。特に前にある物体が撮像装置に近い場合、遮蔽部分が多くなり、視差が大きな範囲で求められないという課題があった。
【０００４】
また、従来対応関係を演算する密度で視差境界の分解能が決定されており、分解能の改善には対応関係の演算を高密度で（数多く）行うしか良い方法がなかった。また、画像間の対応関係がはっきりしない部分は画像間の対応がとれず、画像が合成できなかった。
【０００５】
本発明は、物体による遮蔽があった場合においても、基準とする画像を替え、遮蔽の条件のない条件で対応関係を調べることにより、遮蔽の正しい判定を行うことを目的とする。
【０００６】
また、視差の境界があり、対応が正しく求まらない条件で、対応関係を演算する領域を移動して対応を求めることにより、視差境界いっぱいまで正しい対応が求めることを目的とする。
【０００７】
さらに、視差の境界を、輝度の境界と対応評価の値を用いて推定し、視差の境界に対する分解能が低い対応演算結果から分解能の高い視差を推定することを目的とし、より正確な視差を効率的に求めることを目的とする。
【０００８】
また画像間の対応関係がはっきりわからない部分においても、遮蔽の条件を正しく判定し、遮蔽の関係から推定した視差を用いて、任意の視線方向の画像を画像でーたの抜けなく合成することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、画像間の対応のない部分を正しく対応のある部分から推定する構成としたものである。
【００１０】
所定の被写体を撮影した撮像位置の異なる右画像と左画像との画像間の対応を求める対応点演算手段と、前記対応点演算手段の結果に基づいて視差データを演算する視差データ演算手段と、前記視差データ演算手段により演算した視差の評価を求める対応評価手段と、前記視差データと前記評価よりオクルージョンの判定を行うオクルージョン判定手段とを具備し、前記対応評価手段は、前記右画像と左画像との画像中の物体の視差を右画像の画素位置を基準とした視差と左画像の画素位置を基準とした視差として求め、前記オクルージョン判定手段は、右画像信号を基準として視差が正しく求められた右画像上の２点とそれに対応する左画像上の２点のそれぞれの画像上の２点間の距離の差が一定値より大きいとき、その距離の大きい２点間を物体の遮蔽により視差が正しく求められない部分と判定し、視差補充手段は、遮蔽のある部分を決定して遮蔽された部分の視差を前記右画像又は左画像を基準とした視差データの補充を行う構成である。
【００１１】
【作用】
本発明によれば、物体による遮蔽があった場合においても、基準とする画像を替え、遮蔽の条件のない条件で対応関係を調べることにより、遮蔽の正しい判定を行うことが可能になる。
【００１２】
また視差の境界があり、対応が正しく求まらない条件で、対応関係を演算する領域を移動して対応を求めることにより、視差境界いっぱいまで正しい対応が求めることが可能になる。
【００１３】
さらに視差の境界を、輝度の境界と対応評価の値を用いて推定し、視差の境界に対する分解能が低い対応演算結果から分解能の高い視差を推定することを可能となし、より正確な視差を効率的に求めることが可能となる。
【００１４】
また画像間の対応関係がはっきりわからない部分においても、遮蔽の条件を正しく判定し、遮蔽の関係から推定した視差を用いて、任意の視線方向の画像を合成することが可能である。
【００１５】
【実施例】
以下本発明の実施例の視差演算装置について、図面を参照しながら説明する。
【００１６】
（第１の実施例）
図１、図２に本発明の第１の実施例における視差演算装置の構成の前半部分と後半部分とを示す。図中、１は入力画像を記憶する画像メモリ、２は画像間の対応を演算する対応点演算手段、３は対応点演算の結果に基づいて視差データを求める視差データ演算手段、４は演算された視差データの評価データを蓄積する対応評価手段としての評価データ蓄積手段、５は視差データと評価データよりオクルージョンの判定を行うオクルージョン判定手段、６はオクルージョンと判定されたデータを蓄積するオクルージョンデータ蓄積手段、７は評価データの悪い部分の視差を用いないようにする低評価部抑圧手段、８はオクルージョン部の視差を補充する視差補充手段である。以上のように構成された本実施例の視差演算装置の動作について説明する。
【００１７】
入力される画像は２台のステレオカメラで撮像されたもので、撮像位置のちがいにより近くの物体は撮像データの位置の異なり（視差に対応する）が多く、遠くの物体は撮像データの位置の異なり（視差）が少ないものである。これらの入力された画像は、まず画像メモリ１に蓄積され、１式に１例として示す対応点の演算を対応点演算手段２で行う。
ここでＳＲ、ＳＬは右画像、左画像の信号値でありＸｋ，Ｙｋは対応演算領域Ｚｎの内部の座標値である。Ｐｒ(Zn,i,j)は右画像を基準とする対応の評価値であり、ｉ，ｊは視差である。視差データ演算手段３では２式の演算を行い右画像基準の領域Znrの視差Ｄｓｒ(Zn)を求めそのデータを記録する。
（式２） Dsr(Zn)=(i,j) for MIN{Pr(Zn,i,j)}
またこの視差（i,j）のＰｒ（Zn,i,j）の値を右画像を基準とした領域Ｚｎの評価値として評価データ蓄積手段４に記録する。左画像を基準としたものは、式１のＳＲとＳＬを入れ替えて同様の演算を行う。
このようにして得られた右画像基準と左画像基準の視差データと評価データをもとに以下に示す遮蔽（オクルージョン）の判定をオクルージョン判定手段５で行う。オクルージョン判定の方法を図３を参照して行う。
【００１８】
図３（ａ）は左画像、（ｂ）は右画像、図３（ｃ）（ｄ）は図３（ａ）（ｂ）の拡大したものである。図３の斜線部は、オクルージョンにより左右の画像で対応部がなく、対応点が正しく計算できない領域を示したものである。また、右画像のＡ点は左画像のＡ’点に対応し、また右画像のＢ点は左画像のＢ’点に対応する。オクルージョンの判定は、対応が正しく求められ右画像基準の評価の良い（この例では評価値の小さい）Ａ点に対してさらに一定画素左（右でもよい）進んだＸ点（２点ＡＸの距離は領域Ｚｎの水平距離と同程度）での右画像基準の評価値を調べ、評価値が悪い（この例では評価値が大きい）場合、評価値の良いＡ点の対応点を調べＡ’とする。
【００１９】
（対応点は左画像に存在）次に左画像のＡ’点から一定画素左（Ａ点からＸ点の方向）のＢ’点の左画像基準の評価値を調べる。Ｂ’の評価値が悪い場合は、左右間の画像の対応演算が行えない状態（画像のレベルの変化が殆どない等の理由による）と判断する。またＢ’の評価値が良い場合、Ｂ’の対応点であるＢ点（右画像）を調べ、各画像上の距離ＡＢ，距離Ａ’Ｂ’を求める。距離ＡＢ−距離Ａ’Ｂ’が一定値より大きいとき、ＡＢ間をオクルージョン領域と判定する。左画像については左右の関係を逆にして同じ判定をする。
【００２０】
以上のオクルージョン判定をオクルージョン判定手段５で行い、判定された結果をオクルージョンデータ蓄積手段６に記憶する。次に、視差データと評価データをもとに、定められたレベルより低い評価値の付けられた視差データを不定とし、取り除く操作を低評価部抑圧手段７で行う。このようにして対応関係が不確かな部分を取り除いたあとでオクルージョン部の視差を視差補充手段８で補充する。視差補充の方法を図４を用いて説明する。
【００２１】
図４（ａ）で斜線部はオクルージョン部であり、オクルージョン部をはさんで点Ａ点Ｂが対応の評価値が良く、安定した視差が演算できている点である。右画像を基準とした視差データで右側の視差が左側の視差より小さい（遠くにある場合で、図４（ｂ）に示すように点Ａの視差はa2-a1、点Ｂの視差はb2-b1とする）場合にオクルージョンが発生する条件である。従って右画像を基準とした視差データの補充は右側から左側に行い、右側の視差視差データを補充する。
【００２２】
図４（ａ）のＡ点からア、イ、ウの順番で、視差が安定にもとまっているＢ点まで補充を行う。左画像を基準とした視差を補充する場合には、オクルージョン部の左側から右側に行う。左基準と右基準では左右の方向が逆になるが、その他の処理は同じである。このようにし視差を補充することにより、オクルージョンにより正しい対応がとれず視差がもとまらない状態でも、正しい視差と推定される視差を補充できる。
【００２３】
以上のように第１の実施例によれば、左右の画像間の対応関係が正しく求められる点をもとに、物体による遮蔽で左右の画像間の対応関係がない部分を正しく求め、さらにこの部分の視差を物体の遮蔽の関係から正しいと推定される視差を補充することが可能となり、その実用的価値は非常に高い。
【００２４】
（第２の実施例）
次に本発明の第２の実施例について説明する。本発明の第２の実施例では第１の実施例の対応点の演算方法の性能改善の例を挙げる。図５と図２（この部分は第１の実施例と同じ）に構成を示す。第１の実施例と同じ構成部は同じ番号を付し説明は省略する。第１の実施例と異なるのは、領域シフト手段１１と対応点演算手段１２である。
【００２５】
以下に第２の実施例の動作について説明する。画像メモリ１に画像を取り込み視差データ、評価データを演算するまでは第１の実施例と同じである。領域シフト手段１１では、求められた対応点の評価データを用い、評価が悪い部分について対応点の演算領域（式１のZn）の位置を丁度半周期分だけ左右にずらした、２個の演算領域で対応点を演算する制御を行う。対応点の演算は対応点演算手段１２で行う。演算点が数個連続してある場合には、演算領域を初めの位置から１８０度シフトして演算することになる。このように演算領域Ｚｎを半周期ずらすことにより、図６に示すように視差エッジをまたいでいる演算領域Ａ１が、Ａ２、Ａ３のように視差エッジを殆どまたがないようになる。
【００２６】
このように視差エッジをまたがない場合、１つの演算領域内で（例えばＡ２）で視差の大きな変化がなく、対応演算が良い評価値で演算できることになる。また演算領域Ｂ１では半周期ずらした状態がＢ２、Ｂ３となり、視差の境界を含まないＢ２の評価値が改善できる。このように視差エッジに対応する評価値の悪い部分を改善し、第１の実施例のオクルージョン判定手段５から視差補充手段８の各処理により視差を求める。
【００２７】
以上のように本発明の第２の実施例によれば、視差が変化する近辺の視差の演算を第１の実施例より正確に行え、より正しい視差を検出できその実用的価値は高い。
【００２８】
（第３の実施例）
次に本発明の第３の実施例について説明する。本発明の第３の実施例では第１および第２の実施例の視差の境界及びオクルージョンの境界における演算方法を示す。図７、図８及び図１（この部分は第１の実施例と同じ）に構成を示す。
【００２９】
なお、第１の実施例と同じ構成部は同じ番号を付し説明は省略する。第１の実施例に追加され異なるのは以下に示す各手段で、図中２１、２２はエッジ抽出手段、２３、２５、２７は選択手段、２４は統合手段、２６は対応変換手段、２８は視差外挿手段、２９はノイズ抑圧手段、３０は視差統合手段、３１は視差補充手段である。
【００３０】
以下に第３の実施例の動作について説明する。画像メモリ１に画像を取り込み視差データ、オクルージョンデータを演算し求める方法は第１および第２の実施例と同じである。このようにして得られた評価データと画像データのエッジをエッジ抽出手段２１、２２で演算する。次に評価データのエッジでオクルージョン部分に含まれない部分を選択手段２３で求め、画像のエッジと非オクルージョン部の評価データエッジを統合手段２４で統合する。
【００３１】
統合方法の１例として、エッジ成分の絶対値をとりその平均レベルをエッジの強度とする。このエッジ強度の積を統合レベルとし、統合レベルの一定値以上を選択し、統合した視差エッジとする。この視差エッジはオクルージョン部を含まず、且つ画像のエッジに対応したものである。次に画像のエッジでオクルージョン部に含まれるものを選択手段２５で選ぶ。また非オクルージョン部の視差（画像）エッジの近傍に対応する対応画像（非オクルージョン部の視差（画像）エッジが左基準（左画像）なら右基準（右画像）、またはその逆）のエッジの近傍を視差データ（左画像と右画像の対応関係を示すデータである）を用い、対応変換手段２６で求める。
【００３２】
図３を用いて上記のオクルージョン部の視差エッジの求め方を説明する。統合手段２４で抽出された視差エッジ且つ画像エッジはＡ’Ｂ’ではさまれる部分である。このデータと視差データから対応変換手段２６では対応画像のＡとＢの近傍部分が出力される。次に選択手段２５からオクルージョン部の画像エッジ（Ｂのすぐ右のエッジ）が出力され、この出力と対応変換手段２６の出力でともに出力される部分を選択手段２７で選択し、Ｂ近傍の視差エッジで且つ画像エッジの部分を出力する。
【００３３】
以上のようにして非オクルージョン部の視差エッジで且つ画像のエッジである部分をもとに、対応画像中の対応部でオクルージョン部に含まれる視差エッジ且つ画像エッジを選択手段２７で選択し、オクルージョン部の視差エッジとする。このように非オクルージョン部、オクルージョン部の視差エッジを左右画像の対応が確かな部分より安定に求めたあと、視差補充と視差外挿を行う。
【００３４】
図９を用いて視差補充、視差外挿の説明する。図９（ａ）は左画像基準視差、（ｂ）は右画像基準の視差を示す。オクルージョン部の視差補充は右画像を基準（図９(ａ)）とした視差データのとき、視差補充は右側から左側に行う。オクルージョン部を補充する視差データはオクルージョン部の右側の視差データを補充する。９図（ａ）のＡ点はオクルージョン部の右側で、評価値が良く（低く）安定した正しい対応（Ａ’点）がある。このＡ点から上記方法で安定にもとめた視差エッジまで補充を行う。
【００３５】
左画像を基準とした視差を補充する場合には、オクルージョン部の左側から右側に行う。左基準と右基準では左右の方向が逆になるが、その他の処理は同じである。この視差補充は視差補充手段３１で行う。次に視差の外挿は視差外挿手段２８で、図９（ｂ）に示すように、非オクルージョン部の視差エッジまで左右の安定した視差（Ａ’Ｂ’点の視差）を外挿する。また視差のエッジ部でない視差データはノイズ抑圧手段２９を用い、視差データにメディアンフィルタを掛けることにより周囲の視差と異なる値の視差を取り除く。
【００３６】
メディアンの処理は、中心と周囲の９近傍の視差のデータの中央値２個の平均を用いる。評価値が悪くデータ数が少ないときは、データ数が奇数のときは中央値のデータを出力し、偶数のときは２個の中央値の平均とする。データ数が４未満ではメディアン処理を行わない。このようにして視差のノイズ成分を抑圧し、オクルージョン部で視差の補充されたものと、視差エッジで視差を外挿したものを視差統合手段３０で統合する。統合はまず視差のエッジ部分及びオクルージョン部でないデータを採用し、次に視差エッジ部、最後にオクルージョン部のデータを採用して統合する。このようにして２枚（複数）の画像からその対応関係をしらべ、視差を演算する。
【００３７】
以上のようにまず、画像データ、左右画像の対応の評価データから安定して求められる非オクルージョン部の視差エッジを求める。次にこの非オクルージョン部視差エッジの周辺に対応する対応画像の視差エッジ周辺と、オクルージョン部の画像エッジから、オクルージョン部の視差エッジを求める。このようにオクルージョンがなく、安定して演算できる部分より視差と視差エッジを求め、その後にオクルージョン部の視差エッジを求める。このようにして求めた視差エッジ、オクルージョン部の視差エッジを用いて、安定に求めなれなかった部分の視差を補充、外挿し２枚（複数）の画像からなるべく正確な視差を演算する。この方式によりオクルージョンのない部分と、オクルージョンがある部においてもより正確な視差を効率的に求めることが可能となり、その実用的価値は非常に高い。
【００３８】
なお、ノイズ抑圧手段２９は視差統合手段３０の後でもよい。また、低評価部抑圧手段７は評価の低い部分を取り除くだけでなく、周辺部のデータの中央値（メディアン）を採用しても良く、また評価値に応じた重み付平均を用いることもできる。また領域シフト手段１１は水平方向だけでなく、垂直方向、斜め方向にずらしてもよい。
【００３９】
なお本実施例では、入力される画像を２枚とした例を示したが、入力画像は２枚に限る必要はなく、３枚、４枚でもよい。枚数が多くなれば情報量が増加し、異なる画像の組合せで求めた視差を組合せ、正確さを増す方向での処理も可能である。
【００４０】
また画像の対応関係の演算を式１を用いて行ったが、式１に限る必要はなく、絶対値を２乗にしてもよく、またそれ以上の次数でもよい。また対応関係であるので相関値の演算でもよい。
【００４１】
（第４の実施例）
次に上記の視差演算装置を用いた画像合成装置の構成例を図面を参照しながら説明する。図１０に画像合成装置の合成部の構成を示す。視差検出部は第１から第３の実施例の視差演算装置を用い、画像構成装置の前部の処理を行う。図１０に示される入力信号（データ）は視差演算装置のものである。図１０において、４１は視差データを距離データに変換する視差距離変換手段、４２はオクルージョン部の画像のさらに遮蔽側の画像を生成する画像生成手段、４３は距離データと生成画像データと画像データから指定された視線方向の画像を合成する画像合成手段である。以下各部の動作を説明する。
【００４２】
入力される視差データは第１から第３の実施例で示したような視差の演算結果（図１０に視差出力で記載）である。視差距離変換手段４１では視差データを実際の距離に変換する。変換された距離Ｚは式５で求める。
（式５） Ｚ＝ａＦ／ｄ
ここでａは視差を求めた画像を撮像したカメラ間の距離（基線長）である。Ｆはカメラのレンズの焦点距離である。ｄは視差である。次に画像生成手段４２はオクルージョンデータと視差出力データを用い、オクルージョン部の両側で視差の小さい方向を検出する。オクルージョン部のこの方向に延長された部分は、オクルージョン部を撮影したカメラでも前の部分にある物体に遮蔽されて画像として撮影されなかった部分である。
【００４３】
図１１でこの部分の説明を行う。図１１（ａ）は右カメラの画像で、オクルージョン部を斜線で示す。Ｂは前にある物体の像で、Ａは後ろにある物体の像である。斜線部はオクルージョン部つまり左カメラでは物体Ｂのため、Ａの左側が遮蔽され見えない（撮像されない）部分である。このときの側面図を’（ｂ）に示す。この時Ｖの方向から見た画像を合成しようとしたとき、Ｃの部分の画像が右カメラにも撮像されておらず、この部分の画像がなくなることになる。この部分が上に示したオクルージョン部の視差の小さい方向の部分である。この部分の画像の抜けを防止するため、Ｃの部分の画像の生成を行う。生成の方法はオクルージョン部Ｏとその右側Ａの画像と同じ画像を、左右方向を逆にしてＣの部分の画像とする。このようにすると生成の方法は単純であり、生成した画像は比較的自然にみえる。また画像を生成した部分の視差はオクルージョン部と同じに設定する。
【００４４】
このように物体の影で撮像されていない部分を、画像生成部４２で生成する。このように生成された画像と、カメラで撮像された画像と画像各部の距離データをもとに、画像合成部４３で視線方向を設定した画像を合成する。合成方法は、まず設定された視線方向がカメラで撮影された方向に対して、どの方向（右、斜め左）に何度異なっているかで処理を行う。設定された視線方向（カメラで撮影された方向の差）に画像データをシフトする。シフト量Ｓは式６で決定する。
（式６） Ｓ＝ｋ／Ｚ
ここでｋは定数である。
【００４５】
さらに式５を式６に代入すると、式７となる。
（式７） Ｓ＝ｋｄ／ａＦ＝ｂｄ
ここでｂは定数であり基線長とレンズの焦点距離及び定数ｋできまる。画像のシフト量は、基本的には視差ｄに比例させればよい。このようにして指定された視線方向に、画像データを視差の大きさに比例させて移動させることにより、画像を合成する。上下方向を含む画像のシフトは以下の方法で画像を生成する。合成した画像でデータのない部分の上下で距離の遠い（視差の小さい）部分の画像を用い、データのない方向に画像データを外挿する。この方法はオクルージョン部分の処理の方向を９０度変化させた処理である。合成に用いる画像は、指定された視線方向に近いカメラで撮像されたものが適しているが、どちらのカメラの画像を用いてもよい。この処理を画像合成手段４３で行う。
【００４６】
以上のように本実施例の画像合成方法では、視線方向をカメラの撮像方向から大きく変化させた場合に生じる、画像の抜け（画像データがない部分）となる部分の画像を生成することにより、視線方向が大きく異なった場合においても、画像の抜けがなく違和感のない、自然な画像を合成することが可能となる。
【００４７】
なお、画像の生成方法は遮蔽部分の近傍の画像の反転に限る必要はなく、遮蔽部がなくなった反対側の部分の画像データ（物体により遮蔽が発生するが、その物体がなくなった部分での背景の画像データ）を用いてもよい。
【００４８】
また、画像合成方法は、図１２に示す構成でもよい。図１２において、４４は画像シフト手段、４５は画像ぬけ検出手段、４６は画像外挿手段、４７は画像合成手段である。まず初めに画像シフト手段４４で視差の大きさに応じて視線方向に画像を移動させる。次に画像ぬけ検出手段４５で画像の移動により画像データがない部分を検出する。検出された画像データのないぬけの周辺の画像で視差が小さい部分（遠くにある部分）の画像データを用い、画像データのない部分に外挿する。外挿は画像外挿手段４６で行う。
【００４９】
外挿の方法は画像データを外挿方向と反対方向にある画像データをそのまま画像の外挿値とする。外挿された画像と視線方向の反対側に移動された画像の加算を画像合成手段４７で行う。
【００５０】
以上の処理を行うことにより、左右方向と上下方向の処理を同じ回路や処理ソフトで実現でき、効率的な画像合成が行える。
【００５１】
【発明の効果】
以上のように本発明によれば、物体による遮蔽があった場合においても、基準とする画像を替えた遮蔽の条件の異なる条件で対応関係を調べることにより、遮蔽の正しい判定を行うことが可能になる。
【００５２】
また視差の境界があり、対応が正しく求まらない条件で、対応関係を演算する領域を移動して対応を求めることにより、視差境界いっぱいまで正しい対応が求めることが可能になる。
【００５３】
さらに視差の境界を、輝度の境界と対応評価の値を用いて推定し、視差の境界に対する分解能が低い対応演算結果から分解能の高い視差を演算することが可能となり、より正確な視差を効率的に求めることが可能となる。またオクルージョン部の視差境界も、オクルージョンでない部分の視差境界部とその対応関係及び輝度の境界より正しく推定でき、オクルージョン部においてもより正確な視差を効率的に求めることが可能となり、その実用的価値は非常に高い。
【００５４】
また画像合成を行った場合、視差境界が正確に求められ、視線方向を変化させた場合、視差境界になっている画像の境界が正確に合成することが可能になる。
【００５５】
さらに画像データがない部分をオクルージョン情報、視差情報をもとに周囲の画像データから外挿することにより、視線方向を大きく変化させた場合においても、画像の抜けが発生しないようにすることができ、違和感がなく自然な画像を合成することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例における視差演算装置の前半部分の構成を示す図
【図２】本発明の第１の実施例における視差演算装置の後半部分の構成を示す図
【図３】本実施例の視差演算装置のオクルージョン部検出の方法を示す図
【図４】本実施例の視差演算装置の視差とオクルージョン部視差補充を示す図
【図５】本発明の第２の実施例における視差演算装置の前半部分の構成を示す図
【図６】本実施例の視差演算装置の視差エッジにおける演算領域を示す図
【図７】本発明の第３の実施例における視差演算装置の前半部分の構成を示す図
【図８】本発明の第３の実施例における視差演算装置の後半部分の構成を示す図
【図９】本発明の第３の実施例における視差演算装置の視差補充と視差外挿を示す図
【図１０】本発明の第４の実施例における画像合成装置の構成を示す図
【図１１】本発明の第４の実施例における画像合成装置の画像生成部を示す図
【図１２】本発明の第４の実施例における画像合成装置の第２の構成を示す図
【符号の説明】
１ 画像メモリ
２ 対応点演算手段
３ 視差データ演算手段
４ 評価データ蓄積手段
５ オクルージョン判定手段
６ オクルージョンデータ蓄積手段
７ 低評価部抑圧手段
８、３１ 視差補充手段
１１ 領域シフト手段
２１、２２ エッジ抽出手段
２３、２５、２７ 選択手段
２４ 統合手段
２６ 対応変換手段
２８ 視差外挿手段
２９ ノイズ抑圧手段
３０ 視差統合手段
４１ 視差距離変換手段
４２ 画像生成手段
４３、４７ 画像合成手段
４４ 画像シフト手段
４５ 画像ぬけ検出手段
４６ 画像外挿手段
【産業上の利用分野】
本発明は、複数の画像から画像の対応関係を求め、画像の奥行きに対応する視差（奥行き）を求める画像の視差演算装置及び視差と画像データから任意の視線方向から見た画像を合成する画像合成装置に関する。
【０００２】
【従来の技術】
従来複数の画像から視差を求める場合、画像間の対応関係を画像の相関や、差分の加算などを演算し、最も相関が高く差分の加算が低い部分を画像間の対応点とし、対応点の位置の違いを視差として検出していた。また画像間の対応がはっきりしている部分だけから画像を合成するため、画像間の対応がとれる部分のみ画像を合成していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の画像の対応を調べ視差を演算する方法では、前後方向に物体が置かれている位置が異なり、後ろの物体が前の物体に遮蔽され見えない部分があった場合、対応関係が求まらず、視差が演算できなかった。特に前にある物体が撮像装置に近い場合、遮蔽部分が多くなり、視差が大きな範囲で求められないという課題があった。
【０００４】
また、従来対応関係を演算する密度で視差境界の分解能が決定されており、分解能の改善には対応関係の演算を高密度で（数多く）行うしか良い方法がなかった。また、画像間の対応関係がはっきりしない部分は画像間の対応がとれず、画像が合成できなかった。
【０００５】
本発明は、物体による遮蔽があった場合においても、基準とする画像を替え、遮蔽の条件のない条件で対応関係を調べることにより、遮蔽の正しい判定を行うことを目的とする。
【０００６】
また、視差の境界があり、対応が正しく求まらない条件で、対応関係を演算する領域を移動して対応を求めることにより、視差境界いっぱいまで正しい対応が求めることを目的とする。
【０００７】
さらに、視差の境界を、輝度の境界と対応評価の値を用いて推定し、視差の境界に対する分解能が低い対応演算結果から分解能の高い視差を推定することを目的とし、より正確な視差を効率的に求めることを目的とする。
【０００８】
また画像間の対応関係がはっきりわからない部分においても、遮蔽の条件を正しく判定し、遮蔽の関係から推定した視差を用いて、任意の視線方向の画像を画像でーたの抜けなく合成することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、画像間の対応のない部分を正しく対応のある部分から推定する構成としたものである。
【００１０】
所定の被写体を撮影した撮像位置の異なる右画像と左画像との画像間の対応を求める対応点演算手段と、前記対応点演算手段の結果に基づいて視差データを演算する視差データ演算手段と、前記視差データ演算手段により演算した視差の評価を求める対応評価手段と、前記視差データと前記評価よりオクルージョンの判定を行うオクルージョン判定手段とを具備し、前記対応評価手段は、前記右画像と左画像との画像中の物体の視差を右画像の画素位置を基準とした視差と左画像の画素位置を基準とした視差として求め、前記オクルージョン判定手段は、右画像信号を基準として視差が正しく求められた右画像上の２点とそれに対応する左画像上の２点のそれぞれの画像上の２点間の距離の差が一定値より大きいとき、その距離の大きい２点間を物体の遮蔽により視差が正しく求められない部分と判定し、視差補充手段は、遮蔽のある部分を決定して遮蔽された部分の視差を前記右画像又は左画像を基準とした視差データの補充を行う構成である。
【００１１】
【作用】
本発明によれば、物体による遮蔽があった場合においても、基準とする画像を替え、遮蔽の条件のない条件で対応関係を調べることにより、遮蔽の正しい判定を行うことが可能になる。
【００１２】
また視差の境界があり、対応が正しく求まらない条件で、対応関係を演算する領域を移動して対応を求めることにより、視差境界いっぱいまで正しい対応が求めることが可能になる。
【００１３】
さらに視差の境界を、輝度の境界と対応評価の値を用いて推定し、視差の境界に対する分解能が低い対応演算結果から分解能の高い視差を推定することを可能となし、より正確な視差を効率的に求めることが可能となる。
【００１４】
また画像間の対応関係がはっきりわからない部分においても、遮蔽の条件を正しく判定し、遮蔽の関係から推定した視差を用いて、任意の視線方向の画像を合成することが可能である。
【００１５】
【実施例】
以下本発明の実施例の視差演算装置について、図面を参照しながら説明する。
【００１６】
（第１の実施例）
図１、図２に本発明の第１の実施例における視差演算装置の構成の前半部分と後半部分とを示す。図中、１は入力画像を記憶する画像メモリ、２は画像間の対応を演算する対応点演算手段、３は対応点演算の結果に基づいて視差データを求める視差データ演算手段、４は演算された視差データの評価データを蓄積する対応評価手段としての評価データ蓄積手段、５は視差データと評価データよりオクルージョンの判定を行うオクルージョン判定手段、６はオクルージョンと判定されたデータを蓄積するオクルージョンデータ蓄積手段、７は評価データの悪い部分の視差を用いないようにする低評価部抑圧手段、８はオクルージョン部の視差を補充する視差補充手段である。以上のように構成された本実施例の視差演算装置の動作について説明する。
【００１７】
入力される画像は２台のステレオカメラで撮像されたもので、撮像位置のちがいにより近くの物体は撮像データの位置の異なり（視差に対応する）が多く、遠くの物体は撮像データの位置の異なり（視差）が少ないものである。これらの入力された画像は、まず画像メモリ１に蓄積され、１式に１例として示す対応点の演算を対応点演算手段２で行う。
（式２） Dsr(Zn)=(i,j) for MIN{Pr(Zn,i,j)}
またこの視差（i,j）のＰｒ（Zn,i,j）の値を右画像を基準とした領域Ｚｎの評価値として評価データ蓄積手段４に記録する。左画像を基準としたものは、式１のＳＲとＳＬを入れ替えて同様の演算を行う。
【００１８】
図３（ａ）は左画像、（ｂ）は右画像、図３（ｃ）（ｄ）は図３（ａ）（ｂ）の拡大したものである。図３の斜線部は、オクルージョンにより左右の画像で対応部がなく、対応点が正しく計算できない領域を示したものである。また、右画像のＡ点は左画像のＡ’点に対応し、また右画像のＢ点は左画像のＢ’点に対応する。オクルージョンの判定は、対応が正しく求められ右画像基準の評価の良い（この例では評価値の小さい）Ａ点に対してさらに一定画素左（右でもよい）進んだＸ点（２点ＡＸの距離は領域Ｚｎの水平距離と同程度）での右画像基準の評価値を調べ、評価値が悪い（この例では評価値が大きい）場合、評価値の良いＡ点の対応点を調べＡ’とする。
【００１９】
（対応点は左画像に存在）次に左画像のＡ’点から一定画素左（Ａ点からＸ点の方向）のＢ’点の左画像基準の評価値を調べる。Ｂ’の評価値が悪い場合は、左右間の画像の対応演算が行えない状態（画像のレベルの変化が殆どない等の理由による）と判断する。またＢ’の評価値が良い場合、Ｂ’の対応点であるＢ点（右画像）を調べ、各画像上の距離ＡＢ，距離Ａ’Ｂ’を求める。距離ＡＢ−距離Ａ’Ｂ’が一定値より大きいとき、ＡＢ間をオクルージョン領域と判定する。左画像については左右の関係を逆にして同じ判定をする。
【００２０】
以上のオクルージョン判定をオクルージョン判定手段５で行い、判定された結果をオクルージョンデータ蓄積手段６に記憶する。次に、視差データと評価データをもとに、定められたレベルより低い評価値の付けられた視差データを不定とし、取り除く操作を低評価部抑圧手段７で行う。このようにして対応関係が不確かな部分を取り除いたあとでオクルージョン部の視差を視差補充手段８で補充する。視差補充の方法を図４を用いて説明する。
【００２１】
図４（ａ）で斜線部はオクルージョン部であり、オクルージョン部をはさんで点Ａ点Ｂが対応の評価値が良く、安定した視差が演算できている点である。右画像を基準とした視差データで右側の視差が左側の視差より小さい（遠くにある場合で、図４（ｂ）に示すように点Ａの視差はa2-a1、点Ｂの視差はb2-b1とする）場合にオクルージョンが発生する条件である。従って右画像を基準とした視差データの補充は右側から左側に行い、右側の視差視差データを補充する。
【００２２】
図４（ａ）のＡ点からア、イ、ウの順番で、視差が安定にもとまっているＢ点まで補充を行う。左画像を基準とした視差を補充する場合には、オクルージョン部の左側から右側に行う。左基準と右基準では左右の方向が逆になるが、その他の処理は同じである。このようにし視差を補充することにより、オクルージョンにより正しい対応がとれず視差がもとまらない状態でも、正しい視差と推定される視差を補充できる。
【００２３】
以上のように第１の実施例によれば、左右の画像間の対応関係が正しく求められる点をもとに、物体による遮蔽で左右の画像間の対応関係がない部分を正しく求め、さらにこの部分の視差を物体の遮蔽の関係から正しいと推定される視差を補充することが可能となり、その実用的価値は非常に高い。
【００２４】
（第２の実施例）
次に本発明の第２の実施例について説明する。本発明の第２の実施例では第１の実施例の対応点の演算方法の性能改善の例を挙げる。図５と図２（この部分は第１の実施例と同じ）に構成を示す。第１の実施例と同じ構成部は同じ番号を付し説明は省略する。第１の実施例と異なるのは、領域シフト手段１１と対応点演算手段１２である。
【００２５】
以下に第２の実施例の動作について説明する。画像メモリ１に画像を取り込み視差データ、評価データを演算するまでは第１の実施例と同じである。領域シフト手段１１では、求められた対応点の評価データを用い、評価が悪い部分について対応点の演算領域（式１のZn）の位置を丁度半周期分だけ左右にずらした、２個の演算領域で対応点を演算する制御を行う。対応点の演算は対応点演算手段１２で行う。演算点が数個連続してある場合には、演算領域を初めの位置から１８０度シフトして演算することになる。このように演算領域Ｚｎを半周期ずらすことにより、図６に示すように視差エッジをまたいでいる演算領域Ａ１が、Ａ２、Ａ３のように視差エッジを殆どまたがないようになる。
【００２６】
このように視差エッジをまたがない場合、１つの演算領域内で（例えばＡ２）で視差の大きな変化がなく、対応演算が良い評価値で演算できることになる。また演算領域Ｂ１では半周期ずらした状態がＢ２、Ｂ３となり、視差の境界を含まないＢ２の評価値が改善できる。このように視差エッジに対応する評価値の悪い部分を改善し、第１の実施例のオクルージョン判定手段５から視差補充手段８の各処理により視差を求める。
【００２７】
以上のように本発明の第２の実施例によれば、視差が変化する近辺の視差の演算を第１の実施例より正確に行え、より正しい視差を検出できその実用的価値は高い。
【００２８】
（第３の実施例）
次に本発明の第３の実施例について説明する。本発明の第３の実施例では第１および第２の実施例の視差の境界及びオクルージョンの境界における演算方法を示す。図７、図８及び図１（この部分は第１の実施例と同じ）に構成を示す。
【００２９】
なお、第１の実施例と同じ構成部は同じ番号を付し説明は省略する。第１の実施例に追加され異なるのは以下に示す各手段で、図中２１、２２はエッジ抽出手段、２３、２５、２７は選択手段、２４は統合手段、２６は対応変換手段、２８は視差外挿手段、２９はノイズ抑圧手段、３０は視差統合手段、３１は視差補充手段である。
【００３０】
以下に第３の実施例の動作について説明する。画像メモリ１に画像を取り込み視差データ、オクルージョンデータを演算し求める方法は第１および第２の実施例と同じである。このようにして得られた評価データと画像データのエッジをエッジ抽出手段２１、２２で演算する。次に評価データのエッジでオクルージョン部分に含まれない部分を選択手段２３で求め、画像のエッジと非オクルージョン部の評価データエッジを統合手段２４で統合する。
【００３１】
統合方法の１例として、エッジ成分の絶対値をとりその平均レベルをエッジの強度とする。このエッジ強度の積を統合レベルとし、統合レベルの一定値以上を選択し、統合した視差エッジとする。この視差エッジはオクルージョン部を含まず、且つ画像のエッジに対応したものである。次に画像のエッジでオクルージョン部に含まれるものを選択手段２５で選ぶ。また非オクルージョン部の視差（画像）エッジの近傍に対応する対応画像（非オクルージョン部の視差（画像）エッジが左基準（左画像）なら右基準（右画像）、またはその逆）のエッジの近傍を視差データ（左画像と右画像の対応関係を示すデータである）を用い、対応変換手段２６で求める。
【００３２】
図３を用いて上記のオクルージョン部の視差エッジの求め方を説明する。統合手段２４で抽出された視差エッジ且つ画像エッジはＡ’Ｂ’ではさまれる部分である。このデータと視差データから対応変換手段２６では対応画像のＡとＢの近傍部分が出力される。次に選択手段２５からオクルージョン部の画像エッジ（Ｂのすぐ右のエッジ）が出力され、この出力と対応変換手段２６の出力でともに出力される部分を選択手段２７で選択し、Ｂ近傍の視差エッジで且つ画像エッジの部分を出力する。
【００３３】
以上のようにして非オクルージョン部の視差エッジで且つ画像のエッジである部分をもとに、対応画像中の対応部でオクルージョン部に含まれる視差エッジ且つ画像エッジを選択手段２７で選択し、オクルージョン部の視差エッジとする。このように非オクルージョン部、オクルージョン部の視差エッジを左右画像の対応が確かな部分より安定に求めたあと、視差補充と視差外挿を行う。
【００３４】
図９を用いて視差補充、視差外挿の説明する。図９（ａ）は左画像基準視差、（ｂ）は右画像基準の視差を示す。オクルージョン部の視差補充は右画像を基準（図９(ａ)）とした視差データのとき、視差補充は右側から左側に行う。オクルージョン部を補充する視差データはオクルージョン部の右側の視差データを補充する。９図（ａ）のＡ点はオクルージョン部の右側で、評価値が良く（低く）安定した正しい対応（Ａ’点）がある。このＡ点から上記方法で安定にもとめた視差エッジまで補充を行う。
【００３５】
左画像を基準とした視差を補充する場合には、オクルージョン部の左側から右側に行う。左基準と右基準では左右の方向が逆になるが、その他の処理は同じである。この視差補充は視差補充手段３１で行う。次に視差の外挿は視差外挿手段２８で、図９（ｂ）に示すように、非オクルージョン部の視差エッジまで左右の安定した視差（Ａ’Ｂ’点の視差）を外挿する。また視差のエッジ部でない視差データはノイズ抑圧手段２９を用い、視差データにメディアンフィルタを掛けることにより周囲の視差と異なる値の視差を取り除く。
【００３６】
メディアンの処理は、中心と周囲の９近傍の視差のデータの中央値２個の平均を用いる。評価値が悪くデータ数が少ないときは、データ数が奇数のときは中央値のデータを出力し、偶数のときは２個の中央値の平均とする。データ数が４未満ではメディアン処理を行わない。このようにして視差のノイズ成分を抑圧し、オクルージョン部で視差の補充されたものと、視差エッジで視差を外挿したものを視差統合手段３０で統合する。統合はまず視差のエッジ部分及びオクルージョン部でないデータを採用し、次に視差エッジ部、最後にオクルージョン部のデータを採用して統合する。このようにして２枚（複数）の画像からその対応関係をしらべ、視差を演算する。
【００３７】
以上のようにまず、画像データ、左右画像の対応の評価データから安定して求められる非オクルージョン部の視差エッジを求める。次にこの非オクルージョン部視差エッジの周辺に対応する対応画像の視差エッジ周辺と、オクルージョン部の画像エッジから、オクルージョン部の視差エッジを求める。このようにオクルージョンがなく、安定して演算できる部分より視差と視差エッジを求め、その後にオクルージョン部の視差エッジを求める。このようにして求めた視差エッジ、オクルージョン部の視差エッジを用いて、安定に求めなれなかった部分の視差を補充、外挿し２枚（複数）の画像からなるべく正確な視差を演算する。この方式によりオクルージョンのない部分と、オクルージョンがある部においてもより正確な視差を効率的に求めることが可能となり、その実用的価値は非常に高い。
【００３８】
なお、ノイズ抑圧手段２９は視差統合手段３０の後でもよい。また、低評価部抑圧手段７は評価の低い部分を取り除くだけでなく、周辺部のデータの中央値（メディアン）を採用しても良く、また評価値に応じた重み付平均を用いることもできる。また領域シフト手段１１は水平方向だけでなく、垂直方向、斜め方向にずらしてもよい。
【００３９】
なお本実施例では、入力される画像を２枚とした例を示したが、入力画像は２枚に限る必要はなく、３枚、４枚でもよい。枚数が多くなれば情報量が増加し、異なる画像の組合せで求めた視差を組合せ、正確さを増す方向での処理も可能である。
【００４０】
また画像の対応関係の演算を式１を用いて行ったが、式１に限る必要はなく、絶対値を２乗にしてもよく、またそれ以上の次数でもよい。また対応関係であるので相関値の演算でもよい。
【００４１】
（第４の実施例）
次に上記の視差演算装置を用いた画像合成装置の構成例を図面を参照しながら説明する。図１０に画像合成装置の合成部の構成を示す。視差検出部は第１から第３の実施例の視差演算装置を用い、画像構成装置の前部の処理を行う。図１０に示される入力信号（データ）は視差演算装置のものである。図１０において、４１は視差データを距離データに変換する視差距離変換手段、４２はオクルージョン部の画像のさらに遮蔽側の画像を生成する画像生成手段、４３は距離データと生成画像データと画像データから指定された視線方向の画像を合成する画像合成手段である。以下各部の動作を説明する。
【００４２】
入力される視差データは第１から第３の実施例で示したような視差の演算結果（図１０に視差出力で記載）である。視差距離変換手段４１では視差データを実際の距離に変換する。変換された距離Ｚは式５で求める。
（式５） Ｚ＝ａＦ／ｄ
ここでａは視差を求めた画像を撮像したカメラ間の距離（基線長）である。Ｆはカメラのレンズの焦点距離である。ｄは視差である。次に画像生成手段４２はオクルージョンデータと視差出力データを用い、オクルージョン部の両側で視差の小さい方向を検出する。オクルージョン部のこの方向に延長された部分は、オクルージョン部を撮影したカメラでも前の部分にある物体に遮蔽されて画像として撮影されなかった部分である。
【００４３】
図１１でこの部分の説明を行う。図１１（ａ）は右カメラの画像で、オクルージョン部を斜線で示す。Ｂは前にある物体の像で、Ａは後ろにある物体の像である。斜線部はオクルージョン部つまり左カメラでは物体Ｂのため、Ａの左側が遮蔽され見えない（撮像されない）部分である。このときの側面図を’（ｂ）に示す。この時Ｖの方向から見た画像を合成しようとしたとき、Ｃの部分の画像が右カメラにも撮像されておらず、この部分の画像がなくなることになる。この部分が上に示したオクルージョン部の視差の小さい方向の部分である。この部分の画像の抜けを防止するため、Ｃの部分の画像の生成を行う。生成の方法はオクルージョン部Ｏとその右側Ａの画像と同じ画像を、左右方向を逆にしてＣの部分の画像とする。このようにすると生成の方法は単純であり、生成した画像は比較的自然にみえる。また画像を生成した部分の視差はオクルージョン部と同じに設定する。
【００４４】
このように物体の影で撮像されていない部分を、画像生成部４２で生成する。このように生成された画像と、カメラで撮像された画像と画像各部の距離データをもとに、画像合成部４３で視線方向を設定した画像を合成する。合成方法は、まず設定された視線方向がカメラで撮影された方向に対して、どの方向（右、斜め左）に何度異なっているかで処理を行う。設定された視線方向（カメラで撮影された方向の差）に画像データをシフトする。シフト量Ｓは式６で決定する。
（式６） Ｓ＝ｋ／Ｚ
ここでｋは定数である。
【００４５】
さらに式５を式６に代入すると、式７となる。
（式７） Ｓ＝ｋｄ／ａＦ＝ｂｄ
ここでｂは定数であり基線長とレンズの焦点距離及び定数ｋできまる。画像のシフト量は、基本的には視差ｄに比例させればよい。このようにして指定された視線方向に、画像データを視差の大きさに比例させて移動させることにより、画像を合成する。上下方向を含む画像のシフトは以下の方法で画像を生成する。合成した画像でデータのない部分の上下で距離の遠い（視差の小さい）部分の画像を用い、データのない方向に画像データを外挿する。この方法はオクルージョン部分の処理の方向を９０度変化させた処理である。合成に用いる画像は、指定された視線方向に近いカメラで撮像されたものが適しているが、どちらのカメラの画像を用いてもよい。この処理を画像合成手段４３で行う。
【００４６】
以上のように本実施例の画像合成方法では、視線方向をカメラの撮像方向から大きく変化させた場合に生じる、画像の抜け（画像データがない部分）となる部分の画像を生成することにより、視線方向が大きく異なった場合においても、画像の抜けがなく違和感のない、自然な画像を合成することが可能となる。
【００４７】
なお、画像の生成方法は遮蔽部分の近傍の画像の反転に限る必要はなく、遮蔽部がなくなった反対側の部分の画像データ（物体により遮蔽が発生するが、その物体がなくなった部分での背景の画像データ）を用いてもよい。
【００４８】
また、画像合成方法は、図１２に示す構成でもよい。図１２において、４４は画像シフト手段、４５は画像ぬけ検出手段、４６は画像外挿手段、４７は画像合成手段である。まず初めに画像シフト手段４４で視差の大きさに応じて視線方向に画像を移動させる。次に画像ぬけ検出手段４５で画像の移動により画像データがない部分を検出する。検出された画像データのないぬけの周辺の画像で視差が小さい部分（遠くにある部分）の画像データを用い、画像データのない部分に外挿する。外挿は画像外挿手段４６で行う。
【００４９】
外挿の方法は画像データを外挿方向と反対方向にある画像データをそのまま画像の外挿値とする。外挿された画像と視線方向の反対側に移動された画像の加算を画像合成手段４７で行う。
【００５０】
以上の処理を行うことにより、左右方向と上下方向の処理を同じ回路や処理ソフトで実現でき、効率的な画像合成が行える。
【００５１】
【発明の効果】
以上のように本発明によれば、物体による遮蔽があった場合においても、基準とする画像を替えた遮蔽の条件の異なる条件で対応関係を調べることにより、遮蔽の正しい判定を行うことが可能になる。
【００５２】
また視差の境界があり、対応が正しく求まらない条件で、対応関係を演算する領域を移動して対応を求めることにより、視差境界いっぱいまで正しい対応が求めることが可能になる。
【００５３】
さらに視差の境界を、輝度の境界と対応評価の値を用いて推定し、視差の境界に対する分解能が低い対応演算結果から分解能の高い視差を演算することが可能となり、より正確な視差を効率的に求めることが可能となる。またオクルージョン部の視差境界も、オクルージョンでない部分の視差境界部とその対応関係及び輝度の境界より正しく推定でき、オクルージョン部においてもより正確な視差を効率的に求めることが可能となり、その実用的価値は非常に高い。
【００５４】
また画像合成を行った場合、視差境界が正確に求められ、視線方向を変化させた場合、視差境界になっている画像の境界が正確に合成することが可能になる。
【００５５】
さらに画像データがない部分をオクルージョン情報、視差情報をもとに周囲の画像データから外挿することにより、視線方向を大きく変化させた場合においても、画像の抜けが発生しないようにすることができ、違和感がなく自然な画像を合成することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例における視差演算装置の前半部分の構成を示す図
【図２】本発明の第１の実施例における視差演算装置の後半部分の構成を示す図
【図３】本実施例の視差演算装置のオクルージョン部検出の方法を示す図
【図４】本実施例の視差演算装置の視差とオクルージョン部視差補充を示す図
【図５】本発明の第２の実施例における視差演算装置の前半部分の構成を示す図
【図６】本実施例の視差演算装置の視差エッジにおける演算領域を示す図
【図７】本発明の第３の実施例における視差演算装置の前半部分の構成を示す図
【図８】本発明の第３の実施例における視差演算装置の後半部分の構成を示す図
【図９】本発明の第３の実施例における視差演算装置の視差補充と視差外挿を示す図
【図１０】本発明の第４の実施例における画像合成装置の構成を示す図
【図１１】本発明の第４の実施例における画像合成装置の画像生成部を示す図
【図１２】本発明の第４の実施例における画像合成装置の第２の構成を示す図
【符号の説明】
１ 画像メモリ
２ 対応点演算手段
３ 視差データ演算手段
４ 評価データ蓄積手段
５ オクルージョン判定手段
６ オクルージョンデータ蓄積手段
７ 低評価部抑圧手段
８、３１ 視差補充手段
１１ 領域シフト手段
２１、２２ エッジ抽出手段
２３、２５、２７ 選択手段
２４ 統合手段
２６ 対応変換手段
２８ 視差外挿手段
２９ ノイズ抑圧手段
３０ 視差統合手段
４１ 視差距離変換手段
４２ 画像生成手段
４３、４７ 画像合成手段
４４ 画像シフト手段
４５ 画像ぬけ検出手段
４６ 画像外挿手段
Claims (6)
- 所定の被写体を撮影した撮像位置の異なる右画像と左画像との画像間の対応を求める対応点演算手段と、前記対応点演算手段の結果に基づいて視差データを演算する視差データ演算手段と、前記視差データ演算手段により演算した視差の評価を求める対応評価手段と、前記視差データと前記評価よりオクルージョンの判定を行うオクルージョン判定手段とを具備し、
前記対応評価手段は、前記右画像と左画像との画像中の物体の視差を右画像の画素位置を基準とした視差と左画像の画素位置を基準とした視差として求め、前記オクルージョン判定手段は、右画像信号を基準として視差が正しく求められた右画像上の２点とそれに対応する左画像上の２点のそれぞれの画像上の２点間の距離の差が一定値より大きいとき、その距離の大きい２点間を物体の遮蔽により視差が正しく求められない部分と判定し、視差補充手段は、遮蔽のある部分を決定して遮蔽された部分の視差を前記右画像又は左画像を基準とした視差データの補充を行う視差演算装置。 - 所定の被写体を撮影した撮像位置の異なる右画像と左画像との画像間の対応を求める対応点演算手段と、前記対応点演算手段の結果に基づいて視差データを演算する視差データ演算手段と、前記対応評価手段の結果が良くない部分の対応演算位置を変更して対応点の演算を行う領域シフト制御手段と、前記視差データ演算手段により演算した視差の評価を求める対応評価手段と、前記視差データと前記評価とによりオクルージョンの判定を行うオクルージョン判定手段とを具備し、
前記対応評価手段は、前記右画像と左画像との画像中の物体の視差を右画像の画素位置を基準とした視差と左画像の画素位置を基準とした視差として求め、前記領域シフト制御手段は、対応評価が悪くなる部分の対応演算領域をシフトして対応評価を改善し、前記オクルージョン判定手段は、右画像信号を基準として視差が正しく求められた右画像上の２点とそれに対応する左画像上の２点のそれぞれの画像上の２点間の距離の差が一定値より大きいとき、その距離の大きい２点間を物体の遮蔽により視差が正しく求められない部分と判定し、視差補充手段は、遮蔽のある部分を決定して遮蔽された部分の視差を前記右画像又は左画像を基準とした視差データの補充を行う視差演算装置。 - 視差補充手段は左基準画像であればオクルージョン部の左側の視差を補充し、右基準画像であればオクルージョン部の右側の視差を補充する請求項１または２記載の視差演算装置。
- 所定の被写体を撮影した撮像位置の異なる右画像と左画像との画像間の対
応を求める対応点演算ステップと、前記対応点演算ステップの結果に基づいて視差データを演算する視差データ演算ステップと、前記視差データ演算ステップにより演算した視差の評価を求める対応評価ステップと、前記視差データと前記評価よりオクルージョンの判定を行うオクルージョン判定ステップとを具備し、
前記対応評価ステップは、前記右画像と左画像との画像中の物体の視差を右画像の画素位置を基準とした視差と左画像の画素位置を基準とした視差として求め、前記オクルージョン判定ステップは、右画像信号を基準として視差が正しく求められた右画像上の２点とそれに対応する左画像上の２点のそれぞれの画像上の２点間の距離の差が一定値より大きいとき、その距離の大きい２点間を物体の遮蔽により視差が正しく求められない部分と判定し、視差補充ステップは、遮蔽のある部分を決定して遮蔽された部分の視差を前記右画像又は左画像を基準とした視差データの補充を行う視差演算方法。 - 所定の被写体を撮影した撮像位置の異なる右画像と左画像との画像間の対応を求める対応点演算ステップと、前記対応点演算ステップの結果に基づいて視差データを演算する視差データ演算ステップと、前記対応評価ステップの結果が良くない部分の対応演算位置を変更して対応点の演算を行う領域シフト制御ステップと、前記視差データ演算ステップにより演算した視差の評価を求める対応評価ステップと、前記視差データと前記評価とによりオクルージョンの判定を行うオクルージョン判定ステップとを具備し、
前記対応評価ステップは、前記右画像と左画像との画像中の物体の視差を右画像の画素位置を基準とした視差と左画像の画素位置を基準とした視差として求め、前記領域シフト制御ステップは、対応評価が悪くなる部分の対応演算領域をシフトして対応評価を改善し、前記オクルージョン判定ステップは、右画像信号を基準として視差が正しく求められた右画像上の２点とそれに対応する左画像上の２点のそれぞれの画像上の２点間の距離の差が一定値より大きいとき、その距離の大きい２点間を物体の遮蔽により視差が正しく求められない部分と判定し、視差補充ステップは、遮蔽のある部分を決定して遮蔽された部分の視差を前記右画像又は左画像を基準とした視差データの補充を行う視差演算方法。 - 所定の被写体を撮影した撮像位置の異なる右画像と左画像との画像間の対応を求める対応点演算手段と、前記対応点演算手段の結果に基づいて視差データを演算する視差データ演算手段と、前記視差データ演算手段により演算した視差の評価を求める対応評価手段と、前記視差データと前記評価よりオクルージョンの判定を行うオクルージョン判定手段とを具備し、
前記対応評価手段は、前記右画像と左画像との画像中の物体の視差を右画像の画素位置を基準とした視差と左画像の画素位置を基準とした視差として求め、前記オクルージョン判定手段は、右画像信号を基準として視差が正しく求められた右画像上の２点とそれに対応する左画像上の２点のそれぞれの画像上の２点間の距離の差が一定値より大きいとき、その距離の大きい２点間を物体の遮蔽により視差が正しく求められない部分と判定し、視差補充手段は、遮蔽のある部分を決定して遮蔽された部分の視差を前記右画像又は左画像を基準とした視差データの補充を行い、前記オクルージョン判定手段の出力と画像データよりオクルージョン部よりさらに内側の画像を合成する画像生成手段と、前記画像生成手段の出力と前記統合された視差と画像データより定められた視線方向の画像を合成する画像合成手段とを具備し、任意の視線方向からの画像を合成する画像合成装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07479094A JP3551467B2 (ja) | 1994-04-13 | 1994-04-13 | 視差演算装置、視差演算方法及び画像合成装置 |
| US08/421,324 US5768404A (en) | 1994-04-13 | 1995-04-13 | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
| US09/031,193 US6215899B1 (en) | 1994-04-13 | 1998-02-26 | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07479094A JP3551467B2 (ja) | 1994-04-13 | 1994-04-13 | 視差演算装置、視差演算方法及び画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07282259A JPH07282259A (ja) | 1995-10-27 |
| JP3551467B2 true JP3551467B2 (ja) | 2004-08-04 |
Family
ID=13557447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07479094A Expired - Fee Related JP3551467B2 (ja) | 1994-04-13 | 1994-04-13 | 視差演算装置、視差演算方法及び画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3551467B2 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5867609A (en) * | 1995-12-07 | 1999-02-02 | Nec Research Institute, Inc. | Method for computing correlation operations on partially occluded data |
| JP4668383B2 (ja) * | 2000-03-30 | 2011-04-13 | 株式会社明電舎 | 物体の三次元形状モデル作製装置 |
| JP4608978B2 (ja) * | 2004-07-16 | 2011-01-12 | ソニー株式会社 | 画像処理方法および画像処理装置 |
| JP4554316B2 (ja) * | 2004-09-24 | 2010-09-29 | 富士重工業株式会社 | ステレオ画像処理装置 |
| EP2138091B1 (en) * | 2007-04-24 | 2013-06-19 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
| US8086071B2 (en) * | 2007-10-30 | 2011-12-27 | Navteq North America, Llc | System and method for revealing occluded objects in an image dataset |
| FR2932911A1 (fr) * | 2008-06-24 | 2009-12-25 | France Telecom | Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images. |
| JP4752918B2 (ja) * | 2009-01-16 | 2011-08-17 | カシオ計算機株式会社 | 画像処理装置、画像照合方法、および、プログラム |
| US9124874B2 (en) | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
| JP5170005B2 (ja) * | 2009-06-10 | 2013-03-27 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP2011070415A (ja) * | 2009-09-25 | 2011-04-07 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
| WO2011096136A1 (ja) * | 2010-02-02 | 2011-08-11 | コニカミノルタホールディングス株式会社 | 疑似画像生成装置および疑似画像生成方法 |
| JP5051670B2 (ja) * | 2010-02-15 | 2012-10-17 | Ｎｅｃシステムテクノロジー株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| KR101802238B1 (ko) * | 2010-02-23 | 2017-11-29 | 삼성전자주식회사 | 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법 |
| JP2011244025A (ja) * | 2010-05-13 | 2011-12-01 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2012019329A (ja) | 2010-07-07 | 2012-01-26 | Sony Corp | 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 |
| JP5636993B2 (ja) | 2011-02-03 | 2014-12-10 | ソニー株式会社 | 画像処理方法、画像処理装置および表示装置 |
| JP2012186781A (ja) | 2011-02-18 | 2012-09-27 | Sony Corp | 画像処理装置および画像処理方法 |
| JPWO2012114975A1 (ja) * | 2011-02-24 | 2014-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US20120262542A1 (en) * | 2011-04-15 | 2012-10-18 | Qualcomm Incorporated | Devices and methods for warping and hole filling during view synthesis |
| EP2761876A1 (fr) * | 2011-09-29 | 2014-08-06 | Thomson Licensing | Méthode et dispositif de filtrage d'une carte de disparité |
| JP5867128B2 (ja) * | 2012-02-08 | 2016-02-24 | 株式会社Ｊｖｃケンウッド | 画像処理装置、画像処理方法及び画像処理プログラム |
| ITTO20120413A1 (it) * | 2012-05-08 | 2013-11-09 | Sisvel Technology Srl | Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione. |
| WO2014017201A1 (ja) * | 2012-07-26 | 2014-01-30 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びに画像表示装置 |
| JP6066765B2 (ja) * | 2013-02-27 | 2017-01-25 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
| JP6121776B2 (ja) | 2013-03-29 | 2017-04-26 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US20190026921A1 (en) * | 2015-09-09 | 2019-01-24 | Sharp Kabushiki Kaisha | Calculating device and calculating device control method |
-
1994
- 1994-04-13 JP JP07479094A patent/JP3551467B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07282259A (ja) | 1995-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3551467B2 (ja) | 視差演算装置、視差演算方法及び画像合成装置 | |
| US10181206B2 (en) | Method and apparatus for providing panorama image data | |
| US5768404A (en) | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods | |
| US9208396B2 (en) | Image processing method and device, and program | |
| JP4056154B2 (ja) | ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法 | |
| US9412151B2 (en) | Image processing apparatus and image processing method | |
| US9111389B2 (en) | Image generation apparatus and image generation method | |
| Liu et al. | Joint geodesic upsampling of depth images | |
| JP5887267B2 (ja) | ３次元画像補間装置、３次元撮像装置および３次元画像補間方法 | |
| JP4302572B2 (ja) | 画像処理装置 | |
| JP6754992B2 (ja) | 三次元再構成方法 | |
| EP2291825B1 (en) | System and method for depth extraction of images with forward and backward depth prediction | |
| TWI497980B (zh) | 處理３ｄ立體影像的系統與方法 | |
| JP2004312745A (ja) | 自動焦点、被写界深度及び高分解能機能を実現する複合カメラ及び方法 | |
| JP2011504262A (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
| JPWO2011061940A1 (ja) | 画像処理方法および画像処理装置 | |
| KR101082046B1 (ko) | 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치 | |
| US20130177213A1 (en) | Apparatus and method for virtual view generation on multi-view image reconstruction system | |
| KR102407137B1 (ko) | 영상 처리 방법 및 장치 | |
| GB2565354A (en) | Method and corresponding device for generating a point cloud representing a 3D object | |
| JP3990271B2 (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
| CN107360354A (zh) | 拍照方法、装置、移动终端和计算机可读存储介质 | |
| JP2007053621A (ja) | 画像生成装置 | |
| KR101027003B1 (ko) | 스테레오 매칭 장치 및 그 방법 | |
| JP6285686B2 (ja) | 視差画像生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |