JP5449119B2

JP5449119B2 - ステレオ映像内の視差探索範囲を求めるための方法及びシステム

Info

Publication number: JP5449119B2
Application number: JP2010276495A
Authority: JP
Inventors: セフーン・イェー; ドンボ・ミン; ザファー・アリカン; アンソニー・ヴェトロ
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2009-12-31
Filing date: 2010-12-13
Publication date: 2014-03-19
Anticipated expiration: 2030-12-13
Also published as: US20110158528A1; JP2011138500A; US8290248B2

Description

本発明は包括的にはステレオ映像に関し、より詳細には、ステレオ映像内の視差探索範囲を求めることに関する。

ステレオマッチングのために用いられる密な視差マップは、画像ベースレンダリング、３Ｄシーン再構成、ロボットビジョン及び追跡を含む多数の用途において用いられる。ステレオマッチングのそのような用途は多くの場合に、適切な視差探索範囲に関する知識を想定するか、又は一定の範囲を使用する。

実際に、シーンの視差探索範囲は、多数のステレオマッチング法の使用を容易にする。視差探索範囲がないと、結果として、広い範囲の候補視差値にわたって探索を行なう必要があり、それは一般的には、より多くの計算及びメモリを必要とする。さらに重要なことに、大部分のステレオマッチング法は、不適切な探索範囲を与えられるときに、極小値に陥る可能性が高く、それは視差マップの品質を劣化させる可能性がある。

しかしながら、視差探索範囲を求めるのは複雑な問題であり、たとえば、時間とともにシーン又はカメラ構成が変化するときには特に複雑である。最大視差範囲を求めるための１つの従来の方法は、ステレオ画像間の空間的相関の統計解析に基づく。しかしながら、その方法は、ステレオ画像間に正の視差しか存在しないものと仮定する。

別の視差探索範囲推定法は、確実に安定したマッチングに基づく。その方法では、初期探索範囲を画像のサイズに設定し、その後、階層的にマッチングを実行することによって、視差探索範囲が求められる。

他の方法は、推定過程の一部として直に時間的な制約を課す奥行き推定技法に基づく。しかしながら、そのような技法は、適切な探索範囲を使用しない場合に、誤って照合し、不正確な推定結果に陥る傾向がある。

したがって、ステレオ映像内の視差探索範囲を求めるための方法を提供することが望ましい。

本発明の実施形態は、時間的に隣接する視差ヒストグラムの重み付けされた和に基づく重み付け視差ヒストグラムから、より確実に視差探索範囲を求めることができるという認識に基づいており、それらの重みは、時間的に隣接する視差ヒストグラム間の奥行き分布の類似度に基づいて、時間一貫性を実行することによって求められる。

本発明の実施形態は、シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるためのシステム及び方法を開示する。該方法は、ステレオ画像のセットからステレオ画像のサブセットを選択するステップであって、該サブセットは現在のステレオ画像及び少なくとも１つの隣接するステレオ画像を含み、該隣接するステレオ画像は現在のステレオ画像に時間的に隣接する、選択するステップと、ステレオ画像のサブセット内のステレオ画像毎に視差ヒストグラムを求めるステップであって、１組の視差ヒストグラムを形成する、求めるステップと、１組の視差ヒストグラム内の視差ヒストグラムの重み付けされた和として重み付け視差ヒストグラムを求めるステップと、重み付け視差ヒストグラムから視差探索範囲を求めるステップとを含む。

本発明の一実施形態による、視差探索範囲を求めるための方法のブロック図である。重み付け視差ヒストグラムを求める概略図である。本発明の一実施形態による、疎特徴マッチングを用いて視差図を求めるための方法のブロック図である。本発明の一実施形態による、密特徴マッチングに基づいて視差ヒストグラムを求めるための方法のブロック図である。本発明の一実施形態による、重み付け視差ヒストグラムを求めるための方法のブロック図である。本発明の一実施形態による、しきい値を用いて重み付け視差ヒストグラムから視差探索範囲を求める概略図である。

図１Ａは、本発明の一実施形態による、視差探索範囲を求めるための方法１００のブロック図を示す。本方法のステップは、当該技術分野において知られているメモリ及び入力／出力インターフェースを含むプロセッサにおいて実行することができる。

シーン１０５のステレオ画像のセット１２０を含むステレオ映像が、右カメラ１１２及び左カメラ１１１によって取得される。各ステレオ画像１２１は、右カメラによって取得される右画像、及び左カメラによって取得される左画像を含む。

ステレオ画像のセットからステレオ画像のサブセットが選択される（１３０）。そのサブセットは現在のステレオ画像１２２及び少なくとも１つの隣接するステレオ画像１２３を含む。隣接するステレオ画像は、現在のステレオ画像に対して時間的に隣接する。一実施形態では、隣接するステレオ画像は隣り合い、たとえば、前の画像、現在の画像及び次の画像である。

たとえば、一実施形態では、ステレオ画像のサブセットは、現在のステレオ画像、前のステレオ画像及び次のステレオ画像を含む。別の実施形態では、そのサブセットは前のステレオ画像のみ、たとえば、２つの前のステレオ画像を含む。しかしながら、他の実施形態では、異なるようにサブセット１３５を選択する。

ステレオ画像のサブセット内のステレオ画像毎に、視差ヒストグラムが求められ（１４０）、１組の視差ヒストグラム１４５が形成される。１組の視差ヒストグラムに基づいて、重み付け視差ヒストグラム（ＷＤＨ）１５５が、それらの視差ヒストグラムの重み付けされた和として求められる（１５０）。

しきい値１６５に基づいて、重み付け視差ヒストグラムから視差探索範囲１７０が求められる。現在のステレオ画像のための視差探索範囲を求めた後に、現在のステレオ画像は、セット１２０からの別のステレオ画像、たとえば、次のステレオ画像で更新され、方法１００の求めるステップが繰り返される。

図１Ｂは、重み付け視差ヒストグラム１５０を求めることを概略的に示す。一実施形態では、重み付け視差ヒストグラムは、１組の重み付け係数１４６に基づいて求められる。後にさらに詳細に説明されるように、重み付け係数は、１組の視差ヒストグラム内の視差ヒストグラムの対毎に求められ、その対におけるヒストグラム間の類似度を表す。一実施形態では、視差ヒストグラムの対は、現在のステレオ画像に対応する視差ヒストグラムを含む。

視差ヒストグラムを求める
疎特徴マッチングに基づく視差ヒストグラム
図２Ａは、本発明の一実施形態による、疎特徴マッチングを用いて視差図２５２を求めるための方法１４０のブロック図を示す。ＫＬＴ（Kanade-Lucas-Tomasi）及びＳＵＲＦ（Speeded up Robust Features）のような疎特徴マッチング法によって、ステレオ画像２１０から初期の１組のマッチング特徴点２２０が計算される。

疎特徴マッチング法は、対象点のための記述子を定義し、勾配法又は最近傍法を用いて、それらの点を追跡して、視差マップ２２６を求める。たとえば、ＳＵＲＦは、スケール及び回転不変の対象点の検出子及び記述子である。ＳＵＲＦは、ヘシアン行列に基づく指標及び分布に基づく記述子を用いる。

Ｎ対のマッチング特徴点を用いるとき、視差ヒストグラムは、以下の式によって計算される（２３０）。

ただし、ｈ［ｉ］はビンｉのヒストグラムカウントであり、Ｍはビンの全数であり、関数ｆ（ａ，ｂ）は、ａ＝ｂの場合には１に等しく、そうでない場合には０に等しい。マッチング点対の各視差値ｄ_ｊをビンのサイズＢで量子化することによって、最も近い代表値Ｄ（^・）を有するヒストグラムビンカウントが１だけインクリメントされる。

密特徴マッチングに基づく視差ヒストグラム
図２Ｂは、密特徴マッチング法２２５に基づいて視差ヒストグラムを求めることを示す。本発明の実施形態によって、視差マップ２２６を求めるために、たとえば、グラフカット、確率伝搬法及びコスト集合に基づく種々の密特徴マッチング法が用いられる。

一実施形態では、計算を少なくするために、視差マップはステレオ画像のサブサンプリングされたものに基づいて計算される。密特徴マッチング法は、左画像内の全ての点に対して右画像内のマッチング点を見つける（又はその逆である）ので、視差マップを求めるだけの十分な数のマッチング点対が存在する。一致した特徴点の対を用いて、式（１）に従って、視差ヒストグラムが計算される。

時間一貫性の実行
視差探索範囲Ｒが不要な視差を有するか、又は有意な視差を見逃す場合には、その特徴マッチング法は極小値に陥る可能性がある。それゆえ、現在のステレオ画像毎に視差探索範囲Ｒの信頼性のある推定値を有することが重要である。

したがって、本発明のいくつかの実施形態は、時間的に隣接するステレオ画像の視差ヒストグラムの間で時間一貫性を実行し、特徴マッチング法が時間的に一貫した方法で使用されるようにする。

一実施形態では、ステレオ画像間の視差分布の類似度に基づいて求められる重み付け係数１４６を用いて、時間的に隣接するヒストグラムの重み付けされた和を計算することによって、重み付け視差ヒストグラムが求められる。

シーンの視差分布は、そのシーン又はカメラ構成の変化に依存し、視差ヒストグラムによって表される。そのため、視差ヒストグラムの類似度を用いて、そのシーンの変化、又はカメラ構成の変化を特定すると共に、異常値の影響を小さくする。

図３は、本発明の一実施形態による、重み付け視差ヒストグラムを求めるための方法を示す。ステレオ画像１３５のサブセット内のステレオ画像毎に、視差ヒストグラム１４５が求められ（１４０）、正規化される（３１０）。これは、マッチング点の全数が、時間的に隣接するステレオ画像間で異なるためである。

一実施形態では、重み付け係数は、視差ヒストグラムのサブセット内の視差ヒストグラムの対毎に求められ、１組の重み付け係数が生成される。別の実施形態では、視差ヒストグラムの各対が、現在のステレオ画像に対応する現在の視差ヒストグラムを含む。

さらに別の実施形態では、視差ヒストグラムのサブセット内の視差ヒストグラムは正規化され、視差ヒストグラムの各対間の正規化された差に従って、１組の重み付け係数が求められ、その重み付け係数は、正規化された差に反比例する。

この実施形態では、重み付け係数ｗ３２５は以下の式によって求められる（３２０）。

ただし、ｗ_ｎ，ｐは重み付け係数であり、ｎは現在の視差ヒストグラムのための添え字であり、ｐは時間的に隣接する視差ヒストグラムのうちの１つのための添え字であり、σ_Ｓは重み付け定数であり、ｈ_ｎ ^ｎｏｒ及びｈ_ｐ ^ｎｏｒはそれぞれ、現在のステレオ画像及び時間的に隣接するステレオ画像のための正規化された視差ヒストグラムであり、ｉはヒストグラムビンのための添え字であり、Ｍはヒストグラムビンの全数である。典型的には、重み付け係数ｗ_ｎ，ｐは０〜２の範囲内にある。

別の実施形態では、２つの確率分布の類似度を表す、カルバック・ライブラーダイバージェンスを用いて、以下の式に従って重み付け係数を計算する。

重み付け視差ヒストグラムｈ_ｐ ^ｗ（ｉ）１４５は、以下の式に従って、時間的に隣接するヒストグラムの重み付けされた総和３３０として求められる。

ただし、ｎは１組の視差ヒストグラムＮ（ｐ）内の視差ヒストグラムである。

視差探索範囲を求める
図４は、しきい値１６５を用いて、視差探索範囲１７０を求めるために用いることができるヒストグラム１６０を示す。一実施形態において、しきい値は、正の視差を有する点の方が負の視差を有する点よりも重要であるという仮定に基づいて決定される。これは、人の視覚系（ＨＶＳ）は近くにある物体により敏感であるためである。したがって、しきい値Ｔは、以下の式に従って求められる。

ただし、Ｂはビンのサイズであり、ｄは重み付け視差ヒストグラム内のビンに対応する視差値である。

その後、視差探索範囲Ｒは以下の式に従って求められる。

ただし、Ｄ（ｉ）は、ヒストグラムビンの代表的な視差値であり、ｉはヒストグラムビンのための添え字であり、ｈ［ｉ］はビンカウントであり、Ｔ_ｈは、式（５）において規定されるしきい値であり、｛ｋ｝は所与の制約を満たす１組の視差値を表す。

式（６）によって規定される視差探索範囲は、しきい値Ｔ_ｈよりも大きいヒストグラムビンｈ［ｉ］に関連付けられる視差値を、１組の視差値｛ｋ｝の一部と見なす。１組の視差値は、ビンサイズから生じる量子化の影響を考慮するために、±Ｂ／２だけ拡張される。

一実施形態は、重み付け視差ヒストグラムの孤立値が視差探索範囲の一部とならないようにする。たとえば、ヒストグラムの値ｈ［ｉ］がしきい値よりも大きいが、隣接値ｈ［ｉ＋１］及びｈ［ｉ−１］がしきい値よりも小さい場合には、値ｈ［ｉ］は信頼性がないと見なされ、視差探索範囲から除外される。

別の実施形態は、式（６）に従って求められる視差探索範囲へのさらなる制約を使用し、たとえば、最大視差値４１０と最小視差値４１１との間の全ての視差値が視差探索範囲に含まれる。

本発明を、好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で他のさまざまな適合及び変更を行えることが理解されるべきである。したがって、本発明の真の精神及び範囲内に入るすべての変形及び変更を包含することが、添付の特許請求の範囲の目的である。

Claims

シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるための方法であって、
前記ステレオ画像のセットからステレオ画像のサブセットを選択するステップであって、該サブセットは前記現在のステレオ画像及び少なくとも１つの隣接するステレオ画像を含み、該隣接するステレオ画像は前記現在のステレオ画像に時間的に隣接する、選択するステップと、
前記ステレオ画像のサブセット内の前記ステレオ画像毎に視差ヒストグラムを求めるステップであって、１組の視差ヒストグラムを形成する、求めるステップと、
前記視差ヒストグラムのサブセット内の視差ヒストグラムの対毎に、該視差ヒストグラムの対のヒストグラム間の類似度を表す重み付け係数を求めるステップであって、１組の重み付け係数を生成する、求めるステップと、
前記１組の重み付け係数及び前記１組の視差ヒストグラムに基づいて、前記１組の視差ヒストグラム内の前記視差ヒストグラムの重み付けされた和として重み付け視差ヒストグラムを求めるステップと、
前記重み付け視差ヒストグラムから前記視差探索範囲を求めるステップとを含み、
これらの各ステップはプロセッサによって実行される、シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるための方法。
前記視差ヒストグラムの各前記対は、前記現在のステレオ画像に対応する現在の視差ヒストグラムを含む、請求項１に記載の方法。
前記視差ヒストグラムのサブセット内の前記視差ヒストグラムを正規化するステップと、
前記視差ヒストグラムの前記各対間の正規化された差に従って前記１組の重み付け係数を求めるステップとをさらに含み、前記重み付け係数は前記正規化された差に反比例する、請求項１に記載の方法。
前記視差ヒストグラムの対毎の前記重み付け係数は、以下の式に従って求められ、

ただし、ｗｎ，ｐは重み付け係数であり、ｎは現在のステレオ画像に対応する視差ヒストグラムの添え字であり、ｐは隣接するステレオ画像に対応する視差ヒストグラムの添え字であり、σＳは重み付け定数であり、ｈｎｎｏｒ及びｈｐｎｏｒは正規化された視差ヒストグラムであり、ｉはヒストグラムビンのための添え字であり、Ｍはヒストグラムビンの全数である、請求項３に記載の方法。
前記視差ヒストグラムの対毎の前記重み付け係数は、以下の式に従って求められ、

ただし、ｗｎ，ｐは重み付け係数であり、ｎは現在のステレオ画像に対応する視差ヒストグラムの添え字であり、ｐは隣接するステレオ画像に対応する視差ヒストグラムの添え字であり、ｈｎｎｏｒ及びｈｐｎｏｒは正規化された視差ヒストグラムであり、ｉはヒストグラムビンのための添え字であり、Ｍはヒストグラムビンの全数である、請求項３に記載の方法。
以下の式に従って、前記重み付け視差ヒストグラムｈｐｗ（ｉ）を求めるステップをさらに含み、

ただし、ｎは視差ヒストグラムＮ（ｐ）内の視差ヒストグラムである、請求項３に記載の方法。
各前記ステレオ画像は、右カメラによって取得される画像及び左カメラによって取得される画像を含む、請求項１に記載の方法。
前記現在のステレオ画像及び前記ステレオ画像のサブセットを更新するステップと、
前記求めるステップを繰り返すステップとをさらに含む、請求項１に記載の方法。
前記ステレオ画像の前記サブセットは前のステレオ画像及び次のステレオ画像を含む、請求項１に記載の方法。
前記ステレオ画像の前記サブセットは前のステレオ画像のみを含む、請求項１に記載の方法。
以下の式に従って前記視差ヒストグラムを求めることをさらに含み、

ただし、ｈ［ｉ］はビンｉのヒストグラムカウントであり、Ｍはビンの全数であり、関数ｆ（ａ，ｂ）は、ａ＝ｂの場合には１に等しく、そうでない場合には０に等しく、ｄｊは、第ｊのマッチング特徴点対の視差値であり、Ｎはマッチング特徴点対の全数であり、Ｂはビンのサイズであり、最も近い代表値Ｄ（・）を有するヒストグラムビンカウントが１だけインクリメントされる、請求項１に記載の方法。
疎特徴マッチングに基づいてマッチング特徴点を求めるステップをさらに含む、請求項１に記載の方法。
密特徴マッチングに基づいてマッチング特徴点を求めるステップをさらに含む、請求項１に記載の方法。
前記重み付け視差ヒストグラム内のヒストグラムビンのサイズ及び該ヒストグラムビンの視差値に従ってしきい値Ｔを求めるステップをさらに含む、請求項１に記載の方法。
以下の式に従って前記しきい値Ｔを求めるステップをさらに含み、

ただし、Ｂはヒストグラムビンのサイズであり、ｄはヒストグラムビンの視差値である、請求項１４に記載の方法。
前記視差ヒストグラム及び前記重み付け視差ヒストグラムのビンは１つの視差値に関連付けられる、請求項１に記載の方法。
前記重み付け視差ヒストグラムの１組の視差値を求めるステップであって、該１組の視差値内の視差値毎のビンカウントは前記しきい値よりも大きい、求めるステップと、
前記１組の値及び前記ヒストグラムビンのサイズに基づいて前記視差探索範囲を求めるステップをさらに含む、請求項１４に記載の方法。
以下の式に従って前記視差探索Ｒを求めるステップをさらに含み、

ただし、Ｄ（ｉ）は、前記重み付け視差ヒストグラムのビンｈ［ｉ］の値であり、ｉは前記ヒストグラムビンのための添え字であり、Ｔｈはしきい値であり、｛ｋ｝は前記１組の視差値である、請求項１７に記載の方法。
シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるためのシステムであって、
前記ステレオ画像のセットからステレオ画像のサブセットを選択する手段であって、該サブセットは前記現在のステレオ画像及び少なくとも１つの隣接するステレオ画像を含み、該隣接するステレオ画像は前記現在のステレオ画像に時間的に隣接する、選択する手段と、
前記ステレオ画像のサブセット内の前記ステレオ画像毎に視差ヒストグラムを求める手段であって、１組の視差ヒストグラムを形成する、求める手段と、
前記１組の視差ヒストグラム内の前記視差ヒストグラムの重み付けされた和として重み付け視差ヒストグラムを求める手段と、
前記重み付け視差ヒストグラム内のヒストグラムビンのサイズ及び該ヒストグラムビンの視差値に従ってしきい値Ｔを求める手段と、
前記重み付け視差ヒストグラムから前記視差探索範囲を求める手段とを含み、前記視差探索範囲を求める手段はプロセッサを含む、シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるためのシステム。