JP5156837B2 - 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 - Google Patents

Description

本発明は、一般にコンピュータグラフィックス処理および表示システムに関し、より具体的には、アーティファクト（artifact）を低減するために、領域ベースのフィルタリングを使用して少なくとも２つのイメージから奥行情報を抽出するためのシステムおよび方法に関する。

立体画像化は、僅かに異なるビューポイントから得られる、あるシーンの少なくとも２つのイメージを視覚的に結合して３次元の奥行の錯覚を作り出す処理である。この技術は、人間の目がいくらか距離間隔があいており、したがって実際には正確には同じシーンを見ていないという事実に依拠している。それぞれの目に異なる視点からのイメージを提供することによって、見る者の目には、奥行を感知するような錯覚が与えられる。典型的には、２つの別個の視点が提供され、その要素イメージは、「左」イメージおよび「右」イメージと称され、それぞれ基準イメージ（reference image）および相補イメージ（complementary image）としても知られる。しかし、２つまたはそれ以上のビューポイントを結合して立体イメージを形成することもできることが当業者には認識されよう。

３Ｄの事後編集（post-production）、すなわち視覚効果（ＶＦＸ）ワークフローおよび３次元（３Ｄ）表示アプリケーションにおいて、重要なプロセスは、左目のビューと右目のビューのイメージで構成される立体イメージから奥行情報、例えば奥行マップ（depth map）、すなわち対象の物体（object）からカメラまでの距離を、推測または抽出することである。奥行マップの抽出を様々なフィルムの使途において、例えばフィルムの事後編集のためのシーンのジオメトリ（geometry）の取得、奥行のキーイング（depth keying）、３Ｄ圧縮および３Ｄ表示のためのコンテンツ生成に使用することができる。例えば、最近商品化されたオートステレオスコピック（auto-stereoscopic）３Ｄディスプレイは、イメージプラス奥行マップ（image-plus-depth-map）の入力フォーマット（２Ｄ＋Ｚ）を必要とするので、該ディスプレイは、複数の視角をサポートする異なる３Ｄビューを生成することができる。

ステレオマッチングは、異なる位置のカメラによって撮られた２つのイメージから奥行マップを推定する奥行マップ抽出に幅広く使用されるアプローチである。ステレオマッチングは、あるシーンのイメージを、該シーンにおいて異なる位置に異なる方向に配置された２つまたはそれ以上のカメラから取得する。これらのデジタルイメージは、各カメラからほぼ同じ時間に取得され、そして該イメージの各々における点を、空間内の対応する３Ｄの点に合致させる。一般に、異なるイメージからの点は、該イメージの一部を検索し、そして制約（例えば、エピポーラ制約（epipolar constaint））を使用して或るイメージ内の点を別のイメージ内の点と関連付けることによって合致させることができる。奥行値は、シーン内の同一の点に対応する上記異なるイメージ内の２つのピクセル間の相対な距離から推側される。

正確な奥行推定のための様々な方法、例えば、動的プログラミング、信念伝搬（belief propagation）、単純ブロックマッチングなどが開発されている。より正確な方法は通常計算コストがより高い。この方法の一部は遅すぎて実際の利用には役に立たない。走査線アルゴリズム（例えば、走査線動的プログラミングまたは走査線信念伝搬）は、（非常に不正確な）単純ピクセル／ブロックマッチングおよび（非常に遅い）２次元（２Ｄ）信念伝搬と比べてかなり正確な結果を与えることができる、比較的効率的なアルゴリズムまたは機能（function）であることがわかっている。したがって、走査線アルゴリズムまたは機能は、奥行推定の問題に対する実際的な解決策になり得るものである。しかし、走査線アルゴリズムまたは機能の主な欠点は、該走査線アルゴリズムまたは機能が、しばしば横縞のアーティファクト（縞状アーティファクトを丸で囲んでいる図５Ｂを参照されたい）を生じることである。これは、信念伝搬など他のコストの高いアルゴリズムとは異なり、走査線アルゴリズムは、１度に１つの走査線の最適化を実行するのみであり、したがって垂直方向に沿った平滑性制約（smoothness constraint）が課されないからである。

したがって、不連続性または縞状アーティファクトを最小化する高速かつ効率的な奥行情報抽出方法のための技術が必要とされる。

アーティファクトを低減するために領域ベースのフィルタリングを使用して少なくとも２つのイメージから奥行情報を抽出するためのシステムおよび方法を提供する。本開示は、走査線の動的プログラミング（ＤＰ：Dynamic Programming）または他の同様の方法よって生成されるアーティファクトを低減するための後処理のアルゴリズムまたは機能を提供する。当該システムおよび方法は、２つのイメージのうちの少なくとも１つを、領域セグメント化アルゴリズムまたは機能によってセグメント化し、該セグメント化された領域境界を越えることなくフィルタリングを実行する。さらに、水平方向よりも垂直方向により強いフィルタ強度を有する異方性のフィルタを使用するため、奥行境界を著しく不鮮明にすることなく縞状アーティファクトを低減する。

本開示の一態様によると、少なくとも２つのイメージから奥行情報を抽出する方法が提供される。当該方法は、あるシーンから第１のイメージおよび第２のイメージを取得することと、該第１のイメージ内の少なくとも１つの点と該第２のイメージ内の対応する少なくとも１つの点との視差（disparity）を推定して視差マップ（disparity map）を生成することと、上記第１および第２のイメージのうちの少なくとも一方を少なくとも１つの領域にセグメント化することと、該セグメント化された領域に基づいて上記視差マップをフィルタリングすることを含む。一態様において、上記第１のイメージおよび上記第２のイメージは、立体的なペア（stereoscopic pair）の左目ビューおよび右目ビューを含む。

別の態様において、上記方法は、上記視差マップの上記少なくとも１つの点のそれぞれに対して、推定された視差を逆数にすることによって、フィルタリングされた視差マップを奥行マップに変換することを含む。

さらなる態様において、視差を推定することは、走査線最適化関数（scanline optimization function）によって実行される。

別の態様において、上記フィルタリングするステップは、視差マップの少なくとも１つのピクセルを水平方向にフィルタリングするステップと、視差マップの該少なくとも１つのピクセルを垂直方向にフィルタリングするステップとを含み、該垂直方向にフィルタリングするステップは、上記水平方向にフィルタリングするステップよりも大きい平滑化効果を有するように構成される。

さらなる態様において、上記フィルタリングするステップは、フィルタサイズを選択するステップと、該フィルタサイズに基づいてマスクブロックサブイメージを作成して、上記少なくとも１つのセグメント化された領域の外側のピクセルをマスクするステップと、上記少なくとも１つのセグメント化された領域の内側の少なくとも１つのピクセルをフィルタリングするステップを含む。

本開示の別の態様にかかる少なくとも２つのイメージから奥行情報を抽出するためのシステムは、あるシーンから第１のイメージおよび第２のイメージを取得するための手段と、該第１のイメージ内の少なくとも１つの点と該第２のイメージ内の対応する少なくとも１つの点との視差を推定して、視差マップを生成するように構成された視差推定器と、上記第１のイメージと上記第２のイメージの少なくとも一方を少なくとも１つの領域にセグメント化するように構成されたセグメント化モジュールと、該セグメント化された領域に基づいて視差マップをフィルタリングするように構成されたフィルタを含む。

本開示の他の態様によると、少なくとも２つのイメージから奥行情報を抽出する方法を実行するためのマシンによって実行可能な命令からなるプログラムを具現化している、マシン読取可能なプログラム記憶装置が提供され、上記方法は、あるシーンから第１のイメージおよび第２のイメージを取得するステップと、該第１のイメージ内の少なくとも１つの点と該第２のイメージ内の対応する少なくとも１つの点との視差を推定して、視差マップを生成するステップと、上記第１のイメージと上記第２のイメージの少なくとも一方を少なくとも１つの領域にセグメント化するステップと、該セグメント化された領域に基づいて視差マップをフィルタリングするステップを含む。

本開示のこれらおよび他の態様、特徴および利点は、好適な実施形態に関する以下の詳細な説明に説明され、添付の図面と併せて読むことにより明らかになる。

図面において、同じ参照符号は図を通して同様の要素を示す。

本発明の一態様にかかる、少なくとも２つのイメージから奥行情報を抽出するシステムを示す例示的なブロック図である。 本発明の一態様にかかる、少なくとも２つのイメージから奥行情報を抽出する例示的な方法を示すフローチャートである。 本発明の一態様にかかる、視差マップの各ピクセルにおける領域ベースの平滑化またはフィルタリングを示す図である。 本発明の一態様にかかる、視差マップの領域をフィルタリングする例示的な方法を示すフローチャートである。 本発明のシステムおよび方法にしたがって処理された結果イメージを示し、２次元（２Ｄ）の入力イメージを示す図である。 従来の走査線動的プログラミングによって処理された結果の縞状アーティファクトを示している奥行マップを示す図である。 図５Ａで示されるイメージの結果である領域セグメント化イメージを示す図である。 本発明のシステムおよび方法にしたがって処理された平滑化された奥行マップを示す図である。

図面は、本開示の概念を説明するためのものであり、必ずしも本開示を説明するために可能な構成のみを示すものではないことを理解されたい。

図面に示されている要素を、ハードウェア、ソフトウェアまたはそれらの組合せの様々な形で実装することができることを理解されたい。好ましくは、これら要素は、プロセッサ、メモリおよび入出力インタフェースを含む１つまたは複数の適切にプログラムされた汎用装置における、ハードウェアおよびソフトウェアの組合せで実装される。

本記載は本開示の原理を例示するものである。本明細書において明示的には記載または示されていないが、本開示の原理を具現化しその思想および範囲に含まれる多様な構成を当業者が考案し得ることが認識されよう。

本明細書に記載される全ての例および条件的な語は、当技術分野の発展に本発明者が寄与する本発明の原理および概念を読み手が理解するのを助ける教育的目的のために意図されたものであり、そのように具体的に記載された例および条件に限定されるものではないと解釈されるべきである。

さらに、本開示の原理、態様および実施形態、ならびにそれらの特定の例を記載する本明細書内の全ての記述は、それらの構造的および機能的な均等物を含むことが意図されている。加えて、かかる均等物は、現在知られている均等物と、将来開発される均等物との両方、すなわち構造に関わらず同一の機能を実行する開発された全ての要素を含むことが意図される。

したがって、例えば、本明細書で提示されるブロック図は、本開示の原理を具現化する例示的な回路の概念的な図を表すものであることが当業者には認識されよう。同様に、全てのフローチャート、フロー図、状態遷移図、疑似コードなどは、実質的にコンピュータ読取可能媒体で表され、コンピュータまたはプロセッサが明示的に示されているか否かに関わらずコンピュータまたはプロセッサによって実行される、様々な処理を表すことが認識されよう。

図面に示される様々な要素の機能を、専用のハードウェア、ならびに適切なソフトウェアに関連するソフトウェアを実行することが可能なハードウェアの使用を通じて提供することができる。プロセッサよって提供されるとき、該機能を、単一の専用のプロセッサよって、単一の共有プロセッサよって、またはその一部が共有され得る複数の個別のプロセッサよって提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することが可能なハードウェアのみを指していると解釈されるべきでなく、これらには限られないがデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性ストレージも暗示的に含んでいる。

他のハードウェア、従来および／またはカスタムされたものなども含まれうる。同様に、図面に示される全てのスイッチは単に概念的なものである。そのスイッチの機能を、プログラムロジックのオペレーションを介して、プログラム制御と専用ロジックのインタラクションを介して、あるいは手動でも実行することができ、特定の技法を、状況からより具体的に理解されるように実装者が選択することができる。

特許請求の範囲の記載において、特定の機能を実行するための手段として表現される任意の要素は、例えば、ａ）その機能を実行する回路要素の組合せ、またはｂ）その機能を実行するソフトウェアを実行するための適切な回路と組み合わされたファームウェア、マイクロコードなどを含め、その機能を実行する任意の手段を含むことが意図される。特許請求の範囲によって定義される本発明は、記載される様々な手段よって提供される機能性が、該特許請求の範囲において要求される形で組み合わせて結合されることにある。それら機能性を提供することができる他の手段も本明細書内に示されるものと均等であると見なされる。

ステレオマッチングは、複数の立体イメージ、例えば左目ビューイメージと右目ビューイメージから奥行マップを推側する標準的な方式である。従来のオートステレオスコピックディスプレイにおける３Ｄ再生は、奥行マップの平滑性が、結果の３Ｄ再生の見た目に顕著に影響を及ぼすことを示している。非平滑的な奥行マップはしばしば、３Ｄ再生にジグザク状のエッジを生じさせ、これは、精度の低い奥行値を有する平滑な奥行マップの再生よりも視覚的に悪い。したがって、３Ｄ表示および再生アプリケーションにとって、奥行マップの平滑性は奥行の精度よりも重要である。さらに、グローバル最適化ベースのアプローチが、３Ｄ表示アプリケーションにおける奥行推定には必要である。

立体イメージからの奥行推定には、計算コストと奥行マップの精度とのバランスをとることも重要である。本発明は、走査線最適化アルゴリズムまたは機能（例えば、走査線動的プログラミングまたは走査線信念伝搬）の実行後に、領域ベースのフィルタリング事後処理ステップを用いることでこの問題に対処しており、そして、両方法は低コストのアルゴリズムまたは機能である。

本開示のシステムおよび方法は、領域ベースのフィルタリングを走査線アルゴリズムまたは機能の後に適用する。走査線アルゴリズムは、１度に１つの走査線について２つのイメージ間の奥行値を推定する。典型的に平滑性制約は、水平方向に沿って課されるだけである。走査線アルゴリズムまたは機能が実行された後、奥行マップは、垂直方向に沿った平滑性制約の欠如に起因して縞状アーティファクトを生じる（図５Ｂを参照されたい）。本開示のシステムおよび方法は、領域ベースの平滑化アルゴリズムまたは機能を適用して、領域境界を概ね保ちつつも縞状のアーティファクトを低減する。

本システムおよび方法はさらに、第１のイメージ内の少なくとも１つの点と第２のイメージ内の対応する少なくとも１つの点のそれぞれに対して、推定された視差から視差マップを生成し、該視差マップの視差値の逆数をとることよって視差マップを奥行マップに変換する。奥行マップまたは視差マップを、次いで３Ｄ再生のための立体イメージのペアを用いて利用することができる。

次に図面を参照すると、図１には、本開示の一実施形態にかかる例示的なシステムコンポーネントが示されている。例えばカメラの元のフィルムのネガ（negative）などのフィルムプリント１０４をスキャンして、例えばシネオン（Cineon）フォーマットまたは映画テレビ技術者協会（ＳＭＰＴＥ：Society of Motion Picture and Television Engineers）のＤＰＸ（Digital Picture Exchange）ファイルなどのデジタルフォーマットにするためのスキャン装置１０３が提供されている。スキャン装置１０３は、例えばビデオ出力を有するＡｒｒｉ ＬｏｃＰｒｏ（商標登録）などの、フィルムからビデオ出力を生成するテレシネ（telecine）または任意の装置を備えることができる。代替的には、撮影後のプロセス（post production process）からのフィルムまたはデジタルシネマ１０６（例えば、既にコンピュータ読取可能な形式となっているファイル）を直接使用することもできる。コンピュータ読取可能なファイルの潜在的なソースは、ＡＶＩＤエディタ（商標登録）、ＤＰＸファイル、Ｄ５テープなどである。

スキャンされたフィルムプリントは、後処理装置（post-processing device）１０２、例えばコンピュータに入力される。該コンピュータは、１つまたは複数の中央処理ユニット（ＣＰＵ）などのハードウェアと、ランダムアクセスメモリ（ＲＡＭ）および／またはリードオンリーメモリ（ＲＯＭ）などのメモリ１１０と、キーボード、カーソル制御装置（例えばマウスやジョイスティック）およびディスプレイ装置などの入出力（Ｉ／Ｏ）ユーザインタフェース１１２とを有する様々な公知のコンピュータプラットフォームのいずれにおいても実装される。該コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードも含む。本明細書において説明される様々な処理および機能は、該オペレーティングシステムを介して実行されるマイクロ命令コードの一部、またはソフトウェア・アプリケーションプログラムの一部（あるいはそれらの組合せ）のいずれかとすることができる。一実施形態において、該ソフトウェア・アプリケーションプログラムは、後処理装置１０２などの任意の適切な機械にアップロードされ該機械によって実行されうる、プログラム記憶装置上に有形的な具現化される。さらに、様々な他の周辺装置を、パラレルポート、シリアルポートまたはユニバーサルシリアルバス（ＵＳＢ）などの様々なインタフェースおよびバス構造によって、コンピュータプラットフォームに接続することができる。他の周辺装置には、追加の記憶装置１２４およびプリンタ１２８などが含まれる。プリンタ１２８は、例えば、立体版（stereoscopic version）フィルムなどの修正版（revised version）フィルム１２６をプリントするのに使用することができ、この場合該フィルムでは、１つまたは複数のシーンが、後述される技術の結果として３Ｄモデル化されたオブジェクトを使用して代替され、または置換されている。

代替的に、既にコンピュータ読取可能な形式となっているファイル／フィルムプリント１０６（例えば、外部ハードドライブ１２４上に記憶することができるデジタルシネマ）を、コンピュータ１０２に直接入力することができる。なお、本明細書において使用される用語「フィルム」は、フィルムプリントまたはデジタルシネマを指すことに留意されたい。

ソフトウェアプログラムは、少なくとも２つのイメージから奥行情報を抽出するための、メモリ１１０に格納される奥行抽出（depth extraction）モジュール１１４を含む。奥行抽出モジュール１１４はさらに、第１のイメージ内の少なくとも１つの点と第２のイメージ内の対応する少なくとも１つの点（例えば立体的なペア）の視差を推定し、そして第１のイメージ内の少なくとも１つの点と第２のイメージ内の対応する少なくとも１つの点の各々に対して推定された視差から視差マップを生成するように構成された、視差推定器（disparity estimator）１１６を含む。視差推定器１１６は、第１および第２のイメージのピクセルを平滑性コスト関数（smoothness cost function）１３４と合致させて平滑性制約を視差推定に適用する、ピクセルマッチングコスト関数（pixel matching cost function）１３２を含む。視差推定器１１６はさらに、信念伝搬アルゴリズムもしくは関数１３６および／または動的プログラミングアルゴリズムもしくは関数１３８を含み、２つのイメージ間の最適な視差が得られるようにピクセルマッチングコスト関数および平滑性コスト関数を最小化する。これらのコスト関数を最小化するための任意の公知の最適化アルゴリズムもしくは関数を利用することができ、信念伝搬または動的プログラミングは、単に例示的な最適化機能の２つの例に過ぎないことを理解されたい。

２Ｄイメージから領域またはオブジェクトをセグメント化するための領域セグメント化（region segmentation）モジュール１１８が提供されている。視差マップのセグメント化された領域内のピクセルをフィルタリングするための平滑化フィルタ（smoothing filter）１２０が提供されている。一実施形態において、平滑化フィルタ１２０は、ガウス(Gaussian)関数を離散化して、水平および垂直フィルタリングのためのフィルタカーネルを生成する。ガウス関数の分散を調節することよって、フィルタリングの平滑性の度合いを制御することができる。ボックス関数などの他の関数を使用してフィルタカーネルを生成することができることを認識されたい。

奥行抽出モジュール１１４はさらに、視差マップの視差値の逆数をとることよって視差マップを奥行マップに変換するための奥行マップ生成器（depth map generator）１２２を含む。

図２は、本開示の一態様にしたがって、少なくとも２つの２次元（２Ｄ）イメージから奥行情報を抽出するための例示的な方法のフローチャートである。初めに、後処理装置１０２は、少なくとも２つの２Ｄイメージ、例えば左目のビューと右目のビューを用いて立体イメージのペアを取得する（ステップ２０２）。後処理装置１０２は、コンピュータ読取可能なフォーマットのデジタルマスタイメージファイルを取得することよって、その少なくとも２つの２Ｄイメージを得ることができる。該デジタルビデオファイルは、デジタルカメラを用いて時系列の動画イメージをキャプチャすることによって得ることができる。代替的には、従来のフィルムタイプのカメラを用いてビデオシーケンスをキャプチャすることもできる。このシナリオでは、フィルムはスキャン装置１０３を介してスキャンされる。

フィルムがスキャンされるかどうか、または既にデジタルフォーマットであるかどうかに関わらず、フィルムのデジタルファイルは、フレームの位置に関する指示（indication）または情報、例えば、フレームの番号、フィルムの開始からの時間を含むであろうことを認識されたい。デジタルイメージファイルの各フレームは、１つのイメージ、例えばＩ₁、Ｉ₂、．．Ｉ_nを含むこととなる。

立体イメージを、同じ設定の２つのカメラによって撮ることができる。同じ焦点距離、同じ焦点高さ、および平行な焦点面を有するように、その２つのカメラをキャリブレートするか、または、その立体イメージを、該立体イメージがあたかも平行な焦点面を有するカメラよって撮られたかのように公知のカメラパラメータに基づいて歪曲させる必要がある。この歪曲処理（warping process）は、カメラのキャリブレーションおよびカメラ調節（rectification）を含む。キャリブレーションおよび調節プロセスでは、立体イメージのエピポーラ線（epipolar line）を、該エピポーラ線がちょうど該イメージの水平な走査線になるように調節する。対応する点はエピポーラ線に沿って見つかるので、調節プロセスは、対応する点の検索を走査線に沿った検索のみに簡略化し、これにより計算コストがかなり低減される。対応する点は、同一シーンの点に対応するイメージ内のピクセルである。

次に、ステップ２０４において、視差マップが、視差推定器１１６を介してシーン内の全ての点毎に推定される。全てのシーンの点に対する視差は、左目のイメージおよび右目のイメージ内の合致した点の相対距離として算出される。例えば、左目イメージ内の点の水平座標がｘであり、右目イメージ内の対応する点の水平座標がｘ’である場合、視差ｄ＝ｘ’−ｘである。続いて、あるシーンの点の視差値ｄは、該シーンの点からカメラまでの距離である奥行値ｚに、式：ｚ＝Ｂｆ／ｄ を使用して変換される。この式において、Ｂは、ベースラインとも称される２つのカメラの間の距離であり、ｆは、カメラの焦点距離であり、以下で詳細を説明する。

全てのステレオマッチングアルゴリズムの思想は、左目イメージ内のピクセルと右目イメージ内のピクセルとを合致させることである。しかし、修正されたピクチャのペアでは、合致したピクセル間のずれは、水平方向のみで起こる。したがって、水平方向に沿ったピクセルのみ検索する必要がある。ステレオマッチングアルゴリズムまたは機能では、通常、平滑性制約が課せられるので、イメージ内のテクスチャを有しないエリアは、近くのテクスチャを有するピクセルからその奥行値を取得することができる。平滑性制約を用いるピクセルマッチングを、以下のようにコスト関数と結合することができる。

上記（１）において、Ｄは、奥行マップ（または視差マップ）であり、ＭａｔｃｈＣｏｓｔは、奥行マップに従ったピクセルマッチングの全コストであり、ＳｍｏｏｔｈＣｏｓｔは、隣接するピクセル間の平滑性の全コストであり、λは、マッチングコストおよび平滑性コストの重要性の重み付けに使用される係数である。

奥行推定の問題は、したがって、上記コスト関数を奥行マップに対して最小化することである。Ｄが、２Ｄイメージ平面全体において定義される場合、これは集中的な計算および高い計算コストを要する２Ｄ最適化問題である。修正された立体イメージペアの性質に起因して、上記コスト関数を各イメージ走査線において定義し、各走査線における該コスト関数を最小化することができる。したがって、２Ｄ最適化問題を、効率的に解決することができる複数の１次元最適化問題に変換することができる。動的プログラミング関数１３８は、上記コスト関数の最小の解を効率的に発見するのに使用される例示的なアルゴリズムまたは機能であり、信念伝搬関数１３６も同様の目的で１Ｄ版に変更することができる。しかし、走査線最適化の主な問題は、垂直の平滑性制約の欠如に起因する「縞状」アーティファクトである（図５Ｂを参照されたい）。奥行マップが、２Ｄ＋奥行３Ｄディスプレイ上で２Ｄイメージとともに再生されるとき、「ストライプ」アーティファクトが厄介なジッター（jittering）を生じさせる。

アーティファクトを低減するために、本開示のシステムおよび方法は、結果として生じる視差マップに平滑化フィルタを適用する。しかし、平滑化フィルタは通常、好ましくないことに視差マップにおけるオブジェクトの奥行境界を不鮮明にする。本開示のシステムおよび方法は、領域内の平滑化プロセスを抑制する。ほとんどの場合、視差の不連続性は垂直方向に沿って起こるので、水平方向よりも垂直方向にかなり強い平滑化フィルタ、すなわち異方性のフィルタを使用する。フィルタ１２０のガウス関数の分散を調整することよって、これを達成することができる。より高い分散は、より強い平滑化フィルタをもたらす。フィルタリングプロセスをスピードアップさせるために、フィルタは、垂直の１Ｄフィルタリングが後続する水平の１Ｄフィルタリングによって実現される、分離可能なフィルタとすることができる。例えば、水平方向のフィルタリングが、第１の分散を有するガウス関数によって実行され、垂直方向のフィルタリングが、第２の分散を有するガウス関数によって実行されるが、ここで該第２の分散は、上記第１の分散より大きいので、これにより、水平方向よりも垂直方向でより良く平滑化効果が生じることとなる。一例示的な実施形態では、イメージサイズが９６０×５４０の場合、水平フィルタの分散を２．０であり、垂直フィルタの分散を４．０とすることができる。

領域ベースのフィルタリングを実行するために、立体のペアの少なくとも一方のイメージを少なくとも１つの領域にセグメント化する。図２を再び参照すると、ステップ２０６において、立体のペアのうち基準イメージ、例えば、左目ビューイメージを取得する。典型的には左目ビューイメージが基準イメージであるが、他の実施形態において右目ビューイメージを用いることもある。ステップ２０８において、そのイメージが、領域セグメント化モジュール１１８によって複数の領域にセグメント化される。領域へのセグメント化は、イメージを重なり合わない領域に区分することができる任意の従来の領域セグメント化アルゴリズムまたは機能によって実装することができる。例示的な領域検出（region-detection）アルゴリズムまたは機能は、平均シフト（mean-shift）アルゴリズムとして知られている。平均シフトアルゴリズムの利点は、領域の数を予め指定する必要がないことである。すなわち、このアルゴリズムは、領域の数をセグメント化プロセス中に自動的に発見することができる。領域セグメント化の結果の一例が図５Ｃに示されている。

イメージの領域が決定されると、ステップ２１０で、該イメージの領域に基づいて、視差マップが平滑化フィルタ１２０を介してフィルタリングされる。セグメント化された領域に基づいて視差マップをフィルタリングする方法を、図３および４に関連して説明する。

領域ベースの平滑化スキームでは、領域内のピクセル３０２毎に、マスクブロックサブイメージ３０４が生成され、そのピクセルは、指定されたピクセルの隣接ピクセルである。ブロックのサイズはフィルタのサイズによって決定される。したがって、最初にステップ４０２においてフィルタサイズが選択される。ステップ４０４において、フィルタサイズ３０８に基づいてマスクブロックサブイメージ３０４が作成される。例えば、水平フィルタのタップ（tap）が６であり、垂直フィルタのタップが４であるとき、ブロックは、４×６＝２４ピクセルを有する長方形である。ステップ４０６において、少なくとも１つのピクセルが少なくとも１つのセグメント化された領域内で選択され、次いでステップ４０８において、マスクブロックサブイメージがこのブロックにおいて作成される。マスクブロックサブイメージが視差マップに適用されると、ピクセルの強度値（intensity value）は、該ピクセルが領域境界３０６内部または内側にある場合には１に設定され、一方、図３に示されるようにピクセルが領域境界の外側にある場合には該ピクセルの強度値は０に設定される。

フィルタリングプロセスは、ステップ４１０において、先に水平フィルタを適用し、次いで垂直フィルタを適用することによって実現される。垂直および水平フィルタリングの両方にマスクブロックサブイメージの強度値で重み付けをするので、領域境界３０６の外側のピクセルは、結果として得られる平滑化された視差値に対して影響を及ぼさない。異なる形式の水平および垂直フィルタを使用することができる。一実施形態ではガウスフィルタが使用される。このフィルタは、所定の分散を有する１Ｄガウス関数をサンプリングすることよって生成され、指定のフィルタタップまで切り捨てられる。より微細さを保つために、垂直フィルタの分散は水平フィルタの分散よりも非常に高く、したがってこれは垂直方向をより積極的に平滑化する。ガウス関数の分散は、経験的に決定され、システム全体の入力パラメータとすることができる。例えば、イメージサイズ９６０×５４０の場合、水平フィルタの分散を２．０とし、垂直フィルタの分散を４．０とすることができる。

図２を再び参照すると、ステップ２１２において、フィルタリングされた視差マップが奥行マップ生成器１２２を介して奥行マップに変換される。シーンの点毎の視差値ｄが、奥行値ｚ、すなわちシーンの点からカメラまでの距離に、式：ｚ＝Ｂｆ／ｄ を使用して変換され、ここでＢは、ベースラインとも称される２つのカメラの間の距離であり、ｆは、カメラの焦点距離である。例えば左目ビューイメージである少なくとも１つのイメージ毎の奥行値が、奥行マップに記憶される。対応するイメージおよび関連する奥行マップは、例えば記憶装置１２４に記憶され、そして３Ｄ再生のために取り出される（ステップ２１４）。さらに、動画またはビデオクリップの全てのイメージを、関連する奥行マップとともに、立体版の動画またはクリップを表す単一のデジタルファイル１３０として格納することができる。デジタルファイル１３０を、例えば元のフィルムの立体版を印刷するためなど後で取り出すために、記憶装置１２４に格納することができる。

本発明のシステムおよび方法によって処理されるイメージが、図５Ａおよび５Ｃ〜５Ｄに図示されているが、図５Ａは２次元（２Ｄ）入力イメージを図示している。図５Ｂは、従来の走査線動的プログラミングによって処理された結果の奥行マップであり、縞状アーティファクトを示している。図５Ｃは、図５Ａに示されるイメージが領域セグメント化された結果のイメージであり、図５Ｄは、本開示のシステムおよび方法にしたがって処理された平滑化された奥行マップで図示しており、図５Ｃでセグメント化された領域に基づいてフィルタリングが実行されている。図５Ｂおよび５Ｄの奥行マップを比較すると、本開示のシステムおよび方法は、図５Ｄに示されるようにオブジェクト間の奥行境界をより多く維持しつつも、縞状アーティファクトを効果的に不鮮明にしている。

本開示による教示を取り入れる実施形態を、本明細書で示し詳細に説明してきたが、当業者は、これらの教示を取り入れた多くの他の変形の実施形態を容易に考案し得るであろう。（限定ではなく例示として意図される）少なくとも２つのイメージから奥行情報を抽出するためのシステムおよび方法に関する好適な実施形態を説明してきたが、上記教示を踏まえて当業者は修正および変更を行うことができることに留意されたい。したがって、開示された本発明の特定の実施形態に対して、特許請求の範囲で画定される本発明の範囲内で変更を行うことできることを理解されたい。

Claims (11)

1. 少なくとも２つのイメージから奥行情報を抽出する方法であって、
   シーンから第１のイメージおよび第２のイメージを取得するステップと、
   前記第１のイメージ内の少なくとも１つの点と前記第２のイメージ内の対応する少なくとも１つの点との視差を推定して、視差マップを生成するステップと、
   前記第１のイメージと前記第２のイメージの少なくとも一方を、少なくとも１つの領域にセグメント化するステップと、
   前記セグメント化された領域に基づいて前記視差マップを水平方向および垂直方向にフィルタリングするステップであって、前記垂直方向のフィルタリングは、前記水平方向のフィルタリングよりも大きい平滑化効果を有するように構成されるステップと、
   前記視差マップの前記少なくとも１つの点の各々について前記推定された視差を逆数にすることによって、前記フィルタリングされた視差マップを奥行マップに変換するステップと
   を含む、前記方法。
2. 前記第１のイメージおよび前記第２のイメージは、立体なペアの左目ビューおよび右目ビューを含む請求項１に記載の方法。
3. 前記視差を推定することは、ピクセルマッチングコスト関数と平滑性コスト関数の少なくとも一方を計算することを含む請求項１に記載の方法。
4. 前記視差を推定することは、走査線最適化関数によって実行される請求項１に記載の方法。
5. 前記水平方向のフィルタリングは、第１の分散を有するガウス関数によって実行され、前記垂直方向のフィルタリングは、前記第１の分散より大きい第２の分散を有するガウス関数によって実行される請求項１に記載の方法。
6. 前記フィルタリングするステップは、
   フィルタサイズを選択するステップと、
   前記フィルタサイズに基づいて、前記少なくとも１つのセグメント化された領域の外側のピクセルをマスクするマスクブロックサブイメージを作成するステップと、
   前記少なくとも１つのセグメント化された領域の内側の少なくとも１つのピクセルをフィルタリングするステップと
   を含む請求項１に記載の方法。
7. 少なくとも２つのイメージから奥行情報を抽出するシステムであって、
   シーンから第１のイメージおよび第２のイメージを取得するための手段と、
   前記第１のイメージ内の少なくとも１つの点と前記第２のイメージ内の対応する少なくとも１つの点との視差を推定して、視差マップを生成するように構成された視差推定器と、
   前記第１のイメージと前記第２のイメージのうちの少なくとも一方を、少なくとも１つの領域にセグメント化するように構成されたセグメント化モジュールと、
   前記セグメント化された領域に基づいて前記視差マップを水平方向および垂直方向にフィルタリングするように構成されたフィルタであって、前記垂直方向のフィルタリングが、前記水平方向のフィルタリングよりも大きい平滑化効果を有するように構成されるフィルタと、
   前記視差マップの前記少なくとも１つの点の各々について前記推定された視差を逆数にすることによって、前記フィルタリングされた視差マップを奥行マップに変換するように構成された奥行マップ生成器と
   を備えた、前記システム。
8. 前記視差推定器は、ピクセルマッチングコスト関数と、平滑性コスト関数と、走査線最適化関数のうちの少なくとも１つを含む請求項７に記載のシステム。
9. 前記水平方向のフィルタリングは、第１の分散を有するガウス関数よって実行され、前記垂直方向のフィルタリングは、前記第１の分散より大きい第２の分散を有するガウス関数よって実行される請求項７に記載のシステム。
10. 前記フィルタは、所定のフィルタサイズに基づいてマスクブロックサブイメージを作成して、前記少なくとも１つのセグメント化された領域の外部のピクセルをマスクし、前記少なくとも１つのセグメント化された領域の内部の少なくとも１つのピクセルをフィルタリングするようにさらに構成される請求項７に記載のシステム。
11. マシンによって実行可能な命令からなるプログラムを記憶した、マシン読取可能なプログラム記憶装置であって、前記プログラムは、少なくとも２つのイメージから奥行情報を抽出するための処理を前記マシンに実行させるように構成され、前記処理は、
    シーンから第１のイメージおよび第２のイメージを取得するステップと、
    前記第１のイメージ内の少なくとも１つの点と前記第２のイメージ内の対応する少なくとも１つの点との視差を推定して、視差マップを生成するステップと、
    前記第１のイメージと前記第２のイメージのうちの少なくとも１つを、少なくとも１つの領域にセグメント化するステップと、
    前記セグメント化された領域に基づいて前記視差マップを水平方向および垂直方向にフィルタリングするステップであって、前記垂直方向のフィルタリングは、前記水平方向のフィルタリングよりも大きい平滑化効果を有するように構成されるステップと、
    前記視差マップの前記少なくとも１つの点の各々について前記推定された視差を逆数にすることによって、前記フィルタリングされた視差マップを奥行マップに変換するステップと
    を含む、前記プログラム記憶装置。