JP5425897B2 - 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法 - Google Patents

Description

本開示は一般に、コンピュータ・グラフィクス処理及び表示システムに関し、特に、前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法に関する。

立体視撮像は、３次元（「３Ｄ」）深度のイリュージョンをもたらすために、わずかに異なる視点から撮られたシーンの少なくとも２つの画像を視覚的に組み合わせる処理である。この手法は、人間の眼が、一定の距離だけ離れており、したがって、ちょうど同じシーンを視たくないということに依存する。異なる視点からの画像を眼それぞれに与えることにより、観察者の眼をだまして、深度を知覚させる。通常、別個の２つの視点が与えられる場合、成分画像は、「左」画像及び「右」画像として表される（それぞれ参照画像及び補完画像としても知られている）。しかし、３つ以上の視点を組み合わせて立体視画像を形成することができるということを当業者は認識するであろう。

３Ｄポストプロダクションの、視覚効果（「ＶＦＸ」）ワークフロー及び３Ｄ表示の適用例では、重要な処理は、左眼ビュー及び右眼ビュー画像を含む立体視画像から深度マップを推定することである。例えば、最近商用化された自動立体視３Ｄディスプレイは、画像プラス深度マップの入力形式を必要とし、よって、ディスプレイは、複数の視野角をサポートするために別々の３Ｄビューを生成することが可能である。

ステレオ画像対から深度マップを推定する処理は、コンピュータ視覚の調査の分野では、ステレオ・マッチングと呼ばれる。左眼ビュー画像及び右眼ビュー画像における対応する点を求めるために画素マッチング又はブロック・マッチングが使用されるからである。最近では、深度マップを推定する処理は、３Ｄディスプレイ界では深度抽出としても知られている。深度値は、シーン内の同じ点に対応する画像内の２つの画素間の相対距離から推定される。

ディジタル画像のステレオ・マッチングは、３次元（３Ｄ）深度情報を提供するために、多くのコンピュータ視覚アプリケーション（例えば、コンピュータ支援製図（ＣＡＤ）のための高速オブジェクト・モデリング及びプロトタイピング、人間・コンピュータ相互作用（ＨＣＩ）のためのオブジェクト・セグメント化及び検出、ビデオ圧縮及び視覚監視）において広く使用されている。ステレオ・マッチングにより、シーン内の別々の位置及び向きに配置された２つ以上のカメラからシーンの画像が得られる。前述のディジタル画像は、ほぼ同じ時点及び位置（点）において各カメラから得られ、空間内の３Ｄ点に対応する画像それぞれがマッチングされる。一般に、別々の画像からの点が、画像の一部分をサーチし、制約（エピポーラ制約など）を使用して、一画像内の点を別の画像内の点に相関させることによってマッチングされる。

深度マップ抽出に関するかなりの研究が存在している。深度抽出に関する研究の大半は、ビデオでなく単一の立体視画像対に焦点を当てる。しかし、画像でなくビデオが、家電界では有力なメディアである。ビデオの場合、単一の画像対でなく、立体視画像対の系列が使用される。従来の手法では、静的深度抽出アルゴリズムが各フレーム対に適用される。大半の場合、出力深度マップの品質は、３Ｄプレイバックに十分である。しかし、大量のテクスチャのフレームの場合、時間ジッタ・アーチファクトがみられ得る。深度マップが時間方向に（すなわち、画像対系列に対する期間にわたって）正確に整列されないからである。

したがって、時間ジッタ・アーチファクトを削減するために時間方向に沿って深度マップ抽出処理を安定化させるための手法に対する必要性が存在している。

本開示の局面によれば、前方及び後方の深度予測を伴う、画像の時空間深度抽出のシステム及び方法が提供される。本開示のシステム／方法は、いくつかのフレームを取得する手段／工程と、いくつかのフレーム内の先行フレームの深度マップに基づいていくつかのフレームにおける現在のフレームの第１の深度マップを生成する手段／工程と、いくつかのフレーム内の後続フレームの深度マップに基づいていくつかのフレームにおける現在のフレームの第２の深度マップを生成する手段／工程と、第１の深度マップ及び第２の深度マップを処理して現在のフレームの第３の深度マップを生成する手段／工程とを含む。

本開示の局面による、少なくとも２つの画像をステレオ・マッチングさせるシステムを略示する図である。 本開示の局面による、少なくとも２つの画像をステレオ・マッチングさせる例示的な方法を示すフロー図である。 シーン内の関心点について得られる２つの画像間のエピポーラ幾何形状を示す図である。 ディスパリティと深度との間の関係を示す図である。 本開示の局面による、少なくとも２つの画像のディスパリティを推定する例示的な方法を示すフロー図である。 本発明の一局面による、時空間深度抽出の例示的方法を示すフロー図である。 立体視画像の連続フレームの系列の深度マップを拡充するための前方及び後方の予測処理を示す図である。 本開示の一局面による、深度マップを生成する例示的方法を示すフロー図である。

本開示の前述及び他の局面、構成及び利点は、添付図面とともに読まれる好ましい実施例の以下の詳細な説明に記載されており、前述の説明から明らかになるであろう。

図面では、同じ参照符号は、図を通して同じ構成要素を表す。

図面は、本開示の概念を例証する目的のためであり、本発明を例証するために考えられる唯一の構成で必ずしもない。

図に示す構成要素は、種々の形態のハードウェア、ソフトウェア、又はそれらの組合せで実現することができる。好ましくは、前述の構成要素は、プロセッサ、メモリ、及び入出力インタフェースを含み得る適切にプログラムされた１つ又は複数の汎用装置上のハードウェア及びソフトウェアの組合せで実現される。

本明細書は、本開示の原理を示す。よって、当業者は、本明細書及び特許請求の範囲に明示的に説明するか、又は示していないが、本開示の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を考え出すことができるであろう。

本明細書及び特許請求の範囲記載の例、及び条件付言語は全て、本開示の原理、及び当該技術分野を発展させるために本発明者が貢献する概念を読者が理解することを支援するための教示の目的を意図しており、前述の、特に記載した例及び条件への限定なしであると解釈するものとする。

更に、本開示の原理、局面、及び実施例、並びにそれらの具体例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。

よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本開示の原理を実施する例証的な回路の概念図を表すことは当業者によって認識されるであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コード等は何れも、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサにより、前述のコンピュータ又はプロセッサが明記されているかにかかわらず、実行し得る種々の処理を表す。

図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、又は、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを排他的に表すと解するべきでなく、暗黙的には、無制限に、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。

他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念のみである。前述の機能は、プログラム・ロジックの動作によるか、専用ロジックによるか、プログラム制御及び専用ロジックの相互作用によるか、又は手作業によって行うことができ、特定の手法は、前後関係からより具体的に分かるように実現者によって選択可能である。

本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行するための適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本開示は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということにおいて存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。

ステレオ・マッチングが、立体視画像（例えば、左眼ビュー画像及び右眼ビュー画像）から深度マップを推定するための標準的な方法論である。従来の自動立体視ディスプレイ上の３Ｄプレイバックは、深度マップの平滑度が、結果として生じる３Ｄプレイバックの外観にかなり影響を及ぼす。平滑でない深度マップは多くの場合、３Ｄプレイバックにおけるジグザグ・エッジをもたらす。これは、深度値の精度が低い平滑な深度マップのプレイバックよりも視覚的に劣悪である。したがって、深度マップの平滑度は、３Ｄディスプレイ及びプレイバックのアプリケーションの場合の深度精度よりも重要である。更に、大局的な最適化ベースの手法は、３Ｄディスプレイ・アプリケーションにおける深度推定に必要である。本開示は、深度マップの平滑度を向上させるために時間情報を組み入れる深度抽出手法を提示する。多くのステレオ手法は、データとの一貫性及び空間コヒーレンスを強化するコスト関数を最適化する。画像系列の場合、時間成分が、抽出された深度マップの精度を向上させるために重要である。

前方及び後方の深度予測を伴う画像の時空間深度抽出のシステム及び方法を提供する。本開示のシステム及び方法は、深度マップの平滑度を向上させるために時間情報を組み入れる深度抽出手法を提供する。本開示の手法は、前方パス及び後方パスを組み入れており、画像系列のフレームの先行深度マップが、現在のフレームにおける深度推定を初期化するために使用され、それにより、計算が高速かつ高精度になる。深度マップ又はディスパリティ・マップはその場合、３Ｄプレイバックのために立体視画像対とともに利用することが可能である。本開示の手法は、深度マップの不安定度によってもたらされる２Ｄ＋深度ディスプレイにおける３Ｄプレイバックの時間ジッタ・アーチファクトの問題の解決において効果的である。

次に図を参照すれば、本開示の実施例による例示的なシステム構成部分を図１に示す。走査装置１０３は、ディジタル形式（例えば、Ｃｉｎｅｏｎ形式、又は、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ （「ＳＭＰＴＥ」） Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｅｘｃｈａｎｇｅ （ＤＰＸ」ファイル））にフィルム・プリント１０４（例えば、カメラオリジナルのネガフィルム）を走査するために提供することができる。例えば、走査装置１０３は、例えばビデオ出力を備えたＡｒｒｉ ＬｏｃＰｒｏ（商標）などの、フィルムからのビデオ出力を生成するテレシネ装置又は何れかの装置を含み得る。あるいは、ディジタル・シネマ１０６又はポストプロダクション処理からのファイル（例えば、既にコンピュータ読み取り可能な形式になっているファイル）を直接使用することが可能である。コンピュータ読み取り可能なファイルの潜在的なソースには、ＡＶＩＤ（商標）エディタ、ＤＰＸファイル、Ｄ５テープ等がある。

走査済フィルム・プリントは、後処理装置１０２（例えば、コンピュータ）に入力される。コンピュータは、１つ又は複数の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）及び／又はリード・オンリ・メモリ（ＲＯＭ）などのメモリ１１０、及び、キーボード、カーソル制御装置（例えば、マウス又はジョイスティック）やディスプレイ装置などの入出力（Ｉ／Ｏ）ユーザ・インタフェース１１２などのハードウェアを含む種々の既知のコンピュータ・プラットフォームの何れかに実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含む。本明細書及び特許請求の範囲記載の種々の処理及び機能は、オペレーティング・システムによって実行されるソフトウェア・アプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。一実施例では、ソフトウェア・アプリケーション・プログラムは、プログラム記憶装置上に有形に実施され、これは、後処理装置１０２などの何れかの適切なマシンにアップロードされ、上記マシンによって実行され得る。更に、種々の他の周辺装置は、パラレル・ポート、シリアル・ポート、又はユニバーサル・シリアル・バス（ＵＳＢ）などの種々のインタフェース及びバス構造により、コンピュータ・プラットフォームに接続することができる。他の周辺装置は、更なる記憶装置１２４及びプリンタ１２８を含み得る。プリンタ１２８は、フィルム１２６の修正版（例えば、フィルムの立体視版）をプリントするために使用することができ、シーン、又は複数のシーンは、以下に説明された手法の結果として３Ｄモデリングされたオブジェクトを使用して改変又は置換されていることがあり得る。

あるいは、コンピュータ読み取り可能な形式に既になっているファイル／フィルム・プリント１０６（例えば、ディジタル・シネマ（例えば、外部ハード・ドライブ１２４上に記憶することができる））はコンピュータ１０２に直接入力することができる。本明細書及び特許請求の範囲記載の「フィルム」の語はフィルム・プリント又はディジタル・シネマを表し得る。

ソフトウェア・プログラムは、第２の画像における少なくとも１つの対応する点と、第１の画像内の少なくとも１つの点をマッチングさせるために、メモリ１１０に記憶されたステレオ・マッチング・モジュール１１４を含む。ステレオ・マッチング・モジュール１１４は、エピポーラ線が画像のちょうど水平走査線であるように立体視画像対のエピポーラ線を調節するよう構成された画像ワーパ１１６を更に含む。

ステレオ・マッチング・モジュール１１４は、第２の画像内の対応する少なくとも１つの点との、第１の画像における少なくとも１つの点のディスパリティを推定し、第２の画像内の対応する少なくとも１つの点との、第１の画像における少なくとも１つの点それぞれの推定されたディスパリティからディスパリティ・マップを生成するよう構成されたディスパリティ推定器１１８を更に含む。ディスパリティ推定器１１８は、第１の画像及び第２の画像における画素をマッチングするよう構成された画素マッチング・コスト関数１３２と、ディスパリティ推定に平滑度制約を施すための平滑度コスト関数１３４と、経時的に、生成されたディスパリティ・マップの系列を合わせるよう構成された時間コスト関数１３６とを含む。ディスパリティ推定器１１８は、確率伝播関数１３８を高速化するために第１の画像及び第２の画像に施される決定論的なマッチング関数の結果により、確率伝播アルゴリズム又は関数１３８を初期化するよう、推定されたディスプレイ及び動的プログラミング・アルゴリズムを最小にするための確率伝播アルゴリズム又は関数１３８を更に含む。

ステレオ・マッチング・モジュール１１４は、ディスパリティ・マップのディスパリティ値を反転させることにより、深度マップにディスパリティ・マップを変換するための深度マップ生成器１２０を更に含む。

図２は、本開示の局面による、２次元（２Ｄ）の少なくとも２つの画像のステレオ・マッチングの例示的な方法のフロー図である。当初、後処理装置１０２は、少なくとも２つの２次元（２Ｄ）画像、例えば、左眼ビュー及び右眼ビューを備えたステレオ画像対を獲得する（工程２０２）。後処理装置１０２は、コンピュータ判読な形式でディジタル・マスタ画像ファイルを得ることにより、少なくとも２つの２Ｄ画像を獲得することができる。ディジタル・ビデオ・ファイルは、ディジタル・カメラにより、動く画像の時間系列を捕捉することによって獲得することができる。あるいは、ビデオ系列は従来のフィルムタイプのカメラによって捕捉することができる。このシナリオでは、フィルムは走査装置１０３によって走査される。

フィルムが走査されるか、ディジタル形式に既にあるかにかかわらず、フィルムのディジタル・ファイルは、フレームの位置に関する表示又は情報、例えば、フレーム番号、フィルムの開始からの時間等を含む。

立体視画像は、同じ設定を備えた２つのカメラによって撮ることが可能である。カメラは、同じ焦点距離、焦点高度、及び平行焦点面を有するよう校正されるか、又は、画像は、平行の焦点面でカメラによって撮られたかのように、既知のカメラ・パラメータに基づいてワーピングさせなければならない（工程２０４）。前述のワーピング処理は、カメラ校正（工程２０６）及びカメラ矯正（工程２０８）を含む。校正処理及び矯正処理は、エピポーラ線が厳密に、画像の水平走査線であるように立体視画像のエピポーラ線を調節する。図３を参照すれば、Ｏ_Ｌ及びＯ_Ｒは２つのカメラの焦点を表し、Ｐは両方のカメラにおける関心点を表し、ｐ_Ｌ及びｐ_Ｒは、画像面上に位置Ｐが投影される場所を表す。各焦点面上の交点は、エピポール（Ｅ_Ｌ及びＥ_Ｒによって表す）と呼ばれる。右エピポーラ線（例えば、Ｅ_Ｒ−ｐ_Ｒ）は、左画像上の点及び焦点中心を結ぶ光線の右画像上の投影であり、よって、左画像上の画素に対する右画像上の対応する点は、右画像上のエピポーラ線に位置する。左エピポーラ線（例えば、Ｅ_Ｌ−ｐ_Ｌ）の場合も同様である。対応する点の探索はエピポーラ線に沿って生起するので、矯正処理は、走査線に沿ってのみのサーチに対応関係サーチを単純化し、これにより、計算コストが大きく削減される。対応する点は、同じシーン点に対応する、画像内の画素である。

次に、工程２１０で、ディスパリティ・マップがシーン内の全点について推定される。対応する点が求められると、シーン点全てのディスパリティが、左眼画像及び右眼画像内のマッチングされた点の相対距離として算出される。例えば、図４を参照すれば、左目画像４０２内の点の水平座標がｘであり、右眼画像４０４内のその対応する点の水平座標がｘ’である場合、ディスパリティｄ＝ｘ’−ｘである。次いで、工程２１２では、シーン点４０６のディスパリティ値ｄは、式：ｚ＝Ｂｆ／ｄを用いて深度値ｚ（シーン点４０６（収束点としても知られている）からカメラ４０８、４１０までの距離）に変換される。ここで、Ｂは、２つのカメラ４０８、４１０間の距離であり、基準線とも呼ばれ、ｆは、カメラの焦点距離であり、その証しは図４に示す。

図５を参照すれば、本開示に応じて、工程２１０として上記で明確にしたディスパリティ・マップを推定する方法が提供される。当初、立体視画像対が獲得される（工程５０２）。画素コスト関数を計算する工程（工程５０４）、平滑度コスト関数を計算する工程（工程５０６）、及び時間コスト関数を計算する工程（工程５０８）を含むディスパリティ・コスト関数が計算される。低コスト・ステレオ・マッチング最適化（例えば、動的プログラミング）が、２つの画像のステレオ・マッチングの当初の決定論的な結果を得るために実行される（工程５１０）。低コスト最適化の結果が次いで、系列の最初のフレームのディスパリティ・コスト関数を最小化するために確率伝播関数を高速化するよう確率伝播関数を初期化するために使用される（５１２）。予測深度マップが次いで、系列の後続フレームの確率伝播関数を初期化するために使用される。

ディスパリティ推定、及びその形成（図５に示す）を次いで更に詳細に説明する。ディスパリティ推定は、上記ワークフローにおいて重要な工程である。上記課題は、左眼画像及び右眼画像における画素のマッチング（すなわち、同じシーン点に対応する右画像及び左画像内の画素を求めること）を含む。ディスパリティ・マップが平滑であるとみなすことにより、ステレオ・マッチング課題は以下のように式で表すことが可能である。

Ｃ（ｄ（．））＝Ｃ_ｐ（ｄ（．））＋λＣ_ｓ（ｄ（．）） （１）
ここで、ｄ（．）はディスパリティ・フィールドであり、ｄ（ｘ，ｙ）は、座標（ｘ，ｙ）を有する、左眼画像内の点のディスパリティ値を表し、Ｃは全体コスト関数であり、Ｃ_ｐは画素マッチング・コスト関数であり、Ｃ_ｓは平滑度コスト関数である。平滑度コスト関数は、ディスパリティ・マップの平滑度を実現するために使用される関数である。最適化処理中、上記コスト・ファンクショナルは、ディスパリティ・フィールド全てに対して最小化される。局所最適化の場合、平滑度の項Ｃ_ｓが廃棄される。したがって、最適化処理中、平滑度は考慮に入れられない。Ｃ_ｐは、他の形式のうちでも、画素強度の平均二乗差としてモデリングすることが可能である。

平滑度制約は、垂直の平滑度が実現されるか否かに応じて別々に書き込み得る。水平平滑度制約及び垂直平滑度制約が実現される場合、平滑度コスト関数は以下の平均二乗誤差関数としてモデリングすることが可能である。

次に、時間制約は、図６に示すようにコスト関数において考慮に入れられる。（ｉ−１）番目のフレームにおける先行深度マップは、ｉ番目のフレームにおける現在の深度マップを予測するために使用されるので、現在の深度マップの推定は先行深度マップによって制約され得る。工程６０２では、
（ｉ−１）番目の左画像６０４及び（ｉ−１）番目の右画像６０６から、（ｉ−１）番目のフレームにおいて推定される深度マップが「ｄ_i−１（．）」として表されるものとする。予測深度マップｄ^＋（．）が、Ｕｈフレームにおいて深度マップを予測するために使用される。予測深度マップｄ^＋（．）は工程６０８で、（ｉ−１）番目のフレームにおける深度マップをｉ番目のフレームに内挿することによって算出される。一実施例では、単純な内挿処理が使用される。ここで、予測深度マップは、動き情報を考慮に入れることなく、（ｉ−１）番目のフレームにおける深度マップに等しい（すなわち、ｉ．ｅ． ｄ^＋（．）＝ｄ_ｉ−１（．）である。
予測深度マップを考慮に入れると、全体深度コスト関数における時間予測項は、

として構成することが可能である。
工程６１０では、コスト関数は、現在のフレームについて２つの入力画像（すなわち、ｉ番目の左画像６１２及びｉ番目の右画像６１４）から算出される。コスト関数は、工程６１６において、最終的な深度マップ結果を得るよう最小化される、工程６１８では、予測深度マップ（工程６０８において求められる）は、（式４に示す）計算を高速化させるように最小化処理（最小化ブロック６１６）を初期化するために使用される。

したがって、全体的なコスト関数は、
Ｃ（ｄ（．））＝Ｃ_ｐ（ｄ（．））＋λＣ_ｓ（ｄ（．））＋μＣ_ｔ（ｄ（．）） （５）
であり、ここで、μは、全体コスト関数における時間予測コスト関数を重み付けするための重み付け係数である。μは経験的に求めることが可能である。

上記方法の欠点は、系列の最初のフレームにおいて誤差が存在している場合、その誤差は、系列の最後までフレームの残りに伝播される。更に、実験では、系列内の最後のフレームにおける深度マップは、系列内の最初の深度マップよりもずっと平滑であるということが明らかになった。これは、平滑化効果が、時間的制約を伴う最適化中にフレームに沿って蓄積されるからである。

上記課題を解決するために、マルチパス前方及び後方処理を図７に示すように提供する。前方及び後方の処理はまず、前方方向に（すなわち、系列内の最初のフレームから最後のフレーム（すなわち、（Ｎ）番目のフレームに）第１のパス７０２において時間的予測を行う。次のパス７０４では、時間的予測は最後のフレームから開始し、最初のフレームまで後方（例えば、（Ｎ−１）番目のフレーム、（Ｎ−２）番目のフレーム、（Ｎ−３）番目のフレーム_…、１番目のフレーム）に進む。同じ手順を、前方及び後方の予測の複数のパスを有するよう繰り返し得る。

前方処理及び後方処理において、前方パスの場合、予測深度マップはｄ^＋（．）＝ｄ_ｉ−ｌ（．）として設定され、後方パスの場合、予測深度マップは、ｄ^＋（．）＝ｄ_ｉ−ｌ（．）として設定される。上記手順及び式の残りは、上記のものと同様である。

式５に示す全体コスト関数は、推定された深度マップを得るために種々の手法を使用して最小にすることが可能である。一実施例では、確率伝播関数は式５のコスト関数を最小にするために使用される。確率伝播は、コンピュータ視覚及びマシン学習において使用される高品質最適化アルゴリズムである。確率伝播関数又はアルゴリズムを高速化させるために、低コスト最適化アルゴリズム（例えば、動的プログラミング関数）を、低品質深度マップをまず得るために使用する。次いで、この低品質深度マップは、確率伝播関数又はアルゴリズムを初期化するために使用される。

更なる実施例では、確率伝播関数を初期化するために低品質深度マップを使用する代わりに、確率伝播関数を初期化するために予測深度マップｄ^＋（．）を使用することが可能である。この実施例では、画像系列について、系列内の最初の画像フレームについてのみ低品質深度初期化が使用される。系列内のフレームの残りについて、予測深度マップが、確率伝播関数又はアルゴリズムを初期化するために使用される。

もう一度、図２を参照すれば、工程２１２では、シーン点毎のディスパリティ値ｄが式
ｚ＝Ｂｆ／ｄ
を使用して、深度値ｚ（シーン点からカメラまでの距離）に変換される。ここで、Ｂは基準線とも呼ばれる、２つのカメラ間の距離であり、ｆはカメラの焦点距離である。少なくとも１つの画像それぞれ（例えば、左眼ビュー画像）の深度値が深度マップに記憶される。対応する画像及び関連付けられた深度マップが、例えば、記憶装置１２４において、記憶され、３Ｄプレイバックのために取り出すことができる（工程２１４）。更に、動画像又はビデオ・クリップの画像全てを、動画像又はクリップの立体視版を表す単一のディジタル・ファイル１３０に、関連付けられた深度マップとともに記憶することが可能である。ディジタル・ファイル１３０は、後に、例えば、フィルム・オリジナルの立体視版をプリントするために取り出すために記憶装置１２４に記憶することができる。

次に図８を参照すれば、本開示の一局面による深度マップを生成するための例示的な方法を示す。当初、工程８０２では、複数のフレームが獲得される。獲得された複数のフレームは、フィルムのシーン、ショット又は他の特定のセグメントであり得る。各フレームは、右眼画像及び左眼画像（例えば、立体視画像対）、参照画像、補完画像、別々の視点を有する複数の画像等を含む。次に、工程８０４では、深度マップを生成するためのフレーム（例えば、現在のフレーム）が選択される。その後、工程８０６で、かつ、図６及び図７において表した処理に応じて、選択されたフレームについて、第１の深度マップが生成される。第１の深度マップの生成は、第１の方向（例えば、最も早いフレームから、最も遅いフレームに進む前方方向）に、獲得された複数のフレームを処理することにより、先行深度マップ又は先行する複数の深度マップに基づいて第１の深度マップを推定する工程を含む。次に、工程８０８では、かつ、図６及び図７に表した処理に応じて、第２の深度マップが、選択されたフレームについて生成される。第２の深度マップ生成は、第２の方向（例えば、最も遅いフレームから最も早いフレームに進む後方方向）に、獲得された複数のフレームを処理することにより、後続深度マップ又は後続する複数の深度マップに基づいて第２の深度マップを推定する工程を含む。最後に、工程８１０で、別の方向（例えば、第２の深度マップに存在する後方方向に、又は第１の深度マップに存在する前方方向に）フレームを処理することによって生成される補正値を使用して、一方向（例えば、第２の深度マップに存在する後方方向に、又は第１の深度マップに存在する前方方向に）にフレームを介して伝播する誤差は何れも最小にされるか、又は削減され得る。

本開示の教示を組み入れた実施例を本明細書及び特許請求の範囲に表し、説明しているが、前述の教示をなお組み入れた他の多くの変形実施例を容易に考え出すことが可能である。前方及び後方の深度予測を伴う、画像の時空間深度抽出のシステム及び方法の好ましい実施例（例証的であり、限定的でないことを意図している）を説明してきたが、修正及び変形は、前述の教示によって、当該技術分野における当業者によって行うことが可能である。したがって、本発明の特定の実施例において、特許請求の範囲記載の本発明の範囲及び趣旨の範囲内に収まる変更を行うことができる。

Claims (12)

1. コンピュータにおいて、少なくとも２つの画像をマッチングする方法であって、
   複数のフレームを取得する工程であって、前記複数のフレームにおける各フレームは第１の画像及び第２の画像を含む工程と、
   前記複数のフレーム内の先行フレームの深度マップに基づいて前記複数のフレームにおける現在のフレームの第１の深度マップを生成する工程と、
   前記複数のフレーム内の後続フレームの深度マップに基づいて前記複数のフレームにおける前記現在のフレームの第２の深度マップを生成する工程と、
   前記第１の深度マップ及び前記第２の深度マップを処理して前記現在のフレームの第３の深度マップを生成する工程と
   を含み、
   第１の深度マップを生成する工程及び第２の深度マップを生成する工程は、
   前記第１の画像内の少なくとも１つの点の、前記第２の画像内の対応する少なくとも１つの点とのディスパリティを推定する工程であって、低コスト最適化関数を行う工程、及び前記低コスト最適化関数の結果に基づいて確率伝播関数を計算する工程を含む工程と、
   前記推定されたディスパリティに基づいてディスパリティ・マップを生成する工程と、
   前記推定されたディスパリティ・マップを深度マップに変換する工程と
   を含む方法。
2. 請求項１記載の方法であって、前記第１の深度マップは前記先行フレームの前記深度マップに基づいた誤差を含み、前記第２の深度マップは前記誤差を低減させるための補正を含む方法。
3. 請求項１記載の方法であって、前記ディスパリティを推定する工程は、画素マッチング・コスト関数を計算する工程を含む方法。
4. 請求項１記載の方法であって、前記ディスパリティを推定する工程は、平滑度コスト関数を計算する工程を含む方法。
5. 請求項１記載の方法であって、前記ディスパリティを推定する工程は、時間コスト関数を計算する工程を含む方法。
6. 請求項１記載の方法であって、前記第１の画像が立体視対の左眼ビューであり、第２の画像が立体視対の右眼ビューである方法。
7. 少なくとも２つの画像をマッチングするシステムであって、
   複数のフレームを取得する手段であって、前記複数のフレームにおける各フレームは第１の画像及び第２の画像を含む手段と、
   前記複数のフレーム内の先行フレームの深度マップに基づいて前記複数のフレームにおける現在のフレームの第１の深度マップを生成する手段と、
   前記複数のフレーム内の後続フレームの深度マップに基づいて前記複数のフレームにおける前記現在のフレームの第２の深度マップを生成する手段と、
   前記第１の深度マップ及び前記第２の深度マップを処理して前記現在のフレームの第３の深度マップを生成する手段と
   を備え、
   第１の深度マップを生成する手段及び第２の深度マップを生成する手段は、
   前記第１の画像内の少なくとも１つの点の、前記第２の画像内の対応する少なくとも１つの点とのディスパリティを推定する手段であって、低コスト最適化関数を行う手段、及び前記低コスト最適化関数の結果に基づいて確率伝播関数を計算する手段を備える手段と、
   前記推定されたディスパリティに基づいてディスパリティ・マップを生成する手段と、
   前記推定されたディスパリティ・マップを深度マップに変換する手段と
   を備えるシステム。
8. 請求項７記載のシステムであって、前記第１の深度マップは前記先行フレームの前記深度マップに基づいた誤差を含み、前記第２の深度マップは前記誤差を削減するための補正を含むシステム。
9. 請求項７記載のシステムであって、前記ディスパリティを推定する手段は、画素マッチング・コスト関数を計算する手段を含むシステム。
10. 請求項７記載のシステムであって、前記ディスパリティを推定する手段は、平滑度コスト関数を計算する手段を含むシステム。
11. 請求項７記載のシステムであって、前記ディスパリティを推定する手段は、時間コスト関数を計算する手段を含むシステム。
12. 請求項７記載のシステムであって、前記第１の画像が立体視対の左眼ビューであり、第２の画像が立体視対の右眼ビューであるシステム。

Images