JP5329677B2 - 奥行き及びビデオのコプロセッシング - Google Patents

Description

本発明は、一般にメディア処理に関し、特にビデオフレーム及び奥行きマップのコプロセッシングに関する。

多視点映像及び３ＤＴＶとも呼ばれる自由視点テレビ（Free viewpoint television:ＦＴＶ）は、ユーザが３Ｄディスプレイの前で自身の位置を自由に変更しながら３Ｄ映像体験ができる新しい音声映像システムである。画面の前の固定位置に座っているユーザに対して３Ｄ体験を可能にする一般的な立体テレビとは異なり、ＦＴＶは、ユーザがそこにいるかのように多くの異なる角度からシーンを観察することを可能にする。従って、ＦＴＶは、ユーザが視点を対話形式で制御できるようにし、あらゆる３Ｄ位置から動的シーンの新しいビューを生成する。

ＦＴＶフォーマット（形式）は主に２つ存在する。すなわち、２Ｄ＋Ｚで知られる多視点＋奥行き（multiview+depth)、及び、階層型奥行きビデオ（layered depth vide:ＬＤＶ）形式であり、前者の方が一般的である。多視点＋奥行き表現において、シーンは多くのカメラで異なる角度から取り込まれる。複数のビューは、種々のビューに存在する時間的類似性及び空間的類似性の双方を利用して共に圧縮される。更にＦＴＶ機能性を可能にするために、各カメラビューは追加の情報、すなわち奥行きマップ(depth map)を保持すべきである。奥行きマップは単純なグレースケール画像であり、この画像において、各画素はビデオオブジェクトからの対応する画素と取り込みを行うカメラとの間の距離を示す。仮想ビューが任意の閲覧位置において多視点映像及び奥行き情報から生成される。

奥行きマップは、例えば赤外線カメラ又はＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）カメラである専用カメラにより取得される。しかし、それらカメラは、その価格のために商業的に展開されていない。一般的な代替手段では、複数の隣接するカメラビューに基づいて奥行きマップを推定するものである。

高品質の奥行きマップを有することは非常に重要である。奥行きマップの誤差により、合成ビューにおいて画素を不適切な場所に配置することになる。これはオブジェクトの境界付近で特に明らかになり、境界付近のノイズクラウドが可視となる。利用可能な最適な奥行き推定アルゴリズムによる奥行きマップの品質は、依然として受け入れられる品質には程遠い。奥行きマップの推定の比較的低い品質は、多くの要因に依存する。第１に、隠蔽された領域の画素、すなわち１つのカメラビューからは可視であるが他のカメラビューから不可視である領域の画素は正確に推定されない。第２に、奥行きの推定に使用される隣接ビューは記録装置及び処理装置からのあるレベルのセンサノイズの影響を常に受け、これは奥行きマップの精度に影響を及ぼす。更に、奥行きマップの推定で使用された隣接ビューからのビデオフレームに対して課される輝度に関する制約を実際に満たすのは困難である。

奥行きマップの低品質に関する問題は、推定された奥行きマップに限定されない。奥行きマップを生成するのに使用される専用カメラには制約があり、奥行きマップの誤差に伝播するノイズを発生する。

従って、奥行きマップの精度及び品質を向上する目的で使用される推定又は生成された奥行きマップにおける不正確な部分の識別を可能にする技術が必要とされる。

文献［５］は、対話形式の視点制御による動的なシーンの生成について開示する。画像処理において、画像は最初にセグメント化され、セグメント毎に初期ディスパリティ空間分布（ＤＳＤ）を計算する。第２のステップにおいて、各セグメントのＤＳＤは隣接するセグメントを使用して向上される。最後に、画像マット合成は、ディスパリティの不連続に沿う画素に使用され、ビュー合成中のアーチファクトを低減する。

本発明の実施形態は、従来技術の欠点及び制限を克服する。

自由視点テレビと共に使用するに適する奥行きマップ及びビデオフレームのコプロセッシングを提供することが一般的な目的である。

奥行きマップ及びビデオフレームのうちの少なくとも一方の精度及び品質を向上するのが特定の目的である。

これらの目的及び他の目的は、本明細書で開示される実施形態により達成される。

簡単に説明すると、色値を有する複数の画素を含むビデオフレーム及び画素に割り当てられた奥行き値を有する関連する奥行きマップのコプロセッシングは、ビデオフレームの画素の色値に基づいてビデオフレーム内の少なくとも１つのエッジを検出することを含む。奥行きマップ内の少なくとも１つの対応するエッジも、奥行きマップの画素の奥行き値に基づいて検出される。ビデオフレーム及び奥行きマップは、ビデオフレームの少なくとも１つのエッジが奥行きマップの少なくとも１つのエッジと位置合わせされるように位置合わせされるか又は実質的にマージされる。位置合わせされたエッジの対は、不正確な画素プロパティ値すなわち奥行き値又は色値を有する奥行きマップ及びビデオフレームのうちの一方において、好ましくは奥行きマップにおいて、画素を識別するために使用される。そのような不正確な画素は、奥行きマップ又はビデオフレームのエッジ及びビデオフレーム又は奥行きマップの対応する位置合わせされたエッジに対する奥行きマップ又はビデオフレームの画素の位置に基づいて識別される。

ビデオフレーム及び奥行きマップのコプロセッシングにより、奥行きマップ又はビデオフレームの推定又は記録中に不正確な奥行き値又は色値を得た画素の識別が可能になる。識別された画素は、奥行きマップ又はビデオフレームの隣接画素から取得又は判定された正確な画素プロパティ値により不正確な画素プロパティ値を置換することにより補正される。これにより、奥行きマップ又はビデオフレームの精度及び品質は向上する。これは、自由視点テレビシステムにおいて新しい仮想ビューの合成時に奥行きマップ及びビデオフレームを使用する際に重要である。

コプロセッシングシステムは、ビデオフレームの色値及び奥行きマップの奥行き値に基づいてビデオフレーム及びそれに関連する奥行きマップの少なくとも１つの各エッジを検出するエッジ検出器を有する。位置合わせ器は、ビデオフレームのエッジの画素座標が奥行きマップの対応するエッジの画素座標と可能な限り一致するように検出されたエッジを位置合わせする。コプロセッシングシステムは、奥行きマップ及びビデオフレームの位置合わせされたエッジの対に対する少なくとも１つの画素の位置に基づいて不正確な奥行き値／色値を有する奥行きマップ／ビデオフレームの少なくとも１つの画素を識別するために提供された画素識別器を更に含む。

実施形態のコプロセッシングは、エッジを鮮明にし且つそれにより画素プロパティ値の精度を向上することにより奥行きマップ−ビデオフレームの対の品質を向上でき、それにより奥行きマップ−ビデオフレームの対を基礎として使用してあらゆる仮想ビュー合成を改善する。

実施形態は、添付の図面と共に以下の説明を参照することにより、実施形態の更なる目的及び利点と共に最もよく理解されるだろう。

多視点映像を記録する時に有用なカメラアレイを示す概略図である。 仮想ビューをビデオシーケンスに合成することを示す概略図である。 一実施形態に従ってビデオフレーム及び奥行きマップをコプロセッシングする方法を示すフローチャートである。 ビデオフレームの例を示す概略図である。 図４のビデオフレームに対応する奥行きマップを示す図である。 図４のビデオフレームにおいて検出されたエッジを示す図である。 図５の奥行きマップにおいて検出されたエッジを示す図である。 図６のビデオフレームのエッジと図７の奥行きマップのエッジとの位置合わせを示す図である。 不正確な画素プロパティ値を有する画素の識別を示す図８で提示された図面の一部分の拡大図である。 不正確な画素プロパティ値を有する画素のプロパティ値を補正することを示す図である。 図３のコプロセッシング方法の追加のオプションのステップを示すフローチャートである。 図３のコプロセッシング方法の追加のオプションのステップを示すフローチャートである。 奥行きマップのアップスケーリング中に画素プロパティ値を補正することを概略的に示す図である。 一実施形態に係るコプロセッシングシステムを示す概略ブロック図である。

図中、同一の図中符号は同様の要素又は対応する要素に対して使用される。

本明細書で開示されるような実施形態は、観察者の位置に関係なく本来の３次元（３Ｄ）映像体験ができる自由視点テレビ（ＦＴＶ）及び他の映像システムに関連する画像データ及び奥行きデータのコプロセッシングに関する。ＦＴＶは、従来のこの技術に対して最も一般的な用語であり、別の使用用語は３ＤＴＶである。しかし、３ＤＴＶは、正確に使用される場合は実際には表示画面の前の固定位置においてのみ３Ｄ映像体験を提供する立体テレビを示す。多視点映像は、特に多視点セットのビデオカメラがステレオ対を作成するのに十分に近接している時にＦＴＶにより達成された効果を示すために使用されることがある。

図１は、ＦＴＶの目的で画像データを収集するのに使用されるカメラ１０〜１５のアレイ１を示す概略図である。従って、ＦＴＶにおいて、更に正確にはＦＴＶの多視点＋奥行き形式において、図中ではラップトップ２０で表されたシーンが複数のカメラ１０〜１５すなわち少なくとも２つのカメラであるが一般には２つ以上のカメラにより異なる角度から取り込まれる。異なる角度からシーンを取り込むために使用される莫大な数の種々のカメラアレイ１及び構成が存在する。図中に示されたカメラアレイ１は単なる例として考えられるべきであり、それに限定されない。他のアレイの例としては、リニアカメラアレイ、円形カメラアレイ、２次元カメラアレイ等がある。

カメラアレイ１のカメラ１０〜１５は、画像又はビデオデータ、すなわち画素プロパティ値として色値をそれぞれ有する画素を種々のシーン角度から生成する。更に奥行きデータ、すなわち画素プロパティ値として奥行き値を有する画素を生成するために、同一のカメラ、あるいは赤外線カメラ又はＴＯＦカメラ等の専用カメラが使用される。あるいは、奥行きデータはビデオデータから推定される。ビューの奥行きは、複数の隣接ビュー、一般には２つの隣接ビューに基づいて推定される。一般に、奥行き推定アルゴリズムは、ローカルアルゴリズム、グローバルアルゴリズム及びセグメントを用いたアルゴリズムに分類される。ローカル推定アルゴリズムは、画素の奥行きを判定するために画素値の固定有限ウィンドウを考慮する。明らかに対照的に、グローバル推定アルゴリズムは、グラフカット［１］、［２］又は確率伝播法［３］等のエネルギー最小化技術を適用することにより全ての画素の奥行きを同時に推定する。最後に、セグメントを用いた奥行き推定方法［４］、［５］は、重なり合わないセグメントの集合を有する画像を表し、各セグメントの奥行きが一般にそのセグメント中の画素の一次関数として近似される。

ＦＴＶは、合成ビデオ及び画像データから生成されることが実施形態から予想される。そのような場合、シーンを記録するカメラの物理的なアレイは使用されず、シーンの複数の異なる角度からのビデオ又は画像データが合成されて作成される。ＦＴＶの観点から、双方の場合のように一般に記録されたビデオデータと作成されたビデオデータとの間に差はなく、本来の３Ｄ映像表現を可能にするために奥行きデータが更に必要とされる。

図２は、任意の閲覧位置における仮想ビュー５０をビデオ及び奥行きデータから生成する方法を概略的に示す。図２は、図１のカメラビューのうちの１つ等の第１のカメラビュー又は左カメラビュー３０を示し、奥行きマップ３４により表された関連する奥行きデータを有する１つ以上のビデオフレーム３２の形態の関連するビデオデータを含む。一般に図１のカメラアレイの隣接ビューである第２のビュー又は右ビュー４０は、１つ以上の対応するビデオフレーム４２及び奥行きマップ４４を有する。ビデオフレーム３２、４２及び奥行きマップ３４、４４は、従来技術において既知の方法でコプロセッシングされ、左ビュー３０と右ビュー４０との間の閲覧位置において仮想ビュー５０を生成する。

以下において、カメラビューの画素プロパティ値として色値を有する複数の画素を含むビデオフレームがカメラビューの画素プロパティ値として奥行き値を有する複数の画素を含む奥行きマップとコプロセッシングされるコプロセッシング方法に関連して実施形態を更に詳細に説明する。ビデオフレームは、カメラビューが物理的なカメラのカメラビューであるか、あるいは合成ビデオフレームに対する想像上のカメラビュー又は仮想カメラビューを表すかに関係なく、カメラビューから得られる複数のビデオフレームのシーケンスの１つのビデオフレームを構成できる。しかし、ビデオフレームは、必ずしもビデオフレームシーケンスの一部を構成する必要はなく、単一のビデオフレーム又は（静止）画像であってもよい。従って、本明細書において使用されるビデオフレームという表現は、ビデオフレームのシーケンスの１つのビデオフレーム及び単一の画像の双方を含む。

ビデオフレームは、各々が色値の形態で画素プロパティ値を有する複数の画素又は画像要素に分割される。従来技術において既知のいくつかの異なる色形式があり、これはビデオフレームと共に使用され、ＹＵＶ、ＲＣ₀Ｃ_g及びＹＣ_rＣ_b等の赤、緑、青（ＲＧＢ）及び輝度対クロミナンスを含むがそれらに限定されない。ビデオフレームは、ビデオオブジェクトすなわちシーンの要素の対応する画素と取り込みを行うカメラとの間の距離を表す奥行き値を有する画素を含む関連する奥行きマップを更に有する。当該技術分野において、そのような奥行きマップデータは、一般に、２５６個の異なる奥行きレベルを有する解像度の場合に０〜２５５等のグレースケール値として表される。オプションとして奥行きデータは、各画素がＲＧＢＡ値を有するアルファチャネルと呼ばれる第４のチャネルにより保持される。最初の３つのチャネルＲＧＢは、色値の赤色成分、緑色成分及び青色成分を表し、第４のチャネルは奥行きデータを保持する。

カメラのビデオシーケンスのビデオフレームと奥行きマップとの間には１対１関係がある。あるいは、奥行きマップのレートは、カメラからの少なくとも２つの連続したビデオフレームが同一の奥行きマップを共有するように、フレームレートより低くてもよい。

図３は、コプロセッシング方法の一実施形態を示すフローチャートである。方法は、一般にステップＳ１で開始し、少なくとも１つのエッジがビデオフレームの少なくとも一部分の画素の色値に基づいてビデオフレームにおいて検出される。ステップＳ１は、ビデオフレームの１つ又はいくつかのエッジを検出することを含むことができ、１つ以上のエッジは一般に事前に選択される。別の方法において、ビデオフレームの画像データに存在する全てのエッジは、ビデオフレームの画素の色値に基づいて検出される。

ビデオフレームのエッジは、非常に異なる色値又はより正確には異なる色値の分布を有するビデオフレーム領域又はセグメント間の境界において発生する。図４は、シーンのビデオフレーム３２を示す概略図である。色値データのエッジは、ビデオフレームにおいて黒線で印がつけられる。従って、特にエッジは、木と地面との間の境界、家と地面との間の境界、道路と地面との間の境界及び自動車と道路と地面との間の境界に存在する。２つの家は、異なる色値分布を有する種々の領域、すなわち屋根、外壁、窓及びドアを含む。その結果、エッジはそれらの領域の周囲で見つけられる。

検出されたエッジは、ビデオフレーム内の種々の領域間の内部エッジであるのが好ましいことが本発明により予想される。

エッジ検出は、いわゆるエッジ検出アルゴリズムを使用して自動的に実行される。当該技術分野において既知のそのようなエッジ検出アルゴリズムは多く存在する。一般にエッジ検出アルゴリズムは、種々の画素領域間の画像の輝度の急激な変化を検出するものである。ステップＳ１においてビデオフレームの少なくとも１つのエッジを識別するために使用されるエッジ検出技術の例として、画像強度関数の勾配の近似値の計算に基づくソーベルオペレータ（Sobel operator）、各画素の局所エッジの向きを見つけるために畳み込みカーネルの集合の最大応答を計算するＰｒｅｗｉｔｔ法、対角線方向に隣接する画素間の差分の二乗和を計算することにより動作するロバーツクロスオペレータ、ラプラシアンアルゴリズム、ガウスアルゴリズム、Ｃａｎｎｙエッジ検出オペレータ、勾配方向の２次方向導関数のゼロ交差を検出する微分法を使用する微分エッジ検出アルゴリズム、あるいは他の既知の何らかのエッジ検出アルゴリズムが含まれるがそれらに限定されない。文献［６］は、当該分野において開発され且つステップＳ１で使用される種々のエッジ検出アルゴリズムの詳細な概要を与える。

ステップＳ１のビデオフレームにおけるエッジ検出は、ビデオフレームを見ているオペレータにより手動で行われてもよい。鮮明な輝度変化の境界等における異なる色値の分布を有する画素領域間のエッジは、オペレータにより視覚的に識別され印がつけられる。オペレータは、少なくとも１つのエッジに対する画素座標が後で使用するために登録されるように少なくとも１つのエッジを描くのが好ましい。

自動及び手動エッジ検出の組み合わせが使用されてもよい。例えば、ステップＳ１で自動エッジ検出がまず実行され、その後、自動エッジ検出アルゴリズムにより生じたあらゆる明らかな誤差を手動で補正するために手動検証及び補正手順が行われる。

次のステップＳ１は、ビデオフレームと関連付けられた奥行きマップにおいて少なくとも１つのエッジを検出する。このステップＳ２のエッジ検出は、奥行きマップの複数の画素の少なくとも一部の奥行き値に基づいて実行される。一般に、奥行きマップのエッジ検出はビデオフレームのエッジ検出と同様の方法で実行されるが、ステップＳ１では画素が画素プロパティ値として色値を有していたがステップＳ２では画素が画素プロパティ値として一般にグレースケール値の形態で奥行き値を有するという点が異なる。上記で識別された自動エッジ検出アルゴリズムのいずれかを使用して、奥行きマップの少なくとも１つのエッジ、好ましくは全てのエッジの自動検出を実行する。あるいは、手動エッジ検出又は自動及び手動エッジ検出の組み合わせがステップＳ１と同様に実行される。いくつかの応用例においては、ステップＳ１及びステップＳ２の双方で同一の種類のエッジ検出を使用するのが好ましい。

結果として、奥行きマップのエッジは、好ましくはグレースケール値の大幅な又は急激な変化と関連して、異なる奥行き値分布を有する奥行き値マップの領域間の境界として検出されるのが好ましい。

図５は、図４に示したビデオフレームに対応する奥行きマップ３４である。この図示する例において、正面の壁、屋根、自動車及び木は全て、シーンにおけるこれらの要素に対する異なる奥行き値を表す異なる階調（gray levels:ＧＬ）を有する。道路及び地面における階調は、カメラからの距離が遠くなるのに伴って滑らかに変化する。一定の階調又は徐々に変化する階調の領域間のエッジは、図において明らかであり、エッジ検出アルゴリズムにより及び／又はオペレータにより手動で検出される。殆どの場合、奥行きマップは、図４及び図５の前方の家から分かるように、ビデオフレームと比較して詳細でない。正面は、窓及びドアとは異なるテクスチャを有するが、それらは全て同一の奥行きを有するため、図５に示した奥行きマップの解像度では同一の階調を有する。

図３のコプロセッシング方法において、ステップＳ２は、ステップＳ１に後続するものとして示された。しかし、これは単なる例として考えられるべきである。実際にはステップＳ１及びＳ２の順序は、奥行きマップのエッジ検出がビデオフレームのエッジ検出の前に実行されるように交換されてもよい。コプロセッシング方法において順次エッジ検出のみが可能なわけではない。並列処理において、奥行きマップのエッジ検出がビデオフレームのエッジ検出と少なくとも部分的に並列に実行される。

次のステップＳ３は、ステップＳ２で検出された奥行きマップの少なくとも１つのエッジ及びステップＳ１で検出されたビデオフレームの対応する少なくとも１つのエッジを位置合わせする。ビデオフレーム及び奥行きマップは同一サイズを有するのが好ましいがその場合、一般にステップＳ３は、奥行きマップ及びビデオフレームの隅が重なるようにビデオフレーム及び奥行きマップを位置合わせすることを含む。検出されたエッジは、互いに対して自動的に位置合わせされる。しかし、ステップＳ３のエッジ位置合わせは、必ずしも完全なビデオフレーム及び奥行きマップを位置合わせすることにより実行される必要はない。明らかに対照的に、ビデオフレームで検出された少なくとも１つのエッジの座標は、一般には画素座標に関して、奥行きマップのエッジの対応する座標と位置合わせされる。

ステップＳ３の位置合わせされたエッジは、不正確に割り当てられたか又は生成された画素プロパティ値を有する奥行きマップ又はビデオフレームの少なくとも１つの画素を検出するため、ステップＳ４にて使用される。従って、推定された奥行きマップ又は実際にはカメラで取り込まれた奥行きマップに対する奥行き値の誤差は、位置合わせされたエッジに基づいてステップＳ４において識別される。それに対応して、ビデオフレームが一般により詳細な構造を有し且つ一般により正確に表されるため、それ程一般的ではないが、不正確な色値を有するビデオフレームの少なくとも１つの画素はステップＳ４で識別される。この後者の例は、特にビデオフレームの不可逆的圧縮及びその後の伸張の後に起こる可能性があり、それにより伸張又は復号化された画素色値は不可逆的圧縮のために不正確となる可能性がある。

ステップＳ４において奥行きマップ又はビデオフレームで識別された少なくとも１つの画素は、奥行きマップ又はビデオフレームのエッジ及びビデオフレーム又は奥行きマップの対応する位置合わせされたエッジに対する奥行きマップ又はビデオフレームの１つ又は複数の画素の位置に基づいて更に識別される。従って、２つの位置合わせされたエッジ、すなわち奥行きマップのエッジ及びビデオフレームのエッジは、ステップＳ４において不正確な画素プロパティ値を有する少なくとも１つの画素を識別するために使用される。

以下において、不正確な奥行き値を有する奥行きマップの画素を識別し且つ好ましくは補正することに関連して実施形態を更に詳細に説明する。他の実施形態が不正確な色値を有するビデオフレームの画素を識別し且つ好ましくは補正できるため、これは好適な例であり、限定しないものとして考えられるべきである。

不正確な奥行き値又は色値を有する画素を識別する目的で、ステップＳ４において使用された奥行きマップ又はビデオフレームのエッジ、及び、ビデオフレーム又は奥行きマップの対応する位置合わせされたエッジは、奥行きマップ又はビデオフレームの画素の座標に近接して位置付けられるエッジであるのが好ましい。一般に識別された画素は、エッジに隣接して存在するか又は少なくともエッジの近傍に存在する。

ステップＳ４は、不正確な画素プロパティ値を有する単一の画素又は複数の画素を識別することを含むことができる。後者の場合、全ての不正確な画素が位置合わせされたエッジに近接して奥行きマップ又はビデオフレームに存在する場合、位置合わせされたエッジの同一の対がこれらの画素に対して使用される。あるいは、位置合わせされたエッジの第１の対が少なくとも１つの不正確な画素から成る第１の集合を識別するために使用され、位置合わせされたエッジの第２の対が少なくとも１つの不正確な画素から成る第２の集合を識別するために使用される。更に、不正確な画素プロパティ値を有する画素を識別するために位置合わせされたエッジの対を１つ使用するので十分な場合が殆どであるが、特にシーン要素の隅に存在する座標を占有する画素に対しては複数の位置合わせされたエッジが使用される。

図３のコプロセッシング方法の一実施形態に係るビデオフレーム及び奥行きマップのコプロセッシングについて、図６〜図１０と関連して更に説明する。図６は、図４に示したビデオフレーム３２において検出されたエッジ７０、７１を示す。図中、図面を簡略化するために、エッジ７０、７１の２つのみが図中符号で印がつけられている。印がつけられたエッジ７０、７１は、地面領域７２と家の正面の壁に対応する領域７３との間及び地面領域７２と家の屋根７４との間の境界に存在する。

図７は、検出されたエッジ８０、８１を含む対応する奥行きマップ３４を示す。上述し且つ図６で印がつけられた同一のエッジ８０、８１及び領域８２、８３、８４は、図７において図中符号で印がつけられている。図６及び図７は、図３のステップＳ１及びＳ２の一実施形態に対応する。

図６及び図７の印がつけられたエッジを含む奥行きマップ及びビデオフレームは、図８において位置合わせ又はマージされている。各エッジは、結果として位置合わせ又はマージされる。図中、点線はビデオフレームのエッジに対応し、実線は奥行きマップのエッジに対応する。ビデオフレームの一部のエッジに対して、対応する位置合わせされたエッジが奥行きマップに存在することが図から分かる。しかし、ドア／窓と正面の壁と自動車の窓／ドアとの間等の他のエッジは、奥行きマップに一致するエッジがない。その理由は、この例において使用された奥行き解像度ではドア／窓と正面の壁と自動車の窓／ドアとの間で検出可能な奥行きの差がないからである。

位置合わせされたエッジは、座標に関して互いに完全に一致しないことが図から明らかである。その理由は、奥行き値が奥行きマップの一部の画素に対して不正確に推定又は生成されるためである。このエッジ間の不一致を使用して、誤った画素及び画素プロパティ値を識別し且つ好ましくは補正する。図９は、図８の左下隅の家の拡大図であり、不正確に推定されると識別され且つ図において灰色で印がつけられる前方の家の部分又は画素９０を示す。奥行きマップのこれらの不正確な部分９０は、ビデオフレーム及び奥行きマップのエッジ７０、７１、８０、８１が一致せず、不正確な部分９０を取り囲んでいる部分に対応する。

本実施形態において、結果として、図３のステップＳ４は、奥行きマップのエッジ８０、８１及びビデオフレームの対応する位置合わせされたエッジ７０、７１により囲まれるものとして不正確な画素プロパティ値、この例において奥行き値を有する少なくとも１つの画素９０を識別することを含む。囲まれた画素９０の座標は、図９に示すように位置合わせされた奥行き値及びビデオフレームから識別される。識別された座標と一致する位置を有する奥行きマップの画素は、不正確な奥行き値を有する奥行きマップの画素として示される。不正確な奥行き値は、他の奥行き値により補正又は置換されるのが好ましく、これを図１０に概略的に示す。図１０は、奥行きマップの不正確に推定された領域がエッジにより判定された同一区画に属する最近接する利用可能な正確に推定された領域又は画素で置換されることを示す。図１０に示した矢印は、矢印が指し示す不正確に推定された領域の奥行き値を補正するために奥行き値が得られるべきである領域を示す。例えば、図１０の家の左下部分において、家の境界内の一部の画素が地面に属するものとして奥行きマップにおいて推定される。これらの画素の奥行き値は、家の外側の壁に占有された領域に存在する画素の正確な奥行き値により置換されるべきである。正確な奥行き値を有するこの領域すなわち外側の壁の内部の１つ以上の画素の奥行き値は、不正確に推定された画素に割り当てるプロパティ値を判定するために使用される。

不正確に推定されたいくつかの画素に対しては、不正確に推定された画素が実際に属する奥行きマップの領域に属する正確に推定された単一の画素を調査するので十分である。これは、家の正面の壁等の単一の同一の値を有するべきである奥行きマップの画素及びそれらの領域に当てはまる。

不正確に推定された他の画素は、不正確な値を置換する正確な画素プロパティ値を判定するために２つ以上の他の画素を必要とする可能性がある。例えば家の右下隅において、奥行きマップのいくつかの画素は、位置合わせされたエッジの対から明らかであるように地面に属するが、家の正面の壁に対応する奥行き値が不正確に割り当てられている。しかし、地面は単一の奥行き値を有さず、図５に示したように徐々に変化する階調を有する。そのような場合、不正確に推定された画素に対する適切な奥行き値を判定するために、ビデオフレームで示されたような正確な壁−地面のエッジから同一距離に存在する奥行きマップの複数の画素が調査される。

図１１は、図３のコプロセッシング方法の追加の好適な置換ステップを示すフローチャートである。方法は、不正確な画素プロパティ値を有する画素を識別するステップＳ４から継続する。次のステップＳ１０は、不正確な画素プロパティ値を有する画素を含む奥行きマップ及びビデオフレームのうちの一方の少なくとも１つの他の画素の画素プロパティ値に基づいて判定された画素プロパティ値により不正確なプロパティ値を置換する。ステップＳ１０の一般的な一実施形態において、図６及び図７に示すように、奥行きマップ及びビデオフレームの双方が異なる奥行き値（階調）及び色値の分布を有する複数の領域に分割される。不正確な画素プロパティ値は、図３のステップＳ４で識別された画素と同一の奥行きマップ又はビデオフレームの領域に属する少なくとも１つの他の画素の画素プロパティ値に基づいて判定された画素プロパティ値により置換される。これを図１０に示す。

コプロセッシング方法の画素の識別及び値の置換は、オペレータにより手動で実行されるか、ハードウェアで実現されたＦＴＶ処理デバイスにより自動的に実行されるか、あるいはコンピュータを用いたＦＴＶ処理デバイス又はコンピュータにインストールされ且つ実行されるソフトウェアアルゴリズムにより自動的に実行される。

奥行きマップ推定手順の後処理ステップ等、図６〜図１０に示し且つ上述した画素補正手順は、既に推定又は生成された奥行きマップ及びビデオフレームに対して実行された。しかし、奥行きマップが先に開示されたようにビデオフレームから推定される場合、不正確な画素プロパティ値、一般には奥行き値の識別、並びにその補正は推定処理中に代わりに又は更に行われてもよい。

場合によっては、奥行きマップはビデオフレームより低い解像度で記録される。例としては、ＴＯＦ法等の種々の技術が奥行きマップを走査するのに使用される場合、あるいは第２の低解像度カメラが高解像度カメラで撮影されたビデオの奥行きを推定するために使用される場合がある。

奥行きマップの解像度は、好ましくは双線形予測又は補間の形式で隣接画素からの予測により向上される。この手順を図１３に概略的に示す。図１３の左上部分は、図１３の右側に示された対応するビデオフレーム部分３２と比較してｘ方向及びｙ方向の解像度が半分である奥行きマップ３４の一部を示す。アップスケーリング手順において、奥行きマップ３２の解像度は、ビデオフレーム３４の解像度に対応するように双線形予測（bilinear prediction）を通して２倍にされる。実際の応用例において、そのような１つ以上の連続したアップスケーリング手順及び双線形予測は、ビデオフレーム３２と同一の好適な解像度を達成するために必要とされるだろう。

アップスケーリングにより、奥行きマップ３４の高解像度バージョンではぼけが生じる。これを図１３の上から２番目の部分に示す。ぼけた領域の補間画素９０、９１は、不正確に推定された奥行き値を有し、その結果、一実施形態のコプロセッシング方法により識別され且つ好ましくは補正される。従って、ビデオフレーム３２に存在する対応するエッジ７０の情報は、ビデオフレーム３２のエッジ７０をアップスケーリングされた奥行きマップ３４の一致するエッジ８０、８１と位置合わせすることにより不正確に推定された画素９０、９１を識別するために使用される。これを図の下から２番目の部分に概略的に示す。この例において、４つの画素９１、９２は、奥行きマップ及びビデオフレームの位置合わせされたエッジ７０、８０、８１により囲まれる。これらの画素９１、９２は、結果として不正確な奥行き値を有するものとして識別される。

それらの奥行き値を補正するために、隣接画素からの正確な奥行き値が使用され、図の左下部分に示されている。この値の補正に使用する特定の隣接画素に関しては、位置合わせされたエッジ７０、８０、８１に対する補間画素９１、９２の位置から誘導される。ビデオフレーム３２において異なる奥行き値及び色値を有する２つの隣接する領域間のエッジ７０の正確な位置は、補間画素９１、９２に対する正確な値を判定する時に使用する奥行きマップ３４の特定の隣接画素を識別するために使用される。

図１２は、奥行きマップの前処理中に実行されたコプロセッシング方法の追加のステップを示すフローチャートである。方法は、好ましくは画素数に関して最高の解像度を有する奥行きマップ及びビデオフレームのうちの一方と同一のサイズを有するように奥行きマップ又はビデオフレームを再スケーリングすることを含む。一般にこれは、補間された画素プロパティ値を有する新しい画素を形成するために奥行きマップ又はビデオフレームの画素プロパティ値を補間することを含む。その後、図３のステップＳ１に継続する。図３のステップＳ４は、上述したように奥行きマップ及びビデオフレームの対応する位置合わせされたエッジに対する画素の位置に基づいて補間画素のうち少なくとも１つの画素を識別することを含むのが好ましい。

コプロセッシング方法は、奥行きマップ推定又は生成処理と共に実行されてもよく、あるいは後処理ステップとして別個に行われてもよい。更に奥行きマップの奥行き補正又は実際にはビデオフレームの色補正は、奥行き及び色データの圧縮又は符号化と共に、並びに／あるいは圧縮又は符号化された奥行き及び色データの伸張又は復号化と共に実行される。

低品質で推定又は生成された奥行きマップは、シーンの要素の境界周辺をぼやかすことによりＦＴＶの合成ビューの品質を著しく低下させ、その結果、映像体験は煩わしいものになる。本明細書で開示されたコプロセッシング方法は、低品質で推定される奥行きマップの部分を識別でき、更にそれらの識別された部分を補正して、奥行きマップ及び従って合成された仮想ビューの品質を大幅に向上してもよい。

コプロセッシング方法は、奥行きマップ及びビデオフレームのうちの他方の不正確な画素を識別する補正の基礎として奥行きマップ及びビデオフレームの一方を使用することに基づく。いくつかの応用例において、奥行きマップ及びビデオフレームの双方が不正確な画素を含む。そのような場合、位置合わせされたエッジの対は、奥行きマップの不正確な画素を識別及び補正するために使用される。別のエッジの対又は同一のエッジの対の別の部分は、ビデオフレームの不正確な画素を識別及び補正するために使用される。

コプロセッシングは、実際には複数のステップで実行されてもよい。例えば第１の不正確な画素は、奥行きマップにおいて識別及び補正され、改善された奥行きマップを得る。改善された奥行きマップのエッジは、ビデオフレームの不正確な画素を識別及び補正する目的でビデオフレームのエッジに位置合わせされ、改善されたビデオフレームを得る。オプションとして、改善されたビデオフレーム及び改善された奥行きマップはもう１度位置合わせされ、改善された奥行きマップの品質を更に向上する。

図１４は、コプロセッシングシステム１００の一実施形態を示す概略ブロック図である。一般にコプロセッシングシステム１００は、本明細書で開示するようにコプロセッシングするビデオフレーム及び対応する奥行きマップを受信する入出力ユニット（Ｉ／Ｏ）１１０を含む。Ｉ／Ｏユニット１１０は、コプロセッシングシステム１００が色及び奥行きデータを受信する元となるメモリ又は他の接続デバイスに対する一般的なインタフェース又はゲートウェイであってもよい。あるいは、Ｉ／Ｏユニット１１０は、有線又は無線接続を介してリモートデバイスと通信できる送受信機等の受信機及び送信機により表される。

いずれの場合においても、受信したビデオフレーム及び奥行きマップは、Ｉ／Ｏユニット１１０からエッジ検出器１２０に直接転送されるか、あるいはコプロセッシングシステム１００に存在するか又は少なくともコプロセッシングシステム１００が利用可能であるメモリ１５０にまず入力され且つその後エッジ検出器１２０に転送される。エッジ検出器１２０は、ビデオフレームの少なくとも一部分の各色値に基づいてビデオフレームの少なくとも１つのエッジを検出する。更にエッジ検出器１２０は、奥行きマップの少なくとも一部分の各奥行き値に基づいて奥行きマップの少なくとも１つの対応するエッジを検出する。エッジ検出器１２０により行われるエッジ検出は、上述したエッジ検出アルゴリズムのいずれか、あるいは当該技術において既知であり且つソフトウェア、ハードウェア又はハードウェア及びソフトウェアの組み合わせにより実現可能である他の何らかの検出アルゴリズムを使用して実行されるのが好ましい。エッジは、奥行きマップ／ビデオフレームにおいて異なる奥行き値／色値又は異なる奥行き値／色値の分布を有する領域間の境界として検出されるのが好ましい。

別の方法において、エッジ検出器１２０は、Ｉ／Ｏユニット１１０に接続されたタッチセンシティブスクリーン、マウス又はキーボード等のユーザ入力デバイスからユーザデータを受信する。このユーザデータは、一般にビデオフレーム及び奥行きマップの検出されたエッジの座標を判定することによりエッジを検出するためにエッジ検出器１２０により更に処理される。手入力されたユーザデータは、エッジ検出アルゴリズムにより提供されたデータの代わりに又はそのデータを補完するデータとして使用される。

コプロセッシングシステム１００の位置合わせ器１３０は、エッジ検出器１２０により検出されたエッジ並びに好ましくはビデオフレーム及び奥行きマップを位置合わせするために提供される。接続された画素識別器１４０は、不正確な画素プロパティ値を有するビデオフレーム又は好ましくは奥行きマップの少なくとも１つの画素を識別するために位置合わせ器１３０からの位置合わせされたデータを使用する。更に詳細には、画素識別器１４０は、奥行きマップ又はビデオフレームのエッジ及びビデオフレーム又は奥行きマップの対応する位置合わせされたエッジに対する奥行きマップ又はビデオフレームの画素の位置に基づいて画素識別を実行する。

一実施形態において、画素識別器１４０は、奥行きマップのエッジ及びビデオフレームの対応する位置合わせされたエッジにより囲まれるものとして少なくとも１つの画素を識別する。この識別は、少なくとも１つの画素の座標をエッジ検出器１２０により検出されたエッジの座標と比較することにより実行される。従って、ビデオフレームの正確なエッジは、特定の点における画素座標（ｘ₂，ｙ）を有する。奥行きマップの位置合わせされたエッジの対応する点は、画素座標（ｘ₁，ｙ）を有する。ここで、ｘ₁＜ｘ_kである。これは、座標（ｘ₁＋１，ｙ）〜（ｘ₂，ｙ）を有する奥行きマップの全ての画素が不正確に推定され、奥行きマップのエッジ又は境界の間違った側に属することを意味する。

オプションの好適な値処理器１６０は、画素識別器１４０により識別された画素の画素プロパティ値を奥行きマップ又はビデオフレームの少なくとも１つの他の画素の画素プロパティ値に等しいか又はその画素プロパティ値から判定された補正済み画素プロパティ値で置換するためにコプロセッシングシステム１００に配置される。不正確な画素に対する補正の基礎として使用する奥行きマップ又はビデオフレームの少なくとも１つの画素は、不正確な画素と同一の奥行きマップ又はビデオフレームの領域に属するのが好ましい。ここで、奥行きマップ又はビデオフレームの領域は、エッジ検出器１２０により検出されたエッジにより規定される。

オプションのスケール処理器１７０は、奥行きマップ及びビデオフレームのうちの他方の画素数に関するサイズ及び解像度に対応するように奥行きマップ及びビデオフレームのうちの一方を再スケーリングするように構成される。スケール処理器１７０は、奥行きマップ及びビデオフレームのうちの他方より低い解像度を有する奥行きマップ及びビデオフレームのうちの一方のアップスケーリングを実行するために画素補間を行うのが好ましい。画素識別器１４０により識別された少なくとも１つの画素は、奥行きマップ又はビデオフレームの補間済み画素のうちの１つであるのが好ましい。

コプロセッシングシステム１００のユニット１１０〜１４０、１６０及び１７０は、ハードウェア、ソフトウェア又はハードウェア及びソフトウェアの組み合わせで実現される。

ソフトウェアで実現された実施形態の場合、コプロセッシング機能性は、コンピュータのハードドライブ、あるいは他の画像又はビデオ処理ユニット、ＲＯＭ、ＲＡＭ等のコンピュータ可読媒体又はメモリに埋め込まれてもよい。特定の一実施形態は、適切なオペレーティングシステム及びメモリ手段を有するコンピュータにインストールされた時に本明細書で開示されたコプロセッシング機能性を実行するように動作するようにコンピュータを構成する機械可読命令の集合を含むコンピュータプログラムに関する。この例において、コンピュータはコンピュータプログラムにより規定されたコプロセッシング機能性を実行する手段を有するあらゆる処理デバイス、端末、ユニット又はシステムを含むように広範に解釈されるべきである。

上述した実施形態は、本発明のいくつかの例として理解される。本発明の範囲から逸脱せずに種々の変形、組み合わせ及び変更が実施形態に対して行われてもよいことが当業者には理解されるだろう。特に種々の実施形態における種々の部分的な解決策は、技術的に可能である他の構成において組み合わされてもよい。しかし、本発明の範囲は添付の請求の範囲により規定される。

参考文献
［１］Ｂｏｙｋｏｖ及びＫｏｌｍｏｇｒｏｖの「Ａｎ ｅｘｐｅｒｉｍｅｎｔａｌ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｍｉｎ−ｃｕｔ／ｍａｘ−ｆｌｏｗ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｅｎｅｒｇｙ ｍｉｎｉｍｉｚａｔｉｏｎ ｉｎ ｖｉｓｉｏｎ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ．２６、ｎｏ．９、１１２４〜１１３７ページ，２００４年
［２］Ｂｌｅｙｅｒ及びＧｅｌａｕｔｚの「Ｇｒａｐｈ−ｂａｓｅｄ ｓｕｒｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｓｔｅｒｅｏ ｐａｉｒｓ ｕｓｉｎｇ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ」ｉｎ ＳＰＩＥ、ｖｏｌ．５６６５、２８８〜２９９ページ、２００５年
［３］Ｆｅｌｚｅｎｓｚｗａｌｂ及びＨｕｔｔｅｎｌｏｃｈｅｒの「Ｅｆｆｉｃｉｅｎｔ ｂｅｌｉｅｆ ｐｒｏｐａｇａｔｉｏｎ ｆｏｒ ｅａｒｌｙ ｖｉｓｉｏｎ」ｉｎ ＣＶＰＲ、２６１〜２６８ページ、２００４年
［４］Ｈｏｎｇ及びＣｈｅｎの「Ｓｅｇｍｅｎｔ−ｂａｓｅｄ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｕｓｉｎｇ ｇｒａｐｈ ｃｕｔｓ」ｉｎ ＣＶＰＲ、７４〜８１ページ、２００４年
［５］Ｚｉｔｎｉｃｋ他の「Ｈｉｇｈ−ｑｕａｌｉｔｙ ｖｉｄｅｏ ｖｉｅｗ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｕｓｉｎｇ ａ ｌａｙｅｒｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」ｉｎ ＡＣＭ ＳＩＧＧＲＡＰＨ、ｖｏｌ．２３、Ｎｏ．３、６００〜６０８ページ、２００４年
［６］Ｚｉｏｕ及びＴａｂｂｏｎｅの「Ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ｔｅｃｈｎｏｌｏｇｉｅｓ−Ａｎ ｏｖｅｒｖｉｅｗ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ、ｖｏｌ．８、ｎｏ．４、５３７〜５５９ページ、１９９８年

Claims (17)

1. カメラビュー（３０）の画素プロパティ値として各色値を有する複数の画素を含むビデオフレーム（３２）及び前記カメラビュー（３０）の画素プロパティ値として各奥行き値を有する複数の画素を含む奥行きマップ（３４）をコプロセッシングする方法であって、
   ａ）前記ビデオフレーム（３２）の前記複数の画素の少なくとも一部分の各色値に基づいて前記ビデオフレーム（３２）の少なくとも１つのエッジ（７０、７１）を検出するステップと、
   ｂ）前記奥行きマップ（３４）の前記複数の画素の少なくとも一部分の各奥行き値に基づいて前記奥行きマップ（３４）の少なくとも１つのエッジ（８０、８１）を検出するステップと、
   ｃ）前記ビデオフレーム（３２）の前記少なくとも１つのエッジ（７０、７１）及び前記奥行きマップ（３４）の前記少なくとも１つのエッジ（８０、８１）を位置合わせするステップと、
   ｄ）前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの一方のエッジ（８０、８１）並びに前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの他方の対応する位置合わせされたエッジ（７０、７１）に対する前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の少なくとも１つの画素（９０〜９２）の位置に基づいて不正確な画素プロパティ値を有する前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記少なくとも１つの画素（９０〜９２）を識別するステップと、
   ｅ）前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の少なくとも１つの他の画素の画素プロパティ値に基づいて判定された画素プロパティ値により前記不正確な画素プロパティ値を置換するステップと
   を有することを特徴とする方法。
2. 前記ビデオフレーム（３２）の前記少なくとも１つのエッジ（７０、７１）は、異なる色値の分布を有する複数の領域（７２〜７４）に前記ビデオフレーム（３２）を分割し、前記奥行きマップ（３４）の前記少なくとも１つのエッジ（８０、８１）は、異なる奥行き値の分布を有する複数の領域（８２〜８４）に前記奥行きマップ（３４）を分割し、
   前記置換ステップは、前記ステップｄ）で識別された前記少なくとも１つの画素（９０〜９２）と同一の前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の領域に属する少なくとも１つの他の画素の画素プロパティ値に基づいて判定された画素プロパティ値により前記不正確な画素プロパティ値を置換するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記ステップａ）は、前記異なる色値の分布を有するビデオフレーム（７０）の複数の領域（７２〜７４）の間の少なくとも１つの境界として前記ビデオフレーム（３２）の前記少なくとも１つのエッジ（７０、７１）を検出するステップを含むこと特徴とする請求項１又は２に記載の方法。
4. 前記ステップｂ）は、前記異なる奥行き値の分布を有する奥行きマップ（３２）の複数の領域（８２〜８４）の間の少なくとも１つの境界として前記奥行きマップ（３４）の前記少なくとも１つのエッジ（８０、８１）を検出するステップを含むことを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記ステップｃ）において前記エッジ（７０、７１、８０、８１）を位置合わせする前に前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの他方と画素に関して同一サイズになるように前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの一方を再スケーリングするステップを更に含むことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 前記再スケーリングステップは、補間された画素プロパティ値を有する前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方において新しい画素（９１、９２）を形成するために画素プロパティ値の画素を補間することにより前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方を再スケーリングするステップを含むこと特徴とする請求項５に記載の方法。
7. 前記ステップｄ）は、前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方のエッジ（８０）並びに前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記他方の前記対応する位置合わせされたエッジ（７０）に対する前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記少なくとも１つの画素（９１、９２）の前記位置に基づいて前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記新しい画素（９１、９２）のうち前記少なくとも１つの画素（９１、９２）を識別するステップを含むことを特徴とする請求項６に記載の方法。
8. 前記ステップｄ）は、前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記エッジ（８０）並びに前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記他方の前記対応する位置合わせされたエッジ（７０）により囲まれるものとして前記少なくとも１つの画素（９０〜９２）を識別するステップを含むことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
9. 前記ステップｄ）は、前記奥行きマップ（３２）のエッジ（８０、８１）及び前記ビデオフレーム（３２）の対応する位置合わせされたエッジ（７０、７１）に対する前記奥行きマップ（３４）の少なくとも１つの画素（９０〜９２）の位置に基づいて不正確な奥行き値を有する前記奥行きマップ（３４）の前記少なくとも１つの画素（９０〜９２）を識別するステップを含むことを特徴とする請求項１乃至８のいずれか１項に記載の方法。
10. カメラビュー（３０）の画素プロパティ値として各色値を有する複数の画素を含むビデオフレーム（３２）及び前記カメラビュー（３０）の画素プロパティ値として各奥行き値を有する複数の画素を含む奥行きマップ（３４）をコプロセッシングするシステム（１００）であって、
    前記ビデオフレーム（３２）の前記複数の画素の少なくとも一部分の各色値に基づいて前記ビデオフレーム（３２）の少なくとも１つのエッジ（７０、７１）を検出し、前記奥行きマップ（３４）の前記複数の画素の少なくとも一部分の各奥行き値に基づいて前記奥行きマップ（３４）の少なくとも１つのエッジ（８０、８１）を検出するエッジ検出器（１２０）と、
    前記ビデオフレーム（３２）において前記エッジ検出器（１２０）により検出された前記少なくとも１つのエッジ（７０、７１）及び前記奥行きマップ（３４）において前記エッジ検出器（１２０）により検出された前記少なくとも１つのエッジ（８０、８１）を位置合わせする位置合わせ器（１３０）と、
    前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの一方において前記エッジ検出器（１２０）により検出されたエッジ（８０、８１）並びに前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの他方において前記エッジ検出器（１２０）により検出され且つ前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記エッジ（８０、８１）に対して前記位置合わせ器（１３０）により位置合わせされた対応するエッジ（７０、７１）に対する前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の少なくとも１つの画素（９０〜９２）の位置に基づいて不正確な画素プロパティ値を有する前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記少なくとも１つの画素（９０〜９２）を識別する画素識別器（１４０）と、
    前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の少なくとも１つの他の画素の画素プロパティ値に基づいて判定された画素プロパティ値により前記不正確な画素プロパティ値を置換する値処理器（１６０）と
    を備えることを特徴とするシステム。
11. 前記ビデオフレーム（３２）において前記エッジ検出器（１２０）により検出された前記少なくとも１つのエッジ（７０、７１）は、異なる色値の分布を有する複数の領域（７２〜７４）に前記ビデオフレーム（３２）を分割し、
    前記奥行きマップ（３４）において前記エッジ検出器（１２０）により検出された前記少なくとも１つのエッジ（８０、８１）は、異なる奥行き値の分布を有する複数の領域（８２〜８４）に前記奥行きマップ（３４）を分割し、
    前記値処理器（１６０）は、前記画素識別器（１４０）により識別された前記少なくとも１つの画素（９０〜９２）と同一の前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の領域に属する少なくとも１つの他の画素の画素プロパティ値に基づいて判定された画素プロパティ値により前記不正確な画素プロパティ値を置換するように構成されることを特徴とする請求項１０に記載のシステム。
12. 前記エッジ検出器（１２０）は、前記異なる色値の分布を有するビデオフレーム（３２）の複数の領域（７２〜７４）の間の少なくとも１つの境界として前記ビデオフレーム（３２）の前記少なくとも１つのエッジ（７０、７１）を検出し且つ前記異なる奥行き値の分布を有する奥行きマップ（３４）の複数の領域（８２〜８４）の間の少なくとも１つの境界として前記奥行きマップ（３４）の前記少なくとも１つのエッジ（８０、８１）を検出するように構成されることを特徴とする請求項１０又は１１に記載のシステム。
13. 前記エッジ（７０、７１、８０、８１）を位置合わせする前記位置合わせ器（１３０）の前に前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの他方と画素に関して同一サイズになるように前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの一方を再スケーリングするスケール処理器（１７０）を更に備えることを特徴とする請求項１０乃至１２のいずれか１項に記載のシステム。
14. スケール処理器（１７０）は、補間された画素プロパティ値を有する前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方において新しい画素（９１、９２）を形成するために画素プロパティ値の画素の補間を使用して前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方をアップスケーリングするように構成されることを特徴とする請求項１３に記載のシステム。
15. 画素識別器（１４０）は、前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方において前記エッジ検出器（１２０）により検出された前記エッジ（８０）並びに前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記他方において前記エッジ検出器（１２０）により検出され且つ前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記エッジ（８０）に対して前記位置合わせ器（１３０）により位置合わせされる前記対応するエッジ（７０）に対する前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記少なくとも１つの画素（９１、９２）の前記位置に基づいて前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記新しい画素（９１、９２）のうち前記少なくとも１つの画素（９１、９２）を識別するように構成されることを特徴とする請求項１４に記載のシステム。
16. 前記画素識別器（１４０）は、前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方において前記エッジ検出器（１２０）により検出された前記エッジ（８０）並びに前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記他方において前記エッジ検出器（１２０）により検出され且つ前記ビデオフレーム（３２）及び前記奥行きマップ（３４）のうちの前記一方の前記エッジ（８０、８１）に対して前記位置合わせ器（１３０）により位置合わせされる前記対応するエッジ（７０、７１）により囲まれるものとして前記少なくとも１つの画素（９０〜９２）を識別するように構成されることを特徴とする請求項１０乃至１５のいずれか１項に記載のシステム。
17. 前記画素識別器（１４０）は、前記奥行きマップ（３２）において前記エッジ検出器（１２０）により検出されたエッジ（８０、８１）及び前記ビデオフレーム（３４）において前記エッジ検出器（１２０）により検出され且つ前記奥行きマップ（３４）の前記エッジ（８０、８１）に対して前記位置合わせ器（１３０）により位置合わせされる対応するエッジ（７０、７１）に対する前記奥行きマップ（３４）の少なくとも１つの画素（９０〜９２）の位置に基づいて不正確な奥行き値を有する前記奥行きマップ（３４）の前記少なくとも１つの画素（９０〜９２）を識別するように構成されることを特徴とする請求項１０乃至１６のいずれか１項に記載のシステム。

Images