JP7159198B2 - 奥行きマップを処理するための装置及び方法 - Google Patents

Description

本発明は、奥行きマップを処理するための装置及び方法に関し、特に、限定的ではないが複数の奥行きキューを組み合わせることにより生成された奥行きマップの処理に関する。

従来、画像の技術的処理及び使用は２次元イメージングに基づいてきたが、画像処理において明らかに３次元の検討が増加している。

例えば、視聴者の両眼に、映されるシーンの異なるビューを提供することによって、視聴体験に第３の次元を加える３次元（３Ｄ）ディスプレイが開発されてきた。これは、表示される２つのビューを分離するために眼鏡をユーザにかけさせることによって達成され得る。しかし、これはユーザにとって不便であると考えられるので、多くの場合において、ビューを分離して、個別にユーザの目に届くよう異なる方向に分離されたビューを送る手段（レンチキュラレンズ又はバリアなど）をディスプレイ側に備える裸眼立体ディスプレイを使用することが好ましい。ステレオディスプレイの場合、２つのビューが必要であるのに対して裸眼立体ディスプレイは、通常、より多くのビュー（例えば、９つのビューなど）を必要とする。

多くの実施形態において、新しい視線方向のためのビュー画像を生成することが望ましい可能性がある。画像及び奥行き情報に基づいてそのような新しいビュー画像を生成するための様々なアルゴリズムが知られているが、それらのアルゴリズムは、提供される（又は導出される）奥行き情報の精度に大きく依存する傾向がある。

実際、３次元画像情報は、あるシーンについて、異なるビュー方向に対応する複数の画像によって提供されることが多い。具体的には、映画やテレビ番組などの動画コンテンツはますます、３Ｄ情報を含むよう生成されている。このような情報は、わずかにオフセットされたカメラ位置から２つの同時画像を取り込む専用３Ｄカメラを使用して取り込まれ得る。

しかし、多くのアプリケーションにおいて、提供される画像が所望の方向に直接対応していないか、又はより多くの画像が必要とされることがある。例えば、裸眼立体ディスプレイの場合、３つ以上の画像が必要であり、実際には９～２６のビュー画像が使用されることが多い。

異なるビュー方向に対応する画像を生成するために、視点シフト処理が用いられてもよい。これは、典型的には、単一のビュー方向の画像を関連する深度情報と共に使用するビューシフトアルゴリズムによって実行される。しかしながら、重大なアーチファクトのない新たなビュー画像を生成するには、提供される深度情報は十分に正確でなければならない。

他の例示的な用途には、仮想現実ヘッドセットのために右目ビュー及び左目ビューを連続的に生成して、ユーザの動き及び向きの変化に合わせる仮想現実体験が含まれる。そのような動的仮想現実ビューの生成は、多くの場合、光強度画像、及びこれらの画像に関連付けられた、関連奥行き情報を提供する奥行きマップに基づき得る。

新しいビューからの提示される３次元画像の品質は受信される画像データの品質に依存し、具体的には、３次元的知覚は受信される奥行き情報の品質に依存する。しかし、多くの実際の用途及びシナリオでは、提供される奥行き情報は準最適である傾向がある。実際、多くの実際の用途及び使用シナリオでは、奥行き情報は望まれるほど正確ではない可能性があり、準最適な奥行きマップに起因して、生成される画像には誤差、アーチファクト、及び／又はノイズが存在し得る。

多くの用途では、実世界のシーンを表す奥行き情報は、キャプチャされた画像から決定される奥行きキューから推定され得る。例えば、異なるビュー方向の複数のビュー画像を比較することによって深度値を推定及び抽出することによって、奥行き情報が生成され得る。

例えば、多くの用途において、３次元シーンは、わずかに異なる位置に配置された２台のカメラを使用して立体画像として取り込まれる。その後、２つの画像内の対応する画像オブジェクト間の視差を推定することによって、具体的な深度値が生成され得る。しかし、このような深度抽出及び推定には問題があり、理想的でない深度値をもたらす傾向がある。これは、やはりアーチファクトや低い３次元画像品質をもたらす可能性がある。

奥行きマップを生成するために使用され得る他の奥行きキューは、例えば、画像シーケンス内の連続する画像間の相対的モーションを含む。例えば、平行移動（ｔｒａｎｓｌａｔｉｎｇ）カメラの場合、カメラに近いオブジェクトは、画像内でより大きな相対的移動を示すので、シーケンス内の異なる画像間の変位が大きくなる。これは、異なる視点からの複数の同時画像に依存せずに奥行きキューを生成するために使用され得る。このアプローチには通常、シーン内のオブジェクトの動きに対する補償が含まれる。

考えられる別の奥行きキューは、所与のシーン／画像の奥行きプロパティに関する仮定を適用することで達成され得る。例えば、風景などに対応するほとんどの画像の場合、画像内の低いピクセルは、画像内の高いピクセルよりも近い傾向がある。

残念ながら、全ての奥行き推定アプローチが、準最適なパフォーマンスを有し、準最適な奥行き推定を生成する傾向がある。ある特定の問題は、生成された奥行きマップが常に望まれるほどの一貫性を有してしていない可能性があり、例えば、シーン内の奥行き変動を正確に反映しない、画像オブジェクト間の奥行きの不連続性を示し得ることである。

そのような一貫性の無さは、複数の異なる奥行きキューに基づいて奥行きマップが生成されるシステムにとって特に深刻であり得る。異なる奥行き推定及び奥行きキューは、異なる画像オブジェクトについて異なるパフォーマンス及び精度を持つ傾向がある。例えば、所定の奥行き仮定に基づく奥行き推定は、背景に対応する画像の領域に適している一方、例えば、前景画像オブジェクトについてはモーション推定に基づく奥行きキューがより優れた結果をもたらし得る。したがって、複数のキューに基づいて奥行きマップを生成することがしばしば有利であるものの、異なるキュー間の一貫性の欠如に起因する劣化がもたらされる傾向がある。

対応する画像内の視覚情報に基づいて奥行きマップを処理することにより、そのような奥行きの不整合に対処することが提案されている。しかし、そのような処理は、光強度ドメインから奥行きドメインへの相互干渉（ｃｒｏｓｓ ｉｎｔｅｒｆｅｒｅｎｃｅ）によって追加のアーチファクトが導入されるリスクを伴う。さらに、かなりの追加の計算の複雑性及びリソース要件が課される傾向がある。計算リソースは多くの画像処理デバイス及びシステムにとって制限要因であるため、これは重大な問題となり得る。

したがって、奥行き情報を生成するための改良されたアプローチは有益であると考えられ、特に、柔軟性の増大、容易な実施、複雑さの低減、リソース要件の低減、視覚的変動への敏感さの低減、改善された３次元体験、及び／又は改善された奥行き情報を可能にするアプローチは有益であると考えられる。

したがって、本発明は、上記欠点の１つ以上を単独で、又は任意の組み合わせで好適に緩和、低減、又は排除することを目的とする。

本発明の一側面によれば、奥行きマップを処理するための装置が提供される。前記装置は、入力奥行きマップを受け取る受信部と、下から上への方向に前記入力奥行きマップの複数の第１のピクセルを処理することによって第１の処理済み奥行きマップを生成する第１のプロセッサとを含み、前記複数の第１のピクセルの各第１のピクセルの前記処理は、前記第１の処理済み奥行きマップの前記第１のピクセルの深度値を、前記入力奥行きマップ内の前記第１のピクセルの深度値、及び、前記第１のピクセルの下方にある第１のピクセル群の前記第１の処理済み奥行きマップ内の深度値に応じて決定される深度値のうちの最後方深度値として決定することを含む。

本発明は、奥行きマップを改善することで、改善された３次元画像処理及び知覚されるレンダリング品質をもたらし得る。特に、本アプローチは、多くの実施形態及びシナリオにおいて、より一貫性のある深度マップを提供し、例えば、異なる奥行きキューの組み合わせ（例えば、モーションベースの奥行きキューと、事前定義された奥行きプロファイル奥行きキューとの組み合わせなど）に基づく奥行きマップの一貫性の改善及び向上を提供し得る。特に、本アプローチは、多くのシナリオにおいて、不正確な奥行きマップに基づいてレンダリングされたとき、地上に又は床の上に配置されたオブジェクトが上方に浮いているように見えるという頻発するアーチファクトを除去又は低減し得る。

本アプローチは、特に、複雑さが比較的低く、かつリソース要求が低いアプローチを使用して奥行きマップを改善し得る。本アプローチは、例えば、全体的な一貫性を高めるのに、複雑さが低い局所的決定を用いた連続的ビットスキャン及び処理で足りることを可能にし得る。

ピクセルが奥行きマップ内の他のピクセルよりも奥行きマップの底部に近い場合、前者のピクセルは後者のピクセルの下方にある。典型的には、奥行きマップは（水平）行と（垂直）列のアレイであり得る。このようなシナリオでは、ピクセルが別のピクセルよりも底部に近い行内にある場合、前者のピクセルは後者のピクセルの下方にある。

深度値群のうちの最後方深度値は、（例えば、公称又は仮想の）基準カメラ又は視点位置までの距離が最も遠い位置を反映する深度値であり得る。深度値群のうちの最後方深度値は、背景に最も近い位置を反映する深度値であり得る。深度値群のうちの最後方深度値は、視聴位置からの最大深度／距離を反映する深度値であり得る。最後方深度値は、後方／背景に向かって最も遠い（視点から最も遠い）深度を示す深度値であり得る。

第１のピクセル群は、複数のピクセルの連続領域であり得る。複数の第１のピクセルは、奥行きマップ内の連続領域を形成し得る。

下から上への方向は、所与のピクセル（具体的には第１のピクセル）のための第１のピクセル群が既に処理されている場合にのみ、所与の（第１の）ピクセルの処理を実行することによって実現され得る。上記装置は、（１つ又は複数の）奥行きマップの全てのピクセルを繰り返し処理するように構成されてもよい。

本発明の任意選択的な特徴によれば、第１のピクセル群は、第１のピクセルの行の直下の行のピクセルを含む。

これは、多くの実施形態及びシナリオにおいて有利なパフォーマンスを提供し得る。一部の実施形態では、第１のピクセル群は、第１のピクセルの行の直下の行のピクセルのみを含み得る。

本発明の任意選択的な特徴によれば、第１のピクセル群は２０以下のピクセルを含む。

これは、多くの実施形態及びシナリオにおいて有利なパフォーマンスを提供し得る。本アプローチは、各所与のピクセルについて少数のピクセルのみの考慮を要求することで計算要件を削減しつつ、奥行きマップの効果的な改善を提供し得る。

一部の実施形態では、第１のピクセル群は好適には、５０、３０、１５、１０、又は場合によっては５以下のピクセルを含み得る。一部の実施形態では、第１のピクセル群は好適には、２０、１５、１０、５、又は３以上のピクセルを含み得る。

本発明の任意選択的な特徴によれば、上記装置はさらに、上から下の方向に前記第１の処理済み奥行きマップ内の複数の第２のピクセルを処理することによって第２の処理済み奥行きマップを生成する第２のプロセッサを備える。前記第２の処理済み奥行きマップ内の各第２のピクセルの深度値を生成することは、深度段差基準が満たされる場合、前記第２のピクセルの前記第２の処理済み奥行きマップ内の深度値を、前記第２のピクセルのための、前記第２のピクセルの上にある第３のピクセルの前記第１の処理済みマップの深度値として設定し、前記深度段差基準が満たされない場合、前記第２のピクセルの前記第２の処理済み奥行きマップ内の深度値を、前記第１の処理済み奥行きマップ内の前記第２のピクセルの深度値として設定することを含む。前記深度段差基準は、前記入力奥行きマップ及び前記第１の処理済み奥行きマップの両方における深度段差に依存する。

これにより、多くの実施形態でパフォーマンスが改善され、特に一貫性が改善され、第１のプロセッサによって導入され得るエラー、アーチファクト、又は不正確性に対処することができる。

深度段差は、第２のピクセルと別のピクセルとの間の差（具体的にはステップ差）であり得る。深度段差は深度変化であり得る。深度段差基準は、深度変化（深度段差）が閾値を超えることを要求し得る。

本発明の任意選択的な特徴によれば、前記深度段差基準は、前記入力奥行きマップにおける深度段差の絶対値が第１の閾値を超えないこと、及び、前記第１の処理済み画像内の後方深度段差が第２の閾値を下回らないことを要求する。

これにより、多くの実施形態でパフォーマンスが改善され、特に一貫性が改善され、第１のプロセッサによって導入され得るエラー、アーチファクト、又は不正確性に対処することができる。

後方深度段差は、第２のピクセルと別のピクセルとの間の深度差であり、ここで、第２のピクセルの深度は他方のピクセルよりも後方にある。後方深度段差は、深度段差／後方／背景に向かっての変化（すなわち、視聴位置からの深度／距離を増加させるもの）であり得る。

本発明の任意選択的な特徴によれば、前記深度段差基準は、前記第３のピクセルと、前記第２のピクセルの上方のピクセルとの間の前記入力奥行きマップ内での絶対深度段差が第３の閾値を超えないという要件を含む。

これにより、多くの実施形態でパフォーマンスが改善され、特に一貫性が改善され、第１のプロセッサによって導入され得るエラー、アーチファクト、又は不正確性に対処することができる。

本発明の任意選択的な特徴によれば、前記深度段差基準は、前記第２のピクセルと、前記第２のピクセルの上方のピクセルとの間の前記入力画像内での最大絶対深度段差が第４の閾値を超えないという要件を含む。

これにより、多くの実施形態でパフォーマンスが改善され、特に一貫性が改善され、第１のプロセッサによって導入され得るエラー、アーチファクト、又は不正確性に対処することができる。

本発明の任意選択的な特徴によれば、前記深度段差基準は、前記第３のピクセルから前記第２のピクセルへの前記第１の処理済み画像内での後方深度段差が第５の閾値を下回らないという要件を含む。

これにより、多くの実施形態でパフォーマンスが改善され、特に一貫性が改善され、第１のプロセッサによって導入され得るエラー、アーチファクト、又は不正確性に対処することができる。

本発明の任意選択的な特徴によれば、前記第２のプロセッサは、前記第２のピクセルの行の真上の行内に含まれる第２のピクセル群から前記第３のピクセルを選択するように構成される。

これは、多くのシナリオにおいて特に有利なパフォーマンスを提供し得る。多くの実施形態では、前記第２のピクセル群は、３、５、７、１０、１５、２０、３０、又は５０以下のピクセル、かつ／又は、３、５、７、１０、１５、又は２０以上のピクセルを含み得る。

本発明の任意選択的な特徴によれば、前記第１のプロセッサは、前記第１のピクセル群の深度値の最大値に基づき、前記第１のピクセルの前記第１の処理済み奥行きマップの深度値を決定するように構成される。

これは、多くのシナリオにおいて特に有利なパフォーマンスを提供し得る。

本発明の任意選択的な特徴によれば、上記装置はさらに、下から上の方向に前記第２の処理済み奥行きマップ内の複数の第４のピクセルを処理することによって第３の処理済み奥行きマップを生成する第３のプロセッサ（２０９）を備える。前記第３の処理済み奥行きマップ内の前記複数の第４のピクセルの各第４のピクセルの深度値を生成することは、深度段差基準が満たされる場合、前記第４のピクセルの前記第３の処理済み奥行きマップ内の深度値を、前記第４のピクセルのための、前記第４のピクセルの下方にある第５のピクセルの前記第２の処理済みマップの深度値として設定し、前記深度段差基準が満たされない場合、前記第４のピクセルの前記第３の処理済み奥行きマップ内の深度値を、前記第２の処理済み奥行きマップ内の前記第４のピクセルの深度値として設定することを含む。前記深度段差基準は、前記入力奥行きマップ及び前記第２の処理済み奥行きマップの両方における深度段差に依存する。

これにより、多くの実施形態でパフォーマンスが改善され、特に一貫性が改善され、第１のプロセッサによって導入されたが、第２のプロセッサによって対処されない可能性がある潜在的エラー、アーチファクト、又は不正確性に対処することができる。

本発明の任意選択的な特徴によれば、上記装置はさらに、既に処理されている奥行きマップのピクセルを処理するように構成された奥行きオフセットプロセッサを備え、前記既に処理されている奥行きマップは、前記第１の処理済み奥行きマップから導出され、前記処理は、所与のピクセルの前記既に処理されている奥行きマップの深度値を、前記所与のピクセルの前記既に処理されている奥行きマップの深度値と、前記所与のピクセルの前記入力奥行きマップの深度値との間の差に応じて決定される値によって変更することを含む。

これは、多くの実施形態及びシナリオにおいて、改善された奥行きマップをもたらし得る。特に、例えば、いくらかの奥行きテクスチャを維持しつつ、生成される奥行きマップの一貫性を向上させることを可能にし得る。

本発明の任意選択的な特徴によれば、上記装置はさらに、シーンの画像シーケンスにおけるモーション推定、及び前記シーンの事前定義された奥行きプロファイルに基づく奥行きキューに応じて、前記入力奥行きマップを生成する奥行きマップ生成部を備える。

本アプローチは、複数の異なる奥行きキュー、例えばモーションに基づく奥行きキュー及び事前定義された奥行きプロファイルに基づく奥行きキューから生成された奥行きマップを処理する場合に特に有利なパフォーマンスを提供し得る。

本発明の一側面によれば、奥行きマップを処理する方法が提供される。前記方法は、入力奥行きマップを受け取るステップと、下から上への方向に前記入力奥行きマップの複数の第１のピクセルを処理することによって第１の処理済み奥行きマップを生成するステップとを含み、前記複数の第１のピクセルの各第１のピクセルの前記処理は、前記第１の処理済み奥行きマップの前記第１のピクセルの深度値を、前記入力奥行きマップ内の前記第１のピクセルの深度値、及び、前記第１のピクセルの下方にある第１のピクセル群の前記第１の処理済み奥行きマップ内の深度値に応じて決定される深度値のうちの最後方深度値として決定することを含む。

本発明の上記及び他の側面、特徴、及び利点は、以下に記載される実施形態を参照しながら説明され、明らかになるであろう。

以下、本発明の単なる例に過ぎない実施形態について、以下の図面を参照しながら説明する。
図１は、複数の異なる奥行きキューに基づく奥行きマップの例を示す。 図２は、本発明の一部の実施形態に係る奥行きマップを処理する装置の要素の例を示す。 図３は、図２の装置によって生成された奥行きマップの例を示す。 図４は、図３の奥行きマップの要素の拡大図を示す。 図５は、図２の装置によって生成された奥行きマップの例を示す。 図６は、図２の装置によって生成された奥行きマップの例を示す。 図７は、図２の装置の奥行きマップの奥行きプロファイルの例を示す。 図８は、図２の装置の奥行きマップの例を示す。

以下の説明は、モーションベースの画像分析からの奥行きキュー、及びシーンについての（仮定される）所定の奥行きプロファイルからの奥行きキューを組み合わせることで導出される奥行きマップの処理に適用可能な、本発明の実施形態に焦点を当てる。しかし、本発明はこの用途に限定されず、他の多くの奥行きマップに適用できることが理解されよう。

シーンを表す画像は、今日、シーン内の画像オブジェクトの奥行きの情報を提供する（すなわち、画像の追加の奥行きデータを提供する）奥行きマップによってしばしば補完される。そのような追加情報により、例えば視点シフトや３Ｄ表現などが可能になり、それにより多くの追加サービスが提供される。奥行きマップは、複数のピクセルのそれぞれに深度値を提供する傾向があり、ピクセルは通常、水平行の第１の数と垂直列の第２の数とのアレイとして配置される。深度値は、関連する画像のピクセルの奥行き情報を提供する。多くの実施形態において、奥行きマップの解像度は画像の解像度と同じであり、したがって、画像の各ピクセルは、奥行きマップの１つの深度値と１対１のリンクを有し得る。しかし、多くの実施形態において、奥行きマップの解像度は画像の解像度より低くてもよく、一部の実施形態では、奥行きマップの深度値は、画像の複数のピクセルで共通であってもよい（特に、奥行きマップのピクセルが画像のピクセルよりも大きくてもよい）。

深度値は奥行きを示す任意の値であり、特に、奥行き座標値（例えば、ピクセルのｚ値を直接提供する）又は視差値を含む。多くの実施形態では、奥行きマップは、視差値又は奥行き座標値の長方形アレイ（行及び列を備える）であってもよい。

シーンの奥行きの表現の正確さは、レンダリングされ、ユーザが知覚する画像の品質の重要なパラメータである。したがって、正確な奥行き情報の生成は重要である。人工的シーン（例えば、コンピュータゲームなど）の場合、正確な値を達成するのは比較的簡単であり得るが、例えば、実世界のシーンのキャプチャなどの用途では難しい可能性がある。

奥行きを推定するための様々なアプローチが提案されてきた。１つのアプローチは、異なる視点からシーンをキャプチャする異なる画像間の視差を推定することである。しかし、このような視差推定は本質的に不完全である。さらに、このアプローチでは、シーンを複数の方向からキャプチャする必要があるが、これは多くの場合、例えばレガシーキャプチャに関して該当しない。別の選択肢は、カメラに近いオブジェクトについては画像オブジェクトの（画像シーケンス内の）モーションが、より遠いオブジェクトよりも高い傾向があることを利用する（例えば、平行移動カメラの場合、シーン内の対応するオブジェクトの実際の動きの補償後に）、モーションベースの奥行き推定を実行することである。第３のアプローチは、シーン内の奥行きの事前定義された（仮定された）情報を活用することである。例えば、屋外のシーン（及び実際にはほとんどの通常の屋内のシーン）の場合、画像内の下方のオブジェクトは、画像内の上方のオブジェクトよりも近い傾向がある（例えば、床又は地面は、位置が高くなるにつれてカメラまでの距離が長くなる、空は下方の地面よりも後ろにある、等）。したがって、所定の奥行きプロファイルを使用して、適切な奥行きマップ値を推定することができる。

しかし、ほとんどの奥行きキューは非常に不確実である傾向があり、例えば奥行き順序などの部分的な情報しか提供しない。このような複数の奥行きキューの組み合わせを使用して奥行きマップを作成すると、多くの場合、キュー競合が残存する。この問題は、例えば、モーションベースの奥行きキューを、奥行きマップの推定の事前定義された奥行きプロファイルをもたらす仮定グローバルシーン形状（例えば、傾斜した地面）と組み合わせる場合において例示することができる。通常、これらのようなキューは、全てのキューの奥行きマップの重み付け結合によって結合される（組み合わせられる）。しかし、このようなアプローチでは、多くの場合、アーチファクト又は異なる奥行きキュー間の矛盾が生じ得る。例えば、特定の問題として、多くの場合、前景画像が背景から分離しているように見えることがあり得る。具体例として、動いている物体（歩行者など）が地面に立っているのではなく、地面から浮いているように見える場合がある。

図１はそのような不整合を例示しており、画像（ａ）は、動きの検出のみに基づいて生成された奥行きマップを示す。この例では、歩行者の動きにより、対応する画像オブジェクトが所与の深度にあると推定される一方、動かない背景は、背景深度レベルにあると見なされる（輝度の上昇はカメラまでの距離が短くなることを示し、すなわち、ピクセルが明るい（白い）ほどカメラに近い）。画像（ｂ）は、シーンの事前定義された奥行きプロファイルに対応する奥行きマップを示す。この例では、事前定義された奥行きプロファイルは、写真の下部において地面がカメラに近く、高さが増加するにつれて距離が次第に増加することを反映する。このような傾斜プロファイルは、多くの実際の現実のシーンについて典型的であり得る。

画像（ｃ）は、画像（ａ）と画像（ｂ）との奥行きマップの組み合わせの例を示す。画像からわかるように、傾斜した奥行きの背景を歩いている人の画像をより表現する奥行きマップが生成される。しかし、同様に画像からわかるように、歩く人の深度は背景から浮き上がっており、実際に足を含む人の全ての部分でそのようになっている。残念ながら、この情報に基づいて画像をレンダリングすると、画像は、背景から切り離されているようにこの歩行者を示す傾向があり、典型的には、人が地面に立っているのではなく、地面の上に浮かんでいるように見えるおそれがある。

図２は、奥行きマップを処理可能な奥行き処理装置の一部の要素を示し、この装置は、多くの実際に発生する状況及び用途に関して、上記のような問題の対処、排除、低減、及び／又は軽減を達成し得る。装置は、多くのシナリオで深度値の一貫性を改善し、具体的には、結合された奥行きマップを生成するために使用される異なる深度キュー間の一貫性を改善するプロセスを奥行きマップに適用し得る。

奥行き処理装置によって使用されるアプローチは、例えば奥行きマップ推定プロセスに対して後処理として適用され得る非常に効率的かつ複雑度が低いアプローチを可能にする。このアプローチは、多くの実践的なシーンや画像に関して、オブジェクトが地面の上を飛んでいるよりも地面についている可能性が統計的にはるかに高いという認識を反映し得る。しかし、そのような奥行キューは、それ自体が深度測定値に直接対応するのではなく、奥行きマップの内部的一貫性に関連していることにより、他の奥行き推定キューとは異なるため、そのような奥行きキューを導入することは容易ではない。

図２の装置のアプローチは、制約を課しながら、下から上へのスキャンに基づいて奥行きマップを処理することにより、これらの懸念に対処する。しかし、一部の状況及び一部の奥行きマップに関しては、奥行きマップの処理はアーチファクト、不正確さ、又はエラーを導入し得る。したがって、一部の実施形態では、図１の奥行き処理装置は、システムを非常に効率的に保ちながら、これらの影響に対処し得る追加のオプションのパスを実行するように構成され得る。

より詳細には、請求項１の奥行き処理装置は、具体例では奥行きマップ生成部２０３から、処理されるべき入力奥行きマップを受け取る奥行きマップ受信部２０１を備える。

具体例では、奥行きマップ生成部２０３は、画像シーケンス（具体的には、各画像がビデオクリップのフレームに対応するビデオクリップ）からの奥行き推定により入力奥行きマップを生成するように構成される。奥行き生成は、モーション推定奥行きキューと、画像によってキャプチャされたシーンの事前定義された奥行きプロファイルとの組み合わせに基づく。入力奥行きマップは、画像シーケンス（すなわち、ビデオクリップの各フレーム）に対応する奥行きマップシーケンスのうちのある奥行きマップであり得る。

一例として、モーションキューのための奥行きマップは、ピクセルごとのモーションベクトルを取得し、そこからグローバル（背景）モーションを減算することで生成され得る。そして、深度値はこのモーション差（ｄｉｆｆｅｒｅｎｔｉａｌ ｍｏｔｉｏｎ）の大きさに比例するように設定される。通常、非線形関数（クリッピングなど）を使用して、高速移動するオブジェクトが飛び出しすぎないようにする。

他の実施形態では、装置は奥行き生成器２０３を含まなくてもよく、代わりに、例えば外部ソースから入力奥行きマップを受けとってもよいことが理解されるであろう。また、以下の説明はモーションベースの奥行きキュー及び事前定義された奥行きプロファイルキューから生成された奥行きマップに焦点を合わせるが、本アプローチはまた、他の奥行きマップ（例えば、多くの場合、単一の奥行きキューに基づいて生成された奥行きマップ）に関しても有利な効果を提供し得る。

異なる実施形態ごとに、奥行きマップの深度値による深度の異なる表現が使用され得ることが理解されるであろう。例えば、一部の実施形態では、深度値の増加は、オブジェクトがカメラ／視点からより後方にある／遠いことを示し得る（例えば、直接的なｚ座標値）。他の実施形態では、深度値の増加は、オブジェクトがより前方にあること、すなわち、カメラ／視点に近いことを示し得る（例えば、視差値）。簡潔かつ明確にするために、ここでは、深度値は、前方（カメラ／視点に近い）になるほど増加する値を有すると仮定する。しかしながら、説明される原理及びアプローチは、値の増加が、対応するオブジェクトがより後方にある（カメラ／視点から遠い）ことを示すシナリオに等しく適用できることが理解されよう。

奥行きマップ受信部２０１は、入力奥行きマップを処理して奥行きマップ（以下、第１の処理済み奥行きマップと呼ばれる）を生成するように構成された第１のプロセッサ２０５に結合される。第１のプロセッサ２０５は、下から上への方向に入力奥行きマップのピクセルを処理するように構成される。したがって、このアプローチでは、ピクセルは、画像の下部から画像の上部に向かう順序で処理される。

このプロセスでは、入力奥行きマップの深度値が、すでに処理された下方のピクセルの深度値に依存して変更される。具体的には、所与のピクセル（第１のピクセルと呼ばれる）について、第１のピクセルの入力奥行きマップ内の深度値、及び第１のピクセルより下方のピクセル群の既に処理済みの深度値から決定される深度値の最後方深度値として、第１の処理済み奥行きマップ内の深度値が選択される。

このアプローチでは、ピクセルが別のピクセルより下方にあるという表現は、奥行きマップにおいてより低い位置にあること、すなわち、奥行きマップの底部に近く、奥行きマップの頂部から遠いことを意味する。ピクセルが別のピクセルの上方にあるという表現は、奥行きマップ内でより高い位置にあること、すなわち、奥行きマップの頂部に近く、奥行きマップの底部から遠いことを意味する。具体的には、第１のピクセルの下方にあるピクセル群とは、それらのピクセルが奥行きマップの底部により近いことを反映し得る。したがって、それらのピクセルは、第１の奥行きピクセルを含む行よりも低い行／奥行きマップの底部に近い行に属し得る。

したがって、具体的には、所与の第１の奥行きマップピクセルについて、第１のプロセッサ２０５は、奥行きマップ内の第１のピクセルより下方にあるピクセル群を識別し得る。例えば、第１のピクセルの下方の行内の９つの隣接するピクセルが選択され得る（そして、中央のピクセルが第１のピクセルと同じ列にある）。次に、第１のプロセッサ２０５は、この第１のピクセル群の深度値に応じて深度値を生成し、すなわち、選択されたピクセル群の９つの深度値に基づいて深度値を生成し得る。この深度値は、制約深度値と呼ばれ得る。制約深度値は、例えば、第１のピクセル群について最前方深度値の深度値を有するように生成されてもよい。次に、第１のプロセッサ２０５は、第１の処理済み奥行きマップ内の第１のピクセルの深度値を、どちらが最後方と考えられるかに依存して、入力深度値又は制約深度値と同じに設定する。したがって、第１のプロセッサ２０５は、入力深度値及び制約深度値のうちの最後方深度値を選択する。

よって、本アプローチは、入力奥行きマップからの深度値が、下方の処理済みのピクセル群を反映する制約深度値よりも前方にない限り、入力奥行きマップからの深度値が維持されるように、下から上方向に奥行きマップを処理し得る。制約値は、例えば、現在のピクセル値の直下の小さいピクセル群内の最前方深度値であり得る。この場合、第１の処理済み奥行きマップは、この深度値が下方のピクセル群よりも前方にある場合を除き、入力奥行きマップと同じ深度値に設定される。下方のピクセル群よりも前方にある場合、深度値は制約深度値によって置き換えられ、すなわち、直下の小さいピクセル群のうちの最前方のものによって置き換えられる。実質的な効果は、結果として、より下方のピクセルよりも前方の画像オブジェクト／ピクセルになる場合を除き（この場合、当該ピクセルは下方のピクセルと同じレベルになるように後方に移動される）、入力奥行きマップの奥行き情報が、第１の処理済み奥行きマップにおいて保持されるということである。

さらに、プロセスは下から上に実行されるため、前方奥行き段差を除去（又は少なくとも低減）するための上記のようなピクセル修正は、奥行きマップ内で上方に伝播し、それにより、画像内で（前方に）突出するオブジェクトを効果的に後方に移動させることで、下方の画像オブジェクト／ピクセルと整合させる。このプロセスは、単純な比較／プロセスに基づいてピクセルを順に処理しながらも、効果的な深度調整を実現することではるかに一貫性のある奥行きマップを生成することができる、非常に単純なアプローチの使用を可能にする。

具体例として、下から上へのスキャンにおいて、ピクセル（ｉ，ｊ）（行，列）の深度値が、より小さいｙ座標（より大きい行ｉ座標、底部により近い）を有するオブジェクトを、より大きいｙ座標（より小さい行ｉ座標、頂部により近い）を有するオブジェクトよりも後方にならないようにバイアスするように選択的に修正され得る。例えば、各ピクセル（ｉ，ｊ）の処理は下式によって与えられ得る。

ここで、Ｄ_ｘ，ｙは、行ｘ及び列ｙの（奥行きップ）ピクセルの入力奥行きマップ内の深度値であり（深度値の増加はピクセルがより前方にあることを示す）、Ｄ’_ｘ，ｙは、第１の処理済み奥行きマップにおける対応する深度値であり、Δは、第１のピクセル群のサイズを定義する設計パラメータである。Δの典型的な値は３～１０である。

図３は、図１ｃの奥行きマップにこの後処理動作を適用した結果の例を示す。図からわかるように、はるかに一貫性のある奥行きマップが達成され、異なる奥行きキューから決定された深度を有する領域周辺の不連続な段差が低減された。さらに、処理済み奥行きマップでは、歩行者は画像内で後方に移動されているため、歩行者（あるいは歩行者の足の底部）が背景から（前方に）突出しない。処理済み奥行きマップに基づいて画像がレンダリングされると、歩行者は地面の上方に（及び前方に）浮いているように見えない。人物は地面に立っている／地面を歩いているように見え、はるかにリアルなシーンがレンダリングされる。

これは、実際には、より現実的であると知覚される結果を提供する傾向がある単純なアプローチを提供し得る。このアプローチは非常に単純であり、いくらかのエラー又はアーチファクトを導入する可能性がある。例えば、飛ぶ鳥などのオブジェクトを画像内でさらに後方に移動させると、オリジナルの深度が保持されないことがある。また、上記単純なアプローチは、例えば図１及び図３の歩行者の腕に見られるような、所定の形状の画像オブジェクトに新しいエラーを導入する可能性がある。したがって、直感的には、上記単純な下から上への処理及び制約要件は、奥行きマップの改善には適さないと予想される。しかし、発明者は、実際には、このようなエラーの可能性があるにもかかわらず、本アプローチは多くの実際の用途において改善されたパフォーマンスを提供することを認識した。例えば、人物が上に浮かんでいるようにではなく、地面に立っているように見えることの利点は、鳥がさらに後ろに移動されるおそれがあるという影響を上回る。

第１のピクセル群のピクセルの厳密な選択は、個々の実施形態の優先事項及び要件に依存することが理解されよう。ほとんどの実施形態では、第１のピクセル群は、第１のピクセルの次の下の行の複数のピクセルを含むか又はそれらのピクセルからなる。具体的には、上記の例のように、現在のピクセルの行のすぐ下の行内の複数のピクセルを含むように、第１のピクセル群を選択することができる。

また、多くの実施形態において、比較的少数のピクセルが第１のピクセル群に含まれ、多くの実施形態において、第１のピクセル群のピクセル数は２０ピクセルを超えない可能性があることが理解されよう。そのようなアプローチにより、複雑さが軽減され、計算が非常に効率的な動作が可能になり得る。

したがって、ほとんどの実施形態では、アプローチは、非常に局所的な奥行き制約に基づいており、入力奥行きマップは、局所的考察のみに基づいて処理されつつも、グローバルな効果を提供し得る。

複数のピクセル（例えば、現在のピクセルの下の行内の複数のピクセル）を含む第１のピクセル群もまた、有利な効果を提供し得る。一部の実施形態では、単一のピクセルではなく小さな領域を考慮することにより、平均化効果を提供してもよい。さらに、多くの実施形態では、例えば、異なる形状のオブジェクトの深度が垂直方向だけでなく水平方向にも伝播することを可能にする、改善された奥行き調整を提供し得る。

例えば、図４は、図３の人物の左側の脇の下の領域を示す。図からわかるように、下から上への処理では、所与のピクセルの制約深度値は少なくとも下のピクセルの深度値であるため、人物の深度値は垂直方向上向きに伝播する。しかし、腕の最も低いピクセルについては、すぐ下のピクセルが背景の一部であるため、第１のピクセル群が垂直下方のピクセルのみを含む場合、腕のピクセルは背景の深度値によって制約される。しかしながら、第１のピクセル群を水平方向に拡張することにより、下の行からの深度値が横方向に伝播することができ、例えば、図４の胴体ピクセルからの深度が腕の領域に伝播することができる。

第１のピクセル群の選択は実施形態ごとに異なり、例えば、課される垂直方向の制約と、所望の横方向の深度伝播との間の所望のトレードオフを提供するように選択され得ることが理解されよう。一部の実施形態では、トレードオフは個々の画像又はフレーム間で異なり、実際には、一部の実施形態では、第１のピクセル群を選択するためのルール又はアルゴリズムがフレーム間で動的に変更され得る。

このアプローチは、下から上への方向で処理される第１の処理済み奥行きマップのピクセルに基づく。したがって、所与のピクセルは、（当該所与のピクセルにとっての）第１のピクセル群内のピクセルが処理された後でのみ処理され、ここで、第１のピクセル群内のピクセルは所与のピクセルの下方に位置する（奥行きマップ内で上から下に行の番号付けがされているとすると、より高い行番号を有する）。

多くの実施形態では、入力奥行きマップ内の所与のピクセルは、そのピクセルの直下のピクセルが処理された後にのみ処理される。多くの実施形態では、所与の行のピクセルは、その下の行内の全てのピクセルが処理された後にのみ処理され、実際には、通常、その下の全ての行内の全てのピクセルが処理された後にのみ処理される。

しかし、ピクセルの処理は、垂直方向又は水平方向のいずれにおいても厳密に連続的である必要はないことが理解されよう。所与のピクセルの処理は、その所与のピクセルの第１のピクセル群トのピクセルが処理されていることだけを要件とする。したがって、一部の実施形態では、例えば、処理が左（又は右）下の角で始まり、その後、対応する第１のピクセル群内のピクセルが処理されたことによってピクセルが処理に適用可能になるにつれて、右（又は左）上に向かって伝播してもよい。

また、処理は奥行きマップ内の全てのピクセルを含む必要はないことも理解されよう。例えば、一部の実施形態では、アプローチは、画像の所与の領域に対応する奥行きマップの所与の領域内のピクセルにのみ適用され得る。また、多くの実施形態では、具体的アプローチは、第１のピクセル群の選択が成功可能なピクセルに対してのみ反復され得る。例えば、多くの実施形態において、最下行は上記具体的方法で処理されず、最下行のピクセルを使用して生成される第１のピクセル群を用いて、２番目に低い行のピクセルに処理が適用される。他の実施形態では、デフォルト深度値を使用することができる。例えば、深度値の「仮想」又は「疑似」の行（又は一部の実施形態では複数の行）が生成され、最下行のピクセルを処理するために奥行きマップの最下行の下の行として使用され得る。この「仮想」行の深度値は、例えばデフォルト値又は所定値（例えば、深度値が取り得る最前方の深度値に対応する）として単純に初期設定されてもよいし、又は、例えば、最下行の深度値から決定されてもよい（例えば、最前方深度値）。

第１のピクセル群内のピクセルの深度値からの制約深度値の決定は、異なる実施形態ごとの異なる機能又はアルゴリズムに基づいてもよい。制約深度値は、例えば以下のうちの１つ以上に基づいて決定され得る。

第１のピクセル群の深度値のうちの最も前方の値：
これにより、制約深度値は、最前方の値が伝播するのに最も重要であることを反映し得る。制約深度値を決定するためのこの機能の利点は、オブジェクトがストレートに表示されることである。

第１のピクセル群の深度値の平均値：
これにより、制約深度値は、平均深度又はオブジェクトを反映し得る。制約深度値を決定するためのこの機能の利点は、ノイズの影響を受けにくいことである。

第１のピクセル群の深度値の中央値：
これにより、制約深度値は、中央深度又は下方のオブジェクトを反映し得る。制約深度値を決定するためのこの機能の利点は、平均を取らずにノイズの影響を受けにくいことである。

前述のように、第１のプロセッサ２０５による処理は、計算的に非常に効率的であり、より一貫性のある有利な奥行きマップをもたらす傾向がある。しかし、同様に前述のように、一部のシナリオでは、一部の形状及び画像／奥行きマップにエラーが発生する場合がある。例えば、図３に示されるように、深度エラー／アーチファクトが歩行者の腕に導入され得る。多くの実施形態では、そのような影響は比較的起こりづらい、及び／又は許容可能と考えられ得る。例えば、そのような影響は不規則な前景形状について発生しやすい傾向があり、そのようなオブジェクトがありそうもないシナリオでは、第１のプロセッサ２０５による処理で十分であり得る。

しかし、他の実施形態では、第１のプロセッサ２０５は、第１の処理済み奥行きマップをさらに処理して、前述のようなエラー及びアーチファクトの影響を低減又は軽減するように構成される第２のプロセッサ２０７に結合される。

第２のプロセッサ２０７は、第１の処理済み奥行きマップを受け取り、第１の処理済み奥行きマップ内のピクセルを上から下への方向に処理することにより第２の処理済み奥行きマップを生成する。したがって、第２のプロセッサ２０７は、同様の反復又は連続的プロセスを実行し得るが、第１のプロセッサ２０５による処理の反対方向で実行する。したがって、第１のプロセッサ２０５は第１のパスを実行し、第２のプロセッサ２０７は、第１のパスから生じ得る潜在的なエラー又はアーチファクトに対処する第２のパスを実行すると考えることができる。

第２のプロセッサ２０７は、第２の処理済み奥行きマップの奥行きマップ値を、第１の処理済み奥行きマップ内の対応するピクセルとして、又は現在のピクセルの上の第１の処理済み奥行きマップのピクセルの深度値として設定することにより、第１の処理済み奥行きマップを処理するように構成される。したがって、第２の処理済み奥行きマップの深度値は、第１の処理済み奥行きマップ内のピクセルの対応する深度値として、又は現在のピクセルの上のピクセルの第１の処理済み奥行きマップ内の深度値に設定され得る。使用される深度値の選択は、入力奥行きマップ及び第１の処理済み奥行きマップの両方を考慮する深度段差基準に基づく。

より詳細には、第２のピクセルと呼ばれる所与のピクセルについて、第２のプロセッサ２０７は、第２の処理済み奥行きマップ内の深度値Ｄ”_ｉ，ｊを決定する。この深度値Ｄ”_ｉ，ｊの１つの候補は、第１の処理済み奥行きマップ内の対応する深度値Ｄ’ｉ，ｊである。この深度値は、第１の候補深度値Ｄ’_ｉ，ｊと呼ばれ、これが選択される場合は、第２のピクセルの深度値が変更されないことに対応する。

あるいは、第２の処理済み奥行きマップ内の深度値Ｄ”_ｉ，ｊは、第２のピクセルの上の第３のピクセルの第１の処理済みマップの深度値に設定され得る。この深度値は、第２の候補深度値Ｄ’_{ｉ－１，ｋ}と呼ばれ得る。多くの実施形態では、第３のピクセル／第２の候補深度値は、第２のピクセルより上の、典型的には小さいピクセル群から選択され得る。例えば、第２の候補深度値Ｄ’_{ｉ－１，ｋ}は、ｋが［ｊ－Ｎ；ｊ＋Ｎ］の間隔内であるピクセル群から選択され、ここで、Ｎは通常小さい数であり、例えばＮは１～７の範囲内にあり得る。

したがって、第２のプロセッサ２０７によるアプローチは、第１の処理済み奥行きマップを上から下の方向に処理し、第１の処理済み奥行きマップの深度値を維持する（Ｄ”_ｉ，ｊ←Ｄ’_ｉ，ｊ）か、又は深度値を、現在のピクセルの上のピクセルから下に伝播する値にすることができる（Ｄ”_ｉ，ｊ←Ｄ’_{ｉ－１，ｋ}）。

深度値を維持するか又は置き換えるかの選択は、上記のように深度段差基準に基づき、この基準は、入力奥行きマップ及び第１の処理済み奥行きマップの両方における深度段差に基づく。

具体的には、深度段差基準は、入力奥行きマップにおける深度段差の絶対値が第１の閾値を超えないこと、及び、第１の処理済み画像内の後方深度段差が第２の閾値を下回らないことを要求し得る。

そのような実施形態では、第２のプロセッサ２０７が、入力奥行きマップ内には小さな深度段差しかないが、第１の処理済み奥行きマップ内には大きな後方深度段差がある（現在のピクセルに移動するとき）ことを検出した場合、第１の処理済み奥行きマップは、上のピクセルからの深度値で置換され得る。この場合、第１の処理済み奥行きマップ内の大きな深度段差は、第１のプロセッサ２０５が、元の入力奥行きマップには存在しない深度遷移を導入したことを示し得る。したがって、第２のプロセッサ２０７は、より前方の深度値が第３のピクセルから現在のピクセル（第２のピクセル）に伝播することを可能にする。

より具体的には、深度段差基準は、第３のピクセルと第２のピクセルの上のピクセルとの間の入力奥行きマップ内の絶対深度段差が第３の閾値を超えないという要件（｜Ｄ_{ｉ－１，ｋ}－Ｄ_{ｉ－１，ｊ}｜≦ｔ_３）、及び／又は、第２のピクセルと第２のピクセルの上のピクセルとの間の入力画像内の最大絶対深度段差が第４の閾値を超えないという要件（｜Ｄ_{ｉ－１，ｊ}－Ｄ_ｉ，ｊ｜≦ｔ_４）を含み得る。これらの要件は、現在のピクセル（第２のピクセル）及びターゲットピクセル（第３のピクセル）に関して、水平方向又は垂直方向のいずれかにおいて、入力画像内に対応する深度段差が存在しないという有利な指標を提供し得る。したがって、これらの要件は、元の奥行きマップに局所的な深度遷移／段差／不連続性が存在せず、したがって、そのような局所的遷移／段差／不連続性は、第１のプロセッサ２０５の処理によって導入された可能性が高いということの良い指標を提供する。

深度段差基準は、多くの実施形態において、第３のピクセルから第２のピクセルへの第１の処理済み画像内の後方深度段差（のサイズ）が第５の閾値を下回らないという要件、すなわち、現在のピクセルへの移動が、カメラ／視点から離れる十分に大きな深度段差をもたらすという要件を含み得る。深度値Ｄの増加が、ピクセルがカメラ／視点により近いことを示す実施形態では、これは（Ｄ’_ｉ，ｋ－Ｄ’_{ｉ－１，ｊ}≦ｔ_５）によって表すことができる。これは、第２のプロセッサ２０７の処理により引き起こされた可能性のある後方深度段差が存在することの適切な指標を提供し得る。

具体例として、第２のプロセッサ２０７は以下のアルゴリズムを実行し得る。

この例では、例示的アルゴリズムの４行目は、前の行内のピクセルから現在の行内の現在のピクセルへの３つの別個の４接続経路に沿う（元の入力奥行きマップ内の）最大深度変化を評価する。絶対深度変化が閾値を下回り（Ｄ_{ｓｔｅｐｐａｔｈ}＜ｔ_１）、かつ、処理済み奥行きマップがそれでも相当な後方段差を含み（Ｄ’_ｉ，ｊ－Ｄ’_{ｉ－１，ｋ}＜ｔ_５（ここで、値の増加はピクセルがより前方にあることを示し、よって後方段差は負の差に対応することに留意されたい））、したがって、第２のプロセッサ２０７によってエラーが導入されたことが示唆される場合にのみ、深度が伝播される。

図５は、このアルゴリズムを図３及び図４の第１の処理済み奥行きマップに適用した結果を示している。図からわかるように、片方の腕と他方の腕の大部分の深度が、人物の身体に影響を与えることなく、特に人物の足と背景との間の一貫性に影響を与えることなく、人物の他の部分と同じ深度レベルに復元されている。

要件のための各閾値は、個々の実施形態の要件及び好みに依存し得ることが理解されるであろう。また、一部の実施形態では、閾値は動的であり、及び／又は、他のパラメータ若しくは特性に依存し得ることが理解されよう。

第３のピクセルは、第２のピクセルの上の第２のピクセル群から選択されてもよい。典型的には、第２のピクセル群は、第２のピクセルの真上の行内の少数のピクセルであり得る。例えば、第２のピクセル群は、第２のピクセルの行の真上の行内の１～１５のピクセル群であり得る。典型的には、第２のピクセル群は、第２のピクセルに対して実質的に水平方向に対称であり得る。深度伝播のソースとなる候補として比較的少数のピクセルの使用は、多くの実施形態及びシナリオにおいて、十分に強い補償をもたらすと同時に、効果を十分に低く保ち、追加の効果が導入されるリスクを低く維持することができる。

また、第２のプロセッサ２０７によって実行される処理は奥行きマップ内の全てのピクセルを含む必要はないことも理解されよう。例えば、一部の実施形態では、アプローチは、画像の所与の領域に対応する奥行きマップの所与の領域内のピクセルにのみ適用され得る。また、多くの実施形態では、具体的アプローチは、現在のピクセルの上の有効なピクセルが選択可能であるピクセルに関してのみ反復され得る。例えば、上記の擬似コードで示したように、多くの実施形態において、一番上の行は上記方法で処理されず、２番目に高い行から処理が適用される。他の実施形態では、デフォルト深度値を使用することができ。例えば、デフォルト深度値の「仮想」行が一番上の行の上に追加され得る。

図５からわかるように、第２のプロセッサ２０７は、第１のプロセッサ２０５によって導入された多くのエラー及びアーチファクトが補償され得る、改善された奥行きマップをもたらす。しかし、図からわかるように、このアプローチは導入された全てのアーチファクトに対処するとは限らない。例えば、図の左側の腕の上方部分は補償されていない。

図２のシステムでは、第２のプロセッサ２０７は第３のプロセッサ２０９に結合され、第３のプロセッサは、第２の処理済み奥行きマップを受け取り、第３の処理済み奥行きマップを生成する。第３のプロセッサ２０９は、本質的に、第２のプロセッサ２０７の動作と対称的な動作を実行するが、下から上への方向において実行する。

したがって、第３のプロセッサ２０９は、第２の処理済み奥行きマップを受け取り、第２の処理済み奥行きマップ内のピクセルを下から上への方向に処理することにより第３の処理済み奥行きマップを生成し得る。したがって、第３のプロセッサ２０９は、第２のプロセッサ２０７と同様の反復又は連続的プロセスを実行し得るが、反対方向で実行する。したがって、第３のプロセッサ２０９は、特に第１のパスから生じ得る潜在的なエラー又はアーチファクトに対処するための第３のパスを実行すると考えることができる。

第３のプロセッサ２０９は、第３の処理済み奥行きマップの奥行きマップ値を、第２の処理済み奥行きマップ内の対応するピクセルとして、又は現在のピクセルの下の第２の処理済み奥行きマップのピクセルの深度値として設定することにより、第２の処理済み奥行きマップを処理するように構成される。したがって、第３の処理済み奥行きマップの深度値は、第２の処理済み奥行きマップ内のピクセルの対応する深度値として、又は現在のピクセルの上のピクセルの第２の処理済み奥行きマップ内の深度値に設定され得る。上記と同様に、使用される深度値の選択は、入力奥行きマップ及び第１の処理済み奥行きマップの両方を考慮する深度段差基準に基づく。

より詳細には、第４のピクセルと呼ばれる所与のピクセルについて、第３のプロセッサ２０９は、第３の処理済み奥行きマップ内の深度値Ｄ’’’_ｉ，ｊを決定する。この深度値Ｄ’’’_ｉ，ｊの１つの候補は、第２の処理済み奥行きマップ内の対応する深度値Ｄ”_ｉ，ｊである。この深度値は、第３の候補深度値Ｄ”_ｉ，ｊと呼ばれ得る。

あるいは、第３の処理済み奥行きマップ内の深度値Ｄ’’’_ｉ，ｊは、第２のピクセルの下の第５のピクセルの第２の処理済みマップの深度値に設定され得る。この深度値は、第４の候補深度値Ｄ”_{ｉ＋１，ｋ}と呼ばれ得る。多くの実施形態では、第５のピクセル／第４の候補深度値は、第４のピクセルより上の、典型的には小さいピクセル群から選択され得る。例えば、第４の候補深度値Ｄ”_{ｉ＋１，ｋ}は、ｋが［ｊ－Ｎ；ｊ＋Ｎ］の間隔内であるピクセル群から選択され、ここで、Ｎは通常小さい数であり、例えばＮは１～７の範囲内にあり得る。

したがって、第３のプロセッサ２０９によるアプローチは、第２の処理済み奥行きマップを下から上の方向に処理し、第２の処理済み奥行きマップの深度値を維持する（Ｄ’’’_ｉ，ｊ←Ｄ”_ｉ，ｊ）か、又は深度値を、現在のピクセルの下のピクセルから上に伝播する値にすることができる（Ｄ’’’_ｉ，ｊ←Ｄ”_{ｉ＋１，ｋ}）。

深度値を維持するか又は置き換えるかの選択は、上記のように深度段差基準に基づき、この基準は、入力奥行きマップ及び第２の処理済み奥行きマップの両方における深度段差に基づく。

具体的には、深度段差基準は、入力奥行きマップにおける深度段差の絶対値が第１の閾値を超えないこと、及び、第２の処理済み画像内の後方深度段差が第２の閾値を下回らないことを要求し得る。

そのような実施形態では、第３のプロセッサ２０９が、入力奥行きマップ内には小さな深度段差しかないが、第２の処理済み奥行きマップ内には大きな後方深度段差がある（現在のピクセルに移動するとき）ことを検出した場合、第２の処理済み奥行きマップは、上のピクセルからの深度値で置換され得る。この場合、第２の処理済み奥行きマップ内の大きな深度段差は、第１のプロセッサ２０５が、元の入力奥行きマップには存在しない深度遷移を導入したことを示し得る。したがって、第３のプロセッサ２０９は、より前方の深度値が第５のピクセルから現在のピクセル（第４のピクセル）に伝播することを可能にする。

より具体的には、深度段差基準は、第５のピクセルと第４のピクセルの下のピクセルとの間の入力奥行きマップ内の絶対深度段差が第６の閾値を超えないという要件（｜Ｄ_{ｉ＋１，ｋ}－Ｄ_{ｉ＋１，ｊ}｜≦ｔ_６）、及び／又は、第４のピクセルと第４のピクセルの上のピクセルとの間の入力画像内の最大絶対深度段差が第７の閾値を超えないという要件（｜Ｄ_{ｉ＋１，ｊ}－Ｄ_ｉ，ｊ｜≦ｔ_７）を含み得る。これらの要件は、現在のピクセル（第４のピクセル）及びターゲットピクセル（第５のピクセル）に関して、水平方向又は垂直方向のいずれかにおいて、入力画像内に対応する深度段差が存在しないという有利な指標を提供し得る。したがって、これらの要件は、元の奥行きマップに局所的な深度遷移／段差／不連続性が存在せず、したがって、そのような局所的遷移／段差／不連続性は、第１のプロセッサ２０５の処理によって導入された可能性があるということの良い指標を提供する。

深度段差基準は、多くの実施形態において、第５のピクセルから第４のピクセルへの第２の処理済み画像内の後方深度段差（のサイズ）が第８の閾値を下回らないという要件、すなわち、現在のピクセルへの移動が、カメラ／視点から離れる十分に大きな深度段差をもたらすという要件を含み得る。深度値Ｄの増加が、ピクセルがカメラ／視点により近いことを示す実施形態では、これは（Ｄ”_ｉ，ｊ－Ｄ”_{ｉ＋１，ｋ}＜ｔ_８）によって表すことができる。これは、第１のプロセッサ２０５の処理により引き起こされた可能性のある後方深度段差が存在することの適切な指標を提供し得る。

具体例として、第３のプロセッサ２０９は以下のアルゴリズムを実行し得る。

第２のプロセッサ２０７による処理に関して提供された他のコメントや例などが、適宜変更を加えて、第３のプロセッサ２０９による処理に等しく適用されることが理解されるであろう。

図６は、このアルゴリズムを図５の第２の処理済み奥行きマップに適用した結果を示している。図からわかるように、画像左側の腕の深度が、人物の身体に影響を与えることなく、特に人物の足と背景との間の一貫性に影響を与えることなく、人物の他の部分と同じ深度レベルに復元されている。

上記と同様に、本アプローチは、有効な隣接ピクセルを見つけることが可能な適切なピクセルにのみ適用され得ることが理解されるであろう。一般的に、処理が一部のピクセルにのみ適用されるように制限され得ること、具体的には、深度値を計算又は修正するための具体的アプローチは、他の必要な隣接深度値が利用可能であるピクセルにのみ適用され得ることが理解されよう。

一部の実施形態では、図２の奥行き処理装置はさらに、第１のプロセッサ２０５、及び場合によっては第２のプロセッサ２０７及び／又は第３のプロセッサ２０９によって処理された奥行きマップを処理して、先行する処理によって低減された前方深度段差の一部を復元するために一部の深度値がオフセットされている可能性があるオフセット奥行きマップを生成し得る奥行きオフセットプロセッサ２１１を含み得る。したがって、奥行きオフセットプロセッサ２１１によって処理される奥行きマップは、第１の処理済み奥行きマップ（すなわち、当該奥行きマップをもたらすプロセスの一部である第１のプロセッサ２０５による処理）から導出される処理済み奥行きマップであり得る。したがって、第１の処理済み奥行きマップは、例えば第２のプロセッサ２０７及び／又は第３のプロセッサ２０９による処理によって、第１の処理済み奥行きマップから導出されている。導出された奥行きマップは、単純に第１の処理済み奥行きマップを変更することなく使用する直接的導出を含むこと、すなわち、一部の実施形態では、奥行きオフセットプロセッサ２１１に供給される処理済み奥行きマップは、第１の処理済み奥行きマップそのものであり得ることが理解されよう。

奥行きオフセットプロセッサ２１１のアプローチの一例が、入力奥行きマップ内の列の深度プロファイル例Ｄ_ｉ，ｊを最初に示す図７を参照して説明され得る（ｙの増加は、画像内のより高い行に対応する（つまり、ｙは上に向かって増加する））。その次のプロファイルは、第１のプロセッサ２０５によって生成された第１の処理済み奥行きマップの結果の深度プロファイルＤ’_ｉ，ｊを示す。図からわかるように、ｙ値を増加させる前方深度段差は許容されないため、そのような深度段差が発生する場合、深度値は低減される。

図７の一番下のグラフは、奥行きオフセットプロセッサ２１１による例示的深度処理後の結果の深度プロファイルＤ”_ｉ，ｊを示す。この例では、一部の前方深度段差が再導入されている。具体的には、この例では、最大深度段差値Ｄ_{ｍａｘｓｔｅｐ}の条件下で、元の深度値（すなわち深度段差）が復元されている。具体的には、奥行きオフセットプロセッサ２１１は、以下の動作を実行し得る。

ここで、Ｄ_ｉ，ｊは、元の入力奥行きマップの深度値であり、Ｄ’_ｉ，ｊは、第１のプロセッサ２０５（及び場合によっては第２のプロセッサ２０７及び第３のプロセッサ２０９）による処理の結果である。Ｄ”_ｉ，ｊは、奥行きオフセットプロセッサ２１１の最終的な出力である。パラメータＤ_{ｍａｘｓｔｅｐ}は最大許容深度差である（典型的には、ダイナミックレンジが０～２５５である奥行きマップの場合、例えば５に設定される）。

したがって、このアプローチでは、一部の、典型的には小さな前方深度段差が許容／再導入される。このアプローチは、多くのシナリオにおいて、知覚される品質の改善をもたらし得る。例えば、画像オブジェクトが突出している／浮かんでいると知覚されることがないことを保証しつつ、画像オブジェクトにいくらかの奥行きテクスチャやバリエーションを導入することができる（それにより、例えば、移動する人物が平坦／不自然に見えることを防止又は軽減する）。

したがって、奥行きオフセットプロセッサ２１１は、受け取った奥行きマップの深度値をオフセットし得る（奥行きマップは、例えば、具体的実施形態に応じて、第１のプロセッサ２０５、第２のプロセッサ２０７、又は第３のプロセッサ２０９のいずれかから受け取られ得る）。所与のピクセルのオフセットは、受け取られた処理済み奥行きマップ及び元の入力奥行きマップのそれぞれにおける当該ピクセルの深度値の差に基づいて決定され得る。

上記の実施形態などの一部の実施形態では、オフセットは単純に、最大値の条件下で、両者の間の差に等しくてもよい（したがって、奥行きオフセットプロセッサ２１１は、相対的深度段差が、値がクリップされるレベルを表す最大値を超えない限り、入力深度値を復元する）。

一部の実施形態では、最大値と比較する前に、オフセットが１未満のスケール係数でスケーリングされてもよい。したがって、より高いレンジを表現できるようにしつつ、深度変動を縮小することができる。

第１のプロセッサ２０５（及び場合によっては第２のプロセッサ２０７及び第３のプロセッサ２０９）による後処理の効果は、より自然に見える３Ｄ視聴体験を提供し得るが、知覚される奥行き効果が大幅に低減される可能性がある。比較的小さな深度段差を許容することにより（Ｄ_{ｍａｘｓｔｅｐ}以下）、３Ｄ奥行き知覚の損失を最小限にしつつ、知覚的により自然な３Ｄ挙動を得ることができる。図８は、奥行きオフセットプロセッサ２１１に供給される奥行きマップの例（ａ）、及び奥行きオフセットプロセッサ２１１により生成された対応する出力奥行きマップ（ｂ）を示す。

明瞭さのために、上記の説明は、異なる機能的回路、ユニット、及びプロセッサに関連して、本発明の実施形態を説明している。しかしながら、本発明を損なうことなく、異なる機能的回路、ユニット、又はプロセッサ間で、機能が任意に適切に分配され得ることが理解されよう。例えば、複数の別々のプロセッサ又はコントローラによって実行されるように示された機能が、同じプロセッサ又はコントローラによって実行されてもよい。したがって、特定の機能ユニット又は回路への言及は、厳密な論理的又は物理的な構造又は構成を示すものではなく、説明される機能を提供するための適切な手段への言及であると考えられたい。

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含む任意の適切な形態で実施することができる。本発明は、１つ又は複数のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の実施形態の要素及び構成要素は、任意の適切な態様で物理的、機能的、及び論理的に実装され得る。実際には、機能は、単一のユニット、複数のユニット、又は他の機能ユニットの一部として実装されてもよい。したがって、本発明は、単一のユニット内に実装されてもよく、又は異なる複数のユニット、回路、及びプロセッサの間で物理的及び機能的に分配されてもよい。

いくつかの実施形態に関連して本発明を説明したが、本発明は、明細書に記載される具体的形態に限定されない。そうではなく、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、ある特徴が、特定の実施形態に関連して記載されているように見えたとしても、当業者は、上記実施形態の様々な特徴が本発明に従って組み合わせられ得ることを認識するであろう。請求項において、備える等の用語は、他の要素又はステップの存在を排除するものではない。

さらに、個別にリストされていたとしても、複数の手段、要素、回路、又は方法ステップは、例えば、単一の回路、ユニット、又はプロセッサによって実施され得る。さらに、個々の特徴が異なる請求項に含まれていたとしても、これらは好適に組み合わされ、異なる請求項に含まれていることは、特徴の組み合わせが実現不可能である及び／又は有利でないことを意味するものではない。また、１つのクレームカテゴリー内にある特徴が含まれているからといって、特徴がこのカテゴリーに限定されるとは限らず、特徴は適宜、他のクレームカテゴリーに等しく適用され得る。さらに、請求項における特徴の順序は、特徴が作用すべき特定の順序を指すものではなく、特に、方法クレームにおける個々のステップの順序は、ステップをその順序で実行しなければならないことを意味しない。むしろ、ステップは、任意の適切な順序で実行され得る。また、単数形の表現は複数形を排除するものではない。したがって、「ａ」、「ａｎ」、「第１の」、「第２の」などの表現は、複数を排除するものではない。特許請求の範囲内の参照符号は、明瞭さのための例に過ぎず、請求項の範囲を如何ようにも限定するものではない。

Claims (15)

1. 奥行きマップを処理するための装置であって、前記装置は、
   入力奥行きマップを受け取る受信部と、
   下から上への方向に前記入力奥行きマップの複数の第１のピクセルを処理することによって第１の処理済み奥行きマップを生成する第１のプロセッサと
   を含み、
   前記複数の第１のピクセルの各第１のピクセルの前記処理は、前記第１の処理済み奥行きマップの前記第１のピクセルの深度値を、
   前記入力奥行きマップ内の前記第１のピクセルの深度値、及び、
   前記第１のピクセルの下方にある第１のピクセル群の前記第１の処理済み奥行きマップ内の深度値に応じて決定される深度値
   のうちの最後方深度値として決定することを含む、装置。
2. 前記第１のピクセル群は、前記第１のピクセルの行の直下の行のピクセルを含む、請求項１に記載の装置。
3. 前記第１のピクセル群は２０以下のピクセルを含む、請求項１又は２に記載の装置。
4. 前記装置は、上から下の方向に前記第１の処理済み奥行きマップ内の複数の第２のピクセルを処理することによって第２の処理済み奥行きマップを生成する第２のプロセッサをさらに備え、
   前記第２の処理済み奥行きマップ内の各第２のピクセルの深度値を生成することは、
   深度段差基準が満たされる場合、
   前記第２のピクセルの前記第２の処理済み奥行きマップ内の深度値を、前記第２のピクセルのための、前記第２のピクセルの上にある第３のピクセルの前記第１の処理済み奥行きマップの深度値として設定し、
   前記深度段差基準が満たされない場合、
   前記第２のピクセルの前記第２の処理済み奥行きマップ内の深度値を、前記第１の処理済み奥行きマップ内の前記第２のピクセルの深度値として設定する
   ことを含み、
   前記深度段差基準は、前記入力奥行きマップ及び前記第１の処理済み奥行きマップの両方における深度段差に依存する、
   請求項１乃至３の何れか一項に記載の装置。
5. 前記深度段差基準は、前記入力奥行きマップにおける深度段差の絶対値が第１の閾値を超えないこと、及び、第１の処理済み画像内の後方深度段差が第２の閾値を下回らないことを要求する、請求項４に記載の装置。
6. 前記深度段差基準は、前記第３のピクセルと、前記第２のピクセルの上方のピクセルとの間の前記入力奥行きマップ内での絶対深度段差が第３の閾値を超えないという要件を含む、請求項４又は５に記載の装置。
7. 前記深度段差基準は、前記第２のピクセルと、前記第２のピクセルの上方のピクセルとの間の入力画像内での最大絶対深度段差が第４の閾値を超えないという要件を含む、請求項４乃至６の何れか一項に記載の装置。
8. 前記深度段差基準は、前記第３のピクセルから前記第２のピクセルへの第１の処理済み画像内での後方深度段差が第５の閾値を下回らないという要件を含む、請求項４乃至７の何れか一項に記載の装置。
9. 前記第２のプロセッサは、前記第２のピクセルの行の真上の行内に含まれる第２のピクセル群から前記第３のピクセルを選択する、請求項４乃至８の何れか一項に記載の装置。
10. 前記第１のプロセッサは、
    前記第１のピクセル群の深度値の最大値に基づき、前記第１のピクセルの前記第１の処理済み奥行きマップの深度値を決定する、請求項１乃至９の何れか一項に記載の装置。
11. 前記装置は、下から上の方向に前記第２の処理済み奥行きマップ内の複数の第４のピクセルを処理することによって第３の処理済み奥行きマップを生成する第３のプロセッサをさらに備え、
    前記第３の処理済み奥行きマップ内の前記複数の第４のピクセルの各第４のピクセルの深度値を生成することは、
    深度段差基準が満たされる場合、
    前記第４のピクセルの前記第３の処理済み奥行きマップ内の深度値を、前記第４のピクセルのための、前記第４のピクセルの下方にある第５のピクセルの前記第２の処理済み奥行きマップの深度値として設定し、
    前記深度段差基準が満たされない場合、
    前記第４のピクセルの前記第３の処理済み奥行きマップ内の深度値を、前記第２の処理済み奥行きマップ内の前記第４のピクセルの深度値として設定する
    ことを含み、
    前記深度段差基準は、前記入力奥行きマップ及び前記第２の処理済み奥行きマップの両方における深度段差に依存する、請求項４乃至９の何れか一項に記載の装置。
12. 前記装置は、既に処理されている奥行きマップのピクセルを処理する奥行きオフセットプロセッサをさらに備え、前記既に処理されている奥行きマップは、前記第１の処理済み奥行きマップから導出され、前記処理は、所与のピクセルの前記既に処理されている奥行きマップの深度値を、前記所与のピクセルの前記既に処理されている奥行きマップの深度値と、前記所与のピクセルの前記入力奥行きマップの深度値との間の差に応じて決定される値によって変更することを含む、請求項１乃至１１の何れか一項に記載の装置。
13. シーンの画像シーケンスにおけるモーション推定、及び前記シーンの事前定義された奥行きプロファイルに基づく奥行きキューに応じて、前記入力奥行きマップを生成する奥行きマップ生成部をさらに備える、請求項１乃至１２の何れか一項に記載の装置。
14. 奥行きマップを処理する方法であって、前記方法は、
    入力奥行きマップを受け取るステップと、
    下から上への方向に前記入力奥行きマップの複数の第１のピクセルを処理することによって第１の処理済み奥行きマップを生成するステップと
    を含み、
    前記複数の第１のピクセルの各第１のピクセルの前記処理は、前記第１の処理済み奥行きマップの前記第１のピクセルの深度値を、
    前記入力奥行きマップ内の前記第１のピクセルの深度値、及び、
    前記第１のピクセルの下方にある第１のピクセル群の前記第１の処理済み奥行きマップ内の深度値に応じて決定される深度値
    のうちの最後方深度値として決定することを含む、方法。
15. コンピュータ上で動作するときに、請求項１４に記載の方法の全てのステップを実行するコンピュータプログラムコード手段を含む、コンピュータプログラム。

Images