JP6717855B2 - 画像の深度マップを決定する方法および装置 - Google Patents

Description

本発明は、画像の深度マップを決定する方法及び装置に関し、特に排他的ではないが、推定された視差値に基づいて深度マップを決定する方法及び装置に関する。

３次元（３Ｄ）ディスプレイは、視者の２つの目に視聴されているシーンの異なるビューを提供することによって、視体験に第３の次元を加える。これは、ユーザに、表示される２つのビューを分離する眼鏡をかけさせることによって達成することができる。しかし、これはユーザにとって不便であると考えられるので、多くのシナリオでは、ディスプレイにおいて、（レンチキュラレンズやバリアなどの）手段を使用してビューを分離し、異なる方向にビューを送り、ビューが個別にユーザの目に届くオートステレオスコピックディスプレイを使用することが好ましい。ステレオディスプレイの場合、２つのビューが必要であるのに対して、オートステレオスコピックディスプレイは、一般により多くのビュー（例えば、９つのビューなど）を必要とする。

提示される３次元画像の画質は、受信される画像データの画質に依存し、具体的には、３次元的知覚は、受信される深度情報の質に依存する。しかしながら、多くの実際のアプリケーションおよびシナリオでは、提供される深度情報は最適なものではない傾向がある。

例えば、多くの実施形態では、新しいビューイング方向のビュー画像を生成することが望ましい場合がある。画像および深度情報に基づいてそのような新しいビュー画像を生成する様々なアルゴリズムが知られているが、それらは提供された（または導出された）深度情報の精度に大きく依存する傾向がある。

実際、シーンの異なるビュー方向に対応する複数の画像によって３次元画像情報が提供されることが多い。具体的に、他の一例として、３Ｄ情報を含む映画やテレビジョン番組などのビデオコンテンツがますます多く作成されている。かかる情報は、少しオフセットしたカメラ位置から同時に２つの画像をキャプチャする専用の３Ｄカメラを用いてキャプチャできる。

しかし、多くのアプリケーションでは、提供される画像が所望の方向に直接対応していないか、またはより多くの画像が必要とされることがある。例えば、オートステレオスコピックディスプレイの場合、２つ以上の画像が必要であり、実際には９−２６のビュー画像が使用されることが多い。

異なるビュー方向に対応する画像を生成するために、視点移動処理を用いてもよい。これは、一般的には、関連する深度情報とともに単一のビュー方向の画像を使用するビューシフトアルゴリズムによって実行される。しかし、大きなアーティファクトのない新しいビュー画像を生成するためには、提供される深度情報は十分に正確でなければならない。

残念なことに、多くのアプリケーションおよび使用シナリオでは、深度情報が所望するほど正確でない場合がある。実際、多くのシナリオでは、異なるビュー方向のビュー画像を比較することによって、深度値を推定し抽出することによって、深度情報が生成される。

多くのアプリケーションでは、わずかに異なる位置にある２台のカメラを使用して、３次元シーンがステレオ画像としてキャプチャされる。具体的な深度値は、２つの画像内の対応する画像オブジェクト間の視差を推定することによって生成することができる。しかし、そのような深度抽出及び推定は問題があり、理想的でない深度値をもたらす傾向がある。これは、やはりアーティファクト及び劣化した３次元画質をもたらす可能性がある。

３次元画像の劣化およびアーティファクトは、異なる画像オブジェクト間の遷移にとって特に大きくなる傾向がある。さらに、関連画像の視差推定に基づく深度情報の決定は、典型的には、画像オブジェクトの特性を考慮することに関連する。典型的には、視差推定アルゴリズムは、左画像内の点と右画像内の対応する点との間の色差を局所的に比較することによって、左画像と右画像との間の対応関係を探す。

しかし、結果として得られる深度マップは、一般的に比較的不正確であり、深度マップを改善するために、深度マップの事後フィルタリングが用いられる。ポストフィルタリングは、具体的には、バイラテラルカラーおよび／または輝度適応フィルタであってもよく、フィルタリングカーネルは、画像の視覚特性を反映するように適応する。このようなバイラテラルフィルタにより、深度マップが画像の特性により密接に従うように適合され、推定される視差の一貫性および時間的安定性を改善することができ、又は例えば、異なる画像オブジェクト間のより鮮明な深度遷移を提供する。

図１は、視差マップを生成するために使用され得る典型的な処理フローの一例を示す。左眼画像及び右眼画像は、視差推定ブロック１０１に入力され、視差推定ブロック１０１は、一般的にはブロック解像度（例えば、４×４、８×８又は１６×１６ピクセル）である視差マップを出力する。元の画像の１つをバイラテラルフィルタ１０３で使用し、この視差マップをフィルタリングし、バイラテラルフィルタされた深度マップを生成する。フィルタリングの後、視差マップはピクセル解像度で修正される。フィルタは、一般的には、空間的に近接しており、同じ色を有するピクセルを、同じ視差を有するように強制することができる。

オブジェクト境界が長い両側のオブジェクトの色／輝度の類似度のために、バイラテラル色／輝度−適応フィルタは、そのような境界に近い視差エラーまたはアーティファクトを引き起こす可能性がある。その結果、オブジェクトの境界に近いところでは、背景におけるオブジェクトまでの距離が過小評価され、前景におけるオブジェクトまでの距離が過大評価される可能性がある。取得された視差マップをビュー生成に使用する場合、例えば、オートステレオスコピックの場合、境界が歪むことがある。人間の観察者は、そのようなひずみおよびアーティファクトに非常に敏感である傾向がある。

例えば、図１のバイラテラルフィルタ１０３は、２つのオブジェクトに対して非常に異なる、ほぼ一定の視覚的特性を有する２つのオブジェクトの間の境界に対して、非常によく機能する。例えば、図１のバイラテラルフィルタ１０３は、均一な色（オブジェクト内に大きな強度変動がない）が、強度の差が大きい２つの物体に対しては、非常に良好に動作し得る。

しかし、他のオブジェクトの場合、特に高いテクスチャを有するオブジェクトのような場合には、バイラテラルフィルタははるかに効果が少なく、実際にアーティファクトを生じてしまう可能性がある。具体的には、テクスチャ付きオブジェクトの場合、前景の視差が背景に漏れることが多く、その逆もある。このアーティファクトは、オブジェクトの境界上で最も顕著であるが、その理由は、画像平面に投影されるオブジェクトの境界の形状は、カメラの位置のわずかな変化だけで幾何学的形状のわずかな変化しか示さないことを、我々は人間の観察者として知っているからである。この効果は図２に示されている。図示されているように、３Ｄオブジェクトの透視投影のなめらかオブジェクト境界は、左眼画像ＩＬから右眼画像ＩＲへのジオメトリにおける高周波変化を示さない可能性が高い。すなわち、図２ａのシナリオは、実際のシーンを反映する可能性が高いが、図２ｂの不規則性（テクスチャ付きオブジェクトによるもの）はシーンを反映する可能性がはるかに低い。

したがって、適切な深度情報を決定するための改良された手法が望まれ、特に、柔軟性の向上、容易な実施、複雑さの低減、深度情報の改善、テクスチャのような視覚的変化に対する感度の低下、改善された３Ｄ体験および／又は画質の改善が望まれる。

従って、本発明は、好ましくは、単独でまたは組み合わされて、上記の一以上の欠点を緩和もしくは解消するものである。

本発明の一態様では、深度マップを生成する装置を提供する。該装置は、画像と、入力深度値を含む関連深度マップとを提供する画像生成器と、前記画像の少なくとも第１輪郭を検出する、前記第１輪郭は第１ピクセルセットを含む、輪郭検出器と、深度モデルを前記第１ピクセルセットのみの入力深度値にフィッティングすることにより前記第１輪郭の輪郭深度モデルを生成するモデルプロセッサと、前記輪郭深度モデルから第１ピクセルセットの少なくとも第１ピクセルに対して深度モデル深度値を決定する深度値決定器と、前記関連深度マップの深度値を修正することにより、前記関連深度マップから修正深度マップを生成する修正器とを有し、前記修正器は、前記深度モデル深度値に応じて前記修正深度マップの前記第１ピクセルの第１修正深度値を生成するように構成される。

この手法は、多くの実施形態において、改善された深度マップを生成することを可能にすることができ、画像処理に使用されるときに改善された画質を提供することができる。例えば、多くの実施形態およびシナリオでは、修正された深度マップを使用して、画像オブジェクトの改善された提示を実現することができる。修正された深度マップが画像ビューシフトのために使用される場合、および／またはオートステレオスコピックディスプレイ上に３次元画像を提示する場合、改善幅は特に大きい。この手法は、特に、多くのシナリオにおいて、画像オブジェクトのエッジ周辺の深度の不一致、不規則性、ノイズ、および／またはアーティファクトを低減または除去することができる。

１つ以上の深度マップは、部分マップであってもよい。深度マップに含まれる深度値は、具体的には、深度座標（ｚ）値または異なるビュー方向の画像間のシフトを表す視差値など、任意の適切な深度表示であってもよい。関連深度マップは、画像内の画像オブジェクト／領域の深度の直接的または間接的な指示を提供する任意の完全または部分深度マップであってもよい。

輪郭検出器は、複数の輪郭を検出するように構成することができ、各輪郭を個別に処理することができる。輪郭検出器は、具体的には、画像の色および／または輝度の空間的変動に応じて、視覚特性の画像における空間的変動に応じて、第１の輪郭を検出することができる。

輪郭検出器は、具体的には、視覚的特性変化制約および幾何学的制約に応じて第１の輪郭を検出するように構成することができる。輪郭検出器は、輪郭要件を具体的に評価し、輪郭要件を満たすピクセルのセットとして第１のピクセルのセットを決定することができる。輪郭要件は、視覚特性変更制約と幾何学的制約の両方を含むことができる。視覚的特性変化の制約は、具体的には、色および／または輝度変化の制約とすることができ、特にテクスチャの非類似度の制約とすることができる。幾何学的制約は、ピクセルの位置（のみ）に関連する制約であってもよい。

輪郭は、いくつかの実施形態では、画像内の曲線（ｃｕｒｖｅｄ ｌｉｎｅ）（しばしば曲線（ｃｕｒｖｅ）とも呼ばれる）であってもよい。曲線は、具体的には、いくつかのシナリオと実施形態では、直線であってもよい。輪郭は、いくつかの実施形態では、画像内で１次元の曲線を形成することができる。多くの実施形態では、第１のピクセルのセットは曲線を形成することができる。輪郭深度モデルは、多くの実施形態では、画像によって表される２つの次元と（入力）深度値によって表される深度次元とによって形成される３次元空間内の曲線、具体的には直線を記述することができる。多くの実施形態では、輪郭深度モデルは、曲線の開始から終了までの単一の線形遷移であってもよい。多くの実施形態では、輪郭深度モデルは線形または区分的線形モデルであってもよい。

モデルプロセッサによる深度モデルの入力深度値へのフィッティングと、深度値決定器による深度モデル深度値の決定とは、第１の輪郭の１つまたは複数の入力深度値に制約を適用する単一のプロセスとして実行することができる。

深度モデルは、輪郭深度モデルの１つまたは複数の特性または制約を表すことができる。特性または制約は、予め決定され得る。特性または制約は深度値とは独立である。例えば、深度モデルは、輪郭深度モデルが、すべてのピクセルに対して単一の深度値を提供しなければならない、位置に線形に依存しなければならない、閾値未満の空間勾配を持たなければならない、より高い空間周波数を含まなくてもよいなどの制約を提供してもよい。例えば、深度モデルは、輪郭深度モデルの空間周波数分布の制約を含むか、またはそれから成り、例えば、具体的には、空間的ローパスフィルタに対応し得る。

輪郭深度モデルは、例えば、所与のピクセルの深度モデル深度値を、その第１のピクセルの（例えば、決定された輪郭に関連する）位置の関数として決定されることを可能とする関数によって表すことができる。そのような場合、輪郭深度モデルは、例えば、モデルプロセッサが、第１の輪郭についての少なくとも１つの入力深度値に基づいて関数のパラメータを決定することによって決定される。いくつかの実施形態では、輪郭深度モデルは、第１の輪郭のピクセルの個々の値によって直接表されてもよい。このようなシナリオでは、輪郭深度モデルは、例えば、第１の輪郭のピクセルに対する入力深度値に低域フィルタリングのような制約を適用することによって、モデルプロセッサが第１の輪郭のピクセルに対する深度モデル深度値を決定することによって決定されてもよい。そのような実施形態では、深度値決定器による第１のピクセルの深度モデル深度値の決定は、モデルプロセッサによって決定された値を検索することによって直接的に行われてもよい。

深度モデルのフィッティングは、第１のピクセルセットのみの入力深度値に応じるものでもよい。深度値のフィッティングは、第１のピクセルセットの深度値以外の入力深度値を考慮しなくてもよい。

修正器は、いくつかの実施形態では、第１のピクセルについて、第１のピクセルの深度モデル深度値および入力深度値の結合、および第１のピクセルの入力深度値の深度モデル深度値による置換のうち少なくとも一方を含む。いくつかの実施形態では、修正器は、加えて、例えば第１の深度値に他の修正、例えば空間的フィルタリングの限定などを加えることもできる。修正器は、いくつかの実施形態では、輪郭に属すると検出された深度値のみを修正することができるが、他の実施形態では、他の深度値の修正も含むことができる。

本発明の任意的な一特徴によると、前記修正器は前記第１修正深度値を前記深度モデル深度値に設定するように構成される。

第１修正深度値は、第１ピクセルの入力深度値を置き換えることができる。

この特徴は、複雑さの低い、堅牢な動作を維持しながら、有利な３次元体験を提供することができる。

本発明の任意的な一特徴によると、前記修正器は前記深度モデル深度値と前記第１ピクセルの入力深度値との結合として前記第１修正深度値を生成するように構成される。

これは、多くの実施形態では、修正された深度マップに基づいて改善された３次元レンダリングを可能にすることができ、特に多くの実施形態では、アーティファクトおよび／またはノイズの低減を可能にする。

本発明の任意的な一特徴によると、前記輪郭検出器はソフトディシジョン検出値を生成するように構成され、前記結合は加重結合であり、前記修正器は前記ソフトディシジョン検出値に応じて前記深度モデル深度値と前記第１ピクセルの前記入力深度値との少なくとも一方の加重を決定するように構成される。

これは、多くの実施形態では、修正された深度マップに基づいて改善された３次元レンダリングを可能にすることができ、特に多くの実施形態では、アーティファクトおよび／またはノイズの低減を可能にする。

軟判定検出値は、画像の第１のピクセルセットが輪郭と一致する推定された確率を示す信頼値であってもよい。入力深度値の加重に対する深度モデル深度値の加重は、第１のピクセルセットが画像内の輪郭と一致する推定確率が増加する場合に増加させることができる。

本発明の任意的な一特徴によると、前記輪郭検出器は前記第１輪郭の幾何学的特性に応じて前記ソフトディシジョン検出値を生成するように構成される。

これにより多くのシナリオでは性能が向上する。具体的には、多くの実施形態では、幾何学的特徴は、視覚的特徴に基づいて決定されたピクセルのセットが確かに輪郭に対応するか否かを特に良好に示す。

本発明の任意的な一特徴によると、前記輪郭深度モデルは一定深度値モデルである。

これは、多くの実施形態では、修正された深度マップに基づいて改善された３次元レンダリングを可能にすることができ、特に多くの実施形態では、アーティファクトおよび／またはノイズの低減を可能にする。さらに、複雑さを低くすることができる。一定の深度値モデルは、第１の組のピクセルの全てのピクセルに対して同じ深度値を提供する、すなわち、単一の深度値が輪郭のすべてのピクセルに割り当てられる。

本発明の任意的な一特徴によると、前記モデルプロセッサは、極端入力深度値と平均入力深度値と前記第１ピクセルセットの中間入力深度値のうちの１つとして、輪郭深度モデルを生成するように構成されている。

これは、多くの実施形態およびシナリオにおいて、特に魅力的な結果を提供する一方で、複雑性およびリソースの要求を低くすることができる。

本発明の任意的な一特徴によると、前記輪郭深度モデルは線形深度値モデルである。

これは、多くの実施形態およびシナリオにおいて、特に魅力的な結果を提供する一方で、複雑性およびリソースの要求を低くすることができる。具体的には、複雑さを低く維持し、ノイズ／アーティファクトを低減しつつ、より現実的な深度遷移を提供することが多い。

本発明の任意的な一特徴によると、前記輪郭検出器は、前記第１ピクセルセットの幾何学的要件の制約下において前記第１輪郭を決定するように構成される。

これにより多くの実施形態では性能が改善される。

本発明の任意的な一特徴によると、前記幾何学的要件は、前記第１ピクセルセットが最大曲率を越えない幾何学的形状を構成するとの要件を含む。

これにより多くの実施形態では性能が改善される。

本発明の任意的な一特徴によると、装置は、前記修正器による修正前に前記画像に基づき前記関連深度マップをフィルタリングするバイラテラルフィルタをさらに有する。

バイラテラルフィルタと深度マップ修正とのこのような組み合わせは、フィルタと修正との間に相乗効果を有する特に有利な結果を提供することができる。具体的には、バイラテラルフィルタは、深度マップを改善し、ノイズを低減することができ、フィルタリングによって画像の一部に生じる潜在的なアーティファクトまたは遷移ノイズを低減することができる。

本発明の任意的な一特徴によると、前記輪郭検出器は、輪郭要件が視覚的特性変化制約と幾何学的制約との両方を含むことに応じて、前記第１輪郭を検出するように構成される。

本発明の任意的な一特徴によると、前記画像生成器は、前記画像と、異なるビューイング方向に対応する第２画像とに基づく視差推定に応じて、前記関連深度マップを生成するように構成される。

本発明の一態様では、深度マップを生成する方法を提供する。該方法は、画像と、入力深度値を含む関連深度マップとを提供することと、前記画像の少なくとも第１輪郭を検出することであって、前記第１輪郭は第１ピクセルセットを含む、ことと、深度モデルを前記第１ピクセルセットのみの入力深度値にフィッティングすることにより前記第１輪郭の輪郭深度モデルを生成することと、前記輪郭深度モデルから前記第１ピクセルセットの少なくとも第１ピクセルの深度モデル深度値を決定することと、前記関連深度マップの深度値を修正することにより、前記関連深度マップから修正深度マップを生成することとを有し、修正深度マップを生成することは、前記深度モデル深度値に応じて、前記修正深度マップの前記第１ピクセルの第１修正深度値を生成することを有する。

本発明の上記その他の態様、特徴、及び利点を、以下に説明する実施形態を参照して明らかにして説明する。

図面を参照して、本発明の実施形態を例示により説明する。
画像の深度マップを生成する従来技術の手法の一例を示す図である。 図１の手法から生じ得る深度むらの一例を示す図である。 ３次元表示システムの一例を示す図である。 従来技術のいくつかの実施形態による深度マップを生成する装置の要素の例を示す図である。 従来技術のいくつかの実施形態による深度マップを生成する装置の要素の例を示す図である。 従来技術のいくつかの実施形態による深度マップを生成する装置の要素の例を示す図である。 図４の装置の具体的な実装のためにピクセルについて決定された値の例を示す。 図４の装置の具体的な実装のためにピクセルについて決定された値の例を示す。 図４の装置の具体的な実装のためにピクセルについて決定された値の例を示す。

以下の説明は、例えば、オートステレオスコピックディスプレイへの入力ステレオ画像の提示のための追加画像を生成する手法など、シーンの異なるビュー方向の画像を生成するために特に使用され得る修正深度マップを決定するシステムに適用可能な本発明の実施形態に焦点を当てる。しかし、言うまでもなく、本発明はこのアプリケーションに限定されず、他の多くのアプリケーションおよびシステムに適用されてもよく、修正された深度マップが他の多くの目的のために使用されてもよい。

図３は、本発明の幾つかの実施形態によるシステムの一例を示す。具体的な例では、オートステレオスコピックディスプレイ３０１の異なるビューに対応する画像が、画像源３０３から受け取った入力３次元画像から生成される。入力された３次元画像は、例えば、関連する深度マップを有する単一の画像によって表されてもよく、または例えば、関連する深度マップが抽出されるステレオ画像によって表されてもよい。

一般的には、オートステレオスコピックディスプレイは、各円錐がシーンの異なるビューイングアングルに対応する複数のビューを含むビューの複数の「円錐」を生成する。隣接する（または場合によってはさらに変位した）ビュー間のビューイングアングルの差は、ユーザの右眼と左眼との間のビューイングアングル差に対応するように生成される。従って、左右の眼が２つの適切なビューを有する視者は、３次元効果を知覚することになる。

オートステレオスコピックディスプレイは、レンチキュラレンズまたは視差バリア／バリアマスクなどの手段を使用して、ビューを分離し、それらを個々にユーザの目に届くように、異なる方向に送る傾向がある。ステレオディスプレイの場合、２つのビューが必要だが、ほとんどのオートステレオスコピックディスプレイは、通常、より多くのビューを使用する。実際、幾つかのディスプレイでは、画像の異なる部分が異なるビューイング方向に投影されるように、画像上でビューイング方向の漸進的な移行が実行される。したがって、最近のオートステレオスコピックディスプレイでは、オートステレオスコピックディスプレイが一定数の完全なビューをレンダリングするではなく、ビュー方向にわたる画像領域のより漸進的で連続的な分布が適用され得る。このようなオートステレオスコピックディスプレイは、完全なビューではなく、部分的なビューを提供すると呼ばれることが多い。部分的なビューに関するより多くの情報は、例えば、国際公開第２００６／１１７７０７号に見出すことができる。

しかし、ほとんどのオートステレオスコピックディスプレイでは、比較的多数の異なるビュー方向に対して画像情報を生成する必要があることが一般的である。しかし、一般的には、３次元画像データは、ステレオ画像として、または深度マップを有する画像として提供される。必要なビュー方向を生成するために、レンダリングのための適切なピクセル値を生成するために、典型的には、画像ビューシフトアルゴリズムが適用される。しかしながら、かかるアルゴリズムは、一般的には、準最適であり、アーティファクトまたは歪みを生じる可能性がある。

図３のシステムでは、ディスプレイドライバ３０５が、画像源３０３から入力３次元画像を受信し、オートステレオスコピックディスプレイ３０１のためのビュー画像を生成する。ディスプレイドライバ３０５は、具体的に、オートステレオスコピックディスプレイ３０１の個々のビューのビュー方向に対応する新しいおよび／または追加のビュー画像を生成するように構成される。

したがって、ディスプレイドライバ３０５は、少なくとも１つの受信画像および関連する深度情報に基づいてビューシフトによって新しい方向に対応する画像を生成するように構成し得る。しかしながら、ディスプレイドライバ３０５は、受信された深度マップまたは複数の受信された画像からの視差推定によって生成された深度マップを直接使用するのではなく、最初に修正された深度マップを生成する。この修正された深度マップは、新しい画像を生成するためにビューシフトアルゴリズムにより使用される。この手法については、図４を参照して以下により詳細に説明する。図４は、図３のディスプレイドライバ３０５の要素を示している。

ディスプレイドライバ３０５は、少なくとも１つの画像および関連する深度マップを提供するように構成された画像生成器４０１を備え、関連付けられた深度マップは、画像の少なくともいくつかの、典型的にはすべてのピクセルの深度情報を提供する。一般的には、深度マップは、（おそらく、より低い空間的または時間的解像度であるが）画像の各ピクセルについての深度値を提供することができる。

言うまでもなく、いくつかの実施形態では、深度マップは、画像のピクセルについてのより間接的な深度情報を含むことができる。例えば、いくつかの実施形態では、深度マップは、画像とはわずかに異なるビュー方向に対して提供されてもよい（例えば、左眼深度マップに右眼画像が提供されてもよい）。

深度マップに含まれる深度値は、具体的には、深度座標（ｚ）値または異なるビュー方向の画像間のシフトを表す視差値など、任意の適切な深度表示であってもよい。以下では、深度値は、具体的には、視差値を参照して、より大きい深度値が画面の前のオブジェクトのより大きい視差に対応するようにしてもよい。したがって、より大きい奥行値は、視者により近い位置を反映すると考えられる。

いくつかの実施形態では、画像生成器４０１は、具体的には画像源３０３のような外部または内部ソースから関連深度マップを有する画像を単に受け取ることができる。他の実施形態では、画像生成器４０１自体は、自分で、関連深度マップを生成するように構成されていてもよい。

特に、多くの実施形態では、画像生成器４０１は、同じシーン（典型的には同時画像）の異なるビュー方向に対応する複数の画像を受け取り、視差推定に基づいて深度マップを生成するように進めることができる。

したがって、多くの実施形態では、画像生成器４０１は、異なるビュー方向に対応する複数の画像、例えばステレオ画像によって形成される３次元画像を受信するように構成されてもよく、視差推定を実行して、入力される関連深度マップを生成するように構成されてもよい。

画像生成器４０１は、少なくとも２つのビュー方向画像間の視差検出に応じて深度マップを生成するよう具体的に構成されてもよく、すなわち、画像内の対応する画像オブジェクトを見つけ出し、これらの間の相対的なシフト／視差を決定し、対応する深度レベルを画像オブジェクトに割り当てることができる。言うまでもなく、視差推定に基づいて深度を決定する任意の適切なアルゴリズムが使用されてもよい。

このような視差推定により、比較的正確な深度マップを求められる。しかし、深度マップは、依然として、一般的には、比較的多数のエラーを含み、一般的に完全な一貫性がない場合がある。特に、アーティファクトおよび非一貫性は、大きくて鋭い深度変化（ｄｅｐｔｈ ｔｒａｎｓｉｔｉｏｎｓ）の周りで生じることがある。

したがって、異なる方向の画像の視差推定から生成された深度マップを直接使用することは、ビューシフトを実行するとき、知覚できる画質低下およびアーティファクトを生じる傾向がある。

深度マップのフィルタリングが画像の特性に基づいて制御される深度マップにバイラテラルフィルタを適用することによって、このような問題を緩和することが試みられている。しかしながら、このような手法は、いくつかのシナリオで深度マップを改善することができるが、多くの実際のアプリケーションおよびシナリオでは最適ではない可能性がある。特に、これは、（図２に示し先に説明したように）テクスチャ加工されたオブジェクトの不規則でノイズの多い深度遷移をもたらす可能性がある。

しかしながら、図４のディスプレイドライバ３０５では、画像内の輪郭を検出し、検出された輪郭に深度モデルを当てはめ、当てはめられた深度モデルに基づいて深度値を決定し、これらの深度値に基づいて深度マップを修正することにより、修正深度マップを生成する。修正深度マップは、ビューシフトのために使用される。

より詳細には、画像生成器４０１は、異なるビュー方向の入力画像と、入力画像に関連する（修正された）深度マップとに基づいて、所与のビュー方向の画像を生成するように構成された画像シフタ４０３を備える。画像シフタ４０３は、多くの実施形態では、ステレオ画像の左眼画像または右眼画像など、異なるビュー方向に対して複数の画像によって提供される３次元画像表現の単一ビュー画像を提供されてもよい。これは、特に、そのような３次元画像表現が外部ソースから受信され、深度マップが視差推定によって局所的に生成された場合であり得る。

画像生成器４０１はさらに、画像生成器４０１から入力画像を受け取り、画像内の一以上の輪郭を検出するように構成された輪郭検出器４０５に結合される。各輪郭は、輪郭要件が満たされるピクセルのセットを含むと判定されてもよい。この要件は、特に、ピクセルの類似度が十分に高いことを要求する類似度要件を含むことができる。輪郭要件は、セット内のピクセルが遷移領域の一部であり、特に十分に異なる（視覚的な）特性を有するが、各領域のピクセルが類似度基準を満たす遷移領域の一部であってもよいことを反映する遷移要件（ｔｒａｎｓｉｔｉｏｎ ｒｅｑｕｉｒｅｍｅｎｔ）を含むことができる。多くの実施形態では、輪郭要件は、所与の輪郭に属するピクセルセットが実質的に垂直線を形成するという要件など、ピクセルのセットに対する幾何学的要件を含むことができる。

輪郭は、画像内の曲線（ｃｕｒｖｅｄ ｌｉｎｅ）（曲線（ｃｕｒｖｅ）としても知られる）として具体的に決定されてもよく、具体的には、第１のピクセルのセットは、曲線を形成する連結したピクセルのセットとして決定されてもよい。曲率は具体的にはゼロであってもよく、すなわち曲線は直線であってもよい。

輪郭検出器４０５はモデルプロセッサ４０７に結合されており、モデルプロセッサ４０７は、ピクセルのセットの入力深度値に深度モデルをフィッティングすることによって、検出された輪郭の各々について輪郭深度モデルを生成するように構成される。このように、第１のピクセルのセットを含む第１の輪郭に対して、モデルプロセッサ４０７は、入力深度値、すなわち入力関連深度マップの深度値に深度モデルをフィッティングすることによって、第１の輪郭深度モデルを生成するように構成される。初期深度モデルは、具体的には、一以上の可変パラメータを有する所定のモデルであってもよい。一以上の可変パラメータは、モデルと第１のピクセルセットの深度値との間のフィッティングが要件を満たすように、モデルプロセッサ４０７によって調整することができる。要件は、例えば、蓄積された深度値の差の尺度が最小化されることであってもよく、例えば、モデルは、深度モデル値とピクセルセットの入力マップの深度値との間の深度値の差の２乗の和を最小にするように適合されてもよい。

輪郭が単一の曲線である例では、輪郭深度モデルは、深度次元と画像の２つの次元とによって形成される３次元空間内の１次元曲線に対応することができる。

いくつかの実施形態では、深度モデルは、モデルの深度値の深度に対する深度制約の形式であってもよい。例えば、深度モデルは、深度値の空間変動が十分に小さいという制約に対応してもよい。例えば、モデルは、深度値の空間周波数分布の制約を含むか、またはそれから構成されてもよい。

具体的な例として、深度モデルは単に一定深度モデルであってもよく、すなわちモデルは単一奥行値モデルであってもよい。そのようなモデルは、第１のピクセルについての関連深度マップの入力深度値に基づいて適合されてもよい。このように、輪郭に属するピクセルの深度値を単一のモデル奥行値に設定することにより、モデルを適用することができる。具体的には、深度モデルは、輪郭に属する入力深度値の極端な深度値（最小または最大）、平均値、または中央値を反映するように適合されてもよい。

具体的な例として、モデルプロセッサ４０７は、単一の深度値を、第１の輪郭に属するピクセルの入力深度値の最大値に設定することによって、第１の輪郭について単一の輪郭深度モデルを生成することができる。

他の例として、深度モデルは、輪郭深度モデルの深度値の空間周波数スペクトルが、より低い周波数のみを含むように、要求してもよい。例えば、深度値の空間的変化率が所与のレベルよりも低いことが要求されてもよい。

多くの実施形態では、深度モデルは、関連する深度マップの深度値に適用すると、深度輪郭モデルとなるローパスフィルタリングモデルとすることができる。したがって、深度モデルはより高い空間周波数を制約する。

具体的な例として、モデルプロセッサ４０７は、空間ローパスフィルタを輪郭のピクセルに適用して、フィルタリングの出力値を含む深度輪郭モデルを生成することができる。ローパスフィルタは、具体的には、均一なフィルタリングであってもよく、従って、深度輪郭モデルは、関連深度マップの深度値の移動平均として生成されてもよい。

上述したように、輪郭は、多くの実施形態では、画像内の曲線（ｃｕｒｖｅ）とも呼ばれることが多い曲線（ｃｕｒｖｅｄ ｌｉｎｅ）（ゼロ曲率線、すなわち直線を含む）であってもよい（すなわち、輪郭に属するピクセルのセットは、画像内で曲線を形成する）。輪郭深度モデルは、相応して、３次元空間内の曲線（ｃｕｒｖｅｄ ｌｉｎｅ）であってもよい。

実際に、輪郭に属するピクセルのセットは、いくつかの実施形態では、例えば、単一の線として決定されてもよく、実際には、接続された線のセットとして決定されてもよい。このような例では、輪郭深度モデルは、３次元の線分からなるポリラインとして生成することができる。例えば、第１の輪郭を垂直線として決定することができる。深度モデルは、線として与えられてもよく、すなわち線形の深度の変化を表すように制約されてもよい。システムは、この深度線を垂直輪郭の深度値にフィッティングさせることができる。例えば、深度線／輪郭線の終点の深度値は、入力深度マップの実際の深度値と、深度線の深度値との間の平均２乗誤差を最小化することによって決定することができる。別の例として、深度線の終点を、輪郭の対応する終点の入力深度マップの深度値に設定するだけで、深度線をフィッティングすることができる。その結果は、線形で滑らかに進行するように制約された輪郭の輪郭深度モデルとなり得る。

輪郭深度モデルは、曲線であってもよい輪郭に沿って移動するときの深度値の発展を記述する（輪郭は多くの場合閉じていないが、例えば、オブジェクトと背景との間のエッジを点Ａから点Ｂまで記述する）ことができる。輪郭深度モデルは、多くの例において、輪郭上の位置の関数Ｄ（ｓ）としての深度の１次元的記述であると考えられてもよく、例えば、一定、線形、またはより複雑な多項式であってもよい。他の例として、輪郭深度モデルは、輪郭の入力深度値のローパスフィルタリングされたバージョンであってもよい。すなわち、ローパスフィルタ効果を、輪郭曲線に属するピクセルの深度値にのみ適用することができる。

また言うまでもなく、輪郭は曲線である必要はなく、例えば、画像内の２次元領域として定義されてもよい。例えば、輪郭は、例えば四角形として決定されてもよい。そのような形状は、一般的には、他の形状を実質的に超える１つの次元を有してもよい（すなわち、それらは「長く細い」傾向があり得る）、幅は輪郭の決定における不確定性を反映する、すなわち、より段階的な遷移が達成され得る。

さらに、輪郭深度モデルは、例えば、３次元空間内の２次元形状として与えられてもよい。例えば、深度モデルは、四角形の四点の深度値を、矩形輪郭の四隅の深度値の位置に設定することにより輪郭にフィッティングされた２次元四辺形であってもよい。典型的には、四辺形は四角形であってもよい。そのような手法は、例えば、よりソフトな深度遷移を提供し得る。また言うまでもなく、深度モデルは、例えば、単一の四角形には限定されず、より複雑であってもよい。例えば、深度モデルは、ポリゴンメッシュ構造であってもよく、このポリゴンメッシュ構造は、メッシュの深度値と入力深度値との間の結果の差が輪郭のピクセルに対して最小になるように、メッシュの接合部の位置を決定することによって決定することにより、輪郭の入力深度値にフィッティングされる。

したがって、モデルプロセッサは、輪郭の深度値を確定する輪郭深度モデルを決定することができる。輪郭深度モデルは、輪郭の深度値に制約を課す深度モデルに基づいて決定される。深度モデルの制約は、輪郭の深度値の変動に対する制約（例えば、変動に対する最大量および／または頻度）などの相対的制約であり得る。輪郭深度モデルは、輪郭に属するピクセルの深度値への深度モデルのフィッティングに基づいて決定され、典型的には輪郭に属するピクセルのみの深度値に基づく。したがって、輪郭深度モデルは、輪郭のピクセルに対する深度値を提供し、輪郭に属するピクセルの少なくとも１つの深度値及び深度モデルに応じて決定される。多くの実施形態では、輪郭に属するすべてのピクセルの深度値に基づいて輪郭深度モデルを決定することができる。したがって、深度モデルは、具体的な輪郭に適合させることができ、輪郭の（深度値）の少なくとも１つの特性を反映することができる。輪郭深度モデルは、具体的には、輪郭の深度値のモデルであってもよく、一般的には、他の深度値を考慮することなく決定でき、実際には輪郭に属すると見なされるもの以外のピクセルを実際には考慮することなく決定できる。

したがって、輪郭深度モデルは、輪郭の深度値の少なくとも１つの特性を反映する高度に局所的に適合されたモデルであり得るが、一般的には、輪郭に属さないピクセルのすべての深度値とは無関係である。したがって、輪郭深度モデルは、輪郭自体の深度値のみを反映する、非常に局所的かつ制限されたモデルである。

モデルプロセッサ４０７は、輪郭に属するピクセルの深度モデル深度値を決定するように構成された深度値決定器４０９に結合される。したがって、第１の輪郭について、深度値決定器４０９は、第１の輪郭に属するピクセルの、すなわち第１のピクセルセットの深度モデル深度値を決定するために、第１の輪郭についての輪郭深度モデル（すなわちフィットされたまたは適合された深度モデル）を評価することができる。

輪郭深度モデルが単一深度モデルである低複雑度の例では、第１のピクセルセットの深度モデルの深度値は、単純にモデルの深度値として決定されてもよい。しかしながら、より複雑なモデルの場合、深度値の決定は、輪郭に属する各ピクセルに対して個別に実行されてもよい。例えば、いくつかの実施形態では、所与の輪郭の輪郭深度モデルは、（例えば、輪郭内の）ピクセルの具体的な位置に依存する関数（例えば、数式または方程式として表現される）により表され、この関数を輪郭の各ピクセルについて評価することができる。

したがって、深度値決定器４０９は、輪郭の深度モデル深度値を生成することができ、したがって、モデルによって反映される所定の制約および特性を反映する輪郭の深度値を生成することができる。しかし、モデルは実際の入力深度値に基づいて適合させることができ、したがって、結果の深度モデル深度値は、所定の制限および制約の両方を反映することができるが、具体的な画像の特性も反映することができる。

深度値決定器４０９は、入力関連深度マップの深度値を修正することによって、関連深度マップから修正深度マップを生成するように構成された修正器４１１に結合される。具体的には、修正器４１１は、ピクセルの深度値決定器４０９によって決定された深度モデル深度値に応じて、輪郭に属するピクセルの少なくとも１つ、一般的には全部を修正するように構成される。したがって、第１の輪郭の少なくとも第１のピクセルについて、第１の修正された深度値が、その第１のピクセルに対する決定された深度モデルの深度値の関数として計算／決定される。

多くの実施形態では、修正器４１１は、関連する深度マップの入力深度値を、そのピクセルについて決定された深度モデルの深度値で置き換えることによって、輪郭の所与のピクセルの修正された深度値を設定するように構成することができる。

例えば、深度モデルが単一の奥行値モデルである場合、所与の輪郭の入力深度値はすべて、決定された単一の深度値で置き換えられてもよい。例えば、多くの実施形態では、所与の輪郭に属する全てのピクセルは、例えば、輪郭の最大深度値、最小深度値、中央深度値または平均深度値により置き換えられても良い。

言うまでもなく、修正器によって適用される具体的な修正は、個々の実施形態における好みおよび要件に応じたものでもよい。さらに、いくつかの実施形態では、修正器は、輪郭に属すると検出されない深度値の修正を実行するように構成されてもよい。例えば、いくつかの実施形態では、修正器４１１は、輪郭に属する深度値および輪郭に属さない深度値の両方にフィルタを適用することを含む、入力深度マップに空間フィルタを適用するように構成されてもよい。フィルタを適用した後、修正器は輪郭の深度値を輪郭深度モデルからの値で置き換える（例えば、所与の輪郭のすべてのピクセルに同じ値を割り当てるなど）ように構成されてもよく、あるいは、例えば、フィルタリングされた入力深度値と深度モデル値との組み合わせとして出力深度値を生成するように構成されてもよい。言うまでもなく、修正は、例えば、限定、ダイナミックレンジ変更、量子化変更など、他の機能及び動作を含み得る。

修正器４１１は、修正された深度マップを使用して新しい画像を生成する画像シフタ４０３に結合される。具体的には、新しい画像を生成する際の視差および水平シフトの決定は、元の深度マップではなく、修正された深度マップの深度に基づいてもよい。

この手法は、多くのシナリオおよびアプリケーションにおいて改善された性能を提供することができる。
特に、この手法は、多くの場合、深度が異なる、異なるオブジェクト間の遷移などの、特にクリティカルな領域に対して、より堅牢で、一貫性があり、ノイズの少ない深度情報を提供する傾向がある。この手法は、特に、ビュー方向のシフトを実行するために使用される場合、アーティファクトが減少し、知覚される画像劣化が減少する。さらに、これらの利点は、比較的低い複雑さおよびリソース使用量で達成され得る。また、この手法は、一般的には堅牢であり、例えば、動画像シーケンスの一部である画像に対してかなり高い時間的安定性を提供する。

多くの実施形態では、ディスプレイドライバ３０５は、画像の特性に基づいて関連深度マップをフィルタリングするためのバイラテラルフィルタをさらに備えてもよい。図５はかかる一例を示す。図５のディスプレイドライバ３０５は、図４のそれに対応するが、画像生成器４０１と修正器４１１との間にバイラテラルフィルタ５０１が含まれている点が異なる。

バイラテラルフィルタ５０１は、修正器４１１によって修正される前に、関連深度マップをフィルタリングする。フィルタリングは、与えられたピクセルのカーネル重みが入力画像のピクセルの近傍の特性に依存するようなバイラテラルフィルタである。このようにして、深度マップは、画像の特性をより厳密に反映するようにフィルタリングされ、したがって、多くのシナリオで改善された一貫性および低減されたノイズを提供する。例えば、均質な画像オブジェクトに対応する領域内の深度変動／ノイズは、大幅に低減され得る。しかし、バイラテラルフィルタリングは、いくつかの状況において、（例えば、図２を参照して先に説明したように）画像内のテクスチャまたは他の変動のために、アーティファクトおよび不規則性を生じる可能性がある。しかしながら、図５のシステムでは、そのようなアーティファクトは、輪郭に属する深度値のその後の修正によって緩和され、低減され、または潜在的に除去される。この変更により、より一貫性のある深度遷移が、例えば、テクスチャ付き画像オブジェクトに沿って生じ、提示された３次元画像の知覚される画質が大幅に改善され得る。

図５のシステムでは、深度モデルのフィッティングは、関連する深度マップの入力深度値を使用して、すなわち空間バイラテラルフィルタの前の深度マップを使用して依然として実行される。これは、改善された性能を提供し、より現実的な３次元的知覚をもたらすことが分かっている。特に、検出された輪郭の深度情報に悪影響を与える、バイラテラルフィルタリングからの（したがって、例えばテクスチャからの）アーティファクトまたは非一貫性を低減または緩和することができる。したがって、均質で現実的な見た目の画像を提供することができる。

したがって、図５の例では、輪郭深度値は、視差推定の直後に推定され、その後にバイラテラルフィルタリングステップから得られた深度マップの修正が行われる。

言うまでもなく、画像内の輪郭を検出する異なる手法およびアルゴリズムを実行することができる。

輪郭は、具体的には、視覚特性の変化の制約と、ピクセルの位置に依存する幾何学的制約とを満たす少なくとも２つのピクセルを含むピクセルセットであってもよい。

視覚特性変化の制約は、具体的には、輝度および／または色変化の制約であってもよい。視覚特性変更の制約は、具体的に、輪郭の少なくとも１つのピクセルの視覚特性と、輪郭の一部ではない少なくとも１つの隣接ピクセルの視覚特性との間の差異が閾値を超えるという要件を含み得る。具体的には、視覚特性は、強度または色度（値または変動特性など）を示す特性であってもよく、および／またはテクスチャ特性を示すものであってもよい。

いくつかの実施形態では、視覚的特性変化の制約は、輪郭の少なくとも１つのピクセルの視覚特性と、ピクセルのグループの視覚的特性との間の差異が、閾値を越えるとの要件を含み、ピクセルのグループは、輪郭の一部ではなく、輪郭の少なくとも１つのピクセルに隣接する少なくとも１つのピクセルを含む空間的に連続なグループである。具体的には、視覚特性は、強度または色度（値または変動特性など）を示す特性であってもよく、および／またはテクスチャ特性を示すものであってもよい。

いくつかの実施形態では、視覚特性変化制約は、テクスチャ非類似制約であってもよい。これは、輪郭のエッジまたは輪郭の両側の視覚的構造（強度、色および／またはテクスチャ）を比較して、両側間に最小の差異が存在することを必要とする。要件の一例は、輪郭の各側の隣接ピクセル間の最小色差である。

別の例として、視覚特性変化制約／テクスチャ非類似制約は、輪郭の一方の側のピクセルセットの視覚特性と、輪郭の他方の側のピクセルセットの視覚特性との間の差異が閾値を超えることを要求する。具体的には、視覚特性は、テクスチャ特性（統計分布または標準偏差など）を示すことができる。

幾何学的制約は、セット中のすべてのピクセルが、直線に対する所定の最大ユークリッド距離を有することであり得る。別の幾何学的制約は、セット内のすべてのピクセルが、矩形のピクセルグリッド上に８つの連結された構成要素を形成することであり得る。

具体的には、幾何学的制約は、輪郭の外形の少なくとも一部の形状を示す幾何学的特性が要件を満たすことを要求することができる。この要件は、具体的には、決定された幾何学的特性と、期待される輪郭形状に対する期待される幾何学的特性との間の差異が閾値を超えないことであり得る。

言うまでもなく、様々な実施形態では、輪郭を検出する様々なアルゴリズムおよび基準を使用してもよい。一般に、輪郭検出器４０５は、与えられたピクセルセットに対する色強度制約と幾何学的制約の両方をチェックすることによって輪郭を検出することができる。与えられたセットに対して両方の制約が満たされている場合、このセットは輪郭とみなされる。

このテストが、例えば輪郭検出器４０５により実行され、最初に視覚的特性変化制約を満たすピクセルのセットを決定してもよい。次に、結果として生じるピクセルのセットの幾何学的制約を評価してもよい。幾何学的制約が満たされている場合、ピクセルのセットは輪郭であるとみなすことができる。

多くの実施形態では、輪郭検出器４０５は、第１のピクセルセットの幾何学的要件に基づいて第１の輪郭を検出するように構成されてもよい。幾何学的要件は、例えば、所与のピクセルセットに関する要件を評価することにより、明示的に考慮されてもよく、あるいは、例えば、幾何学的制約を満たすピクセルのみを本質的に考慮するアルゴリズムなどにより、アルゴリズムに組み込まれる要件によって暗黙的に考慮されてもよい。

具体的な例として、輪郭検出器４０５は、単一の垂直線を形成するピクセルセットのみを考慮するように構成することができる。したがって、所与のピクセルが輪郭に属する（または輪郭に属するかどうかを判定するために評価されている）場合、同じ列内の隣接ピクセルのみが同じ輪郭の潜在的候補として評価される。

幾何学的要件は、例えば、ピクセルのセットによって形成される輪郭のサイズの要件を含むことができる。例えば、輪郭が垂直線に対応すると考えられる場合、幾何学的要件は、線の長さが所与の閾値を超えることを考慮することができる。従って、短いラインのピクセルは、例えば２つの画像領域を区別するが、輪郭として指定するのに十分に大きいとは考えられない。

以下、輪郭を効率的に検出する具体的な手法について説明する。この例では、輪郭検出器４０５は、より長い垂直方向の線を検出することによって輪郭を検出することを目的としている。これは、しばしば物体の境界（例えば、ライトポール、ドアポスト、コンピュータスクリーンの垂直境界、文字列からの大きな文字の境界など）を反映するからである。したがって、輪郭要件は、輪郭として指定されているピクセルセットのピクセルが所与の閾値より長い長さを有する垂直線を形成するという要件を含むことができる。

この例は、図６を参照して説明する。これは図５のシステムの具体的かつ例示的な例であると考えられる。

この例では、画像生成器４０１は、左眼画像Ｉ_Ｌと右眼画像Ｉ_Ｒとを受け取る。次いで、視差推定を実行して、関連する深度マップＤ_Ｌを生成する。

この例では、深度マップは、左眼画像に対して生成されるが、他の実施形態では、例えば右眼深度マップが代わりに使用されてもよい。実際、いくつかの実施形態では、右眼深度マップを、左眼画像の深度マップとして使用してもよい。オフセットがあれば、例えば、補償してもよいし、あるいは差異は十分に小さいとみなしてもよい。

輪郭検出器４０５は、左眼画像Ｉ_Ｌを受け取り、輪郭のセットＣ_ｋを出力する。各輪郭はピクセルのセットを含む。

具体的な例では、カラー画像Ｉを入力として取り込み、出力画像として輪郭マップＬを生成する輪郭検出アルゴリズムが実装されている。輪郭マップＬは、ピクセル（ｉ、ｊ）毎にピクセル（ｉ、ｊ）が属する輪郭の長さを含む。この輪郭マップＬは、長さマップまたは輪郭長マップとも呼ばれる。アルゴリズムは、１回のトップダウンスキャンを実行して、すべてのピクセル位置に行き、続いて１回のボトムアップスキャンを実行する。したがって、計算の複雑さは非常に低く、リソース要件が比較的低いハードウェアで実装できる。

トップダウンスキャンの間、アルゴリズムはピクセル（ｉ、ｊ）がステップエッジにあるか否かを検出する。ステップエッジにあれば、輪郭長マップＬは、直上のピクセルについて決定された長さに対して１だけ増加される。具体的には、動作は次の再帰式

で記述することができる。和はカラーチャネルにわたり（例えば、ＲＧＢ信号の場合は赤、緑、青のカラーチャネルにわたり）、Ｅ_ｍｉｎはエッジ検出に適したしきい値である（３つの８ビットカラーチャネルを有する画像の場合、多くのアプリケーションで値は約３０が好適であることが分かっている）。カッコ内の条件は、１または０のいずれかを返し、これは各イメージ行で輪郭長マップが１だけ増加するかどうかを示す。

第２のボトムアップスキャンでは、第１のスキャンで見つかった長さの値が変更されるが、このスキャンではエッジ検出は考慮されない。むしろ、ピクセルの長さ値は、そのピクセルのために格納された長さ値と、直下のピクセルのために格納された長さ値の最大値に設定される：

。

これにより、ピクセルが属するとみなされる垂直輪郭線の長さを示す値が各ピクセルごとに記憶される輪郭長マップの作成が完了する。輪郭に属さないピクセルの場合、値はゼロである。

図７は、第１の走査後の長さマップの一例を示す図である。図８は、結果として得られる輪郭長マップの例、すなわち第２の走査後の長さマップを示す。この結果の輪郭長マップでは、各ピクセル位置は、それが属すると考えられる輪郭の長さに対応する値を有する。

図７は、第１の走査後の輪郭長マップＬを示しており、黒色のドットで示されるピクセルを除き、全ての値がゼロである。数字は、説明した第１の走査によって輪郭ピクセルに割り当てられた長さを示す。図から分かるように、長さマップは各輪郭の下端でのみ正しい。図８は、第２の走査がどのようにこれらの値を輪郭の全てのピクセルに伝搬するかを示す。

上述の例では、輪郭検出および輪郭深度モデルの生成が、２つの別々の連続したステップとして考えられる。これは、実際には多くの実施形態において、特により複雑な深度モデルを使用する実施形態において事実である可能性がある。しかし、いくつかの実施形態では、輪郭検出、輪郭深度モデルの生成、および修正深度マップの生成を結合して単一のステップにすることができる。これは、例えば、輪郭が垂直の直線に制約され、深度モデルが例えば単に輪郭内で遭遇する最大深度レベルに対応する単一の値である場合であり得る。この手法は、図６−８を参照して説明したものと同様であってもよく、具体的には、２段階スキャン手法を使用することもできる。

そのような例では、第１の上から下へのスキャンの間に、輪郭長Ｌ_ｍｉｎに依存する再帰的更新関数を使用して最終的な深度Ｄ_Ｌ ^＾（訳注、「Ｄ_Ｌ」の上に「^＾」）を設定することができる。たとえば、次の更新式が適用できる：

。
Ｄ_ｉ，ｊ ^〜（訳注、「Ｄ_ｉ，ｊ」の上に「^〜」）は、（バイラテラルフィルタその他のフィルタを用いて）フィルタリングされた視差値である。効果的に、上から下へのスキャンの間に、元の（フィルタリングされていない）視差Ｄ_Ｌは、（ここでは、例えば、３０ピクセルに設定し得る最小長Ｌ_ｍｉｎの、垂直方向に接続されたエッジピクセルのセットとして定義される）輪郭上にあるときに正しい視差であると仮定される。
元の視差Ｄ_Ｌが輪郭ピクセルとして正しいと仮定されるだけでなく、（式の内側の最大値演算の結果として）最大値が輪郭の下方に伝搬される。
したがって、第１のスキャンの後、各輪郭の最下位ピクセルは輪郭内のピクセルの深度の最大値に設定される。

所与の輪郭の全ピクセルの深度レベルは、追加の下からの走査によってこの最大値に設定され得る。このスキャンでは、以下の再帰的更新式

が、例えば利用され得る。

図９は、図７及び図８の長さ６の輪郭に、このような上から下へのスキャン、及び下から上へのスキャンを適用した結果を示す（深度はピクセルの暗さによって示される）。

このようにして、修正された深度マップが直接生成され、深度モデル（最大値深度モデル）が具体的な入力マップに適合され、修正された深度マップの輪郭の深度値が、この深度モデル値によって、すなわち輪郭の最大深度値によって置き換えられる。

具体的な手法は、実際にはうまく機能することが分かっている。これは、一般的には視差推定アルゴリズムがテクスチャの存在により輪郭で良好に動作するので、フィルタリング前に決定された元の視差が正確であると仮定することは、しばしば適切であることを反映している。さらに、輪郭上に最大深度値を伝搬することにより、輪郭が単一の一定の深度値に設定され、輪郭が視者の方に向けて引っ張られる。これにより、変な屈曲やその他のアーティファクト無しにレンダリングされる。

この例では、輪郭検出は、輪郭が垂直線でなければならないという幾何学的要件によって本質的に制約される。これにより多くのシナリオでは特に有利な性能を提供される。しかし、他の実施形態では、他の幾何学的要件を用いても良い。例えば、いくつかの実施形態では、幾何学的要件は、輪郭のピクセルが最大曲率を超えない幾何学的形状を構成するための要件を含むことができる。曲率は、輪郭／輪郭候補が曲がっている程度を示すことができ、具体的には、曲線について、それが直線から逸脱する度合いを示すことができる。

直線は曲率が０であり、円は曲率κ＝１／Ｒを有する。輪郭が円の一部に対応すると仮定すると、この円が所定の最小半径Ｒ（または所定の最大曲率κ）を有することを要求することができる。より複雑なパラメトリック曲線の曲率も計算できる。このような曲線の場合、その曲線上のすべての点での低い曲率は、その曲線が急激に方向を変えないことを意味する。したがって、曲率は輪郭を検出するための有用な基準である。

例えば、いくつかの実施形態では、輪郭検出器４０５は、色強度制約および第１の幾何学的制約（例えば、８連結度）に基づいて順序付けられたリストのピクセルを最初に収集し、パラメトリックモデル曲線をピクセル位置にフィッティングし、最大曲率が曲線上のすべての点において所定の最大曲率を下回っているかどうかをチェックする。この第２の幾何学的制約が満たされれば、その曲線を新しい輪郭として受け入れる。

したがって、いくつかの実施形態では、輪郭検出器４０５は、モデル曲線を輪郭候補の形状に適合させ、輪郭候補の曲率をモデル曲線の曲率として決定するように構成することができる。曲率が閾値を超えないことが要求されることがある。モデル曲線の曲率は、例えば、モデル曲線の曲率を計算するための所定の関数に応じて決定することができる。従って、輪郭検出器４０５は、例えば、モデル曲線をフィッティングするためのパラメータを計算し、これらのパラメータの関数として曲率を計算することができる。正確な機能および／または閾値（最大曲率）は、個々のアプリケーションおよび実施形態の好みおよび要件に依存し得る。
最大曲率の幾何学的要件の使用は、直線を必要とするより厳しくない要件を提供することができ、したがってある程度の変動を許容するが、同時に多くの輪郭の典型的であると考えられる形状に輪郭を限定することを必要とする。

また、この例では、複雑度の低いモデルが、単一／一定の深度値モデルの形で使用されている。これは、輪郭に沿って一定の深度を提供することによって、多くの実施形態において有利な性能を提供することが分かっている。

いくつかの実施形態では、最大または最小深度値のような極値を使用することが有利であり得る。これは、最前面または最背面のオブジェクトの深度に、オブジェクトの遷移を配置する傾向がある。他の実施形態では、モデルの単一の値を、輪郭の平均値または中央値に設定することができる。これは生の深度測定値からノイズを除去する傾向がある。

しかし、他の実施形態では、より複雑なモデルを用いても良い。例えば、モデルは線形深度値モデル（具体的には単一の一次多項式）であってもよく、この場合、例えば線形の深度勾配およびオフセットが深度値にフィッティングされる。フィッティングは、例えば、ピクセルの入力深度値と線形深度勾配およびオフセットによって決定されるような輪郭のピクセルの深度モデル深度値との間の２乗誤差を最小にするように求めることができる。

他の実施形態では、線形深度値モデルは、輪郭の入力深度値に個々に適合させることができる複数の区分線形（一次多項式）部分によって構成することができる。

このような手法は、多くのシナリオで深度遷移のより正確に反映する一方で、ノイズの低減および／または深度遷移の一貫性の増加を可能にする。

他の実施形態では、深度モデルは、高次多項式（または複数の高次多項式）であってもよく、これを入力深度値にフィッティングすることができる。

説明した手法では、修正された深度マップは、関連する深度マップの入力深度値を、輪郭深度モデルを評価することによって決定された深度値で置き換えることによって生成された。これは、多くの実施形態において、高性能を提供しながら、実装を容易にし、リソース使用を低減することができる。実際、オブジェクト遷移では、非常に一貫性があり均質な深度値が得られる。

しかし、他の実施形態では、修正された深度マップは、入力深度値と、決定された深度モデル深度値とを結合（ｃｏｍｂｉｎｅ）することによって生成することができる。具体的には、検出された輪郭に属する所与のピクセルについて、深度値は、ピクセルの元の入力深度値と深度値決定器４０９によって生成された深度モデル深度値との結合として生成されてもよい。かかる手法により、より滑らかな中間的な深度を提供することができ、多くのシナリオにおいて、知覚される画質を改善することができる。

この例では、輪郭検出器４０５は、ピクセルが輪郭に属するかどうかを単純に決定し、そうであれば、深度モデル深度値が使用される。しかし、いくつかの実施形態では、輪郭検出器４０５は軟判定値（ｓｏｆｔ−ｄｅｃｉｓｉｏｎ ｖａｌｕｅ）を提供するように構成することができる。従って、ピクセルが輪郭に属するか否かを単に示すのではなく、輪郭検出器４０５は、ピクセルが輪郭に属する確信度または推定確率を示す値を提供することができる。

言うまでもなく、硬判定値（ｈａｒｄ−ｄｅｃｉｓｉｏｎ ｖａｌｕｅｓ）ではなく軟判定値の生成は、多くの検出または推定アルゴリズムで一般的である。例えば、多くの検出アルゴリズムは、バイナリ決定を行うために閾値と比較される値を生成する。そのようなシナリオでは、代わりに、その値を検出のための軟判定値として使用することができる。

輪郭検出器４０５は、軟判定値を、ピクセルが輪郭に属する推定尤度を示す任意の適切な値として生成することができる。多くの実施形態では、第１の輪郭の幾何学的特性に応じて、軟判定検出値を生成することができる。例えば、輪郭検出器４０５は、連続したピクセルのセットが輪郭の一部である可能性があると判断された場合（例えば、それらがエッジまたは遷移ピクセルとして検出された場合）、結果として生じる幾何学的形状が輪郭によって期待される幾何学的形状とどれだけ密接に対応するかを反映する軟判定値を生成してもよい。

例えば、図５−８の例では、輪郭の長さは軟判定検出値とみなすことができる。実際、検出された輪郭が長いほど、実際の輪郭を反映する可能性が高くなり、ランダムな変動によって検出がされる可能性は低くなる。

このような実施形態では、修正器４１１は、修正された深度マップの深度値を、入力深度値および深度モデル深度値の加重結合、具体的には加重和として生成するように構成することができる。各深度の重みは、軟判定検出値の関数として設定することができる。

したがって、このような手法では、入力深度値または深度モデル深度値のいずれかを選択するだけでは、変更された深度値が生成されないことがある。むしろ、軟判定検出値に基づいて、これらの深度値の加重結合（ｗｅｉｇｈｔｅｄ ｃｏｍｂｉｎａｔｉｏｎ）が実行されてもよい。例えば、信頼値／軟判定検出値αが、ピクセルが輪郭に属する推定確率を反映する０と１との間の値として生成される場合、そのピクセルの修正された深度値は

として計算し得る。ここで、Ｄ_ｉ，ｊ ^（Ｃ）は輪郭から予測された深度モデル値を示し、Ｄ_ｉ，ｊは入力深度値を示す。

このような手法は、多くのシナリオで、深度マップの時間的不一致を特に制限することが実際に分かっている。

言うまでもなく、上記の説明では、明りょうにするため、異なる機能回路、ユニット、及びプロセッサを参照して本発明の実施形態を説明した。しかし、言うまでもなく、本発明から逸脱することなく、異なる機能回路、ユニット、及びプロセッサの間で機能を適宜分配して、用いることができる。例えば、別のプロセッサやコントローラにより実行される機能は、同じプロセッサやコントローラで実行してもよい。このように、具体的な機能ユニットや回路の参照は、説明した機能を提供する好適な手段の参照であり、論理的あるいは物理的に厳密な構造や組織を表しているわけではない。

本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせを含むいかなる好適な形式で実施することもできる。本発明は、任意的に、１つ以上のデータプロセッサ及び／またはデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして、少なくとも部分的に実施することができる。本発明の実施形態の構成要素は、いかなる好適な方法で物理的、機能的、論理的に実施してもよい。機能は単一のユニット、複数のユニット、または他の機能ユニットの一部として実施することもできる。このように、本発明は、単一ユニットで実施することもできるし、異なる複数のユニット、回路、及びプロセッサに物理的かつ機能的に分散して実施することもできる。

実施形態に関して本発明を説明したが、ここに記載した具体的な形態に限定することを意図したものではない。むしろ、本発明の範囲は添付した請求の範囲のみにより限定される。また、具体的な実施形態に関して構成を説明したように見えるかも知れないが、当業者には言うまでもなく、説明した実施形態の様々な構成を、本発明により、組み合わせることができる。請求項では、「有する」という用語は他の要素やステップの存在を排除するものではない。

さらに、個別的に列挙されていても、複数の手段、要素、回路、方法ステップは、例えば単一の回路、ユニット、またはプロセッサにより実施してもよい。また、個々の機能（ｆｅａｔｕｒｅ）は異なる請求項に含まれていても、これらを有利に組み合わせることが可能であり、異なる請求項に含まれていても、機能を組み合わせられないとか、組み合わせても有利ではないということを示唆するものでもない。また、ある構成をあるカテゴリーのクレームに含めたとしても、そのカテゴリーに限定することを意味するのではなく、むしろその構成が必要に応じて他のクレームカテゴリーにも等しく適用できることを示すものである。さらに、クレーム中の構成の順序は、その構成が機能しなければならない特定の順序を示すものではなく、特に、方法クレームにおける個々のステップの順序はそのステップがこの順序で実行されなければならないことを示すものではない。むしろ、ステップは任意の好適な順序で実行してもよい。また、単数扱いをしても複数の場合を排除するものではない。よって、「１つの」、「第１の」、「第２の」等は複数の場合を排除するものではない。請求項中の参照符号は、明りょうにするために設けており、請求項の範囲を限定するものと解してはならない。

Claims (15)

1. 深度マップを生成する装置であって、
   画像と、入力深度値を含む関連深度マップとを提供するように構成された画像生成器回路と、
   前記画像の少なくとも第１輪郭であって、第１ピクセルセットからなる第１輪郭を検出するように構成された輪郭検出器回路と、
   深度モデルを、前記関連深度マップ中の、前記第１ピクセルセットに対応する入力深度値にフィッティングして輪郭に属するピクセルの入力深度値に深度制約を課すことにより前記第１輪郭の輪郭深度モデルを生成するように構成されたモデルプロセッサ回路と、
   前記輪郭深度モデルから第１ピクセルセットの少なくとも第１ピクセルに対して深度モデル深度値を決定するように構成された深度値決定器回路と、
   前記関連深度マップの深度値を修正することにより、前記関連深度マップから修正深度マップを生成するように構成された修正器回路とを有し、
   前記修正器回路はさらに、前記深度モデル深度値に応じて前記修正深度マップの前記第１ピクセルの第１修正深度値を生成するように構成される、
   装置。
2. 前記修正器回路は前記第１修正深度値を前記深度モデル深度値に設定するように構成される、
   請求項１に記載の装置。
3. 前記修正器回路は前記深度モデル深度値と前記第１ピクセルの入力深度値との結合として前記第１修正深度値を生成するように構成される、
   請求項１に記載の装置。
4. 前記輪郭検出器回路はソフトディシジョン検出値を生成するように構成され、前記結合は加重結合であり、前記修正器回路は前記ソフトディシジョン検出値に応じて前記深度モデル深度値と前記第１ピクセルの前記入力深度値との少なくとも一方の加重を決定するように構成される、
   請求項３に記載の装置。
5. 前記輪郭検出器回路は前記第１輪郭の幾何学的特性に応じて前記ソフトディシジョン検出値を生成するように構成される、
   請求項４に記載の装置。
6. 前記輪郭深度モデルは一定深度値モデルである、
   請求項１に記載の装置。
7. 前記モデルプロセッサ回路は、極端入力深度値と平均入力深度値と前記第１ピクセルセットの中間入力深度値のうちの１つとして、輪郭深度モデルを生成するように構成されている、
   請求項６に記載の装置。
8. 前記輪郭深度モデルは線形深度値モデルである、
   請求項１に記載の装置。
9. 前記輪郭検出器回路は、前記第１ピクセルセットの幾何学的要件の制約下において前記第１輪郭を決定するように構成される、
   請求項１に記載の装置。
10. 前記幾何学的要件は、前記第１ピクセルセットが最大曲率を越えない幾何学的形状を構成するとの要件を含む、
    請求項９に記載の装置。
11. 前記修正器回路による修正前に前記画像に基づき前記関連深度マップをフィルタリングするように構成されたバイラテラルフィルタをさらに有する、
    請求項１に記載の装置。
12. 前記輪郭検出器回路は、輪郭要件が視覚的特性変化制約と幾何学的制約との両方を含むことに応じて、前記第１輪郭を検出するように構成される、
    請求項１に記載の装置。
13. 前記画像生成器回路は、前記画像と、異なるビューイング方向に対応する第２画像とに基づく視差推定に応じて、前記関連深度マップを生成するように構成される、
    請求項１に記載の装置。
14. 深度マップを生成する方法であって、
    画像と、入力深度値を含む関連深度マップとを提供することと、
    前記画像の少なくとも第１輪郭であって、第１ピクセルセットからなる第１輪郭を検出することと、
    深度モデルを、前記関連深度マップ中の、前記第１ピクセルセットに対応する入力深度値にフィッティングして輪郭に属するピクセルの入力深度値に深度制約を課すことにより前記第１輪郭の輪郭深度モデルを生成することと、
    前記輪郭深度モデルから前記第１ピクセルセットの少なくとも第１ピクセルの深度モデル深度値を決定することと、
    前記関連深度マップの深度値を修正することにより、前記関連深度マップから修正深度マップを生成することとを有し、
    修正深度マップを生成することは、前記深度モデル深度値に応じて、前記修正深度マップの前記第１ピクセルの第１修正深度値を生成することを有する、
    方法。
15. コンピュータに、請求項１４に記載の方法のステップを実行させるコンピュータプログラム。

Images