JP5615552B2 - 画像の深度マップの生成 - Google Patents

Description

本発明は、画像の深度マップの生成に関するものであり、特に、排他するものではないが、背景と際立った画像のオブジェクトとを含むデジタル画像の深度マップの生成に関するものである。

近年、画像のデジタル化は、記憶、操作及び流通の目的で益々重要となっている。さらに、画像のデジタル化により、前に利用可能ではない機会を提供する複雑な操作及び処理を可能にする。たとえば、近年、画像から深さ情報を抽出するアルゴリズムを提供する重要な研究が行われている。かかる深さ情報は、２次元（２Ｄ）画像から取得される３次元（３Ｄ）情報を提供する場合がある。かかる３Ｄ情報は、多くの応用で使用される場合があり、たとえば画像の自動注釈を支援する場合がある。別の例では、２Ｄ画像から生成された全体的又は部分的な３Ｄ画像のような改善された画像を生成するため、３Ｄ情報が使用される場合がある。

特に、単一の画像からの深度マップの回復は、現在、３Ｄディスプレイ及び自律ロボットを含む応用により、コンピュータビジョンにおける非常に活発な研究分野である。研究のなかには、自動立体ディスプレイでレンダリングすることができる３Ｄフォーマットへの既存のビデオ及び静止画像の変換を特に目的とするものがある。

しかし、これら応用は、２Ｄから３Ｄへの変換のタスクが基本的に非常に困難であるという、基本的な障害に直面している。したがって、最も知られているアプローチは試行錯誤的であり、あるシーンを形成する様々なオブジェクトの深さの絶対的な深さ又は正確な順序の回復を試みる方法はほとんどない。

先の研究では、フォーカス／デフォーカス、テスクチャ、散乱、濃淡及び奥行きを含めて、様々な深さの手掛かりが調査されている。しかし、これらのアプローチは、制限的な条件でのみ機能し、たとえば視覚化のタスクに適さない低品質の深度マップが得られる傾向にある。

つい最近、コンピュータラーニングシステムが試みられており、このシステムは、トレーニング画像及び（たとえばユーザにより提供された）トレーニング画像の既知の深さデータに基づいて動作を適合することができる。しかし、これらのアプローチは、画像／深度マップのペアからなる大きなトレーニングセットを必要とする傾向があり、これは、非常に特定のシーンのみについて利用可能となる傾向がある。

したがって、ある画像の深度情報を生成する改善されたアプローチが好都合であり、特に、増加されたフレキシビリティ、容易な実現、低減された複雑さ、改善された深さ情報、及び／又は改善されたパフォーマンスを可能にするシステムが有効である。

したがって、本発明は、１以上の上述された問題を、任意の組み合わせで軽減、緩和又は除去することをその目的とする。

本発明の態様によれば、ある画像について、画像オブジェクトと背景領域との分離を示す画像オブジェクトの分離マスクを生成する第一手段と、画像オブジェクトの分離マスクをフィルタリングすることで修正された画像オブジェクトの分離マスクを生成する第二の手段と、前記フィルタリングは画像の画像特性に応答して適合され、前記画像特性は輝度特性及び色特性の少なくとも１つを表し、修正された画像オブジェクトの分離マスクに応答して画像の画像深度マップを生成する第三の手段を有する画像処理ユニットが提供され、画像深度マップは、画像の少なくとも１つの画像領域の深度を表すデータを含む。

本発明により、改善された画像の深度マップが生成される。特に、たとえば背景領域について深度の遷移と画像のオブジェクト及び／又は改善された深さデータの間の改善された対応関係を達成することができる。容易な実現、特に、低い計算リソースの要件による実現は、多数の実施の形態で達成することができる。本発明は、増加された様々な画像の効率的な画像深度マップを提供することができる。たとえば、このアプローチは、不規則な形状をもつ画像について適切である場合がある。

本発明の任意的な特徴によれば、第二の手段は、画像の第一のピクチャエレメントの画像特性、及び第一のピクチャエレメントに近接した画像領域における画像の少なくとも１つのピクチャエレメントの少なくとも１つの画像特性に応じて、第一のピクチャエレメントの画像オブジェクトの分離マスクの値を修正する。

これにより、画像の深さを示すマップの改善された及び／又は容易な生成となる。この特徴は、たとえば予め決定された深さのプロファイルから決定されるべき背景の領域について、画像深度マップにおける深さの遷移及び画像オブジェクトの境界及び／又は改善された深さ情報の間の改善された対応関係を提供する。

本発明の任意的な特徴によれば、第二の手段は、近接する画像領域における第二のピクチャエレメントの画像オブジェクトの分離マスクにおける値に応答して、第一のピクチャエレメントについて画像オブジェクトの分離マスクにおける値を変更する。

これにより、画像の深さを示すマップの改善された及び／又は容易な生成となる。この特徴は、たとえば予め決定された深さのプロファイルから決定されるべき背景の領域について、画像深度マップにおける深さの遷移及び画像オブジェクトの境界及び／又は改善された深さ情報の間の改善された対応関係を提供する場合がある。この修正は、反復的な場合があり、新たな修正された値は、前の繰り返しで得られた値に基づいて決定される場合がある。

本発明の任意的な特徴によれば、画像オブジェクトの分離マスクは、画像の画像オブジェクトの分離マスクであり、この画像オブジェクトの分離マスクは、画像オブジェクトと背景領域の分離を示す。

本発明は、たとえば画像深度マップにおける深さの遷移と画像オブジェクトの境界との間の改善された対応関係をもつ改善された深度マップを提供する場合がある。

画像オブジェクトの分離マスクは、画像のどの領域が考慮される際立ったオブジェクトであるか、及びどの領域が背景領域（際立っていない領域）であるとして考慮されるかを示す際立ちマスクである場合がある。背景領域は、ばらばらな背景領域を含む非同一エリアである場合がある。際立ったオブジェクトは、可能性のある非同一の領域からなるクラスタである場合がある。

本発明の任意的な特徴によれば、第一の手段は、ピクチャエレメントの色の分散の分析に応答して、画像オブジェクトと背景とを分離する。色の分散の分析はその有効性のために好適であるが、強度の分散の分析及びテクスチャの分散の分析、或いは当業者にとって公知の際立ちマップを生成する他の方法のような、他の分析方法が代替的又は付加的に適用される場合がある。

これは、際立ったオブジェクトのような画像オブジェクトの改善された検出につながり、特に、画像の画像特性に応答して、ロバストであって及び／又はフィルタリングによるリファインメントに適した大きな粒状度の画像オブジェクトの境界の生成につながる。

本発明の任意的な特徴によれば、画像オブジェクトの分離マスクは、画像オブジェクトと背景領域との間の２値の境界（binary border）を示す。

これにより、容易な動作及び／又は改善されたパフォーマンスが行われる。画像オブジェクトの分離マスクは、それぞれの画素について、１つの特定の画像オブジェクトに属するか、又は背景に属するかを示す。

本発明の任意的な特徴によれば、第二の手段は、画像オブジェクトの分離マスクのフィルタリングされた値に閾値を適用することで、あるオブジェクトの分離マスクとして修正された画像オブジェクトの分離マスクを生成する。

これは、動作を容易にすることができ及び／又はパフォーマンスを改善することができ、特に、計算上の負荷を低減し、及び／又はフィルタリング後の改善されたオブジェクトの分離マスクを提供することができる。

本発明の任意的な特徴によれば、第三の手段は、予め決定された深さのプロファイルに応答して、背景領域について背景の深度マップを生成する。

これにより、フィルタリングされたオブジェクトの分離マスクとの使用に適した背景の深度マップの実用的且つ低い複雑度の生成につながり、改善された画像の深度マップを生成することができる。

本発明の任意的な特徴によれば、第三の手段は、画像の画像特性に応答して、予め決定された深さプロファイルをフィルタリングすることで、予め決定された深さプロファイルを修正する。

これにより、改善された深度マップが生成されることが可能となる。特に、オブジェクトの分離マスクと予め決定された深さのプロファイルの両者のプロファイルは、画像深度マップにおける深さの遷移、画像オブジェクトの境界及び背景領域について改善された深さデータの間の改善された対応関係を有する深度マップを生成する。

本発明の任意的な特徴によれば、第三の手段は、周辺の近接する領域について背景の深度マップの深さの値に応答して、ある深さの値をある画像オブジェクトに割り当てる。

これにより、画像の深さを示すマップの改善された及び／又は容易な生成となる。特に、これにより、正確且つ潜在的に鮮鋭な境界をもつ画像オブジェクトであって、更には画像オブジェクトの深さデータと背景の深さデータとの間に一貫性をもつ画像オブジェクトの正確な深さの指示を有する深度マップを生成することが可能となる。

本発明の任意的な特徴によれば、第三の手段は、ピクチャエレメントに近接する領域におけるピクチャエレメントについて割り当てられた深さの値に応答して、ある深さの値をあるピクチャエレメントに割り当てる。

これにより、画像オブジェクトについて生成された深さ情報が改善される。

本発明の任意的な特徴によれば、第三の手段は、深さレベルのアルゴリズムに応答してある深さの値をある画像オブジェクトに割り当てる手段、画像オブジェクトに割り当てられた深さレベルに応答して背景の深さマップを修正する手段を有する。

これは、生成されるべき深さ情報を改善する役割を果たす。たとえば、ある背景領域について改善された深さ情報が達成される場合がある。深さの値は、たとえば、視差の奥行きの手掛かり（parallax depth cue）のような、背景の深度マップとは独立である奥行きの手掛かりに応答して割り当てられる場合がある。

本発明の任意的な特徴によれば、第三の手段は、修正された画像オブジェクトの分離マスクに雑音低減アルゴリズムを実行する。

これにより、画像の内容を更に反映する改善された画像の深度マップが生成されることが可能となる。

本発明の別の態様によれば、ある画像について、画像オブジェクトと背景領域との分離を示す画像オブジェクトの分離マスクを生成する第一手段、画像の画像特性に応答して画像オブジェクトの分離マスクをフィルタリングすることで修正された画像オブジェクトの分離マスクを生成する第二の手段と、前記画像特性は輝度特性及び色特性の少なくとも１つを表し、及び修正された画像オブジェクトの分離マスクに応答して画像の画像深度マップを生成する手段を有する画像処理ユニットを含む多視点表示装置が提供され、画像深度マップは、画像の少なくとも１つの画像領域の深度を表すデータを含む。

本発明の別の態様によれば、画像の深度マップを生成する方法が提供され、当該方法は、ある画像について、画像オブジェクトの分離マスクを生成するステップ、画像の画像特性に応答して画像オブジェクトの分離マスクをフィルタリングすることで修正された画像オブジェクトの分離マスクを生成するステップ、前記画像特性は輝度特性及び色特性の少なくとも１つを表し、及び修正された画像オブジェクトの分離マップに応答して画像の画像深度マップを生成するステップを含み、画像深度マップは、画像の少なくとも１つの画像領域の深度を表すデータを含む。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、以下に記載される実施の形態を参照して明らかにされるであろう。

本発明の実施の形態は、添付図面を参照して、例示を通して記載されるであろう。
本発明の実施の形態に係る画像処理ユニットの例である。 本発明の実施の形態に係る画像処理ユニットの例である。 本発明の実施の形態に係る画像の深度マップを生成する方法の例である。 本発明の実施の形態に係る方法による、画像オブジェクトの分離マップの生成における異なるステップの例を示す図である。 本発明の実施の形態に係る方法による、背景の深度マップの生成における異なるステップの例を示す図である。

図１は、本発明の実施の形態に係る画像処理ユニットの例である。
画像処理ユニットは、ある画像の深さを示すマップを生成する第一の処理ユニット１０１を有する。画像は、たとえば、ビデオ系列のデジタルピクチャ又は画像である場合がある。深さを示すマップは、画像の深度の情報データを含み、特に、画像の異なる領域の相対的な深さ情報を含む場合がある。

深さを示すマップは、画像の異なる領域又はピクセルとも呼ばれるピクチャエレメントの推定される相対的又は絶対的な深さに関する情報を含む場合がある。係るように、深さの指示は、他のピクチャエレメント又はオブジェクトに関する絶対的な深さ又は相対的な深さを示す、異なるピクセルについて深さデータをもつ深度マップである場合がある。たとえば、深さの指示は、画像について指定された有限数の深さレベルから取られた画素が属する深さのレベルを示す、それぞれの画素の値を有する場合がある。

別の例として、深さの指示は、実際の又は潜在的な深さの遷移が画像において何処で生じる場合があるかを示すマップである場合がある。たとえば、深さの指示は、様々な画像オブジェクトの位置（及び／又は形状、サイズ等）を示す画像オブジェクトの分離マスクである場合がある。画像オブジェクトは、典型的に背景領域よりも前方にあるシーンにおける物理的なオブジェクトに対応しており、深さの遷移は、典型的に、画像オブジェクトのエッジの周囲で生じ、画像オブジェクトの分離マスクは、画像における深さの遷移を示す。

第一の処理ユニットは、たとえば画像オブジェクトの検出の分析により、直接的に、深さを示すマップを生成する場合がある。他の実施の形態では、第一の処理ユニット１０１は、代替的に又は付加的に、別のソースから深さを示すマップを受信又は検索することで、深さを示すマップを生成する。たとえば、深さを示すマップは、画像と共に受信されるか、メモリから検索される予め決定された背景の深度マップである場合がある。

第一の処理ユニット１０１は、画像の画像特性に応答して、深さを示すマップをフィルタリングすることで修正された深さを示すマップを生成する第二の処理ユニット１０３に結合される。したがって、第二の処理ユニット１０３は、深さを示すマップをフィルタリングすることで深さを示すマップを修正するが、深さを示すマップの修正は、深さを示すマップ自信により影響されるだけではなく、画像の特性自身によっても影響される。これにより、画像をより正確且つ密接に反映する修正された深さを示すマップが生成されることが可能となる。たとえば、非常に改善された深さの遷移（及びオブジェクトのエッジ）の定義は、画像オブジェクトの分離マスクについて達成される。所与の深度マップについて、画像の印象は、深さを示すマップに課され、シーンにおける深さレベルを良好に反映する深度マップが得られる。

第二の処理ユニット１０３は、修正された深さを示すマップに応答して、画像の画像深度マップを生成する第三の処理ユニット１０５に結合される。画像深度マップは、画像の少なくとも１つの領域の深さを表すデータを含む。深さとは、絶対的な深さ又は相対的な深さである。特に、画像深度マップは、それぞれの画素について１つの深さレベルの値を含む場合がある。

たとえば、深度を支援するマップが画像オブジェクトの分離マップである場合、第三の処理ユニット１０５は、相対的又は絶対的な深さの値を１つ、幾つか又は全ての画像オブジェクトに割り当てることで深度マップを生成する。また、第三の処理ユニット１０５は、背景領域の幾つか又は全部、すなわち画像オブジェクトの部分ではない画像の領域に相対的又は絶対的な深さの値を割り当てる場合がある。

別の例として、深さを示すマップが背景の深度マップである場合、第三の処理ユニットは、たとえば、背景の深さ情報と画像オブジェクトの深さ情報とを組み合わせて、画像の完全な深度マップを生成する。第三の処理ユニット１０５は、たとえば、修正された背景の深度マップに基づいて深さの値を画像オブジェクトに割り当てる。

図１の画像処理ユニットは、画像の改善された深度マップを提供する。

処理ユニットは１つの処理ユニットとして実現され、記載される実現は、ハードウェア、ファームウェア、ソフトウェアであるか、その組み合わせである場合がある。特に、記載される処理は、適切なコンピュータ、マイクロコントローラ、デジタルシグナルプロセッサ、又は他の処理エレメントにより実行されるファームウェア又はソフトウェアルーチンにより実現される場合がある。

以下では、本発明の実施の形態に係る深度マスクの生成の特定の例が記載される。特定の例では、深度マップは、画像の画像特性に基づいて、画像オブジェクトの分離マスク及び予め決定された深さプロファイルの両者の画像適応フィルタリングを含むステップのシーケンスにより、ある画像について生成される。

画像適応マスク及び／又は深度マップフィルタリングの特に有利な方法の良好な例は、同時係属の出願ＥＰ０６３０１０１１で記載され、引用により本明細書に盛り込まれる。この特定の出願は、たとえば実質的に同じシーンの画像に存在する色又は輝度情報に基づいて、際立ったマップすなわち深度マップを改善するために使用される画像改善の方法を提案する。

図２は、本発明の実施の形態に係る画像処理ユニットの例を示す。図３は、本発明の実施の形態に係る画像を処理する方法の例を示す。特に、図３は、図２の画像処理ユニットにより深度マップがどのように生成されるかを示す。

例では、画像処理ユニットは、多視点表示装置の一部であり、ユーザに提示される３Ｄ画像を生成するため、装置により使用される深度マップを生成する。この情報に基づいて、多視点表示装置は、多視点表示装置での表示のために２以上の相関されたビデオ画像のストリームを生成する。２以上の相関されたビデオ画像のストリームは、レンズ及び／又はバリアシステムを介してレンダリングされ、ディスプレイの前の視聴者は、彼の左目及び右目で僅かに異なる画像を受け、結果として３次元の印象が得られる。係るレンダリング方法の例は、Berretty,R.P.M.; Peters,F.J; Volleberg,G.T.G.による“Reasl-time rendering for multiview autostereoscopic displays” Proceedings of the SPE, volume 6055, pp208-219 (2006)で与えられている。

画像処理ユニットは、際立ちマスクプロセッサ２０１を有し、このプロセッサは、画像について画像オブジェクトの分離マスク（以下、際立ちマスクとも呼ばれる）を生成する。

際立ちマスクプロセッサ２０１は、図３のステップ３０１を特に実行し、色の分散の分析が画像に実行される。特に、画像のそれぞれの画素の近傍における色の局所的な分散が計算される。色の分散は、画像の特徴に関する視覚的な重要性の良好な指示であり、特に、高い分散は、典型的に、画像における画像オブジェクトのエッジ又は境界に対応する。これらの画像オブジェクトは、際立ったオブジェクト（salient object）又は領域と呼ばれ、典型的に、人間の視聴者にとって高い視覚による知覚の重要性からなるオブジェクト(又はオブジェクトの一部)に対応する。たとえば海岸の画像において、背景におけるパラソルのオブジェクトは、典型的に、砂浜又は海とは著しく異なる色を有し、したがって、大きな色の分散は、パラソルのエッジの周辺の画素について得られる。画像オブジェクト又は際立ったオブジェクトは、画像における物理的なオブジェクトの一部に対応する場合があることを理解されるであろう。たとえば、パラソルオブジェクトは、パラソルのキャノピーの異なる色の領域に対応する複数の画像オブジェクトから構成される場合がある。

この実施の形態では、際立ちマスク（salient mask）を生成するために色の分散が使用されるが、色の分散の分析に加えて、又は色の分散の分析の代わりに、他のアルゴリズムが使用される場合がある。これらの他のアルゴリズムは、たとえば、輝度の分散の分析、テクスチャの分散の分析、及び／又は他の際立ったマスク生成技術を有する場合がある。

より細かな詳細は、際立ちマスクプロセッサ２０１による際立ちマスクの生成において重要ではなく、分散の分析は、インフォメーションリッチなオブジェクト又はそれら周囲の領域から際立ったオブジェクトのかなり大きなクラスタを生成することを主に目的としている。したがって、色の分散は、粗いスケールで計算され、最も際立った領域を比較的高い粒状度でハイライト表示する。

ステップ３０１は、ステップ３０３により後続され、際立ちマスクプロセッサ２０１は、色分散の結果に閾値演算を実行することで、際立ちマスクを生成する。特に、色分散の結果に２値の閾値を適用することで、２値の際立ちマスクが得られる。

図４には、あるフィールドにおける馬の画像の画像処理の例が示される。原画像４０１は、はじめに、際立ちマスクプロセッサ２０１により処理されて、分散マップ４０３が生成され、その後、この分散マップに閾値が適用され、２値の際立ちマスク４０５が生成される。

際立ちマスクプロセッサ２０１は、フィルタリングプロセッサ２０３に結合され、このプロセッサは、ステップ３０５を実行するのを開始し、ステップ３０５では、際立ちマスクは、画像の画像特性に応答してフィルタリングされる。特に、所与の画素の際立った値が所与の近接の領域における画素の際立った値に応答して決定されるように、際立ちマスクがフィルタリングされる。さらに、２つの画素の画像特性間の類似の度合いに応答して際立った値のそれぞれが重み付けされる。したがって、画像適応フィルタリングが適用され、実際のピクチャの特性に基づいて（適当なステップ遷移を示す）際立ちマスクの深さの指示がリファインされる。

特に、分散の分析のために使用される粗いスケール及び大きなフットプリントにより、画像における実際のオブジェクト（又はオブジェクトのクラスタ）の境界を超えて延びる際立ちマスクにおける視覚的に重要な領域の境界が得られる。境界を更に正確に揃えるため、フィルタリングプロセッサ２０３の画像適応フィルタリングがマスクに適応される。

特定の例では、これは、対応する画素の画像特性の類似性に依存して、マスクにおいて際立った値と際立っていない値を伝播することで実行される。特に、フィルタリングプロセッサ２０３は、以下により与えられる際立ちマスクの反復される重み付け平均を実現する。

ここで、位置iでの際立ちマスクの現在の値ｓ^k _jは、（適切に選択されたフットプリント内で）近隣の画素ｊについて（繰り返しｋ−１で得られる）前の値ｓ^k-1 _jから計算される。

際立ちマスクの値は、ω_ijにより重み付けされ、このω_ijは、対応する画素の画像特性に依存し、特に、これらの間の類似性の程度に依存する。特に、重みは、際立った値が決定されている画素の画像特性ｃiと重みが決定されている画素の画像特性ｃjとの間の増加される差につれて単調に減少する関数である。

このフィルタリングは、際立ちマスクの所与の画像の画像オブジェクトへのより正確な整合を提供し、特に、粗い分散の分析と使用されたとき、正確な際立ちマスクを提供する。さらに、画像適応フィルタリングは、際立ったオブジェクトの内部の良好な深度マップの充填を提供する。

フィルタリングプロセッサ２０３は、フィルタリングに続いて閾値演算を更に提供する。特に、オリジナルの際立ちマスクが２値のマスクである場合、画像適応フィルタリングは、修正された際立ちマスクに２値ではない値を導入する。これは、ある閾値を適用することで２値のマスクに変換される場合がある。

図４は、フィルタリングとある閾値の際立ちマスク４０５への適用から得られる修正された際立ちマップ４０７を示す。見ることができるように、際立ったオブジェクトは、このフィルタリングされたマップで非常に良好に定義される。

フィルタリングプロセッサ２０３は、バックグランドプロセッサ２０５に結合され、このプロセッサは、画像及び際立ちマスクを受ける。バックグランドプロセッサ２０５は、ステップ３０７を実行し、このステップでは、背景の深度マップは、画像について生成される。この背景の深度マップは、画像の背景に割り当てられる深さの値を含む。用語「背景（バックグランド）」は、際立っていない領域を示すために使用され、すなわち用語「背景」は、フィルタリングプロセッサ２０３により際立った領域として検出されない画像の領域を示す。

背景の深度マップの生成は、画像適応フィルタリングによりその後に修正される予め決定されたデフォルトの深度マップを適用することに基づく。

バックグランドプロセッサ２０５は、このように、際立っていない領域の深度を推定する。しかし、（傾斜又は格付けのような）予め決定された深さのプロファイルを単に適用するのではなく、予め決定されたプロファイルは、はじめに、画像自身によりフィルタリングされる。この画像適応フィルタリングにより、画像のコンテンツの予め決定されたプロファイルへの印象が与えられる。多くのシーンについて、画像適応フィルタリングにより、自然のものに非常に近い深さの順序を有する深度マップが得られる。これは、地面、空といった大きな領域、及びそのビューをブロックしているかなり大きい前景のオブジェクトをもたない一様な領域を示す画像について特に正確である場合がある。したがって、このアプローチは、典型的に大きな一様な領域と、空、地面等に対応する画像領域のような類似の領域に対応する際立っていない領域の深度の判定に特に適している。

背景の深さプロファイルに適用される画像適応フィルタリングは、際立ちマスクに適用される画像適応フィルタリングに対応する場合があり、すなわち、フィルタリングは、以下により与えられる。

ここで、位置iでの背景の深さマスクの現在の値ｄ^k _iは、（適切に選択されたフットプリント内で）近隣の画素ｊについて（繰り返しｋ−１で得られる）前の値ｄ^k-1 _jから計算される。際立ちマスク用に使用されるのと同じ重みは、背景の深度マップ用に使用される場合がある。

図５は、ストーンヘンジの画像５０１に適用されるアプローチの例を示す。例では、一般的な傾斜の深さのプロファイル５０３は、先のフィルタを使用して、画像５０１に基づいてフィルタリングされ、背景の深度マップ５０５が得られる。見られるように、画像適応フィルタリングにより、予め決定されたプロファイルに印象付けされる画像を有する背景の深度マップが得られ、これにより改善された深度マップが提供される。

バックグランドプロセッサ２０５は、ステップ３０９を実行するオブジェクトの深度のプロセッサ２０７に結合され、際立ったオブジェクトの深度が決定される。例では、際立ったオブジェクトが画像において何処に位置されるかに依存して、近隣の背景に割り当てられる深度に依存して、際立ったオブジェクトに深度が割り当てられる。

特に、際立った領域は、典型的に、地面に基づいたオブジェクトに対応する。これらの領域の深度は、画像の下から上への画像のスキャニングを通して決定される。幾つかの実施の形態では、あるオブジェクトに割り当てられる深度は、際立ったオブジェクトがスキャニングプロセスによりはじめに検出されるポイントでの背景の深度マップの深度であり、すなわち、際立ったオブジェクトが床に「接する」位置での背景の深度である。

他の実施の形態では、更に複雑なアプローチが使用される場合があり、この場合、ある画素に割り当てられる画像の深さは、画素の周りの領域における画像の深度の関数として決定される。特に、オブジェクト深度プロセッサ２０７は、適切なフットプリント内の全ての画素を考慮する。ある深さレベルが割り当てられないフットプリントにおける全ての画素は無視され、ある深さレベルが既に割り当てられている全ての画素は平均化され、結果として得られる深さレベルは画素に割り当てられる。平均は、同じ際立ったオブジェクトに属する画素が、背景に属する画素よりも大きく重み付けされるように、典型的に重み付けされる。この重み付けは、背景の深さレベルが深さレベルについて考慮されるケースである、画素数が非常に少ない(又はゼロ)でない場合に、ある際立ったオブジェクトのある画素に、際立ったオブジェクトの周囲の画素の平均の深さレベルが割り当てられる点で非常に強い場合がある。

オブジェクト深度プロセッサ２０７は、深度マップの下の部分からのスキャニングにおいて、それぞれの際立った画素について、その深さが既に割り当てられている近隣の際立った画素の存在をチェックする。また、際立っていない画素についてチェックするが、これらの非常に小さな重みを与える。複雑なトポロジーをもつオブジェクトは、このアプローチにおいて際立ったオブジェクトに対して著しく改善された深さの割り当てを有する。また、際立った領域及び際立っていない領域への深度の割り当ては、シングルスキャンで実現することができ、直接的に、結合された深度マップが得られる。

オブジェクト深度プロセッサ２０７は、背景の深度マップと際立った領域の深さデータとを結合することで、画像の深度マップを生成する。特に、オブジェクト深度プロセッサ２０７は、上述されたアプローチにより決定される深度値で、際立った領域に対応する背景の深度マップにおける任意の値を上書きする。結果として得られる画像の深度マップは、このように導出される。

例では、オブジェクト深度プロセッサ２０７は、ポストプロセッサ２０９に結合され、このプロセッサはステップ３１１を実行し、ここで、結果として得られる深度マップに適切な後処理が実行される。特に、深度マップに雑音低減フィルタリングが実行され、改善された深度マップが生成される。たとえば、深度マップにおいて最も重要な詳細を保持しつつ、雑音を低減する統計的な処理が適用される。統計的な雑音除去プロセスと共に境界の位置のような更なる画像情報が使用される場合もある。特定の例として、低域通過空間フィルタリングが適用される場合がある。低域通過フィルタリングは画像適応型である場合がある。

幾つかの実施の形態では、際立ったオブジェクトに関する深さ情報は、異なる深さレベルのアルゴリズムにより決定される場合がある。たとえば、所与の際立ったオブジェクトの深さレベルを決定するため、視差の手掛かりのような異なる深さの手掛かりが使用される場合がある。このケースでは、オブジェクト深度プロセッサ２０７は、この深さ情報を使用して、深度値を際立ったオブジェクトに割り当てる場合がある。

オブジェクト深度プロセッサ２０７は、画像からの深度を確定するため、様々な深度の手掛かりを使用するために構成される。これらの手掛かりの多くは、人間の視覚系における深度の知覚に密にリンクされる。係る深度の手掛かりは、単眼手掛かり（monocular cues）と呼ばれ、単一画像に基づくか、両眼手掛かり（binocular cues）ような、多数画像に基づいている。当業者にとって、両眼手掛かりからどのように深度が確立されるかは知られている。

多数の単眼手掛かりは、時間と共に、単眼の動きの視差の手掛かり（a monocular movement parallax cue）として知られるものを確定するために代替的に使用される場合がある。単眼の動きの視差の場合、あるオブジェクトのカメラへの距離は、シーンの残りに関してオブジェクトの動きの影響を与える。動いているカメラがたとえば静止したオブジェクトを画像形成しているとき、カメラへの距離を短くすると、連続するフレームにおける変位が大きくなる。たとえば水平ライン及び消失するポイントを確定することを含む線遠近法を含む更に他の深度の手掛かりが使用される場合がある。

代替的に又は付加的に、オブジェクト深度プロセッサ２０７は、際立ったオブジェクトの深度値に応答して、背景の深度マップの割り当てられた深度値を修正する場合がある。たとえば、オブジェクト深度プロセッサ２０７は、際立ったオブジェクトの低い境界の周りの領域における背景の深度マップをフィルタリングする場合があり、これにより、際立ったオブジェクトが背景に接触する位置での背景の深度が際立ったオブジェクトの深度に一致するように修正される。

特に、背景の深度値に基づいて、ある際立ったオブジェクトに深度値を割り当てる上述されたのと同じフィルタリングアプローチが逆に使用され、際立ったオブジェクトに割り当てられる深度値に基づいて、背景の深度マップに深度値が割り当てられる場合がある。特に、際立った画素の大きな重みと際立っていない画素の小さな重みを使用したフィルタリングは、際立ったオブジェクトの下の境界から背景の領域に延びる領域において使用される場合がある。相対的な重み及び使用されるフットプリントを修正することで、背景の深度マップへの際立ったオブジェクトの適切な印象が達成される。

明確さのため、本発明の実施の形態の先の記載は、様々な機能ユニット及びプロセッサを参照して与えられることを理解されたい。しかし、本発明から逸脱することなしに、個々の機能ユニット又はプロセッサのうちの任意の適切な機能の分散が使用される場合があることを理解されたい。たとえば、個別のプロセッサ又はコントローラにより実行されるように例示される機能は、同一のプロセッサ又はコントローラにより実行される場合がある。しかし、特定の機能ユニットへの参照は、厳密な論理的又は物理的な構造又は組織を示すのではなく、記載される機能を実行する的確な手段を参照するものとして見られるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む適切な形式で実現される場合がある。本発明は、１以上のデータプロセッサ及び／又はデジタルシグナルプロセッサで実行されるコンピュータソフトウェアとして少なくとも部分的に実現される場合がある。本発明の実施の形態のエレメント及びコンポーネントは、任意の適切なやり方で物理的、機能的、及び論理的に実現される場合がある。確かに、単一のユニットで、複数のユニットで、又は他の機能ユニットの一部として機能的な動作が実現される場合がある。係るように、本発明は、単一ユニットで実現されるか、又は異なるユニット及びプロセッサを通して物理的且つ機能的に分散される場合がある。

本発明は、単一の画像を参照して主に記載されたが、代替的に、ビデオ系列の個々のフレームに対して等しい利点で適用される場合がある。ビデオに適用されたとき、予め決定された深さプロファイルの使用は、動きのない場合に深度の手掛かりを提供するために行われる場合がある。動画について、時間を通して生成された深度マップの連続性は特に関連があることは、当業者にとって明らかであろう。好適な実施の形態では、したがって、本発明に従って生成された深度マップの後処理は、係属中の出願EP０６３０１０１１で記載されるような深度マップの伝播を可能にする時間的な深度マップのエンハンスメントを適用する。

本発明は幾つかの実施の形態と共に記載されたが、本明細書で述べた特定の形式に限定されることが意図されない。むしろ、本発明の範囲は、特許請求の範囲によってのみ制限される。さらに、ある特徴が特定の実施の形態と共に記載されるが、当業者であれば、記載される実施の形態の様々な特徴が本発明に従って結合される場合があることを認識されるであろう。請求項では、用語「有する“comprising”」は、他のエレメント又はステップの存在を排除するものではない。

さらに、個々に列挙されたが、複数の手段、エレメント又は方法ステップは、単一のユニット又はプロセッサにより実現される場合がある。さらに、個々の特徴が異なる請求項に含まれる場合があるが、これらは有効に結合される場合があり、異なる請求項に包含されることは、特徴の組み合わせが実施可能ではなく及び／又は有利ではないこと意味するものではない。また、１つの請求項のカテゴリの包含は、このカテゴリへの制限を意味するものではないが、必要に応じて、特徴が他の請求のカテゴリにも同様に適用可能であることを示す。さらに、請求項における特徴の順序は、特徴が実現される必要がある特定の順序を意味するものではなく、特に、方法の請求項における個々のステップの順序は、ステップがこの順序で実行される必要があることを意味しない。むしろ、ステップは、任意の適切な順序で実行される場合がある。さらに、単数の参照は、複数を排除するものではない。したがって、“ａ”、“ａｎ”、“first”、“second”等は、複数を排除するものではない。請求項における参照符号は、例を明確にするものとして提供され、任意のやり方で請求項の範囲を限定するものとして解釈されるべきではない。

Claims (12)

1. ある画像について、画像オブジェクトと背景領域の分離を示す画像オブジェクトの分離マスクを生成する第一手段と、
   前記画像オブジェクトの分離マスクをフィルタリングすることで修正された画像オブジェクトの分離マスクを生成する第二の手段であって、前記フィルタリングは画像の画像特性に応答して適合され、前記画像特性は輝度特性と色特性のうちの少なくとも１つを表す第二の手段と、
   修正された画像オブジェクトの分離マスクに基づいて前記画像オブジェクトに深さの値を割り当てることにより画像の画像深度のマップを生成する第三の手段と、
   を有し、前記第三の手段は、
   予め決定された深さのプロファイルに応答して、背景領域について背景の深度マップを生成し、
   画像オブジェクトに対応する分離マスクの境界が最も前面で背景領域に接する際の背景領域の背景の深さの値を、当該画像オブジェクトの深さの値に割り当て、
   あるピクチャエレメントに近接する領域におけるピクチャエレメントの割り当てられた深さの値に応答して、ある深さの値を前記ピクチャエレメントに割り当て、
   前記割り当てられた深さの値は、画像オブジェクトのあるピクチャエレメントに割り当てられたか、又は背景領域のピクチャエレメントに割り当てられたかに依存して重み付けされる、画像処理装置。
2. 前記第二の手段は、画像の第一のピクチャエレメントの画像特性、及び前記第一のピクチャエレメントに近接した画像領域における画像の少なくとも１つのピクチャエレメントの少なくとも１つの画像特性に応じて、前記第一のピクチャエレメントの前記画像オブジェクトの分離マスクの値を修正する、
   請求項１記載の画像処理装置。
3. 前記第二の手段は、近接する画像領域における第二のピクチャエレメントの前記画像オブジェクトの前記画像オブジェクトの分離マスクにおける値に応答して、第一のピクチャエレメントについて前記画像オブジェクトの分離マスクの値を修正する、
   請求項１記載の画像処理装置。
4. 前記第一の手段は、ピクチャエレメントの色の分散の分析に応答して、背景から画像オブジェクトを分離する、
   請求項１記載の画像処理装置。
5. 前記画像オブジェクトの分離マスクは、画像オブジェクトと背景領域との間の２値の境界を示す、
   請求項１記載の画像処理装置。
6. 前記第二の手段は、前記画像オブジェクトの分離マスクのフィルタリングされた値に閾値を適用することで、あるオブジェクトの分離マスクとして前記修正された画像オブジェクトの分離マスクを生成する、
   請求項１記載の画像処理装置。
7. 前記第三の手段は、前記画像の画像特性に応答して、前記予め決定された深さのプロファイルをフィルタリングすることで、前記予め決定された深さプロファイルを修正する、
   請求項１記載の画像処理装置。
8. 前記第三の手段は、
   アルゴリズムに応答して、ある深さレベルの値をある画像オブジェクトに割り当てる手段と、
   画像オブジェクトに割り当てられた深さレベルの値に応答して、前記背景の深度マップを修正する手段とを有する、
   請求項１記載の画像処理装置。
9. 前記第三の手段は、前記修正された画像オブジェクトの分離マスクに雑音を低減するアルゴリズムを実行する、
   請求項１記載の画像処理装置。
10. 画像処理装置を有する多視点表示装置であって、
    前記画像処理装置は、
    ある画像について、画像オブジェクトと背景領域との分離を示す画像オブジェクトの分離マスクを生成する第一手段と、
    画像の画像特性に応答して、前記画像オブジェクトの分離マスクをフィルタリングすることで修正された画像オブジェクトの分離マスクを生成する第二の手段であって、前記画像特性は輝度特性と色特性の少なくとも１つを表す第二の手段と、
    前記修正された画像オブジェクトの分離マスクに基づいて前記画像オブジェクトに深さの値を割り当てることにより画像の画像深度マップを生成する第三の手段と、
    を有し、前記第三の手段は、
    予め決定された深さのプロファイルに応答して、背景領域について背景の深度マップを生成し、
    画像オブジェクトに対応する分離マスクの境界が最も前面で背景領域に接する際の背景領域の背景の深さの値を、当該画像オブジェクトの深さの値に割り当て、
    あるピクチャエレメントに近接する領域におけるピクチャエレメントの割り当てられた深さの値に応答して、ある深さの値を前記ピクチャエレメントに割り当て、
    前記割り当てられた深さの値は、画像オブジェクトのあるピクチャエレメントに割り当てられたか、又は背景領域のピクチャエレメントに割り当てられたかに依存して重み付けされる、多視点表示装置。
11. 画像の深度マップを生成する方法であって、
    当該方法は、
    ある画像について、画像オブジェクトと背景領域との分離を示す画像オブジェクトの分離マスクを生成するステップと、
    画像の画像特性に応答して、画像オブジェクトの分離マスクをフィルタリングすることで修正された画像オブジェクトの分離マスクを生成するステップであって、前記画像特性は輝度特性と色特性の少なくとも１つを表すステップと、
    前記修正された画像オブジェクトの分離マスクに基づいて前記画像オブジェクトに深さの値を割り当てることにより画像の画像深度マップを生成するステップと、
    を含み、前記画像深度マップを生成するステップは、
    予め決定された深さのプロファイルに応答して、背景領域について背景の深度マップを生成し、
    画像オブジェクトに対応する分離マスクの境界が最も前面で背景領域に接する際の背景領域の背景の深さの値を、当該画像オブジェクトの深さの値に割り当て、
    あるピクチャエレメントに近接する領域におけるピクチャエレメントの割り当てられた深さの値に応答して、ある深さの値を前記ピクチャエレメントに割り当てることを含み、
    前記割り当てられた深さの値は、画像オブジェクトのあるピクチャエレメントに割り当てられたか、又は背景領域のピクチャエレメントに割り当てられたかに依存して重み付けされる、方法。
12. 請求項１１記載の方法を実行するコンピュータプログラム。

Images