JP6754759B2 - 三次元画像の視差の処理 - Google Patents

Description

本発明は、三次元画像の処理に関し、具体的には、排他的ではないが、グラフィックオーバーレイを含む三次元画像の視差処理に関する。

三次元（3D）ディスプレイは、視聴されているシーンの異なるビューを視聴者の2つの目に提供することによって、視聴経験に第3の次元を加える。これは、表示された2つのビューを分離するためにユーザに眼鏡をかけさせることによって達成することができる。しかし、これはユーザにとって不便であると考えられるので、レンチキュラレンズやバリアなどの手段を用いてビューを分離し、それらを、個別にユーザの目に届く可能性がある異なる方向に送る自動立体ディスプレイを使用することが多くのシナリオで好ましい。
ステレオディスプレイの場合、2つのビューが必要であるのに対して、自動立体視ディスプレイは、典型的には、より多くのビュー（例えば、9つのビューなど）を必要とする。

3D画像効果の欲求を満たすために、コンテンツは、取得されたシーンの3D態様を記述するデータを含むように作成される。例えば、コンピュータ生成グラフィックスの場合、三次元モデルが開発され、所与の観察位置から画像を計算するために使用されることができる。このようなアプローチは、例えば、三次元効果を提供するコンピュータゲームに頻繁に使用される。

別の例として、映画やテレビ番組などのビデオコンテンツは、何らかの3D情報を含むようにますます生成されている。このような情報は、わずかにオフセットされたカメラ位置から2つの同時画像をキャプチャする専用の3Dカメラを使用して取得されることができる。場合によっては、さらなるオフセット位置からより多くの同時画像を取り込むことができる。例えば、互いにオフセットした9つのカメラを使用して、9ビューの自動立体視ディスプレイの9つの視点に対応する画像を生成することができる。

しかし、重要な問題は、追加情報が実質的に増加したデータ量をもたらし、ビデオデータの配信、通信、処理および記憶にとって実用的でないことである。したがって 、三次元情報の 効率的な符号化が 重要である。したがって、必要なデータレートを実質的に低減することができる効率的な3D画像およびビデオ符号化フォーマットが開発された。

三次元画像を表すための一般的な手法は、関連する奥行きデータを有する1つ以上のレイヤ化された2次元画像を使用することである。例えば、関連奥行き情報を有する前景及び背景画像は、三次元シーンを表すために使用されてもよく、又は単一画像及び関連奥行きマップが使用されてもよい。

符号化フォーマットは、直接符号化された画像の高品質レンダリングを可能にする。すなわち、画像データが符号化される視点に対応する画像の高品質レンダリングを可能にする。さらに、符号化フォーマットは、画像処理ユニットが、取得された画像の視点に対して変位した視点の画像を生成することを可能にする。同様に、画像オブジェクトは、画像データと共に提供される奥行き情報に基づいて画像内でシフトされてもよい。さらに、画像によって表されない領域は、そのような情報が利用可能であれば、オクルージョン情報を使用して埋められることができる。

しかしながら、奥行き情報を提供する奥行きマップを伴う1つ以上の画像を使用する3Dシーンの符号化は、非常に効率的な表現を可能にするが、得られる三次元体験は、奥行きマップによって提供される十分に正確な奥行き情報に大きく依存する。

さらに、多くのコンテンツが、関連する奥行き情報なしにステレオ画像として生成または提供される。したがって、多くの操作に対して、奥行き推定に基づいてシーンおよび画像オブジェクトの奥行き情報を決定することが望ましい。実際には、画像間の視差は物体の奥行きを直接反映し、奥行きと視差という用語はしばしば互換的に使用される。具体的には、視差値は奥行き値でもあり、奥行き値は視差値でもある。

多くの異なる技術が奥行き/視差情報のために知られている。視差推定は、例えば、ステレオからのマルチビューレンダリング、ステレオ視聴のための視差調整、ロボットナビゲーションのマシンビジョンなどを含む、様々な3D関連アプリケーションに使用されてもよい。

視差推定では、通常、既知のカメラパラメータを使用して三角測量を介して奥行きを推測する意図で、2つ以上の画像内の対応する点間の距離が推定される。例えば、異なる視野角に対応する2つの画像が提供される場合、一致する画像領域が2つの画像において識別され、奥行き/視差は領域の位置間の相対的なずれによって推定され得る。したがって、対応するオブジェクトの奥行きを直接的に示す視差を有する2つの画像間の視差を推定するアルゴリズムを適用することができる。マッチング領域の検出は、例えば、2つの画像にわたる画像領域の相互相関に基づくことができる。視差推定の一例は、D. Scharstein and R. Szeliski."A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision, 47(1/2/3):7-42, April-June 2002に見出すことができる。

しかし、視差推定は、多くの状況で奥行き情報を決定するのに有用であるが、理想的な性能を提供しない傾向があり、生成された奥行き情報は、かなりノイズがあり、不正確である可能性がある。

US2011 / 234765は、前景と背景との境界付近で発生しやすい誤補正を抑制し、高精度の視差マップを生成することができる装置を開示する。

US2013 / 308826は、視差（距離情報）が変数であるヒストグラム上に度数分布のピークが離散的に現れ、距離情報の分布幅が広い場合には、ヒストグラムとして表現される対象領域は、通常、ステレオカメラからの距離が離散的である近傍物体と遠方物体が共存する領域であり、「遠近競合領域」と呼ばれることを開示する。

多くの場合、大きなフィルタカーネルを有する色適応（双方向）フィルタが、低解像度視差推定をアップスケールするため、または、より頻繁には視差推定の誤差/ノイズを低減するために適用される。このフィルタは、3Dビデオの画像ベースのレンダリングに適用されると、安定した、そして多くの場合滑らかな視差マップを保証する。しかし、それはまた、フィルタリング演算による新たなアーチファクトをもたらす。オブジェクト、特にそのエッジが変化するカラープロファイルを有する場合、視差値もエッジ上で（間違って）変化する傾向がある。そのような変化するカラープロファイルは、照明変化や影などによって引き起こされ得る。これは、オブジェクト上の視差の変化を引き起こし、合成ビューに歪んだエッジをもたらす。これらの歪みは、人間の視覚系が直線的なエッジ（中の歪み）に特に敏感であるため、人間の観察者にとっては邪魔になる。

このような歪みは、特にグラフィックスオーバーレイが存在するときに、人間の観察者による著しい知覚品質低下を引き起こす可能性がある。

これを説明するために、図1のステレオ画像が考慮される。この例では、テクスチャ画像がグラフィックオーバーレイによって覆われる。図2は、左画像と推定されたブロックベースの視差を示す。視差マップ中にエラーが明らかに見える。図3は、図2の視差マップに色適応フィルタリングが適用された後の左画像および推定視差を示す。視差マップは不鮮明ではなく、より滑らかに見えるが、テキスト周辺の領域には依然として大きな視差誤差が存在する。

同様の奥行きおよび視差のアーチファクトが、三次元画像の奥行き情報を生成する他のアプローチで生じ、ユーザに提示される結果として生じる三次元画像の知覚される品質を低下させる可能性がある。

したがって、改善された視差データの生成は、有利であり、特に、増加した柔軟性、低減された複雑性、容易にされた実装、改善された知覚奥行き、改善されたパフォーマンス、低下した知覚されるアーチファクト、および／または改善された三次元画像を可能にする、視差値の生成または決定が有利である。

従って、本発明は、単独でまたは任意の組み合わせで、好ましくは、上述の欠点の一つ以上を、緩和、軽減、または除去することを目的とする。

本発明の態様によれば、請求項1に記載の装置が提供される。

本発明は、多くの用途のために、多くのシナリオで改善された三次元画像を提供することができ、多くの実施形態は、視差誤差、不正確さ又はアーチファクトを軽減又は低減することができる改良された三次元画像を提供することができる。本発明は、特に、多くの実施形態では、例えばステレオ画像に基づいて視差推定によって視差データが生成された三次元画像の視差アーチファクト、誤差および不正確さを軽減するために適切であり得る。特に、字幕、テキスト、タイトルなどのオーバレイ・グラフィックスを含む可能性がある画像に対して、改善を行うことができる。

このアプローチは、多くの実施形態において、画像がオーバレイ・グラフィックを含む可能性を反映するために処理の効果を自動的に適応させるように構成されてもよい。

具体的には、本発明者は、（例えば視差推定によって視差が生成される場合に）視差誤差およびノイズがグラフィックオーバレイの周りでより見られることだけでなく、画像がグラフィックオーバーレイを含む可能性が、 特定の特性およびこれらがどのように奥行きの次元に分布しているかを考慮することによって推定され得ることを認識した。本発明者はさらに、画像+奥行きからのレンダリングに対する視差劣化の悪影響が、そのような奥行き/視差分布の特性によって制御される（しばしば位置的に非特異的な）視差再マッピングによって緩和され得ることを認識した。

視差値は、画素の視差又は奥行きを示す任意の値であってもよい。視差値は、具体的には、２つの画像が異なる観察方向に対応する、あるシーンの当該２つの画像の対応する画素間の水平距離を示してもよい。視差値は対応する画素の奥行きを示し、同等に奥行き値は視差を示す。したがって、奥行き値は視差値でもあり、視差値は、奥行き値である。用語「奥行き」および「視差」は、適宜、同等の用語と見なすことができることが理解されよう。したがって、視差に対する参照は、奥行きへの参照によって適宜置き換えられ、奥行きへの参照は、適宜、視差への参照によって置き換えられることができる。

視差値は、画像値とは異なる解像度を有してもよく、具体的には、視差値は、画像値よりも低い解像度で提供されてもよい。したがって、いくつかの実施形態では、2つ以上の画素が同じ視差値を共有してもよく、すなわち、視差値は、複数の画素に対して共通または共有されてもよい。

画素の画像値は、画素のクロミナンス、彩度、輝度、ルミナンス、強度、明度、または色特性のいずれかを示す任意の値とすることができる。画像値は、複数の成分または値を含む合成画像値であってもよい。具体的には、画像値は、例えばRGB値のような異なる色チャネルの値のセットであってもよい。

視差再マッピングは、入力視差値から出力視差値を生成する関数またはマッピングであることができる。視差の再マッピングは、数式/関数などによって、または、例えば、ルックアップテーブルとして、表される。

本発明の任意の特徴によれば、形状特性は、度数分布の少なくとも1つのピークの特性を示す。

このことは、特に有利な性能を提供し、多くのシナリオにおいて、画像がオーバレイ・グラフィック要素を含むか否かの特に良好な指標を提供することができる。

少なくとも1つのピークの特性は、例えば、振幅、幅または存在確率の推定値であってもよい。

いくつかの実施形態では、形状特性は、度数分布の尖度を示すことができます 。尖度測度が生成され、形状特性として使用されることができる。尖度は、複数のピークの考慮を含むことができ、例えば、（適切なピーク基準に従って）いくつのピークが存在するかの考慮を含むことができる。

本発明の任意の特徴によれば、アダプタは、度数分布の尖度の増加に応じて視差再マッピングによって提供される視差圧縮を増加させるように構成される。

これは、多くの実施形態において、改善されたパフォーマンスを提供することができる。具体的には、 視差再マッピングは、視差レベルの少なくとも1つの範囲の視差圧縮を含んでもよい。視差圧縮は、視差範囲をより小さな視差範囲にマッピングすることができるので、奥行きのばらつきを低減することができる。

本発明の任意の特徴によれば、分析器は、度数分布の最大度数、度数分布の平均度数に対する度数分布の最大度数、度数分布のピークの幅測定値、ピーク度数の視差レベル近傍の度数に対する度数分布のピーク度数からなるグループから選択される、少なくとも1つのパラメータに応じて形状特性を決定するように構成される。

これは、多くの実施形態において改善されたパフォーマンスを提供することができる。

本発明の任意の特徴によれば、分析器は、度数分布のあるモードの少なくとも振幅に応じて形状特性を決定するように構成される。

これは、多くの実施形態において改善されたパフォーマンスを提供することができる。

本発明の任意の特徴によれば、前記サブセットセレクタは、画素グループの画素についてエッジ検出指示を生成するように構成され、エッジ検出指示は、画素が画像オブジェクトのエッジに属するかどうかを示し、画像特性基準は、エッジ検出指示のための要件を含む。

これは、特に有利な性能を提供することができ、オーバレイ・グラフィックを検出し、これを反映するように視差データを適合させるのに特に有効である。画像特性基準は、具体的には、エッジ検出指示が閾値を超える（例えば、色チャネル値が、現在の画素と隣接する画素との間で全範囲の25％以上異なる）という要件を含むことができる。

本発明の任意の特徴によれば、サブセットセレクタは、画素群の各画素の画像特性遷移測度を生成するように構成され、画像特性基準は、画像特性遷移測度の要件を含む。

これは、特に有利な性能を提供することができ、オーバレイ・グラフィックを検出し、これを反映するように視差データを適合させるのに特に有効である。画像特性基準は、具体的には、画像特性遷移測度が閾値を超える（例えば、色チャネル値が、現在の画素と隣接する画素との間で全範囲の25％以上異なる）という要件を含むことができる。画像特性遷移測度は、具体的には、画素の近傍における画像特性の（空間的な）勾配または変化の程度（例えば、輝度および/または色の変化）を示すことができる。

本発明の任意の特徴によれば、画像特性基準は、画素の輝度および彩度の少なくとも1つに対する要件を含む。

これは、特に有利な性能を提供することができ、オーバレイ・グラフィックを検出し、これを反映するように視差データを適合させるのに特に有効である。画像特性基準は、具体的には、輝度値がある値を超えるか、または、彩度が所定の色範囲に属することを要件に含んでいてもよい。

いくつかの実施形態では、サブセットセレクタは、画素群の各画素について彩度測度を生成するように構成されてもよく、画像特性基準は、彩度測度に対する要件を含むことができる。

これは、特に有利な性能を提供することができ、オーバレイ・グラフィックを検出し、これを反映するように視差データを適合させるのに特に有効である。画像特性基準は、具体的には、彩度測度が閾値を超える（例えば、画素の色から白への色空間距離測度が最大値の例えば50％を超える）という要件を含むことができる。

本発明の任意の特徴によれば、リマッパは、視差値の視差範囲の部分範囲においてのみ視差値を修正するように構成される。
これは、性能を改善することができ、特に、多くの実施形態において知覚される品質改善を提供することができる。多くの実施形態では、部分範囲は、ディスプレイ/スクリーン・レベルの前、すなわち、画像間のゼロ視差に対応する画像面の前の部分範囲であってもよい。

本発明の任意の特徴によれば、分析器は、度数分布の視差値の部分範囲にのみ応じて形状特性を決定するように構成される。

これは、性能を改善することができ、特に、多くの実施形態において知覚される品質改善を提供することができる。多くの実施形態では、部分範囲は、ディスプレイ/スクリーン・レベルの前、すなわち、画像間のゼロ視差に対応する画像面の前の部分範囲であってもよい。

本発明の任意の特徴によれば、視差再マッピングは、少なくとも視差レベル部分範囲における線形再マッピングであり、アダプタは、形状特性に応じて線形再マッピングのための再マッピング係数を決定するように構成される。

これは、多くの実施形態において、改善された性能及び/又は容易な実装を提供することができる。

本発明の任意の特徴によれば、分布評価器は、度数分布を生成するときに画素のサブセットの画素を重み付けするように構成され、画素の重みは画素の画像位置に依存する。

これは、多くの実施形態およびシナリオにおいて、視差アーチファクトの改善された知覚される緩和を提供することができる。

本発明の任意の特徴によれば、サブセットセレクタは、画素群の各画素について第2の画像特性基準を評価し、第2の画像特性基準が満たされる画素の画素群の画素の第2のサブセットを決定するように構成され、装置は、画素の第2のサブセットの視差値の度数分布に応じて視差再マッピングを決定するように構成される。

これは、多くの実施形態およびシナリオにおいて、視差アーチファクトの改善された知覚される緩和を提供することができる。

いくつかの実施形態では、装置は、第2の度数分布に対する第2の形状特性を決定し、形状特性および第2の形状特性の両方に応じて視差再マッピングを決定するように構成されてもよい。

いくつかの実施形態では、装置は、画素のサブセットおよび画素の第2のサブセットの両方に対して視差値の度数分布を決定するように構成されてもよい。

本発明の態様によれば、請求項11に記載の方法が提供される。

本発明のこれらの及び他の態様、特徴ならびに利点は、以下に記載の実施形態から明らかであり、それらを参照して説明される。

本発明の実施形態は、図面を参照して、単なる例として、説明される。

オーバレイ・グラフィックスを伴う左および右眼用画像を含むステレオ3D画像の例を示す図。 左目画像および図1のステレオ画像からの視差推定によって生成された視差マップによって表される図1の3D画像の例を示す図。 視差マップのフィルタリング後の図2の3D画像の一例を示す図。 本発明のいくつかの実施形態による3D画像を処理するための装置の一例を示す図。 図4の装置の例示的な実施形態による処理後の、図3の3D画像の例を示す図。

以下の説明では、入力された三次元画像が、画像がオーバレイ・グラフィックスを含むか否かの推定に基づいて処理される実施形態に焦点を当てる。しかし、本発明はこのような実施形態またはアプリケーションに限定されるものではなく、多くの異なるアプリケーション及び画像に適用してもよいことが理解されるであろう。

図4は、三次元（3D）画像を処理するための装置を示す。

この装置は、3D画像を受信するように構成された受信機401を含む。3D画像は画素で構成され、これらの画素の各々は、その位置で観察される物体から放射される可視光を示す画像値とシーン内の物体の奥行きを示す視差値に関連付けられる。

受信機は、例えば、ネットワークインターフェース、メディアリーダ、光ディスク読み取り装置、テレビジョン受像機等であってもよいし、実際には、適切な外部または内部ソースから画像データを受信することができる任意の適切なハードウェアとして実装されてもよい。

典型的には、画像値は、画像の画素のために提供される。画像値は、画素の空間位置に対する可視光放射特性を示すことができ、すなわち、画像値は、画像の観察方向に対するその画素位置から放射される光の特性を表す。画像値は、典型的には光強度（明度）および/または色に関連し、具体的には輝度、ルマ（luma）、彩度、色度、色および明度のうちの1つまたは複数を示すことができる。

多くの実施形態において、画像値は、例えば色表現のそれぞれの成分に対応する複数のサブ値（例えば Yuv表現の輝度値と2つの色度値、 または、RGB表現の3つの色チャネル値）を含む複合値であってもよい。

典型的には、画像値は、画像の画素解像度に対応する解像度で提供されるか、または同等に、画素解像度は、画素ごとに1つの値が提供される画像値解像度によって定義され得る。

画像値に加えて、3D映像は、さらに奥行き情報を含む。一例では、この奥行き情報は、視差値の形で提供される。視差値は、対応する画素位置において観察される画像オブジェクトの奥行きを示す。

視差値は、 例えば、（例えば所与の視角の差について画素で測定された）直接視差指標、または、単純に奥行き指標を提供するz値を含む、画像オブジェクトの奥行きを示す任意の値であることができることが理解されるであろう。また、視差値は符号付きの値であってもよく、しばしば、画面レベルまたはディスプレイ奥行きに対応するゼロ視差についてはゼロ値を有し、視差値の符号はディスプレイ・レベルの前後で変化する。また、以下において、視差値への言及には、直接Z値または絶対視差指標を含む符号なし値が含まれてもよい。

画像の視差値は、デジタル値として提供される。したがって、視差値は、量子化値として提供され、したがって、複数の可能な視差レベルのうちの1つによって表される。したがって、視差範囲は複数の視差レベルに分割され、各視差値はこれらの可能な視差レベルのうちの1つとして与えられる。従って、視差レベルは、視差値が取ることができる可能な値を指し、視差値は、画素の一つの視差レベルに対応する。従って、視差レベルは視差値の可能な値である。

多くの実施形態では、画像値と視差値の解像度が異なっていてもよい。実際、典型的には、視差値は、画像値または画素に対して解像度が低下した奥行きマップまたは視差マップとして提供される。したがって、いくつかの実施形態では、1つの視差値が画素のグループに対して提供されてもよく、すなわち、画素のグループのそれぞれが同じ視差値にリンクされてもよい。

受信機401は、画素群の各画素の画像値の画像特性基準を評価するように構成されているサブセットセレクタ403に結合されている。そして、サブセットセレクタ403は、画像特性基準が満たされているすべての画素を含む画素のサブセットを生成する。

したがって、サブセットセレクタ403は、各画素について、画像値、すなわち輝度および/または彩度値などの視覚的成分に関する基準を考慮する。この評価に基づいて、画素のサブセットが生成され、具体的には、特定の視覚的基準を満たす画素のサブセットが識別される。

サブセットセレクタ403は、適切な処理プラットフォーム、または他の任意の適切なハードウェアで実現されることができる。例えば、マイクロプロセッサは、上述の比較を実行し、画素のサブセットを選択するように構成されることができる。プロセッサは、これらの画素のデータを外部ソースに送信することができる出力インタフェース回路を備えていてもよい。

サブセットセレクタ403は、画素のサブセットの視差値の度数分布を生成する分布評価器405に結合される。分布評価器405は、例えば、サブセットセレクタ403を実装するマイクロコントローラまたはマイクロプロセッサからデータを受信するためのインタフェース回路を備えたマイクロコントローラまたはマイクロプロセッサなどの別個のハードウェアとして実施されてもよい。

したがって、度数分布は、視差レベルのそれぞれのグループまたはクラスについて、サブセット内の画素の出現回数を反映することができる。クラスの各々は、（度数分布のヒストグラム表現に対応する）ビンと呼ばれてもよい。多くの実施形態では、視差値は、所与の（典型的には比較的低い）解像度を有していてもよい。例えば、視差は、256の異なる視差レベルを許容する8ビット値によって与えられてもよい。いくつかの実施形態では、各クラスは視差レベルに対応することができ、すなわち、可能性のある視差値ごとに（少なくとも所定の範囲内に）1つのクラスが存在する。他の実施形態では、クラスは、複数の可能な視差レベルをカバーすることができ、例えば、各クラスは、視差レベル範囲として与えられ、各範囲は、1つまたは複数の視差レベルを含む。

多くの実施形態では、各クラスの度数分布値は、単純に、そのクラスに属する視差値を有するサブセット内の画素数の合計として与えられる。具体的には、各クラスが単一の視差レベルとして与えられる実施形態では、分布評価器405は、クラスの度数分布値を、 そのクラスの視差レベルに対応する視差値を有するサブセット内の画素数として決定するように構成することができる。

したがって、分布評価器405は、画像特性基準によって定義されたものに対応する視覚特性を有する画素が奥行き/視差次元にどのように分布するかを反映する度数分布を生成する。

分布評価405は、度数分布の形状特性を決定するように構成されている分析装置407に結合されている。形状特性は、分布の形状を反映しており、具体的にはクラス/ビンの大きさが分布上でどのように変化するかを反映する。

分析器407は、例えば、分布評価器を実装するハードウェアからデータを受信するためのインタフェース回路を有する処理プラットフォームの形態の独立したハードウェアとして実施することができる。例えば、マイクロプロセッサ又は専用ハードウェア集積回路が、分析器407を実装するために使用されてもよい。

分析器407は、特に、度数分布の形状特性を示す単一の値を生成することができる。形状特性は、例えば、分布の最大の大きさであってもよい。最大値は、多数の検出された画素が狭い範囲にあるかどうか、すなわち検出された画素が特定の奥行きに集中しているか、または検出された画素が奥行き範囲にわたってより均一に広がっているかどうかを示すことができる。

一例として、形状特性は、例えば、白いオーバレイ・グラフィックが画像中に存在する可能性を反映するように生成されてもよい。例えば、いくつかのシナリオでは、タイトルを含んでも含まなくてもよい画像を受け取ることができる。これらのタイトルは、具体的には白色であると仮定されてもよく（または知られていてもよく）、典型的には、タイトルはスクリーン・レベルの前のある特定の奥行きに位置するグラフィックスオブジェクトである。したがって、この例では、グラフィック（タイトル）オーバーレイはスクリーン前のある特定の視差レベルにある白い画素により形成されることを特徴とする。サブセットセレクタ403は、まず、画像内の全画素の色を評価し、適切な画像特性基準（例えば、RGB値がすべて十分に高いこと）に従って白色であるとみなされるすべての画素を含む画素のサブセットを生成する。次に、それぞれの視差レベルに対応するクラス/ビンについてこれらの画素の度数分布が生成される。この場合、オーバレイ・グラフィック（タイトル）の一部であるすべての白い画素は同じビン/クラスに入る一方、 他の白の画素は、異なるクラス/ビンにわたってより均一に分布する（すなわち、それらは奥行きについて分布する傾向がある）。

分析器407は、この場合、白い画素が単一のビン/クラスに集中する傾向にある（すなわち、同じ奥行きにある）か、またはより均等に分布する傾向にあるかどうかを示す形状特性を決定することができる。この例では、分析器407は、最も多くの画素を有するクラス/ビン内にいくつの画素があるかを示す形状特性を単純に生成することができ、すなわち、最大の大きさとして形状特性を生成することができる。画像にタイトルオーバーレイが含まれる場合、タイトルのすべての白い画素が同じ奥行きにあり、同じクラスに入るため、これは大きくなりやすい。画像にタイトルオーバーレイが含まれていない場合は、白い画素が均等に広がるため、これは小さくなりやすい。場合によっては、その大きさは、サブセット内の画素の総数に対して正規化されることができる。したがって、1つのクラスの最大画素数の形の形状特性は、画像がタイトルオーバーレイを含むか否かの良好な指標を提供することができる。

より一般的には、特定の視覚基準を満たし、狭い奥行き範囲（具体的には同じ奥行き/視差レベル）に位置する多数の画素を現在の画像が含むかどうかを反映する形状特性を生成することができる。このような形状特性は、所与の視覚特性を有する平坦な画像オブジェクトが画像内に存在する確率を具体的に反映することができる。このアプローチは、しばしば、均質で特定の視覚特性を有することが特徴であり、非常に平坦である（典型的には、1つの視差レベルに限定される）オーバレイ・グラフィックスなどのオブジェクトを検出するのに適している。

グラフィックスオブジェクトは、（左目画像が視差ベクトルの基準として使用されるときには負の視差で）画面の前に配置されることが多いため、例えば、 最大数の画素を含む視差ビンは、スクリーンの前の位置に対応していなければならない（すなわち、この例では、負またはゼロ視差）。したがって、画面の背後にあるオブジェクトに対応するビンは、無視される。

分析器407は、形状特性に応じて視差再マッピングを決定するように構成されたアダプタ409に結合される。

アダプタ409は、レシーバ401にも結合されているリマッパ411に結合されている。リマッパ411は、受信機401から3D画像を受信し、アダプタ409から視差リマッピングを受信する。

アダプタ409およびリマッパ411は、別個のハードウェアで実施されてもよく、具体的には、装置の他の機能部分を実装する他のハードウェア処理プラットフォームとの間でデータを送受信することができる関連インタフェース回路と共に適切なマイクロプロセッサまたはマイクロコントローラを含む別個の処理プラットフォームとして実装されてもよい。

リマッパ411は、視差再マッピングを視差値に適用することによって、受信された3D画像の視差値を修正するように構成される。視差再マッピングは、入力視差値の関数としての出力視差値を提供し、関数/マッピングは、形状特性に依存する。

具体的には、視差再マッピングは、少なくとも1つの視差範囲が形状特性の少なくともいくつかの値についてより小さい視差範囲に圧縮されるような視差圧縮を含むことができる。

特定の例として、形状特性が度数分布の比較的小さい最大の大きさを示す（したがって受信された画像がオーバレイ・グラフィックを含む確率が比較的低いことを示す）場合、実際には視差値を変更しないように視差再マッピングを生成してもよく、 すなわち、出力値は、入力視差値と全く同じになるように生成することができる。この例では、出力/修正された3D画像は、受信機によって受信された画像と同一であってもよい。

しかしながら、形状特性が度数分布の比較的大きい最大値を示す（したがって、受信された画像が何らかのグラフィックスオーバーレイを含む確率が比較的高いことを示す）場合、視差再マッピングを生成して、スクリーン・レベルの前のオブジェクトの視差範囲を減少させることができる。例えば、128-255の視差値がスクリーンの前の奥行きレベルを示す場合、視差再マッピングは、この範囲を128-160の値まで圧縮するように生成されてもよい。このように、スクリーンの前の奥行き範囲は、得られる出力された/修正された3D画像において実質的に低減される。

結果として、奥行き範囲が縮小されるにつれて、視差値における誤差および不正確さの知覚される影響は実質的に低減され得る。そのようなアーチファクトは、しばしばオーバレイ・グラフィックスの周りで特に見られて顕著であるので、装置は、受信された3D画像の特定の分析に依存する適応を可能にし、オーバレイ・グラフィック要素を含む確率の指標を決定する。

実際に、本発明者は、視差推定を実行する際の視差推定誤差が、オーバーレイグラフィックオブジェクトの周りで特に重要であることを認識した。本発明者は、視覚特性（色/明るさ）と奥行き差の両方の観点から、周囲の領域から典型的に目立つことにより、オーバーレイグラフィックオブジェクトの周りで誤差がより知覚される傾向があること、および、（オーバレイグラフィックスオブジェクトが、通常、視差フィルタリングの影響を受ける薄いオブジェクト（線、テキスト）を含むために）誤差がオーバレイグラフィックスオブジェクトの周りでより見られる傾向があることの両方を認識した。したがって、本発明者は、視差誤差が例えばオーバーレイグラフィックオブジェクトの周りでより見られる傾向があり、また、そのようなオブジェクトの周りでより知覚される傾向にあることを認識した。

本発明者らはさらに、 これらの影響は、画像の視差値の適応再マッピングを適用することによって緩和され得、適応再マッピングは、画像がオーバレイ・グラフィックスを含む確率の指標に依存してもよいことを認識した。図4の装置は、この機能を実行するための具体的かつ有利なアプローチを提供することができる。

しかし、図4の装置は、オーバレイ・グラフィックの潜在的な存在の検出に限定されず、他の多くの考え得る画像オブジェクトまたは特徴の検出に使用されてもよいことが理解されよう。特に、上述のアプローチは、奥行き再マッピングが特定の視覚特性および奥行き特性に関する特性の存在に依存することを可能にする手法を提供することに留意されたい。

また、視差再マッピングは必ずしも視差圧縮を実行する必要はないが、他の実施形態では、例えば、 記載された手法によって検出される特定の画像特性またはオブジェクトの場合には、奥行き範囲を拡張することが望ましい。

しかし、説明された特定の例では、図4の装置は、受信された3D画像がオーバーレイグラフィックオブジェクトを含む確率が増加したことを示す形状特性に応じて、少なくとも1つの視差レベルの範囲について視差圧縮の程度を増加させるように構成される 。

このアプローチは、グラフィックスオブジェクトの大部分が、画像特性および視差に関して特定の特性を有することの発明者の認識を反映する。例えば、非常に多くの場合、グラフィックスオブジェクトは、（仮想のカメラ平面に平行な）一定の視差を有する平面上にあり、シーンの他のコンテンツ/通常の画像の場合には、任意のカメラ方向のために、ほとんどそのような場合はない。多くの場合、グラフィック・オブジェクトに他のコンテンツよりも急峻なエッジを含む。また、現実のシーンの典型的な画像は、カメラの限られた被写界深度に悩まされ、一方、グラフィックスは、後で挿入されて、典型的には鮮明である。この特定のアプローチは、オープニングクレジット、字幕やロゴなどのグラフィックスオブジェクトは、画面レベルから離れていても一定の視差で配置されることがよくあるという発明者の認識も反映する。これはまた、背景からの視差値がオーバレイグラフィックスオブジェクトの視差値と混合することにより、大きな視差の差に起因して、大きな誤差を生じるので、オーバレイグラフィックスオブジェクトの周りで視差アーチファクトが非常に顕著になる結果となる。

特定の例では、これらの考察は、視差または奥行きの関数として、鮮明なエッジのような特定の画像特性の発生の度数分布の生成によって反映される。特定のスクリーン外の視差において鮮明なエッジの度数が閾値を超える場合、スクリーン外のグラフィックスオブジェクトが存在する可能性があり、したがって、視差アーチファクトの可能性のある存在を軽減するために、視差/奥行きマップが（特に視差圧縮によって）変更される。

実際の評価では、例えば所与の視差レベルに対して見出される鮮明なエッジの数などの度数分布の形状特性に依存するすべてのスクリーン外視差を低減することが非常に効率的な緩和を提供することが示された。効果的に、グラフィックスオブジェクト（およびスクリーン外の視差を伴う他のすべてのコンテンツ）は、画面の奥行きに向かって圧縮され、誤差が目立たなくなる。特定の例として、装置は、スクリーン外のグラフィック・オブジェクトを含むシーンについて、スクリーン外の奥行き効果を低減するように構成されてもよいが、スクリーン外のグラフィック・オブジェクトを含まない画像については変更されずに維持される。これは実質的に改良されたユーザ体験を提供することが分かった。

使用される特定の画像特性基準は、特定の実施形態及びアプリケーションの特定の好み及び要件に依存するだろう。

多くの実施形態では、特に有利な性能は、画像オブジェクトのエッジに属する可能性が高い、特に異なる画像オブジェクト間の遷移領域に属する可能性が高い画素の選択を対象とする画像特性基準によって達成される。

多くの実施形態では、画像特性基準は、画素と隣接する画素との間の画像特性の差が閾値を超えるという要件を含むことができる。隣接する画素は、例えば、現在の画素に対して1画素、2画素、3画素、5画素または10画素の最大距離などのような、現在の画素から所与の距離内にある画素であることが要求されてもよい。画素と隣接画素との間の画像特性の差が閾値を超える場合、現在の画素は画像オブジェクトエッジの一部であると考えられ、画素はそのサブセットに含まれてもよい。例えば、閾値は、（例えば個々の色チャンネル（例えばRGB）値の間の累積された差の合計として測定される）色差が、例えば、１つの色チャネル値の合計範囲の100％を越えることであることができる（例えば、8ビットのRGB値については、対応する色チャネル値間の合計差が256を超えることが必要とされてもよい）。

多くの実施形態において、 画像特性基準は、現在の画素と隣接する画素との間の画像特性差（すなわち、現在の画素と、現在の画素と直接的に隣接する/現在の画素から1画素の距離内の近傍画素との間の画像特性の差）（例えば強度）が所与の閾値を超えることよ要求してもよい。例えば、強度の差が、たとえば、最大強度の30％を超えることが必要とされてもよい。この基準が満たされた場合、画素はエッジ画素であると考えられる。この基準は、特に、オーバレイグラフィックスオブジェクトのエッジにある画素を検出して選択するのに非常に適している。なぜなら、これらのオブジェクトは非常に鮮明なエッジ（典型的には隣接する画素間の急峻な遷移）を有する傾向があるからである。例えば、明るい白のグラフィックス要素が比較的暗い画像の上に重ねられた場合、グラフィックスオブジェクトの白いエッジ画素は、通常、下にある画像に対応するより暗い画素に隣接することになる。このような急峻な遷移は、自然なシーンの画像では起こりそうにないので、通常の画像変化と、グラフィック・オブジェクトと画像コンテンツとの間の遷移との間の非常に正確な区別を提供する。

したがって、多くの実施形態では、サブセットセレクタ403は、画素のエッジ検出指標を生成するように構成されることができ、エッジ検出指標は画素が画像オブジェクトのエッジに属するかどうかを示す。適切なエッジ検出指標は、例えば、画素と1つまたは複数の近傍または隣接画素との間の画像特性の差であってもよい。近傍（または隣接する）画素は、例えば、所与の近傍内で、最大の差をもたらし、現在の画素から2画素を越えない距離内にある画素として予め定義されるかまたは見つけられる。このようにして、画素が画像オブジェクトエッジに属する確率を示すエッジ検出指標が生成される。

画像特性基準は、このエッジ検出指標が所与のレベルより上であることを要求することができる。もし上であれば、画像オブジェクト間、および恐らくグラフィックスオブジェクトとその下の画像との間のエッジが見つかったと考えられる。このように、画素はエッジ画素であると考えられ、度数分布の生成のためにサブセットに含まれる。

いくつかの実施形態では、サブセットセレクタ403は、各画素の画像特性遷移測度を生成するように構成される。現在の画素と1つ以上の近傍画素との間の差の上述のエッジ検出指標は、適切な画像特性遷移測度であってもよい。画像特性遷移測度は、具体的には、画素の位置における画像特性の勾配または変化を示すことができる。

他の実施形態では、画像特性遷移測度は、エッジを検出することを特に目的とするのではなく、代わりに画像オブジェクトの平坦な領域を検出するように適応されることができる。例えば、（例えば10画素半径の）近傍における画像特性の分散を決定することができる。分散は、画像特性遷移測度として使用されてもよく、画像特性基準は、分散が閾値未満である場合にのみ画素がサブセットに含まれるという要件を含むことができる。従って、画素は平坦で均質な画像領域に属する場合にのみ含まれる。

このようなアプローチは、例えば、均質なオブジェクトの他の広い領域を含むことが予期されない画像（例えば、実際の生活状況を捕捉するカメラによって生成された画像など）内の均一なグラフィックス（例えば、単一カラーグラフィックス）の存在を検出するのに有用である 。得られる度数分布が特定の奥行きに多数の画素を示す場合、これは、画像が、非常に均質な領域の一部であり特定の奥行きレベルにある多数の画素を含むことを示す。これは、受け取った3D画像内のオーバーレイグラフィックオブジェクトの存在を示している。

多くの実施形態では、本装置は、例えば異なる色チャンネル値のような、複数の値を考慮することができることが理解されるであろうこのような場合には、説明されたアプローチは、例えば、各色チャンネルに個別に適用されることができる。装置は、例えば、各色チャネルのエッジ検出指標値または画像特性遷移測度値を生成し、これらを、画像特性基準を評価するために使用される単一のエッジ検出指標値または画像特性遷移測度値に組み合わせることができる。いくつかの実施形態では、画像特性基準は、色チャネルのそれぞれのための要件を含むことができる。

他のパラメータが、代替的または追加的に、他の実施形態における画像特性基準によって考慮されてもよいことが理解されるであろう。
多くの実施形態では、画像特性基準は、画素の輝度および/または彩度の要件を含むことができる。例えば、画素の輝度が所与のレベルを上回ること及び/又は彩度/色が特定の領域内に入ることが必要とされてもよい。

例えば、輝度が所与のレベルを上回ること、および（例えばRGB表現の）カラーチャネル値間の最大差が（例えば全範囲の20％の）閾値未満であることが必要とされてもよい。これは、オーバレイ・グラフィックスが明るくかつ実質的に白である（いくつかの実施形態ではそのようであることが知られている）という考察を反映し得る。したがって、このような例では、装置は、画像が、実質的に同じ奥行きに配置された十分に多数の実質的に白いおよび十分に明るい画素を含むかどうかの考察に基づいて、修正画像の奥行き範囲を調整するように適応され得る。

いくつかの実施形態では、サブセットセレクタ403は、各画素の画素色特性測度を生成することができ、画像特性基準は、色特性測度の要件を含むことができる。

色特性測度は、特に彩度測度であってもよい。いくつかの実施形態では、オーバレイ・グラフィックスは非常に飽和した色を使用していることによって特徴付けられることができる。このような実施形態では、サブセットセレクタ403は、色の彩度の指標を生成することができる。例えば、最大色チャンネル値と次の最大色チャンネル値との差が彩度測度として決定されることができる。画像特性基準は、この彩度測度が閾値（例えば、最大値の50％）を超えることを要求することができる。

分析器407によって決定され、アダプタ409によって考慮される形状特性は、本発明の好みおよび要件に依存してもよい。

多くの実施形態では、形状特性は、振幅のような、度数分布の少なくとも1つのピークの特性を示すことができる。形状特性は、 度数分布の尖度を 示す特性であってもよい。

評価される画像がオーバレイ・グラフィックを含む状況では、画素のサブセットは、全て同じ奥行きのレイヤにある多数の画素を含む可能性がある。したがって、多くの画素は、同じ視差レベルのクラスやビンに分類されます。結果として、度数分布は、非常に特異的な視差レベル（すなわち、非常に特異的なビン）において高度に集中した画素を有する傾向がある。実際には、典型的には、すべてのオーバーレイグラフィックオブジェクトが同じ奥行きレベルに位置する傾向があり、したがって、度数分布の１つのビン/クラスに、画素のサブセットが非常に高く集中する。

したがって、システムは、多くの実施形態では、度数分布が個々のピークにどれだけ集中しているかを反映する形状特性を生成することができる。１つの大きな狭いピークを有する度数分布は、オーバレイ・グラフィックスの存在を示す可能性がある。比較的平坦であり、いかなるピークをも含まない度数分布は、画像がいかなるオーバレイ・グラフィックスをも含まないことを示す可能性がある。

いくつかのシナリオでは、画像は、異なる奥行きレベルでオーバレイ・グラフィックを含む場合があり、したがって、これは度数分布において複数のピークをもたらす場合がある。したがって、いくつかの実施形態では、システムは、複数のピークを考慮することができる。

度数分布の尖度の程度を反映した異なる形状特性が使用されてもよいことが理解されるであろう。尖度は、クラス/ビン/視差レベルへの画素の集中の測度であると考えられることができる。

度数分布の尖度は、画素がクラスにわたって広範に分布しているかどうか、またはそれらが1つまたはいくつかのビン（またはおそらくは隣接するビンのグループ）に集中する傾向にあるかどうかを示すことができる。典型的には、ピークは、そのピークの近傍のクラスよりも著しく大きい振幅を有することによって示され得る。従って、典型的には、ピークはローカルまたはグローバルな最大値であってもよいです。ピークは、最大の振幅およびそれがどのくらい急峻に低下するかによって特徴付けることができる。従って、例えば。 ピークは、振幅および（例えば最大振幅の50％の）幅によって特徴付けられてもよい。尖度は、 このように、例えば最大の振幅及び/又は幅によって示されることができる。代替的にまたは付加的に、尖度は、（適切なピーク検出基準が使用されて）度数分布に存在するピークの数で示されることができる。例えば、度数分布が１つ以上のピークを含む場合、画像がオーバレイ・グラフィックスを含むと考えられ、いかなるピークをも含まない場合、オーバレイ・グラフィックスを含まないと考えられ得る。

例えば、いくつかの実施形態では、分析器407は、度数分布におけるピークの存在を検出するように構成されたピーク検出器を含むことができる。例えば、ピークの振幅が、所定の閾値で、平均の振幅、または例えば 隣接する2つのビンの振幅を超えなければならないといった、任意の適切なピーク基準を使用してピークを検出することができる。例えば、あるビンの振幅が、隣接する両方のビンの振幅の3倍より大きい場合にピークが存在すると考えることができる。次いで、分析器407は、例えば、 最大ピークの高さとして、または例えば、検出されたピークの合計高さとして、形状特性を決定するために進むことができる。

異なる形状特性が異なる実施形態において使用され得ることが理解されるだろう。

特に有利なアプローチは、形状特性を度数分布のモードの振幅に基づかせることであることが判明している。具体的には、形状特性は、いくつかの実施形態では、最大の振幅を有するモードの振幅、すなわち主モードに応じて生成されてもよい。

したがって、いくつかの実施形態では、モードは、大域的な最大値であってもよく、したがって、最も頻繁に発生するクラス、つまり、度数分布が大域的な最大値を有する視差レベル（または視差レベル範囲）を反映する。しかしながら、いくつかの実施形態では、このアプローチは、（例えば、大域的な最大値の少なくとも50％の値を有するような特定の特性を満たすことを要求する）１つ以上の局所的な最大値を考慮することができる。

いくつかの実施形態では、形状特性を決定するための比較的低い複雑さのアプローチが使用されてもよい。

例えば、いくつかの実施形態では、分析器407は、度数分布の最大度数に基づいて形状特性を決定するように構成されてもよく、具体的には、いくつかの実施形態では、形状特性は、度数分布の最大度数として直接決定されてもよい。したがって、いくつかの実施形態では、分析器407は、最大振幅のものを見つけるために、度数分布のクラスを単に検索し始めることができる。次に、形状特性は、この値と等しく設定されてもよく、または、 サブセット内の画素の総数に関して正規化されてもよい。このようなアプローチは、度数分布の（主）モードの振幅に形状特性を設定することに対応すると考えられる。

このようなアプローチは、複雑さの低いアプローチを可能にするが、実際には非常に有利な結果を提供することが分かっている。

いくつかの実施形態では、分析器407は、度数分布の平均度数に対する度数分布の最大度数に基づいて形状特性を決定するように構成されることができる。

いくつかの実施形態では、分析器407は、ピーク度数の視差レベル近傍の度数に対する度数分布のピーク度数に基づいて形状特性を決定するように構成されることができる。最大の振幅は、特に、最大振幅のビンの近傍の他のビンの振幅と比較されることができる。例えば、それは、4つの周囲のビンの平均の振幅と比較されることができる。そのようなアプローチは、画素は、多くの実施形態では、グラフィックをオーバーレイかに対応するかどうかの強力な指標を提供することができます。

いくつかの実施形態では、形状特性は、例えば、最大度数、すなわち度数分布における最大振幅を特定することによって決定されることができる。次に、分析器407は、例えば、現在のビンの両側の２つのビンの最大値を取り出すことができる。次いで、これらの4つのビンの平均を決定することができる。最後に、形状特性は、度数分布の最大振幅を決定された平均値で割ったものとして与えられてもよい。したがって、形状特性は、度数分布のメインピークが周囲の値に対してどれだけ大きいかを示す。従って、ピークの振幅および幅の両方を反映する形状特性が生成される。

いくつかの実施形態では、形状特性は、近傍と比較するだけでなく、度数分布全体と比較することもできる。例えば、最大度数付近のビンから平均度数を生成するだけでなく、分析器407は、（例えば、モードビンを除く）度数分布全体の平均度数を決定することができる。この場合、形状特性は、例えば、最大振幅を度数分布の平均度数で割ったものとして生成されることができる。このパラメータは、正規化された最大振幅の良好な指標を提供することができるが、メインピークの幅を正確に反映しない可能性がある。

いくつかの実施形態では、分析器407は、度数分布のピークの幅の測度に基づいて形状特性を決定するように構成されることができる。例えば、分析装置407は、度数分布の最大の振幅を検出することができる。次いで、 振幅が検出された振幅の例えば50％未満になる前に、 （ビンの数（または、各ビンが2つ以上の視差を含む場合、例えば視差レベル）に関する）距離を決定することができる。オーバレイ・グラフィックスは、通常、単一の視差レベルに制限される（すなわち、オーバレイ・グラフィックスに属するすべての画素が、全く同じ奥行きレベルにあり、したがって、同じ視差値を有する）ので、オーバレイ・グラフィックスの存在は、単一ビンの幅を有するピークを生じる傾向があり、すなわち、隣接するビンは、その振幅の50％未満の振幅を有する可能性が高い。しかし、一般的な画像や現実のシーンの画像オブジェクトは、はるかに緩やかな遷移を持つ傾向がある。例えば、画像が大きな白いボールを含む場合、このボールに対応する画素がサブセットに含まれる可能性がある。しかし、これらの画素は、狭い範囲内のボールの奥行きに集中するが、ボールの中心からエッジへと変化するので、遷移ははるかに緩やかになる傾向があり、度数分布のピークは複数の視差レベルにわたって広がる可能性が高い。したがって、幅は、オーバレイ・グラフィックスの場合よりも大きくなり、これは、度数分布における検出されたピークの幅を反映する形状特性に反映され得る。したがって、多くのシナリオでは、このアプローチは、同じ画像特性を有するオーバレイ・グラフィックスと他の画像オブジェクトとを区別することができる。

多くの実施形態では、リマッパ411は、視差値の視差圧縮を実行するように構成されることができる。したがって、視差再マッピングは、視差レベルの第1の範囲を、第1の範囲よりも小さい視差レベルの第2の範囲にマッピングすることを含むことができる。いくつかの実施形態では、第1の範囲は、視差レベルの全範囲に、すなわち、視差値のすべての可能な値に対応することができる。しかし、他の実施形態では、視差圧縮は、視差レベル範囲全体の部分的な範囲にのみ適用されてもよい。

実際、多くの実施形態では、視差圧縮は、ディスプレイ/スクリーン・レベルの前の範囲に限定されてもよく、すなわち、視差値が画面の前にあることを示す画素についてのみ圧縮が行われる。これは、オーバレイ・グラフィックスが一般的にスクリーン・レベルの前に配置されていることを反映することができる。

視差圧縮は、典型的には視差低減である。 したがって、リマッパ411は、典型的には（少なくとも、視差の或る範囲について）画像内の視差を低減する視差再マッピングを提供することができる。

リマッパ411は、多くの実施形態では、より高い尖度を示す形状特性に応じて視差再マッピングによって提供される視差圧縮の程度を増加させるように構成されてもよい。具体的には、（メイン）モードの振幅が大きくなるほど、メインピークの幅が狭くなるほど、視差再マッピングを適用することによる圧縮が高くなる。

いくつかの実施形態では、視差再マッピングは、視差圧縮を導入するかまたは形状特性に依存しないかの切り替えによって簡単に適応させることができる。具体的には、形状特性が画像に有意なオーバレイ・グラフィックが含まれていないことを示している場合（例えば、（主）モードの振幅が、画像内の全画素数の20％またはサブセット内の画素数の50％の閾値未満である場合）、視差再マッピングは、単に出力値が入力値と等しい単位関数であってもよい（視差再マッピングが視差値に適用されないことに等しい）。しかしながら、画像が有意なオーバレイ・グラフィックスを含むことを形状特性が示している場合（例えば、（主）モードの振幅が閾値を超える場合）、視差再マッピングがすべてのスクリーン外視差値をゼロに圧縮することができる。

したがって、このような実施形態では、システムは、 オーバレイ・グラフィックを含むことが検出される入力画像が受信されると、スクリーン・レベルの前のオブジェクトがすべてスクリーン・レベルに押し戻されるように動作を自動的に適応させることができる。したがって、オーバレイ・グラフィックを取り囲む視差値の誤差および不正確さは、周辺領域とのグラフィックスの視差の差異が一般的に減少するため、あまり顕著ではなくなる。したがって、視差推定誤差は、（3D効果を犠牲にして）軽減される。しかしながら、オーバレイ・グラフィックを含まないことが検出される入力画像が受信された場合、変更は導入されず、スクリーンの前の奥行き特性を含むオリジナルの画像がレンダリングされてもよい。

多くの実施形態では、視差圧縮はそれほど劇的ではなく、形状特性への依存性も極端ではない。例えば、多くの実施形態では、視差再マッピングは、例えば、スクリーン・レベルの前の視差レベルのような少なくとも視差レベルの部分的な範囲の線形再マッピングであってもよい。

例えば、スクリーン前の視差値は、特に0から1の間であることができる再マッピング係数またはゲインを掛け合わせられることができる。実際のゲインは、形状特性に応じて決定される。例えば、ゲインは、（メイン）モードの振幅の関数として決定されることができる。特定の例として、ゲインは、サブセット内の画素の総数から、（主）モード視差レベルの視差値を有する画素数を減算し、サブセット内の画素の総数で除算した値として設定されることができる。これは、度数分布の尖度の増加に対して徐々に増加する視差圧縮をもたらすことができる。

説明したように、いくつかの実施形態では、リマッパは、視差値の視差範囲の部分範囲内の視差値を修正するように構成されてもよい。部分範囲は、例えば、スクリーンの前の視差値の範囲であってもよい。他の実施形態では、部分範囲は、例えば、より限定された範囲または特定の範囲であり得る。

また、いくつかの実施形態では、分析器407は、度数分布の視差値の部分範囲のみに応じて形状特性を決定するように構成されることができる。例えば、（主）モードを決定する場合、所与の範囲内の視差レベルのみが考慮されてもよい。例えば、オーバレイ・グラフィックスは、典型的にはスクリーンの前にあるので、分析器407は、スクリーン・レベルの前の奥行きに対応する視差値のみを考慮してもよい。

いくつかの実施形態では、オーバレイ・グラフィックスが発生する可能性のある範囲について情報が利用可能であるか、または仮定されてもよく、分析器407は形状プロパティを決定するときにその範囲のみを考慮してもよい。例えば、オーバレイ・グラフィックスは、例えば、(8ビットの視差値に対して）230から255までの視差レベルにのみ存在すると仮定することができる。この場合、分析器407は、この特定の範囲の度数分布のみを評価する（または実際に生成する）ことができる。例えば、形状特性は、230から255の間の最大振幅として生成されてもよい。

以下では、具体的な実現例について具体的に説明する。この例は、ステップエッジ画素である画素のサブセットを検出することに基づいている。具体的には、隣接する画素との画像値の差が閾値を超える画素を含むサブセットが生成される。次いで、このサブセットについて度数分布が生成され、度数分布の特性に基づいて再マッピングが適応される。

この例では、以下の主なパラメータと変数を利用する。

パラメータ
E_min：画素がステップエッジかどうか、つまり画素のサブセットに属するかどうかを判断するために使用されるしきい値。E_min=30
D_low：リマッピングが適用される奥行き/視差値。D_low = 128 (0から255までの8ビット視差値が使用される）。
N_low：それ以上で再マッピングが適用されるエッジ度数（ゲイン g> 0）。N_low= 10000.

変数
N_edge ^[K]：視差レベルk∈{0、...、255}の関数としてのステップエッジ画素の数
I_i,j ^(c)：画素i、jにおける画像のカラーチャネルc（RGB値が考慮される）
D_i,j：画素（位置）i、jにおける入力視差マップ値。
D_i,j ^out：画素（位置）i、jにおける出力（再マッピング）視差マップ。
g：視差値{D_low、...、255}の再マッピングに使用されるゲイン[0,1]

最初に、エッジ画素の度数が視差レベルの関数として決定される。

ステップエッジ画素の数は、多くのステップエッジ画素がしばしばグラフィックスオブジェクトの発生と一致するので、特に有用な測度である。これは、グラフィック・オブジェクト（オープニングクレジットなど）が前景でレンダリングされることが多いため、これらのエッジが「スクリーン外」の視差値に対して発生する場合はなおさらである。

この例では、視差レベルの関数としてのエッジ画素の数は、以下のように決定される。

したがって、等式は、以下の画像特性基準に基づく度数分布の例示的な生成を示す。

次のコードは、OpenCVタイプを使用してこの式をC ++でどのように実装できるかを示す。コードフラグメントはエッジ情報を格納するが、上記の式から、これは必要ではないことは明らかである。各奥行きレベルk∈{0、...、255}に対してN_edgeのみを格納する必要がある。

範囲{0,..., 255}の入力視差マップは、次の式を使用して範囲{0,..., 255}の出力奥行きマップに再マップされる。

ここでゲインは次のように計算される。

したがって、上で示した視差再マッピングは、以下によって与えられる形状特性に基づいて適応される。

すなわち、形状特性は、（スクリーンの前の部分範囲において）度数分布の（主）モードとして与えられる。

この例では、{128,..., 255}の部分範囲に対して最大度数が決定され、128の値はゼロ視差に対応する。128より小さい値を除外することは、シャープなエッジがスクリーンの前に存在する場合にゲインが1より小さい値にのみ設定されることを意味する。

次のコードフラグメントは、再マッピングがC ++でどのように実装されるかを示している。

図5は、このアプローチを図1-3の例に適用した結果を示す。見て分かるように、テキストの結果の視差値は周囲の背景の視差値にはるかに近く、それにより視差誤差による大きなレンダリング誤差を回避する。したがって、大幅に改善された3D画像のレンダリングを実現することができる。

前述の説明は、画素のサブセットの選択および分析が1つのパラメータに基づいて生成される例に焦点を当てている。例えば、エッジ検出または彩度に基づいてサブセットを生成することができ、したがって、これの度数分布が決定されることができる。しかしながら、他の実施形態では、このアプローチは、複数のパラメータおよび特性を考慮することができる。具体的には、画像特性基準が、複数のパラメータの検討を含むことができる。例えば、ある画素がサブセットに含まれるためには、画像特性基準は、それがエッジ画素とみなされることと、所定の閾値よりも高い飽和レベルを有することの両方を必要とすることがある（例えば、 最大および最小色チャネル値の差が、最大範囲の少なくとも50％でなければならない）。

いくつかの実施形態では、サブセットセレクタ403は、複数のサブセットを生成し、複数のサブセットに基づいてマッピングを適応させるように構成されることができる。例えば、第1の画像特性基準、例えば、画素がエッジ画素であるという要件を満たす画素の1つのサブセットを生成することができる。画素の第2のサブセットは、画素が所与の閾値を超える飽和レベルを有さなければならない（例えば、最大および最小色チャネル値間の差が最大範囲の少なくとも50％でなければならない）といったような第2の画像特性基準を満たす画素を含むように生成されることができる。

視差再マッピングは、その後、両方のサブセットに基づいて適応されることができる。

これは、例えば、各サブセットについて度数分布を生成することによって行うことができる。次に、各度数分布について別々に形状特性を生成することができる。例えば、モードの振幅は、画素の第1のサブセットの第1の度数分布と画素の第2のサブセットの第2の度数分布の両方について決定されてもよい。格差の再マッピングは、両方のモードに基づいて決定される。具体的には、第1の形状特性と第2の形状特性とを組み合わせて共通の形状特性とし、これに基づいて視差再マッピングを決定してもよい。例えば。 （主）モードの振幅は単純に一緒に加算されてもよく、視差圧縮のためのゲインは合計の合成された振幅の関数として計算されてもよい。

他の実施形態では、画素の第1および第2のサブセットを組み合わせて画素の結合サブセットにし、結合サブセットの度数分布を計算することができる（画素の単一のサブセットが、そのサブセットに含まれるべき画素について満たされ得る代替の要件を有する画像特性基準から決定されることに対応する）。同様に、第1および第2の度数分布が、それぞれ第1および第2のサブセットについて計算されることができ、2つの度数分布を組み合わせて単一の度数分布にすることができる。

なお、上述の説明では、各画素の出現度数を均等に重み付けして度数分布を算出した。 すなわち、 所与のクラスまたは奥行きレイヤ（または各クラスが2つ以上の奥行きレイヤを含む場合の奥行きレイヤの範囲）の振幅/度数は、そのクラスのサブセット内の画素数として与えられる。

しかし、いくつかの実施形態では、分布評価器405は、度数分布を生成するときに画素を重み付けするように構成されることができる。具体的には、クラスの各画素の寄与は、それぞれの画素間で変化し得る値として与えられてもよい。

重みは、具体的には、画素の画像位置に依存してもよい。例えば、重みは、画素から画像の中心位置までの距離の増加と共に減少することができる。したがって、そのような実施形態では、度数分布において画像境界の画素よりも中央の画素のほうが重みが大きくなり、再マッピングは、境界画素よりも中央の画素により大きく依存することになる。

いくつかの実施形態では、画像/スクリーンの中心位置までの画素の距離に基づいて、例えば0と1との間の重みを各画素について計算することができる。度数分布を生成するとき、所与のクラス/視差レベルの振幅は、そのクラス/視差レベルに対応する視差値を有するサブセット内の各画素の重みの和として決されることができる。したがって、アプローチは、（単純なバイナリ的な生起ではなく）分数的な生起が考慮される度数分布の生成に対応すると考えることができる。

明瞭化のための上記の説明は、異なる機能回路、ユニットおよびプロセッサを参照して本発明の実施形態を説明していることが理解されよう。しかしながら、本発明を損なうことなく、それぞれの機能回路、ユニットまたはプロセッサ間の機能の任意の適切な分配を使用することができることは明らかであろう。例えば、別個のプロセッサまたはコントローラによって実行されるように示された機能は、同じプロセッサまたはコントローラによって実行されてもよい。したがって、特定の機能ユニットまたは回路への言及は、厳密な論理的または物理的な構造または構成を示すのではなく、記載された機能性を提供するための適切な手段の参照であるとみなすべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含む任意の適切な形態で実施することができる。本発明は、1つ以上のデータプロセッサおよび/またはデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして、少なくとも部分的に実装されてもよい。本発明の実施形態の要素およびコンポーネントは、任意の適切な方法で物理的、機能的および論理的に実装されてもよい。実際、機能は、単一のユニット、複数のユニット、または他の機能ユニットの一部として実装されてもよい。このように、本発明は、単一ユニットで実施されてもよく、又は異なるユニット、回路及びプロセッサ間で物理的及び機能的に分配されてもよい。

本発明は、いくつかの実施形態に関連して説明されたが、本明細書に記載された特定の形態に限定されることを意図するものではない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。さらに、ある特徴が特定の実施形態に関連して記載されているように見えるかもしれないが、当業者は、記載された実施形態の様々な特徴を本発明に従って組み合わせることができることを認識するであろう。請求項において、「含む」、「有する」といった用語は、他の要素またはステップの存在を排除するものではない。

さらに、個々にリストされているが、複数の手段、要素、回路または方法のステップは、例えば、 単一の回路、ユニット、またはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含まれているかもしれないが、これらはおそらく有利に組み合わされてもよく、異なる請求項に含まれているからといって、特徴の組み合わせが実現可能および/または有利ではないことを意味するものではない。また、請求項の1つのカテゴリーに特徴を含めることは、このカテゴリーに限定することを意味するのではなく、その特徴が適切な他の請求カテゴリーに等しく適用可能であることを示す。さらに、請求項中の特徴の順序は、その特徴が機能しなければならない特定の順序を意味するものではなく、特に、方法の請求項における個々のステップの順序は、ステップをこの順序で実行しなければならないことを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。また、単数形の参照は複数を排除するものではない。したがって、「a」、「an」、「first」、「second」等への言及は複数を排除するものではない。特許請求の範囲における参照符号は、単に明確にするための例として提供されており、決して特許請求の範囲を限定するものとして解釈されるべきではない。

Claims (12)

1. 三次元画像を処理する装置であって、
   三次元画像を受信するための受信器であって、前記三次元画像の少なくとも或る画素群の各画素が関連付けられた画像値及び視差値を有する受信器、
   前記画素群の各画素の前記画像値に対して画像特性基準を評価して、前記画素群のうち、前記画像特性基準が満たされる画素のサブセットを決定するサブセットセレクタ、
   画素の前記サブセットの視差値についての度数分布を生成する分布評価器、
   前記度数分布の形状特性を決定する分析器であって、前記形状特性は、前記度数分布の少なくとも１つのピークの特性を示す分析器、
   前記形状特性に応じて視差再マッピングを決定するアダプタであって、前記度数分布の前記形状特性がより高い尖度を示すほど、前記視差再マッピングより提供される視差圧縮を増加させるアダプタ、および
   前記三次元画像の少なくとも幾つかの画素の前記視差値に前記視差再マッピングを適用することにより前記少なくとも幾つかの画素の視差値を修正するリマッパ、
   を有する装置。
2. 前記分析器が、
   前記度数分布の最大度数、
   前記度数分布の平均度数に対する前記度数分布の最大度数、
   前記度数分布のピークの幅測度、
   ピーク度数の視差レベルの近傍における度数に対する前記度数分布の前記ピーク度数、
   のグループから選択される少なくとも１つのパラメータに応じて、前記形状特性を決定する、請求項１に記載の装置。
3. 前記サブセットセレクタが、前記画素群の画素に対するエッジ検出指標を生成し、前記エッジ検出指標は画素が画像オブジェクトエッジに属するか否かを示し、前記画像特性基準が、前記エッジ検出指標に対する要件を含む、請求項１に記載の装置。
4. 前記サブセットセレクタが、前記画素群の各ピクセルについて画像特性遷移測度を生成し、前記画像特性基準が、前記画像特性遷移測度に対する要件を含む、請求項１に記載の装置。
5. 前記画像特性基準が、画素の輝度および彩度のうちの少なくとも一方に対する要件を含む、請求項１に記載の装置。
6. 前記リマッパが、前記視差値の視差範囲の部分的な範囲内の視差値のみを修正する、請求項１に記載の装置。
7. 前記分析器が、前記度数分布の視差値の部分的な範囲のみに応じて前記形状特性を決定する、請求項１に記載の装置。
8. 前記視差再マッピングが、少なくとも視差レベルの部分的な範囲における線形再マッピングであり、前記アダプタが、前記形状特性に応じて前記線形再マッピングのための再マッピング係数を決定する、請求項１に記載の装置。
9. 前記分布評価器が、前記度数分布を生成するときに、ピクセルの前記サブセットの画素を重み付けし、ピクセルに対する重みは、当該ピクセルの画像位置に依存する、請求項１に記載の装置。
10. 前記サブセットセレクタがさらに、前記画素群の各画素に対して第２の画像特性基準を評価して、前記第２の画像特性基準が満たされる前記画素群のピクセルの第２のサブセットを決定し、当該装置がさらに、前記サブセットの度数分布と前記第２のサブセットの度数分布とが組み合わされた共通の形状特性を生成し、前記共通の形状特性に基づいて前記視差再マッピングを決定する、請求項１に記載の装置。
11. 三次元画像を処理する方法であって、
    少なくとも或る画素群の各画素が関連付けられた画像値及び視差値を有する三次元画像を受信し、
    前記画素群の各ピクセルの前記画像値に対して画像特性基準を評価し、
    前記画像特性基準が満たされる前記画素群のピクセルのサブセットを決定し、
    ピクセルの前記サブセットの視差値の度数分布を生成し、
    前記度数分布の少なくとも１つのピークの特性を示す、前記度数分布の形状特性を決定し、
    前記形状特性に応じて視差再マッピングを決定し、前記視差再マッピングにより提供される視差圧縮が、前記度数分布の前記形状特性がより高い尖度を示すほど増加し、
    少なくとも幾つかの画素の前記視差値に前記視差再マッピングを適用することにより前記三次元画像の前記少なくとも幾つかの画素の前記視差値を修正する、
    方法。
12. コンピュータにより実行されて、当該コンピュータに請求項１１に記載の方法を実行させる、コンピュータプログラム。

Images