JP5791818B2 - 突出ベース視差マッピング - Google Patents

Description

本発明は、マルチ表示ビューに基づいて、３次元（３Ｄ）ディスプレイ上に３Ｄ画像データをレンダリングするための３Ｄ画像信号の処理方法に関する。

また、本発明は、３Ｄビデオデバイス、３Ｄ画像信号、及びコンピュータプログラムに関する。

本発明は、３Ｄ表示（ディスプレイ）デバイス上へのレンダリングを改良するための３Ｄ画像データ処理の分野に関する。特に、特定の３Ｄディスプレイ上での３Ｄ体験を改良するために、取得可能な又は生成される奥行きマップが処理される。ここで、画像データは、ビデオデータを含み、通常２つの空間次元で処理され、ビデオデータにおける時間は第３の次元として用いられ得る。

「Adaptive 3D Rendering based on Region-of-Interest, by Christel Chamaret, Sylvain Godeffroy, Patrick Lopez, Olivier Le Meur, at Thomson Corporate Research, 1 Avenue de Belle-Fontaine 35576 Cesson-Sevigne France」は、３Ｄビデオ処理技術、特に高視差の管理を開示する。現在、高視差は、３Ｄ画面上での３Ｄシーンの視聴に強い影響を与える。シーンの突出領域は、通常、画像処理領域内の関心領域（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）と呼ばれる。３Ｄ体験は、関心領域に関係する効果をいくらか適用することによって補正される。特に、シーン内の関心領域上でゼロ視差となるように、２つのビュー間のずれが適応的に調節される。

上記文書は、主要関心領域がゼロ視差を有するように左右のビュー間に視差シフトを適用することによって画像データ内の視差を変更することを開示する。当該シフトにより、画像データ内の他の領域は、元のデータより高い視差を得る。かかる視差は、人間の視覚系が３Ｄ体験において快適に処理できる視差範囲を超えるおそれがあり、視覚的な不快感、めまい、又は複視（二重視）を生じ得る。上記文書は、かかる不快な領域を隠すために、例えば、画像の背景部分を選択的にぼかす等のぼかし（ブラーリング）を適用することを提案する。また、高視差関心領域をゼロ視差にシフトするため、比較的大きなシフトを適用しなければならない。よって、周知の方法の問題は、画像の３Ｄ体験が低減されることである。

本発明の課題は、高視差を有する３Ｄ画像データの改良されたレンダリングのための３Ｄ画像データ処理を画質を損なうことなく提供することである。

この目的のために、本発明の第１の側面によれば、最初の段落に記載された方法は、３Ｄ画像信号から、第１奥行き値を含む第１奥行きマップを引き出すステップと、３Ｄ画像信号から、３Ｄ画像データのある量内の突出を表す突出データを引き出すステップであって、突出は、突出範囲の奥行き値を有する突出要素を示す、ステップと、奥行き値の突出範囲内の第１奥行き値がディスプレイ奥行きサブ範囲にマッピングされるよう、３Ｄ画像データの量に対して、突出データに応じて奥行きマッピング関数を決定するステップであって、ディスプレイ奥行きサブ範囲は、３Ｄディスプレイの使用可能奥行き範囲のサブ範囲であり、使用可能奥行き範囲にかけての３Ｄ画質より高い３Ｄ画質を視聴者に提供する、ステップとを含み、当該奥行きマッピング関数を決定するステップは、突出奥行き値及び非突出奥行き値の結合ヒストグラムを作成するステップであって、突出奥行き値は、ヒストグラムに加えられる前に第１入力変換重みを用いて重み付けされ、非突出奥行き値は、ヒストグラムに加えられる前に第２入力変換重みを用いて重み付けされ、第１入力変換重み及び第２入力変換重みは、ディスプレイ奥行きサブ範囲及び３Ｄディスプレイの使用可能範囲に依存する、ステップと、結合ヒストグラム奥行き範囲を決定するステップと、結合ヒストグラム奥行き範囲を３Ｄディスプレイの使用可能奥行き範囲内にマッピングするステップであって、第１入力変換重み及び第２入力変換重みは、互いに異なり、奥行き値の突出範囲内の第１奥行き値が、ディスプレイ奥行きサブ範囲にワープされるよう選択される、ステップとを含み、第２奥行きマップに基づいて表示ビューを生成するために、奥行きマッピング関数によって第１奥行きマップを第２奥行きマップに変換するステップをさらに含む。

この目的のために、本発明の他の側面によれば、マルチ表示ビューに基づいて３Ｄディスプレイ上に３Ｄ画像データをレンダリングするための３次元（３Ｄ）画像信号を処理するための３Ｄビデオデバイスは、入力手段とビデオプロセッサとを含み、入力手段は、３Ｄ画像信号から、第１奥行き値を含む第１奥行きマップを引き出すステップと、３Ｄ画像信号から、３Ｄ画像データのある量内の突出を表す突出データを引き出すステップであって、突出は、突出範囲の奥行き値を有する突出要素を示す、ステップとを実行し、ビデオプロセッサは、奥行き値の突出範囲内の第１奥行き値がディスプレイ奥行きサブ範囲にマッピングされるよう、３Ｄ画像データの量に対して、突出データに応じて奥行きマッピング関数を決定するステップであって、ディスプレイ奥行きサブ範囲は、３Ｄディスプレイの使用可能奥行き範囲のサブ範囲であり、使用可能奥行き範囲にかけての３Ｄ画質より高い３Ｄ画質を視聴者に提供する、ステップとを実行し、当該奥行きマッピング関数を決定するステップは、突出奥行き値及び非突出奥行き値の結合ヒストグラムを作成するステップであって、突出奥行き値は、ヒストグラムに加えられる前に第１入力変換重みを用いて重み付けされ、非突出奥行き値は、ヒストグラムに加えられる前に第２入力変換重みを用いて重み付けされ、第１入力変換重み及び第２入力変換重みは、ディスプレイ奥行きサブ範囲及び３Ｄディスプレイの使用可能範囲に依存する、ステップと、結合ヒストグラム奥行き範囲を決定するステップと、結合ヒストグラム奥行き範囲を３Ｄディスプレイの使用可能奥行き範囲内にマッピングするステップであって、第１入力変換重み及び第２入力変換重みは、互いに異なり、奥行き値の突出範囲内の第１奥行き値が、ディスプレイ奥行きサブ範囲にワープされるよう選択される、ステップとを含み、第２奥行きマップに基づいて表示ビューを生成するために、奥行きマッピング関数によって第１奥行きマップを第２奥行きマップに変換するステップをさらに実行する。

好ましくは、マルチ表示ビューに基づいて３Ｄディスプレイ上に３Ｄ画像データをレンダリングするための３Ｄ画像信号は、３Ｄ画像データのある量内の突出を表す突出データを含むメタデータであって、突出は、突出範囲の奥行き値を有する突出要素を示す、メタデータを含み、当該信号は、３Ｄビデオデバイスにおいて、３Ｄ画像信号から、第１奥行き値を含む第１奥行きマップを引き出すステップと、突出範囲内の第１奥行き値がディスプレイ奥行きサブ範囲にマッピングされるよう、３Ｄ画像データの量に対して、突出データに応じて奥行きマッピング関数を決定し、ディスプレイ奥行きサブ範囲は、３Ｄディスプレイの使用可能奥行き範囲のサブ範囲であり、使用可能奥行き範囲にかけての３Ｄ画質より高い３Ｄ画質を視聴者に提供するステップと、第２奥行きマップに基づいて表示ビューを生成するために、奥行きマッピング関数によって第１奥行きマップを第２奥行きマップに変換するステップとを可能にする。

上記手段は、特定のディスプレイ上にレンダリングされるビュー間の視差が視差の使用可能範囲に含まれるよう視差を変更する効果を有する。使用可能範囲は、３Ｄ（立体）快適帯と呼ぶこともでき、これは、すなわち人間の視覚系によって快適に３Ｄ体験に処理できる、３Ｄレンダリングにおける視差値の範囲である。また、３Ｄ画像データ内の突出データは、画像内の関心要素の突出範囲を決定するために使用され、かかる要素は、高い３Ｄ画質を有する３Ｄディスプレイの奥行きサブ範囲上にマッピングされる。

当該方法は、マルチ表示ビューに基づいて３Ｄディスプレイ上に３Ｄ画像データをレンダリングするための３Ｄ画像信号を処理するための方法である。かかるディスプレイは、例えば、視聴者の左右の目に１組のビューを提供するよう設計されたマルチビューのビュービームを生成する自動３Ｄディスプレイでもよい。第１奥行きマップは、３Ｄ画像信号から引き出される。また、画像信号から、３Ｄ画像データのある量内の突出を表す突出データが引き出される。当該量は、単一の画像又はビデオフレーム、ビデオフィールド又はフレームのシーケンス（例えば、所定の期間に対応する複数のフレーム）、ショット、画像グループ等の符号化ユニット（ＭＰＥＧ符号化におけるＧＯＰ）等である。ショットを表す複数の連続フレーム、又は複数の非連続フレーム（例えば、開始フレーム又は開始及び終了フレーム）を使用することにより、突出及び非突出データのより良い近似を得ることができる。

突出データは、信号内にメタデータとして含まれてもよいし、３Ｄ画像データのある量を局所的に処理することによって取得されてもよい。突出は、突出要素、すなわち視聴者の注意を引く画像の部分を示す。画像の突出部は、奥行き値の突出範囲、すなわち、視聴者の注目を得る可能性が高い画像の部分の奥行き値の範囲を有する。例えば、突出は輝度、コントラスト、及び／又は色の違いに基づいてもよく、部分的には奥行きの違い、例えば突出に基づいてもよい。また、対象の種類、例えば人間の顔を検出して突出のために使用してもよい。当業者にとって、画像データ内の突出要素を決定する多様な方法が周知であろう。

また、本発明は以下の認識に基づく。発明者は、特定のディスプレイについて、全使用可能奥行き範囲にかけての３Ｄ画質より高い３Ｄ画質を視聴者に対して有する、当該３Ｄディスプレイの使用可能奥行き範囲のディスプレイ奥行きサブ範囲が存在することを理解した。サブ範囲はディスプレイの種類に固有でもよいし、特定の視聴者、例えば子供のために適応されてもよいし、視聴者によって設定される好みでもよい。また、使用可能範囲にかけてのクロストークが高い一方、サブ範囲は、ビュー間のクロストークのレベルが低くなるよう選択されてもよい。

奥行きマッピング関数は、３Ｄ画像データの前記量を突出データに応じてマッピングするよう決定される。奥行きマッピング関数は、他の奥行き値、すなわち画像の非突出部の非突出値が、実質的にディスプレイの使用可能範囲内に残るようにマッピングされるよう設計される。奥行きマッピング関数は元の第１奥行き値に適用され、突出範囲内の第１奥行き値がディスプレイ奥行きサブ範囲内の奥行き値に変更されるよう、適合された奥行き値を生成する。実際の環境において、実際の画像コンテンツに応じて、実質的に全ての奥行き値が選択されたサブ範囲にマッピングされてもよいし、突出奥行き値の少なくとも一部についてサブ範囲へのシフトが少なくとも実行されてもよい。マッピングにより、突出要素はディスプレイの高画質範囲に向けて奥行き方向に移動され、一方、画像の他の部分はディスプレイの使用可能範囲内の奥行き値を実質的に維持する。最後に、第１奥行きマップを第２（最終的な）奥行きマップに変換するために奥行きマッピング関数が３Ｄ画像データの該当する量に適用され、第２奥行きマップに基づいて表示ビューが生成される。主要な突出オブジェクトの奥行き値は上記サブ範囲に移動されるだけであり、ゼロ視差まで移動させられないため、かかるオブジェクトをゼロ視差に移動させることを好適に避けることができる。

本明細書において、奥行き値及び奥行きマップは視差値及び視差マップを含むことを留意されたい。奥行きの実際の表示は、特定の系（例えば０−２５５、高い値は視聴者に近く、ゼロは無限遠）によって使用される奥行き値範囲又は視差値範囲でもよい。あるいは、ゼロを中心とした視差値の範囲、例えば−５１２〜＋５１１を使用してもよく、負のデジタル値は表示画面の前方の視差を表し、ゼロは画面平面を表す。あるいは、ｘＲ＝ｘＬ−ｄＬの関係を用いて、正の視差ｄは遠くのオブジェクトを表してもよい。視差値はピクセルの実際のシフトに対応してもよいし、異なるスケール又は解像度を有してもよい。よって、奥行きに基づく値及び／又は処理に言及する場合、かかる用語は、視差に基づく表現も含むと解釈されるべきである。一般的に、視差は典型的には１／Ｚに基づく（Ｚは奥行き）。詳細には、Ｚとの関係は周知であるが複雑である（例えば、平行なカメラを有するエピポーラ幾何に基づく）。典型的なコンテンツの典型的な（小さな）入力視差範囲においては、奥行きと視差との間の関係は線形に近い。例えば、奥行きマッピング関数によって第１奥行きマップを第２奥行きマップに変換するステップ、及び第２奥行きマップに基づいて表示ビューを生成するステップは、変更（マッピング）された視差を有するビューを直接生成することによって結合されてもよい。

任意で、突出データは、画像のピクセルの突出の度合いを示す突出マップでもよい。突出の度合いは二進法、例えば０又は１でもよいし、中間値を用いてもよい。奥行き値の範囲は、各突出ピクセルに関して決定されてもよい。任意で、突出データは突出奥行き範囲である。範囲は別個に決定されてもよく、例えば、３Ｄ画像データ又は３Ｄビデオの作成又は予備処理中に決定されてもよい。

任意で、突出データを引き出すステップは、３Ｄ画像信号からのメタデータを引き出すステップを含み、メタデータは、３Ｄ画像データの突出データを表す。好適には、３Ｄ画像データのソース、例えば映画スタジオが突出を決定し、３Ｄビデオ信号内に突出に関するメタデータを含ませてもよい。

任意で、奥行きマッピング関数は、突出ピクセル及び非突出ピクセルの結合ヒストグラムを作成するステップであって、突出ピクセルは第１入力変換を受け、非突出ピクセルは第２入力変換を受け、第１入力変換は、使用可能範囲に対するサブ範囲に応じた補正関数を有する、ステップと、結合ヒストグラム奥行き範囲を決定するステップと、結合ヒストグラム奥行き範囲をディスプレイ使用可能奥行き範囲内にマッピングするステップであって、補正関数は、突出範囲内の第１奥行き値をディスプレイ奥行きサブ範囲にワープする、ステップとを含む。突出値及び非突出値はともに結合ヒストグラム内に入力されるが、異なる入力変換が適用される。例えば、非突出ピクセルは単にヒストグラム内に入力される、すなわち、一致入力変換が適用される。例えば、サブ範囲が０．２５ｘ使用可能範囲（すなわち、使用可能範囲の２５％）である場合、第１入力変換は、線形補正関数４を有してもよい。続いて、マッピングは、結合ヒストグラム奥行きを使用可能範囲内に有することに基づく。上記補正関数によって突出奥行きを好適に事実上拡大することにより、突出奥行きは実質的にサブ範囲内に包含される。

任意で、３Ｄ画像データの量は、３Ｄビデオ信号の期間であり、奥行きマッピング関数は、時間をまたぐ突出データに依存する。奥行きマッピング関数は期間に対して決定されるか、又はせいぜい前記期間中に徐々に変化する。好適には、人間の視覚系は、奥行きの遠近の頻繁な変化によって妨害されない。特に、奥行きマッピング関数は、３Ｄビデオ信号の期間としてショットを決定し、ショットに対してマッピング関数を設定するステップか、又はルックアヘッドを有する移動ウィンドウを使用して、ウィンドウに対してマッピング関数を設定するステップを含んでもよい。

任意で、ビデオプロセッサは、第２奥行きマップに基づいて表示ビューを生成するよう構成されてもよい。任意で、デバイスは、視聴者の左右の目のための表示ビューを表示するための３Ｄディスプレイを含む。任意で、ビデオプロセッサは、３Ｄビデオデバイスに接続された３Ｄ表示（ディスプレイ）デバイスからディスプレイ能力情報を取得することによってディスプレイ奥行きサブ範囲を決定するよう構成される。

任意で、突出データを引き出すステップは、３Ｄ画像信号からメタデータを引き出すステップを含み、メタデータは３Ｄ画像データの突出データを表す。

本発明に係る方法、及び３Ｄデバイスの他の好ましい実施形態は添付の特許請求の範囲において提供され、それらの開示は、参照によって本明細書に組み込まれる。

本発明の上記及び他の側面は、以下の記載及び図面によって例示的に説明される実施形態を参照して説明されることにより、明らかになるであろう。

図１は、３Ｄ画像データを表示するためのシステム内で３Ｄ画像データを処理するためのデバイスを示す。 図２は、視差マッピングのシステムの概要を示す。 図３は、従来技術の視差マッピングを概略的に示す。 図４は、改良された視差マッピングを概略的に示す。 図５は、非線形視差マッピングを示す。 図６は、最大ゲイン制限を示す。 図７は、改良された非線形視差マッピングを示す。

図面において、前に説明された要素に対応する要素は同じ参照符号を有し得る。

本発明は、静止画又は動画、あらゆる種類の３Ｄ画像データに対して使用できることに留意されたい。システムは、３Ｄ画像データ内に与えられた奥行き（深度）マップを処理する。奥行きマップは、システムの入力において元から存在してもよいし、下記のように、例えばステレオ（Ｌ＋Ｒ）ビデオ信号内の左／右フレームから、又は２Ｄビデオから生成されてもよい。３Ｄ画像データは、デジタルコード化された電子データとして取得可能であると仮定される。本発明は、かかる画像データに関連し、デジタル領域において画像データを処理する。

３Ｄビデオフォーマットと呼ばれる、３Ｄビデオデータをフォーマット及び伝送する方法（形態）が種々存在する。いくつかのフォーマットは、２Ｄチャネルを用いて３Ｄ情報をも運ぶことに基づく。例えば、左右のビューをインターレースしてもよいし、左右及び上下に配置してもよい。あるいは、２Ｄ画像及び奥行きマップを伝送し、さらに、場合によってはオクルージョン又は透明性データ等の他の３Ｄデータを伝送してもよい。インターネット又はBlu-ray(登録商標) Ｄｉｓｃ（ＢＤ）（登録商標）等、３Ｄ画像データを提供又は伝送する任意の方法によって３Ｄビデオデータを提供することができる。

図１は、３Ｄ画像データを表示するためのシステム内で３Ｄ画像データを処理するためのデバイスを示す。３Ｄソースと呼ばれる第１の３Ｄビデオデバイス４０は、３Ｄビデオ信号４１を他の３Ｄ画像処理デバイス５０に伝送する。３Ｄ画像処理デバイス５０は、３Ｄ表示信号５６を伝送するために３Ｄ表示（ディスプレイ）デバイス６０に接続される。

図１は、さらに、３Ｄビデオ信号の担体として記録担体５４を示す。記録担体はディスク形状を有し、トラック及び中央の穴を有する。物理的に検知可能なマークのパターンによって構成されるトラックは、１つ以上の情報層上に実質的に平行な複数のトラックを構成する回転のらせん状又は同心円状パターンに従って構成される。記録担体は、例えばＣＤ、ＤＶＤ、又はＢＤ（Blu-ray(登録商標) Ｄｉｓｃ）（登録商標）等の、光学ディスクと呼ばれる光学的に読み取り可能な担体でもよい。情報は、例えばピット（凹部）及びランド（平面部）からなるトラックに沿う光学的に検知可能なマークによって情報層上に具現化される。また、トラック構造は、通常は情報ブロックと呼ばれる情報ユニットの位置を示すための位置情報、例えばヘッダ及びアドレスを含む。記録担体５４は、例えばＭＰＥＧ２又はＭＰＥＧ４符号化システムに従ってＤＶＤ又はＢＤ（登録商標）フォーマット等の既定の記録フォーマットに符号化された、ビデオ等のデジタルコード化３Ｄ画像データを表す情報を保持する。

３Ｄソースは、入力ユニット４７を介して受信された３Ｄビデオデータを処理するための処理ユニット４２を有する。入力３Ｄビデオデータ４３は、記憶システム、レコーディングスタジオ、３Ｄカメラ等から取得可能でもよい。ビデオプロセッサ４２は、３Ｄビデオデータを含む３Ｄビデオ信号４１を生成する。ソースは、３Ｄビデオ信号をビデオプロセッサから出力ユニット４６を介して他の３Ｄビデオデバイスに伝送してもよいし、例えば記録担体を介して配信のために３Ｄビデオ信号を供給してもよい。３Ｄビデオ信号は、入力３Ｄビデオデータ４３の処理、例えば、エンコーダ４８による３Ｄビデオデータの既定のフォーマットに従う符号化及びフォーマットに基づく。

３Ｄソースは、サーバ、ブロードキャスタ、記録デバイス、又はBlu-ray(登録商標) Ｄｉｓｃ（登録商標）等の光学記録担体を製造するためのオーサリング及び／若しくは製造システムであり得る。Blu-ray(登録商標) Ｄｉｓｃ（登録商標）は、コンテンツ作成者に、ビデオを配信するインタラクティブなプラットフォームを提供する。Blu-ray(登録商標) Ｄｉｓｃ（登録商標）に関する情報は、ブルーレイディスクアソシエーションのウェブサイトから、オーディオ・ビジュアルアプリケーションフォーマットに関する文書（例えば、http://www.Blu-ray(登録商標)disc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf）によって得ることができる。光学記録担体の製造プロセスは、さらに、３Ｄ突出メタデータを含み得る３Ｄビデオ信号を具現化するマークの物理パターンを提供するステップ、及び続いて当該パターンに従って記録担体の材料を成形して、少なくとも１つの記憶層上にマークのトラックを提供するステップを含む。

３Ｄ画像処理デバイス５０は、３Ｄビデオ信号４１を受信するための入力ユニット５１を有する。例えば、デバイスは、ＤＶＤ又はBlu-ray(登録商標) Ｄｉｓｃ（登録商標）等の光学記録担体５４から３Ｄビデオ情報を引き出すための入力ユニットに接続された光学ディスクユニット５８を含んでもよい。あるいは（又はさらに）、デバイスは、例えばインターネット又はブロードキャストネットワーク等のネットワーク４５に接続するためのネットワークインターフェイスユニット５９を含んでもよく、かかるデバイスは一般的にセットトップボックスと呼ばれる。３Ｄビデオ信号は、３Ｄソース４０によって示される遠隔ウェブサイト又はメディアサーバから引き出されてもよい。３Ｄ画像処理デバイスは、画像入力信号を所望の視差を有する画像出力信号に変換するコンバータでもよい。かかるコンバータは、様々な入力３Ｄビデオ信号を特定の種類の３Ｄディスプレイ用に変換するために、例えば、標準的な３Ｄコンテンツを、特定の種類又はベンダーの自動３Ｄディスプレイに適したビデオ信号に変換するために用いられ得る。実際において、デバイスは３Ｄ光学ディスクプレイヤー、通信衛星受信機、セットトップボックス、又は任意の種類のメディアプレイヤーでもよい。

３Ｄ処理デバイスは、入力ユニット５１に接続された処理ユニット５２を有し、処理ユニット５２は、出力インターフェイスユニット５５を介して表示デバイスに伝送される３Ｄ表示信号５６、例えば、HDMI(登録商標)(登録商標)規格に従う表示信号（「High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010」参照；３Ｄ部分は、http://HDMI(登録商標)(登録商標).org/manufacturer/specification.aspxでダウンロード可能である）を生成するために３Ｄ情報を処理する。処理ユニット５２は、表示デバイス６０上に表示するための、３Ｄ表示信号５６内に含まれる画像データを生成するよう構成される。

３Ｄ表示デバイス６０は、３Ｄ画像データを表示する。デバイスは、３Ｄプレイヤー５０から伝送された３Ｄビデオデータを含む３Ｄ表示信号５６を受信するための入力インターフェイスユニット６１を有する。伝送された３Ｄビデオデータは、３Ｄディスプレイ６３、例えばデュアルビュー又はマルチビューＬＣＤ上で表示されるために処理ユニット６２内で処理される。表示デバイス６０は、任意の種類の立体ディスプレイ（３Ｄディスプレイとも呼ぶ）であり得る。

３Ｄビデオデバイス内のビデオプロセッサ、すなわち、３Ｄビデオデバイス５０内のプロセッサユニット５２は、３Ｄビデオ信号を処理するための以下の機能を実行するよう構成される。３Ｄビデオ信号は、入力手段５１，５８，５９によって受信され、少なくとも第１奥行きマップ及び画像データを含む３Ｄ画像データを提供する。上述したように、この文脈において、視差マップは奥行きマップの一種とも考えられることに留意されたい。例えば、第１奥行きマップは、ステレオ（Ｌ＋Ｒ）入力信号から視差推定によって生成されてもよい。第１奥行きマップは、第１奥行き値、及び２次元ピクセルアレイ状の画像値を含む画像を有する。奥行きマップも２次元ピクセルアレイを有し、画像に対応するが、奥行きマップは異なる解像度を有し得ることに留意されたい。

３Ｄ表示デバイス６０内のビデオプロセッサ６２は、複数のビューをレンダリングするための表示制御信号を生成するために３Ｄビデオデータを処理するよう構成される。複数のビューは、３Ｄ画像データから奥行きマップを用いて生成され得る。

システムの第１実施形態において、ビデオプロセッサ６２は、マルチ表示ビューに基づいて、３Ｄ画像データを３Ｄディスプレイ上にレンダリングするために３Ｄ画像信号を処理するよう構成される。入力処理は、３Ｄ画像信号から第１奥行き値を含む第１奥行きマップを取得すること、及び、３Ｄ画像信号から３Ｄ画像データのある量内の突出を表す突出データを取得することを含む。突出は、突出範囲の奥行き値を有する突出要素を示す。奥行きマップ及び／又は突出データは、映画スタジオ等の３Ｄデータのソースで生成された後、３Ｄ画像信号とともに伝送されてもよいし、３Ｄプレイヤーデバイス又は３Ｄ表示デバイスにおいて生成されてもよい。

突出は、突出要素、すなわち視聴者の注目を得る画像内の部分を示す。画像の突出部は、突出範囲の奥行き値、すなわち視聴者の注目を得る可能性が高い画像部分の奥行き値の範囲を有する。突出は、例えば輝度、コントラスト及び／若しくは色差、並びに／又は突出等の奥行き差に基づき得る。また、対象の種類、例えば人間の顔を検知して、突出のために用いてもよい。このように、画像データ内で突出要素を決定する様々な方法が知られている。

例えば、顔を検出するために周知の顔検出器を適用してもよく、例えば「P. Viola and M. Jones, Robust Real-time Object Detection, Second International Workshop On Statistical And Computational Theories Of Vision - Modeling, Learning, Computing, and Sampling; Vancouver, Canada, July 13, 2001」を参照されたい。特に、大きい顔は最も突出しているため、大きい顔が検出される一方、より小さい顔は無視されてもよい。前方の顔に関しては、かかる検出は通常かなり強力であり、つまり、前方の顔はほとんどのフレームで検出される。

また、顔検出器以外の突出手段が含まれもよい。これは、特定のオブジェクト（物体）の検出器でもよいが、視聴者の注意を引く画像の部分を示す「標準的」突出手段でもよい。複数の検出器の出力が同じ突出奥行き範囲（ｄ^Ｓ _ｍｉｎ，ｄ^Ｓ _ｍａｘ）に関連付けられる場合、それらは組み合わされてもよいし、そうでない場合は別々に扱われてもよい。下記において、単一の突出奥行き範囲が仮定されるが、全ての記載は一般的な事例に等しく適用される。

３Ｄ画像データ内に突出メタデータを組み込むために、３Ｄフォーマットは、当該３Ｄフォーマット、例えば上記のＢＤ（登録商標）ビデオフォーマット又はHDMI(登録商標)(登録商標)（登録商標）インターフェイスフォーマットの制約内で伝送される追加のデータ構造又はメッセージを規定することによって拡張され得る。例えば、突出メタデータは、奥行き値若しくは視差値の突出範囲、又は画像データ内の１つ以上の突出領域の指標、例えば突出マップを含み得る。任意で、突出メタデータは、以下で説明されるような改良視差マッピングのために用いられる特定のマッピング関数、又は特定のパラメータを含んでもよい。例えば、マッピング中に使用するために、特定の関係、１つ以上のサブ範囲、又はオフセット値が提供されてもよい。また、突出メタデータは、３Ｄ画像データの特定の期間、例えばフレーム数、符号化画像グループ（ＭＰＥＧ符号化におけるＧＯＰ）、３Ｄビデオ信号のシーン又はショット等を指定してもよく、視差マッピングが調節され得る時間的境界若しくは移行時点、又はマッピングが固定されていなければならない期間、若しくはマッピングが全く適用されない期間に関するデータを含んでもよい。オフセットメタデータは、いくつかの異なる対象３Ｄ表示システムに関して含まれてもよく、例えば、比較的小さいサブ範囲を有する自動３Ｄディスプレイのための突出データの第１セット、及び、より大きなサブ範囲を有する３Ｄディスプレイのための第２セットを含んでもよい。

また、処理は、ディスプレイ奥行きサブ範囲を決定することを含む。ディスプレイ奥行きサブ範囲は、３Ｄディスプレイの使用可能な奥行き範囲のサブ範囲であり、使用可能な奥行き範囲にかけての３Ｄ画質より高い３Ｄ画質を視聴者に提供する。サブ範囲は、対応するディスプレイの種類に対して決定された所定の範囲でもよく、デジタルインターフェイス、又はルックアップテーブルを介してディスプレイに引き出されてもよい。例えば、サブ範囲は、ディスプレイＥＤＩＤデータの一部として伝送されてもよい。よって、ディスプレイサブ範囲は、例えば補正された奥行きマップ又はマルチビューを受信するために処理デバイスに接続された３Ｄディスプレイデバイス６０からディスプレイ能力情報を取得することによって決定されてもよい。

任意で、サブ範囲は特定の視聴者、例えば子供のために設定又は調整されてもよいし、視聴者によって入力されるユーザの好みでもよい。例えば、サブ範囲はオブジェクトが高い鮮明度を有する範囲であり、一方、サブ範囲を超えるオブジェクトは鮮明度が低い又はぼやける。自動立体ディスプレイは、通常かかるサブ範囲を有する。また、サブ範囲は、使用可能な範囲にかけてのクロストークに対して、ビュー間のクロストークのレベルが低くなるよう選択され得る。例えば、アクティブシャッターメガネを使用する立体ディスプレイは、このようなクロストークをしばしば生じる。

処理は、さらに、突出範囲内の第１奥行き値がディスプレイ奥行きサブ範囲にマッピングされるよう、３Ｄ画像データの上記量に対して、突出データに応じて奥行きマッピング関数を決定することを含む。最後に、第１奥行きマップが奥行きマッピング関数によって第２奥行きマップに変換され、第２奥行きマップに基づいて表示ビューが生成される。

あるいは、３Ｄプレイヤーデバイス５０内のビデオプロセッサ５２、又は３Ｄソースデバイス内の処理ユニット４２が、前記奥行きマップ処理を実行するよう構成されてもよい。突出データ、及び／又は第２奥行きマップ、及び／又は指定された３Ｄディスプレイ用に生成されたマルチビューは、３Ｄ画像信号とともに３Ｄディスプレイに向けて伝送されてもよい。

３Ｄ画像信号処理は、さらに、２Ｄビデオを３Ｄビデオに変換するために、２Ｄビデオ信号から第１奥行きマップを生成することを含んでもよい。前記３Ｄビデオ信号を提供することは、２Ｄビデオフレームシーケンスを含む２Ｄビデオ信号を受信すること、及び２Ｄビデオフレームシーケンスの処理に基づいて第１奥行きマップを生成することを含む。このように生成された奥行きマップはしばしば限定された品質を有し、奥行きマップをフィルタリング及び改良することによって、その品質を著しく向上できることに留意されたい。奥行きマップを生成する機能は、３Ｄプレイヤーの入力ユニット５１、３Ｄ表示デバイス６０内のビデオプロセッサ６２、又は３Ｄソースデバイス内の処理ユニット４２内に実装されてもよい。

一実施形態において、第１奥行きマップは、例えば３Ｄプレイヤーデバイス５０内のビデオプロセッサ５２、又は３Ｄ表示デバイス内の処理ユニット６２によって生成される。奥行きマップ生成器は、動作中、３Ｄ効果を生むために視聴者の両目に対して表示される左ビュー及び右ビューを表す左フレームＬ及び右フレームＲの時系列を有する３Ｄ信号（左右ビデオ信号とも呼ぶ）を受信する。当該ユニットは、その後左ビュー及び右ビューの視差推定によって第１奥行きマップを生成し、さらに、左ビュー及び／又は右ビューに基づいて２Ｄ画像を提供してもよい。視差推定は、Ｌ及びＲフレームを比較するために使用される動き推定アルゴリズムに基づき得る。オブジェクトのＬビューとＲビューとの間の大きな差は、その差の方向に応じて、表示画面の前方又は背後の奥行き値に変換される。生成器ユニットの出力は、第１奥行きマップである。他の入力ユニットを使用して第１奥行きマップ及び対応する２Ｄ画像データを提供してもよいことに留意されたい。

図２は、視差マッピングのためのシステムの概要を示す。視差推定器２１は、３Ｄ画像データに基づく第１視差マップ２８を提供する。突出検出器２２は、３Ｄ画像データ内の突出要素の検出に基づく突出データ２３を提供する。視差マッピングユニット２４において、第１視差マップは、３Ｄディスプレイ２７のために求められた対象視差サブ範囲２５に基づいて変更される。サブ範囲は、具体的な自動立体ディスプレイ等の特定の種類のディスプレイに対して予め定められてもよく、インターフェイスを介して伝送されてもよく、好みに基づいて視聴者によって設定又は調整されてもよい。最後に、ビューレンダラ―２６が複数のビュー、すなわち立体ディスプレイのための少なくとも左及び右ビュー、又は自動立体タイプのディスプレイのための連続ビューのセットを生成する。図２に概略的に示された機能は、例えばコンピュータプログラム内に実装される３Ｄビデオの処理方法のステップが、信号処理システム、又は汎用コンピュータ上で実行された場合に対応する。

かかる視差推定は、例えば「D. Scharstein and R. Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, International Journal of Computer Vision, 47(1/2/3):7-42, April-June 2002」から知られている。正確に推定及び記憶された場合、視差値は、立体コンテンツのための奥行き効果の適合を許容する。これは、例えば、立体コンテンツを、異なるサイズのディスプレイ上での視聴のために適合する上で、又はマルチビュー自動立体ディスプレイ上での視聴のために適合する上で有用であり得る。視差マップの明確な算出を伴わない視差範囲のワーピングが、「M. Lang, A. Hornung, O. Wang, S. Poulakos, A. Smolic, and M. Gross, Nonlinear Disparity Mapping for Stereoscopic 3D, Proc. ACM SIGGRAPH, 2010」で研究されている。

現在、自動立体ディスプレイ上で３Ｄコンテンツを視聴する際、入力奥行き範囲を、特定の種類のディスプレイ上で映りが良くなるような奥行き範囲にワープする重要性が認識された。特定のサブ範囲のみが、レンズ形のディスプレイ上での快適な視聴のために十分に鮮明であり得る。鮮明さは、奥行きが増加し、スクリーン平面から離れるにつれて徐々に減衰するが、使用可能な奥行き範囲にかけて使用可能な３Ｄ効果を維持する。

同時に、かかるディスプレイ上でコンテンツを視聴すると、ビデオの所定のオブジェクト又は部分が他のオブジェクト又は部分よりぼやけると、それらがより邪魔になることが明らかになる。あるいは、言い換えれば、突出オブジェクト（例えば、顔）のための鮮明度要求は、より突出でない／非突出オブジェクト（例えば、背景内の森）に対する要求より厳しくない。

図３は、従来技術の視差マッピングを概略的に示す。上側の部分は、３つの要素、すなわち小さな視差を有する円、正の視差（ｄ_２＞０）を有する三角、及び負の視差（ｄ_１＜０）を有する星（視聴者に最も近い）を有する３Ｄ画像３０を示す。中央部は、下部に図示される、ｄｍｉｎ〜ｄｍａｘによって示されるディスプレイの視差値の使用可能範囲３２より大きい視差値の入力範囲３１を示す。従来技術の視差マッピングは、使用可能な範囲に収まるよう、入力範囲を単純に圧縮する。

参照によって本明細書に組み込まれる、「The zone of comfort: Predicting visual discomfort with stereo displays」by T. Shibata, et al., Journal of Vision 2011, July 21, 2011, vol. 11, no. 8, article 11に示されるように、自然な視聴とステレオ３Ｄ視聴との間には違いが存在する。自然な視聴において、両眼離反運動（バージェンス）及び焦点合わせは相反しないが、ステレオ３Ｄ視聴では当てはまらない。バージェンス距離は画像コンテンツに応じて変化する一方、焦点距離は一定であるため、ステレオ３Ｄ視聴は、バージェンス距離と焦点距離との間に不一致を生む。

上記論文は、さらに、実際においてカメラマンは表示視差を抑えるために規則を用いようとするが、快適帯の厳密な定義には真の一致（コンセンサス）が存在しないことを述べる。例えば、画面より近い交差視差は、画面幅の２〜３％を超えるべきではなく、非交差視差は、画面幅の１〜２％を超えるべきではないことを述べるパーセント規則が言及されている。また、上記論文の著者は、このパーセント規則にいくらかの改良を加えることが好ましく、また、境界ははっきりとした境界ではなく、実際には連続的であることを述べる。

自動立体ディスプレイに関して、発明者は、２Ｄ画像に可能な限り近い３Ｄ立体画像から初めて、立体画像の奥行きを増加させる際、立体画像の知覚される鮮明度に大きな影響を与えることなく、所定の間隔にかけて視差（及び３Ｄ効果）を高められることに気が付いた。視差をさらに増加させると、立体画像の鮮明度は劣化するが、知覚される３Ｄ効果は向上する。ある時点において、表示視差を上げても３Ｄ効果は上がらなくなり、逆に知覚される３Ｄ効果は低減する。

また、発明者は、突出オブジェクトと非突出オブジェクトとの間の上記における違いに気が付いた。発明者は、快適帯の正確な限界に関係なく、突出オブジェクト及び非突出オブジェクトの許容可能な視差の許容値に違いが存在するようであることに気が付いた。この洞察に基づいて、突出オブジェクトがより小さい視差値（ゼロに向かう）を有する領域に、すなわち、より鮮明な画像レンダリングを可能にする奥行き範囲上にマッピングされた際、３Ｄ立体画像の立体的知覚を知覚的に改良することができた。これは非突出オブジェクトにおいてはそれほど決定的に表れず、このため、非突出オブジェクトは、より大きな視差値、例えば全快適帯にマッピングされ得り、知覚される品質への影響は小さい。

言い換えれば、好ましくは、突出オブジェクトは快適帯のサブ範囲上にマッピングされる。このサブ範囲は、快適帯より厳しい品質要求を有する快適帯のサブセットとして認識されてもよい。突出オブジェクトをディスプレイ視差範囲のこのサブセット内に位置させることにより、突出オブジェクトは、非突出オブジェクトより高い知覚鮮明度でレンダリングされ得る。

図４は、改良ディスプレイマッピングを概略的に示す。上側の部分は、４つの要素、すなわち視差が小さい円、正の視差（ｄ_２＞０）を有する三角、負の視差（ｄ_１＜０）を有する星（視聴者に最も近い）、及び三角の近くの顔を有する３Ｄ画像３３を示す。中央部は、視差値の入力範囲３４を示す。下側の部分は、第２視差マップ、すなわち突出ベース視差マッピング後のマップを示す。ｄ^ＮＳ _ｍｉｎ〜ｄ^ＮＳ _ｍａｘによって示される、画像の非突出部に使用可能なディスプレイの視差値の使用可能範囲３６が決定された（下部の図）。ｄ^Ｓ _ｍｉｎ〜ｄ^Ｓ _ｍａｘによって示されるサブ範囲３５は、画像の突出部に適している。顔は、突出要素として検出されると仮定される。以下に説明されるような突出ベースマッピングは、顔の視差値をサブ範囲にマッピングする視差マッピング関数を使用する。第２視差マップは、顔がサブ範囲３５内で表示されていることを示す。

よって、改良マッピングは、視差マッピングに対する可変要求の動機づけとなるオブジェクト突出に基づく。ワープのために単一の使用可能視差範囲を使用する代わりに、突出部のマッピングには特定のサブ範囲が使用される。実際において、２つの奥行き範囲、すなわちサブ範囲及び全使用可能範囲の使用は、非常に良好な改良を与え、使用される奥行き範囲は、１つ以上の突出推定に基づいて決定される。

一実施形態において、２つの奥行き範囲が使用され、一方は典型的には顔等である突出領域のためのサブ範囲であり、他方は風景等のより突出していない領域である。２つの視差範囲を以下のように定義したとする。
（ｄ^ＮＳ _ｍｉｎ，ｄ^ＮＳ _ｍａｘ）非突出（ＮＳ）領域のために使用可能
（ｄ^Ｓ _ｍｉｎ，ｄ^Ｓ _ｍａｘ） 突出（Ｓ）領域（例えば顔）のためのサブ範囲

通常、サブ範囲は１つ目の範囲より（はるかに）小さい。中間奥行き表現を用いる表示システムにおいては、使用可能な範囲をこの中間表現で指定してもよいことを理解されたい。例えば、表示設定が、非突出領域に対して全奥行き範囲が使用できるように調整された場合、ｄ^ＮＳ _ｍｉｎ＝０及びｄ^ＮＳ _ｍａｘ＝２５５ステップを定義すべきである、この場合、突出領域に対しては、例えばｄ^Ｓ _ｍｉｎ＝６４及びｄ^Ｓ _ｍａｘ＝１９２ステップでもよい。実際において、範囲はコンテンツの視聴テストに基づいて決定されてもよい。奥行きレンダリングディスプレイ内において、ビュー合成処理の一部として、中間奥行き表現が視差に変換されてもよい。

突出及び非突出領域からの入力視差値ｄ^Ｓ及びｄ^ＮＳは、以下のように単一のヒストグラムに結合することができる。変換は、オペレーターφ（ｄ）を規定することによって実行され、φ（ｄ）は、視差を突出範囲（ｄ^Ｓ _ｍｉｎ，ｄ^Ｓ _ｍａｘ）から非突出範囲（ｄ^ＮＳ _ｍｉｎ，ｄ^ＮＳ _ｍａｘ）に変換し、φ（ｄ^Ｓ _ｍｉｎ）＝ｄ^ＮＳ _ｍｉｎ及びφ（ｄ^Ｓ _ｍａｘ）＝ｄ^ＮＳ _ｍａｘである。通常、視差範囲はゼロを中心とし、オペレーターはφ（ｄ）＝ｃｄ（ｃは定数）でもよい。他の関数を適切に選択してもよいことに留意されたい。順番に並ぶフレームシーケンスに関しては、ピクセル突出を考慮して視差のヒストグラムを更新する。視差ｄを有する各ピクセルｐに対して、
ｈ（ｄ）＋＝１すなわち、ｈ（ｄ）＝ｈ（ｄ）＋１（ｐが非突出ピクセルである場合）
ｈ（φ（ｄ））＋＝１（ｐが突出ピクセルである場合）

その後、ヒストグラムから低パーセンタイル（例えば２）及び高パーセンタイル（例えば９８）を選択することによって対象視差範囲に向けてマッピングし、前記範囲を対象範囲にマッピングしてもよい。

他の実施形態において、奥行き変換のための時間的安定性が向上される。ヒストグラムは上記のように計算及び使用されるが、さらに、現在のフレームｈ_Ｎのためのヒストグラムは直前のフレーム内で使用されたヒストグラムＨ_Ｎ−１の重み付けされたバージョンと再帰的に組み合わされる。
Ｈ_Ｎ＝αＨ_Ｎ−１＋ｈ_Ｎ
ここで、αは、ショット内のフレームに関しては１に近似する又は等しく、ショットの移行直後は０に近似する又は等しい。一改良例において、αの値は最後のショット移行後のフレーム数に依存し、場合によっては、前回の又は次回のショット移行の推定確率、及び画像変化量を考慮する。

実践的な一実施形態は、以下の機能を有する（全ての値は例である）。この例において、奥行き／視差を有する入力ビデオを有し、顔等の突出要素が検出されたと仮定する。よって、画像は突出ピクセル、及び非突出ピクセルに分けられる。３Ｄディスプレイ（立体又は自動立体）は、「使用可能」視差範囲［−４０，４０］、及び「鮮明／好適」視差サブ範囲［−１０，１０］を有すると仮定する。マッピング関数は、入力奥行き値（［０，２５５］）をディスプレイ視差にマッピングしなければならない。

慣例的に、突出の使用がない場合、入力範囲［０，２５５］は［−４０，４０］にマッピングされる。このような慣例的なマッピングの問題は、この範囲の端部が、典型的にはあまり視聴に好ましくない／不快なことである。例えば、自動立体ディスプレイにおいて、範囲の端部は鮮明度が下がる。顔がこのような「端部」の視差値を有する場合、生じる３Ｄ画像はあまり視聴に好ましくない。

改良マッピングでは、突出領域及びそれらの入力奥行き値が知らされる。マッピング関数は、人々はこれらの部分に注目するため、これらの値を「鮮明／好適」視差範囲（［−１０，１０］）にワープさせるよう設計される。画像の残りの部分に関しては、視差は「使用可能」範囲［−４０，４０］にマッピングされる。

これを実現する方法は、入力視差値の結合ヒストグラムを作成することである。突出領域外のピクセルは、視差ヒストグラムに直接加えられる。
ｈ（ｄ）＋＝１（ｐが非突出ピクセルの場合）
上式は、値ｄのヒストグラム「ビン」が１増加されることを示す。突出領域内のピクセルに関しては、異なる変換が用いられ、ヒストグラムの異なるビンに加えられる。結合ヒストグラムは、マッピングを実行するために使用される。

この例において、線形マッピングを使用すると以下の式が得られる。
ｈ（４ｄ）＋＝１（ｐが突出ピクセルの場合）
上式は、値４ｄ（４×ｄ）の「ビン」が１増加されることを示す。よって、突出ピクセルは、結合ヒストグラムに入力される前に補正関数によって変換される。上記補正関数により、突出ピクセル奥行き範囲は、元の値の４倍の値にワープされる。かかる計算により、突出ピクセル及び非突出ピクセルの結合ヒストグラムが形成され、突出ピクセルは第１入力変換を受け、非突出ピクセルは第２入力変換を受ける。突出ピクセルのための第１入力変換は、使用可能範囲に対するサブ範囲に応じて設定される補正関数を有する。

このようにして、全てのピクセル全体に対して単一のヒストグラムが得られる。その後、所定のパーセンタイルを使用可能範囲にマッピングすることが望ましいこと、例えば、視差ヒストグラムの５％パーセンタイルを−４０に、そして９５％パーセンタイルを４０にマッピングすることができ、中間値に線形マッピングを実行できると決定できる。視差値のうちの少量、この例では約１０％がディスプレイの使用可能範囲外にあるが、大部分は［−４０，４０］にマッピングされることに留意されたい。実際においては、使用可能範囲内に含まれるよう、視差値のうちの前記少量はクリッピングされてもよい。よって、結合ヒストグラム奥行き範囲は、ディスプレイの使用可能奥行き範囲内にマッピングされ、補正関数は、突出範囲内の第１奥行き値をディスプレイの奥行きサブ範囲にワープさせる。

他の例において、突出データは度合い、例えば０〜１の小数値で表される。各ヒストグラムのビンは、当該少数によって変更されてもよい。例えば、オブジェクト検出器の信頼値ｗ∈［０，１］を、φ（ｄ）を調節することによって、又は好ましくはピクセルｐを部分的に突出なピクセルとして扱うことによって、考慮に入れてもよい。
ｈ（ｄ）＋＝１−ｗ（全てのｐに関して）
ｈ（φ（ｄ））＋＝ｗ（全てのｐに関して）

他の例示的な実施形態において、突出値及び非突出値のために別々のヒストグラムが計算される。突出範囲の境界値は、突出ヒストグラムから決定され、例えば５％パーセンタイル及び９５％パーセンタイルである。続いて、突出視差範囲を「鮮明／好適」範囲にマッピングし、一方で、残りの範囲を「使用可能」範囲にマッピングする。残りの範囲は、通常２つのサブ範囲、すなわち、［１０，４０］の範囲にマッピングされる、突出範囲の上限より高い非突出値の第１サブ範囲、及び［−４０，１０］の範囲にマッピングされる、突出範囲の下限より低い非突出値の第２サブ範囲を含む。かかるマッピングは区分線形マッピングでもよく、非線形マッピングでもよい。非線形マッピングの例を以下に示す。

任意で、ヒストグラムに突出ピクセルのみを入力してもよい。突出奥行き値のヒストグラムは、ディスプレイの高品質サブ範囲上に続けてマッピングされる。その後、奥行き値の残りの範囲が、実際に生じる非突出奥行き値の量を決定することなく、使用可能範囲内にマッピングされる。

実際の環境において時間的な安定性を改良するために、以下のオプションが考えられる。

オフライン処理のために、ショットごとに対象範囲を決定してもよい。時間的境界は既知でもよいし、検出アルゴリズムを使用して自動的に決定してもよい。上記ヒストグラムは、例えばショットに対して単一のマッピングを適用することによって、ショットの全長に関して計算され得る。あるいは、ショットの間に小さな差が生じてもよい。ショットの境界ではより大きな差が生じるが、ショット移行の間ではほとんど不可視である。よって、この視差マッピングは、安定且つ許容可能な３Ｄ体験を提供する。

オンライン処理に関しては、適切なバッファリングを用いることにより、いくつか先のフレームを見て、対象範囲をフレームの（移動）ウィンドウ（ｍｏｖｉｎｇ ｗｉｎｄｏｗ）に基づかせることができる。

オンライン処理において、フレームを遅延することができない場合、ショット中で範囲の減少（奥行きの減少）のみを許可することにより、時間的な安定性を改善し得る。ショット移行の直後、範囲はリセットされる。あるいは、ショット内で範囲を徐々に増加してもよい。

図５は、非線形視差マッピングを示す。左のダイアグラム５０１は、視差値のヒストグラムを示す。このヒストグラムは、上記のようにそれぞれが異なる入力変換関数を有する突出及び非突出奥行き値の結合ヒストグラムである。中央のダイアグラム５０２は、正規化されたヒストグラムを示し、これは、各度数の推定により取得され、連続データに関しては確率密度関数（ＰＤＦ）とも知られている。右のダイアグラム５０３は、積分又は累積加算によって得られる累積分布関数（ＣＤＦ）の推定を示す。非線形マッピングの単純な方法は、ＣＤＦを使用可能な対象範囲、例えば［ｄ_ｍｉｎ，ｄ_ｍａｘ］＝［−４０，４０］にスケーリングすることであろう。
φ（ｄ）＝ＣＤＦ（ｄ）ｘ（ｄ_ｍａｘ−ｄ_ｍｉｎ）＋ｄ_ｍｉｎ＝８０＊ＣＤＦ（ｄ）−４０

単純なマッピングの結果、オブジェクト内の視差が伸長され、視覚的な歪みが生じるおそれがある。解決策は、例えば以下のようなマッピングの傾きを限定する制限マッピングである。
φ’（ｄ）＜＝ｍａｘｇａｉｎ
ここで、ｍａｘｇａｉｎは、前述の歪みに限界を設定するために選択された定数である。

図６は、最大ゲイン制限を示す。ｘ値は、対象奥行き値であり、ｙ値は、入力／出力密度比例ゲイン値である。単純マッピング６０１は、上記ゲインの非常に高いピーク値を示す。最大ゲイン値６０３は点線によって示される。制限マッピング６０２は、上記最大ゲイン６０３を越えない。ピーク値を有さない領域において、制限マッピング６０２は単純マッピング６０１より高い。

図７は、改良非線形視差マッピングを示す。この図は、非線形マッピング関数の結果を示す。単純曲線７０１は、最大制限を有さない基本的な非線形マッピングφ（ｄ）を示し、制限マッピング曲線７０２は、最大制限を有する改良非線形マッピングφ’（ｄ）を示す。

以下の項は、マッピング関数φ’（ｄ）のサンプル疑似コードを４つのステップで提供する。
１．入力：
ａ．単純マッピングｐｈｉ＿ｎａｉｖｅ、所望の出力範囲［ｄ＿ｍｉｎ，ｄ＿ｍａｘ］、及び最大ゲイン制限ｍａｘｇａｉｎ
２．初期化：
ａ．ｐｈｉ’：＝ｐｈｉ’＿ｎａｉｖｅ（単純マッピングの導関数から開始）
ｂ．ｌａｓｔ：＝｛｝
３．反復：
ａ．ｓａｔｕｒａｔｅｄ（飽和）：＝｛ｄ｜ｐｈｉ’（ｄ）＞＝ｍａｘｇａｉｎ｝
ｂ．ｓａｔｕｒａｔｅｄ＝ｌａｓｔの場合、４．に進む
ｃ．ｌａｓｔ：＝ｓａｔｕｒａｔｅｄ
ｄ．ｓａｔｕｒａｔｅｄ内の全てのｄに関して、ｐｈｉ’（ｄ）：＝ｍａｘｇａｉｎ（飽和領域に関してマッピングを調節）
ｅ．ｃｏｒｒｅｃｔｉｏｎ（補正）：＝（ｓｕｍ（ｐｈｉ’＿ｎａｉｖｅ）−ｓｕｍ＿ｓａｔｕｒａｔｅｄ（ｐｈｉ’））／ｓｕｍ＿ｎｏｔ ｓａｔｕｒａｔｅｄ（ｐｈｉ’））（不飽和領域の補正ゲインを計算）
ｆ．ｓａｔｕｒａｔｅｄ内の全てのｄに関して、ｐｈｉ’（ｄ）：＝ｃｏｒｒｅｃｔｉｏｎ ｐｈｉ’（不飽和領域に関してマッピングを調節）
４．完了
ａ．ｐｈｉ：＝ｉｎｔｅｇｒａｔｅ ｐｈｉ’＋ｄ＿ｍｉｎ
ｂ．ｐｈｉ：＝ｐｈｉ＋（ｄ＿ｍａｘ−ｐｈｉ（∞））／２（マッピング範囲を指定範囲内にセンタリング）

条件４ｂは、元画像内に視差が無い場合又は少ない場合、例えば映画のクレジットの間に生じることに留意されたい。また、サンプルアルゴリズムは中央値視差を所望のサブ範囲の中央付近にマッピングし、これは一般的に好ましい。

要約すると、特定の３Ｄディスプレイ上での最適な３Ｄ視聴条件のためには、視差は使用可能な範囲にワープされなければならない。単一なワープ範囲は準最適であり、狭すぎる範囲（奥行き効果小）又は広すぎる範囲（突出オブジェクトの邪魔なぼやけ）を生じる。したがって、突出領域を制限された視差の出力サブ範囲上にワープする一方、非突出領域は、より広い使用可能視差をフルで使用することができる、入力視差範囲の突出ベースワープが提案される。

本発明は、具体的にはレンズ形又はバリアベースマルチビュー表示デバイス等の自動立体表示（ディスプレイ）デバイスに適用することができ、これらのデバイスにおいて、本発明は、モノ／ステレオコンテンツをかかるディスプレイでの使用のためにマルチビューに変換するために使用される。

本発明は、ＢＤ（登録商標）等の光学ディスクを介した３Ｄ画像信号伝送を用いる実施形態によって主に説明されたが、本発明は、ＤＶＢブロードキャスト又はインターネット等のデジタルチャネルを介したあらゆる３Ｄビデオ配信にも適している。

上記説明は、明瞭さのために、本発明の実施形態を機能的なユニット及びプロセッサと関連して説明してきたと理解されるであろう。しかし、本発明から逸脱することなく、異なる機能的ユニット又はプロセッサ間で機能を任意で適切に分配できることが明らかであろう。例えば、複数の別個のユニット、プロセッサ、又はコントローラによって実行されると説明された機能が、同じプロセッサ又はコントローラによって実行されてもよい。よって、特定の機能ユニットへの言及は、厳密な論理的又は物理的な構造又は構成を示すものではなく、説明された機能を提供するための適当な手段への言及としてのみ見なされるべきである。本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせとして実施できる。

上記において、ほとんどの実施形態はデバイス（装置）に関して示されてきたが、対応する方法によって同じ機能が提供される。かかる方法は、任意で、１つ以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアの少なくとも一部として実施され得る。本発明の実施形態の要素及び部品は、物理的、機能的、又は論理的に適切な任意の方法で実現できる。

ある特徴が具体的な実施形態と関連して説明される場合、当業者は、説明される実施形態の多様な特徴が、本発明にしたがって組み合わせられることを認識するであろう。個別の特徴を好適に組み合わせることができ、また異なる請求項に含まれているからといって、特徴の組み合わせが実現可能及び／又は好適でないとは限らない。また、ある特徴が１つのクレームカテゴリに含まれているからといって、このカテゴリに限定されるとは限らず、特徴は適宜他のクレームカテゴリに等しく適用できる、また、請求項内の特徴の順番は、特徴が作用されなければならない具体的な順番を示すものではなく、特に、方法クレーム内の個別なステップの順番は、ステップがその順番で実行されなければならないことを意味しない。ステップは任意の適切な順番で実行することができる。また、要素は複数を除外しない。「第１」、「第２」等の記載も複数を除外しない。特許請求の範囲における参照符号は、単に明瞭化のための例として与えられ、特許請求の範囲をいかなる意味でも限定するものではないと解釈されたい。

Claims (11)

1. マルチ表示ビューに基づいて３Ｄディスプレイ上に３Ｄ画像データをレンダリングするための３次元（３Ｄ）画像信号を処理する方法であって、当該方法は、
   −前記３Ｄ画像信号から、第１奥行き値を含む第１奥行きマップを引き出すステップと、
   −前記３Ｄ画像信号から、前記３Ｄ画像データのある量内の突出を表す突出データを引き出すステップであって、前記突出は、突出範囲の奥行き値を有する突出要素を示す、ステップと、
   −奥行き値の前記突出範囲内にある前記第１奥行き値がディスプレイ奥行きサブ範囲にマッピングされるよう、前記３Ｄ画像データの前記ある量に対して、前記突出データに応じて奥行きマッピング関数を決定するステップであって、前記ディスプレイ奥行きサブ範囲は、前記３Ｄディスプレイの使用可能奥行き範囲のサブ範囲であり、前記使用可能奥行き範囲にかけての少なくとも鮮明さを含む３Ｄ画質より高い３Ｄ画質を視聴者に提供する、ステップとを含み、当該奥行きマッピング関数を決定するステップは、
   −突出要素の奥行き値である突出奥行き値及び非突出要素の奥行き値である非突出奥行き値の結合ヒストグラムを作成するステップであって、前記突出奥行き値は、前記結合ヒストグラムに加えられる前に第１入力変換重みを用いて重み付けされ、前記非突出奥行き値は、前記結合ヒストグラムに加えられる前に第２入力変換重みを用いて重み付けされ、前記第１入力変換重み及び前記第２入力変換重みは、前記ディスプレイ奥行きサブ範囲及び前記３Ｄディスプレイの前記使用可能奥行き範囲に依存する、ステップと、
   −結合ヒストグラム奥行き範囲を決定するステップと、
   −前記結合ヒストグラム奥行き範囲を前記３Ｄディスプレイの前記使用可能奥行き範囲内にマッピングするよう前記奥行きマッピング関数を決定するステップであって、前記第１入力変換重み及び前記第２入力変換重みは、互いに異なり、奥行き値の前記突出範囲内の前記第１奥行き値が、前記ディスプレイ奥行きサブ範囲にワープされるよう選択される、ステップとを含み、
   −第２奥行きマップに基づいて表示ビューを生成するために、前記奥行きマッピング関数によって前記第１奥行きマップを第２奥行きマップに変換するステップ
   をさらに含む、方法。
2. −前記突出データは、画像のピクセルの突出の度合いを示す突出マップであるか、又は、
   −前記突出データは、突出奥行き範囲である、
   請求項１に記載の方法。
3. 前記突出データを引き出すステップは、前記３Ｄ画像データの前記突出データを表すメタデータを前記３Ｄ画像信号から引き出すステップを含む、請求項１に記載の方法。
4. 前記３Ｄ画像データの前記ある量は、３Ｄビデオ信号の期間であり、前記奥行きマッピング関数は、ある時間にわたる前記突出データに依存する、請求項１に記載の方法。
5. 前記奥行きマッピング関数を決定するステップは、
   −前記３Ｄビデオ信号の前記期間としてショットを決定し、前記ショットに対してマッピング関数を設定するステップか、又は、
   −先読みを有する移動ウィンドウを使用し、前記ウィンドウに対してマッピング関数を設定するステップを含む、請求項４に記載の方法。
6. マルチ表示ビューに基づいて３Ｄディスプレイ上に３Ｄ画像データをレンダリングするための３次元（３Ｄ）画像信号を処理するための３Ｄビデオデバイスであって、当該デバイスは、入力手段とビデオプロセッサとを含み、
   前記入力手段は、
   −前記３Ｄ画像信号から、第１奥行き値を含む第１奥行きマップを引き出すステップと、
   −前記３Ｄ画像信号から、前記３Ｄ画像データのある量内の突出を表す突出データを引き出すステップであって、前記突出は、突出範囲の奥行き値を有する突出要素を示す、ステップとを実行し、
   前記ビデオプロセッサは、
   −奥行き値の前記突出範囲内にある前記第１奥行き値がディスプレイ奥行きサブ範囲にマッピングされるよう、前記３Ｄ画像データの前記ある量に対して、前記突出データに応じて奥行きマッピング関数を決定するステップであって、前記ディスプレイ奥行きサブ範囲は、前記３Ｄディスプレイの使用可能奥行き範囲のサブ範囲であり、前記使用可能奥行き範囲にかけての少なくとも鮮明さを含む３Ｄ画質より高い３Ｄ画質を視聴者に提供する、ステップとを実行し、当該奥行きマッピング関数を決定するステップは、
   −突出要素の奥行き値である突出奥行き値及び非突出要素の奥行き値である非突出奥行き値の結合ヒストグラムを作成するステップであって、前記突出奥行き値は、前記結合ヒストグラムに加えられる前に第１入力変換重みを用いて重み付けされ、前記非突出奥行き値は、前記結合ヒストグラムに加えられる前に第２入力変換重みを用いて重み付けされ、前記第１入力変換重み及び前記第２入力変換重みは、前記ディスプレイ奥行きサブ範囲及び前記３Ｄディスプレイの前記使用可能奥行き範囲に依存する、ステップと、
   −結合ヒストグラム奥行き範囲を決定するステップと、
   −前記結合ヒストグラム奥行き範囲を前記３Ｄディスプレイの前記使用可能奥行き範囲内にマッピングするよう前記奥行きマッピング関数を決定するステップであって、前記第１入力変換重み及び前記第２入力変換重みは、互いに異なり、奥行き値の前記突出範囲内の前記第１奥行き値が、前記ディスプレイ奥行きサブ範囲にワープされるよう選択される、ステップとを含み、
   −第２奥行きマップに基づいて表示ビューを生成するために、前記奥行きマッピング関数によって前記第１奥行きマップを前記第２奥行きマップに変換するステップをさらに実行する、デバイス。
7. −前記ビデオプロセッサは、前記第２奥行きマップに基づいて前記表示ビューを生成するステップを含む、且つ／又は、
   −前記デバイスは、視聴者の左目及び右目のための表示ビューを表示する３Ｄディスプレイを含む、且つ／又は、
   −前記ビデオプロセッサは、前記３Ｄビデオデバイスに接続された３Ｄディスプレイデバイスからディスプレイ能力情報を取得することによって前記ディスプレイ奥行きサブ範囲を決定する、
   請求項６に記載のデバイス。
8. 前記突出データを引き出すステップは、前記３Ｄ画像データの前記突出データを表すメタデータを前記３Ｄ画像信号から引き出すステップを含む、請求項６に記載のデバイス。
9. 前記入力手段は、光学記録担体からビデオ情報を引き出すための光学記録担体ユニットを有する、請求項６に記載のデバイス。
10. コンピュータプログラムコード手段を含むコンピュータプログラムであって、前記コンピュータプログラムコード手段は、前記コンピュータプログラムがコンピュータ上で動作されたとき、プロセッサに、請求項１乃至５のいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムを含むコンピュータ読み取り可能媒体。