JP5820276B2 - ３ｄ画像及びグラフィカル・データの結合 - Google Patents

Description

本発明は、三次元［3D］画像データ及び補助グラフィカル・データを組み合わせる方法に関し、当該方法は、3D画像データに存在する深さ値を検出し、補助深さ値に基づいて3D画像データ及び補助グラフィカル・データを組み合わせることによって表示領域に画像コンテンツをレンダリングするための3D表示信号を生成するために検出された深さ値に基づいて適応的に補助グラフィカル・データのための補助深さ値を設定する。

本発明はさらに、3Dソース装置、3D表示装置及びコンピュータ・プログラム製品に関する。

本発明は、3D画像データが補助グラフィカル・データを遮蔽しないように3D画像データ（例えば字幕又はロゴのような補助グラフィカル・データと組み合わせた3Dビデオ）を3D表示装置にレンダリングする分野に関する。

2Dビデオ・データを供給する装置が知られている（例えば、DVDプレーヤーのようなビデオ・プレーヤー又はデジタルビデオ信号を提供するセットトップボックス）。ソース装置は、TVセット又はモニタのような表示装置に結合される。画像データは、ソース装置から、適切なインタフェース（好ましくはHDMIのような高速デジタルインタフェース）を介して転送される。現在、三次元（3D）画像データを供給する3D拡張装置が提案されている。同様に、3D画像データを表示する装置が提案されている。

3D動画又はTV放送のような3Dコンテンツのために、付加的な、補助グラフィカル・データが画像データと組み合わされて表示されることができる（例えば字幕、ロゴ、ゲーム・スコア、金融ニュース若しくは他のアナウンスのためのチッカー・テープ又はニュース）。

文献WO2008/115222は、テキストを三次元コンテンツと組み合わせるシステムを述べる。このシステムは、3Dコンテンツ中の最も大きい深さ値と同じレベルにテキストを挿入する。3Dコンテンツの１つの例は、二次元画像及び関連する深さマップである。この場合には、挿入されるテキストの深さ値は、所与の深さマップの最大の深さ値に適合するように調整される。3Dコンテンツの他の例は、複数の二次元画像及び関連する深さマップである。この場合には、挿入されるテキストの深さ値は、所与の深さマップの最大の深さ値に適合するように連続的に調整される。3Dコンテンツの更なる例は、右目画像及び左目画像を有する立体視コンテンツである。この場合には、左目画像及び右目画像のうちの一方のテキストは、立体視画像中の最も大きい深さ値に適合するようにシフトされる。3Dコンテンツのさらに他の例は、複数の右目画像及び左目画像を持つ立体視コンテンツである。この場合には、左目画像又は右目画像のうちの一方のテキストは、立体視画像中の最も大きい深さ値に適合するように連続的にシフトされる。結果として、このシステムは、3Dコンテンツと組み合わされたテキストを生成し、このテキストは、3Dコンテンツにおける3D効果を妨げず、観察者によって観察されるときに視覚的疲労を生じさせない。

文献WO2008/115222は、補助グラフィカル・データが画像データの最も近い部分の前に表示されるべきであることを述べる。現行のシステムによって発生する問題は、字幕が観察者に対してあまりに近くなる傾向があることである。我々は、観察者が実際には字幕の近い位置を評価するというわけではないことを見出した。いくつかの現在の3Dディスプレイに関しては、スクリーンの前であって観察者のより近くに表示されるオブジェクトに対して画像特性が減少する傾向にある。あらゆるステレオ表示では、近いオブジェクトは多くの眼精疲労を与える。

表示装置においてより便利な態様で補助グラフィカル・データ及び3Dコンテンツを組み合わせるシステムを提供することが本発明の目的である。

この目的のために、本発明の第１の態様によれば、冒頭の段落に述べられる方法において、深さ値を検出することは、3D画像データ中の注目領域を検出し、注目領域の深さパターンを決定することを含み、補助深さ値を設定することは、深さパターンに依存して補助深さ値を設定することを含む。

この目的のために、本発明の第２の態様によれば、冒頭の段落に述べられる三次元画像データ及び補助グラフィカル・データを組み合わせるための3Dソース装置は、3D画像データに存在する深さ値を検出して、補助深さ値に基づいて3D画像データ及び補助グラフィカル・データを組み合わせることによって表示領域に画像コンテンツをレンダリングするための3D表示信号を生成するために検出された深さ値に依存して適応的に補助グラフィカル・データのための補助深さ値を設定するための3D画像処理手段を有し、3D画像処理手段は、深さ値を検出することが、3D画像データ中の注目領域を検出して注目領域の深さパターンを決定することを含み、補助深さ値を設定することが、深さパターンに依存して補助深さ値を設定することを含むように構成される。

この目的のために、本発明のさらに別の態様では、冒頭の段落に述べられる三次元画像データ及び補助グラフィカル・データを組み合わせるための3D表示装置は、3D画像データを表示するための3Dディスプレイ、並びに、3D画像データに存在する深さ値を検出して、補助深さ値に基づいて3D画像データ及び補助グラフィカル・データを組み合わせることによって表示領域に画像コンテンツをレンダリングするための3D表示信号を生成するために検出された深さ値に依存して適応的に補助グラフィカル・データのための補助深さ値を設定するための3D画像処理手段を有し、3D画像処理手段は、深さ値を検出することが、3D画像データ中の注目領域を検出して注目領域の深さパターンを決定することを含み、補助深さ値を設定することが、深さパターンに依存して補助深さ値を設定することを含むように構成される。

これらの方策は、注目領域を検出することにより、観察者が補助データを観察すると仮定したときに、観察者の注意がどの要素に向けられるかをシステムが特定することを可能にするという効果を持つ。3D画像データに存在する深さ値を検出することは、左/右3Dフォーマット中の左及び右画像からそのような値を計算することや、2D+深さストリームからの深さデータを用いること、あるいは、左+右+深さストリームのような任意の他の3D画像フォーマットからそのような深さ値を導出することを意味する。深さパターンは、検出された注目領域に対して決定される。システムは、特に、深さパターンに依存して、例えば、いかなる他のオブジェクトもユーザの近くに位置しないところで、注目領域と実質的に同じ深さに、又は、注目領域の前に、補助深さ値を設定する。補助グラフィカル・データを表示する領域において、3D画像データは、補助グラフィカル・データを遮蔽せず、すなわち、より前方の位置にいかなる画像データも含まない。3D画像コンテンツの他の領域では、更なるオブジェクトが、より前方の位置を持つ場合があり、すなわちユーザにより近い場合があることに留意する必要がある。有利には、観察者は、観察している要素の深さを認識する際に妨害効果を受けず、補助グラフィカル・データの観察と注目領域の観察との間を切り替えるときに、大幅に焦点の深さを調整する必要はない。

本発明はさらに以下の認識に基づく。従来技術文献は、画像中の最も近い要素の前の深さにテキストを配置することを述べる。本発明者らは、そのような位置決めは、ユーザの近くに表示される任意の要素によってテキストを前方へ押し出すことを確認した。テキストの前方の位置は疲労を引き起こし、不快であるように知覚される。現在のシステムは、補助グラフィカル・データのより後方の位置を提供し、それは生成がより複雑であるが、観察者によって評価される。一般的に、補助グラフィカル情報は、最も近いオブジェクトより前方には配置されないが、やはりスクリーン面のところか又はその前である。一般に、画質及びシャープネスはスクリーン面において最適であるが、これは、ディスプレイの種類並びに補助グラフィカル・データの対象及びサイズに依存する場合がある。

本システムの実施の形態において、注目領域を検出することは、3D画像データ中の注目オブジェクトを検出することを含み、深さパターンは、そのオブジェクトの深さ値に基づく。注目オブジェクトは、観察者の注目が集中するオブジェクトであり、例えば、トーク・ショーの話者又はシーン中で演技する主役である。その効果は、注目オブジェクトの深さ位置が補助グラフィカル・データの深さ位置を決定することである。有利には、観察者は、補助グラフィカル・データを読むことに切り替えるときに、目の焦点を変更する必要がない。

本システムの実施の形態において、注目領域を検出することは、補助グラフィカル・データを配置するためのターゲット領域を選択することを含み、深さパターンは、ターゲット領域の深さ値に基づく。その効果は、補助データが、ターゲット領域に位置決めされるときに、周囲のターゲット領域の深さパターンに比例した深さに配置されることである。表示領域の他の領域において、オブジェクトが補助グラフィカル・データより前方の位置を持つ場合があることに留意する必要がある。有利には、補助グラフィカル・データの位置ではいかなるオブジェクトもより前方に存在しないが、前記位置から遠く離れた表示領域中のオブジェクトはより前方にあるように、ターゲット領域の範囲が選択される。

特に、本システムの更なる実施の形態において、ターゲット領域を選択することは、表示領域を複数の領域に分割することを含み、深さパターンを検出することは、ターゲット領域に依存した空間フィルタ関数に従って複数の領域の深さ値を空間的にフィルタリングすることに基づく。その効果は、空間フィルタリングが、ターゲット領域に対する距離に応じてさまざまな前方のオブジェクトに相対的な重さを適用することである。

特に、本システムの更なる実施の形態において、ターゲット領域を選択することは、ターゲット領域として、補助深さ値より大きい深さ値が存在しない画像データの領域を選択すること、ターゲット領域において、補助深さ値より大きい深さ値が存在しないように補助データを表示するための期間を選択すること、ターゲット領域として、いかなる画像データも表示されない表示の範囲を選択し、それに応じて、残りの表示領域に合わせるための画像データのサイズを低減することのうちの少なくとも１つを含む。その効果は、補助グラフィカル・データの位置及び/又は登場が、実際の3D画像データに従って調整され、すなわち、補助グラフィカル・データがいつどこに表示されるかが、表示されるコンテンツによって決まることである。

本システムの実施の形態において、深さパターンを決定することは、ビデオ・コンテンツの複数のフレームにおける深さ値を検出し、時間フィルタ関数に従って深さ値を時間的にフィルタリングすることを含む。その効果は、時間的フィルタリングが、3D画像データ中で移動し又は現れる（消える）要素の深さの差を滑らかにすることである。有利には、補助深さ値は、制御された態様で時間的に調整される。

本発明による方法、3D装置及び信号のさらに好ましい実施の形態は、添付の請求の範囲において与えられ、その開示は参照として本明細書に組み込まれる。

本発明の更なる目的は、三次元［3D］画像データ及び補助グラフィカル・データを組み合わせる方法を提供することであり、当該方法は、三次元［3D］画像データとともに使用するためのスケーリング及び/又はシフト情報を取得し、スケーリング及び/又はシフト情報にそれぞれ従って三次元［3D］画像データをスケーリング及び/又はシフトし、スケーリング及び/又はシフトされた三次元［3D］画像データによって占有されない三次元［3D］画像データによって定められる空間領域の中に補助グラフィカル・データの少なくとも一部が配置されるように、スケーリング及び/又はシフトされた三次元［3D］画像データ及び補助グラフィカル・データを組み合わせる。さらに、本発明は、請求項10による3Dソース装置、請求項11による3D表示装置、及び、請求項12によるデジタル情報担体を提供する。

本発明のこれらの及び他の態様は、以下の説明において一例として述べられる実施の形態及び添付の図面から明らかであり、それらを参照して説明される。

図において、すでに述べられた要素に対応する要素は同じ参照符号を持つ。

三次元（3D）画像データを表示するシステムを示す図。 3D画像データの一例を示す図。 補助深さに配置される補助グラフィカル・データを示す図。 ターゲット領域中の補助深さに配置される補助グラフィカル・データを示す図。 表示領域の分割を示す図。 ダウンスケーリングされた画像データの一例を示す図。 黒い境界中のダウンスケーリングされた画像データの例を示す図。 ビデオ上の字幕及びグラフィックスのオーバレイを示す図。 字幕及び浮動的なウィンドウのための場所を空けるためのビデオのスケーリングを示す図。 字幕を収容するためのビデオのスケーリング及びシフトの組み合わせを示す図。

図1は、三次元（3D）画像データ（例えばビデオ、グラフィックス又は他の視覚的情報）を表示するシステムを示す。3Dソース装置10は、3D表示信号56を転送するために3D表示装置13に結合される。3Dソース装置は、画像情報を受信するための入力ユニット51を持つ。例えば、入力ユニット装置は、DVD又はBlu-Rayディスクのような光学記録担体54からさまざまな種類の画像情報を読み出すための光学ディスク・ユニット58を含むことができる。別の態様では、入力ユニットは、ネットワーク55（例えばインターネット又は放送ネットワーク）に結合するためのネットワーク・インタフェース・ユニット59を含むことができ、そのような装置は通常、セットトップ・ボックスと呼ばれる。画像データは、遠隔メディア・サーバ57から読み出されることができる。ソース装置はさらに、衛星受信機、又は、表示信号を直接提供するメディア・サーバ、すなわち、ディスプレイ・ユニットに直接結合される3D表示信号を出力する任意の適切な装置であることができる。

3Dソース装置は、出力インタフェース装置12を介して表示装置に転送される3D表示信号56を生成するための画像情報を処理するために、入力ユニット51に結合される画像処理ユニット52を持つ。処理ユニット52は、表示装置13での表示のための3D表示信号56に含まれる画像データを生成するために配置される。ソース装置は、画像データの表示パラメータ（例えばコントラスト又はカラー・パラメータ）を制御するためのユーザ制御素子15を備える。そのようなユーザ制御素子はよく知られており、3Dソース装置のさまざまな機能（例えば再生及び記録機能）を制御し、例えばグラフィカル・ユーザインタフェース及び/又はメニューを介して前記表示パラメータを設定するためのさまざまなボタン及び/又はカーソル制御機能を持つ遠隔制御ユニットを含むことができる。

ソース装置は、3Dディスプレイ上で3D画像データと組み合わせられる補助グラフィカル・データを処理するための補助画像処理ユニット11を持つ。補助グラフィカル・データは、3D画像コンテンツと組み合わせられる任意の付加的な画像データ（例えば字幕、放送事業者のロゴ、メニュー又はシステム・メッセージ、エラー・コード、ニュース速報、チッカー・テープ等）であることができる。下記のテキストにおいて、通常、すべての種類の補助グラフィカル・データを示すものとして字幕が用いられる。3D画像処理手段11, 52は、以下の機能のために配置される。最初に、3D画像データに存在する深さ値が検出される。それに基づいて、補助グラフィカル・データのための補助深さ値は、検出された深さ値に依存して適応的に設定される。続いて、3Dディスプレイの表示領域で画像コンテンツをレンダリングするために3D表示信号56が生成される。それに対して、3D画像データ及び補助グラフィカル・データは、補助深さ値に基づいて組み合わせられる。3D画像処理手段は、以下の通りに深さ値を検出するように配置される。補助グラフィカル・データが表示される間に観察者が注目を集めると思われるところである3D画像データ中の注目領域が検出される。注目領域は、補助情報が表示されるべき領域、補助データ表示領域の近くの領域、又は、観察者の目がフォーカスされる要素として決定される画像中の他の場所のオブジェクト若しくは要素であることができる。

続いて、注目領域の深さパターン（すなわち注目領域の１セットの深さ値）が決定される。例えば、前記領域に存在する最大及び最小値が決定されることができ、深さパターンは平均であってもよい。さらに、時間的に存在する深さパターンが決定されることができる。更なる詳細が以下で説明される。注目領域の深さパターンに基づいて、例えば、上述の深さパターンの平均深さ値と同じ値に、又は補助表示領域に局所的に存在する3D画像データの任意の要素の前に、補助深さ値が設定される。画像データを空間的に又は時間的にフィルタリングする更なる例が以下に与えられる。

3D表示装置13は、3D画像データを表示するための装置である。この装置は、ソース装置10から転送される3D画像データ及び補助グラフィカル・データを含む3D表示信号56を受信するための入力インタフェース・ユニット14を持つ。表示装置は、ディスプレイの表示パラメータ（例えばコントラスト、カラー又は深さパラメータ）を設定するための更なるユーザ制御素子16を備える。転送された画像データは、ユーザ制御素子からの設定コマンドに従って画像処理ユニット18において処理され、3D画像データに基づいて3Dディスプレイ上で3D画像データをレンダリングするための表示制御信号を生成する。この装置は、処理された画像データを表示するための表示制御信号を受信する3Dディスプレイ17を持つ（例えばデュアル又はレンチキュラLCD）。表示装置13は、任意の種類の立体視ディスプレイ（3Dディスプレイとも呼ばれる）であることができ、矢印44によって示される表示深さ範囲を持つ。補助深さ値及び必要ならばx,y位置のような更なる表示データを伴う補助グラフィカル・データが、表示信号から読み出され、ディスプレイ17で3D画像データと組み合わせられる。

あるいは、補助グラフィカル・データを配置するための処理は、表示装置において実行される。3D画像データ及び補助グラフィカル・データは表示信号56を介して転送され、表示装置は補助処理ユニット19を持つ。補助画像処理ユニット19は、3Dディスプレイで3D画像データと組み合わせられる補助グラフィカル・データを処理する。3D画像処理手段19, 18は、ソース装置中の3D画像処理手段11, 52に対して上述された対応する機能のために配置される。更なる実施の形態において、ソース装置及び表示装置は、１セットの3D画像処理手段が前記機能を実行する１つの装置に組み合わせられる。

図1は、3D画像データの担体として、記録担体54をさらに示す。記録担体は、ディスク形状であり、トラック及び中央のホールを持つ。一連の物理的に検出可能なマークによって構成されるトラックは、情報レイヤ上の実質的に平行な軌道を構成するターンの螺旋又は同心パターンに従って配置される。記録担体は光学的に読取り可能であり、光学ディスクと呼ばれ、例えば、CD、DVD又はBD（ブルーレイ・ディスク）である。情報は、トラックに沿った光学的に検出可能なマーク（例えばピット及びランド）によって情報レイヤ上に表される。トラック構造はさらに、情報のユニット（通常、情報ブロックと呼ばれる）の位置を示すための位置情報（例えばヘッダ及びアドレス）を含む。記録担体54は、DVD又はBDフォーマットのような事前に決められた記録フォーマットで、例えばMPEG2又はMPEG4符号化システムに従って符号化された、デジタル的に符号化されたビデオのような画像データを表す情報を担持する。

以下のセクションは、三次元ディスプレイの概要及び人による深さの認識を示す。3Dディスプレイは、それらが深さのより真に迫った認識を提供することができるという意味において、2Dディスプレイと異なる。それらが単眼の深さ手がかり及び運動に基づく手がかりのみを示すことができる2Dディスプレイよりも多くの深さ手がかりを提供するので、これは達成される。

単眼の（又は静的な）深さ手がかりは、１つの目を用いて静止画像から得られる。画家は、絵において深さの感覚を生じさせるために、しばしば単眼の手がかりを用いる。これらの手がかりは、相対的なサイズ、地平線に対する高さ、遮蔽、遠近法、テクスチャ勾配及びライティング/陰影を含む。動眼手がかりは、観察者の目の筋肉における緊張から導き出される深さ手がかりである。目は、目のレンズを伸ばすため及び目を回転させるための筋肉を持つ。目のレンズの緊張及び緩和は適応と呼ばれ、画像に焦点を合わせるときに行われる。レンズの筋肉の緊張と緩和の量は、物体がどれだけ離れているか又は近くにあるかの手がかりを与える。目の回転は、両方の目が同じ物体に焦点を合わせるように行われ、輻輳と呼ばれる。最後に、運動視差は、観察者の近くの物体が、離れた物体より速く移動するように見える効果である。

両眼視差は、両方の目が僅かに異なる画像を見ることから導き出される深さ手がかりである。単眼の深さ手がかりは、任意の2D視覚表示タイプに用いられることができ、用いられている。ディスプレイにおいて両眼視差を再現することは、ディスプレイが、各々がディスプレイ上で僅かに異なる画像を見るように左及び右目のためのビューを分割することができることを要求する。両眼視差を再現することができるディスプレイは、我々が3D又は立体視ディスプレイと呼ぶ特別なディスプレイである。3Dディスプレイは、人の目によって実際に知覚される深さ次元に沿って画像を表示することができ、この文書において表示深さ範囲を持つ3Dディスプレイと呼ばれる。したがって、3Dディスプレイは、左及び右目に異なるビューを提供する。

２つの異なるビューを提供することができる3Dディスプレイは長い間存在している。これらの大部分は、左及び右目ビューを分離するために眼鏡を用いることに基づく。現在、ディスプレイ技術の発達によって、眼鏡を用いることなくステレオ・ビューを提供することができる新たなディスプレイが市場に登場した。これらのディスプレイは、自動立体視ディスプレイと呼ばれる。

第１のアプローチは、ユーザが眼鏡を伴わずにステレオ・ビデオを見ることを可能にする液晶ディスプレイに基づく。これらは、２つの技術、レンチキュラ・スクリーン及びバリア・ディスプレイのいずれかに基づく。レンチキュラ・ディスプレイに関しては、LCDは、レンチキュラ・レンズのシートによって覆われる。これらのレンズは、左及び右目が異なるピクセルからの光を受け取るように、ディスプレイからの光を回析する。これは、２つの異なる画像（一方が左目ビュー及び他方が右目ビュー）が表示されることを可能にする。

レンチキュラ・スクリーンに代わるものはバリア・ディスプレイであり、バリア・ディスプレイは、LCDのピクセルからの光を分離するために、LCDの後でバックライトの前の視差バリアを用いる。バリアによって、スクリーン前の規定の位置から、左目は右目と異なるピクセルを見る。バリアは、ディスプレイのロウのピクセルが左及び右目によって交互に見えるように、LCDと観察者との間にあってもよい。バリア・ディスプレイに関する問題は、輝度及び解像度の低下、さらに非常に狭い観察角である。これは、例えば９つのビュー及び複数の観察ゾーンを持つレンチキュラ・スクリーンと比べて、リビングルーム用TVとしてそれを魅力の少ないものにしている。

更なるアプローチは、高いリフレッシュ・レート（例えば120Hz）でフレームを表示することができる高解像度ビーマーと組み合わせてシャッタ眼鏡を用いることに依然として基づく。シャッタ眼鏡方式では左及び右目ビューが交互に表示されるので、高いリフレッシュ・レートが必要とされる。眼鏡を着用する観察者は60Hzでステレオ・ビデオを知覚する。シャッタ眼鏡方式は、高品質のビデオ及び高いレベルの深さを可能にする。

自動立体視ディスプレイ及びシャッタ眼鏡方法は共に適応-輻輳不整合を被る。これは、深さの量、及び、これらの装置を用いて快適に観察することができる時間を制限する。この問題を被らない、ホログラフィック及び体積ディスプレイのような、他の表示技術が存在する。なお、本発明は、深さ範囲を持つ任意の種類の3Dディスプレイのために用いられることができる。

3Dディスプレイのための画像データは、電子的な（通常はデジタルの）データとして利用可能であると仮定される。本発明は、そのような画像データに関し、デジタル領域で画像データを扱う。画像データは、ソースから転送されるときに、例えばデュアル・カメラを用いることにより、3D情報をすでに含むことができ、あるいは、専用の前処理システムが、2D画像から3D情報を（再）生成するために関与することができる。画像データは、スライドのような静止画であるか、又は映画のような動画像を含むことができる。通常はグラフィカル・データと呼ばれる他の画像データは、記憶されたオブジェクトとして利用可能であるか、又はアプリケーションによる要求に従ってオンザフライで生成されることができる。例えば、メニュー、ナビゲーション・アイテム又はテキスト及びヘルプ注釈のようなユーザ制御情報が、他の画像データに追加されることができる。

ステレオ画像がフォーマットされることができる多くの異なる態様が存在し、3D画像フォーマットと呼ばれる。いくつかのフォーマットは、さらにステレオ情報を伝達するために2Dチャネルを用いることに基づく。例えば、左及び右のビューは、インタレースされるか、又は、サイド・バイ・サイド及び上下に配置されることができる。これらの方法は、ステレオ情報を伝達するために解像度を犠牲にする。他のオプションはカラーを犠牲にすることであり、このアプローチはアナグラフ・ステレオと呼ばれる。アナグラフ・ステレオは、補色において２つの別々のオーバレイされた画像を表示することに基づくスペクトル多重化を用いる。着色したフィルタを有する眼鏡を用いることにより、各々の目は、その目の前のフィルタと同じ色の画像のみを見る。したがって、例えば、右目は赤の画像のみを見て、左目は緑の画像のみを見る。

別の3Dフォーマットは、2D画像及びその2D画像中の物体の深さに関する情報を伝達する追加の深さ画像（いわゆる深さマップ）を用いた２つのビューに基づく。画像+深さと呼ばれるフォーマットは、いわゆる「深さ」又は視差マップと2D画像との組み合わせである点において異なる。これは階調画像であり、ピクセルの階調値は、関連する2D画像中の対応するピクセルの視差の量（深さマップの場合には深さ）を示す。表示装置は、入力として2D画像を利用して更なるビューを計算するために、視差、深さ又は像差マップを用いる。これは、様々な態様で行われることができ、最も単純な形式では、ピクセルに関連付けられた視差値に応じてそれらのピクセルを左又は右にシフトする。論文"Depth image based rendering, compression and transmission for a new approach on 3D TV" Christoph Fehn著は、この技術に関する優れた概要を与える(http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf参照)。

図2は、3D画像データの例を示す。画像データの左部分は、通常はカラーの2D画像21であり、画像データの右部分は深さマップ22である。2D画像情報は、任意の適切な画像フォーマットで表されることができる。深さマップ情報は、おそらく2D画像と比べて減少した解像度で、各々のピクセルのための深さ値を持つ更なるデータストリームであることができる。深さマップにおいて、階調値は、2D画像中の関連するピクセルの深さを示す。白は観察者に近いことを示し、黒は観察者から離れた大きい深さを示す。3Dディスプレイは、深さマップからの深さ値を用いることにより及び必要とされるピクセル変換を計算することによって、ステレオのために必要とされる更なるビューを計算することができる。遮蔽は、推定又はホール充填技術を用いて解決されることができる。遮蔽マップ、視差マップ及び/又は背景の前で移動する透明なオブジェクトのための透明度マップのような、更なるフレームが、データストリーム中に含まれることができ、例えば画像及び深さマップ・フォーマットにさらに追加されることができる。

さらにビデオにステレオを追加することは、それがプレーヤー装置（例えばブルーレイ・ディスク・プレーヤー）からステレオ・ディスプレイへと送信されるときのビデオのフォーマットに影響を与える。2Dの場合、2Dビデオ・ストリームだけが送信される（復号された画像データ）。これが現在のように増加するステレオ・ビデオでは、（ステレオのための）第２ビュー又は深さマップを含む第２ストリームが送信される必要がある。これは、電気的インタフェースで必要とされるビットレートを倍にする場合がある。異なるアプローチは、解像度を犠牲にして、第２ビュー又は深さマップが2Dビデオとインタレースされるか又はサイド・バイ・サイドで配置されるように、ストリームをフォーマットすることである。

図2は、2Dデータ及び深さマップの例を示す。ディスプレイに送信される深さ表示パラメータは、ディスプレイが深さ情報を正しく解釈することを可能にする。ビデオに追加の情報を含める例は、ISO規格23002-3 "Representation of auxiliary video and supplemental information" に説明されている(例えば、ISO/IEC JTC1/SC29/WG11 N8259 of July 2007を参照)。補助ストリームの種類に応じて、更なる画像データは、４つ又は２つのパラメータから成る。表示信号中のパラメータは、3Dビデオ転送フォーマットを示すか又は変更することができる。

実施の形態において、注目領域の前記検出は、3D画像データ中の注目オブジェクトを検出することを含む。続いて、深さパターンは、そのオブジェクトの深さ値に基づく。なお、常にスクリーン深さで字幕を配置することは、観察するときにいくつかの問題を引き起こす。オブジェクトがスクリーン深さにあるときに、自動立体視ディスプレイは、最も高い解像度でそれを示す。オブジェクトがディスプレイ面の前又はその後に表示される場合、解像度は減少する。眼鏡に基づく立体視ディスプレイでは、スクリーン深さは、目が焦点を合わせる位置が目の輻輳の位置と同じ位置にあるので、最良の深さでもある。しかし、字幕は対応する3D画像コンテンツと共に常に観察されるので、スクリーン深さは最良の配置でないように思われる。これは、3Dビデオ中の注目オブジェクトがスクリーン深さに存在しないが、字幕がスクリーン深さに存在するときに、観察者が字幕とオブジェクトとの間で行ったり来たりすることは不快である可能性があることを意味する。したがって、字幕の深さは注目オブジェクトと同じ深さに設定される。例えば、おそらく注目オブジェクトである話している役者は、基準要素として機能し、その深さは、字幕のために利用されて用いられる。

図3は、補助深さに配置される補助グラフィカル・データを示す。図の左部分は、正面図で3Dディスプレイ30を示す。図の右部分は、側面図34で同じディスプレイを示す。図において、字幕31は、観察者の注目の焦点がありそうな画像の部分の深さと対応する深さにおいて、画像領域35の外側の画像の境界33に配置される。

注目領域32は、画像の中央のオブジェクトとして示される。注目領域を検出するために、複数の分析関数が、任意の適切な組み合わせで、適用されることができる。3D画像データ中の注目オブジェクトを検出するために、分析は、以下の画像処理関数のうちの少なくとも１つに基づくことができる。焦点が合っている画像要素が、焦点がずれている他の画像要素に対して検出されることができる。オブジェクトの局所的フォーカスを検出することは、このように知られており、空間周波数コンテンツ及び他の画像パラメータに基づくことができる。画像要素のために、背景に対して画像要素をレンダリングするための更なる3Dデータ（例えば遮蔽データ又は透明度データ）の量が検出されることができる。3Dビデオ・フォーマットがそのようなデータを含む場合、オブジェクトのためのそのようなデータの実際の存在は、それが背景の前で高品質でレンダリングされることを示す。画像要素のために、背景に関する運動、深さ、輝度及び色の差のような深さ手がかりが検出されることができる。そのような深さ手がかりは、ユーザがそれぞれのオブジェクトに払う注目を示す。人の顔、自動車、ラグビー又はフットボールの試合中のボールなどのような、特定のオブジェクト及び他の予め定められた画像要素が、認識されて分類されることができる。さらに、画像要素に対して、表示領域の中央付近に位置すること及び/又は表示領域に対する少なくとも予め定められたサイズを有することのような、位置手がかりが検出されることができる。

図4は、ターゲット領域において補助深さに配置される補助グラフィカル・データを示す。表示及び字幕は、実質的に図3に対応する。しかしながら、字幕31は、ここでは、画像データも表示する同じ表示領域35中に配置される。実施の形態において、字幕は、表示のx,y位置を動的に選択することによって、表示領域35中に配置される。補助グラフィカル・データの位置は、ターゲット領域41中に選択される。したがって、注目領域を検出することは、ここでは、補助グラフィカル・データを配置するためのターゲット領域を選択することを含む。深さパターンは、ここでは、ターゲット領域の深さ値に基づく。補助深さ値は、ターゲット領域の深さパターンに依存して設定されることができる。補助深さ値は、上述した注目オブジェクト32及びターゲット領域自体の深さパターンの両方に依存して設定されることができる。

実施の形態において、字幕の深さ及び/又は視差は、フレームごとに又はフレームのグループごとに、ビデオに関するメタデータとして供給される。映画の製作者又は編集者は、3D画像データ中の前記注目領域を検出し、注目領域の深さパターンを決定し、そして深さパターンに依存して補助深さ値を設定する機能を実行するオーサリング・ツールによって、これらのメタデータを生成することができる。

なお、WO2008/115222のように、各々のフレームの最も近い深さ値に動的にグラフィカル情報上にオーバレイを配置することは、フレーム間でのオーバレイの頻繁な深さジャンプにつながる。複数のフレームに対して一定の深さ値でオーバレイを配置することは、複数のフレームの中で最も近いオブジェクトが全ての所与のフレームのためのオーバレイ配置を決定するので、しばしば観察者に非常に近いオーバレイにつながる。両方のアプローチは、視覚的疲労につながる。注目領域を同時に検出することは、補助グラフィカル・データを配置するためのターゲット領域を選択することを含み、深さパターンはターゲット領域の深さ値に基づく。

実施の形態において、ターゲット領域を選択することは、以下の通りに実行される。表示領域が複数の領域に分割される。深さパターンを検出することは、ターゲット領域に依存した空間フィルタ関数に従って複数の領域の深さ値を空間的にフィルタリングすることに基づく。

図5は、表示領域の分割を示す。図は、表示画像45がタイル46に分割される例を示す。各々のタイルにおいて、最大の深さが別々に計算される。例において、他のオブジェクト48の深さが大幅に大きい（すなわち観察者により近い）場合であっても、字幕テキスト47は特定の深さにあることができる。

従来の方法では、最大の深さ値は画像フレーム全体に対して計算され、大きい深さを有する１つのオブジェクトが、そのオブジェクト及びオーバレイの両方が画像の別々の領域にある場合であっても、その大きい深さでのオーバレイの配置につながる。提案される方法では、深さは、画像の複数の領域（タイル）において計算される。オーバレイの付近にあるタイル中の深さだけが、オーバレイされる補助グラフィカル・データの深さ配置に影響を与える。

一実施例において、ここで述べられる本発明は、3Dコンテンツ上に字幕をオーバレイするために用いられる。プライマリ・コンテンツが、ステレオ（左/右）画像として存在する。字幕も画像として存在する。実施の形態は、同様に、適切な記述から字幕をレンダリングすることができる。

実施の形態は、以下のステップを用いる。
− ビデオ・コンテンツの全ての左及び右の画像から、全てのピクセルのため又は関心領域のみのために、視差が計算される。
− 関心領域の中で、各々の画像ペアに対して最小視差が計算されて記憶される。スクリーンの前に現れるオブジェクトの視差は負であり、したがって、これらの値は、観察者からの最少の知覚される距離を持つオブジェクトに対応する。
− 最小視差のリストにフィルタリングが適用される。
− 正の深さ値は0に設定され、これは、スクリーンの後ろにある全てのオブジェクトをスクリーン面に移動することと等価である。初期値でオブジェクトを異なる面に配置するために、他の値がこのステップにおいて選択されることができる。
− 字幕は、フィルタリングされた視差に等しい左と右との間のピクセル変位を用いて、左及び右画像上で混合される。
− 字幕が予めレンダリングされている場合、通常のアルファ・ブレンディングが用いられる。
− 字幕がテキスト・フォーマットで存在する場合、それらはサブ・ピクセル精度でレンダリングされる。
− 小さいオフセット（通常は１ピクセル）が、最も前のオブジェクトと字幕との間の小さい深さ範囲を生成するために適用されることができる。

なお、上述の方法は、補助深さ値より大きい深さ値が存在しない画像データの領域をターゲット領域として選択することに基づいてターゲット領域を選択することを可能にする。さらに前記選択は、ターゲット領域において補助深さ値より大きい深さ値が存在しないように補助データを表示するための期間を選択することを含むことができる。例えば、字幕のレンダリングは、より前方にあるオブジェクトが消えることができるように、遅延又はシフトされることができる。

実施の形態において、深さパターンを決定することは、ビデオ・コンテンツの複数のフレームにおける深さ値を検出し、時間フィルタ関数により時間的に深さ値をフィルタリングすることを含む。例えば、字幕自体が表示されるべき期間、又は、オブジェクトが字幕に隣接して字幕より前方に現れることを防止するための僅かに長い期間が考慮されることができる。字幕を表示する期間は、通常、表示信号中に示される。

特に、深さパターンを決定することは、ビデオ・コンテンツの複数のフレーム中のショット境界を検出することに基づいて時間フィルタ関数のための時間ウィンドウを設定することを含むことができる。これは、以下のように実施されることができる。
− 左又は右の画像からショット境界が計算される。画像のカラー・ヒストグラムを用いて画像コンテンツ中の大きい変化を検出することによって、ショットの開始画像が見いだされる。
− 前に検出されたショット・カットに従って、ショットの最小視差リストが検出される。
− 各々のショットに対して、最小視差リストが、適切な時間窓関数によってフィルタリングされる（例は以下を参照）。窓関数は、一部の選ばれたインターバルの外側ではゼロの値を有する関数である。例えば、そのインターバルの内側では一定でありそれ以外ではゼロである関数は、矩形窓と呼ばれ、それは、そのグラフィカル表現の形状を説明する。画像信号（データ）は窓関数によって乗じられ、インターバルの外側では積もゼロの値を有する。
− 各々のショットを別々にフィルタリングすることは、ショット内からの値のみが使用されることを保証する。したがって、補助グラフィカル・データの深さ値は、関心領域内の最も前方のオブジェクトの視差が急に変わる場合、ショット・カットにおいて急に変わることは許容されるが、ショット内ではジャンプすることは許されない。さらに変形例として、ショット間の深さ配置がフィルタリングされることができ、ショット境界における滑らかな遷移を可能にする。

窓関数を選択するために、実施の形態はHann窓関数を用いるが、他の窓関数（例えば矩形窓関数）も適している。オーストリアの気象学者Julius von Hannにちなんで名付けらたHann関数は、

によって与えられる個別確率質量関数である。

この窓は、現在の時間位置に中心があり、過去及び将来の両方の値が考慮される。これは、値を滑らかにする効果を持ち、したがって視差の急な変化を回避し、オーバレイが常に3Dコンテンツの前方にあることを保証する効果がある。将来の値は、例えばリアルタイム放送では利用できない場合があり、窓処理は、過去の値だけに基づく場合がある。あるいは、レンダリングにわずかな遅延を適用する間、将来のフレームの一部が最初にバッファ中に記憶されることができる。

なお、選択されるターゲット領域（TR）は、字幕テキストの境界となる矩形を少なくとも覆う必要がある。よい視覚的外観のために、TRは大幅に大きいべきである。画像の底部における字幕配置のために、実施の形態は、画像の最下部から予め定められた高さ（例えば画像の高さの半分から４分の１）まで垂直に伸びるTRを用いる。水平方向では、それは画像の中央にあり、大きくとも、字幕の幅又は画像の幅-20%にわたる。このTRは、字幕の深さがそれらの近傍のオブジェクトの深さに従って調整されることを保証する。領域を画像の中央まで広げることは、観察者が通常焦点を合わせているオブジェクトが考慮されることを保証する。さらに、空間フィルタリングは、近くのタイル中のオブジェクトに高い重みを割り当て、離れたタイル中の前方のオブジェクトに低い重みを割り当てるように適用されることができる。

実施の形態において、画像データは、表示領域の限られた部分に合わせるためにダウンスケーリングされる。例えば、(1:1.85)動画コンテンツは、16:9の表示に少しダウンスケーリングされる。1:2.35の動画コンテンツに対しては、黒いバーが最下部で利用可能であるので、これは字幕のために必要とされない。そして、（ダウンスケーリングされた）コンテンツ全体は、上方向へシフトされて、スクリーンの上側に位置合わせされる。これは、全ての字幕が上で導き出された補助深さ値に配置されることができる字幕領域を持つための余地をスクリーンの下部に生じさせる。

図6は、ダウンスケーリングされた画像データの例を示す。表示領域65において、左境界63及び右境界61及び下部境界62が、画像領域60の周辺に示される。下部領域64が字幕67のために利用可能である。図において、要素のサイズは、1920*1080の表示サイズに対するピクセルの数によって示される。

HDビデオに対して、字幕フォントの最適なサイズは42ラインである。16:9ディスプレイに示される1:1.85動画コンテンツは、17ラインの余地を残す。２つのロウの字幕を生じさせるために1:1.85をスケーリングすることは、間にいくつかの黒いラインを有する84ラインを必要とし、これは約100ラインを必要とすることを意味し、これは約90%のスケーリング係数を必要とする。一般的に、特に境界がディスプレイのエッジに似た質感とされる場合、これはユーザにとってあまり目立たない。更に、大部分の現在のプラットフォームは、任意のスケーリング係数をサポートすることができる。あるいは、動画領域をスケーリングすることは、（モノラルに対して僅かに少ない解像度を犠牲にして）オーサリング側で、予め行われることができる。

なお、3Dビデオ・レンダリングにおいて、他の深刻な問題は境界効果である。境界効果は、表示のフレーム中に完全には現れずに境界側に現れるスクリーンの前の深さを有するオブジェクトによって生じる。境界効果は、人の脳に矛盾を引き起こし、同様に疲労をもたらす。境界効果の解決策は、カット・オブジェクトの隣接する境界がカット・オブジェクトよりも常に観察者に近いように、深さ方向に動的に調整されることができる（２つの小さい垂直バーを用いた）人工の左及び右の境界を生成することである。字幕のように、境界深さもコンテンツの深さ/視差に基づいて動的に調整されることができる。

図6において、画像領域の前記ダウンスケーリングは、境界効果に対応するために垂直境界61, 63を適用することを可能にする。ダウンスケーリングは、各々約85ロウの２つの小さい垂直境界のための余地を与え、それらは、境界効果を回避するために、黒いバー（境界）の深さを動的に変更するために用いられることができる。

字幕のための余地が生成されているので、コンテンツの下部エッジを動的に深さ調整するオプションが存在する。しかしながら、これは、左及び右の境界より難しい。下部バーを水平方向にシフトすることはテクスチャの量に応じて機能することができる。しかしながら、一定の信号（黒いバー）を変位させることは何の効果も持たない。一定の黒いバーに関するスクリーンの底の境界違反問題は存在しない。しかしながら、このバーが単なる黒ではなく、何らかのテクスチャ（例えば図6のような木目）を持つ場合、カット・オブジェクトの前に下部境界の深さを調整することも可能になる。

（スクリーンの外の）人工の境界の更なる利点は、それらがさらに、観察者が自身を観察コーンの中央に置くための容易かつ実際的な方法を可能にすることである。

図7は、黒い境界中のダウンスケーリングされた画像データの例を示す。表示領域65において、左境界72、右境界73及び下部境界71が、画像領域60の周辺に示される。下部境界71は字幕のために利用可能である。図において、要素のサイズは、1920*1080の表示サイズに対するピクセルの数によって示される。異なるスクリーン・サイズ（例えば1280*720）に対して、同様の配置とすることができる。

図8は、ビデオ上の字幕及びグラフィックスのオーバレイを示す。図の左部分は、左ビュー84及び右ビューを持つ立体視ビデオ出力80の例を示す。両方のビューは、三次元画像81と、補助グラフィカル・データの第１レイヤ82、プレゼンテーション・プレーン及び第２レイヤ83、インタラクティブ・プレーンをオーバレイすることに基づいて生成される。グラフィカル要素のための補助深さ値は、上で議論されたように決定される。

図8の右側は、2Dビュー84及び右ビューを持つ、二次元(2D)+深さビデオ出力89のための同様の例を示す。両方のビューは、ニ次元画像85と、補助グラフィカル・データの第１レイヤ86、プレゼンテーション・プレーン及び第２レイヤ87、インタラクティブ・プレーンをオーバレイすることに基づいて生成され、前記レイヤは対応する深さマップを各々有する。グラフィカル要素のための補助深さ値は、上述のように決定され、前記深さマップを調整するために適用される。

なお、図8のモデルは、図6及び7に示される境界のサイズ及び位置並びに字幕領域の位置及びサイズの制御を可能にするために拡張されたブルーレイ・ディスク（BD）フォーマットにおいて実施されることができる。BDフォーマットは、コンテンツ作成者がビデオの上でグラフィックスのオーバレイを制御することができる複数のプレーンをサポートする。実施態様は、以下の通りである。

第１ステップにおいて、ビデオは、字幕のための（例えば少なくとも２ラインの字幕のための）余地をあけるためにスケーリングされる。スケーリング係数は、コンテンツ作成者の制御下でありえる。したがって、BD仕様は、ビデオの任意のスケールファクタを許容するように拡張されるべきである。少なくとも、7/8のスケーリング係数がサポートされるべきである。

第２ステップにおいて、テクスチャがメモリ・バッファにロードされる。このテクスチャは、（図7の黒い境界のためには必要とされない）図6に示されるようなスライディング・ウィンドウを生成するために用いられるサイド境界を満たすために用いられる。

第３ステップにおいて、再生の間、ステレオ・ビデオの場合の左及び右のビューのためのサイド境界のサイズは、サイド境界の視差がカットオフ・オブジェクトの視差より大きいように調整される。2D画像+深さビデオに対して、境界の深さは、任意のカットオフ・オブジェクトの深さより大きいように調整される。更に、2D画像+深さに対して、境界によって遮蔽されるビデオの背景は、出力フォーマットの遮蔽背景データ・レイヤにコピーされる。

既存のビデオ・フォーマットへの実装のために、フォーマットは、1920x1080のビデオに対して少なくとも7/8のスケーリング係数によって拡張され、1680x945のターゲット解像度をもたらすことが必要である。上記ステップは、プレゼンテーション・グラフィックス・プレーンを用いることにより、オーサリング・ツールによって実施されることができる。その場合、プレゼンテーション・グラフィックスは、字幕だけでなく、下記の図に示されるようにスライディング・ウィンドウのための境界も含む。

図9は、字幕及び浮動的なウィンドウのための余地をあけるためにビデオをスケーリングすることを示す。3D画像データ90（例えばメイン動画）がスケーリング・ユニット92に入力される。上述のように左/右境界及び字幕のための下部領域を持つプレゼンテーション・グラフィックス・プレーン91が提供される。スケーリングされたビデオは、3D画像データ94を提供するために、コンバイナ93において組み合わせられる。左及び右境界並びにオプションとしての下部境界が境界効果に対応するために深さを調整されるので、3D画像データを示すウィンドウは浮遊的であると呼ばれる。この処理によって、補助グラフィカル・データのためのターゲット領域は、画像データが表示されない表示領域として選択され、したがって、残りの表示領域に合わせるための画像データのサイズを縮小する。なお、十分に幅の広い（例えば2.20：1）主要な動画のためには、黒いバーを生成してビデオをスケーリングするステップに先行するために、ビデオを上方向又は下方向へシフトすれば十分である。

図10は、左下コーナのマットな黒い背景（1010）上の字幕と共に、左上コーナのプライマリ・ビデオ・ストリーム（1000）のスケーリング及びオフセット（1030）の更なる実施例を示し、それらは続いて、ミキサー（1020）を用いて組み合わせられた出力信号（1040）へと組み合わせられる。

メイン動画がストリームによって又は物理媒体（例えばブルーレイ・ディスク（BD）のようなディスク・フォーマットを持つディスク）によってプレーヤーに伝送されるときに、スケール情報及び/又はシフト（オフセット）情報が媒体上に供給されることを必要とする。

上で及び以下に示されるように、スケール情報及びシフト情報は、好ましくはx及びyスケーリング両方のためのスケーリング係数並びにx又はy方向のオフセットである。

有利には、スケール及び/又はシフト情報は、メイン動画の一部の間に再生可能なストリーム（異なる言語の字幕を表すオーバレイ）を記載する表に記憶される。この表は、ISO13818-1 "Information Technology-Generic Coding of Moving Pictures and Associated Audio Information -Part 1: Systems"（本明細書に参照として組み込まれる）において定義されるプログラム・マップ・テーブル（Program Map Table）と同様である。

BDフォーマットでは、同様の表はSTN_tableと呼ばれる。PG（プレゼンテーション・グラフィックス）又はテキスト字幕ストリームごとに異なるオフセット及びスケーリングを提供するために、ストリームごとのエントリーが追加されることができる（例えば、Blu-rayディスク・フォーマットに関する更なる情報は、http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdfを参照。この情報は本明細書に参照として組み込まれる）。

別の態様では、スケーリング及び/又はシフト情報は、以下の場所の何れか、それらの任意の組み合わせ、又はそれらの全てに記憶されることができる。
− PlayListの拡張データ中。PlayListは、ユーザによってメニューから選択されたように視聴覚コンテンツのシーケンスを復号して再生するために必要な全ての情報を担持するディスク上のデータベースである。好ましくは、スケール係数及び/又はオフセット情報は、字幕-視差情報と共に記憶される。あるいは、スケール係数及び/又はオフセット情報は、Playlist中の新たなエントリー中に記憶される。ExtensionData()が前述のオフセット及びスケール係数を含む。
− オーバレイ・グラフィックス・ストリーム自体中（例えば字幕プレゼンテーション・グラフィックス及び/又はテキスト字幕ストリーム）。

あるいは、シフト及び/又はスケール情報は他の手段によって提供され、例えば、シフト及びスケール係数は、プレーヤー・ステータス・レジスタ（PSR）にこれらの数を書き込む、ディスクに記憶されてディスク・プレーヤーによって実行されるアプリケーション（BD-Java（登録商標）又はMovie Object）によって決定されることができる。プレーヤーの復号及びレンダリング・エンジンはPSRから値を読み出して、シフト及び/又はスケール係数を図9に示されるようにメイン動画に適用する。

数学的に等価な態様で、例えば、アクティブ・ビデオ（黒いバーを除くスケーリングされてない画像の部分）のサイズ及び/又は位置並びにグラフィカル・オーバレイのサイズ及び/又は位置を指定することによって、シフト及びスケール情報を表す多くの態様が存在する。シフト及び/又はスケール係数の異なる表現は、プレーヤーにおける処理及びオーサリングの複雑度の間の異なるトレードオフを実現する。さらに、異なる表現は、字幕及び黒いバーの位置（上部に位置合わせされるか又は下部に位置合わせされる）をユーザが選択することを可能にするような特徴を可能にするために有利でありえる。

さらに、一部のアジアの動画は垂直に向きを定められる字幕を必要とするので、サイドの黒いバー（72, 73）も生成されるか又は拡大されることができることが必要である。垂直シフトが水平シフトによって増大する場合、又は、垂直シフトが水平シフトの代わりに用いられる場合、前述のステップはこのケースにも適用されることができる。

コンテンツ作成者によって許可されるときにのみメイン・ビデオのスケーリング及びシフトがプレーヤーに対して許可されることを保証するために、許可されたスケーリング/シフトの存在は、好ましくはディスク上のオーバレイ・グラフィックス・ストリームごとに別々に、ストリーム中、ディスク上、又はローカル・ストレージの情報によって示される。スケーリング及びシフトが禁止される場合がある例は、聴覚障害者のためのクローズド・キャプションであり、テキスト・バルーン「バタン！」は、適用可能な登場人物に並べてビデオ上にオーバレイされるときにのみ意味を成す。

本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアで実施されることができることに留意する必要がある。本発明を実施するための方法は、図1を参照して説明される3D画像データの処理に対応する処理ステップを持つ。本発明が主に光学記録担体又はインターネットを用いる実施の形態によって説明されたが、本発明は、3Dパーソナル・コンピュータ［PC］表示インタフェース又は無線3D表示装置に結合される3Dメディア・センターPCのような、任意の画像インタフェース環境に適している。

なお、本明細書において、「有する」「含む」などの用語は挙げられたもの以外の要素又はステップの存在を除外せず、単数で表現された要素は、そのような要素が複数存在することを除外せず、如何なる参照符号も請求の範囲を制限せず、本発明はハードウェア及びソフトウェアの両方によって実施されることができ、いくつかの「手段」又は「ユニット」は、ハードウェア又はソフトウェアの同じアイテムによって表されることができ、プロセッサは、おそらくハードウェア素子と協同して、一つ以上のユニットの機能を果たすことができる。さらに、本発明は、実施の形態に制限されず、上で説明されたあらゆる新規な特徴又は特徴の組み合わせにも存在する。

Claims (15)

1. 三次元（３Ｄ）画像データと補助グラフィカル・データとを組み合わせる方法であって、コンピュータが、
   前記３Ｄ画像データを情報担体から取得し、
   前記３Ｄ画像データとともに用いるためのスケーリング及び/又はシフト情報を前記情報担体から取得し、
   スケーリング及び/又はシフトされた３Ｄ画像データによって占有されていない黒いバーの空間領域を生成するために前記スケーリング及び/又はシフト情報にそれぞれ従って前記３Ｄ画像データをスケーリング及び/又はシフトし、
   前記補助グラフィカル・データが前記黒いバーの空間領域内に配置されるように、スケーリング及び/又はシフトされた３Ｄ画像データと前記補助グラフィカル・データとを組み合わせる、方法。
2. 前記補助グラフィカル・データが、二次元字幕情報、二次元副画像情報、三次元字幕情報及び三次元副画像情報のうちの少なくとも１つである、請求項１に記載の方法。
3. 前記スケーリング及び/又はシフト情報が、
   スケーリング係数、
   表示プレーンのｘ及びｙ方向の両方におけるスケーリングに適用されるスケーリング係数、
   表示プレーンの水平方向及び表示プレーンの垂直方向のうちの少なくとも１つにおけるオフセット、
   のうちの少なくとも１つである、請求項１に記載の方法。
4. 前記補助グラフィカル情報全体が、前記黒いバーの空間領域内に配置される、請求項１に記載の方法。
5. 前記黒いバーの空間領域が、黒い背景情報によって埋められる、請求項１に記載の方法。
6. 前記スケーリング及び/又はシフト情報が、字幕及び前記黒バーの空間領域の位置が上部に位置合わせされるべきか下部に位置合わせされるべきかを選択するための情報を有する、請求項１に記載の方法。
7. 前記スケーリング及び/又はシフト情報が、前記３Ｄ画像データの前記スケーリング及び/又はシフトを可能にするための許可されたスケーリング/シフトの存在を通知する情報を有する、請求項１に記載の方法。
8. 三次元（３Ｄ）画像データ及び補助グラフィカル・データを有する情報担体であって、当該情報担体は、
   前記３Ｄ画像データとともにコンピュータが用いるためのスケーリング及び/又はシフト情報を有し、スケーリング及び/又はシフトされた３Ｄ画像データによって占有されていない黒いバーの空間領域を生成するためにコンピュータが前記スケーリング及び/又はシフト情報にそれぞれ従って前記３Ｄ画像データをスケーリング及び/又はシフトすること、続いて、前記補助グラフィカル・データが前記黒いバーの空間領域内に配置されるように、コンピュータがスケーリング及び/又はシフトされた３Ｄ画像データと前記補助グラフィカル・データとを組み合わせることを可能にする、情報担体。
9. 前記スケーリング及び/又はシフト情報が、表示プレーンの水平方向及び表示プレーンの垂直方向のうちの少なくとも１つにおけるオフセットである、請求項８に記載の情報担体。
10. 前記スケーリング及び/又はシフト情報が、字幕及び前記黒バーの空間領域の位置が上部に位置合わせされるべきか下部に位置合わせされるべきかを選択するための情報を有する、請求項８に記載の情報担体。
11. 前記スケーリング及び/又はシフト情報が、許可されたスケーリング/シフトの存在を通知する情報を有する、請求項８に記載の情報担体。
12. 三次元（３Ｄ）画像データと補助グラフィカル・データとを組み合わせるための３Ｄソース装置であって、
    前記３Ｄ画像データを情報担体から取得するための手段、
    前記３Ｄ画像データとともに用いるためのスケーリング及び/又はシフト情報を前記情報担体から取得するための手段、
    スケーリング及び/又はシフトされた３Ｄ画像データによって占有されていない黒いバーの空間領域を生成するために前記スケーリング及び/又はシフト情報にそれぞれ従って前記３Ｄ画像データをスケーリング及び/又はシフトするための手段、
    前記補助グラフィカル・データが前記黒いバーの空間領域内に配置されるように、スケーリング及び/又はシフトされた３Ｄ画像データと前記補助グラフィカル・データとを組み合わせるための手段、
    を有する３Ｄソース装置。
13. 情報担体から様々な種類の画像情報を読み出すための光学ディスク・ユニットを有し、前記光学ディスク・ユニットが、請求項８に記載の情報担体から前記スケーリング及び/又はシフト情報を取得するための手段を有する、請求項１２に記載の３Ｄソース装置。
14. 三次元（３Ｄ）画像データと補助グラフィカル・データとを組み合わせるための３Ｄ表示装置であって、
    前記３Ｄ画像データを情報担体から取得するための手段、
    前記３Ｄ画像データとともに用いるためのスケーリング及び/又はシフト情報を前記情報担体から取得するための手段、
    スケーリング及び/又はシフトされた３Ｄ画像データによって占有されていない黒いバーの空間領域を生成するために前記スケーリング及び/又はシフト情報にそれぞれ従って前記３Ｄ画像データをスケーリング及び/又はシフトするための手段、
    前記補助グラフィカル・データが前記黒いバーの空間領域内に配置されるように、スケーリング及び/又はシフトされた３Ｄ画像データと前記補助グラフィカル・データとを組み合わせるための手段、
    を有する３Ｄ表示装置。
15. 三次元（３Ｄ）画像データと補助グラフィカル・データとを組み合わせるためのコンピュータ・プログラムであって、請求項１から請求項７のいずれか一項に記載の方法のそれぞれのステップをコンピュータに実行させるプログラム。

Images