JP5809064B2 - 3d画像データの転送 - Google Patents

3d画像データの転送 Download PDF

Info

Publication number
JP5809064B2
JP5809064B2 JP2011545823A JP2011545823A JP5809064B2 JP 5809064 B2 JP5809064 B2 JP 5809064B2 JP 2011545823 A JP2011545823 A JP 2011545823A JP 2011545823 A JP2011545823 A JP 2011545823A JP 5809064 B2 JP5809064 B2 JP 5809064B2
Authority
JP
Japan
Prior art keywords
frame type
frame
display
video
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011545823A
Other languages
English (en)
Other versions
JP2012516070A5 (ja
JP2012516070A (ja
Inventor
フィリップ エス ニュートン
フィリップ エス ニュートン
デル ヘイデン ヒェラルドゥス ダブリュ ティー ファン
デル ヘイデン ヒェラルドゥス ダブリュ ティー ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2012516070A publication Critical patent/JP2012516070A/ja
Publication of JP2012516070A5 publication Critical patent/JP2012516070A5/ja
Application granted granted Critical
Publication of JP5809064B2 publication Critical patent/JP5809064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format

Description

本発明は三次元(3D)画像データを転送する方法に関し、当該方法は、3Dソース装置において、3D表示信号を生成するためにソース画像データを処理するステップであって、前記3D表示信号が3Dビデオ転送フォーマットに従って3D画像データを構成するフレームを有し、前記フォーマットにおいて、フレームが少なくとも2つの異なるフレーム・タイプを有するステップ、及び、3D表示信号を出力するステップを有し、3D表示装置において、3D画像データを3Dディスプレイに表示するステップ、3D表示信号を受信するステップ、受信された3D表示信号中の前記異なるフレーム・タイプを検出するステップ、及び、前記異なるフレーム・タイプに基づいて3Dディスプレイ上に3D画像データをレンダリングするための表示制御信号を生成するステップを有する。
本発明はさらに、上述の3Dソース装置、3D表示信号及び3D表示装置に関する。
本発明は、3D表示装置上での表示のための、高速デジタル・インタフェース、例えばHDMIを介した、三次元画像データ、例えば3Dビデオを転送する分野に関する。
2Dビデオ・データを供給する装置、例えば、デジタルビデオ信号を提供するDVDプレーヤーのようなビデオ・プレーヤー又はセットトップボックスが知られている。ソース装置は、TVセット又はモニタのような表示装置に結合される。画像データは、ソース装置から適切なインタフェース(好ましくはHDMIのような高速デジタル・インタフェース)を介して転送される。現在、三次元(3D)画像データを供給する3D拡張装置が提案されている。同様に、3D画像データを表示する装置が提案されている。ソース装置から表示装置へ3Dビデオ信号を転送するために、例えば既存のHDMI規格に基づいて互換性がある新たな高データ速度デジタル・インタフェース規格が開発されている。通常2Dデジタル画像信号を表示装置へ転送することは、フレーム毎にビデオ・ピクセル・データを送信することを必要とし、そのフレームは順次表示されることになっている。そのようなフレームは、プログレッシブ・ビデオ信号(フルフレーム)のビデオ・フレームを表すか、又は、(周知のライン・インターレースに基づき、あるフレームが奇数ラインを提供し、次のフレームが、シーケンシャルに表示されるための偶数ラインを提供する)インタレース・ビデオ信号のビデオ・フレームを表す場合がある。
文献US 4,979,033は、インタレース・フォーマットを持つ従来のビデオ信号の例を説明する。従来の信号は、奇数及び偶数のフレームのライン及びフレームを従来のテレビに表示するための水平及び垂直同期信号を含む。シャッタ眼鏡を用いるディスプレイとの立体視ビデオの同期を可能にする立体視ビデオ・システム及び方法が提案されている。奇数及び偶数のフレームは、立体視ビデオ信号のそれぞれ左及び右の画像を転送するために用いられる。提案された3D表示装置は、従来の奇数/偶数フレームを検出するために従来の包絡線検出器を有するが、その代わりに左及び右の液晶ディスプレイ・ユニットのための表示信号を生成する。特に、従来のインタレース・アナログ・ビデオ信号では奇数及び偶数のフレームで異なる垂直ブランキング間隔の間に発生する等化パルスは、それぞれ左又は右のフィールドを識別するためにカウントされる。システムはシャッタ眼鏡を同期させるためにこの情報を用いて、シャッタ眼鏡は、立体ビデオと同期して交互に開閉する。
文献US 4,979,033は、2つの3Dフレームタイプ(左/右)が従来のアナログ・ビデオ信号中の既存の水平ライン同期パルスに基づいて検出される表示装置の例を提供する。しかしながら、特にインタレース・ビデオ信号にとって、水平ライン同期パルスを操作するためのオプションは存在しない。上述の現在のシステムによって発生する問題は、シャッタ眼鏡との左及び右のビデオ・フレームのいかなる絶対的な同期も存在しないことである。この同期は相対的である。実際にこれが意味するところは、しばしば左及び右の画像が入れ替わり、左目が右目のために意図される画像を見て、そして逆もまた同じである。通常これは、3D CADデザイナー(専門のユーザ)が直ちにこれに気がついて、ソース装置(通常PC)において左右を入れ替えるので、問題にならない。
我々は、従来技術に記載される立体視3Dシステムの単純なユーザは、左及び右の画像がいつ入れ替わったかを正しく認識しないことを見出した。これは、激しい眼精疲労及び嘔気にさえつながる可能性があるので、非常に問題である。そのようなシステムが現在広く用いられるならば、消費者の間に混乱を引き起こし、この技術の採用をひどく妨げる。それゆえに、既知の3D表示信号は、消費者による使用のためのさまざまなデジタル3D画像信号を転送するために用いられることができない。
3Dビデオ信号を表示装置へと転送するためのより柔軟で信頼性が高いシステムを提供することが本発明の目的である。
この目的のために、本発明の第1の態様によれば、冒頭の段落に記載の方法において、各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは部分的3Dデータ構造を表し、当該方法は、3Dソース装置において、3D表示信号中に少なくとも1つのフレーム・タイプ同期インジケータを含めて、前記検出するステップが、3D表示信号からフレーム・タイプ同期インジケータを読み出し、表示制御信号を生成する前記ステップは、フレーム・タイプ同期インジケータに従って部分的3Dデータ構造を同期させることに基づく。
この目的のために、本発明の第2の態様によれば、冒頭の段落に記載の3D画像データを3D表示装置へ転送するための3Dソース装置は、3D表示信号を生成するためにソース画像データを処理するための生成手段であって、3D表示信号が3Dビデオ転送フォーマットに従って3D画像データを構成するフレームを有し、前記フォーマットにおいてフレームが少なくとも2つの異なるフレーム・タイプを有する生成手段、及び、3D表示信号を出力するための出力インタフェース手段を有し、各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは、部分的3Dデータ構造を表し、当該装置は、表示装置においてフレーム・タイプ同期インジケータに従って部分的3Dデータ構造を同期させることに基づいて表示制御信号を生成するために、3D表示信号中に少なくとも1つの前記フレーム・タイプ同期インジケータを含めるための送信同期手段を有する。
この目的のために、本発明のさらに別の態様では、冒頭の段落に記載の3D表示装置データは、3D画像データを表示するための3Dディスプレイ、3D表示信号を受信するための入力インタフェース手段であって、3D表示信号は、3Dビデオ転送フォーマットに従って3D画像データを構成するフレームを有し、前記フォーマットにおいて、フレームが少なくとも2つの異なるフレーム・タイプを有する入力インタフェース手段、受信された3D表示信号中の異なるフレーム・タイプを検出するための検出手段、及び、異なるフレーム・タイプに基づいて3Dディスプレイで3D画像データをレンダリングするための表示制御信号を生成するための処理手段を有し、各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは部分的3Dデータ構造を表し、前記検出手段は、3D表示信号からフレーム・タイプ同期インジケータを読み出すために配置され、前記処理手段は、フレーム・タイプ同期インジケータに従って部分的3Dデータ構造を同期させることに基づいて表示制御信号を生成するために配置される。
この目的のために、本発明のさらに別の態様では、冒頭の段落に記載される3D画像データを3D表示装置へ転送するための3D表示信号は、3Dビデオ転送フォーマットに従って3D画像データを構成するフレームであって、前記フォーマットにおいて、少なくとも2つの異なるフレーム・タイプを有するフレームを有し、各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは、部分的3Dデータ構造を表し、当該3D表示信号は、フレーム・タイプ同期インジケータに依存して部分的3Dデータ構造を同期させることに基づいて表示制御信号を生成するための少なくとも1つの前記フレーム・タイプ同期インジケータを有する。
これらの方策は、3D表示信号がフレームのシーケンスとして構築され、個々のフレームが、フレーム・タイプ同期インジケータによって示される異なるタイプを持つという効果を持つ。有利には、前記表示信号は、2D表示信号の基本的な構造を維持しつつ、同時に、フレーム・タイプ同期インジケータによって示されるようなフレーム機能及びタイミングに基づいて表示制御信号を生成するために受信3D表示装置において組み合わせられる部分的3Dデータ構造を各々実現するさまざまな異なるフレーム・タイプを転送することを可能にする。フレーム・タイプ同期インジケータは、相対的な同期を実行しないが、その代わりに絶対的な同期を達成する。これは、左及び右の画像が入れ替わっているかをユーザが決定しなければならないことを防止する。
本発明はさらに以下の認識に基づく。全てのレガシー・アナログ及びデジタル表示インタフェース信号は、本質的に、上記の水平ライン同期パルスのような表示制御信号及びフレーム・シーケンスを直接生成するために設計されている。したがって、信号自体は、表示制御信号のタイミング及び生成を指図し、一方、各々の以降のフレームの機能は、信号中のその位置によって暗示される。従来のディスプレイ・ユニットは、画像データを処理せず、表示インタフェース信号に厳密に従う。3D表示信号では、3D画像データの構成要素がインタフェース信号中で事前に決められた一定の態様でソース装置によって組み合わせられる場合、さまざまな表示タイプ信号並びに観察者条件及び設定は最適に達成されることができないので、表示装置自体において最終的な3D表示制御信号を構成する必要があることを、本発明者らは認識した。それゆえに、新たな3D表示信号では、さまざまな構成要素は、異なるフレーム・タイプのフレームとして別々に転送される。続いて、異なるフレーム・タイプによって部分的3Dデータ構造を転送するときに、表示装置において行われる異なるフレーム・タイプを検出する処理及び部分的データ構造を組み合わせる処理は、やはり送信ソース装置によって制御されるべきであることを、本発明者らは認識した。それに対して、本発明者らは、ここでは3D表示信号中に含まれるフレーム・タイプ同期インジケータを提供した。
システムの実施の形態において、3Dビデオ転送フォーマット中のそれぞれのフレーム・タイプは、左フレーム・タイプ、右フレーム・タイプ、二次元[2D]フレーム・タイプ、深さフレーム・タイプ、透明度フレーム・タイプ、遮蔽フレーム・タイプ、前記フレーム・タイプのサブ・フレームの組み合わせを示す組み合わせフレーム・タイプのうちの少なくとも1つを有し、フレーム・タイプ同期インジケータは、3D表示制御信号を生成するために3Dビデオ転送フォーマット中のそれぞれのフレーム・タイプからの3D部分的データ構造の各々を時間同期するための前記フレーム・タイプに対応するフレーム・タイプ・インジケータを有する。上述の2Dフレーム・タイプはセンター・フレーム・タイプであることができ、左及び右フレーム・タイプも、例えば深さフレーム又は遮蔽フレーム・タイプと組み合わせて用いられることができる2Dフレーム・タイプであり、そして上記のフレーム・タイプの多くの他の組み合わせが、3D画像データを転送するために効果的に用いられることができることが留意されるべきである。その効果は、立体視画像のための左及び右フレーム・タイプの基本的な組み合わせから左、右、深さ、遮蔽及び透明度フレームの組み合わせを持つ複雑な3Dフォーマットにわたることができるさまざまな3Dビデオ・フォーマットが、それぞれのフレーム・タイプ同期インジケータを介して同期されることである。
システムの実施の形態において、3Dビデオ転送フォーマットは、それぞれのフレーム・タイプを介して転送されるメイン・ビデオ及び少なくとも1つの補助ビデオ・レイヤを有し、フレーム・タイプ同期インジケータは、メイン・フレーム・タイプ・インジケータ及び補助レイヤ・フレーム・タイプ・インジケータのうちの少なくとも1つを有する。その効果は、それぞれのレイヤが表示装置において任意の都合のいい態様で組み合わせられることができ、組み合わされた画像がフレーム・タイプ同期インジケータによってレイヤ間の正しいタイミング関係を依然として維持することである。有利には、補助レイヤは、ソース装置において生成されるメニュー又はオン・スクリーン・ディスプレイ(OSD)のような字幕又はグラフィカル情報を有することができ、それらは、表示装置の能力に従ってメイン・ビデオ情報と組み合わせられることができる。
システムの実施の形態において、フレーム・タイプ同期インジケータは、3D表示信号の以降のセクションにおける3Dビデオ転送フォーマットを示す3Dビデオ・フォーマット・インジケータを有する。有利には、そのような一般的な3Dフォーマット・インジケータは、ソース装置におけるジャンプ又はモード変更のようなビデオ・ストリームの急な変更が表示装置によって直ちに追従されることを可能にする。
システムの実施の形態において、フレーム・タイプ同期インジケータは、少なくとも1つのフレーム・タイプの周波数及び/又は異なるフレーム・タイプの順序を示すフレーム・シーケンス・インジケータを有する。その効果は、異なるフレーム・タイプが、異なるフレーム周波数で及び/又は事前に決められた順序で多重化されることができ、それぞれの順序又はシーケンスが表示装置において検出可能であることである。したがって、表示装置は、転送されるフレームのシーケンスを知って、しかるべく処理リソースを調整することができる。
本発明による方法、3D装置及び信号の更なる好ましい実施の形態は、添付の請求の範囲において与えられ、その開示は参照によって本明細書に組み込まれる。
本発明のこれらの及び他の態様は、以下の記載において一例として説明される実施の形態及び添付の図面から明らかであり、それらを参照してさらに説明される。
三次元(3D)画像データを転送するシステム。 3D画像データの例。 再生装置及び表示装置の組み合わせを示す図。 フレーム・タイプ同期インジケータによって拡張されたAVI情報フレームの表。 3Dビデオ・フォーマットの表。 フレーム同期信号を示す図。 補助ビデオ・レイヤのための値を示す図。
図面において、既に説明された要素に対応する要素は同じ参照番号を持つ。
図1は、ビデオ、グラフィックス又は他の視覚的情報のような三次元(3D)画像データを転送するシステムを示す。3Dソース装置10は、3D表示信号56を転送するために3D表示装置13に結合される。3Dソース装置は、画像情報を受信するための入力ユニット51を持つ。例えば、入力ユニット装置は、DVD又はBlu-Rayディスクのような光学記録担体54からさまざまなタイプの画像情報を読み出すための光学ディスク・ユニット58を含むことができる。別の態様では、入力ユニットは、ネットワーク55(例えばインターネット又は放送ネットワーク)に結合するためのネットワーク・インターフェース装置59を含むことができ、そのような装置は通常、セットトップボックスと呼ばれる。画像データは、遠隔メディア・サーバ57から読み出されることができる。ソース装置はさらに、衛星受信機、又は表示信号を直接提供するメディア・サーバ、すなわち、ディスプレイ・ユニットに直接結合される3D表示信号を出力する任意の適切な装置であることができる。
3Dソース装置は、表示装置に出力インタフェース装置12を介して転送されるべき3D表示信号56を生成するために画像情報を処理するための、入力ユニット51に結合される処理ユニット52を持つ。処理ユニット52は、表示装置13上での表示のための3D表示信号56中に含まれる画像データを生成するために配置される。ソース装置は、画像データの表示パラメータ(例えばコントラスト又は色パラメータ)を制御するためのユーザ制御素子15を備える。そのようなユーザ制御素子は周知であり、3Dソース装置のさまざまな機能(例えば再生及び記録機能)を制御するため、そして例えばグラフィカル・ユーザインタフェース及び/又はメニューを介して前記表示パラメータを設定するための、さまざまなボタン及び/又はカーソル制御機能を持つ遠隔制御ユニットを含むことができる。
ソース装置は、3D表示信号中に少なくとも1つのフレーム・タイプ同期インジケータを提供するための送信同期化ユニット11を持ち、そのインジケータは、出力インターフェースユニット12における3D表示信号中に含まれ、出力インターフェースユニット12はさらに、3D表示信号56としてソース装置から表示装置に画像データ及びフレーム・タイプ同期インジケータを有する3D表示信号を転送するように配置される。3D表示信号は、3Dビデオ転送フォーマットに従って3D画像データを構成するフレームのシーケンスを有し、このフォーマットにおいて、フレームは少なくとも2つの異なるフレーム・タイプを含む。各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、通常、予め定められた解像度による複数のピクセルの水平ラインのシーケンスとして配置される。各々のフレーム・タイプは、部分的3Dデータ構造を表す。例えば、3Dビデオ転送フォーマットのフレーム・タイプにおける3D部分的データ構造は、左及び右画像若しくは2D画像及び補助深さであることができ、並びに/又は、以下に記載される遮蔽又は透明度情報のような更なる3Dデータであることができる。なお、フレーム・タイプはさらに、上記のフレーム・タイプのサブ・フレーム(例えば、1つのフル解像度フレーム中に位置する低い解像度を持つ4つのサブ・フレーム)の組み合わせを示す組み合わせフレーム・タイプであることもできる。さらに、複数のマルチ・ビュー画像が、同時に表示されるフレームのビデオ・ストリームに符号化されることができる。
3D表示装置13は、3D画像データを表示するためにある。この装置は、ソース装置10から転送されるフレーム中の3D画像データ及びフレーム・タイプ同期インジケータを含む3D表示信号56を受信するための入力インタフェース装置14を持つ。各々のフレームはデジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは部分的3Dデータ構造を表す。表示装置は、ディスプレイの表示パラメータ(例えばコントラスト、色又は深さパラメータ)を設定するために、更なるユーザ制御素子16を備える。転送された画像データは、ユーザ制御素子からの設定コマンドに従って処理ユニット18において処理され、それぞれのフレーム・タイプに基づいて3Dディスプレイ上に3D画像データをレンダリングするための表示制御信号を生成する。装置は、処理された画像データを表示するための表示制御信号を受信する3Dディスプレイ17を持つ(例えばデュアルLCD)。表示装置13は、矢印44によって示される表示深さ範囲を持つ、3Dディスプレイとも呼ばれる立体視ディスプレイである。3D画像データの表示は、各々がそれぞれの部分的3D画像データ構造を提供するそれぞれのフレームに依存して実行される。
表示装置はさらに、3D表示信号からフレーム・タイプ同期インジケータを読み出すため及び受信された3D表示信号中のそれぞれのフレーム・タイプを検出するための処理ユニット18に結合される検出ユニット19を含む。処理ユニット18は、それぞれの3Dビデオ・フォーマットの部分的3Dデータ構造によって定められるような画像データのさまざまなタイプ(例えば2D画像及び深さフレーム)に基づいて表示制御信号を生成するために配置される。それぞれのフレームは、それぞれのフレーム・タイプ同期インジケータによって示されるように認識されて、時間同期される。
フレーム・タイプ同期インジケータは、フレームのうちのどれが同時に表示されるために組み合わせられるべきかを検出することを可能にし、さらに、それぞれの部分的3Dデータが読み出されて処理されることができるようにフレーム・タイプを示す。3D表示信号は、適切な高速デジタル・ビデオ・インタフェース(例えば周知のHDMIインタフェース)を通じて転送されることができる(例えば、"High Definition Multimedia Interface Specification Version 1.3a," Nov 10 2006参照)。
図1は、3D画像データの担体としての記録担体54をさらに示す。記録担体はディスク形状であり、トラック及び中央のホールを持つ。物理的に検出可能なマークの系列によって構成されるトラックは、情報レイヤ上に実質的に平行の軌道を構成するターンのらせん又は同心円パターンに従って配置される。記録担体は光学的に読取り可能であり、光学ディスクと呼ばれる(例えばCD、DVD又はBD(Blu-ray Disc))。情報は、トラックに沿った光学的に検出可能なマーク(例えばピット及びランド)によって情報レイヤ上に表される。トラック構造はさらに、情報のユニット(通常は情報ブロックと呼ばれる)の位置を示すための位置情報(例えばヘッダ及びアドレス)を有する。記録担体54は、例えば、DVD又はBDフォーマットのような事前に決められた記録フォーマットでMPEG2又はMPEG4符号化システムに従って符号化されたビデオのような、デジタル的に符号化された画像データを表す情報を担持する。
なお、プレーヤーは、さまざまなフォーマットの再生をサポートすることができるが、ビデオ・フォーマットを変換することはできず、表示装置は、ビデオ・フォーマットの限られたセットを再生することが可能である場合がある。これは、何が再生されることが出来るかの共通のデバイダが存在することを意味する。なお、ディスク又はコンテンツに依存して、フォーマットは、システムの再生/動作の間に変化する場合がある。フォーマットのリアルタイム同期が行われることを必要とし、フォーマットのリアルタイム切り替えは、フレーム・タイプ同期インジケータによって提供される。
以下のセクションは、三次元ディスプレイの概要及び人による深さの知覚を提供する。より真に迫った深さの知覚を提供することができるという点で、3Dディスプレイは2Dディスプレイと異なる。これは、それらが単眼の深さ手がかり及び動作に基づく手がかりのみを示すことができる2Dディスプレイより多くの深さ手がかりを提供するので、達成される。
単眼の(又は静的な)深さ手がかりは、1つの目を用いて静止画像から得られることができる。画家は、絵の中に深さの感覚を生じさせるために、しばしば単眼の手がかりを用いる。これらの手がかりは、相対的なサイズ、地平線に対する高さ、遮蔽、距離感、テクスチャー勾配及びライティング/陰影を含む。動眼手がかり(Oculomotor cue)は、観察者の目の筋肉における緊張から導き出される深さ手がかりである。目は、目を回転させるため及び目のレンズを伸ばすための筋肉を持つ。目のレンズの緊張と緩和は適応と呼ばれ、画像に焦点を合わせるときに行われる。レンズ筋肉の緊張又は緩和の量は、物体がどれだけ離れているか又は近いかのための手掛かりを提供する。目の回転は、両方の目が同じ物体に焦点を合わせるように行われ、それは輻輳と呼ばれる。最後に、運動視差は、観察者の近くの物体が、離れた物体よりも速く移動するように見える効果である。
両眼視差は、両方の目が僅かに異なる画像を見ることから導き出される深さ手がかりである。単眼の深さ手がかりは、任意の2D画像表示タイプに用いられることができ、用いられている。ディスプレイにおいて両眼視差を再現することは、そのディスプレイが、各々の目がディスプレイ上で僅かに異なる画像を見るように、左目及び右目のためのビューを分けることができることを必要とする。
両眼視差を再現することができるディスプレイは、3D又は立体視ディスプレイと呼ばれる特別なディスプレイである。3Dディスプレイは、人の目によって実際に知覚される深さ次元に沿って画像を表示することができ、本明細書において、表示深さ範囲を持つ3Dディスプレイと呼ばれる。それゆえに、3Dディスプレイは、左及び右目に異なるビューを提供する。
2つの異なるビューを提供することができる3Dディスプレイは長年存在している。それらの大部分は、左及び右目ビューを分離する眼鏡を用いることに基づいていた。今では、ディスプレイ技術の発達によって、眼鏡を用いることなく立体ビューを提供することができる新たなディスプレイが市場に参入した。これらのディスプレイは、自動立体視ディスプレイと呼ばれる。
最初のアプローチは、ユーザが眼鏡を用いずに立体ビデオを見ることを可能にする液晶ディスプレイに基づく。これらは、レンチキュラ・スクリーン及びバリア・ディスプレイの2つの技術のいずれかに基づく。レンチキュラ・ディスプレイでは、LCDは、レンチキュラレンズのシートによって覆われる。これらのレンズは、左及び右目が異なるピクセルからの光を受け取るように、ディスプレイからの光を回析する。これは、一方が左目ビューのため、一方が右目ビューのための2つの異なる画像が表示されることを可能にする。
レンチキュラ・スクリーンの代替物はバリア・ディスプレイであり、これは、LCDのピクセルからの光を分離するために、LCDの後ろでバックライトの前の視差バリアを用いる。バリアは、スクリーンの前の規定の位置から、左目が右目と異なるピクセルを見るようなバリアである。バリアは、ディスプレイのロウのピクセルが左及び右目によって交互に見えるように、LCDと観察者との間にあってもよい。バリア・ディスプレイに関する問題は、輝度及び解像度の減少、並びに、非常に狭い観察角である。これにより、バリア・ディスプレイは、例えば9つのビュー及び複数の観察ゾーンを持つレンチキュラ・スクリーンと比べて、リビングルーム・テレビとしては魅力が低いものとなっている。
更なるアプローチは、高いリフレッシュ・レート(例えば120Hz)でフレームを表示することができる高解像度ビーマーと組み合わせてシャッタ眼鏡を用いることに依然として基づく。シャッタ眼鏡方法では左及び右目ビューが交互に表示されるので、高いリフレッシュ・レートが必要とされる。眼鏡を着用している観察者は、60Hzで立体ビデオを知覚する。シャッタ眼鏡方法は、高い品質のビデオ及び高いレベルの深さを可能にする。
自動立体視ディスプレイ及びシャッタ眼鏡方法の両方は、適応-輻輳不整合を被る。これは、深さの量及びこれらの装置を用いて快適に観察可能な時間を制限する。ホログラフィック及び体積ディスプレイのような他の表示技術が存在し、これらはこの問題を被らない。なお、本発明は、深さ範囲を持つ任意のタイプの3Dディスプレイのために用いられることができる。
3Dディスプレイのための画像データは、電子的な(通常デジタルの)データとして利用可能であると仮定される。本発明は、そのような画像データに関し、デジタル領域で画像データを操作する。画像データは、ソースへ転送されるときに、例えばデュアル・カメラを用いることにより、すでに3D情報を含む場合があり、或いは、専用の前処理システムが、2D画像から3D情報を(再)生成するために関与する場合がある。画像データは、スライドのような静止画であることができ、或いは、動くビデオのような動画を含むことができる。通常グラフィカル・データと呼ばれる他の画像データは、記憶されたオブジェクトとして利用可能であるか、又は、アプリケーションによって要求されたときにオン・ザ・フライ(on the fly)で生成されることができる。例えば、メニュー、ナビゲーション・アイテム又はテキスト及びヘルプ注釈のようなユーザ制御情報が、他の画像データに追加されることができる。
立体画像がフォーマットされることができる多くの異なる態様が存在し、3D画像フォーマットと呼ばれる。いくつかのフォーマットは、さらに立体情報を担持するために2Dチャネルを用いることに基づく。例えば、左及び右ビューは、インタレースされることができ、又は、左右や上下に並べて配置されることができる。これらの方法は、立体情報を担持するために、解像度を犠牲にする。他のオプションは色を犠牲にすることであり、このアプローチは、アナグラフ・ステレオと呼ばれる。アナグラフ・ステレオは、補色で2つの別々のオーバレイされた画像を表示することに基づくスペクトル多重化を用いる。着色したフィルタを有する眼鏡を用いることにより、各々の目は、その目の前のフィルタと同じ色の画像のみを見る。したがって、例えば、右目は赤の画像のみを見て、左目は緑の画像のみを見る。
異なる3Dフォーマットは、2D画像及び補助深さ画像(いわゆる深さマップ)を用いる2つのビューに基づき、深さマップは、2D画像中のオブジェクトの深さに関する情報を伝達する。画像+深さと呼ばれるフォーマットは、いわゆる「深さ」又は視差マップと2D画像との組み合わせであるという点で異なる。これは階調画像であり、ピクセルの階調値は、関連する2D画像中の対応するピクセルの視差(又は深さマップの場合には深さ)の量を示す。表示装置は、入力として2D画像を利用して追加のビューを計算するために、視差、深さ又は像差マップを用いる。これは様々な態様で行われることができ、最も単純な形式は、それらのピクセルに関連づけられる視差値に依存して左又は右にピクセルをシフトすることである。Christoph Fenによる論文"Depth image based rendering, compression and transmission for a new approach on 3D TV"は、この技術の優れた概要を与える(http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdfを参照)。
図2は3D画像データの例を示す。画像データの左部分は通常はカラーの2D画像21であり、画像データの右部分は深さマップ22である。2D画像情報は、任意の適切な画像フォーマットで表されることができる。深さマップ情報は、おそらく2D画像と比べて減少した解像度で、各々のピクセルのための深さ値を持つ補助データ・ストリームであることができる。深さマップにおいて、階調値は、2D画像中の関連するピクセルの深さを示す。白は観察者に近いことを示し、黒は観察者から離れた大きい深さを示す。3Dディスプレイは、深さマップからの深さ値を用いることにより、そして必要とされるピクセル変換を計算することによって、ステレオのために必要とされる追加のビューを計算することができる。遮蔽は、推定又はホール充填技術を用いて解決されることができる。遮蔽マップ、視差マップ及び/又は背景の前を移動する透明なオブジェクトのための透明度マップのような、更なるフレームが、データ・ストリーム中に含まれることができ、例えば、画像及び深さマップ・フォーマットにさらに追加されることができる。
さらに、ビデオにステレオを追加することは、それがプレーヤー装置(例えばブルーレイ・ディスク・プレーヤー)から立体ディスプレイまで送信されるときのビデオのフォーマットに影響を与える。2Dの場合には、2Dビデオ・ストリーム(復号された画像データ)のみが送信される。ステレオ・ビデオに関して、(ステレオのための)第2のビュー又は深さマップを含む第2のストリームが必要であるので、これは増加する。これは、電気的インタフェース上で必要とされるビットレートを倍にする場合がある。異なるアプローチは、解像度を犠牲にして、第2のビュー又は深さマップが2Dビデオとインタレースされるか又は並べて配置されるようにストリームをフォーマットすることである。
図2に2Dデータ及び深さマップの例を示す。ディスプレイに送信される深さ表示パラメータは、ディスプレイが深さ情報を正しく解釈することを可能にする。ビデオ中に更なる情報を含めることの例は、ISO standard 23002-3 "Representation of auxiliary video and supplemental information"に記載される(例えば、ISO/IEC JTC1/SC29/WG11 N8259 July 2007を参照)。補助ストリームのタイプに応じて、更なる画像データは、4つ又は2つのパラメータから成る。フレーム・タイプ同期インジケータは、3D表示信号の以降のセクションにおけるそれぞれの3Dビデオ転送フォーマットを示す3Dビデオ・フォーマット・インジケータを有することができる。これは、3Dビデオ転送フォーマットを示すこと又は変更することを可能にし、或いは、転送シーケンスをリセットすること又は更なる同期パラメータをセット若しくはリセットすることを可能にする。
実施の形態において、フレーム・タイプ同期インジケータは、少なくとも1つのフレーム・タイプの頻度を示すフレーム・シーケンス・インジケータを含む。なお、いくつかのフレーム・タイプは、知覚される3D画像の重大な悪化を伴わずに、より低い送信頻度を可能にする(例えば遮蔽データ)。さらに、それぞれのフレーム・タイプの順序は、繰り返されるべきそれぞれのフレーム・タイプのシーケンスとして示されることができる。
実施の形態において、フレーム・タイプ同期インジケータは、フレーム・シーケンス番号を含む。個々のフレームがフレーム・シーケンス番号を備えることもできる。例えば1つの三次元画像を構成する全てのフレームが送信されると、シーケンス番号は規則正しくインクリメントされ、以降のフレームは次の三次元画像に属する。したがって、番号は、同期サイクルごとに異なり、又は、より大きいセクションに対してのみ変化することができる。したがって、ジャンプが実行されるとき、画像表示が再開されることができる前に、それぞれ同じシーケンス番号を有するフレームのセットが転送される必要がある。表示装置は、逸脱したフレーム・シーケンス番号を検出して、フレームの完全なセットのみを組み合わせる。これは、新たな位置にジャンプした後、誤ったフレームの組み合わせが用いられることを防止する。
ビデオ上にグラフィックスを追加するとき、ディスプレイ・ユニットにおいて更なるレイヤをオーバレイするために、さらに別のデータ・ストリームが用いられることができる。そのようなレイヤ・データは、以下で詳細に議論されるように3D表示信号中にそれぞれのフレーム・タイプ同期インジケータを追加することによって別々にマークされる異なるフレーム・タイプ中に含まれる。ここで、3Dビデオ転送フォーマットは、それぞれのフレーム・タイプを介して転送されるメイン・ビデオ及び少なくとも1つの補助ビデオ・レイヤを有し、フレーム・タイプ同期インジケータは、メイン・フレーム・タイプ・インジケータ及び補助レイヤ・フレーム・タイプ・インジケータのうちの少なくとも1つを有する。補助ビデオ・レイヤは、例えば、メニューのような字幕若しくは他のグラフィカル情報又は任意の他のオン・スクリーン・データ(OSD)であることができる。
フレーム・タイプ同期インジケータは、補助ビデオ・レイヤのために、レイヤ・シグナリング・パラメータを有することができる。このパラメータは、以下のうちの少なくとも1つを示すことができる。
- 補助レイヤのタイプ及び/又はフォーマット
- メイン・ビデオの表示に対する補助レイヤの表示の位置
- 補助レイヤの表示のサイズ
- 補助レイヤの表示の出現、消失の時点及び/又は継続時間
- 補助3D表示設定又は3D表示パラメータ
更なる詳細な例が以下に記載される。
図3は、再生装置及び表示装置の組み合わせを示す。プレーヤー10は、ディスプレイ13の能力を読み出して、空間的に及び時間的に、ディスプレイが取り扱うことができる最も高い解像度のビデオを送信するために、ビデオのフォーマット及びタイミング・パラメータを調整する。実際には、EDIDと呼ばれる規格が用いられる。拡張ディスプレイ識別データ(EDID)は、画像ソース(例えばグラフィックス・カード)にその能力を説明するために表示装置によって提供されるデータ構造である。それは、最新のパーソナル・コンピュータがどの種類のモニタが接続されているかを知ることを可能にする。EDIDは、Video Electronics Standards Association(VESA)により公開される規格によって定められる。http://www.vesa.org/において入手可能なVESA Display Port Standard Version 1, Revision 1a, January 11, 2008を参照。
EDIDは、製造者名、製品タイプ、蛍光体又はフィルタ・タイプ、ディスプレイによってサポートされるタイミング、ディスプレイ・サイズ、輝度データ及び(デジタル・ディスプレイに対してのみ)ピクセル・マッピング・データを含む。ディスプレイからグラフィックス・カードへEDIDを伝送するチャネルは、通常、いわゆるI2Cバスである。EDID及びI2Cの組み合わせは、Display Data Channelバージョン2又はDDC2と呼ばれる。2は、異なるシリアル・フォーマットを用いていたVESAの元のDDCとそれを区別する。EDIDは、I2Cバスと互換性のあるシリアルPROM(programmable read-only memory)又はEEPROM(電気的消去可能PROM)と呼ばれるメモリ装置中でモニタにおいてしばしば記憶される。
再生装置は、DDC2チャネルを通してディスプレイにE-EDIDリクエストを送信する。ディスプレイは、E-EDID情報を送信することによって応答する。プレーヤーは、最善のフォーマットを決定して、ビデオ・チャネルを通じて伝送し始める。古いタイプのディスプレイでは、ディスプレイは、DDCチャネル上でE-EDID情報を連続的に送信する。いかなるリクエストも送信されない。インタフェース上で使用されるビデオ・フォーマットをさらに定めるために、更なる組織(Consumer Electronics Association; CEA)は、E-EDIDに対するいくつかの更なる制限及び拡張を定めて、TVタイプのディスプレイ用により適したものにした。特定のE-EDID要求に加えてHDMI規格(上記参照)は、多くの異なるビデオ・フォーマットのための識別コード及び関連するタイミング情報をサポートする。例えば、CEA861-D規格がインタフェース規格HDMIにおいて採用される。HDMIは、物理リンクを定めて、より高いレベルのシグナリングを取り扱うためにCEA861-D及びVESA E-EDID規格をサポートする。VESA E-EDID規格は、ディスプレイが、立体視ビデオ伝送をサポートするかどうか及びどのフォーマットでサポートするかを示すことを可能にする。ディスプレイの能力に関するそのような情報はソース装置に遡って伝わることが留意されるべきである。既知のVESA規格は、ディスプレイにおける3D処理を制御する任意の順方向3D情報を定めない。
実施の形態において、3D表示信号中のフレーム・タイプ同期インジケータは、例えばデータ・ストリーム中の別々のパケットとして、非同期で転送され、それに関連があるそれぞれのフレームを識別する。パケットは、正確にビデオと同期しているフレームのための更なるデータを含むことができ、連続するビデオ・フレーム間のブランキング間隔における適切な時点に挿入されることができる。実際的な実施の形態では、フレーム・タイプ同期インジケータは、HDMI Data Island内のパケット中に挿入される。
オーディオ・ビデオ・データ(AV)ストリーム中のHDMIにおいて定義されるAuxiliary Video Information(AVI)中にフレーム同期インジケータを含めることの例は、以下の通りである。AVIは、Info Frameとして、ソース装置からデジタル・テレビ(DTV)モニタへとAVストリームにおいて伝達される。ソース装置がAuxiliary Video Information(AVI)の伝送をサポートする場合、そして、DTVモニタがその情報を受信することが可能であることを決定する場合、それは、VSYNC周期ごとに一度、DTVモニタにAVIを送信する。このデータは、ビデオ・データの次のフル・フレームに適用される。
例えばディスプレイにおける3Dビデオの適切なレンダリングのための左右シグナリング及び更なる情報のために、フレーム・タイプ同期インジケータを収容するためにAVI-Infoフレーム中のブラック・バー情報を用いることが提案される。AVI-infoフレームは、少なくとも2フィールドごとに送信されるデータブロックである。この理由のために、それは、立体視ビデオ信号の同期のために用いられる場合の要件であるフレームベースのシグナリングを伝送することができる唯一の情報フレームである。相対的なシグナリングに依存する又はベンダー固有の情報フレームに依存する他の解決策と比較したこの解決策の利点は、それがHDMIのための現在のチップセットと互換性があること、及び、それがフレーム単位の同期及びシグナリングのための十分な余地(8バイト)を提供することである。
他の実施の形態において、続くビデオ・データが左又は右のビデオ・フレームであることを示すために、HDMIにおいて定義されるプリアンブル・ビットを用いることが提案される。HDMIチャプタ5.2.1.1は、各々のVideo Data Period又はData Island Periodの直前にプリアンブルがあることを定める。これは、来るべきデータ期間がVideo Data Periodであるか又はData Islandであるかどうかを示す8つの同一の制御文字のシーケンスである。CTL0、CTL1、CTL2及びCTL3の値は、続くデータ期間のタイプを示す。残りの制御信号(HSYNC及びVSYNC)は、このシーケンスの間に変化する場合がある。プリアンブルは、現在4ビット、CTL0、CTL1、CLT3及びCTL4である。現在、値としては1000及び1010のみが用いられる。例えば、ここでは、値1100又は1001は、ビデオ・データが、左又は右のビデオ・フレーム、あるいは画像及び/又は深さ情報を含むフレームを含むことを示すように定められることができる。さらに、プリアンブル・ビットは、3Dフレーム・タイプ又はシーケンスの最初の3Dフレームのみを示すことができ、一方、フレーム・タイプの更なる区別は、更なるデータ・フレームによって定められるフレーム・タイプ同期シーケンスに従うことができる。さらに、HSYNC及びVSYNCシグナリングは、フレーム・タイプ同期の少なくとも一部、例えばフレームが左のビデオ・フレームであるか又は右のビデオ・フレームであるかどうかを伝達するように適応されることができる。HSYNCは、左フレームのビデオ・データに先行するように配置され、VSYNCは、ビデオ情報の右フレームに先行するように配置される。同じ原理は、2D画像及び深さ情報のような他のフレーム・タイプに適用されることができる。
図4は、フレーム・タイプ同期インジケータによって拡張されるAVI-infoフレームの表を示す。AVI-infoフレームは、CEAによって定められて、色及び彩度サンプリング、オーバースキャン及びアンダースキャン並びにアスペクト比に関するフレーム・シグナリングを提供するために、HDMI及び他のビデオ伝送規格によって採用される。以下のようにフレーム・タイプ同期インジケータを実施するために更なる情報が追加された。
データ・バイト1の最後のビットF17及びデータ・バイト4の最後のビットF47は、標準的なAVI-infoフレームにおいて予約される。フレーム・タイプ同期インジケータの実施の形態において、これらは、ブラック・バー情報中の立体視シグナリングの存在を示すために用いられる。ブラック・バー情報は、標準的にデータ・バイト6〜13に含まれる。バイト14-27は、通常、HDMIにおいて予約されており、したがって、現在のハードウェアでは正しく伝送されないかもしれない。したがって、これらのフィールドは、重要度が低いOSD位置情報を提供するために用いられる。表の構文は以下の通りである。F17が設定される場合(=1)、13までのデータ・バイトは、3Dパラメータ情報を含む。デフォルトのケースはF17が設定されない場合(=0)であり、これは、3Dパラメータ情報が存在しないことを意味する。
データ・バイト12〜19は、OSD/字幕オーバレイの位置を示す。更なるレイヤは、メイン・ビデオ・レイヤより小さくてもよく、バイト12-19の位置データに基づいて配置される。これは、フレーム・タイプ同期インジケータによって示されるスクリーンの領域上で特定のレンダリングを3Dディスプレイが実行することを可能にする。フレーム・タイプ同期インジケータは、字幕/OSD情報がいつ現れる必要があって及び/又は消える必要があるのかを示すために、例えば、図4においてレンダリング・パラメータと呼ばれるデータ・バイト20-27中に、同期タイミング情報をさらに含むことができる。
図5は、3Dビデオ・フォーマットの表を示す。左カラム中の値は、それぞれの異なるフレーム・タイプを持つ特定のビデオ・フォーマットを各々示す。選択された値は、フレーム同期化インジケータ(例えば図4の表のデータ・バイト7)中に含まれる。データ・バイト7は、ソース(プレーヤー)が伝送している立体視ビデオ・フォーマットを記述する。図5の表は、いくつかの可能な値を記載する。値0は、関連するフレームが2Dであることを示し、3Dタイトルの間に2Dビデオのセグメントを伝送するときに、これは有用である。表示装置(3D-TV)は、内部画像処理を3Dビデオ・フォーマットのこの変更に適応させることができ、例えば、フレーム・シーケンシャル・フォーマットの場合には、時間アップコンバージョンをオフに切り替える。
図6は、フレーム同期化信号を示す。同期信号は、フレーム同期化インジケータ(例えば図4のデータ・バイト8)中に含まれることができる。データ・バイト8は立体同期化信号を伝達し、図6は同期化信号のフォーマットを示す。同期化信号は、ビデオ・フォーマットと共に、ビデオ・フレームのコンテンツを示す。
図4中のデータ・バイト9及び10の値は、ビデオ・フォーマットによって決まる。例えば、(自動)立体視ビデオのために、それらは、ビデオ・コンテンツの最大及び最小視差を示す。別の態様では、それらは、「深さ」情報のオフセット及びスケーリング・ファクタを示すことができる。より高いビット精度が要求される場合(すなわち10ビット深さ)、更なるレジスタが、下位ビットを記憶するために用いられることができる。
図7は、補助ビデオ・レイヤのための値を示す。ビデオ・フォーマットは、3Dビデオ信号中に字幕又はメニュー(On Screen Data: OSD)のような補助レイヤのためのフレームを別々に含むことを可能にすることによって、拡張されることができる。図4において、データ・バイト11は、字幕又はOSDオーバレイの存在を示すことができる。図7は、補助レイヤを示すための複数のビデオ・フォーマット・パラメータ値を示す。図4の残りのバイト20-27は、スケーリングされた深さのための情報及び3D表示に関係する遮蔽情報を示す特定のパラメータを提供するために用いられることができる。
本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアとして実施されることができることに留意する必要がある。本発明を実施するための方法は、図1を参照して説明される3D画像データを転送することに対応する処理ステップを持つ。本発明が主に光学記録担体又はインターネットを用いる実施の形態によって説明されたが、本発明はさらに、3Dパーソナル・コンピュータ[PC]表示インタフェース又は無線3D表示装置に結合される3Dメディア・センターPCのような、任意の画像インタフェース環境に適している。
なお、この文書において、「有する」「含む」などの用語は、挙げられたもの以外の要素又はステップの存在を除外せず、単数で表現された要素はそのような要素が複数存在することを除外せず、いかなる参照符号も請求の範囲を限定せず、本発明は、ハードウェア及びソフトウェアの両方によって実施されることができ、いくつかの「手段」又は「ユニット」はハードウェア又はソフトウェアの同じアイテムによって表されることができ、プロセッサは、ハードウェア素子と協働で、1つ以上のユニットの機能を果たすことができる。さらに、本発明は実施の形態に制限されず、上述されるいずれ新規な特徴又は特徴の組み合わせ中にも存在する。

Claims (10)

  1. 三次元[3D]画像データの転送方法であって、当該方法は、
    3Dソース装置において、
    フレームが少なくとも2つの異なるフレーム・タイプを有する3Dビデオ転送フォーマットに従って前記3D画像データを構成するフレームを有する3D表示信号を生成するためにソース画像データを処理し、
    前記3D表示信号を出力し、
    3D表示装置において、
    前記3D表示信号を受信し、
    受信された3D表示信号中の前記異なるフレーム・タイプを検出して、当該異なるフレーム・タイプに基づいて3Dディスプレイで前記3D画像データをレンダリングするための表示制御信号を生成し、
    各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは部分的3Dデータ構造を表し、
    当該方法は、前記3Dソース装置において、
    前記3D表示信号中に少なくとも1つのフレーム・タイプ同期インジケータを含め、
    前記検出は、前記3D表示信号から前記フレーム・タイプ同期インジケータを読出し、
    前記表示制御信号の生成は、前記フレーム・タイプ同期インジケータに従って前記部分的3Dデータ構造を同期させることに基づき、
    前記フレーム・タイプ同期インジケータは、前記3Dビデオ転送フォーマット中のそれぞれのフレーム・タイプからの前記部分的3Dデータ構造の各々を時間同期するための前記フレーム・タイプに対応するフレーム・タイプ・インジケータ、及び、前記3D表示信号の以降のセクションにおける前記3Dビデオ転送フォーマットを示す3Dビデオ・フォーマット・インジケータを有する、方法。
  2. 前記3Dビデオ転送フォーマットにおける前記異なるフレーム・タイプが、
    左フレーム・タイプ、
    右フレーム・タイプ、
    二次元[2D]フレーム・タイプ、
    深さフレーム・タイプ、
    透明度フレーム・タイプ、
    遮蔽フレーム・タイプ、
    前記フレーム・タイプのサブ・フレームの組み合わせを示す組み合わせフレーム・タイプ、
    のうちの少なくとも1つを有し、
    前記フレーム・タイプ同期インジケータは、前記3D表示信号を生成するために前記3Dビデオ転送フォーマットにおけるそれぞれのフレーム・タイプからの前記部分的3Dデータ構造の各々を時間同期させるための前記フレーム・タイプに対応するフレーム・タイプ・インジケータを有する、請求項1に記載の方法。
  3. 前記3Dビデオ転送フォーマットが、それぞれのフレーム・タイプを介して転送されるメイン・ビデオ及び少なくとも1つの補助ビデオ・レイヤを有し、前記フレーム・タイプ同期インジケータが、メイン・フレーム・タイプ・インジケータ及び補助レイヤ・フレーム・タイプ・インジケータのうちの少なくとも1つを有する、請求項1に記載の方法。
  4. 前記補助ビデオ・レイヤが、グラフィカル情報又は字幕を有する、請求項3に記載の方法。
  5. フレーム・タイプ同期インジケータが、前記補助ビデオ・レイヤのために、
    補助レイヤのタイプ及び/又はフォーマット、
    前記メイン・ビデオの表示に対する前記補助レイヤの表示の位置、
    前記補助レイヤの表示のサイズ、
    前記補助レイヤの表示の出現、消失の時点及び/又は継続時間、
    更なる3D表示設定又は3D表示パラメータ、
    のうちの少なくとも1つを示すレイヤ・シグナリング・パラメータを有する、請求項3に記載の方法。
  6. 前記フレーム・タイプ同期インジケータが、少なくとも1つのフレーム・タイプの頻度及び/又は前記異なるフレーム・タイプの順序を示すフレーム・シーケンス・インジケータを有する、請求項1に記載の方法。
  7. 前記フレーム・タイプ同期インジケータが、フレーム・シーケンス番号を有する、請求項1に記載の方法。
  8. 三次元[3D]画像データを3D表示装置に転送するための3Dソース装置であって、
    フレームが少なくとも2つの異なるフレーム・タイプを有する3Dビデオ転送フォーマットに従って前記3D画像データを構成するフレームを有する3D表示信号を生成するためにソース画像データを処理するための生成手段、
    前記3D表示信号を出力するための出力インタフェース手段、
    を有し、
    各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは部分的3Dデータ構造を表し、
    当該3Dソース装置は、
    前記3D表示装置においてフレーム・タイプ同期インジケータに従って前記部分的3Dデータ構造を同期させることに基づいて表示制御信号を生成するために前記3D表示信号中に少なくとも1つのフレーム・タイプ同期インジケータを含めるための送信同期手段、
    を有し、
    前記フレーム・タイプ同期インジケータは、前記3Dビデオ転送フォーマット中のそれぞれのフレーム・タイプからの前記部分的3Dデータ構造の各々を時間同期するための前記フレーム・タイプに対応するフレーム・タイプ・インジケータ、及び、前記3D表示信号の以降のセクションにおける前記3Dビデオ転送フォーマットを示す3Dビデオ・フォーマット・インジケータを有する、3Dソース装置。
  9. 3D表示装置であって、
    3D画像データを表示するための3Dディスプレイ、
    フレームが少なくとも2つの異なるフレーム・タイプを有する3Dビデオ転送フォーマットに従って前記3D画像データを構成するフレームを有する3D表示信号を受信するための入力インタフェース手段、
    受信された前記3D表示信号中の前記異なるフレーム・タイプを検出するための検出手段、
    前記異なるフレーム・タイプに基づいて前記3Dディスプレイで前記3D画像データをレンダリングするための表示制御信号を生成するための処理手段、
    を有し、
    各々のフレームは、デジタル画像ピクセル・データのシーケンスを表すためのデータ構造を持ち、各々のフレーム・タイプは部分的3Dデータ構造を表し、
    前記検出手段は、前記3D表示信号からフレーム・タイプ同期インジケータを読み出し、前記フレーム・タイプ同期インジケータは、前記3Dビデオ転送フォーマット中のそれぞれのフレーム・タイプからの前記部分的3Dデータ構造の各々を時間同期するための前記フレーム・タイプに対応するフレーム・タイプ・インジケータ、及び、前記3D表示信号の以降のセクションにおける前記3Dビデオ転送フォーマットを示す3Dビデオ・フォーマット・インジケータを有し、
    前記処理手段は、前記フレーム・タイプ同期インジケータに従って前記部分的3Dデータ構造を同期させることに基づいて前記表示制御信号を生成する、3D表示装置。
  10. 前記3Dビデオ転送フォーマットが、それぞれのフレーム・タイプを介して転送されるメイン・ビデオ及び少なくとも1つの補助ビデオ・レイヤを有し、前記フレーム・タイプ同期インジケータが、メイン・フレーム・タイプ・インジケータ及び補助レイヤ・フレーム・タイプ・インジケータのうちの少なくとも1つを有し、前記処理手段が、前記フレーム・タイプ同期インジケータに従って前記部分的3Dデータ構造によって表される前記異なるレイヤを組み合わせる、請求項9に記載の3D表示装置。
JP2011545823A 2009-01-20 2010-01-13 3d画像データの転送 Active JP5809064B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09150939 2009-01-20
EP09150939.8 2009-01-20
PCT/IB2010/050130 WO2010084437A2 (en) 2009-01-20 2010-01-13 Transferring of 3d image data

Publications (3)

Publication Number Publication Date
JP2012516070A JP2012516070A (ja) 2012-07-12
JP2012516070A5 JP2012516070A5 (ja) 2013-02-28
JP5809064B2 true JP5809064B2 (ja) 2015-11-10

Family

ID=42026550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011545823A Active JP5809064B2 (ja) 2009-01-20 2010-01-13 3d画像データの転送

Country Status (9)

Country Link
US (2) US10257493B2 (ja)
EP (1) EP2389666A2 (ja)
JP (1) JP5809064B2 (ja)
KR (1) KR101630866B1 (ja)
CN (1) CN102292995B (ja)
BR (1) BRPI1005146A2 (ja)
RU (1) RU2536388C2 (ja)
TW (1) TWI528780B (ja)
WO (1) WO2010084437A2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6159507B2 (ja) * 2009-02-19 2017-07-05 トムソン ライセンシングThomson Licensing 3d映像フォーマット
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
JP2012039476A (ja) * 2010-08-09 2012-02-23 Sony Corp 送受信装置および送受信方法
JP5549476B2 (ja) * 2010-08-24 2014-07-16 ソニー株式会社 画像処理装置と画像処理方法
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3d 영상 포맷을 이용한 영상 처리 장치 및 방법
KR20120047055A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 디스플레이 장치 및 이에 적용되는 그래픽 영상 제공방법
US9888232B2 (en) * 2011-01-17 2018-02-06 Sony Corporation 3D motion picture processing device
US20120200670A1 (en) * 2011-02-04 2012-08-09 Nokia Corporation Method and apparatus for a disparity limit indicator
JPWO2012128069A1 (ja) 2011-03-18 2014-07-24 ソニー株式会社 画像処理装置および画像処理方法
JP6057136B2 (ja) 2011-03-18 2017-01-11 ソニー株式会社 画像処理装置および画像処理方法
US9681115B2 (en) * 2011-07-25 2017-06-13 Sony Corporation In-painting method for 3D stereoscopic views generation using left and right images and a depth map
WO2013031573A1 (ja) 2011-08-31 2013-03-07 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法
EP2590417A1 (en) * 2011-11-01 2013-05-08 Acer Incorporated Stereoscopic image display apparatus
EP2675174A4 (en) * 2012-01-19 2015-05-06 Sony Corp RECEIVING DEVICE, RECEIVING METHOD AND ELECTRONIC DEVICE
CN102595165A (zh) * 2012-02-29 2012-07-18 广州博冠光电技术有限公司 3d液晶快门眼镜2d/3d功能自由切换方法及装置
US20130271565A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
CN103260090B (zh) * 2013-04-26 2016-03-30 电子科技大学 一种用于p2p三维流媒体系统中的视频段调度及传输方法
US10764473B2 (en) * 2016-01-14 2020-09-01 Disney Enterprises, Inc. Automatically synchronizing multiple real-time video sources
WO2019009922A1 (en) * 2017-07-07 2019-01-10 Hewlett-Packard Development Company, L.P. SELECTING AN EXTENDED DISPLAY IDENTIFICATION DATA STANDARD
CN110430423A (zh) * 2019-07-26 2019-11-08 深圳市创凯智能股份有限公司 数据同步方法、系统、装置及可读存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979033A (en) 1988-09-27 1990-12-18 Stephens Berton H Stereoscopic video system and method with field synchronization and intensity control
EP2101495B1 (en) 1996-02-28 2012-12-26 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
RU2157056C2 (ru) * 1998-02-03 2000-09-27 Логутко Альберт Леонидович Способ объемного телевидения
JP4707782B2 (ja) * 1999-02-05 2011-06-22 ソニー株式会社 画像処理装置およびその方法
KR100382108B1 (ko) 2000-06-24 2003-05-01 학교법인연세대학교 3차원 그래픽 가속기 및 그의 그래픽 가속처리 방법
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
KR100461339B1 (ko) 2002-05-14 2004-12-10 주식회사 포디컬쳐 영상데이터 전송장치 및 방법
JP2004128769A (ja) * 2002-10-01 2004-04-22 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
EP1705929A4 (en) * 2003-12-25 2007-04-04 Brother Ind Ltd IMAGE DISPLAY DEVICE AND SIGNAL PROCESSING DEVICE
JP2006005418A (ja) 2004-06-15 2006-01-05 Sharp Corp 情報受信・再生装置、情報受信・再生方法、情報受信・再生プログラム及びプログラム記録媒体
US7515759B2 (en) * 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
KR100658222B1 (ko) 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
KR100781510B1 (ko) 2005-05-10 2007-12-03 삼성전자주식회사 A/v 네트워크 상에 존재하는 a/v 장치에 대한 구별정보를 생성하는 장치, 시스템 및 방법
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
PL1897056T3 (pl) * 2005-06-23 2017-01-31 Koninklijke Philips N.V. Połączona wymiana danych obrazu i powiązanych
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
JP4179387B2 (ja) * 2006-05-16 2008-11-12 ソニー株式会社 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
WO2009157198A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、記録方法、プログラム
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
JP2010088092A (ja) * 2008-09-02 2010-04-15 Panasonic Corp 立体映像伝送システム、映像表示装置および映像出力装置
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback

Also Published As

Publication number Publication date
TWI528780B (zh) 2016-04-01
BRPI1005146A2 (pt) 2018-02-20
US10257493B2 (en) 2019-04-09
RU2536388C2 (ru) 2014-12-20
EP2389666A2 (en) 2011-11-30
CN102292995B (zh) 2015-01-28
WO2010084437A3 (en) 2010-09-30
CN102292995A (zh) 2011-12-21
TW201119348A (en) 2011-06-01
US20110279645A1 (en) 2011-11-17
KR101630866B1 (ko) 2016-06-16
US20190215508A1 (en) 2019-07-11
JP2012516070A (ja) 2012-07-12
KR20110114670A (ko) 2011-10-19
WO2010084437A2 (en) 2010-07-29
RU2011134888A (ru) 2013-02-27

Similar Documents

Publication Publication Date Title
JP5809064B2 (ja) 3d画像データの転送
KR101634569B1 (ko) 3d 이미지 데이터의 전송
US20110298795A1 (en) Transferring of 3d viewer metadata
US11381800B2 (en) Transferring of three-dimensional image data
US20110316848A1 (en) Controlling of display parameter settings
JP6085626B2 (ja) 3d画像データの転送

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140212

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150910

R150 Certificate of patent or registration of utility model

Ref document number: 5809064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250