JP5859309B2 - 3dビデオ及び補助データの組み合わせ - Google Patents

3dビデオ及び補助データの組み合わせ Download PDF

Info

Publication number
JP5859309B2
JP5859309B2 JP2011536995A JP2011536995A JP5859309B2 JP 5859309 B2 JP5859309 B2 JP 5859309B2 JP 2011536995 A JP2011536995 A JP 2011536995A JP 2011536995 A JP2011536995 A JP 2011536995A JP 5859309 B2 JP5859309 B2 JP 5859309B2
Authority
JP
Japan
Prior art keywords
3d video
data stream
video signal
data
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011536995A
Other languages
English (en)
Other versions
JP2012510197A (ja
Inventor
フィリップ エス ニュートン
フィリップ エス ニュートン
フランチェスコ スカロリ
フランチェスコ スカロリ
Original Assignee
コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V.
コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP08169774 priority Critical
Priority to EP08169774.0 priority
Priority to EP09173467.3 priority
Priority to EP09173467A priority patent/EP2320667A1/en
Application filed by コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V., コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. filed Critical コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V.
Priority to PCT/IB2009/055208 priority patent/WO2010058368A1/en
Publication of JP2012510197A publication Critical patent/JP2012510197A/ja
Application granted granted Critical
Publication of JP5859309B2 publication Critical patent/JP5859309B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Description

本発明は、三次元[3D]ビデオ信号を提供する方法に関し、当該方法は、名目上の深さ範囲を呈する3Dビデオ・データをレンダリングするための観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを含むことによって、3Dビデオ信号を生成する。

本発明はさらに、3Dビデオ信号を処理するための方法、3Dソース装置、3D処理装置、3Dビデオ信号、記録担体及びコンピュータ・プログラム製品に関する。

本発明は、3D表示装置に、補助データ(例えば字幕、ロゴ又は更なる3D画像データ)と組み合わせて3Dビデオ・データをレンダリングする分野に関する。

2Dビデオ・データを生成する装置が知られている(例えばビデオ・サーバ、放送装置又はオーサリング装置)。現在、三次元(3D)ビデオ・データを提供する3D拡張装置が提案されている。同様に、光ディスク(例えばブルーレイ・ディスク; BD)のためのプレーヤー又は受信されたデジタル・ビデオ信号をレンダリングするセットトップ・ボックスのような、3Dビデオ・データをレンダリングする3D処理装置が提案されている。処理装置は、TVセット又はモニタのような表示装置に結合される。ビデオ・データは、適切なインタフェース、好ましくはHDMIのような高速デジタル・インタフェースを介して、3Dディスプレイに転送されることができる。3Dディスプレイは、さらに3D処理装置(例えば受信セクション又は記憶セクションを有するテレビ(TV))と一体化されることができる。

3D動画又はTV放送のような3Dコンテンツに対して、付加的な補助データが画像データと組み合わせて表示されることができる(例えば字幕、ロゴ、ゲーム・スコア、金融のニュース又は他のアナウンス若しくはニュースのためのチッカー・テープ)。

文献WO2008/115222は、テキストを3Dコンテンツと組み合わせるシステムを記載する。このシステムは、3Dコンテンツ中の最も近い深さ値と同じレベルにテキストを挿入する。3Dコンテンツの1つの例は、二次元画像及び関連する深さマップである。この場合には、挿入されるテキストの深さ値は、所与の深さマップの最も近い深さ値に一致するように調整される。3Dコンテンツの他の例は、複数の二次元画像及び関連する深さマップである。この場合には、挿入されるテキストの深さ値は、所与の深さマップの最も近い深さ値に一致するように、連続的に調整される。3Dコンテンツの更なる実施例は、右目ビュー及び左目ビューを有する立体視コンテンツである。この場合には、左目ビュー及び右目ビューのうちの一方のテキストは、立体視画像中の最も近い視差値に一致するようにシフトされる。結果として、このシステムは、3Dコンテンツと組み合わせられるテキストを生成し、このテキストは3Dコンテンツ中の3D効果を妨げない。

文献WO2008/115222は、補助グラフィカル・データが、画像データの最も近い部分の前に表示されることを記載する。補助データが大きい深さ範囲を持つ3Dビデオ・データと組み合わせられることを必要とするときに、問題が発生する。深さ範囲中の選択された補助深さにおいて補助画像データを配置することは、矛盾又はアーチファクトを生じ、一方、観察者の近くに補助画像データを配置することは、不快感を与えるか又は観察者の視覚的疲労を引き起こす。

より便利な態様で補助データ及び3Dビデオ・コンテンツを組み合わせるシステムを提供することが本発明の目的である。

この目的のために、本発明の第1の態様によれば、冒頭の段落に記載された方法は、名目上の深さ範囲中の補助深さにおいて3Dビデオ・データ上に補助画像データをオーバーレイすることを可能にするために、補助深さよりさらに観察者から離れた変更された深さ範囲を呈する3Dビデオ・データをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを含める。

この目的のために、本発明の第2の態様によれば、3Dビデオ信号を処理する方法は、名目上の深さ範囲を呈する3Dビデオをレンダリングするための、観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを3Dビデオ信号から読み出し、補助深さよりさらに観察者から離れた変更された深さ範囲を呈する3Dビデオをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを3Dビデオ信号から読み出し、補助データを提供し、補助深さより観察者に近い深さにおいて、セカンダリ・データストリームに基づく3Dビデオ・データ上に補助画像データをオーバーレイする。

この目的のために、本発明のさらに別の態様では、3Dビデオ信号を提供するための3Dソース装置は、名目上の深さ範囲を呈する3Dビデオ・データをレンダリングするための、観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを含め、名目上の深さ範囲中の補助深さにおいて3Dビデオ・データ上に補助画像データをオーバーレイすることを可能にするために、補助深さよりさらに観察者から離れた変更された深さ範囲を呈する3Dビデオ・データをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを含めることによって、3Dビデオ信号を生成するための処理手段を有する。

この目的のために、本発明のさらに別の態様では、3Dビデオ信号を受け取るための3D処理装置は、3Dビデオ信号を受け取るための受信手段、並びに、名目上の深さ範囲を呈する3Dビデオをレンダリングするための観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを3Dビデオ信号から読み出し、補助深さよりさらに観察者から離れた変更された深さ範囲を呈する3Dビデオをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを3Dビデオ信号から読み出し、補助データを提供し、補助深さより観察者に近い深さにおいて、セカンダリ・データストリームに基づく3Dビデオ・データ上に補助画像データをオーバーレイするための処理手段を有する。

この目的のために、本発明のさらに別の態様では、3Dビデオ信号は、名目上の深さ範囲を呈する3Dビデオ・データをレンダリングするための観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリーム、並びに、名目上の深さ範囲中の補助深さにおいて3Dビデオ・データ上に補助画像データをオーバーレイすることを可能にするために、補助深さより観察者から離れた変更された深さ範囲を呈する3Dビデオ・データをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを有する。

この目的のために、本発明の更なる態様によれば、記録担体は上記の3Dビデオ信号を担持し、コンピュータ・プログラムは、プロセッサ上で実行されるときに、上記方法のそれぞれのステップを実行する。

これらの方策は、補助画像データが後方にシフトされた背景ビデオの前で知覚されるという効果を持つ。適切な深さにおいて補助画像データをオーバーレイすることを可能にするために、選択される深さ範囲は、補助深さで始まって、観察者のより近くまで及ぶように空けられる。選択された深さ範囲を普通に用いる3Dビデオ・データは、補助深さよりさらに観察者から離れるように変更される。それに対して、セカンダリ・ストリームが生成され、3Dビデオ信号に含まれ、3Dビデオ信号から読み出され、そしてプライマリ・ストリームの代わりに表示される。セカンダリ・ストリームは、同じ3Dビデオを含むが、深さ範囲が低減されるか又はシフトされている。それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・ストリームは、他方の目のための他のプライマリ・ストリームと共に表示されることができる。あるいは、2つのセカンダリ・ストリームが、両方のプライマリ・ストリームを置き換えるために含まれることができる。有利なことに、観察者は、補助データをオーバーレイする間、同じ3Dビデオ・コンテンツのための変更された深さ範囲を知覚する。特に、任意の近いビデオ・データによって補助データを隠すこと、及び、補助データの境界における効果を妨害することが回避される。そのような妨害効果は、補助データが近いオブジェクトから遠く離れて配置されるが依然として表示されているときに発生する。

更なる利点は、補助データがソース装置において利用可能である必要がなく、表示のためのセカンダリ・ストリームを選択するときに、適切な深さに、すなわち、前記補助深さに又はその前に補助データを配置することによって、組み合わされた3Dビデオ信号を生成する処理装置において動的に提供されることができる。

実施の形態において、本方法は、補助画像データの前記オーバーレイを可能にするために、3Dビデオ信号の時間セグメントを提供して、その時間セグメントの間にのみ、前記セカンダリ・データストリームを含める。メニューのような動的な補助データ又はゲーム・キャラクタのような生成された補助グラフィカル・オブジェクトを示すために、3Dビデオ・データの適切な部分は、時間セグメントに基づいて選択されることができる。有利には、このシステムは、3Dビデオの作成者が、時間セグメントを設定することを可能にし、それによりレンダリング装置において任意の補助データをオーバーレイすることを選択的に可能にする。

実施の形態において、本方法は、3Dビデオ信号中に、
− セカンダリ・ストリームの存在を示すオーバーレイ・マーカー、
− 補助画像データのオーバーレイ及びオーバーレイの間のセカンダリ・ストリームのレンダリングを制御するための制御データ、
− 補助深さを示す深さインジケータ、
のうちの少なくとも1つを含める。

有利には、オーバーレイ・マーカーは、受信3D装置にセカンダリ・ストリームの利用可能性を示す。そして、そのような装置は補助画像データをオーバーレイすることができ、例えば、オーバーレイは、ストリームが存在するまで延期されることができ、又は、セカンダリ・ストリームが終わるときに停止される。

有利には、制御データは、オーバーレイすること、及び、オーバーレイの間にセカンダリ・ストリームを表示することを直接制御する。それゆえに、3Dビデオ信号の作成者又は送信機は、オーバーレイ及び前記変更された深さ背景ビデオを制御することを可能にされる。

有利には、3Dビデオが(観察者から離れて)後方にシフトすることによって適応されることがセカンダリ・ストリームの効果であるので、深さインジケータは、特定の深さ値までの深さ範囲がオーバーレイのために空いていることを示す。したがって、深さの範囲は、シフトされた三次元ビデオの前方の深さ方向において補助データを配置するために空けられる。深さインジケータが補助深さを特に示すので、3Dビデオの作成者は実際のオーバーレイを制御する。

実施の形態において、セカンダリ・ストリームは、対応するプライマリ・データストリーム、他のプライマリ・ストリームのうちの少なくとも1つに依存して、符号化される。有利には、3Dビデオ信号を介して転送される必要がある符号化されたデータの量は、削減される。追加的なセカンダリ・ストリームは、近いオブジェクトだけが後方にシフトされることを必要とするので、対応するプライマリ・ストリームとの大きい対応を持つ。さらに、他のプライマリ・ストリームの情報は、セカンダリ・ストリームを従属して符号化するために用いられることができる。

本発明による方法、3D装置及び信号の更なる好ましい実施の形態は、添付された請求の範囲において与えられ、その開示は参照によって本願明細書に組み込まれる。

本発明のこれらの及び他の態様は、以下の説明において一例として記載される実施の形態及び添付の図面から明らかであり、それらを参照して説明される。

3D画像データを表示するシステム。 ビデオ・データのセカンダリ・ストリームを含む3Dビデオ信号を示す図。 3Dオーバーレイ・マーカーを含むデータ構造を示す図。 プレイアイテムに対する更なるエントリーを示す図。

図において、既に説明された要素に対応する要素は同じ参照符号を持つ。

図1は、三次元(3D)画像データ(例えばビデオ、グラフィックス又は他の視覚的情報)を表示するためのシステムを示す。3Dソース装置40は3Dビデオ信号41を3D処理装置50に転送し、3D処理装置50は3D表示信号56を転送するために3D表示装置60に結合される。3D処理装置は、3Dビデオ信号を受け取るための入力ユニット51を持つ。例えば、この装置は、DVD又はブルーレイ・ディスクのような光学記録担体54から3Dビデオ情報を読み出すための、入力ユニットに結合される光学ディスク・ユニット58を含むことができる。別の態様では、この装置は、ネットワーク45(例えばインターネット又は放送ネットワーク)に結合するためのネットワーク・インターフェース・ユニット59を含むことができ、そのような処理装置は通常セットトップ・ボックスと呼ばれる。3Dビデオ信号は、遠隔メディア・サーバ(例えばソース装置40)から読み出されることができる。処理装置は、衛星受信機又はメディア・プレーヤーであることもできる。

3Dソース装置は、3Dビデオ・データ30の処理のための処理ユニット42を持つ。3Dビデオ・データは、記憶装置から、3Dカメラなどから、利用可能である。3Dビデオ信号41は、プロセッサ42によって以下のように生成される。観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームが3Dビデオ信号中に含まれる。プライマリ・データストリームは、名目上の深さ範囲を呈する3Dビデオ・データを普通にレンダリングするためのものである。更に、3Dビデオ・データ上に補助画像データをオーバーレイすることは、以下の通りに名目上の深さ範囲中の補助深さにおいて可能にされる。それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームが生成されて、補助深さよりさらに観察者から離れた変更された深さ範囲を呈する3Dビデオ・データをレンダリングするための3Dビデオ信号中にさらに含まれる。

セカンダリ・ストリームは、3Dビデオ・データ中のオブジェクトの深さを変更することによって、例えば、視差を変更することによって、異なるカメラからの3Dソース素材を処理することによって、又は深さマップを持つソース素材に基づいて追加的なストリーム・データを生成することによって、生成される。このように、必要とされる深さ範囲を有する立体視表示のためのデータストリームを生成することが知られている。

セカンダリ・ストリームは、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対してオーバーレイの間に表示されるよう配置され、他のプライマリ・ストリームは他の目に対して表示されている。例えば、元の左画像が、セカンダリ・ストリームからの右画像と組み合わせて表示される。あるいは、2つのセカンダリ・ストリームが生成されて3Dビデオ信号中に含まれることができる。

3Dソース装置は、サーバ、放送装置、記録装置、又は、ブルーレイ・ディスクのような記録担体を製造するためのオーサリング及び/若しくは製造システムであることができる。ブルーレイ・ディスクは、コンテンツ作成者のためのインタラクティブ・プラットフォームをサポートする。それは、作成者が選択するためのグラフィックス・オーバレイの2つのレイヤ及び2セットのプログラム可能な環境をサポートする。3D立体視ビデオのための多くのフォーマットが存在する。ブルーレイ・ディスク・フォーマットに関する更なる情報は、ブルーレイ・ディスク関連のウェブサイトから利用可能であり、例えば、http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdfにおいて利用可能な視聴覚アプリケーション・フォーマットに関する文書において利用可能である。補助データは、再生のさまざまな段階において、例えばプレーヤーにおいて又は3Dディスプレイにおいて追加されるように、含まれることができる。光学記録担体の生産プロセスはさらに、プライマリ及びセカンダリ・データストリームを含む3Dビデオ信号を実現するトラックのマークの物理的パターンを導き出すステップ、及び、少なくとも1つの記憶装置レイヤ上にマークのトラックを提供するために記録担体の材料をその後成形するステップを有する。

3D処理装置は、出力インタフェース・ユニット55を介して表示装置に転送される3D表示信号56(例えばHDMI規格に従う表示信号。http://hdmi.org/manufacturer/specification.aspxにおいて入手可能な"High Definition Multimedia Interface; Specification Version 1.3a of Nov 10 2006"参照)を生成するために3D情報を処理するための入力ユニット51に結合される処理ユニット52を持つ。処理ユニット52は、表示装置60上での表示のための3D表示信号56中に含まれる画像データを生成するために配置される。

3Dビデオ信号は、受信ユニット51, 58, 59によって受信される。3Dビデオ信号は、上で定められるようなプライマリ及びセカンダリ・データ・ストリームを含む3Dビデオ・データを有する。プロセッサ52は、3Dソース装置に関して上述されたような、左画像を表す第1プライマリ・データストリーム及び右画像を表す第2プライマリ・データストリーム、そしてセカンダリ・データストリームを3Dビデオ信号から読み出すように配置される。プロセッサは、補助データがないときに通常の表示信号を生成し、変更された深さ範囲を呈する3Dビデオをレンダリングするためにそれぞれのプライマリ・データストリームの代わりに目のうちの一方に対してセカンダリ・データストリームを表示することによって補助データをオーバーレイするとき、3Dビデオの表示信号を生成するように配置される。変更された深さ範囲は、補助深さよりも観察者から遠い。

処理装置は、3Dディスプレイ上で3Dビデオ・データと組み合わせられる補助データを提供するための補助処理ユニット53を持つ。補助データは、3Dビデオ・コンテンツとローカルに、すなわち処理装置において、組み合わせられることになっている任意の追加的なグラフィカル画像データであることができる(例えば、字幕、放送事業者のロゴ、メニュー又はシステム・メッセージ、エラー・コード、ニュース速報、チッカー・テープ、更なる3Dストリーム(例えば解説)など)。補助データは、3Dビデオ信号中に含まれることができるか、又は別のチャネルを介して提供されることができるか、あるいはローカルに生成されることができる。下記のテキストにおいて、通例、補助データの全てのタイプを示すものとして字幕が用いられる。

最後に、プロセッサ52は、補助深さより観察者に近い深さにおいて、3Dビデオ・データ上に補助画像データをオーバーレイするために、補助データ及びそれぞれの第1及び第2データストリームを組み合わせる。このように、3Dビデオ・ストリームと補助データとを組み合わせることは、前記のWO2008/115222.から知られている。

3D表示装置60は、3D画像データを表示するための装置である。この装置は、処理装置50から転送される3Dビデオ・データ及び補助データを含む3D表示信号56を受け取るための入力インタフェース・ユニット61を持つ。転送された3Dビデオ・データは、3Dディスプレイ63(例えばデュアル又はレンチキュラLCD)上で表示するために処理ユニット62において処理される。表示装置60は、3Dディスプレイとも呼ばれる任意の種類の立体視ディスプレイであることができ、矢印64によって示される表示深さ範囲を持つ。

あるいは、補助データを提供して配置するための処理は、表示装置の実施の形態において実行される。3Dビデオ・データ及びオプションの補助データは、表示信号56を介して転送される。補助データは、表示装置においてローカルに生成されることもできる(例えばメニュー)。処理ユニット62は、ここでは、3Dディスプレイ上で補助データを3Dビデオ・データと組み合わせる機能を実行する。処理ユニット62は、処理装置に対して上述された対応する機能のために配置されることができる。更なる実施の形態において、処理装置及び表示装置は単一の装置に一体化され、処理手段の単一のセットが前記機能を実行する。

図1は、3Dビデオ信号の担体としての記録担体54をさらに示す。記録担体はディスク形状であり、トラック及び中央のホールを持つ。物理的に検出可能なマークの系列によって構成されるトラックは、情報レイヤの実質的に並列のトラックを構成するターンのらせん又は同心のパターンにしたがって配置される。記録担体は光学的に読取り可能であり、光学ディスクと呼ばれ、例えばCD、DVD又はBD(ブルーレイ・ディスク)である。情報は、トラックに沿った光学的に検出可能なマーク(例えばピット及びランド)によって情報レイヤ上に表される。トラック構造はさらに、通常は情報ブロックと呼ばれる情報のユニットの位置の表示のための位置情報(例えばヘッダ及びアドレス)を有する。記録担体54は、DVD又はBDフォーマットのような事前に決められた記録フォーマットで、例えばMPEG2又はMPEG4符号化システムに従って符号化された、デジタル的に符号化された3Dビデオ・データを表す情報を担持する。前記セカンダリ・データストリーム及び以下で定められるような更なる追加の制御データを含む上述のような3Dビデオ信号が、トラック中のマークによって符号化される。

例えば、リアルタイムで生成されるグラフィックスが補助深さの前にこのビデオ背景上へ合成されることができるように、動的な補助データに対する背景を提供するために3Dビデオ・データの追加的なセカンダリ・ストリームを提供することが提案される。例えば、セカンダリ・ストリームは、インタリーブ・メカニズムを用いて記憶媒体上のビデオの2つのタイプとしてプライマリ及びセカンダリ・ストリームをインタリーブすることによって、3Dビデオ信号中に含まれることができる。

実施の形態において、3Dビデオ信号は、補助深さを示す深さインジケータを含む。例えば、フレーム又はGroup of Pictures (GOP)ごとに、インジケータが3Dビデオ信号に追加される。インジケータはデータのシングル・バイトを含むことができ、その値は、セカンダリ・データストリームに基づく立体視ビデオ背景の左と右のビュー間の最も近い視差を示す。あるいは、この深さ値は任意のグラフィックス・オーバレイの視差を示すことができ、プレーヤーがリアルタイムで生成されたグラフィックスを合成する場合、メタデータ中に示されるような視差でグラフィックスを配置しなければならない。インジケータを提供することは、3Dビデオの作成者が、任意の補助データがセカンダリ・ストリームに基づくシフトされた背景ビデオの前で配置されることができる深さを制御することを可能にする。深さインジケータを含めるいくつかの態様が以下に記載される。

処理装置は、立体視ビデオ上に立体視グラフィックスをオーバーレイすることができるいわゆる「Z」合成器を備えているべきである。例えば、「Z」合成器は、処理ユニット52中に含まれる。「Z」合成器は補助3D制御データを解釈し、そしてこれから、追加的なセカンダリ・ストリームを利用しつつ、3D空間中のビデオ上での補助データの位置決めを決定する。実際的な実施の形態において、一時的にプライマリ・ストリームの代わりにセカンダリ・ストリームを表示する間、字幕又はメニューが3Dコンテンツ上にオーバーレイされる。

実施の形態において、セカンダリ・ストリームに基づくビデオ背景のための深さインジケータは、MPEG4のような事前に決められた標準的な送信フォーマットによるユーザーデータ・メッセージ(例えば、H.264符号化ストリームのシグナリング基本ストリーム情報[SEI]メッセージ)中に含まれる。この方法は、H.264/AVC符号化規格に依存する全てのシステムと互換性があるという利点を持つ(例えば、ITU-T H.264及びISO/IEC MPEG-4 AVC、すなわち、ISO/IEC 14496-10規格を参照)。既存のものがそれらを単に無視するのに対して、新たな符号器/復号器は、新たなSEIメッセージを実装することができ、セカンダリ・ストリームを復号することができる。

3Dビデオ信号の実施の形態において、ビデオ・ストリーム中の制御データ・パケットは、3D補助制御データを有する。制御データは、補助画像データの前記オーバーレイを可能にするために3Dビデオ信号の時間セグメントを提供するためのデータ構造を含むことができる。ここでは制御データは、前記セカンダリ・データストリームが時間セグメントの間にのみ含まれることを示す。実際には、例えばポップアップ・メニュー及びJavaグラフィックスのために、オーバーレイは、背景中に示される同じ時点におけるビデオ・コンテンツと文脈上リンクされている。したがって、ポップアップ・メニュー又はインタラクティブBD-Javaグラフィックス・オーバレイは、ほとんどの場合、動画中の特定のセグメントの間に発生すると仮定すれば安全である。セグメントを提供するために、ブルーレイ・ディスク規格におけるエントリー・マーク及びマルチ・アングル・メカニズムは、動画の特定のセグメントの間にビデオ背景の2つのタイプを提供するために拡張されることができ、ステレオ・グラフィックスは、背景中のビデオ・コンテンツの上にオーバーレイされることができる。セグメントの1つのタイプは、左及び右のビューから成る通常のステレオ・ビデオ・コンテンツを含む。他方は、変更された左及び/又は右のビュー(すなわち前記セカンダリ・ストリーム)によるステレオ・ビデオから成る。変更された左及び/又は右のビューは、ステレオ・ビデオが上にステレオ・グラフィックスをオーバーレイするためにより適するように、オーサリングの間に適切に作成される。このようにして、コンテンツ作成者は、オーサリング処理の間に、ビデオの外観及びビデオとグラフィクスのオーバーレイを完全に制御することができ、したがって、ステレオ・グラフィックスがステレオ・ビデオ背景上にオーバーレイされるときにいかなるアーチファクトも発生しないことを保証することができる。

更なる実施の形態において、3Dビデオ信号は、事前に決められたビデオ記憶フォーマット(例えばBDフォーマット)に従ってフォーマットされる。事前に決められたビデオ・フォーマットは、再生可能なビデオ・アイテム、いわゆるプレイアイテム・データ構造によるプレイアイテムを定める。プレイアイテム・データ構造は、再生可能なビデオ・アイテムが前記プレイアイテムの間にオーバーレイすることを可能にするためのセカンダリ・データストリームを有することを示すインジケータを備える。

実施の形態において、3D補助制御データは、セカンダリ・ストリームの存在を示すオーバーレイ・マーカーを含む。マーカーは、セカンダリ・ストリームの開始時間、終了時間、継続時間及び/又は位置を示すことができる。あるいは、補助画像データのオーバーレイを制御して、オーバーレイの間にセカンダリ・ストリームをレンダリングするための制御データが、3Dビデオ信号中に含まれることができる。例えば、予め定められた時間にメニューを表示する指示、又は、Javaアプリケーションのような、さまざまなイベントに依存して補助データを生成するのを抑制するアプリケーション・プログラムが、含まれることができる。

ブルーレイ・ディスクのような記録担体上の3Dビデオ信号中の更なるデータ構造は、エントリー・ポイント・マップである。このマップは、エントリー・ポイントにおいて始まるビデオのレンダリングを可能にするエントリー・ポイントを示す。エントリー・ポイント・マップ・データ構造は、例えば特定のエントリー・ポイントにおけるセカンダリ・ストリームの存在を示す補助制御データ、及び/又は、例えば次のエントリー・ポイントまで有効な深さインジケータを追加することによって、拡張されることができる。

あるいは、補助3D制御データはXMLに基づく記述として提供され、この記述は、MPEG-2輸送ストリームのデータ・カルーセルにおいて輸送される。このMPEG-トランスポート・ストリームにおいて同様に送信されるインタラクティブTVアプリケーションは、セカンダリ・ストリームを用いつつ、立体視ビデオ上へ補助グラフィックスを合成する方法を決定するために、このXMLに基づく記述を利用することができる。あるいは、補助3D制御データは、プレイリストに対する拡張として提供されることができる。

上記の補助3D制御データのために、プロセッサ52及び補助処理ユニット53は、それぞれの制御データに依存した前記オーバーレイのために配置される。特に、前記セカンダリ・データストリームを含む3Dビデオ信号の時間セグメントが検出され、セカンダリ・ストリームの存在を示す3Dビデオ信号中のオーバーレイ・マーカーが検出され、補助画像データのオーバーレイを制御するための3Dビデオ信号中の制御データが検出され、及び/又は、補助深さを示す深さインジケータが検出される。オーバーレイは、前記検出された3D補助制御データに従って実行される。

実施の形態において、セカンダリ・ストリームは、対応するプライマリ・データストリーム及び/又は他のプライマリ・ストリームに依存して符号化される。このように、利用可能なデータストリームとの強い対応を持つビデオ・データストリームを従属して符号化することが知られている。例えば、対応するプライマリ・ストリームとの差異のみが符号化されることができる。後方にオブジェクトをシフトするように視差を適応させるために、すなわち視差を低減するために、近いオブジェクトのみがシフトされることを必要とするので、そのような差異は軽微である。特定の実施の形態において、セカンダリ・ストリームの符号化されたデータは、同様に、対応するプライマリ・ストリームに対するシフトの量を示すシフト・データを含むことができる。なお、同様に、他のプライマリ・ストリームも、前記従属符号化のために用いられることができる。実際に、他のストリームが前記視差シフトに起因して非遮蔽化されるビデオ・データを含むので、セカンダリ・ストリームは、シフトされたオブジェクト周辺のデータを提供するために他のストリームを用いることもできる。そのような従属符号化されたセカンダリ・ストリームのために、プロセッサ52は、対応するプライマリ・データストリーム及び/又は他のプライマリ・ストリームに依存してセカンダリ・ストリームを復号するための復号器520を持つ。

実施の形態において、ブルーレイ・ディスク規格は、オーディオ及びビデオの表示のために必要とされる全ての基本ストリームを含むトランスポート・ストリームのセグメントであるClip AVストリーム・ファイルを、ブルーレイ・ディスク・インタラクティブ・グラフィックス規格におけるポップアップ・メニューのEpochスタート及び合成タイムアウトとリンクする新たなメカニズムによって拡張される。さらに、ブルーレイ・ディスクA/VフォーマットのBD-Javaアプリケーション・プログラミングインタフェース(API)は、BD-Javaアプリケーションがビデオ上にグラフィックスを描画することができるビデオ・コンテンツのその部分を含む特定のセグメントに達したときをBD-Javaアプリケーションが知らせられることができるシグナリングによって拡張される。

図2は、ビデオ・データのセカンダリ・ストリームを含む3Dビデオ信号を示す。3Dビデオ信号21は、時間軸Tに沿って概略的に示される。この信号は、この文献においてプライマリ・ストリームと呼ばれる、左ビューのための基本ストリーム及び右ビュー・データのための追加的なストリームから成るトランスポート・ストリームを含む。プライマリ・ストリームは、通常のステレオ・ビデオ・コンテンツを含む。

3Dビデオ信号はさらに、クオリティのいかなる損失をも伴わずにステレオ・グラフィックスのオーバレイを可能にするために深さ方向における若干のスペースを提供するように特別に適応されるステレオ・ビデオ・コンテンツを含む上述のようなセカンダリ・ストリーム23を含む。オーバレイ・モードにおいて、任意の補助データが、適応された背景ビデオ上の前記深さスペース中にオーバーレイされる。

図において、セグメントの2つのタイプが存在する。セグメントの第1のタイプ24は、通常のステレオ・ビデオ・コンテンツを表す通常のトランスポート・ストリームを含む。セグメントの第2のタイプ27は、インタリーブされた態様で信号中に含まれるプライマリ・ストリーム22及びセカンダリ・ストリーム23の両方を持つ。インタリーブすることにより、光ディスクプレーヤーのような受信装置が、ディスクの異なる部分にジャンプすることなく、プライマリ・ストリーム又はセカンダリ・ストリームを再生することを可能とする。同様に、1つ以上のオーディオ・ストリーム及び他の補助データストリームが3Dビデオ信号中に含まれることができ(図示せず)、通常モード又はセカンダリ・ストリームに基づくオーバレイ・モードにおける再生のために利用可能である。

図は、スタート・マーカー25及びエンド・マーカー26(例えばそれぞれのストリームのパケット・ヘッダ中のインジケータ・ビット又はフラグ)をさらに示す。スタート・マーカー25は、適応された背景ビデオのための前記セカンダリ・ストリームを持つセグメント27の開始を示し、エンド・マーカー26は、セグメント27の終了又は通常のセグメント24の開始を示す。

実際的なシステム(例えばBDシステム)に本発明を実装するために、以下の4つのステップが必要とされる。ディスク・データフォーマットは、以下の通りに前記セグメント・タイプを提供するために変更される。3Dビデオ・コンテンツのセクションは、Epochと呼ばれる。Epochスタートとインタラクティブ・グラフィックス合成の合成タイムアウト表示時間スタンプ(PTS)値との間、ディスクは、ディスク上でインタリーブされるステレオ・ビデオの前記プライマリ及びセカンダリ・ストリームを含む。ステレオ・グラフィックスのオーバーレイを可能にするために投影の前に余地が作成されるように、セカンダリ・ストリームは適応される。プライマリ及びセカンダリ・ストリームを有するビデオ信号のセグメントは、BDシステムにおいて定義されるマルチ・アングル・セグメントの符号化及びディスク割り当てに関する同じ制約を満たす。

第二に、ディスク・データフォーマットは、ポップアップ・メニューのためのステレオ・グラフィックスを含むインタラクティブ合成の間、ディスク上のインタリーブされたストリームの異なるストリームが復号されて、ポップアップ・メニューがアクティブであるときに表示されなければならないことをプレーヤーに示すメタデータを有するように変更される。これを可能にするために、フォーマットは、前記マーカー25, 26を含むように適応される。

図3は、3Dオーバーレイ・マーカーを含むデータ構造を示す。図は、BDシステムにおけるPlaylistMarkと呼ばれる再生リストに基づく3Dビデオ信号におけるマークのための構文を定めるテーブル31を示す。PlayListMarkセマンティックスは、以下の通りである。lengthは、32ビット符号なし整数(uimbsf)として符号化される32ビット・フィールドであり、このlengthフィールドの直後からPlayListMark()の終端までのPlayListMark()のバイト数を示す。number_of_PlayList_marksは16ビット符号なし整数であり、PlayListMark()中に記憶されるMarkエントリーの数を与える。PL_mark_id値は、ゼロから始まる、PL_mark_idのfor-loopにおいて記述される順序によって定められる。mark_typeは、8ビット・フィールド(bslbf)であり、Markのタイプを示す。ref_to_PlayItem_idは、16ビット・フィールドであり、Markが配置されるPlayItemのためのPlayItem_id値を示す。PlayItem_id値は、PlayListファイルのPlayList()中に与えられる。mark_time_stampは、タイム・スタンプを含む32ビット・フィールドであり、マークが配置されるポイントを示す。mark_time_stampは、45kHzのクロックを単位として測定される、ref_to_PlayItem_idによって参照されるPlayItemのIN_timeからOUT_timeまでのインターバルにおけるプレゼンテーション時間を示す。entry_ES_PIDが0xFFFFに設定される場合、Markは、PlayListによって使用される全ての基本ストリームに対して共通であるタイム・ラインへのポインタである。entry_ES_PIDが0xFFFFに設定されない場合、このフィールドは、Markによってポイントされる基本ストリームを含むトランスポート・パケットのPIDの値を示す。継続時間は、45kHzのクロックを単位として測定される。

mark_typeのさまざまな値が、BDシステムにおいて事前に決められている。ここで、更なるマーク・タイプが、上述のような前記スタート及びエンド・マーカー25, 26のために定められ、テーブル中に含まれて、それらは、Javaアプリケーションがステレオ・ビデオ背景の上にステレオ・グラフィックスをオーバーレイすることができるときを示す。マーカーは、あるいは、セグメントを示すエントリー・マークであることができ、一方、セグメント自体が、オーバーレイ可能なタイプであることを示す。

3Dオーバレイ機能(例えば「ステレオ・グラフィックス・オーバレイ・マーク」)又はBDシステムにおける特別なClipMarkを示す、新たなマーク・タイプが定められることができ、ClipMarkは、伝統的にクリップ情報ファイル中の予約フィールド(A/Vコンテンツのセグメントに関連づけられるメタデータ)である。この特別なClipMarkは、Clipがオーバーレイ可能なタイプであることを示すために、ここに含まれる。更に、ディスク・フォーマットは、タイトルがインタラクティブ・タイトルであることをインデックス・テーブル中で指定することができる。さらに、ディスク上のフォーマットがBD-Javaアプリケーションを含む場合には、BD-Jタイトル再生タイプは、インタラクティブ・タイトルであるとして定められることができる。

さらに、BDフォーマット・プレイリスト構造は、動画の特定のセグメントが、ステレオ・グラフィックス・オーバレイに適応される特別なステレオ・ビデオ・コンテンツを含むことを示すために拡張されることができる。BDフォーマット・プレイリスト構造は、プレーヤーがプレイアイテムとも呼ばれるビデオ・コンテンツの特定のセグメントを識別することができるように、必要とされるメタデータを定める。プレイアイテムは、どの基本ストリームが動画コンテンツのそのセグメントの間に復号されて示されなければならないかという情報を担持する。プレイアイテムはさらに、プレーヤーがオーディオ及びビデオ・コンテンツの連続するセグメントをシームレスに復号することができて示すように、パラメータを示す。プレイアイテム・データ構造は、このプレイアイテムの間にステレオ・ビデオの前記インタリーブされたプライマリ及びセカンダリ・ストリームが存在することをプレーヤーに示すis_stereo_overlayエントリーによって拡張される。

図4は、プレイアイテムへの更なるエントリーを示す。この図は、それは、SS_dependent_view_blockと呼ばれるBDシステムにおけるプレイアイテムのための3Dビデオ信号中の従属ビュー・セクションのための構文を定めるテーブル32を示す。テーブルは、is_stereo_overlay_entryによって拡張されるプレイアイテムの一部の例である。プレイアイテムが拡張される場合、以下の要素が含まれる。Clip_information_file_name:立体視グラフィックス・オーバレイが活性化されるときにプレイアイテムによって使用されるクリップ(ビデオのセグメント)のためのClip情報ファイルの名前。Clip_coded_identifier:このエントリーは、ISO 646において定義したように符号化される値「M2TS」を有する。ref_to_STC_id:クリップ中のこのシーケンスのクリップ情報ファイルにおけるシステム・タイム・クロック・リファレンスのためのインジケータ。

更に、伝統的にマルチ・アングル・ビデオに関する情報を保持することが意図される更なる構造(例えばマルチ・クリップ・エントリー構造)は、グラフィックス・オーバレイを伴う及び伴わないステレオ・ビデオのためのクリップ(ビデオ及びオーディオ・コンテンツのセグメント)に関する識別情報を担持することができる。

オーバーレイ可能タイプにおいて、再生可能なビデオ・アイテムがオーバーレイを可能にするためのセカンダリ・データストリームを有することを示すインジケータは、プレイアイテム中のマルチ・アングル情報を置き換えることができる。

そしてPlayitemは、マルチ・アングル又はマルチ・ステレオをサポートする。この制限は、マルチ・アングル及びマルチ・ステレオのための両方のエントリーを含むようにplaytemのマルチ・クリップ構造を複製することによって解除されることができる。ディスク上のインタリーブされたセグメントの量及びサイズについては、制約がBDシステムにおいて定められる制限内にとどまることを保証するために、許容されるアングルの総数に関する制限が設定されることができる。

第三に、BD-Java APIは、ディスク上のJavaアプリケーションにオーバーレイ機能を提供するように拡張される。この機能は、再生の間にステレオ・ビデオのセカンダリ・ストリームを含むビデオ中の位置に達したイベントをアプリケーションが登録及び受信することを可能にする。これは、新たに定められたプレイリスト・マーカーによるか、又は、プレーヤーが1つのクリップから他のクリップへと自動的に再生を変更するときに生成されるイベントによる。ステレオ・グラフィックス・オーバレイを描画するために必要とされるリソースを割り当てることによって準備することができるように、特別なセグメントの開始前にアプリケーションに通知するために用いられることができるので、第1の方法が好ましい。(以前に述べられたような)新たなマーク・タイプ(又は同様のインジケータ)は、どの特別なステレオ・ビデオ・セグメントが再生されるべきかをアプリケーションが選択することを可能にするステレオ・グラフィックス・オーバレイ・マーク及び制御を提供する。Javaアプリケーションが、ステレオ・グラフィックス・オーバレイの描画を開始することを望んでいること、又は、プレーヤーが元の「通常の」ステレオ・ビデオ・コンテンツへと自動的に再生を切り替えることができるようにステレオ・グラフィックス・オーバレイの描画を終了したことを、プレーヤーに通知することを可能にするために、更なる制御パラメータが追加されることができる。この制御又は方法は、例えばPOP-upStereoGraphics制御と呼ばれることができる。それは、ON及びOFF状態を有する。ON状態のとき、プレーヤーは、特別に用意されたステレオ・ビデオ・コンテンツを含むビデオ・クリップを復号して示さなければならない。OFF状態のとき、プレーヤーは、通常のステレオ・ビデオ・クリップを復号して示す。

第四に、ポップアップ・メニューが活性化されている場合、又は、Javaアプリケーションがステレオ・グラフィックスをオーバーレイすることを望むことを関連する新たに定められたAPIによって示す場合、プレーヤーが、is_stereo_overlayエントリーを含むプレイアイテム構造に遭遇するときに、グラフィックス・オーバレイのためのステレオ・ビデオを含むクリップに自動的に切り替えるように、プレーヤーは適応される。

本発明が主にブルーレイ・ディスク・システムに基づく実施の形態によって説明されたが、本発明はさらに、任意の3D信号、例えばインターネットを介した配信のためにフォーマット化される転送又は記憶フォーマットに適している。本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式で実施されることができる。本発明はオプションとして、例えばオーサリング若しくは表示設定における方法として、又は、少なくとも部分的に、1つ以上のデータ・プロセッサ及び/若しくはデジタル・シグナル・プロセッサ上で実行されるコンピュータ・ソフトウェアとして、実施されることができる。

いうまでもなく、明確性のための前記説明は、異なる機能ユニット及びプロセッサを参照して本発明の実施の形態を記載した。しかしながら、本発明は、それらの実施の形態に限られず、いずれの新規な特徴又は記載された特徴の組み合わせにもある。異なる機能ユニット又はプロセッサ間での機能の任意の適切な分配が用いられることができる。例えば、別のユニット、プロセッサ又はコントローラによって実行されるように説明された機能は、同じプロセッサ又はコントローラによって実行されることができる。したがって、特定の機能ユニットへの参照は、単に説明される機能を提供するために適した手段への参照であると考えられるべきであり、厳密な論理的若しくは物理的構造又は機構を示さない。

さらに、個別に記載されるが、複数の手段、要素又は方法ステップは、例えば単一のユニット又はプロセッサによって実施されることができる。さらに、個々の特徴が異なる請求項中に含まれる場合があるが、これらはあるいは有利に組み合わせられることができ、異なる請求項中に包含されることは、特徴の組み合わせが可能ではないこと及び/又は有利ではないことを意味しない。さらに、ある特徴が請求項の1つのカテゴリに含まれることは、このカテゴリへの制限を意味せず、むしろ、この特徴が、適切に、他の請求項カテゴリにも同様に適用されることができることを示す。さらに、請求項中の特徴の順序は、それらの特徴が動作する特定の順序を意味せず、特に、方法クレームにおける個々のステップの順序は、それらのステップがこの順序で実行されなければならないことを意味しない。むしろ、これらのステップは、任意の適切な順序で実行されることができる。更に、単数の参照は複数を除外しない。したがって、"a"、"an"、"first"、"second"等への参照は、複数を除外しない。請求項中の参照符号は、単に実施例を明確にするものとして提供されており、いかなる態様においても請求の範囲を制限するものとして解釈されてはならない。「有する」「含む」などの用語は、挙げられたもの以外の他の要素又はステップの存在を除外しない。

Claims (14)

  1. 三次元[3D]ビデオ信号を提供する方法であって、
    名目上の深さ範囲を呈する3Dビデオ・データをレンダリングするための、観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを含め、
    前記名目上の深さ範囲中の補助深さにおいて前記3Dビデオ・データ上に補助画像データをオーバーレイすることを可能にするために、
    前記補助深さよりさらに観察者から離れた変更された深さ範囲を呈する前記3Dビデオ・データをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを含めることによって、
    前記3Dビデオ信号を生成する方法。
  2. 補助画像データの前記オーバーレイを可能にするための前記3Dビデオ信号の時間セグメントを提供し、
    前記時間セグメント間にのみ前記セカンダリ・データストリームを含める、
    請求項1に記載の方法。
  3. − 前記セカンダリ・データストリームの存在を示すオーバーレイ・マーカー、
    − 補助画像データのオーバーレイを制御し、当該オーバーレイの間、前記セカンダリ・データストリームをレンダリングするための制御データ、
    − 前記補助深さを示す深さインジケータ、
    のうちの少なくとも1つを、前記3Dビデオ信号中に含める、請求項1に記載の方法。
  4. 前記セカンダリ・データストリームが、
    − 対応するプライマリ・データストリーム、
    − 他のプライマリ・データストリーム、
    のうちの少なくとも1つに従って符号化される、請求項1に記載の方法。
  5. 前記3Dビデオ信号は事前に決められたビデオ記憶フォーマットに従ってフォーマットされ、前記事前に決められたビデオ・フォーマットは、プレイアイテム・データ構造を持つ再生可能なビデオ・アイテムを含み、前記プレイアイテム・データ構造は、前記再生可能なビデオ・アイテムがオーバーレイを可能にするための前記セカンダリ・データストリームを含むことを示すインジケータを備える、請求項1に記載の方法。
  6. 三次元[3D]ビデオ・データを転送するための3Dビデオ信号が記録された記録担体を製造する方法であって、
    3Dビデオ信号を提供するステップ、
    前記3Dビデオ信号を表す光学的に検出可能なマークのトラックを、実質的に並列のトラックを構成するターンのらせん又は同心のパターンにしたがって、前記記録担体の情報レイヤ上に形成するステップを含
    前記3Dビデオ信号を提供するステップは、
    名目上の深さ範囲を呈する3Dビデオ・データをレンダリングするための、観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを提供してこれらを符号化し、
    前記名目上の深さ範囲中の補助深さにおいて前記3Dビデオ・データ上に補助画像データをオーバーレイすることを可能にするために、
    前記補助深さよりさらに観察者から離れた変更された深さ範囲を呈する前記3Dビデオ・データをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを提供してこれを符号化することによって、
    前記3Dビデオ信号を生成することを含み、
    前記トラックを形成するステップは、
    前記第1及び第2プライマリ・データストリーム並びに前記セカンダリ・データストリームを持つセグメントが、当該セグメントの開始を示すスタート・マーカーと終了を示すエンド・マーカーとの間に提供されるように前記マークのトラックを形成する、
    製造方法。
  7. 3Dビデオ信号を処理する方法であって、
    −名目上の深さ範囲を呈する3Dビデオをレンダリングするための、観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを前記3Dビデオ信号から読み出し、
    −補助深さよりさらに観察者から離れた変更された深さ範囲を呈する前記3Dビデオをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを前記3Dビデオ信号から読み出し、
    − 補助画像データを提供し、
    − 前記補助深さより観察者に近い深さにおいて、前記セカンダリ・データストリームに基づく3Dビデオ・データ上に前記補助画像データをオーバーレイする、方法。
  8. 3Dビデオ信号を提供するための3Dソース装置であって、
    名目上の深さ範囲を呈する3Dビデオ・データをレンダリングするための、観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを含め、
    前記名目上の深さ範囲中の補助深さにおいて前記3Dビデオ・データ上に補助画像データをオーバーレイすることを可能にするために、
    前記補助深さよりさらに観察者から離れた変更された深さ範囲を呈する前記3Dビデオ・データをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを含めることによって、
    前記3Dビデオ信号を生成するための処理手段を有する装置。
  9. 3Dビデオ信号を処理するための3D処理装置であって、
    前記3Dビデオ信号を受信するための受信手段、並びに、
    名目上の深さ範囲を呈する3Dビデオをレンダリングするための、観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリームを前記3Dビデオ信号から読み出し、
    補助深さよりさらに観察者から離れた変更された深さ範囲を呈する前記3Dビデオをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリームを前記3Dビデオ信号から読み出し、
    補助画像データを提供し、
    前記補助深さより観察者に近い深さにおいて、前記セカンダリ・データストリームに基づく3Dビデオ・データ上に前記補助画像データをオーバーレイするための処理手段を有する装置。
  10. 前記処理手段が、
    前記セカンダリ・データストリームを含む前記3Dビデオ信号の時間セグメントを検出すること、
    前記セカンダリ・データストリームの存在を示す前記3Dビデオ信号中のオーバーレイ・マーカーを検出すること、
    補助画像データのオーバーレイを制御するための前記3Dビデオ信号中の制御データを検出すること、
    前記補助深さを示す深さインジケータを検出すること、
    のうちの少なくとも1つに従って前記オーバーレイを行う、請求項9に記載の装置。
  11. − 対応するプライマリ・データストリーム、
    − 他のプライマリ・データストリーム、
    のうちの少なくとも1つに従って、前記セカンダリ・データストリームを復号するための手段を有する、請求項9に記載の装置。
  12. − 前記3Dビデオ信号を受信するために記録担体を読むための手段、
    − 前記3Dビデオ・データと組み合わせて前記補助画像データを表示するための3D表示手段、
    のうちの少なくとも1つを有する、請求項9に記載の装置。
  13. 3Dビデオ・データを転送するための3Dビデオ信号が記録されたコンピュータ可読記録担体であって、前記3Dビデオ信号は、
    名目上の深さ範囲を呈する3Dビデオ・データをレンダリングするための、観察者の左目に対して表示される左画像を表す第1プライマリ・データストリーム及び観察者の右目に対して表示される右画像を表す第2プライマリ・データストリーム、並びに
    前記名目上の深さ範囲中の補助深さにおいて前記3Dビデオ・データ上に補助画像データをオーバーレイすることを可能にするために、前記補助深さよりさらに観察者から離れた変更された深さ範囲を呈する前記3Dビデオ・データをレンダリングするための、それぞれのプライマリ・データストリームの代わりに目のうちの一方に対して表示されるセカンダリ・データストリーム、を有
    前記3Dビデオ信号がコンピュータの受信手段により受信され、
    前記第1プライマリ・データストリーム及び前記第2プライマリ・データストリームが前記3Dビデオ信号から前記コンピュータの処理手段により読み出され、
    前記セカンダリ・データストリームが前記3Dビデオ信号から前記処理手段により読み出されることにより、
    前記補助深さより観察者に近い深さにおいて、前記セカンダリ・データストリームに基づく3Dビデオ・データ上に前記補助画像データを前記処理手段がオーバーレイすることを可能にする、コンピュータ可読記録担体。
  14. 請求項1から請求項7のいずれか一項に記載の方法のそれぞれのステップをプロセッサに実行させるための、3Dビデオ信号を処理するためのコンピュータ・プログラム。
JP2011536995A 2008-11-24 2009-11-20 3dビデオ及び補助データの組み合わせ Expired - Fee Related JP5859309B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP08169774 2008-11-24
EP08169774.0 2008-11-24
EP09173467.3 2009-10-20
EP09173467A EP2320667A1 (en) 2009-10-20 2009-10-20 Combining 3D video auxiliary data
PCT/IB2009/055208 WO2010058368A1 (en) 2008-11-24 2009-11-20 Combining 3d video and auxiliary data

Publications (2)

Publication Number Publication Date
JP2012510197A JP2012510197A (ja) 2012-04-26
JP5859309B2 true JP5859309B2 (ja) 2016-02-10

Family

ID=41727564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011536995A Expired - Fee Related JP5859309B2 (ja) 2008-11-24 2009-11-20 3dビデオ及び補助データの組み合わせ

Country Status (7)

Country Link
US (1) US20110234754A1 (ja)
EP (1) EP2374280A1 (ja)
JP (1) JP5859309B2 (ja)
KR (1) KR20110097879A (ja)
CN (1) CN102224737B (ja)
TW (1) TWI505691B (ja)
WO (1) WO2010058368A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置
US20110316972A1 (en) * 2010-06-29 2011-12-29 Broadcom Corporation Displaying graphics with three dimensional video
EP2408211A1 (en) * 2010-07-12 2012-01-18 Koninklijke Philips Electronics N.V. Auxiliary data in 3D video broadcast
US9986220B2 (en) 2010-07-12 2018-05-29 Koninklijke Philips N.V. Auxiliary data in 3D video broadcast
JP2012023648A (ja) * 2010-07-16 2012-02-02 Sony Corp 再生装置、再生方法、およびプログラム
KR101676830B1 (ko) * 2010-08-16 2016-11-17 삼성전자주식회사 영상 처리 장치 및 방법
KR20120042313A (ko) * 2010-10-25 2012-05-03 삼성전자주식회사 입체영상표시장치 및 그 영상표시방법
GB2485532A (en) * 2010-11-12 2012-05-23 Sony Corp Three dimensional (3D) image duration-related metadata encoding of apparent minimum observer distances (disparity)
TWI491244B (zh) * 2010-11-23 2015-07-01 Mstar Semiconductor Inc 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3d 영상처리장치 및 그 입체감 조정방법
CN104471932A (zh) * 2012-05-24 2015-03-25 Lg电子株式会社 数字信号的处理装置和方法
CN103875241B (zh) * 2012-07-25 2017-06-13 统一有限责任两合公司 用于在传输数字图像时间序列时处理干扰的方法和设备
US20140055564A1 (en) 2012-08-23 2014-02-27 Eunhyung Cho Apparatus and method for processing digital signal
RU2676001C2 (ru) * 2013-04-10 2018-12-25 Конинклейке Филипс Н.В. Визуализация реконструированных данных изображения
JP6265299B2 (ja) * 2014-03-20 2018-01-24 ソニー株式会社 ビデオデータのための軌道データの生成

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
TWI260591B (en) * 2002-10-14 2006-08-21 Samsung Electronics Co Ltd Information storage medium with structure for multi-angle data, and recording and reproducing apparatus therefor
AU2002355052A1 (en) * 2002-11-28 2004-06-18 Seijiro Tomita Three-dimensional image signal producing circuit and three-dimensional image display apparatus
JP2004274125K1 (ja) * 2003-03-05 2004-09-30
US20040233233A1 (en) * 2003-05-21 2004-11-25 Salkind Carole T. System and method for embedding interactive items in video and playing same in an interactive environment
US8000580B2 (en) * 2004-11-12 2011-08-16 Panasonic Corporation Recording medium, playback apparatus and method, recording method, and computer-readable program
GB0329312D0 (en) * 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
AT416443T (de) * 2005-04-19 2008-12-15 Koninkl Philips Electronics Nv Tiefenwahrnehmung
WO2007030173A1 (en) * 2005-06-06 2007-03-15 Intuitive Surgical, Inc. Laparoscopic ultrasound robotic surgical system
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
JP4645356B2 (ja) * 2005-08-16 2011-03-09 ソニー株式会社 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置
JP5366547B2 (ja) * 2005-08-19 2013-12-11 コーニンクレッカ フィリップス エヌ ヴェ 立体視表示装置
EP3155998A1 (en) * 2005-10-20 2017-04-19 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
WO2008083500A1 (en) * 2007-01-11 2008-07-17 360 Replays Ltd. Method and system for generating a replay video
WO2008115222A1 (en) * 2007-03-16 2008-09-25 Thomson Licensing System and method for combining text with three-dimensional content
US8208013B2 (en) * 2007-03-23 2012-06-26 Honeywell International Inc. User-adjustable three-dimensional display system and method
US7933166B2 (en) * 2007-04-09 2011-04-26 Schlumberger Technology Corporation Autonomous depth control for wellbore equipment
KR20080114169A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 3차원 영상 표시방법 및 이를 적용한 영상기기
US20090079830A1 (en) * 2007-07-27 2009-03-26 Frank Edughom Ekpar Robust framework for enhancing navigation, surveillance, tele-presence and interactivity
WO2009083863A1 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
EP3454549A1 (en) * 2008-07-25 2019-03-13 Koninklijke Philips N.V. 3d display handling of subtitles
JP4748234B2 (ja) * 2009-03-05 2011-08-17 富士ゼロックス株式会社 画像処理装置および画像形成装置
US8369693B2 (en) * 2009-03-27 2013-02-05 Dell Products L.P. Visual information storage methods and systems
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Also Published As

Publication number Publication date
JP2012510197A (ja) 2012-04-26
EP2374280A1 (en) 2011-10-12
TW201026018A (en) 2010-07-01
TWI505691B (zh) 2015-10-21
KR20110097879A (ko) 2011-08-31
WO2010058368A1 (en) 2010-05-27
US20110234754A1 (en) 2011-09-29
CN102224737B (zh) 2014-12-03
CN102224737A (zh) 2011-10-19

Similar Documents

Publication Publication Date Title
JP6279694B2 (ja) 高ダイナミックレンジ・ビデオのためのグラフィック処理
JP2017022714A (ja) 3dビデオ上に3dグラフィックスをオーバレイするための方法及び装置
JP4923162B2 (ja) 受信装置、受信方法
US8121460B2 (en) Information recording medium and playback device for playing back 3D images
JP4772163B2 (ja) 立体視再生を行う再生装置、再生方法、プログラム
US8503869B2 (en) Stereoscopic video playback device and stereoscopic video display device
US8705935B2 (en) Recording medium, playback device, integrated circuit
JP4588118B1 (ja) 記録媒体、再生装置
US8600212B2 (en) Recording medium on which 3D video is recorded, playback apparatus for playing back 3D video, and system LSI
US8306387B2 (en) Play back apparatus, playback method and program for playing back 3D video
JP4724255B1 (ja) 再生装置
ES2659717T3 (es) Medio de grabación en el que se graba vídeo en 3D, aparato de grabación para grabar vídeo en 3D y dispositivo de reproducción y método para reproducir vídeo en 3D
CN102137270B (zh) 字幕的3d显示处理
WO2012147350A1 (ja) 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法
US8335425B2 (en) Playback apparatus, playback method, and program for performing stereoscopic playback
US9756310B2 (en) Information processing device, information processing method, and program
KR101716636B1 (ko) 3d 비디오 및 보조 데이터의 결합
US20110142426A1 (en) Recording medium, playback device, and integrated circuit
US8139922B2 (en) Playback apparatus and method, program, recording medium, data structure, and manufacturing method for recording medium
US8929716B2 (en) Information processing device, information processing method, and program
US9338428B2 (en) 3D mode selection mechanism for video playback
JP4081772B2 (ja) 再生装置および再生方法、プログラム、並びにプログラム格納媒体
WO2010038409A1 (ja) 再生装置、記録媒体、及び集積回路
US8538234B2 (en) Display device and method, transmission device and method, and reception device and method
US20100150523A1 (en) Playback apparatus, integrated circuit, and playback method considering trickplay

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131225

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150813

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151216

R150 Certificate of patent or registration of utility model

Ref document number: 5859309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees