JP5829604B2 - ３ｄトリックプレイのためのエントリー・ポイント - Google Patents

３ｄトリックプレイのためのエントリー・ポイント Download PDF

Info

Publication number
JP5829604B2
JP5829604B2 JP2012511383A JP2012511383A JP5829604B2 JP 5829604 B2 JP5829604 B2 JP 5829604B2 JP 2012511383 A JP2012511383 A JP 2012511383A JP 2012511383 A JP2012511383 A JP 2012511383A JP 5829604 B2 JP5829604 B2 JP 5829604B2
Authority
JP
Japan
Prior art keywords
entry point
substream
auxiliary
video data
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012511383A
Other languages
English (en)
Other versions
JP2012527814A (ja
Inventor
フィリップ エス ニュートン
フィリップ エス ニュートン
フランセスコ スカロリ
フランセスコ スカロリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2012527814A publication Critical patent/JP2012527814A/ja
Application granted granted Critical
Publication of JP5829604B2 publication Critical patent/JP5829604B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、ビデオデータ・ストリームにエントリー・ポイントを提供する方法に関し、当該方法は、
-エントリー・ポイント・テーブルを生成し、
-互いから時間をおいて定められたエントリー・ポイントをビデオデータ・ストリーム中に定め、
-定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによってエントリー・ポイント・テーブル中に定められたエントリー・ポイントを記憶する。
本発明はさらに、エントリー・ポイントを提供するための装置、ビデオデータを再生するための装置、信号、レンダリングの方法及びコンピュータ・プログラム製品に関する。
本発明は、トリックプレイ・モードで3Dビデオデータをレンダリングする、すなわち、3D表示装置上で順方向又は逆方向に増加した速度で3Dビデオを再生する分野に関する。
2Dビデオデータをレンダリングするための装置が知られている(例えば、DVDプレーヤーのようなビデオ・プレーヤー又はデジタルビデオ信号を提供するセットトップボックス)。ソース装置は、TVセット又はモニタのような表示装置に結合される。画像データは、ソース装置から適切なインタフェース(好ましくは、HDMIのような高速デジタル・インタフェース)を介して転送される。現在、三次元(3D)画像データを供給するための3D拡張装置が提案されている。
3D動画又はTVプログラムのような3Dコンテンツのために、トリックプレイを可能にするための付加的な制御データが、画像データと組み合わせて提供される場合がある（例えば、増加した速度でレンダリングされることができるフレームの後続の位置へのポインタのリスト）。トリックプレイは、さまざまな速度で元の速度と異なる速度(例えば高速順方向若しくは高速逆方向、又はスローモーション)における3Dビデオ・コンテンツの任意のレンダリング・モードである。
文献US2006/0117357は、トリックプレイ・モードで2Dビデオデータをレンダリングするシステムを記載する。デジタルビデオ信号は、さまざまなトリック・モード再生速度で再生される。デジタルビデオ・ストリームのビデオ・フレームと関連したフレーム・インデックスがモニタリングされて、Group-of-Picture(GOP)サイズがフレーム・インデックスから決定される。１つ以上のトリック・モード再生速度パラメータが、決定されたGOPサイズに基づいて計算される。ビデオ・フレームの表示は、計算されたトリック・モード再生速度パラメータに基づいて制御される。一実施例において、トリック・モード再生速度パラメータは、フレーム・スキップ・カウント及びフレーム・リピート・カウントを含む。
3Dコンテンツのためのトリックプレイも開発されなければならない。3Dコンテンツの１つの例は、二次元画像及び関連する深さマップである。3Dコンテンツの他の例は、複数の二次元画像である（例えば右目画像及び左目画像を有する周知の立体視コンテンツ）。3Dコンテンツのさらに他の例は、マルチビュー・ディスプレイに表示される複数の右目画像及び左目画像を持つ立体視コンテンツである。
3Dビデオに関するトリックプレイの問題は、(滑らかなトリックプレイのために)復号器がより短い時間でより多くのフレームを復号しなければならないので、ビデオ復号器の負担が増加することである。立体視ビデオについては、復号器は２つ以上のストリームを復号しなければならず、これは2Dと比較して負担を増加させる。加えて、マルチビュー・ビデオが依存的サブ・ストリーム・マルチビュー符号化を用いて符号化される場合、付加的なストリームの復号は、基本ビュー・ストリームに依存的になる。
2Dトリックプレイを提供するために、ブルーレイ・ディスク規格は、基本ビデオ・ストリームごとにエントリー・ポイント・テーブル(EPマップ)を定める。ビデオは、周知のMPEG規格において定義されるさまざまな種類のフレームとして符号化される。テーブルは、復号が始まることができるポイントのストリームでの位置を記載する。通常、エントリー・ポイントは、MPEG Iフレーム境界にある。テーブルは、１つのストリームのためのエントリー・ポイントのみを記載し、さらに互いに依存しているいくつかのビデオ・ストリームが同時に復号される場合があることは考慮されない。
A novel Milti-View Video Coding Scheme Based on H.264; by GuopingLi, Yun He; ICICS-PCM 2003, 15-18 december 2003, Singapore, IEEE 0-7893-8185-8/03
Efficient Prediction Structures for Multi-View Video Coding; by Philipp Merkle et al; IEEE 2007
Depth image based rendering, compression and transmission for a new approach on 3D TV by Christoph Fehn (see http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf)
本発明の目的は、より便利な態様における3Dトリックプレイのための方法を提供することである。
この目的のために、本発明の第１の態様によると、冒頭の段落に記載の方法において、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、エントリー・ポイントを定めることは、2Dサブストリームの隣接しない断片を読み出して復号し、補助サブストリームの対応する断片を読み出して従属して復号することによって、3Dビデオデータの3Dトリックプレイを可能にするために、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを定める。
この目的のために、本発明の第２の態様によれば、ビデオデータ・ストリームにエントリー・ポイントを提供するための装置は、互いから時間をおいて定められるエントリー・ポイントをビデオデータ・ストリーム中に定めることによってエントリー・ポイント・テーブルを生成し、定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによって定められたエントリー・ポイントをエントリー・ポイント・テーブル中に記憶するための手段を有し、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、エントリー・ポイント・テーブルを生成するための手段は、2Dサブストリームの隣接しない断片を読み出して復号し、補助サブストリームの対応する断片を読み出して従属して復号することによって、3Dビデオデータの3Dトリックプレイを可能にするために、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを定めるように配置される。
この目的のために、本発明のさらに別の態様では、ビデオデータを再生するための装置は、ビデオデータ・ストリーム及び上で定められたようなエントリー・ポイント・テーブルを受信するための手段を有し、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、エントリー・ポイントは、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを有し、当該装置は、エントリー・ポイント・テーブルに従って2Dサブストリームの隣接しない断片を読み出して復号して補助サブストリームの対応する断片を読み出して従属して復号することにより3Dビデオデータを再生することによる3Dビデオデータの3Dトリックプレイのための手段を有する。
この目的のために、本発明のさらに別の態様では、ビデオデータを伝達する信号は、互いから時間をおいて定められるエントリー・ポイントを持つビデオデータ・ストリーム、及び、定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによって定められたエントリー・ポイントを有する上で定められたようなエントリー・ポイント・テーブルを有し、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、そして、エントリー・ポイント・テーブルは、2Dサブストリームの隣接しない断片を読み出して復号して補助サブストリームの対応する断片を読み出して従属して復号することにより3Dビデオデータを再生することによって3Dビデオデータの3Dトリックプレイを可能にするために、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを有する。
この目的のために、本発明のさらに別の態様では、上で定められたような信号に基づいてビデオデータをレンダリングする方法は、ビデオデータ・ストリーム及び上で定められたようなエントリー・ポイント・テーブルを受信し、ビデオデータ・ストリームは、3Dビデオデータの１つのストリームを符号化して3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、エントリー・ポイントは、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを有し、そして当該方法は、エントリー・ポイント・テーブルに従って2Dサブストリームの隣接しない断片を読み出して復号して補助サブストリームの対応する断片を読み出して従属して復号することにより3Dビデオデータを再生することによる3Dビデオデータの3Dトリックプレイをレンダリングする。
この方策は、複数のサブストリーム符号化3Dビデオデータ(例えばブルーレイ・ディスクのためのマルチビュー符号化ビデオ)のトリックプレイが、拡張されたエントリー・ポイント・テーブルを備えるという効果を持つ。従来のエントリー・ポイント・テーブルは、ビデオ・ストリーム中の特定の時点に１つのエントリー・ポイントを提供する。本発明によるエントリー・ポイント・テーブルは、対応する補助ビデオ・ストリームにさらに直接アクセスするための、メイン・エントリー・ポイントを持つ特定の時点のための少なくとも１つの更なるエントリー・ポイントを提供する。例えば、これは、ベースビュー・ビデオ・ストリームに関するEPマップが、それらだけでは復号されることができない関連する補助ストリームのためのエントリー・ポイントをさらに含むように、エントリー・ポイント・テーブルの定義を変更することによって達成される。トリックプレイ・モードで再生されるべき3Dビデオの特定の断片を復号するときに、メイン・ストリーム及び補助ストリームの必要なデータが、直接アクセスされることができる。有利なことに、観察者は、全てのサブストリームが正しく復号されるというわけではないか又は失われた参照に起因して利用可能であるというわけではない場合の深さの知覚を妨害する影響を感じる必要が無い。
本発明はさらに以下の認識に基づく。従来の技術の2Dトリックプレイ・システムは、3Dトリックプレイに対する問題を認識してない。特に、１つのビデオ・ストリームに対して、１セットのエントリー・ポイントが提供される。しかしながら、独立に復号可能であるメイン・サブストリームに加えて、１つ以上の補助サブストリームが3Dビデオ信号中に存在する。本発明者らは、そのようなサブストリームは、通常の再生スピードにおいて、メイン・ストリームに依存してのみ復号可能であることを確認した。したがって、従来は、任意の復号できないストリーム中のエントリー・ポイントには何ら利点が無いと思われるので、そのような補助ストリームはエントリー・ポイントを持たない。しかし、本発明者らは、復号できない補助ストリームに、エントリー・ポイントを追加した。メイン・エントリーポイント・アドレス及び補助エントリー・ポイント・アドレスの両方を提供することによってのみ、両方のストリームが、トリックプレイのために隣接しない断片において首尾よく復号されることができる。これは、そのような断片に対して、補助ストリームの対応する断片が、拡張されたエントリー・ポイント・テーブルに従って直ちに読み出されることができるからである。
システムの実施の形態において、ビデオデータ・ストリームはマルチビュー3Dビデオデータを有し、このマルチビューは、少なくとも１つの左ビュー及び１つの右のビューを含む。マルチビュー3Dビデオは、左及び右目のための複数の別々のビューを提供する。3Dシーンの複数のビューは大きいオーバラップを持ち、例えば参照文献[1]又は[2]において説明されるように、通常は従属して符号化される。拡張エントリー・ポイント・テーブルは、そのようなマルチビュー3Dビデオ・ストリームのためのトリックプレイを首尾良く提供する。
システムの実施の形態において、ビデオデータ・ストリームは、複数の補助サブストリームを有し、エントリー・ポイントは、トリックプレイの間は3Dビデオデータの削減されたバージョンをレンダリングするために前記複数の補助サブストリームの選択されたサブセットのため補助エントリー・ポイントのみを有する。有利には、エントリー・ポイント・テーブルのサイズは、制限されたままである。この実施の形態はさらに、トリックプレイの間はレンダリングされる3Dビデオの若干の劣化が許容できるとの認識に基づく。例えば、マルチビュー3Dビデオのビューの数は、すべてのサブストリームを復号するというわけではないことによって低減されることができ、あるいは、透明度データは、構造化3Dビデオ・フォーマットにおいて無視されることができる。
本発明による方法、3D装置及び信号の更なる好ましい実施の形態は添付された請求の範囲において与えられ、その開示は参照によって本願明細書に組み込まれる。
本発明のこれらの及び他の態様は、添付の図面を参照して、以下の記載において一例として記載される実施の形態から明らかであり、それらを参照して説明される。
三次元ビデオ生成システムを示す図。 マルチビュー・ディスプレイを示す図。 レンチキュラ・レンズを介した右及び左目ビューを示す図。 プレイリストの基本的な構造を示す図。 三次元(3D)ビデオデータを表示するシステムを示す図。 エントリー・ポイント・テーブル・インジケータ・テーブルを示す図。 拡張エントリー・ポイント・テーブル・インジケータ・テーブルを示す図。 拡張ストリーム・タイプ・テーブルを示す図。 ２つのサブストリームを持つ3Dビデオ・ストリームを示す図。 エントリー・ポイント・マップの定義を示す図。 メイン・ストリーム及びサブストリームが組み合わされたエントリー・ポイント・テーブルを示す図。
図において、既に説明された要素の対応する要素は同じ参照符号を持つ。
図1は、三次元ビデオ生成システムを示す。三次元ビデオ生成システムは、一対のカメラ（右カメラ11及び左カメラ12）、記憶媒体14に記憶されるビデオ信号15を生成する3Dビデオプロセッサ13を有する。右カメラ及び左カメラは、それぞれ従来のカメラであることができる。深さスキャナが、左カメラに関連付けられることができ、例えば、さまざまな方向に向きを変えられることができるレーザ・ビーム及びレーザ・ビームの反射を検出するセンサを有する。深さ情報はさらに、カメラ情報からの計算によって生成されることができる。カメラのペアは、シーンの三次元ビデオを取り込むために、シーン10に向けられる。シーン10は、例えば人、木、住宅及び空の太陽のようなさまざまなオブジェクトを有する。各々のオブジェクトは、シーンを観察している仮想的な観察者とみなされることができるカメラのペアに対して所与の距離を持つ。
3Dビデオプロセッサは、例えば、命令実行装置及び後述される3Dビデオプロセッサの動作を定める１セットの命令がロードされたプログラムメモリを有することができる。例えば、記憶媒体14は、ハードディスク、書き込み可能な光学ディスク、読み取り専用型光ディスクを製造するマスタリング・システム又は固体素子メモリの形であることができる。
三次元ビデオ生成システムは、基本的に以下のように動作する。カメラのペアは、画像ペアのシーケンスによって形成されるシーンの基本的な三次元ビデオを提供する。画像ペアは、右画像及び左画像を有する。右のカメラによって取り込まれる右画像は、人の観察者の右目を対象とする。左のカメラによって取り込まれる左画像は、人の観察者の左目を対象とする。
右カメラ及び左カメラは、互いに対して特定の位置関係を持つ。この位置関係は、例えば、画面サイズ及び観察距離に関する典型的なレンダリング状況によって定められることができる。例えば、右画像のシーケンス及び相互関係のある左画像のシーケンスを有する基本的な三次元ビデオは、12メートルの典型的な画面サイズ及び18メートルの典型的な観察距離を有する映画における表示を対象とする場合がある。マルチビュー3Dビデオデータ・ストリームは、カメラ及び/又は深さ情報から生成されることができる。マルチビュー3Dビデオは、左及び右目のための複数の別々のビューを提供する。3Dシーンの複数のビューは大きいオーバラップを持ち、例えば参照文献[1]又は[2]において説明されるように、通常は従属して符号化される。
異なる3Dフォーマットは、2D画像及び2D画像中のオブジェクトの深さに関する情報を伝達する付加的な深さ画像(いわゆる深さマップ)を用いた２つのビューに基づく。画像+深さと呼ばれるフォーマットは、それがいわゆる「深さ」又は視差マップと2D画像との組み合わせであるという点で異なる。これは、グレースケール画像であり、それによって、ピクセルのグレーのスケール値は、関連する2D画像中の対応するピクセルの視差(又は、深さマップの場合には深さ)の量を示す。表示装置は、入力として2D画像を利用して付加的なビューを計算するために、像差、深さ又は視差マップを用いる。これは、様々な態様で実行されることができ、最も単純な形式では、それは、ピクセルに関連付けられた視差値に依存して、左に又は右にそれらのピクセルをシフトする問題である。参照文献[3]はこの技術の優れた概要を与える。
図1に示されるシステムにおいて、3Dビデオプロセッサ13は、入力3Dビデオデータを処理するためのエントリー・ポイント・ユニット18を持ち、3Dトリックプレイ・モードのためのエントリー・ポイント・テーブルを生成する。エントリー・ポイント・ユニットは、ビデオデータ・ストリーム中にエントリー・ポイントを定めるために配置される。エントリー・ポイントは、エントリー・ポイント・テーブル中に記憶される。エントリー・ポイントは、互いから時間をおいてビデオデータ・ストリーム中に定められる。続いて、定められたエントリー・ポイントは、例えば、定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによって、エントリー・ポイント・テーブル中に記憶される。3Dビデオデータ・ストリーム・フォーマットにおいて、ビデオデータ・ストリームは、通常、3Dビデオデータの１つのストリームを符号化する複数のサブストリームを有し、そして、複数のサブストリームは、3Dビデオデータの2Dバージョンを独立に符号化する少なくとも１つの2Dサブストリーム及び3Dビデオデータの一部を従属して符号化する少なくとも１つの補助サブストリームを有する。例えば、その一部は、(独立に符号化された左ビュー・ストリームによって決まる)右ビュー又は深さマップであることができる。そのような3Dビデオ・ストリームに対してエントリー・ポイントは、3Dビデオデータの3Dトリックプレイを可能にするために、2Dサブストリーム中のメイン・エントリー・ポイント及び補助サブストリーム中の補助エントリー・ポイントを有するように生成される。
レンダリングの間、メイン・(2D)サブストリームの選択された断片は、メイン・エントリー・ポイントに基づいて読み出されて、2Dサブストリームの隣接しない断片として復号される。続いて、2Dサブストリームの選択された部分に対応する補助従属サブストリームの部分が、補助エントリー・ポイントに基づいて読み出されて、補助サブストリームの断片として従属して復号される。
図2はマルチビュー・ディスプレイ21を示し、それは、左及び右目のための異なるビューを生成するためにLCDスクリーンの前のレンチキュラ・レンズ22を用いる。僅かに異なる角度からの２つの画像ショットをインタリーブすることは、3D知覚を生み出す。この効果は両目視差に基づき、左及び右目は通常、僅かに異なる角度からオブジェクトを見る。これらは適応及び輻輳を通して一緒に融合されて、これは脳に対する強力な奥行きの手がかりの働きをする。
図3は、レンチキュラ・レンズ30による右及び左目ビューを示す。右目32はピクセル33の左部分のみを見て、左目31は右部分を見る。ピクセル部分は、サブピクセル34と呼ばれる。適応及び輻輳を通した人の観察者における画像の右及び左部分の融合は、１つの立体画像を示すことによって、奥行きの手がかりを生成する。複数の左及び右ビューは、複数のサブピクセルに各々のピクセルを細分することによって生成されることができる。
例えば、２つのインタリーブされた画像のみが示される図3とは対照的に、実際的なディスプレイは、例えば、９つのインタリーブされた画像を用いることができ、これは、概略的に図2に示されるように、より広い範囲のビュー及び輪郭を画像に与える。そのようなタイプのディスプレイを駆動することは、複数のビューを生成するために処理される画像+深さベースのビデオ、又はマルチビュー符号化ビデオを必要とする。この目的のために、ブルーレイ・ディスク規格は、そのような3Dビデオ・ストリームに対するサポートを含むように拡張されることができる。そしてプレーヤーは、自動立体視ディスプレイだけでなく、ビューを交互に切り替えて個別に両方の目のためのビューを分離するためのシャッタ目鏡を用いるディスプレイのような他のタイプのステレオ3Dディスプレイも駆動することができ、あるいは、将来的には、ホログラフ・ディスプレイを含むことさえできる。
レンチキュラ・スクリーンの代替はバリア・ディスプレイであり、これは、LCD中のピクセルからの光を分けるために、LCDの後方でバックライトの前方に、パララックス・バリアを用いる。バリアによって、スクリーンの前の規定の位置から、左目は右目と異なるピクセルを見る。バリアはさらに、ディスプレイのロウ中のピクセルが左及び右目によって交互に見えるように、LCDと人の観察者との間にあってもよい。
3Dビデオのトリックプレイによる実験から、「3D深さ」印象の質が、トリックプレイの間、低下することが判明した。考えられる説明は、立体視ビデオは、脳が目によって受け取られる２つの画像を「3D」心像に融合させるために、人の光学システム(適応及び輻輳)に、通常の2Dビデオより多くのかつより長い努力を要求することである。毎秒表示されるフレームの数がトリックプレイの間にかなり増加するとき、人の光学システムは、より高いフレームレートに十分に追いつくことができないと思われる。
ステレオ3Dビデオによるトリックプレイの他の問題は、(滑らかなトリックプレイのために)復号器がより短い時間により多くのフレームを復号しなければならないので、ビデオ復号器の負荷が増加することである。立体視ビデオによって、復号器は２つ以上のストリームを復号しなければならず、そしてこれは、2Dと比べて問題を増加させる。更に、マルチビュー・ビデオが、MPEGによって定められるようにスケーラブルなマルチビュー符号化を用いて符号化される場合、付加的なストリームの復号はベース・ビュー・ストリームに依存し、したがって、トリックプレイがプレーヤーにおいて実行されることができる態様は、変化する必要がある。独立に復号されることができないそのようなストリームは、この文書において補助サブストリームと呼ばれる。そのようなストリームは、対応するメイン・ストリームに基づいて従属して復号される。
以下の説明において、エントリー・ポイント・テーブルの例は、ブルーレイ・ディスク・システムを参照して議論される。なお、エントリー・ポイント・テーブルは、メイン及び補助ビデオ・ストリームに基づく任意の3Dビデオ・システムに適用されることができ、そしてブルーレイ・ディスク・システムの詳細は、本発明を実施するために必要とされない。ブルーレイ・ディスク規格は、基本ビデオ・ストリームごとに、(エントリー・ポイント・マップ: EPマップを含む)エントリー・ポイント・テーブルを定める。エントリー・ポイント・テーブルは、復号が開始されることができるポイントのストリーム中の位置を記載するテーブルを定める。通常これらはMPEG Iフレーム境界にある。このテーブルは、１つのストリームのためのエントリー・ポイントのみを記載し、互いに依存しているいくつかのビデオ・ストリームが同時に復号される場合もあることは考慮されない。
一種のスライドショー効果を生み出すためにフレームをスキップすると、トリックプレイの間の深さ知覚が改善されることが判明した。それゆえに、分離した隣接しない元の3Dビデオ・ストリームの断片が、順番に表示される。驚くべきことに、より多くのフレームがスキップされるほど、知覚される深さが良好になる。これは、復号器が全てのフレームをより速く復号する滑らかなトリックプレイがより良好に知覚される通常の2Dビデオと幾分対照的である。これは、光学システムが、(適応及び輻輳によって)目からの２つの画像を１つの立体画像に融合させて「3D」心像を生成するために時間を要することを考慮することによって説明されることができる。通常の生活において、深さ知覚は多くの要因に依存し、両目視差(立体視)が観察者の近くにあるオブジェクトに対してのみ有効であるので、これは問題でない。速く動くオブジェクトにとって、遠近視差が、遮蔽より大きな役割を果たす。しかしながら、三次元ディスプレイでは、3D効果が主に両目視差に依存し、したがって、速く動くオブジェクトに対して深さ知覚が減少するので、これは問題である。
トリックプレイに対する上記の問題を解決するために、上に述べたように、それぞれのトリックプレイ・モードにおいて再生されるべき選択された断片のシーケンスのためのエントリー・ポイントを定めることが必要である。
実施の形態において、ブルーレイ・ディスクのエントリー・ポイント・テーブルは、追加的に定められたエントリー・ポイントを収容するために拡張される。このテーブルは、ビデオのためのエントリー・ポイントを記載して、ビデオ中の時間位置とディスク上のファイル中の位置との間のリンクを提供する。この拡張によって、2Dビデオ・ストリームのためのエントリーに加えて、このテーブルはさらに、スケーラブルなビデオ符号化を用いて符号化されて、復号のためにプライマリ・ビデオ・ストリームに依存する、第２の補助ビデオ・ストリームのためのエントリー・ポイントを記載する。この第２エントリーは、第１ストリーム中のすべてのエントリーから第２ストリーム中の対応するエントリー・ポイントへの関連を確立する。これは、I又はPフレームを最後に収容することができ、Pフレームは、プライマリ・ストリームからIフレームを順番に参照することができる。このアプローチは、直接表示時間スタンプ（Presentation Time Stamp：PTS)値を用いるときに利用される。なお、第２ストリームのための分離したEPマップは、補助ストリームが従属してのみ復号可能であり、例えば同じPTS時間においてP又はBフレームのみを収容することができるので、それ自体で機能することができない。よって、補助ストリームは、それ自体で復号される場合、有効なストリームではない。例えば、ブルーレイ・ディスクにおけるマルチビュー符号化ビデオに対して、エントリー・ポイント・テーブルは拡張されることができ、そしてブルーレイ・プレーヤーがEPマップを用いる態様は、メイン・エントリー・ポイント及び補助エントリー・ポイントの両方を読み出すように適応されている。仕様は、ベース・ビュー・ビデオ・ストリームに関するEPマップがさらに、それら自体では復号されることができない関連する補助ストリームのためのエントリー・ポイントを含むように改良される。
参照文献[1]及び[2]は、一緒に符号化されたビデオ・ストリーム及び関連するトランスポート・フォーマットの背後の原理を記載する。例えば、符号化の前に、3Dビューは、インタリーブされて、階層化Bフレームを用いて符号化される。トランスポートの前に、ビットストリームは、プライマリ・ストリーム及び補助ストリームに分割される。これは、2D復号器が、プライマリ・ストリームを復号して用いることができ、補助ストリームを無視することができるように、下位互換性のために実行される。変更された復号器において、プライマリ及び補助ストリームは、再びインタリーブされて復号される。これは、プライマリ及び補助ストリームがディスク上に別々に記憶されるブルーレイ・ディスク上でのトリックプレイに対する問題を生じさせる。これを解決するために、プライマリ及び補助ストリームのどのクリップ（すなわちストリームの一部）が、プレーヤーがスキップしてきたビデオのセクションの表示のためにインタリーブされて復号される必要があるかをプレーヤーが知るように、EPマップ・テーブルが拡張されることが必要とされる。提案される拡張エントリー・ポイント・テーブルによって、この問題は解決される。
図4は、プレイリストの基本的な構造を示す。この例は、BD及びEPマップ41(制御情報CPI中のエントリー・ポイント・テーブル)がこの構造において引き受ける役割に基づく。特定のPTS値に対して、EPマップは、論理アドレスを提供する（例えば、MPEG符号化された基本ストリームであるクリップＡＶストリームファイル中の対応するソース・パケット番号）。この構造は、図6〜11を参照してさらに説明される。
図5は、三次元(3D)ビデオデータを表示するシステムを示す。3Dソース装置50 (例えばディスク・プレーヤー)は、三次元表示信号56を転送するために3D表示装置53に結合される。3Dソース装置は、画像情報を受信するための入力ユニット51を持つ。例えば、入力ユニット装置は、DVD又はBluRayディスクのような光学記録担体54からさまざまなタイプの画像情報を読み出すための光学ディスク・ユニット58を含むことができる。別の態様では、入力ユニットは、ネットワーク55 (例えばインターネット又は放送ネットワーク)に結合するためのネットワーク・インタフェース・ユニット59を含むことができる（そのような装置は通常、セットトップボックスと呼ばれる）。画像データは、遠隔メディア・サーバ57から読み出されることができる。ソース装置はさらに、衛星受信機、又は、直接表示信号を提供するメディア・サーバ、すなわち、表示ユニットに直接結合される三次元表示信号を出力する任意の適切な装置であることができる。
3D表示装置53は、3D画像データを表示するための装置である。装置は、ソース装置10から転送される3D画像データを含む三次元表示信号56を受信するための入力インタフェース・ユニットを持つ。装置は、処理された画像データを表示するための三次元ディスプレイを持つ(例えばデュアル又はレンチキュラLCD)。表示装置53は、三次元ディスプレイとも呼ばれる任意の種類の立体ディスプレイであることができ、矢印44によって示される表示深さ範囲を持つ。
3Dソース装置50は、表示装置に出力インタフェース・ユニット12を介して転送される3D表示信号56を生成するための画像情報を処理するための入力ユニット51に結合される画像処理ユニット52を持つ。処理ユニット52は、表示装置13上での表示のための三次元表示信号56中に含まれる画像データを生成するために配置される。ソース装置は、画像データの表示パラメータ(例えばコントラスト又はカラー・パラメータ)を制御するために、ユーザ制御要素を備える。そのようなユーザ制御素子は周知であり、3Dソース装置のさまざまな機能(例えば通常の再生及び記録機能)を制御するため、そして例えば直接的なボタンを介して又はグラフィカル・ユーザインタフェース及び/若しくはメニューを介して、トリックプレイ・モードを選択するために、さまざまなボタン及び/又はカーソル制御機能を持つ遠隔制御ユニットを含むことができる。
ソース装置50は、トリックプレイ・モードにおいて3Dビデオデータを処理するためのトリックプレイ処理ユニット48を持つ。3Dビデオデータは、トリックプレイの間、エントリー・ポイント・テーブルに従って、2Dサブストリームの隣接しない断片を読み出して復号し、そして補助サブストリームの対応する断片を読み出して従属して復号することによって、再生される。2Dサブストリームはそれぞれの断片で独立に復号され、補助エントリー・ポイントに基づいてビデオデータ・ストリームから読み出される補助ストリームの対応する断片に基づき、3D情報が追加される。
図5は、3D画像データのキャリアとして、記録担体54をさらに示す。記録担体は、ディスク形状であり、トラック及び中央のホールを持つ。物理的に検出可能なマークの系列によって構成されるトラックは、情報レイヤ上の実質的に平行の軌道を構成しているターンの螺旋又は同心のパターンにより配置される。記録担体は光学的に読み取り可能であり、光学ディスク(例えばCD、DVD又はBD(ブルーレイ・ディスク))と呼ばれる。情報は、トラックに沿った光学的に検出可能なマーク(例えばピット及びランド)によって情報レイヤ上に表される。トラック構造はさらに、通常は情報ブロックと呼ばれる情報のユニットの位置を示すために、位置情報(例えばヘッダ及びアドレス)を有する。記録担体54は、DVD又はBDフォーマットのような事前に決められた記録フォーマットへとデジタル的に符号化された、例えばMPEG2又はMPEG4符号化システムに従って符号化された、3Dビデオデータを表す情報を担持する。
ブルーレイ・ディスク仕様に基づくEPマップ・テーブルの文法の関連する部分が以下に記載される。我々は、EPマップ・テーブルの上部に記載されるメイン・ストリームに復号のために依存する関連するストリームのエントリーをさらに収容することができるようにこのテーブルを拡張することを提案する。
実際には、これは、他のストリームと一緒に符号化される補助ストリームごとに、それが復号されるために依存するストリームと同じテーブル中にEP_mapが存在することを意味する。反対も可能であり(すなわち補助ストリームのための付加的なテーブル)、2D復号との下位互換性の場合、より効率的である。この場合には、補助ストリームを含むクリップのためのEPマップが存在する。このEPマップ中に、さらに、補助ストリーム中のエントリー・ポイントが復号のために従属するベース・ビュー・ストリームの部分のためのエントリー・ポイント位置が存在する。マルチビュー符号化ビデオの再生の場合、プレーヤーは、補助ストリームのEPマップをロードすることのみを必要とし、そして、補助ストリームのアクセスポイントにおけるフレームを復号することが可能であるために復号される必要があるベース・ビュー・ストリームのためのアクセスポイントを持つ。
詳細には、多重ストリーム符号化3Dビデオ・ストリームのためのファイル位置へのエントリー・ポイントのマッピングを含む新たなEP_mapが提案される。ブルーレイ・ディスク仕様は、EP_mapの１つのタイプのみを現在定めており、これは、以下に示すように仕様のテーブル中に示される。
図6は、エントリー・ポイント・テーブル・インジケータ・テーブルを示す。テーブルは、既存のEPマップ・タイプを示す。EPマップ・タイプを示すためのインジケータ値は、記録フォーマット(例えばブルーレイ・ディスク)を記載している規格において定められることができる。立体視3Dビデオのために、EP_map_MVC又はEP_map_STのような何らかの同様の名で呼ばれるこのテーブル中にマルチビュー符号化(MVC)3Dビデオのための新たなタイプを追加することが提案される。このEP_MVC_map_typeは、値2によって示されることができる。
図7は、拡張されたエントリー・ポイント・テーブル・インジケータ・テーブルを示す。このテーブルは、既存のEPマップ・タイプ及びこのテーブルにおいて"EP_map_MVC"と呼ばれるMVC3Dビデオのための提案された新たなタイプを示す。実施の形態において、それぞれのEPマップ・タイプは、3Dビデオデータ・ストリームを生成するときにEPマップ・データ構造中に含まれて、再生装置へと転送される。再生装置は、新たなEPマップ・テーブル・タイプを容易に検出することができ、トリックプレイ動作をそれぞれのEPマップに適応させることができる。
図8は、拡張されたストリーム・タイプ・テーブルを示す。図6,7の代わりに、新たなEPマップは、EP_mapにおいて参照されるストリームのタイプのための新たな値(テーブルにおいて8)を有するテーブル中に示されるようなEP_stream_type値を用いてここでは示される。実施の形態において、それぞれのEPストリーム・タイプは、3Dビデオデータ・ストリームを生成するときにsDビデオ・ストリーム・データ構造中に含まれて、再生装置に転送される。再生装置は、新たなEPストリーム・タイプを容易に検出することができ、ストリームから拡張エントリー・ポイント・テーブルを読み出すことができて、トリックプレイ動作を拡張エントリー・ポイント・テーブルに適応させることができる。
図9は、２つのサブストリームを持つ3Dビデオ・ストリームを示す。図は、階層化Bピクチャを用いた２つのストリームのセクションのMVC符号化の例を示す。Lによってマークされる上のシーケンスは、独立に復号可能な2Dサブストリームであり、一方、Rによってマークされる下のシーケンスは、それが第１ストリームからのデータを必要とするので、従属して復号可能である。矢印は、第１のIピクチャからのデータが、下のサブストリームの第１のPピクチャを符号化するために用いられることを示す。
図9に示される例において、L及びRストリームの両方に３つのエントリー・ポイントが存在する。Lストリーム中にI, B(T2)及びB(T4)ピクチャが存在し、そしてRストリーム中にP, B(T2)及びB(T4)ピクチャが存在する。間のBピクチャは非基準フレームであり、エントリー・ポイントとして機能することができない。なお、実際には、エントリー・ポイント間の距離は、実質的により大きい。
ユーザが位置T2へジャンプすることを望む場合に何が起こるかについて調べてみる。復号がT2において始まる場合、復号器はさらに、LストリームのためにT0におけるIピクチャにアクセスする必要があり、そしてRストリームのために、LストリームからのIピクチャ及びRストリームからのPピクチャにアクセスする必要がある。したがって、それは、Lストリーム中のIピクチャの位置及びRストリーム中のPピクチャの位置を必要とする。したがって、それは、Pピクチャの位置に対する時間ベクトル及びLフレームのIピクチャに対する空間ベクトルを必要とする。
ディスク上では、L及びRストリームは、各々ディスク上の異なるセクション中にインタリーブされているか又は１つのストリーム中に含まれる場合がある。したがって、１つのエントリー・ポイントのために、上で説明されたように、L及びRストリームの両方からの情報が必要とされるので、ファイル中の位置及びディスク上の位置の両方が、１つのエントリー・ポイントのために必要とされる場合がある。それゆえ、サブストリームL中のメイン・エントリー・ポイント及び従属して復号可能なサブストリームR中の補助エントリー・ポイントが提供される。
したがって、詳細には、我々は、各々のエントリー・ポイントが２つのアドレス(ベクトルとも呼ばれる)を含むように、MVC符号化ビデオのためのEPマップを拡張することを提案する。１つの時間ベクトルはPTSを指し、１つの空間ベクトルはエントリー・ポイントに対する基準フレームとして機能するフレームのパケット番号を指す。
図10は、EP_map文法とも呼ばれるエントリー・ポイント・マップの定義を示す。テーブルは、MVC符号化ビデオ用に拡張される現在のEPマップの例を示す。マップは、それぞれのサブストリームのための補助テーブルを有する。なお、テーブルは、例えば、ブルーレイ・ディスク・フォーマットにおける制御情報CPI41のような記録担体上の制御情報中に、3Dビデオデータ・ストリームに含まれるエントリー・ポイント・テーブルのデータ構造を定める。
図11は、組み合わされたメイン・ストリーム及びサブストリームのためのエントリー・ポイント・テーブルを示す（EP_map for one stream PIDとも呼ばれる）。この実施の形態において、図10に示されるようにいかなる特定のMVCセクションも追加されないが、各々のエントリー・ポイントがさらに従属データ・ストリーム中のパケット番号及びPTS値のリストを示すように、テーブルは追加のエントリーによって拡張される。
マルチビュー符号化3Dビデオのための再生装置の実施の形態において、トリックプレイは以下のように調整される。3Dビデオ・ストリームは複数の補助サブストリームを持ち、そしてエントリー・ポイントは、前記複数の補助サブストリームの選択されたサブセットのみのための補助エントリー・ポイントを有する。トリックプレイの間、3Dビデオデータの減少したバージョンは、エントリー・ポイントを持つサブストリームのみを復号することによってレンダリングされる。有利には、エントリー・ポイント・テーブルのサイズは、制限されたままである。
あるいは、復号器は、復号器の負荷を低減するためにトリックプレイを実行するときにビューの数を自動的に削減する。ビューの数は、速度の増加につれて段階的に動的に削減されることができる(例えば9-7-5-3-2)。減少した数のビューのためのそれぞれのエントリー・ポイントは、エントリー・ポイント・テーブルから読み出されることができる。あるいは、減少した数のビューは、標準速度再生の間に完全な数のビューを生成する処理ユニットにおいて、トリックプレイの間、生成されることができる。
本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアで実施されることができることに留意する必要がある。本発明を実施するための方法は、図1を参照して説明される3Dビデオデータの処理に対応する処理ステップを持つ。本発明が主に光学記録担体又はインターネットを用いる実施の形態によって説明されたが、本発明はさらに、3Dパーソナル・コンピュータ[PC]表示インタフェース、又は、無線3D表示装置に結合される3Dメディア・センターPCのような、任意の画像インタフェース方式環境に適している。
なお、この文書において、「有する」「含む」などの用語は、挙げられたもの以外の他の要素又はステップの存在を除外せず、単数で表現された要素は、そのような要素が複数存在することを除外せず、いかなる参照符号も請求の範囲を制限せず、本発明はハードウェア及びソフトウェアの両方によって実施されることができ、いくつかの「手段」又は「ユニット」が、ハードウェア又はソフトウェアの同じアイテムによって表現されることができ、プロセッサは、ハードウェア要素と協働して、１つ以上のユニットの機能を果たすことができる。さらに、本発明は、実施の形態に制限されず、いずれかの新規な機能又は上述の機能の組み合わせにもある。

Claims (26)

  1. コンピュータが行うビデオデータ・ストリームのためのエントリー・ポイントを提供する方法であって、
    エントリー・ポイント・テーブルを生成し、
    エントリー・ポイントが互いから時間をおいて定められるように、前記ビデオデータ・ストリーム中のエントリー・ポイントを定め、
    定められた前記エントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することによって、定められた前記エントリー・ポイントを前記エントリー・ポイント・テーブル中に記憶し、
    前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記2Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、
    前記エントリー・ポイントを定めることは、前記2Dサブストリームの隣接しない断片を読み出し復号して、前記補助サブストリームの対応する断片を読み出し前記２Dサブストリームに従属して復号することによって、前記3Dビデオデータの3Dトリックプレイを可能にするために、前記2Dサブストリーム中のメイン・エントリー・ポイント及び前記補助サブストリーム中の補助エントリー・ポイントを定めることを含む、方法。
  2. 前記エントリー・ポイントを定めることは、表示時間スタンプを用いて、それぞれのメイン・エントリー・ポイントと対応する補助エントリー・ポイントとの関連を確立することを含む、請求項１に記載の方法。
  3. 前記エントリー・ポイントを定めることは、前記補助サブストリームのための別のエントリー・ポイント・マップに前記補助エントリー・ポイントを提供することを含む、請求項１又は請求項２に記載の方法。
  4. 前記ビデオデータ・ストリームが、マルチビュー3Dビデオデータを有し、マルチビューは、少なくとも1つの左ビュー及び1つの右ビューを含む、請求項１に記載の方法。
  5. 前記少なくとも1つの補助サブストリームが、
    深さ情報データ・ストリーム、
    透明度情報データ・ストリーム、
    遮蔽情報データ・ストリーム、
    のうちの少なくとも1つを有する、請求項１に記載の方法。
  6. 前記ビデオデータ・ストリームが複数の補助サブストリームを有し、前記エントリー・ポイントが、トリックプレイの間に前記3Dビデオデータの低減されたバージョンをレンダリングするために、前記複数の補助サブストリームのうちの選択されたサブセットのみのための補助エントリー・ポイントを有する、請求項４又は請求項５に記載の方法。
  7. 前記2Dサブストリームに関する第1エントリー・ポイント・サブテーブルを生成し、
    前記補助サブストリームに関する第２エントリー・ポイント・サブテーブルを生成し、
    前記第1エントリー・ポイント・サブテーブル及び前記第２エントリー・ポイント・サブテーブルによって前記3Dビデオデータに関する前記エントリー・ポイント・テーブルを形成する、請求項１に記載の方法。
  8. 各々のエントリー・ポイントのために、メイン・エントリー・ポイントに対する少なくとも第1エントリー・ポイント・アドレス及び対応する補助エントリー・ポイント・アドレスに対する少なくとも第２エントリー・ポイント・アドレスを含む複数のエントリー・ポイント・アドレスのセットを定める、請求項１に記載の方法。
  9. 前記データ・ストリーム及び前記エントリー・ポイント・テーブルが記憶された記録担体を提供する、請求項１に記載の方法。
  10. ビデオデータ・ストリームのためのエントリー・ポイントを提供するための装置であって、
    エントリー・ポイントが互いから時間をおいて定められるように、前記ビデオデータ・ストリーム中のエントリー・ポイントを定めて、
    定められた前記エントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することにより、定められた前記エントリー・ポイントを前記エントリー・ポイント・テーブル中に記憶することによって、エントリー・ポイント・テーブルを生成するための手段、
    を有し、
    前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記２Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも１つの補助サブストリームを有する複数のサブストリームを有し、
    前記エントリー・ポイント・テーブルを生成するための手段は、前記2Dサブストリームの隣接しない断片を読み出し復号して、前記補助サブストリームの対応する断片を読み出し前記２Dサブストリームに従属して復号することによって、前記3Dビデオデータの3Dトリックプレイを可能にするために、前記2Dサブストリーム中のメイン・エントリー・ポイント及び前記補助サブストリーム中の補助エントリー・ポイントを定める、装置。
  11. 記録担体に前記ビデオデータ・ストリーム及び前記エントリー・ポイント・テーブルを記憶するための書き込み手段を有する、請求項１０に記載の装置。
  12. ビデオデータを再生するための装置であって、
    ビデオデータ・ストリーム及び請求項１から請求項９のいずれか一項に記載のように定められたエントリー・ポイント・テーブルを受信するための手段を有し、
    前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記２Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも1つの補助サブストリームを有する複数のサブストリームを有し、
    当該装置は、
    前記２Dサブストリーム中のメイン・エントリー・ポイント及び前記補助サブストリーム中の補助エントリー・ポイントに基づいて、前記2Dサブストリームの隣接しない断片を読み出して復号し前記補助サブストリームの対応する断片を読み出して前記２Dサブストリームに従属して復号することにより前記3Dビデオデータを再生することによる前記3Dビデオデータの3Dトリックプレイのための手段を有する、装置。
  13. ３Dトリックプレイのための前記手段が、それぞれのメイン・エントリー・ポイントに対して、表示時間スタンプを用いて、対応する補助エントリー・ポイントを読み出す、請求項１２に記載の装置。
  14. ３Dトリックプレイのための前記手段が、前記補助サブストリームのための別のエントリー・ポイント・マップから前記補助エントリー・ポイントを読み出す、請求項１２又は請求項１３に記載の装置。
  15. ３Dトリックプレイのための前記手段が、
    前記2Dサブストリームに関する第1エントリー・ポイント・サブテーブルから前記メイン・エントリー・ポイントを、
    前記補助サブストリームに関する第２エントリー・ポイント・サブテーブルから前記補助エントリー・ポイントを、読み出す、
    請求項１２に記載の装置。
  16. 記録担体から前記ビデオデータ・ストリーム及び前記エントリー・ポイント・テーブルを読み出すための読み出し手段を有する、請求項１２に記載の装置。
  17. ビデオデータを伝達する信号を記録するコンピュータ可読記録媒体であって、前記信号は、
    互いから時間をおいて定められるエントリー・ポイントを持つビデオデータ・ストリーム、
    前記定められたエントリー・ポイントの位置を与えるエントリー・ポイント・アドレスを記憶することにより前記定められたエントリー・ポイントを有する請求項１から請求項７のいずれか一項において定められるようなエントリー・ポイント・テーブル、
    を有し、
    前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記２Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも1つの補助サブストリームを有する複数のサブストリームを有し、
    前記エントリー・ポイント・テーブルは、コンピュータが前記2Dサブストリームの隣接しない断片を読み出して復号して前記補助サブストリームの対応する断片を読み出し前記２Dサブストリームに従属して復号することにより3Dビデオデータの3Dトリックプレイを可能にするために、前記2Dサブストリーム中のメイン・エントリー・ポイント及び前記補助データ・ストリーム中の補助エントリー・ポイントを有する、コンピュータ可読記録媒体。
  18. 前記エントリー・ポイント・テーブルが、表示時間スタンプを用いたそれぞれのメイン・エントリー・ポイントへの対応する補助エントリー・ポイントの関連付けを含む、請求項１７に記載のコンピュータ可読記録媒体。
  19. 前記補助エントリー・ポイントが、前記補助サブストリームのための別のエントリー・ポイント・マップ中に提供される、請求項１７又は請求項１８に記載のコンピュータ可読記録媒体。
  20. 前記メイン・エントリー・ポイントが、前記２Dサブストリームに関する第1エントリー・ポイント・サブテーブル中に含まれ、
    前記補助エントリー・ポイントが、前記補助サブストリームに関する第2エントリー・ポイント・サブテーブル中に含まれる、
    請求項１７に記載のコンピュータ可読記録媒体。
  21. 光学的に検出可能なマークを備えるトラックを持つ光学的に読み取り可能なタイプの記録担体であり、前記マークの光学的に検出可能な特性が前記信号を表す、請求項１７から請求項２０に記載のコンピュータ可読記憶媒体。
  22. 請求項１７に記載のコンピュータ可読記録媒体に記録された前記信号に基づいてコンピュータが行うビデオデータをレンダリングする方法であって、
    前記コンピュータ可読記録媒体から前記信号を受信し、
    前記ビデオデータ・ストリームは、3Dビデオデータの1つのストリームを表して独立して符号化された前記3Dビデオデータの2Dバージョンを有する少なくとも１つの2Dサブストリーム及び前記２Dサブストリームに従属して符号化された前記3Dビデオデータの一部を有する少なくとも1つの補助サブストリームを有する複数のサブストリームを有し、
    当該方法は、
    前記２Dサブストリーム中のメイン・エントリー・ポイント及び前記補助サブストリーム中の補助エントリー・ポイントに基づいて、前記2Dサブストリームの隣接しない断片を読み出して復号して前記補助サブストリームの対応する断片を読み出して前記２Dサブストリームに従属して復号することにより前記3Dビデオデータを再生することによって、前記3Dビデオデータの3Dトリックプレイをレンダリングする、方法。
  23. 前記３Dトリックプレイのレンダリングは、それぞれのメイン・エントリー・ポイントに対して、表示時間スタンプを用いて、対応する補助エントリー・ポイントを読み出すことを含む、請求項２２に記載の方法。
  24. 前記３Dトリックプレイのレンダリングが、前記補助サブストリームのための別のエントリー・ポイント・マップから前記補助エントリー・ポイントを読み出すことを含む、請求項２２又は請求項２３に記載の方法。
  25. 前記３Dトリックプレイのレンダリングが、
    前記2Dサブストリームに関する第1エントリー・ポイント・サブテーブルから前記メイン・エントリー・ポイントを、
    前記補助サブストリームに関する第２エントリー・ポイント・サブテーブルから前記補助エントリー・ポイントを、読み出すことを含む、
    請求項２２に記載の方法。
  26. プロセッサにロードされて、当該プロセッサに請求項１から請求項９及び請求項２２から請求項２５のいずれか一項に記載の方法を実行させる１セットの命令を有するコンピュータ・プログラム。
JP2012511383A 2009-05-18 2010-05-12 ３ｄトリックプレイのためのエントリー・ポイント Active JP5829604B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09160453.8 2009-05-18
EP09160453 2009-05-18
PCT/IB2010/052101 WO2010134003A1 (en) 2009-05-18 2010-05-12 Entry points for 3d trickplay

Publications (2)

Publication Number Publication Date
JP2012527814A JP2012527814A (ja) 2012-11-08
JP5829604B2 true JP5829604B2 (ja) 2015-12-09

Family

ID=41100665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012511383A Active JP5829604B2 (ja) 2009-05-18 2010-05-12 ３ｄトリックプレイのためのエントリー・ポイント

Country Status (16)

Country Link
US (2) US20120063742A1 (ja)
EP (1) EP2433429B1 (ja)
JP (1) JP5829604B2 (ja)
KR (1) KR101714776B1 (ja)
CN (1) CN102428706B (ja)
AU (1) AU2010250871B2 (ja)
BR (1) BRPI1007695B1 (ja)
CA (1) CA2762385C (ja)
ES (1) ES2700227T3 (ja)
HU (1) HUE040291T2 (ja)
MX (1) MX2011012221A (ja)
PL (1) PL2433429T3 (ja)
RU (1) RU2552137C2 (ja)
SG (1) SG175863A1 (ja)
TW (1) TWI517643B (ja)
WO (1) WO2010134003A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110025123A (ko) 2009-09-02 2011-03-09 삼성전자주식회사 비디오 영상 배속 재생 방법 및 장치
US10448083B2 (en) * 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
KR101767045B1 (ko) * 2010-12-17 2017-08-10 삼성전자 주식회사 영상처리장치 및 영상처리방법
CN102055984B (zh) * 2011-01-27 2012-10-03 山东大学 2d和3d播放模式平滑切换的立体视频解码结构及工作方法
CN105100822B (zh) * 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
WO2013002758A1 (en) * 2011-06-27 2013-01-03 Oncam Global, Inc. Method and systems for providing video data streams to multiple users
US9065983B2 (en) 2011-06-27 2015-06-23 Oncam Global, Inc. Method and systems for providing video data streams to multiple users
US10033968B2 (en) 2011-06-27 2018-07-24 Oncam Global, Inc. Method and systems for providing video data streams to multiple users
US10555012B2 (en) 2011-06-27 2020-02-04 Oncam Global, Inc. Method and systems for providing video data streams to multiple users
KR20140107182A (ko) * 2011-12-27 2014-09-04 엘지전자 주식회사 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
KR101369146B1 (ko) * 2012-07-16 2014-03-06 옵티시스 주식회사 영상 시스템
US9432730B2 (en) * 2012-12-26 2016-08-30 Huawei Technologies Co., Ltd. Multimedia file playback method and apparatus
EP3761654A1 (en) * 2019-07-04 2021-01-06 THEO Technologies Media streaming

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075817A (en) * 1991-12-23 2000-06-13 Digital Compression Technology Compressive communication and storage system
US6064794A (en) * 1995-03-30 2000-05-16 Thomson Licensing S.A. Trick-play control for pre-encoded video
GB9506493D0 (en) * 1995-03-30 1995-05-17 Thomson Consumer Electronics The implementation of trick-play modes for pre-encoded video
CN1286327C (zh) * 1996-02-28 2006-11-22 松下电器产业株式会社 光盘重放装置及光盘记录装置
JP3719758B2 (ja) * 1996-03-19 2005-11-24 パイオニア株式会社 情報記録装置及び方法並びに情報再生装置及び方法
FR2756399B1 (fr) * 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
WO1999065239A2 (en) * 1998-06-11 1999-12-16 Koninklijke Philips Electronics N.V. Trick play signal generation for a digital video recorder
US7570869B2 (en) * 2002-04-25 2009-08-04 Koninklijke Philips Electronics N.V. Method and apparatus for defining entry points in a data stream
US7720350B2 (en) 2004-11-30 2010-05-18 General Instrument Corporation Methods and systems for controlling trick mode play speeds
JP4676493B2 (ja) * 2005-04-07 2011-04-27 パナソニック株式会社 記録媒体、再生装置、記録方法
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
EP2144245A3 (en) * 2005-08-09 2010-10-20 Panasonic Corporation Recording medium, playback apparatus, method and program
JP2010505174A (ja) 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
KR101377736B1 (ko) 2006-10-11 2014-03-24 코닌클리케 필립스 엔.브이. 3차원 그래픽 데이터의 생성
US8594180B2 (en) 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
US20080240230A1 (en) * 2007-03-29 2008-10-02 Horizon Semiconductors Ltd. Media processor with an integrated TV receiver
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
JP5351039B2 (ja) * 2007-11-01 2013-11-27 パナソニック株式会社 記録媒体、再生装置、記録装置、再生方法、及び記録方法
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
EP2395772A3 (en) * 2008-09-30 2013-09-18 Panasonic Corporation Glasses and display device
EP2348733A4 (en) * 2008-10-27 2012-09-12 Lg Electronics Inc METHOD AND APPARATUS FOR THE SYNTHESIS OF VIRTUAL VISUALIZATION IMAGES
EP2360930A4 (en) * 2008-12-18 2015-03-25 Lg Electronics Inc METHOD FOR THREE-DIMENSIONAL IMAGE SIGNAL PROCESSING AND IMAGE DISPLAY SCREEN FOR PROCESS IMPLEMENTATION
US8854428B2 (en) * 2009-03-19 2014-10-07 Lg Electronics, Inc. Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the method
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP5614900B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ映像符号化フォーマット
WO2010143439A1 (ja) * 2009-06-12 2010-12-16 パナソニック株式会社 再生装置、集積回路、記録媒体

Also Published As

Publication number Publication date
CA2762385A1 (en) 2010-11-25
US20100289875A1 (en) 2010-11-18
TW201105109A (en) 2011-02-01
HUE040291T2 (hu) 2019-02-28
CA2762385C (en) 2018-11-20
MX2011012221A (es) 2011-12-08
US9007434B2 (en) 2015-04-14
BRPI1007695A2 (pt) 2016-08-02
CN102428706A (zh) 2012-04-25
RU2011151601A (ru) 2013-06-27
CN102428706B (zh) 2014-11-05
RU2552137C2 (ru) 2015-06-10
US20120063742A1 (en) 2012-03-15
AU2010250871A1 (en) 2012-01-19
PL2433429T3 (pl) 2019-03-29
TWI517643B (zh) 2016-01-11
BRPI1007695A8 (pt) 2017-07-25
EP2433429A1 (en) 2012-03-28
BRPI1007695B1 (pt) 2021-05-11
AU2010250871B2 (en) 2015-07-09
JP2012527814A (ja) 2012-11-08
WO2010134003A1 (en) 2010-11-25
KR101714776B1 (ko) 2017-03-09
EP2433429B1 (en) 2018-09-12
KR20120027366A (ko) 2012-03-21
SG175863A1 (en) 2011-12-29
ES2700227T3 (es) 2019-02-14

Similar Documents

Publication Publication Date Title
JP5829604B2 (ja) ３ｄトリックプレイのためのエントリー・ポイント
JP5647243B2 (ja) ３ｄビデオと２ｄビデオとの間のスイッチング
JP4527808B2 (ja) ３ｄ映像が記録された記録媒体、３ｄ映像を記録する記録装置、並びに３ｄ映像を再生する再生装置及び再生方法
JP5575659B2 (ja) ビデオ再生のための三次元モード選択メカニズム
CA2747106C (en) Method and device for overlaying 3d graphics over 3d video
JP5789518B2 (ja) グラフィック画面処理方法及び装置
US20110293240A1 (en) Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
JP2015092669A (ja) ３ｄビデオ及び補助データの結合

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140409

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151022

R150 Certificate of patent or registration of utility model

Ref document number: 5829604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250