JPWO2013027408A1 - 記録媒体、再生装置、記録装置、及び記録方法 - Google Patents
記録媒体、再生装置、記録装置、及び記録方法 Download PDFInfo
- Publication number
- JPWO2013027408A1 JPWO2013027408A1 JP2013505241A JP2013505241A JPWO2013027408A1 JP WO2013027408 A1 JPWO2013027408 A1 JP WO2013027408A1 JP 2013505241 A JP2013505241 A JP 2013505241A JP 2013505241 A JP2013505241 A JP 2013505241A JP WO2013027408 A1 JPWO2013027408 A1 JP WO2013027408A1
- Authority
- JP
- Japan
- Prior art keywords
- stream
- extent
- video
- section
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
記録媒体上では拡張データ専用区間の直後に平面視映像専用区間と立体視映像専用区間とが連続する。共用区間には、メインビュー、サブビュー、及び拡張の各エクステントが交互に連続して配置され、立体視映像専用区間にはメインビューとサブビューとの各エクステントが交互に連続して配置され、平面視映像専用区間には立体視映像専用区間内のメインビュー・エクステントの複製が連続して配置され、拡張データ専用区間には、平面視映像専用区間内のメインビュー・エクステントと組み合わされるべき拡張エクステントが配置されている。共用区間は、立体視映像の再生時、平面視映像の再生時、及び拡張ストリームの利用時にアクセスされ、立体視映像専用区間は立体視映像の再生中、平面視映像専用区間は平面視映像の再生中、拡張データ専用区間と平面視映像専用区間との対は拡張ストリームの読み出し中、いずれもロング・ジャンプの直前又は直後にアクセスされる。
Description
本発明は、立体視映像、すなわち3次元(3D)映像の記録再生技術に関し、特に、記録媒体上でのストリーム・データの構造に関する。
近年、3D映像の映画が人気を集めている。それに伴い、光ディスク等の記録媒体から3D映像コンテンツを再生可能な家庭用再生装置が普及し始めている。また、3D映像のテレビ番組を記録媒体に記録可能な家庭用記録装置、及び、3D映像を撮影可能な家庭用ビデオカメラも開発が進められている。これらの装置の扱う記録媒体には3D映像コンテンツが、従来の再生装置によって、平面視映像、すなわち2次元(2D)映像のコンテンツとしても再生可能な態様で記録されていることが望ましい。すなわち、その記録媒体に記録された3D映像コンテンツから、2D再生装置は2D映像を再生でき、3D再生装置は3D映像を再生できることが望ましい。ここで、「2D再生装置」とは、2D映像のみを再生可能な従来の再生装置を意味し、「3D再生装置」とは、3D映像を再生可能な再生装置を意味する。尚、本明細書では、3D再生装置が従来の2D映像も再生可能である場合を想定する。
図64は、3D映像コンテンツが記録された光ディスクについて、2D再生装置に対する互換性を確保するための技術を示す模式図である(例えば特許文献1参照)。光ディスクPDSには2種類のビデオ・ストリームが格納されている。一方は2D/レフトビュー・ビデオ・ストリームであり、他方はライトビュー・ビデオ・ストリームである。「2D/レフトビュー・ビデオ・ストリーム」は、3D映像の再生では視聴者の左目に見せる2D映像、すなわち「レフトビュー」を表し、2D映像の再生ではその2D映像そのものを表す。「ライトビュー・ビデオ・ストリーム」は、3D映像の再生において視聴者の右目に見せる2D映像、すなわち「ライトビュー」を表す。レフトビュー・ビデオ・ストリームとライトビュー・ビデオ・ストリームとではフレームレートは等しいが、フレームの表示時期はフレーム周期の半分だけずれている。例えば、各ビデオ・ストリームのフレームレートが1秒間に24フレームであるとき、2D/レフトビュー・ビデオ・ストリームとライトビュー・ビデオ・ストリームとの各フレームが1/48秒ごとに交互に表示される。
各ビデオ・ストリームは、図64に示されているように、光ディスクPDS上では複数のエクステントEX1A−C、EX2A−Cに分割されている。「エクステント」は、光ディスクドライブによって読み出し可能なデータの最小単位である(詳細は《補足》参照)。各エクステントはGOP(グループ・オブ・ピクチャ)を1つ以上含む。以下、2D/レフトビュー・ビデオ・ストリームに属するエクステントを「2D/レフトビュー・エクステント」といい、ライトビュー・ビデオ・ストリームに属するエクステントを「ライトビュー・エクステント」という。2D/レフトビュー・エクステントEX1A−Cとライトビュー・エクステントEX2A−Cとは交互に光ディスクPDSのトラックTRC上に配置されている。このようなエクステントの配置を「インターリーブ配置」という。インターリーブ配置で記録されたエクステント群は、以下に述べるように、2D映像の再生と3D映像の再生との両方に利用される。
2D再生装置PL2では、光ディスクドライブDD2が光ディスクPDSから2D/レフトビュー・エクステントEX1A−Cのみを順番に読み出し、ライトビュー・エクステントEX2A−Cの読み出しをスキップする。更に、映像デコーダVDCが、光ディスクドライブDD2によって読み出されたエクステントを順次、映像フレームVFLに復号する。それにより、表示装置DS2にはレフトビューのみが表示されるので、視聴者には通常の2D映像が見える。
3D再生装置PL3では、光ディスクドライブDD3が光ディスクPDSから2D/レフトビュー・エクステントとライトビュー・エクステントとを交互に、符号で表せば、EX1A、EX2A、EX1B、EX2B、EX1C、EX2Cの順に読み出す。更に、読み出された各エクステントから、2D/レフトビュー・ビデオ・ストリームは左映像デコーダVDLへ送られ、ライトビュー・ビデオ・ストリームは右映像デコーダVDRへ送られる。各映像デコーダVDL、VDRは交互に各ビデオ・ストリームを映像フレームVFL、VFRに復号する。それにより、表示装置DS3にはレフトビューとライトビューとが交互に表示される。一方、シャッター眼鏡SHGは左右のレンズを、表示装置DS3による画面の切り換えに同期して交互に不透明にする。その結果、レフトビューは視聴者の左目にのみ映り、ライトビューは視聴者の右目にのみ映る。そのとき、視聴者はレフトビューとライトビューとの形態の違いを両眼視差として錯覚するので、その視聴者には、表示装置DS3に表示された2D映像の対が1つの3D映像に見える。
光ディスクに限らず、記録媒体に3D映像コンテンツを格納するときは、上記のようにエクステントのインターリーブ配置を利用する。それにより、その記録媒体を2D映像の再生と3D映像の再生との両方で利用することができる。
Blue-rayDisc Association, "White Paper Blu-ray DiscTM Format,"[online], October, 2010,http://www.blu-raydisc.com/en/Technical/TechnicalWhitepapers/General.aspx
近年、次世代の表示技術として4K2Kの開発が進められている。「4K2K」は、3940画素×2160画素という、従来の解像度1920画素×1080画素に対して約4倍の高解像度の映像を表示するための技術である。画面サイズが一定であれば、解像度が高いほど精細な映像を表現することができるので、4K2Kは、更なる高画質化を実現するための技術として期待されている。その一方で、4K2Kの開発では、従来の解像度での映像表示との互換性の確保も重要視されている。特に4K2Kの映像コンテンツは、記録媒体に記録された場合、従来の2D再生装置によっては従来の解像度の映像コンテンツとして再生可能な態様であることが望ましい。従って、現状では、4K2Kの映像コンテンツを、従来の解像度の映像コンテンツとして表される部分と、その部分の解像度を4K2Kの解像度に変換するために必要な拡張データの部分とに分けて記録媒体に記録することが考えられている。従来の再生装置にはその記録媒体から、従来の解像度の映像コンテンツとして表される部分のみを読み出させて再生させる。一方、4K2Kに対応可能な再生装置にはその記録媒体から、その部分と拡張データの部分との両方を読み出させて、それらから4K2Kの映像コンテンツを再生させる。こうして、4K2Kの映像コンテンツを従来の解像度での映像再生と4K2Kの高解像度での映像再生との両方に利用させることができる。
更なる高画質化を目指す技術としては、また、各画素の色情報のビット数を現在の8ビットから12ビット等に増加させる技術の開発も進められている。この技術を「ビット拡張」と言う。色情報のビット数が増加することで、各画素の表現可能な色の種類が更に豊富になるので、更なる高画質化が実現されると期待されている。ビット拡張においても、従来の技術との互換性を確保する目的で、ビット拡張のコンテンツを、8ビットの色情報で表される部分と、その部分の色情報を12ビット等の色情報に変換するために必要な拡張データの部分とに分けて記録媒体に記録することが考えられている。
4K2Kとビット拡張との他にも、映像コンテンツの更なる品質向上、又はその属性の更なる多様化を目的とする技術には、映像コンテンツを従来の映像コンテンツと拡張データとの組み合わせとして表現することで、従来の技術との互換性を確保するものが色々と存在する。一方、3D映像の記録再生技術も、上記のように、2D映像コンテンツである2D/レフトビュー・ビデオ・ストリームに、ライトビュー・ビデオ・ストリームという拡張データを付加することで、3D映像コンテンツに2D再生装置に対する互換性を与えている。従って、4K2Kやビット拡張等における拡張データを3D映像コンテンツに組み込むことで、それらの技術のいずれにおいても利用可能な映像コンテンツを記録媒体に記録することができると期待される。しかし、そのような映像コンテンツの記録は実際には、以下の理由により、容易ではない。
図64に示されているように、インターリーブ配置のエクステント群から2D映像が再生されるとき、光ディスクドライブDD2はライトビュー・エクステントEX2A−Cの読み出しをスキップする。この動作を「ジャンプ」と言う。ジャンプ期間中、映像デコーダVDC内のバッファには光ディスクドライブDD2からデータが供給されないので、そのバッファに蓄積されたデータは映像デコーダVDCの処理に伴って減少する。従って、2D再生装置PL2に2D映像をシームレスに再生させるには、各2D/レフトビュー・エクステントEX1A−Cのデータ量の下限、すなわち最小エクステント・サイズを、ジャンプ期間中にバッファ・アンダーフローが生じない程度に設計しなければならない。
同じエクステント群から3D映像が再生されるときは、2D/レフトビュー・エクステントEX1A−Cが読み出されている期間中、ライトビュー・エクステントEX2A−Cは読み出されない。従って、その期間中、右映像デコーダVDR内のバッファに蓄積されたライトビュー・エクステントEX2A−Cのデータは、右映像デコーダVDRの処理に伴って減少する。逆に、ライトビュー・エクステントEX2A−Cが読み出されている期間中、2D/レフトビュー・エクステントEX1A−Cは読み出されない。従って、その期間中、左映像デコーダVDL内のバッファに蓄積された2D/レフトビュー・エクステントEX1A−Cのデータは、左映像デコーダVDLの処理に伴って減少する。それ故、3D再生装置PL3に3D映像をシームレスに再生させるには、各エクステントEX1A−C、EX2A−Cの最小エクステント・サイズを、次のエクステントの読み出し期間中にバッファ・アンダーフローが生じない程度に設計しなければならない。
更に、光ディスクドライブの読み出し速度は映像デコーダの処理速度より高いので、エクステントが読み出されている期間中、そのエクステントのデータが蓄積されるバッファのデータ量は増加する。そのバッファの容量を過大にすることなく、オーバーフローを防ぐには、エクステントのデータ量の上限、すなわち最大エクステント・サイズが制限されなければならない。
以上のとおり、3D映像コンテンツが記録媒体に記録される場合、各エクステントのサイズが複数の条件を満たさなければならない。従って、3D映像コンテンツに拡張データを更に付加するには、拡張データの配置がそれら複数の条件のいずれをも破らないようにしなければならない。そのような配置は当業者にとっても決して自明ではない。
いわゆる2層ディスクのような、記録層を複数含む光ディスクでは、一連の映像コンテンツが2層にわたって記録される場合がある。一方、単層ディスクでも、一連の映像コンテンツが別のデータを間に挟んで記録される場合がある。それらの場合、光ディスクドライブのピックアップは一連の映像コンテンツの読み出し中に、層の切り換えに伴うフォーカス・ジャンプ、又は、光ディスクの半径方向の移動を伴うトラック・ジャンプを行わねばならない。それらのジャンプは一般にシーク時間が長いので、「ロング・ジャンプ」と呼ばれる。ロング・ジャンプの発生にかかわらず映像デコーダに映像をシームレスに再生させるには、ロング・ジャンプの直前にアクセスされるエクステントのサイズを十分に大きくして、ロング・ジャンプ中にバッファ・アンダーフローを生じさせないようにしなければならない。
ロング・ジャンプ中にバッファ・アンダーフローを生じさせないためにエクステントのサイズが満たすべき条件は一般に、2D映像の再生時と3D映像の再生時とで異なる。しかし、図64に示されているようなインターリーブ配置のエクステントは、2D映像の再生時と3D映像の再生時との両方における条件を満たさなければならない。従って、一般には、ライトビュー・エクステントのサイズが、3D映像のシームレス再生に必要な値を大きく超える。その結果、3D再生装置は右映像デコーダ内のバッファ容量を、3D映像のシームレス再生に必要な値よりもかなり大きく確保しなければならない。それは、3D再生装置内のバッファ容量の更なる削減、及びメモリの利用効率の更なる向上を阻むので好ましくない。
ロング・ジャンプ中にバッファ・アンダーフローを生じさせないことと、3D再生装置内のバッファ容量を更に削減することとを両立させるための技術としては、例えば次のものが知られている。その技術では、記録媒体上のデータ記録領域のうち、ロング・ジャンプが必要な箇所の直前又は直後に、2D映像の再生時にのみアクセスされる領域と、3D映像の再生時にのみアクセスされる領域とが設けられる。同じレフトビューを表すエクステントがそれら両方の領域に二重に記録され、それらのレフトビューと対を成すライトビューを表すエクステントが、3D映像の再生時にのみアクセスされる領域に記録される。それにより、2D映像の再生時にのみアクセスされる領域ではエクステントのサイズが、2D映像の再生時におけるロング・ジャンプ中にバッファ・アンダーフローを生じさせないための条件のみを満たせばよい。一方、3D映像の再生時にのみアクセスされる領域ではエクステントのサイズが、3D映像の再生時におけるロング・ジャンプ中にバッファ・アンダーフローを生じさせないための条件のみを満たせばよい。その結果、2D映像と3D映像との両方をシームレスに再生することと、3D再生装置内のバッファ容量を更に削減することとを両立させることができる。
以上のとおり、記録媒体上のデータ記録領域のうち、ロング・ジャンプが必要な箇所の直前又は直後ではエクステントの配置が更に複雑化する。従って、3D映像コンテンツに拡張データを付加する場合、ロング・ジャンプが必要な箇所の直前と直後とに拡張データをどのように配置すべきかが、当業者にとっても決して自明ではない。
本発明の目的は、上記の課題を解決することにあり、特に、再生装置に再生能力を良好に維持させるような態様で、3D映像コンテンツと拡張データとの組み合わせが記録された記録媒体を提供することにある。
本発明の1つの観点による記録媒体には、メインビュー・ストリーム、サブビュー・ストリーム、及び拡張ストリームが記録されている。メインビュー・ストリームは立体視映像のメインビューを表す。サブビュー・ストリームは立体視映像のサブビューを表す。拡張ストリームはメインビュー・ストリームと組み合わされて利用される。メインビュー・ストリームは複数のメインビュー・エクステントから構成され、サブビュー・ストリームは複数のサブビュー・エクステントから構成され、拡張ストリームは複数の拡張エクステントから構成されている。この記録媒体は、共用区間、立体視映像専用区間、平面視映像専用区間、及び拡張データ専用区間を有する。共用区間は、メインビュー・エクステント、サブビュー・エクステント、及び拡張エクステントが交互に連続して配置された領域である。立体視映像専用区間は、メインビュー・エクステントとサブビュー・エクステントとが交互に連続して配置された領域である。平面視映像専用区間は、立体視映像専用区間に隣接する領域であって、立体視映像専用区間に配置されたメインビュー・エクステントの複製が連続して配置された領域である。拡張データ専用区間は、立体視映像専用区間と平面視映像専用区間とが連続する領域の直前に位置する領域であって、平面視映像専用区間に配置されたメインビュー・エクステントの複製と組み合わされて利用されるべき拡張エクステントが配置された領域である。共用区間は、立体視映像が再生されるとき、メインビューが平面視映像として再生されるとき、及び拡張ストリームがメインビュー・ストリームと組み合わされて利用されるときのいずれにおいてもアクセスされる。立体視映像専用区間は、立体視映像の再生中において、ロング・ジャンプが生じる直前に共用区間に続いてアクセスされ、又はロング・ジャンプが終了した直後に共用区間よりも先にアクセスされる。平面視映像専用区間は、平面視映像の再生中において、ロング・ジャンプが生じる直前に共用区間に続いてアクセスされ、又はロング・ジャンプが終了した直後に共用区間よりも先にアクセスされる。拡張データ専用区間と平面視映像専用区間との対は、拡張ストリームがメインビュー・ストリームと共に読み出される場合において、ロング・ジャンプが生じる直前に共用区間に続いてアクセスされ、又はロング・ジャンプが終了した直後に共用区間よりも先にアクセスされる。
本発明の1つの観点による再生装置は、上記の記録媒体から、メインビュー・ストリーム、サブビュー・ストリーム、又は拡張ストリームを読み出して、立体視映像を再生し、メインビューを平面視映像として再生し、又は拡張ストリームをメインビュー・ストリームと組み合わせて利用する。この再生装置は、読み出し部、スイッチ部、第1リード・バッファ、第2リード・バッファ、第3リード・バッファ、及び復号部を備えている。読み出し部は上記の記録媒体からデータを読み出す。スイッチ部は、読み出し部によって読み出されたデータから、メインビュー・ストリーム、サブビュー・ストリーム、及び拡張ストリームを抽出する。第1リード・バッファは、スイッチ部によって抽出されたメインビュー・ストリームを格納する。第2リード・バッファは、スイッチ部によって抽出されたサブビュー・ストリームを格納する。第3リード・バッファは、スイッチ部によって抽出された拡張ストリームを格納する。復号部は、第1リード・バッファからメインビュー・ストリームを読み出して復号し、第2リード・バッファからサブビュー・ストリームを読み出して復号し、第3リード・バッファから拡張ストリームを読み出して復号する。読み出し部は、立体視映像が再生されるとき、メインビューが平面視映像として再生されるとき、及び、拡張ストリームがメインビュー・ストリームと組み合わされて利用されるときのいずれにおいても記録媒体の共用区間にアクセスする。読み出し部は、立体視映像の再生中において、ロング・ジャンプを行う直前に記録媒体の共用区間に続いてその立体視映像専用区間にアクセスし、又はロング・ジャンプを行った直後に共用区間よりも先に立体視映像専用区間にアクセスする。読み出し部は、平面視映像の再生中において、ロング・ジャンプを行う直前に記録媒体の共用区間に続いてその平面視映像専用区間にアクセスし、又はロング・ジャンプを行った直後に共用区間よりも先に平面視映像専用区間にアクセスする。読み出し部は、拡張ストリームをメインビュー・ストリームと共に読み出す場合において、ロング・ジャンプを行う直前に記録媒体の共用区間に続いてその拡張データ専用区間と平面視映像専用区間との対にアクセスし、又はロング・ジャンプを行った直後に共用区間よりも先に拡張データ専用区間と平面視映像専用区間との対にアクセスする。
本発明の上記の観点によれば、再生装置が記録媒体からデータを読み出す際、ロング・ジャンプを行う直前又は直後にアクセスする領域が、立体視映像の再生時、平面視映像の再生時、及び拡張ストリームとメインビュー・ストリームとの組み合わせの利用時で異なる。それにより、それらの領域に対して別々に、ロング・ジャンプ中にバッファ・アンダーフローを生じさせないためにエクステントのサイズが満たすべき条件を設定することができる。その結果、立体視映像と平面視映像との両方をシームレスに再生することと、再生装置内のバッファ容量を更に削減することとを両立させることができる。また、平面視映像の再生時、及び拡張ストリームとメインビュー・ストリームとの組み合わせの利用時の両方で同じ平面視映像専用区間がアクセスされる。それにより、1枚の記録媒体に重複して記録されるべきメインビュー・エクステントのデータ量が最小限に抑えられる。従って、立体視映像の再生時、平面視映像の再生時、及び拡張ストリームとメインビュー・ストリームとの組み合わせの利用時のいずれにおいても、ロング・ジャンプの距離を許容範囲内に収めることができる。このように、上記の記録媒体には、再生装置に再生能力を良好に維持させるような態様で、3D映像コンテンツと拡張データとの組み合わせが記録されている。
以下、本発明の実施形態について、図面を参照しながら説明する。
《実施形態1》
1:システムの構成
図1は、本発明の実施形態1による記録媒体を使用するホームシアター・システムを示す模式図である。このホームシアター・システムは、1920画素×1080画素(以下、フルHD(full High Definition)という。)の2D映像と3D映像とに加え、4K2Kの2D映像を表示可能である。図1を参照するに、このホームシアター・システムは記録媒体101を再生対象とし、再生装置102、表示装置103、シャッター眼鏡104、及びリモコン105を含む。
記録媒体101は読み出し専用ブルーレイ・ディスク(登録商標)(BD:Blu−rayDisc)、すなわちBD−ROMディスクであり、特に記録層を複数含む多層ディスクである。BD−ROMディスク101は映画コンテンツを格納している。このコンテンツは、フルHDの2D映像を表すビデオ・ストリーム、3D映像を表すビデオ・ストリーム、及び4K2Kの2D映像を表すビデオ・ストリームを含む。それらのビデオ・ストリームはエクステント単位でBD−ROMディスク101上に配置され、後述のファイル構造を利用してアクセスされる。
再生装置102はBD−ROMドライブ121を搭載している。BD−ROMドライブ121はBD−ROM方式に準拠の光ディスクドライブである。再生装置102はBD−ROMドライブ121を利用して、BD−ROMディスク101からコンテンツを読み込む。再生装置102は更にそのコンテンツを映像データ/音声データに復号する。ここで、再生装置102はそのコンテンツを、フルHDの2D映像、3D映像、及び4K2Kの2D映像とのいずれとしても再生可能である。以下、フルHDの2D映像を再生するときの再生装置102の動作モードを「2D再生モード」といい、3D映像を再生するときの再生装置102の動作モードを「3D再生モード」といい、4K2Kの2D映像を再生するときの再生装置102の動作モードを「拡張再生モード」という。
再生装置102はHDMI(High−DefinitionMultimedia Interface)ケーブル122で表示装置103に接続されている。再生装置102は映像データ/音声データをHDMI方式の映像信号/音声信号に変換し、HDMIケーブル122を通して表示装置103に伝送する。再生装置102は更に、HDMIケーブル122を通して表示装置103との間でCECメッセージを交換する。それにより、再生装置102は、3D映像の再生及び4K2Kの映像の再生に対応可能か否かを表示装置103に問い合わせることができる。
表示装置103は液晶ディスプレイである。表示装置103は、映像信号に従って画面131上に映像を表示し、音声信号に従って内蔵のスピーカから音声を発生させる。表示装置103は、3D映像の再生と4K2Kの映像の再生とのいずれにも対応可能である。2D映像の再生時、画面131上にはレフトビュー又はライトビューのいずれか一方が表示される。3D映像の再生時、画面131上にはレフトビューとライトビューとが交互に表示される。
表示装置103は左右信号送信部132を含む。左右信号送信部132は左右信号LRを赤外線又は無線でシャッター眼鏡104へ送出する。左右信号LRは、現時点で画面131に表示される映像がレフトビューとライトビューとのいずれであるのかを示す。3D映像の再生時、表示装置103は、映像信号に付随する制御信号からレフトビュー・フレームとライトビュー・フレームとを識別することによってフレームの切り換えを検知する。表示装置103は更に左右信号送信部132に、検知されたフレームの切り換えに同期して左右信号LRを変化させる。
シャッター眼鏡104は2枚の液晶表示パネル141L、141Rと左右信号受信部142とを含む。各液晶表示パネル141L、141Rは左右の各レンズ部分を構成している。左右信号受信部142は左右信号LRを受信し、その変化に応じて左右の液晶表示パネル141L、141Rに信号を送る。各液晶表示パネル141L、141Rはその信号に応じて、光をその全体で一様に透過させ、又は遮断する。特に左右信号LRがレフトビューの表示を示すとき、左目側の液晶表示パネル141Lは光を透過させ、右目側の液晶表示パネル141Rは光を遮断する。左右信号LRがライトビューの表示を示すときはその逆である。このように、2枚の液晶表示パネル141L、141Rはフレームの切り換えと同期して交互に光を透過させる。その結果、視聴者がシャッター眼鏡104をかけて画面131を見たとき、レフトビューはその視聴者の左目だけに映り、ライトビューはその右目だけに映る。そのとき、その視聴者には、各目に映る映像間の違いが同じ立体的物体に対する両眼視差として知覚されるので、その映像が立体的に見える。
リモコン105は操作部と送信部とを含む。操作部は複数のボタンを含む。各ボタンは、電源のオンオフ、又は、BD−ROMディスク101の再生開始若しくは停止等、再生装置102又は表示装置103の各機能に対応付けられている。操作部はユーザによる各ボタンの押下を検出し、そのボタンの識別情報を信号で送信部に伝える。送信部はその信号を赤外線又は無線による信号IRに変換して再生装置102又は表示装置103へ送出する。一方、再生装置102と表示装置103とはそれぞれ、その信号IRを受信し、その信号IRの示すボタンを特定し、そのボタンに対応付けられた機能を実行する。こうして、ユーザは再生装置102又は表示装置103を遠隔操作できる。
2:BD−ROMディスク上のデータ構造
図2は、BD−ROMディスク101上のデータ構造を示す模式図である。図2を参照するに、BD−ROMディスク101上のデータ記録領域の最内周部にはBCA(BurstCutting Area)201が設けられている。BCAに対してはBD−ROMドライブ121によるアクセスのみが許可され、アプリケーション・プログラムによるアクセスは禁止される。それにより、BCA201は著作権保護技術に利用される。BCA201よりも外側のデータ記録領域では内周から外周へ向けてトラックが螺旋状に延びている。図2にはトラック202が模式的に横方向に引き伸ばされて描かれている。その左側はディスク101の内周部を表し、右側は外周部を表す。図2に示されているように、トラック202は内周から順に、リードイン領域202A、ボリューム領域202B、及びリードアウト領域202Cを含む。リードイン領域202AはBCA201のすぐ外周側に設けられている。リードイン領域202Aは、ボリューム領域202Bに記録されたデータのサイズ及び物理アドレス等、BD−ROMドライブ121によるボリューム領域202Bへのアクセスに必要な情報を含む。リードアウト領域202Cはデータ記録領域の最外周部に設けられ、ボリューム領域202Bの終端を示す。ボリューム領域202Bは、映像及び音声等のアプリケーション・データを含む。
ボリューム領域202Bは「セクタ」と呼ばれる小領域202Dに分割されている。セクタのサイズは共通であり、例えば2048バイトである。各セクタ202Dにはボリューム領域202Bの先端から順に通し番号が振られている。この通し番号は論理ブロック番号(LBN)と呼ばれ、BD−ROMディスク101上の論理アドレスに利用される。BD−ROMディスク101からのデータの読み出しでは、宛先のセクタのLBNが指定されることによって読み出し対象のデータが特定される。こうして、ボリューム領域202Bはセクタ単位でアクセス可能である。更に、BD−ROMディスク101上では論理アドレスが物理アドレスと実質的に等しい。特に、LBNが連続している領域では物理アドレスも実質的に連続している。従って、BD−ROMドライブ121は、LBNが連続しているセクタからデータを、その光ピックアップにシークを行わせることなく連続して読み出すことができる。
ボリューム領域202Bに記録されたデータは所定のファイルシステムを利用して管理される。そのファイルシステムとしてはUDF(Universal Disc Format)が採用されている。そのファイルシステムはその他にISO9660であってもよい。そのファイルシステムに従い、ボリューム領域202Bに記録されたデータはディレクトリ/ファイル形式で表現される(詳細は《補足》参照)。すなわち、それらのデータはディレクトリ単位又はファイル単位でアクセス可能である。
図2を更に参照するに、ボリューム領域202Bには、インデックス・ファイル211、AV(audio-visual)ストリーム・ファイル220、クリップ情報ファイル230、プレイリスト・ファイル240、及びBDプログラム・ファイル250が記録されている。AVストリーム・ファイル220は、ファイル2D221、ファイル・ディペンデント(以下、ファイルDEPと略す。)222、立体視インターリーブド・ファイル(SSIF:StereoscopicInterleaved File。以下、ファイルSSと略す。)223、及び拡張ストリーム・ファイル224を含む。クリップ情報ファイル230は、2Dクリップ情報ファイル231、ディペンデントビュー(DEP)クリップ情報ファイル232、及び拡張クリップ情報ファイル233を含む。プレイリスト・ファイル240は、2Dプレイリスト・ファイル241、3Dプレイリスト・ファイル242、及び拡張プレイリスト・ファイル243を含む。BDプログラム・ファイル250は、ムービー(MV:Movie)オブジェクト・ファイル251、BD−J(BDJava(登録商標))オブジェクト・ファイル252、及びJavaアーカイブ(JAR:JavaArchive)ファイル253を含む。
「インデックス・ファイル」211は、BD−ROMディスク101に記録されたコンテンツの全体を管理するための情報である。その情報は特に、そのコンテンツを再生装置102に認識させるための情報、及びインデックス・テーブルを含む。インデックス・テーブルは、そのコンテンツを構成するタイトルとBDプログラム・ファイルとの間の対応表である。「BDプログラム・ファイル」は、オブジェクトを格納したファイルである。「オブジェクト」は、再生装置102の動作を制御するためのプログラムである。オブジェクトの種類にはMVオブジェクトとBD−Jオブジェクトとがある。
「AVストリーム・ファイル」220とは、BD−ROMディスク101上に記録された映像コンテンツの実体のうち、ファイルシステムの定めるファイル形式に整えられたものをいう。ここで、映像コンテンツの実体とは一般に、映像・音声・字幕等を表す各種のストリーム・データ、すなわちエレメンタリ・ストリームが多重化されたストリーム・データを意味する。多重化ストリーム・データの種類には、メイン・トランスポート・ストリーム(TS)、サブTS、及び拡張ストリームがある。
「メインTS」とは、プライマリ・ビデオ・ストリームとしてベースビュー・ビデオ・ストリームを含む多重化ストリーム・データをいう。「ベースビュー・ビデオ・ストリーム」は、単独で再生可能であり、フルHDの2D映像を表すビデオ・ストリームである。尚、ベースビューは「メインビュー」ともいう。
「サブTS」とは、プライマリ・ビデオ・ストリームとしてディペンデントビュー・ビデオ・ストリームを含む多重化ストリーム・データをいう。「ディペンデントビュー・ビデオ・ストリーム」は、その再生にベースビュー・ビデオ・ストリームを必要とし、そのベースビュー・ビデオ・ストリームとの組み合わせで3D映像を表すビデオ・ストリームである。尚、ディペンデントビューは「サブビュー」ともいう。ディペンデントビュー・ビデオ・ストリームの種類には、ライトビュー・ビデオ・ストリーム、レフトビュー・ビデオ・ストリーム、及びデプスマップ・ストリームがある。「ライトビュー・ビデオ・ストリーム」は、ベースビュー・ビデオ・ストリームの表す2D映像が再生装置によって3D映像のレフトビューとして利用されるとき、その3D映像のライトビューを表すビデオ・ストリームとして利用される。「レフトビュー・ビデオ・ストリーム」は、ベースビュー・ビデオ・ストリームの表す2D映像が再生装置によって3D映像のライトビューとして利用されるとき、その3D映像のレフトビューを表すビデオ・ストリームとして利用される。「デプスマップ・ストリーム」は、ベースビュー・ビデオ・ストリームの表す2D映像が再生装置によって仮想的な2D画面への3D映像の射影として利用されるとき、その3D映像のデプスマップを表すストリーム・データとして利用される(詳細は5:変形例を参照)。3D再生モードの再生装置102がディペンデントビュー・ビデオ・ストリームとしてライトビュー・ビデオ・ストリーム(又はレフトビュー・ビデオ・ストリーム)を利用するとき、その動作モードを「レフト/ライト(L/R)モード」という。一方、3D再生モードの再生装置102がディペンデントビュー・ビデオ・ストリームとしてデプスマップ・ストリームを利用するとき、その動作モードをデプス・モードという。
「拡張ストリーム」とは、メインTSと組み合わされて利用される情報、すなわち拡張データを格納した多重化ストリーム・データをいう。本発明の実施形態1においては、拡張データが、ベースビュー・ビデオ・ストリームの表すフルHDの2D映像を4K2Kの2D映像に拡張するために必要な情報を含む。
「ファイル2D」221とは、2D再生モードの再生装置102に利用されるAVストリーム・ファイルであって、メインTSを含むものをいう。「ファイルDEP」222とは、サブTSを含むAVストリーム・ファイルをいう。「ファイルSS」223は、3D再生モードの再生装置102に利用されるAVストリーム・ファイルであって、メインTSとサブTSとの両方を含む。「拡張ストリーム・ファイル」224は、拡張再生モードの再生装置102に利用されるAVストリーム・ファイルであって、拡張ストリームを含む。
ファイルSS223は、メインTSをファイル2D221と共有し、サブTSをファイルDEP222と共有する。すなわち、BD−ROMディスク101のファイルシステムでは、メインTSはファイルSS223とファイル2D221とのいずれとしてもアクセス可能であり、サブTSはファイルSS223とファイルDEP222とのいずれとしてもアクセス可能である。
「クリップ情報ファイル」230とは、ファイル2D221、ファイルDEP222、及び拡張ストリーム・ファイル224と一対一に対応付けられたファイルであって、各ファイル221、222、224のエントリ・マップを含むものをいう。「エントリ・マップ」は、ファイル2D221、ファイルDEP222、又は拡張ストリーム・ファイル224の表す各シーンの表示時間と、そのシーンが記録された各ファイル221、222、224内のアドレスとの間の対応表である。「2Dクリップ情報ファイル」231はファイル2D221に対応付けられ、「DEPクリップ情報ファイル」232はファイルDEP222に対応付けられ、「拡張クリップ情報ファイル」233は拡張ストリーム・ファイル224に対応付けられている。
「プレイリスト・ファイル」240とは、AVストリーム・ファイル220の再生経路を規定するファイルをいう。「再生経路」とは、AVストリーム・ファイル220の再生対象の部分とその再生順序との間の対応関係をいう。「2Dプレイリスト・ファイル」241はファイル2D221の再生経路を規定する。「3Dプレイリスト・ファイル」242は、2D再生モードの再生装置102に対してはファイル2D221の再生経路を規定し、3D再生モードの再生装置102に対してはファイルSS223の再生経路を規定する。「拡張プレイリスト・ファイル」243は、2D再生モードの再生装置102に対してはファイル2D221の再生経路を規定し、拡張再生モードの再生装置102に対してはファイル2D221と拡張ストリーム・ファイル224との各再生経路を規定する。
MVオブジェクト・ファイル251は一般に複数のMVオブジェクトを含む。各MVオブジェクトはナビゲーション・コマンドの列を含む。ナビゲーション・コマンドは、一般的なDVDプレーヤによる再生処理と同様な再生処理を再生装置102に実行させるための制御指令である。ナビゲーション・コマンドの種類には、例えば、タイトルに対応するプレイリスト・ファイルの読み出し命令、プレイリスト・ファイルの示すAVストリーム・ファイルの再生命令、及び別のタイトルへの遷移命令がある。ナビゲーション・コマンドはインタプリタ型言語で記述され、再生装置102に組み込まれたインタプリタ、すなわちジョブ制御プログラムによって解読され、その制御部に所望のジョブを実行させる。ナビゲーション・コマンドはオペコードとオペランドとから成る。オペコードは、タイトルの分岐と再生及び演算等、再生装置102に実行させるべき操作の種類を示す。オペランドは、タイトル番号等、その操作の対象の識別情報を示す。再生装置102の制御部は、例えばユーザの操作に応じて各MVオブジェクトを呼び出し、そのMVオブジェクトに含まれるナビゲーション・コマンドを列の順に実行する。それにより、再生装置102は一般的なDVDプレーヤと同様に、まず表示装置103にメニューを表示してユーザにコマンドを選択させる。再生装置102は次に、選択されたコマンドに応じて、タイトルの再生開始/停止、及び別のタイトルへの切り換え等、再生される映像の進行を動的に変化させる。
BD−Jオブジェクト・ファイル252はBD−Jオブジェクトを1つ含む。BD−Jオブジェクトはバイトコード・プログラムであり、再生装置102に実装されたJava仮想マシンにタイトルの再生処理及びグラフィックス映像の描画処理を実行させる。BD−Jオブジェクトは、Java言語等のコンパイラ型言語で記述されている。BD−Jオブジェクトはアプリケーション管理テーブルと参照対象のプレイリスト・ファイルの識別情報とを含む。「アプリケーション管理テーブル」は、Java仮想マシンに実行させるべきJavaアプリケーション・プログラムとその実行時期、すなわちライフサイクルとの対応表である。「参照対象のプレイリスト・ファイルの識別情報」は、再生対象のタイトルに対応するプレイリスト・ファイルを識別するための情報である。Java仮想マシンはユーザの操作又はアプリケーション・プログラムに従って各BD−Jオブジェクトを呼び出し、そのBD−Jオブジェクトに含まれるアプリケーション管理テーブルに従ってJavaアプリケーション・プログラムを実行する。それにより、再生装置102は、再生される各タイトルの映像の進行を動的に変化させ、又は、表示装置103にグラフィックス映像をタイトルの映像とは独立に表示させる。
JARファイル253は、BD−Jオブジェクトの示すアプリケーション管理テーブルに従って実行されるべきJavaアプリケーション・プログラムの本体を一般に複数含む。「Javaアプリケーション・プログラム」は、BD−Jオブジェクトと同様、Java言語等のコンパイラ型言語で記述されたバイトコード・プログラムである。Javaアプリケーション・プログラムの種類には、Java仮想マシンにタイトルの再生処理を実行させるもの、及びJava仮想マシンにグラフィックス映像の描画処理を実行させるものが含まれる。JARファイル261はJavaアーカイブ・ファイルであり、再生装置102に読み込まれたときにその内部のメモリで展開される。それにより、そのメモリの中にJavaアプリケーション・プログラムが格納される。
2−1:多重化ストリーム・データの構造
図3の(a)は、BD−ROMディスク101上のメインTSに多重化されたエレメンタリ・ストリームの一覧表である。メインTSはMPEG−2トランスポート・ストリーム(TS)形式のデジタル・ストリームであり、図2に示されているファイル2D221に含まれる。図3の(a)を参照するに、メインTSはプライマリ・ビデオ・ストリーム301とプライマリ・オーディオ・ストリーム302A、302Bとを含む。メインTSはその他に、プレゼンテーション・グラフィックス(PG)ストリーム303A、303B、インタラクティブ・グラフィックス(IG)ストリーム304、セカンダリ・オーディオ・ストリーム305、及びセカンダリ・ビデオ・ストリーム306を含んでもよい。
プライマリ・ビデオ・ストリーム301は映画の主映像を表し、セカンダリ・ビデオ・ストリーム306は副映像を表す。ここで、主映像とは、映画の本編の映像等、コンテンツの主要な映像を意味し、例えば画面全体に表示されるものを指す。一方、副映像とは、例えば主映像の中に小さな画面で表示される映像のように、ピクチャ・イン・ピクチャ方式を利用して主映像と同時に画面に表示される映像を意味する。プライマリ・ビデオ・ストリーム301とセカンダリ・ビデオ・ストリーム306とはいずれもベースビュー・ビデオ・ストリームである。各ビデオ・ストリーム301、306は、MPEG−2、MPEG−4 AVC、又はSMPTE VC−1等の動画圧縮符号化方式で符号化されている。それにより、各ビデオ・ストリーム301、306に含まれるビデオ・フレームはそれぞれ1枚のピクチャに圧縮される。ここで、「ビデオ・フレーム」は画素データの2次元配列であり、その配列のサイズはフレームの解像度に等しい。例えばフルHDのビデオ・フレームは1920×1080の2次元配列である。1組の画素データは色座標値とα値(不透明度)との組み合わせから成る。色座標値は8ビットのRGB値又はYCrCb値で表される。α値も8ビットで表される。
プライマリ・オーディオ・ストリーム302A、302Bは映画の主音声を表す。ここで、2つのプライマリ・オーディオ・ストリーム302A、302Bの間では言語が異なる。セカンダリ・オーディオ・ストリーム305は、対話画面の操作に伴う効果音等、主音声と重ね合わされるべき(ミキシングされるべき)副音声を表す。各オーディオ・ストリーム302A、302B、305は、AC−3、ドルビー・デジタル・プラス(DolbyDigital Plus:「ドルビー・デジタル」は登録商標)、MLP(Meridian Lossless Packing:登録商標)、DTS(Digital Theater System:登録商標)、DTS−HD、又はリニアPCM(PulseCode Modulation)等の方式で符号化されている。それにより、各オーディオ・ストリーム302A、302B、305に含まれるオーディオ・フレームは個別に圧縮される。
各PGストリーム303A、303Bは、グラフィックスによる字幕等、プライマリ・ビデオ・ストリーム301の表す映像に重ねて表示されるべきグラフィックス映像を表す。2つのPGストリーム303A、303Bの間では、例えば字幕の言語が異なる。IGストリーム304は、表示装置103の画面131上に対話画面を構成するためのグラフィックス・ユーザインタフェース(GUI)用のグラフィックス部品及びその配置を表す。
エレメンタリ・ストリーム301−306はパケット識別子(PID)によって識別される。PIDの割り当ては例えば次のとおりである。1つのメインTSはプライマリ・ビデオ・ストリームを1本のみ含むので、プライマリ・ビデオ・ストリーム301には16進数値0x1011が割り当てられる。1つのメインTSに他のエレメンタリ・ストリームが種類ごとに最大32本まで多重化可能であるとき、プライマリ・オーディオ・ストリーム302A、302Bには0x1100から0x111Fまでのいずれかが割り当てられる。PGストリーム303A、303Bには0x1200から0x121Fまでのいずれかが割り当てられる。IGストリーム304には0x1400から0x141Fまでのいずれかが割り当てられる。セカンダリ・オーディオ・ストリーム305には0x1A00から0x1A1Fまでのいずれかが割り当てられる。セカンダリ・ビデオ・ストリーム306には0x1B00から0x1B1Fまでのいずれかが割り当てられる。
図3の(b)は、BD−ROMディスク101上のサブTSに多重化されたエレメンタリ・ストリームの一覧表の一例である。サブTSはMPEG−2 TS形式の多重化ストリーム・データであり、図2に示されているファイルDEP222に含まれる。図3の(b)を参照するに、サブTSはプライマリ・ビデオ・ストリーム311を含む。サブTSはその他に、レフトビューPGストリーム312A、312B、ライトビューPGストリーム313A、313B、レフトビューIGストリーム314、ライトビューIGストリーム315、及びセカンダリ・ビデオ・ストリーム316を含んでもよい。プライマリ・ビデオ・ストリーム311はライトビュー・ビデオ・ストリームであり、メインTS内のプライマリ・ビデオ・ストリーム301が3D映像のレフトビューを表すとき、その3D映像のライトビューを表す。レフトビューとライトビューとのPGストリームの対312A+313A、312B+313Bは、字幕等のグラフィックス映像を3D映像として表示するときにそのレフトビューとライトビューとの対を表す。レフトビューとライトビューとのIGストリームの対314、315は、対話画面のグラフィックス映像を3D映像として表示するときにそのレフトビューとライトビューとの対を表す。セカンダリ・ビデオ・ストリーム316はライトビュー・ビデオ・ストリームであり、メインTS内のセカンダリ・ビデオ・ストリーム306が3D映像のレフトビューを表すとき、その3D映像のライトビューを表す。
エレメンタリ・ストリーム311−316に対するPIDの割り当ては例えば次のとおりである。プライマリ・ビデオ・ストリーム311には0x1012が割り当てられる。1つのサブTSに他のエレメンタリ・ストリームが種類別に最大32本まで多重化可能であるとき、レフトビューPGストリーム312A、312Bには0x1220から0x123Fまでのいずれかが割り当てられ、ライトビューPGストリーム313A、313Bには0x1240から0x125Fまでのいずれかが割り当てられる。レフトビューIGストリーム314には0x1420から0x143Fまでのいずれかが割り当てられ、ライトビューIGストリーム315には0x1440から0x145Fまでのいずれかが割り当てられる。セカンダリ・ビデオ・ストリーム316には0x1B20から0x1B3Fまでのいずれかが割り当てられる。
図3の(c)は、BD−ROMディスク101上のサブTSに多重化されたエレメンタリ・ストリームの一覧表の別例である。図3の(c)を参照するに、サブTSはプライマリ・ビデオ・ストリーム321を含む。サブTSはその他に、デプスマップPGストリーム323A、323B、デプスマップIGストリーム324、及びセカンダリ・ビデオ・ストリーム326を含んでもよい。プライマリ・ビデオ・ストリーム321はデプスマップ・ストリームであり、メインTS内のプライマリ・ビデオ・ストリーム301との組み合わせで3D映像を表す。デプスマップPGストリーム323A、323Bは、メインTS内のPGストリーム303A、303Bの表す2D映像が仮想的な2D画面への3D映像の射影として利用されるとき、その3D映像のデプスマップを表すPGストリームとして利用される。デプスマップIGストリーム324は、メインTS内のIGストリーム304の表す2D映像が仮想的な2D画面への3D映像の射影として利用されるとき、その3D映像のデプスマップを表すIGストリームとして利用される。セカンダリ・ビデオ・ストリーム326はデプスマップ・ストリームであり、メインTS内のセカンダリ・ビデオ・ストリーム306との組み合わせで3D映像を表す。
エレメンタリ・ストリーム321−326に対するPIDの割り当ては例えば次のとおりである。プライマリ・ビデオ・ストリーム321には0x1013が割り当てられる。1つのサブTSに他のエレメンタリ・ストリームが種類別に最大32本まで多重化可能であるとき、デプスマップPGストリーム323A、323Bには0x1260から0x127Fまでのいずれかが割り当てられる。デプスマップIGストリーム324には0x1460から0x147Fまでのいずれかが割り当てられる。セカンダリ・ビデオ・ストリーム326には0x1B40から0x1B5Fまでのいずれかが割り当てられる。
図3の(d)は、BD−ROMディスク101上の拡張ストリームに多重化されたエレメンタリ・ストリームの一覧表である。図3の(d)を参照するに、拡張ストリームは拡張データとして解像度拡張情報331を含む。解像度拡張情報331は、メインTS内のプライマリ・ビデオ・ストリーム301に含まれるフルHDのビデオ・フレームをそれぞれ、4K2Kのビデオ・フレームに拡張するために必要な情報である。解像度拡張情報331にはPIDとして0x1014が割り当てられる。
図4の(a)は、解像度拡張情報のデータ構造を示す表である。図4の(a)を参照するに、解像度拡張情報は、各ビデオ・フレームについて、拡張後の解像度401、補間方式402、及び差分画素情報403を含む。拡張後の解像度401は4K2Kの解像度を示す。補間方式402は、フルHDのビデオ・フレームに含まれる画素データの数を、4K2Kのビデオ・フレームに含まれる画素データの数まで増加させるのに利用される補間方式を示す。その補間方式にはバイキュービック方式とバイリニア方式とが含まれる。差分画素情報403は、フルHDのビデオ・フレームから補間によって得られる画素データと、本来の4K2Kのビデオ・フレームにおける画素データとの間の差分を表す。画素データがYCrCb値で表される場合、差分画素情報403は、輝度成分Yの差Y_d、赤色差成分Crの差Cr_d、青色差成分Cbの差Cb_d、及び不透明度αの差α_dを含む。
図4の(b)は、フルHDのビデオ・フレームを4K2Kのビデオ・フレームへ拡張する処理における解像度拡張情報の役割を示す模式図である。その処理には、次の2つのステップが必要である。第1のステップ410では、フルHDのビデオ・フレームに含まれる画素データ411に基づいて補間が行われる。それにより、新たな画素データ412がそのビデオ・フレームに追加される。その結果、画素データの総数が、4K2Kのビデオ・フレームに含まれる画素データの数まで増加する。拡張後の解像度401は、増加後の画素データの数を解像度で規定する。補間方式402は、第1のステップで利用される補間方式を規定する。第2のステップでは、補間によって得られるビデオ・フレームの各画素データ411、412に差分画素情報403が加算される。その結果、本来の4K2Kのビデオ・フレームに含まれる各画素データ413が再現される。
図5は、多重化ストリーム・データ500内でのTSパケットの配置を示す模式図である。このパケット構造は、メインTS、サブTS、及び拡張ストリームの間で共通である。多重化ストリーム・データ500内では各エレメンタリ・ストリーム501、502、503、504はTSパケット521、522、523、524の列に変換されている。例えばビデオ・ストリーム501では、まず、各ビデオ・フレーム501Aが1つのPES(PacketizedElementary Stream)パケット511に変換される。次に、各PESパケット511が一般に複数のTSパケット521に変換される。同様に、オーディオ・ストリーム502、PGストリーム503、及びIGストリーム504はそれぞれ、一旦PESパケット512、513、514の列に変換された後、TSパケット522、523、524の列に変換される。最後に、各エレメンタリ・ストリーム501、502、503、504から得られたTSパケット521、522、523、524が1本のストリーム・データ500に時分割で多重化される。
図6の(b)は、多重化ストリーム・データを構成するTSパケット列の形式を示す模式図である。各TSパケット601は188バイト長のパケットである。図6の(b)を参照するに、各TSパケット601は、TSペイロード601Pとアダプテーション(adaptation)フィールド(以下、ADフィールドと略す。)601Aとの少なくともいずれか、及びTSヘッダ601Hを含む。TSペイロード601PとADフィールド601Aとは、両方を合わせて184バイト長のデータ領域である。TSペイロード601PはPESパケットの格納領域として利用される。図5に示されているPESパケット511−514はそれぞれ、一般に複数の部分に分割され、各部分が異なるTSペイロード601Pに格納される。ADフィールド601Aは、TSペイロード601Pのデータ量が184バイトに満たないときにスタッフィング・バイト(すなわちダミー・データ)を格納するための領域である。ADフィールド601Aはその他に、TSパケット601が例えば後述のPCRであるときに、その情報の格納領域として利用される。TSヘッダ601Hは4バイト長のデータ領域である。
図6の(a)は、TSヘッダ601Hのデータ構造を示す模式図である。図6の(a)を参照するに、TSヘッダ601Hは、TS優先度611、PID612、及びADフィールド制御613を含む。PID612は、同じTSパケット601内のTSペイロード601Pに格納されたデータの属するエレメンタリ・ストリームのPIDを示す。TS優先度611は、PID612の示す値が共通するTSパケット群の中でのTSパケット601の優先度を示す。ADフィールド制御613は、TSパケット601内でのADフィールド601AとTSペイロード601Pとのそれぞれの有無を示す。
図6の(c)は、多重化ストリーム・データのTSパケット列から構成されたソースパケット列の形式を示す模式図である。図6の(c)を参照するに、各ソースパケット602は192バイト長のパケットであり、図6の(b)に示されているTSパケット601の1つと4バイト長のヘッダ602Hとを含む。TSパケット601がBD−ROMディスク101に記録されるとき、そのTSパケット601にヘッダ602Hが付与されることによってソースパケット602は構成される。ヘッダ602HはATS(Arrival_Time_Stamp)を含む。「ATS」は時刻情報であり、再生装置102内のシステム・ターゲット・デコーダによって次のように利用される。ここで、「システム・ターゲット・デコーダ」とは、多重化ストリーム・データをエレメンタリ・ストリームごとに復号する装置をいう:ソースパケット602がBD−ROMディスク101からシステム・ターゲット・デコーダへ送られたとき、システム・ターゲット・デコーダはそのソースパケット602からTSパケット602Pを抽出してPIDフィルタへ転送する。システム・ターゲット・デコーダはその転送を、「ATC(Arrival Time Clock)」という内部クロックの値が、そのソースパケット602のヘッダ602Hの示すATSに一致した時点で行う。システム・ターゲット・デコーダと、それによるATSの利用との詳細については後述する。
図6の(d)は、一連のソースパケット602が連続的に記録されたBD−ROMディスク101のボリューム領域202B上のセクタ群の模式図である。図6の(d)を参照するに、一連のソースパケット602は32個ずつ、3つの連続するセクタ621、622、623に記録されている。これは、32個のソースパケットのデータ量192バイト×32=6144バイトが3つのセクタの合計サイズ2048バイト×3=6144バイトに等しいことに因る。このように、3つの連続するセクタ621、622、623に記録された32個のソースパケット602を「アラインド・ユニット(Aligned Unit)」620という。再生装置102内のBD−ROMドライブ121は、BD−ROMディスク101からソースパケット602をアラインド・ユニット620ごとに、すなわち32個ずつ読み出す。セクタ群621、622、623、…は先頭から順に32個ずつに分割され、それぞれが1つの誤り訂正符号(ECC:Error Correcting Code)ブロック630を構成している。BD−ROMドライブ121はECCブロック630ごとに誤り訂正処理を行う。
≪PGストリームのデータ構造≫
PGストリームは複数のデータ・エントリを含む。各データ・エントリはPGストリームの表示単位(ディスプレイ・セット)を表し、再生装置102に1枚のグラフィックス・プレーンを構成させるのに必要なデータから成る。ここで、「グラフィックス・プレーン」とは、2Dグラフィックス映像を表すグラフィックス・データから生成されるプレーン・データをいう。「プレーン・データ」は画素データの2次元配列であり、その配列のサイズはビデオ・フレームの解像度に等しい。グラフィックス・プレーンの種類には、PGプレーン、IGプレーン、イメージ・プレーン、及びオン・スクリーン・ディスプレイ(OSD)プレーンが含まれる。PGプレーンはメインTS内のPGストリームから生成される。IGプレーンはメインTS内のIGストリームから生成される。イメージ・プレーンはBD−Jオブジェクトに従って生成される。OSDプレーンは再生装置102のファームウェアに従って生成される。
各データ・エントリは複数の機能セグメントを含む。それらの機能セグメントは、先頭から順に、表示制御セグメント(Presentation Control Segment:PCS)、ウィンドウ定義セグメント(Window Define Segment:WDS)、パレット定義セグメント(Pallet Define Segment:PDS)、及びオブジェクト定義セグメント(Object Define Segment:ODS)を含む。WDSは、グラフィックス・プレーン内の矩形領域、すなわちウィンドウを規定する。PDSは、所定種類のカラーIDと色座標値(例えば、輝度Y、赤色差Cr、青色差Cb、不透明度α)との間の対応関係を規定する。ODSは一般に複数で1つのグラフィックス・オブジェクトを表す。「グラフィックス・オブジェクト」とは、グラフィックス画像を画素コードとカラーIDとの間の対応関係で表現するデータである。グラフィックス・オブジェクトは、ランレングス符号化方式を用いて圧縮された後に分割され、各ODSに分配されている。PCSは、同じデータ・エントリに属するディスプレイ・セットの詳細を示し、特に、グラフィックス・オブジェクトを用いた画面構成を規定する。その画面構成の種類は、カット・イン/アウト(Cut−In/Out)、フェード・イン/アウト(Fade−In/Out)、色変化(Color Change)、スクロール(Scroll)、及びワイプ・イン/アウト(Wipe−In/Out)を含む。コンテンツ・プロバイダはPCSを利用して再生装置102に画面構成を指示する。それにより、例えば「ある字幕を徐々に消去しつつ、次の字幕を表示させる」という視覚効果を再生装置102に実現させることができる。
2−2:IGストリームのデータ構造
IGストリームは、対話構成セグメント(InteractiveComposition Segment:ICS)、PDS、及びODSを含む。PDSとODSとは、PGストリームに含まれるものと同様な機能セグメントである。特に、ODSの含むグラフィックス・オブジェクトは、ボタン及びポップアップ・メニュー等、対話画面を構成するGUI用グラフィック部品を表す。ICSは、それらのグラフィックス・オブジェクトを用いた対話操作を規定する。具体的には、ICSは、ボタン及びポップアップ・メニュー等、ユーザ操作に応じて状態が変化するグラフィックス・オブジェクトのそれぞれについて取り得る状態、すなわち、ノーマル、セレクテッド、及びアクティブの各状態を規定する。ICSは更にボタン情報を含む。ボタン情報は、ユーザがボタン等に対して確定操作を行った際に再生装置102の実行すべきコマンドを含む。
2−3:ビデオ・ストリームのデータ構造
図7は、ベースビュー・ビデオ・ストリーム701とライトビュー・ビデオ・ストリーム702とのピクチャを表示時間順に示す模式図である。図7を参照するに、ベースビュー・ビデオ・ストリーム701はピクチャ710、711、712、…、719(以下、ベースビュー・ピクチャという。)を含み、ライトビュー・ビデオ・ストリーム702はピクチャ720、721、722、…、729(以下、ライトビュー・ピクチャという。)を含む。各ピクチャ710−719、720−729は1フレームを表し、MPEG−2又はMPEG−4 AVC等の動画圧縮符号化方式によって圧縮されている。
上記の符号化方式による各ピクチャの圧縮には、そのピクチャの空間方向及び時間方向での冗長性が利用される。ここで、空間方向での冗長性のみを利用するピクチャの符号化を「ピクチャ内符号化」という。一方、時間方向での冗長性、すなわち、表示順序の連続する複数のピクチャ間でのデータの類似性を利用するピクチャの符号化を「ピクチャ間予測符号化」という。ピクチャ間予測符号化では、まず符号化対象のピクチャに対して、表示時間が前又は後である別のピクチャが参照ピクチャとして設定される。次に、符号化対象のピクチャとその参照ピクチャとの間で動きベクトルが検出され、それを利用して動き補償が行われる。更に、動き補償後のピクチャと符号化対象のピクチャとの間の差分値が求められ、その差分値から空間方向での冗長性が除去される。こうして、各ピクチャのデータ量が圧縮される。
図7を参照するに、ベースビュー・ピクチャ710−719は一般に複数のGOP731、732に分割されている。「GOP」とは、I(Intra)ピクチャを先頭とする複数枚の連続するピクチャの列をいう。「Iピクチャ」とは、ピクチャ内符号化によって圧縮されたピクチャをいう。GOPは一般に、Iピクチャの他に、P(Predictive)ピクチャとB(Bidirectionally Predivtive)ピクチャとを含む。「Pピクチャ」とは、ピクチャ間予測符号化によって圧縮されたピクチャであって、表示時間がそれよりも前であるIピクチャ又は別のPピクチャが1枚、参照ピクチャとして利用されたものをいう。「Bピクチャ」とは、ピクチャ間予測符号化によって圧縮されたピクチャであって、表示時間がそれよりも前又は後であるIピクチャ又はPピクチャが2枚、参照ピクチャとして利用されたものをいう。Bピクチャのうち、他のピクチャに対するピクチャ間予測符号化で参照ピクチャとして利用されるものを特に「Br(reference B)ピクチャ」という。
図7に示されている例では、各GOP731、732内のベースビュー・ピクチャが以下の順で圧縮される。第1GOP731では、まず先頭のベースビュー・ピクチャがI0ピクチャ710に圧縮される。ここで、下付の数字は、各ピクチャに表示時間順に割り振られた通し番号を示す。次に、4番目のベースビュー・ピクチャがI0ピクチャ710を参照ピクチャとしてP3ピクチャ713に圧縮される。ここで、図7に示されている各矢印は、先端のピクチャが後端のピクチャに対する参照ピクチャであることを示す。続いて、2、3番目のベースビュー・ピクチャがI0ピクチャ710とP3ピクチャ713とを参照ピクチャとして、それぞれ、Br1ピクチャ711、Br2ピクチャ712に圧縮される。更に7番目のベースビュー・ピクチャがP3ピクチャ713を参照ピクチャとしてP6ピクチャ716に圧縮される。続いて、4、5番目のベースビュー・ピクチャがP3ピクチャ713とP6ピクチャ716とを参照ピクチャとして、それぞれ、Br4ピクチャ714、Br5ピクチャ715に圧縮される。同様に、第2GOP732では、まず先頭のベースビュー・ピクチャがI7ピクチャ717に圧縮される。次に3番目のベースビュー・ピクチャがI7ピクチャ717を参照ピクチャとしてP9ピクチャ719に圧縮される。続いて、2番目のベースビュー・ピクチャがI7ピクチャ717とP9ピクチャ719とを参照ピクチャとしてBr8ピクチャ718に圧縮される。
ベースビュー・ビデオ・ストリーム701では各GOP731、732がその先頭にIピクチャを必ず含むので、ベースビュー・ピクチャはGOPごとに復号可能である。例えば第1GOP731では、まずI0ピクチャ710が単独で復号される。次に、復号後のI0ピクチャ710を利用してP3ピクチャ713が復号される。続いて、復号後のI0ピクチャ710とP3ピクチャ713とを利用してBr1ピクチャ711とBr2ピクチャ712とが復号される。後続のピクチャ群714、715、…も同様に復号される。こうして、ベースビュー・ビデオ・ストリーム701は単独で復号可能であり、更にGOP単位でのランダム・アクセスが可能である。
図7を更に参照するに、ライトビュー・ピクチャ720−729はピクチャ間予測符号化で圧縮されている。しかし、その符号化方法はベースビュー・ピクチャ710−719の符号化方法とは異なり、映像の時間方向での冗長性に加え、左右の映像間の冗長性をも利用する。具体的には、各ライトビュー・ピクチャ720−729の参照ピクチャが、図7に矢印で示されているように、ライトビュー・ビデオ・ストリーム702からだけでなく、ベースビュー・ビデオ・ストリーム701からも選択される。特に各ライトビュー・ピクチャ720−729と、その参照ピクチャとして選択されたベースビュー・ピクチャとは表示時刻が実質的に等しい。それらのピクチャは3D映像の同じシーンのライトビューとレフトビューとの対、すなわち視差映像を表す。このように、ライトビュー・ピクチャ720−729はベースビュー・ピクチャ710−719と一対一に対応する。特にそれらのピクチャ間ではGOP構造が共通である。
図7に示されている例では、まず第1GOP731内の先頭のライトビュー・ピクチャがベースビュー・ビデオ・ストリーム701内のI0ピクチャ710を参照ピクチャとしてP0ピクチャ720に圧縮される。それらのピクチャ710、720は3D映像の先頭フレームのレフトビューとライトビューとを表す。次に、4番目のライトビュー・ピクチャがP0ピクチャ720とベースビュー・ビデオ・ストリーム701内のP3ピクチャ713とを参照ピクチャとしてP3ピクチャ723に圧縮される。続いて、2番目のライトビュー・ピクチャがP0ピクチャ720とP3ピクチャ723とに加えて、ベースビュー・ビデオ・ストリーム701内のBr1ピクチャ711を参照ピクチャとしてB1ピクチャ721に圧縮される。同様に、3番目のライトビュー・ピクチャがP0ピクチャ720とP3ピクチャ730とに加えて、ベースビュー・ビデオ・ストリーム701内のBr2ピクチャ712を参照ピクチャとしてB2ピクチャ722に圧縮される。以降のライトビュー・ピクチャ724−729についても同様に、そのライトビュー・ピクチャと表示時刻が実質的に等しいベースビュー・ピクチャが参照ピクチャとして利用される。
上記のような左右の映像間の相関関係を利用した動画圧縮符号化方式としては、MVC(Multiview Video Coding)と呼ばれるMPEG−4 AVC/H.264の修正規格が知られている。MVCは、ISO/IEC MPEGとITU−T VCEGとの共同プロジェクトであるJVT(Joint Video Team)によって2008年7月に策定されたものであり、複数の視点から見える映像をまとめて符号化するための規格である。MVCでは映像間予測符号化に、映像の時間方向での類似性だけでなく、視点の異なる映像間の類似性も利用される。その予測符号化では、各視点から見た映像を個別に圧縮する予測符号化よりも映像の圧縮率が高い。
上記のとおり、各ライトビュー・ピクチャ720−729の圧縮にはベースビュー・ピクチャが参照ピクチャとして利用される。従って、ベースビュー・ビデオ・ストリーム701とは異なり、ライトビュー・ビデオ・ストリーム702を単独で復号することはできない。しかし、視差映像間の差異は一般にわずかであり、すなわちレフトビューとライトビューとの間の相関は高い。従って、ライトビュー・ピクチャは一般にベースビュー・ピクチャよりも圧縮率が著しく高く、すなわちデータ量が著しく小さい。
図7には示されていないが、デプスマップ・ストリームは複数のデプスマップを含む。それらのデプスマップはベースビュー・ピクチャと一対一に対応し、各ベースビュー・ピクチャの示す1フレームの2D映像に対するデプスマップを表す。各デプスマップは、ベースビュー・ピクチャと同様、MPEG−2又はMPEG−4 AVC等の動画圧縮符号化方式によって圧縮されている。特にその符号化方式ではピクチャ間予測符号化が利用される。すなわち、各デプスマップが他のデプスマップを参照ピクチャとして利用して圧縮される。デプスマップ・ストリームは、ベースビュー・ビデオ・ストリームと同様にGOP単位に分割され、各GOPがその先頭にIピクチャを必ず含む。従って、デプスマップはGOPごとに単独で復号可能である。しかし、デプスマップ自体は2D映像の各部の奥行きを画素別に表す情報でしかないので、デプスマップ・ストリームを単独で映像の再生に利用することはできない。デプスマップ・ストリームの圧縮に利用される符号化方式は、ライトビュー・ビデオ・ストリームの圧縮に利用される符号化方式と等しい。例えば、ライトビュー・ビデオ・ストリームがMVCのフォーマットで符号化されているとき、デプスマップ・ストリームもMVCのフォーマットで符号化されている。その場合、再生装置102は3D映像の再生時、符号化方式を一定に維持したまま、L/Rモードとデプス・モードとの切り換えをスムーズに実現できる。
図8は、ビデオ・ストリーム800のデータ構造の詳細を示す模式図である。このデータ構造は、ベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとで実質的に共通である。図8を参照するに、ビデオ・ストリーム800は一般に複数のビデオ・シーケンス#1、#2、…から構成されている。「ビデオ・シーケンス」は、1つのGOP810を構成するピクチャ群811、812、813、814、…に個別にヘッダ等の付加情報を組み合わせたものである。この付加情報と各ピクチャとの組み合わせを「ビデオ・アクセスユニット(VAU)」という。すなわち、各GOP810、820ではピクチャごとに1つのVAU#1、#2、…が構成されている。各ピクチャはVAU単位でビデオ・ストリーム800から読み出し可能である。
図8は更に、ベースビュー・ビデオ・ストリーム内で各ビデオ・シーケンスの先端に位置するVAU#1831の構造を示す。VAU#1831は、アクセスユニット(AU)識別コード831A、シーケンス・ヘッダ831B、ピクチャ・ヘッダ831C、補足データ831D、及び圧縮ピクチャ・データ831Eを含む。2番目以降のVAU#2は、シーケンス・ヘッダ831Bを含まない点を除き、VAU#1831と同じ構造である。AU識別コード831Aは、VAU#1831の先端を示す所定の符号である。シーケンス・ヘッダ831BはGOPヘッダともいい、VAU#1831を含むビデオ・シーケンス#1の識別番号を含む。シーケンス・ヘッダ831Bは更にGOP810の全体で共通する情報、例えば、解像度、フレームレート、アスペクト比、及びビットレートを含む。ピクチャ・ヘッダ831Cは、固有の識別番号、ビデオ・シーケンス#1の識別番号、及びピクチャの復号に必要な情報、例えば符号化方式の種類を示す。補足データ831Dは、ピクチャの復号以外に関する付加的な情報、例えば、クローズド・キャプションを示す文字情報、GOP構造に関する情報、及びタイムコード情報を含む。圧縮ピクチャ・データ831Eはベースビュー・ピクチャを含む。
VAU#1831はその他に、必要に応じて、パディング・データ831F、シーケンス終端コード831G、及びストリーム終端コード831Hのいずれか又は全てを含んでもよい。パディング・データ831Fはダミーデータである。そのサイズを圧縮ピクチャ・データ831Eのサイズに合わせて調節することにより、VAU#1831のビットレートを所定値に維持することができる。シーケンス終端コード831Gは、VAU#1831がビデオ・シーケンス#1の終端に位置することを示す。ストリーム終端コード831Hはベースビュー・ビデオ・ストリーム800の終端を示す。
図8はまた、ディペンデントビュー・ビデオ・ストリーム内で各ビデオ・シーケンスの先端に位置するVAU#1832の構造も示す。VAU#1832は、サブシーケンス・ヘッダ832B、ピクチャ・ヘッダ832C、補足データ832D、及び圧縮ピクチャ・データ832Eを含む。2番目以降のVAU#2は、サブシーケンス・ヘッダ832Bを含まない点を除き、VAU#1832と同じ構造である。サブシーケンス・ヘッダ832Bは、VAU#1832を含むビデオ・シーケンス#1の識別番号を含む。サブシーケンス・ヘッダ832Bは更に、GOP810の全体で共通する情報、例えば、解像度、フレームレート、アスペクト比、及びビットレートを含む。特にそれらの値は、ベースビュー・ビデオ・ストリームの対応するGOPに対して設定された値、すなわちVAU#1831のシーケンス・ヘッダ831Bの示す値に等しい。ピクチャ・ヘッダ832Cは、固有の識別番号、ビデオ・シーケンス#1の識別番号、及びピクチャの復号に必要な情報、例えば符号化方式の種類を示す。補足データ832Dは、ピクチャの復号以外に関する付加的な情報、例えば、クローズド・キャプションを示す文字情報、GOP構造に関する情報、及びタイムコード情報を含む。圧縮ピクチャ・データ832Eはディペンデントビュー・ピクチャを含む。
VAU#1832はその他に、必要に応じて、パディング・データ832F、シーケンス終端コード832G、及びストリーム終端コード832Hのいずれか又は全てを含んでもよい。パディング・データ832Fはダミーデータである。そのサイズを圧縮ピクチャ・データ832Eのサイズに合わせて調節することにより、VAU#1832のビットレートを所定値に維持することができる。シーケンス終端コード832Gは、VAU#1832がビデオ・シーケンス#1の終端に位置することを示す。ストリーム終端コード832Hはディペンデントビュー・ビデオ・ストリーム800の終端を示す。
VAUの各部の具体的な内容はビデオ・ストリーム800の符号化方式ごとに異なる。例えば、その符号化方式がMPEG−4 AVCであるとき、図8に示されているVAUの各部は1つのNAL(Network Abstraction Layer)ユニットから構成される。具体的には、AU識別コード831A、シーケンス・ヘッダ831B、ピクチャ・ヘッダ831C、補足データ831D、圧縮ピクチャ・データ831E、パディング・データ831F、シーケンス終端コード831G、及びストリーム終端コード831Hはそれぞれ、AUデリミタ(Access Unit Delimiter)、SPS(シーケンス・パラメータ・セット)、PPS(ピクチャ・パラメータ・セット)、SEI(Supplemental Enhancement Information)、ビュー・コンポーネント、フィラー・データ(Filler Data)、エンド・オブ・シーケンス(End of Sequence)、及びエンド・オブ・ストリーム(End of Stream)に相当する。
図9は、PESパケット列902へのビデオ・ストリーム901の格納方法の詳細を示す模式図である。この格納方法は、ベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとで共通である。図9を参照するに、実際のビデオ・ストリーム901ではピクチャが、表示時間順ではなく符号化順に多重化されている。例えばベースビュー・ビデオ・ストリームのVAUには、図9に示されているように、先頭から順に、I0ピクチャ910、P3ピクチャ911、B1ピクチャ912、B2ピクチャ913、…が格納されている。ここで、下付の数字は、各ピクチャに表示時間順に割り振られた通し番号を示す。P3ピクチャ911の符号化にはI0ピクチャ910が参照ピクチャとして利用され、B1ピクチャ912とB2ピクチャ913との各符号化にはI0ピクチャ910とP3ピクチャ911とが参照ピクチャとして利用される。それらのVAUが1つずつ、異なるPESパケット920、921、922、923、…に格納される。各PESパケット920、…はPESペイロード920PとPESヘッダ920Hとを含む。VAUはPESペイロード920Pに格納される。一方、PESヘッダ920Hは、同じPESパケット920のPESペイロード920Pに格納されたピクチャの表示時刻、すなわちPTS(PresentationTime−Stamp)、及び、そのピクチャの復号時刻、すなわちDTS(DecodingTime−Stamp)を含む。「PTS」は、再生装置102内のデコーダによって復号されたピクチャ等のデータをそのデコーダから出力するタイミングを示し、「DTS」はデコーダにピクチャ等のデータの復号処理を開始させるタイミングを示す。
図9に示されているビデオ・ストリーム901と同様、図3に示されている他のエレメンタリ・ストリームも一連のPESパケットの各PESペイロードに格納される。更に各PESパケットのPESヘッダは、そのPESパケットのPESペイロードに格納されたデータのPTSを含む。
図10は、ベースビュー・ビデオ・ストリーム1001とディペンデントビュー・ビデオ・ストリーム1002との各ピクチャに割り当てられたPTSとDTSとの間の関係を示す模式図である。図10を参照するに、両ビデオ・ストリーム1001、1002の間では、3D映像の同じフレームを表す一対のピクチャに対して、同じPTS及び同じDTSが割り当てられている。例えば3D映像の先頭のフレームは、ベースビュー・ビデオ・ストリーム1001のI1ピクチャ1011とディペンデントビュー・ビデオ・ストリーム1002のP1ピクチャ1021との組み合わせから再現される。従って、それらのピクチャの対1011、1021ではPTSが等しく、かつDTSが等しい。ここで、下付の数字は、各ピクチャにDTSの順に割り振られた通し番号を示す。また、ディペンデントビュー・ビデオ・ストリーム1002がデプスマップ・ストリームであるとき、P1ピクチャ1021は、I1ピクチャ1011に対するデプスマップを表すIピクチャに置き換えられる。同様に、各ビデオ・ストリーム1001、1002の2番目のピクチャ、すなわち、P2ピクチャ1012、1022の対ではPTSが等しく、かつDTSが等しい。各ビデオ・ストリーム1001、1002の3番目のピクチャ、すなわちBr3ピクチャ1013とB3ピクチャ1023との対ではPTSとDTSとがいずれも共通である。Br4ピクチャ1014とB4ピクチャ1024との対でも同様である。
ベースビュー・ビデオ・ストリーム1001とディペンデントビュー・ビデオ・ストリーム1002との間で、PTSが等しく、かつDTSが等しいピクチャを含むVAUの対を「3D・VAU」という。図10に示されているPTSとDTSとの割り当てにより、3D再生モードの再生装置102内のデコーダにベースビュー・ビデオ・ストリーム1001とディペンデントビュー・ビデオ・ストリーム1002とを3D・VAU単位でパラレルに処理させることが容易にできる。それにより、3D映像の同じフレームを表す一対のピクチャが、デコーダによって確実にパラレルに処理される。更に、各GOPの先頭の3D・VAUではシーケンス・ヘッダが、同じ解像度、同じフレームレート、及び同じアスペクト比を含む。特にそのフレームレートは、2D再生モードにおいてベースビュー・ビデオ・ストリーム1001が単独で復号されるときの値に等しい。
2−4:AVストリーム・ファイルに含まれるその他のTSパケット
AVストリーム・ファイルに含まれるTSパケットの種類には、図3に示されているエレメンタリ・ストリームから変換されたもの以外にも、PAT(Program Association Table)、PMT(Program Map Table)、及びPCR(ProgramClock Reference)がある。PCR、PMT、及びPATは欧州デジタル放送規格で定められたものであり、1つの放送番組を構成するパーシャル・トランスポート・ストリームと同様にAVストリーム・ファイルを規定する。具体的には、PATは、同じAVストリーム・ファイルに含まれるPMTのPIDを示す。PAT自身のPIDは0である。PMTは、同じAVストリーム・ファイルに含まれる各エレメンタリ・ストリームのPIDとその属性情報とを含む。その属性情報は、そのエレメンタリ・ストリームの圧縮に利用されたコーデックの識別情報、及び、そのエレメンタリ・ストリームのフレームレートとアスペクト比とを含む。PMTは更に、そのAVストリーム・ファイルに関する各種の記述子を含む。記述子はAVストリーム・ファイルの全体に共通する属性を示し、特に、そのAVストリーム・ファイルのコピーの許可/禁止を示すコピー・コントロール情報を含む。PCRは、自身に割り当てられたATSに対応させるべきSTC(System Time Clock)の値を示す情報を含む。ここで、「STC」は、再生装置102内のデコーダによって、PTS及びDTSの基準として利用されるクロックである。そのデコーダはPCRを利用して、ATCにSTCを同期させる。PCR、PMT、及びPATを利用することで、再生装置102内のデコーダにAVストリーム・ファイルを、欧州デジタル放送規格に準拠のパーシャル・トランスポート・ストリームと同様に処理させることができる。それにより、BD−ROMディスク101用の再生装置と欧州デジタル放送規格に準拠の端末装置との間の互換性を確保することができる。
2−5:多重化ストリーム・データのインターリーブ配置
BD−ROMディスク101から、フルHDの2D映像、3D映像、及び4K2Kの2D映像のいずれをもシームレスに再生するには、BD−ROMディスク101上における、ベースビュー・ビデオ・ストリーム、ディペンデントビュー・ビデオ・ストリーム、及び拡張ストリームの物理的な配置が重要である。ここで、「シームレス再生」とは、多重化ストリーム・データから映像と音声とを途切れさせることなく滑らかに再生することをいう。
図11は、BD−ROMディスク101上における、メインTS、サブTS、及び拡張ストリームの物理的な配置を示す模式図である。図11を参照するに、メインTS、サブTS、及び拡張ストリームはそれぞれ、複数のデータ・ブロックB[n]、D[n]、T[n](n=0、1、2、3、…)に分割されている。数字nは、一連の多重化ストリーム・データを構成するデータ・ブロックに対し、先頭から順に割り当てられたシリアル番号である。各データ・ブロックB[n]、D[n]、T[n]は、BD−ROMディスク101上で物理的に連続する複数のセクタに記録されている。メインTSに属する(n+1)番目のデータ・ブロックB[n]はファイル2D221の(n+1)番目のエクステントEXT2D[n]としてアクセス可能である。サブTSに属する(n+1)番目のデータ・ブロックD[n]はファイルDEP222の(n+1)番目のエクステントEXT2[n]としてアクセス可能である。拡張ストリームに属する(n+1)番目のデータ・ブロックT[n]は拡張ストリーム・ファイル224の(n+1)番目のエクステントEXT3[n]としてアクセス可能である。すなわち、各データ・ブロックB[n]、D[n]、T[n]のサイズと先端のLBNとは、ファイル2D221、ファイルDEP222、及び拡張ストリーム・ファイル224のファイル・エントリから知ることができる(詳細は《補足》参照)。BD−ROMディスク101では物理アドレスが論理アドレスと実質的に等しいので、各データ・ブロックB[n]、D[n]、T[n]内ではLBNも連続している。従って、BD−ROMドライブ121は、光ピックアップにシークを行わせることなく、各データ・ブロックB[n]、D[n]、T[n]を連続して読み出すことができる。以下、メインTSに属するデータ・ブロックB[n]を「ベースビュー・エクステント」といい、サブTSに属するデータ・ブロックD[n]を「ディペンデントビュー・エクステント」といい、拡張ストリームに属するデータ・ブロックT[n]を「拡張エクステント」という。
図11を更に参照するに、エクステント群B[n]、D[n]、T[n]はBD−ROMディスク101上のトラックに沿って連続的に記録されている。特に、1つの拡張エクステントT[n]の直後には、ベースビュー・エクステントB[n+i]とディペンデントビュー・エクステントD[n+i]とが少なくとも2つずつ、交互に連続して配置されている(i=0、1)。このようなエクステント群B[n+i]、D[n+i]の配置を「インターリーブ配置」といい、インターリーブ配置で記録された一連のエクステント群B[n+i]、D[n+i]を「エクステント・ブロック」という。各エクステント・ブロックはファイルSS223の1つのエクステントEXTSS[n]としてアクセス可能である。すなわち、エクステント・ブロックB[n+i]、D[n+i]のサイズと先端のLBNとはファイルSS223のファイル・エントリから知ることができる。ファイルSSの各エクステントEXTSS[0]、EXTSS[1]、EXTSS[2]は、ファイル2D221とはベースビュー・エクステントB[n]を共有し、ファイルDEP222とはディペンデントビュー・エクステントD[n]を共有する。更に、1つの拡張エクステントT[n]と、その直後に配置されたエクステント・ブロックB[n+i]、D[n+i]との組み合わせを「拡張エクステント・ブロック」という。
[連続する拡張エクステント・ブロックに対する再生経路]
図12は、3つの連続する拡張エクステント・ブロックT[m]、D[m+i]、B[m+i](m=0、1、2、i=0、1)に対する3種類の再生経路1201、1202、1203を示す模式図である。第1再生経路1201はファイル2D221に対する再生経路であり、第2再生経路1202はファイルSS223に対する再生経路であり、第3再生経路1203は拡張ストリーム・ファイル224に対する再生経路である。図12を参照するに、各再生経路1201−1203を表す図形のうち、直線は、BD−ROMドライブによって読み出されるエクステントの記録領域を示し、曲線は、ジャンプによってデータの読み出しがスキップされる記録領域を示す。
2D再生モードの再生装置102はファイル2D221を再生する。従って、第1再生経路1201が示すとおり、図12に示されている3つの拡張エクステント・ブロックからはベースビュー・エクステントB[m+i]のみが順番にファイル2D221のエクステントEXT2D[m+i]として読み出される。具体的には、まず、先頭のベースビュー・エクステントB[0]が読み出され、その直後のディペンデントビュー・エクステントD[1]の読み出しがジャンプJ2Dによってスキップされる。次に2番目のベースビュー・エクステントB[1]が読み出され、その直後の拡張エクステントT[1]とディペンデントビュー・エクステントD[2]との読み出しがジャンプJ2Dによってスキップされる。以降も同様に、ベースビュー・エクステントの読み出しとジャンプとが繰り返される。
3D再生モードの再生装置102はファイルSS223を再生する。従って、第2再生経路1202が示すとおり、図12に示されている3つの拡張エクステント・ブロックからは3つのエクステント・ブロックD[m+i]、B[m+i]が順番にファイルSS223のエクステントEXTSS[0]、EXTSS[1]、EXTSS[2]として読み出される。具体的には、まず、先頭のエクステント・ブロックD[0]、B[0]、D[1]、B[1]が連続して読み出され、その直後の拡張エクステントT[1]の読み出しがジャンプJ3Dによってスキップされる。次に、2番目のエクステント・ブロックD[2]、B[2]、D[2]、B[3]が連続して読み出され、その直後の拡張エクステントT[2]の読み出しがジャンプJ3Dによってスキップされる。続いて、3番目のエクステント・ブロックD[4]、B[4]、D[5]、B[5]が連続して読み出される。その後、再生装置102はクリップ情報ファイルを利用して、読み出されたファイルSS223のエクステントEXTSS[0]、EXTSS[1]、…をディペンデントビュー・エクステントとベースビュー・エクステントとに分離する。
拡張再生モードの再生装置102は拡張ストリーム・ファイル224を、ファイル2D221と共に再生する。従って、第3再生経路1203が示すとおり、図12に示されている3つの拡張エクステント・ブロックからは、拡張エクステントT[m]が拡張ストリーム・ファイル224のエクステントEXT3[0]、EXT3[1]、EXT3[2]として読み出され、ベースビュー・エクステントB[m+i]がファイル2D221のエクステントEXT2D[0]、EXT2D[1]、EXT2D[2]として読み出される。具体的には、まず、先頭の拡張エクステントT[0]が読み出され、その直後のディペンデントビュー・エクステントD[0]の読み出しがジャンプJEXによってスキップされる。次に、先頭のベースビュー・エクステントB[0]が読み出され、その直後のディペンデントビュー・エクステントD[1]の読み出しがジャンプJEXによってスキップされる。続いて、2番目のベースビュー・エクステントB[1]と拡張エクステントT[1]とが連続して読み出され、その直後のディペンデントビュー・エクステントD[2]の読み出しがジャンプJEXによってスキップされる。以降同様に、拡張エクステントT[m]とベースビュー・エクステントB[m+i]との読み出しとジャンプとが繰り返される。
BD−ROMドライブ121は、隣接する2つのエクステントを連続して読み出す場合にも実際には、図12に示されているように、前のエクステントの後端から次のエクステントの先端までの間にゼロ・セクタ遷移J0を行う。「ゼロ・セクタ遷移」とは、2つの連続するエクステント間での光ピックアップの移動をいう。ゼロ・セクタ遷移が行われる期間(以下、ゼロ・セクタ遷移期間という。)では、光ピックアップは読み出し動作を一旦停止して待機する。その意味で、ゼロ・セクタ遷移は「ジャンプ距離が0セクタに等しいジャンプ」ともみなせる。ゼロ・セクタ遷移期間の長さ、すなわちゼロ・セクタ遷移時間は、BD−ROMディスク101の回転による光ピックアップの位置の移動時間の他に、誤り訂正処理に伴うオーバーヘッドを含んでもよい。「誤り訂正処理に伴うオーバーヘッド」とは、2つのエクステントの境界がECCブロックの境界と一致していないときに、そのECCブロックを用いた誤り訂正処理が2回行われることに起因する余分な時間をいう。誤り訂正処理には1つのECCブロックの全体が必要である。従って、1つのECCブロックが2つの連続するエクステントに跨っているとき、いずれのエクステントの読み出し処理でもそのECCブロックの全体が読み出されて誤り訂正処理に利用される。その結果、それらのエクステントを1つ読み出すごとに、そのエクステントの他に最大32セクタの余分なデータが読み出される。誤り訂正処理に伴うオーバーヘッドは、その余分なデータの読み出し時間の合計、すなわち32[セクタ]×2048[バイト]×8[ビット/バイト]×2[回]/読み出し速度で評価される。尚、各エクステントはECCブロック単位で構成されてもよい。その場合、各エクステントのサイズはECCブロックの整数倍に等しいので、誤り訂正処理に伴うオーバーヘッドをゼロ・セクタ遷移時間から除外することができる。
[エクステント・ブロックの構成]
1つのエクステント・ブロックの中では、(i+1)番目のベースビュー・エクステントB[m+i]とディペンデントビュー・エクステントD[m+i]とが同じエクステントATC時間を持つ。以下、このようなエクステントB[m+i]、D[m+i]の対を「エクステント・ペア」という。「エクステントATC時間」は、1つのエクステント内のソースパケットに付与されたATSの範囲の大きさ、すなわち、そのエクステントの先頭のソースパケットと次のエクステントの先頭のソースパケットとの間でのATSの差を表す。その差は、再生装置102がそのエクステント内の全てのソースパケットをリード・バッファからシステム・ターゲット・デコーダへ転送するのに要する時間をATCの値で表したものに等しい。エクステントATC時間の揃え方については後述する。「リード・バッファ」は再生装置102内のバッファ・メモリであり、BD−ROMディスク101から読み出されたエクステントをシステム・ターゲット・デコーダへ送るまでの間、一時的に格納する。リード・バッファの詳細については後述する。
各エクステント・ペアD[m+i]、B[m+i]では、先頭に位置するVAUは同じ3D・VAUに属し、特に、同じ3D映像を表すGOPの先頭のピクチャを含む。例えば、ディペンデントビュー・エクステントD[m+i]の先端はライトビュー・ビデオ・ストリームのPピクチャを含み、ベースビュー・エクステントB[m+i]の先端はベースビュー・ビデオ・ストリームのIピクチャを含む。そのライトビュー・ビデオ・ストリームのPピクチャの表す2D映像は、そのベースビュー・ビデオ・ストリームのIピクチャの表す2D映像と共に、1つの3D映像を表す。特にそのPピクチャは、図7に示されているように、そのIピクチャを参照ピクチャとして圧縮されている。従って、3D再生モードの再生装置102は、いずれのエクステント・ペアD[m+i]、B[m+i]からも3D映像の再生を開始できる。すなわち、飛び込み再生等、ビデオ・ストリームのランダム・アクセスを要する処理が可能である。
[拡張エクステントとエクステント・ブロックとの間の関係]
図13は、1つの拡張エクステントT[m](m=0、1、2、…)と、その直後に配置されたエクステント・ブロックB[k]、D[k](k=m、m+1、…、m+n−1)との間の関係を示す模式図である。図13に示されているように、1つのエクステント・ブロックはベースビュー・エクステントB[k]とディペンデントビュー・エクステントD[k]とをn個ずつ含む。数nは2以上であれば、エクステント・ブロックごとに異なっていてもよい。数nを2以上とする理由については後述する。拡張エクステントT[m]は、後続のn個のベースビュー・エクステントB[m+i](i=0、1、…、n−1)と組み合わせて利用されるべき拡張データTiを含む。(i+1)番目の拡張データTiは、(m+i+1)番目のベースビュー・エクステントB[m+i]に含まれるピクチャに対する解像度拡張情報であり、それらのフルHDのピクチャを4K2Kのピクチャに拡張する際に利用される。飛び込み再生等のランダム・アクセスでは、再生開始位置のベースビュー・ピクチャに対する拡張データを含む拡張エクステントがまず読み出される。また、拡張エクステントT[m]のエクステントATC時間は、後続のn個のベースビュー・エクステントB[m+i]全体のエクステントATC時間と等しい。
図13に示されているように、(m+1)番目の拡張エクステント・ブロックでは、拡張エクステントT[m]がエクステント・ブロックD[m+i]、B[m+i](i=0、1、…、n−1)の前に配置される。その理由は、以下に述べるように、その拡張エクステントT[m]が、そのエクステント・ブロックを構成するディペンデントビュー・エクステントD[m+i]とベースビュー・エクステントB[m+i]とのいずれよりもビットレートが小さいからである。また、各エクステント・ペアでは、ディペンデントビュー・エクステントD[k]がベースビュー・エクステントB[k]よりも前に配置される。その理由は、以下に述べるように、そのディペンデントビュー・エクステントD[k]がそのベースビュー・エクステントB[k]よりも、一般には、ビットレートが小さいからである。
(k+1)番目のディペンデントビュー・エクステントD[k]がライトビュー・ピクチャを含む場合、そのピクチャは、(k+1)番目のベースビュー・エクステントB[k]に含まれるベースビュー・ピクチャを参照ピクチャとして圧縮されている。一方、そのディペンデントビュー・エクステントD[k]がデプスマップを含む場合、そのデプスマップの1画素当たりのデータ量、すなわち奥行き値のビット数は一般に、ベースビュー・ピクチャの1画素当たりのデータ量、すなわち色座標値とα値とのビット数の和よりも小さい。更に図3に示されているように、メインTSはサブTSとは異なり、プライマリ・ビデオ・ストリームの他にもプライマリ・オーディオ・ストリーム等のエレメンタリ・ストリームを含む。従って、ディペンデントビュー・エクステントD[k]のビットレートは一般に、そのベースビュー・エクステントB[k]のビットレート以下である。両エクステントD[k]、B[k]ではエクステントATC時間が等しいので、ディペンデントビュー・エクステントD[k]のサイズSEXT2[k]は一般に、ベースビュー・エクステントB[k]のサイズSEXT1[k]以下である:SEXT2[k]≦SEXT1[k]。
拡張エクステントT[m]のビットレートは、図4に示されている差分画素情報403の1フレーム当たりのデータ量で決まる。差分画素情報403は、フルHDのフレームから補間によって得られる画素データと、本来の4K2Kのフレームにおける画素データとの間の差分に過ぎない。従って、差分画素情報403のデータ量はnフレーム分を合わせても、フルHDの1フレームのデータ量よりも十分に小さい。それ故、拡張エクステントT[m]のサイズSEXT3[k]は一般に、いずれのディペンデントビュー・エクステントD[k]のサイズSEXT2[k]をも超えない:SEXT3[k]≦SEXT2[k]。
各拡張エクステント・ブロックの先頭と各エクステント・ペアとにおいてエクステントをビットレートの小さい順に配置する利点は、次のとおりである。3D再生モードの再生装置102は、各エクステント・ブロックの先頭に位置するエクステントを読み出すとき、又は再生開始位置のエクステントを読み出すとき、そのエクステントを全てリード・バッファに読み込むまで、そのエクステントをシステム・ターゲット・デコーダに渡さない。その読み込みが完了した後、再生装置102はそのエクステントを次のエクステントとパラレルにシステム・ターゲット・デコーダに渡す。この処理を「プリロード」という。拡張再生モードの再生装置102も同様に、各拡張エクステントの読み出しではプリロードを行う。
プリロードの技術的意義は次のとおりである。L/Rモードでは、ディペンデントビュー・ピクチャの復号に復号後のベースビュー・ピクチャが必要である。従って、復号後のピクチャを出力処理まで保持するためのバッファを必要最小限の容量に維持するには、エクステント・ペアをシステム・ターゲット・デコーダへ同時に供給して復号させることが好ましい。デプス・モードでは、復号後のベースビュー・ピクチャとデプスマップとの対から、視差画像を表すビデオ・フレームの対を生成する処理が必要である。従って、復号後のデータをその処理まで保持するためのバッファを必要最小限の容量に維持するには、エクステント・ペアをシステム・ターゲット・デコーダへ同時に供給して復号させることが好ましい。拡張再生モードでは、解像度拡張情報を利用して復号後のベースビュー・ピクチャを4K2Kのビデオ・フレームに拡張する処理が必要である。従って、復号後のデータをその処理まで保持するためのバッファを必要最小限の容量に維持するには、拡張エクステントとベースビュー・エクステントとをシステム・ターゲット・デコーダへ同時に供給して復号させることが好ましい。そこで、3D再生モードと拡張再生モードとのいずれでもプリロードが行われる。それにより、再生装置102は、最初に読み出されるエクステントと次のエクステントとをリード・バッファからシステム・ターゲット・デコーダへ同時に供給できる。
プリロードでは、最初に読み出されるエクステントの全体がリード・バッファに蓄積される。従って、リード・バッファには少なくとも、そのエクステントのサイズに等しい容量が要求される。ここで、リード・バッファの容量を最小限に維持するには、プリロードの対象とされるエクステントのサイズを可能な限り縮小すべきである。それ故、図13に示されているとおり、データ量の小さいエクステントが前に配置される。それにより、リード・バッファの容量を最小限に維持することができる。
2−6:ロング・ジャンプが必要な箇所の近傍でのエクステントの配置
BD−ROMディスク101は多層ディスクであるので、一連の多重化ストリーム・データが層境界を越えて連続して記録される場合がある。「層境界」とは、多層ディスクの論理アドレス空間において、1枚の記録層に属する部分と、別の記録層に属する部分との間の境界をいう。また、BD−ROMディスク101が単層ディスクであっても、一連の多重化ストリーム・データが別のデータの記録領域を間に挟んで記録される場合がある。それらの場合、BD−ROMドライブはその多重化ストリーム・データを読み出す際、層境界又は別のデータの記録領域を越えるためにロング・ジャンプを行う。「ロング・ジャンプ」とは、ジャンプの中でもシーク時間の長いものの総称であり、具体的には、(i)記録層の切り換えを伴うジャンプ、及び(ii)ジャンプ距離が所定の閾値を超えるジャンプをいう。「ジャンプ距離」とは、ジャンプ期間中に読み出し処理がスキップされるBD−ROMディスク101上の領域の長さをいう。ジャンプ距離は、その領域に含まれるセクタ数、又はその領域に格納可能なデータ量で表される。上記(ii)の閾値は、BD−ROMの規格では例えば40000セクタ=約78.1MBである。しかし、その閾値は、BD−ROMディスクの種類と、BD−ROMドライブの読み出し処理に関する性能とに依存する。ロング・ジャンプは特にフォーカス・ジャンプとトラック・ジャンプとを含む。「フォーカス・ジャンプ」は、記録層の切り換えに伴うジャンプであり、光ピックアップの焦点距離を変化させる処理を含む。「トラック・ジャンプ」は、光ピックアップをBD−ROMディスク101の半径方向に移動させる処理を含む。
BD−ROMディスク101では、層境界等、ロング・ジャンプが必要な箇所の直前又は直後において、3D再生モードでの再生経路が2D再生モードと拡張再生モードとでの各再生経路から分離されるように、エクステントが配置される。そのような配置のパターンには例えば、以下に述べる配置1と配置2とがある。以下、説明の便宜上、配置1、2のそれぞれが、BD−ROMディスク101の層境界の直前と直後とに記録されたエクステント群の両方に採用された場合を想定する。尚、エクステント群の記録領域が、層境界に代えて、所定のセクタ数(例えば40000セクタ)を超える別のデータの記録領域で分離されている場合においても、以下の説明は同様に成立する。
[配置1]
図14は、BD−ROMディスク101の層境界LBの前後に記録されたエクステント群の配置1、及びそのエクステント群に対する各モードでの再生経路を示す模式図である。図14を参照するに、層境界LBの前に位置する第1記録層L0は第1共用区間1401を含み、層境界LBの後に位置する第2記録層L1は第2共用区間1402を含む。「共用区間」1401、1402とは、拡張エクステント・ブロックが連続して配置されたセクタ群であり、2D再生モード、3D再生モード、及び拡張再生モードのいずれの再生装置によってもアクセスされる領域をいう。各拡張エクステント・ブロックでは、1つの拡張エクステントTの直後で2つのエクステント・ペアD、Bがインターリーブ配置を構成している。
図14を更に参照するに、第1記録層L0は第1共用区間1401と層境界LBとの間に、第1拡張データ専用区間1411、第1平面視映像専用区間1412、及び第1立体視映像専用区間1413を含む。第1拡張データ専用区間1411には1つの拡張エクステントTが配置され、第1平面視映像専用区間1412には1つのベースビュー・エクステントB2Dが配置され、第1立体視映像専用区間1413には2つのエクステント・ペアD、B3Dが配置されている。第1平面視映像専用区間1412内のベースビュー・エクステントB2Dは第1立体視映像専用区間1413内のベースビュー・エクステントB3Dの全体の複製であり、それらとビット単位(bit−for−bit)で一致する。すなわち、同じデータが二重に記録されている。第1拡張データ専用区間1411内の拡張エクステントTは、第1平面視映像専用区間1412内のベースビュー・エクステントB2Dと組み合わせて利用されるべき拡張データを含む。従って、その拡張エクステントTとそのベースビュー・エクステントB2DとではエクステントATC時間が等しい。第1拡張データ専用区間1411内の拡張エクステントTは拡張ストリーム・ファイルの1つのエクステントEXT3[1]としてアクセス可能である。第1平面視映像専用区間1412内のベースビュー・エクステントB2Dはファイル2Dの1つのエクステントEXT2D[2]としてアクセス可能である。第1立体視映像専用区間1413内のベースビュー・エクステントB3Dはディペンデントビュー・エクステントDと共に、ファイルSSの1つのエクステントEXTSS[1]としてアクセス可能である。
第2記録層L1は層境界LBと第2共用区間1402との間に、第2拡張データ専用区間1421、第2平面視映像専用区間1422、及び第2立体視映像専用区間1423を含む。第2拡張データ専用区間1421には1つの拡張エクステントTが配置され、第2平面視映像専用区間1422には1つのベースビュー・エクステントB2Dが配置され、第2立体視映像専用区間1423には1つのエクステント・ペアD、B3Dが配置されている。第2平面視映像専用区間1422内のベースビュー・エクステントB2Dは第2立体視映像専用区間1423内のベースビュー・エクステントB3Dの複製であり、それとビット単位で一致する。すなわち、同じデータが二重に記録されている。第2拡張データ専用区間1421内の拡張エクステントTは、第2平面視映像専用区間1422内のベースビュー・エクステントB2Dと組み合わせて利用されるべき拡張データを含む。従って、その拡張エクステントTとそのベースビュー・エクステントB2DとではエクステントATC時間が等しい。第2拡張データ専用区間1421内の拡張エクステントTは拡張ストリーム・ファイルの1つのエクステントEXT3[2]としてアクセス可能である。第2平面視映像専用区間1422内のベースビュー・エクステントB2Dはファイル2Dの1つのエクステントEXT2D[3]としてアクセス可能である。第2立体視映像専用区間1423内のベースビュー・エクステントB3Dはディペンデントビュー・エクステントDと共に、ファイルSSの1つのエクステントEXTSS[2]としてアクセス可能である。
図14に示されているように、配置1では、拡張データ専用区間1411、1421の直後に平面視映像専用区間1412、1422が配置され、更にその直後に立体視映像専用区間1413、1423が配置される。
2D再生モードの再生装置102はファイル2Dを再生する。従って、図14に示されているエクステント群からは、2D再生モードでの再生経路1431が示すとおり、ファイル2Dのエクステント群EXT2D[0]−EXT2D[5]が読み出される。具体的には、まず、第1共用区間1401では2つのベースビュー・エクステントBがファイル2Dの2つのエクステントEXT2D[0]、EXT2D[1]として読み出され、それらの間に位置するディペンデントビュー・エクステントDの読み出しがスキップされる。次に、第1拡張データ専用区間1411へのアクセスがスキップされ、その直後の第1平面視映像専用区間1412からベースビュー・エクステントB2Dがファイル2Dの1つのエクステントEXT2D[2]として読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が、第1立体視映像専用区間1413、層境界LB、及び第2拡張データ専用区間1421を越えて移動する。続いて、第2平面視映像専用区間1422からベースビュー・エクステントB2Dがファイル2Dの1つのエクステントEXT2D[3]として読み出される。その直後にジャンプJ2Dが生じ、第2立体視映像専用区間1423へのアクセスがスキップされると共に、第2共用区間1402内の先頭の拡張エクステントTとディペンデントビュー・エクステントDとの読み出しがスキップされる。更に、第2共用区間1402では、2つのベースビュー・エクステントBがファイル2Dの2つのエクステントEXT2D[4]、EXT2D[5]として読み出され、それらの間に位置するディペンデントビュー・エクステントDの読み出しがスキップされる。
3D再生モードの再生装置102はファイルSSを再生する。従って、図14に示されているエクステント群からは、3D再生モードでの再生経路1432が示すとおり、ファイルSSのエクステント群EXTSS[0]−EXTSS[3]が読み出される。具体的には、まず、第1共用区間1401からエクステント・ブロックD、B、D、BがファイルSSの1つのエクステントEXTSS[0]として連続して読み出される。その直後にジャンプJ3Dが生じ、第1拡張データ専用区間1411と第1平面視映像専用区間1412とへのアクセスがスキップされる。次に、第1立体視映像専用区間1413からエクステント・ブロックD、B3D、D、B3DがファイルSSの1つのエクステントEXTSS[1]として連続して読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が、層境界LB、第2拡張データ専用区間1421、及び第2平面視映像専用区間1422を越えて移動する。続いて、第2立体視映像専用区間1423からエクステント・ペアD、B3DがファイルSSの1つのエクステントEXTSS[2]として連続して読み出される。更に、第2共用区間1402では、拡張エクステントTの読み出しがスキップされ、後続のエクステント・ブロックD、B、D、BがファイルSSの1つのエクステントEXTSS[3]として連続して読み出される。
拡張再生モードの再生装置102は拡張ストリーム・ファイルとファイル2Dとを再生する。従って、図14に示されているエクステント群からは、拡張再生モードでの再生経路1433が示すとおり、拡張ストリーム・ファイルのエクステント群EXT3[0]−EXT3[3]とファイル2Dのエクステント群EXT2D[0]−EXT2D[5]とが読み出される。具体的には、まず、第1共用区間1401では、拡張エクステントT=EXT3[0]が読み出され、2つのベースビュー・エクステントBがファイル2Dの2つのエクステントEXT2D[0]、EXT2D[1]として読み出され、2つのディペンデントビュー・エクステントDの読み出しがスキップされる。次に、第1拡張データ専用区間1411から拡張エクステントT=EXT3[1]が読み出され、第1平面視映像専用区間1412からベースビュー・エクステントB2Dがファイル2Dの1つのエクステントEXT2D[2]として読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が第1立体視映像専用区間1413と層境界LBとを越えて移動する。続いて、第2拡張データ専用区間1421から拡張エクステントT=EXT3[2]が読み出され、第2平面視映像専用区間1422からベースビュー・エクステントB2Dがファイル2Dの1つのエクステントEXT2D[3]として読み出される。その直後にジャンプJEXが生じ、第2立体視映像専用区間1423へのアクセスがスキップされる。更に、第2共用区間1402では、拡張エクステントT=EXT3[3]が読み出され、2つのベースビュー・エクステントBがファイル2Dの2つのエクステントEXT2D[4]、EXT2D[5]として読み出され、2つのディペンデントビュー・エクステントDの読み出しがスキップされる。
[配置2]
図15は、BD−ROMディスク101の層境界LBの前後に記録されたエクステント群の配置2、及びそのエクステント群に対する各モードでの再生経路を示す模式図である。図15を図14と対比すれば明らかなとおり、配置2は配置1とは、平面視映像専用区間1512、1522と立体視映像専用区間1513、1523との位置が入れ替わっている点でのみ異なる。すなわち、配置2では、拡張データ専用区間1411、1421の直後に立体視映像専用区間1513、1523が配置され、更にその直後に平面視映像専用区間1512、1522が配置される。
2D再生モードでの再生経路1431が示すとおり、2D再生モードの再生装置102は、図15に示されているエクステント群からファイル2Dのエクステント群EXT2D[0]−EXT2D[5]を読み出す。具体的には、まず、第1共用区間1401では2つのベースビュー・エクステントBがファイル2Dの2つのエクステントEXT2D[0]、EXT2D[1]として読み出され、それらの間に位置するディペンデントビュー・エクステントDの読み出しがスキップされる。その直後にジャンプJ2Dが生じ、第1拡張データ専用区間1411と第1立体視映像専用区間1513とへのアクセスがスキップされる。次に、第1平面視映像専用区間1512からベースビュー・エクステントB2Dがファイル2Dの1つのエクステントEXT2D[2]として読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が、層境界LB、第2拡張データ専用区間1421、及び第2立体視映像専用区間1523を越えて移動する。続いて、第2平面視映像専用区間1522からベースビュー・エクステントB2Dがファイル2Dの1つのエクステントEXT2D[3]として読み出される。続いて、第2共用区間1402では、拡張エクステントTと2つのディペンデントビュー・エクステントDとの読み出しがスキップされ、2つのベースビュー・エクステントBがファイル2Dの2つのエクステントEXT2D[4]、EXT2D[5]として読み出される。
3D再生モードでの再生経路1532が示すとおり、3D再生モードの再生装置102は、図15に示されているエクステント群からファイルSSのエクステント群EXTSS[0]−EXTSS[3]を読み出す。具体的には、まず、第1共用区間1401からエクステント・ブロックD、B、D、BがファイルSSの1つのエクステントEXTSS[0]として連続して読み出される。次に、第1拡張データ専用区間1411へのアクセスがスキップされ、第1立体視映像専用区間1513からエクステント・ブロックD、B3D、D、B3DがファイルSSの1つのエクステントEXTSS[1]として連続して読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が、第1平面視映像専用区間1512、層境界LB、及び第2拡張データ専用区間1421を越えて移動する。続いて、第2立体視映像専用区間1523からエクステント・ペアD、B3DがファイルSSの1つのエクステントEXTSS[2]として連続して読み出される。その直後にジャンプJ3Dが生じ、第2平面視映像専用区間1522へのアクセスがスキップされる。更に、第2共用区間1402では、拡張エクステントTの読み出しがスキップされ、後続のエクステント・ブロックD、B、D、BがファイルSSの1つのエクステントEXTSS[3]として連続して読み出される。
拡張再生モードでの再生経路1533が示すとおり、拡張再生モードの再生装置102は、図15に示されているエクステント群から拡張ストリーム・ファイルのエクステント群EXT3[0]−EXT3[3]とファイル2Dのエクステント群EXT2D[0]−EXT2D[5]とを読み出す。具体的には、まず、第1共用区間1401では、拡張エクステントT=EXT3[0]が読み出され、2つのベースビュー・エクステントBがファイル2Dの2つのエクステントEXT2D[0]、EXT2D[1]として読み出され、2つのディペンデントビュー・エクステントDの読み出しがスキップされる。次に、第1拡張データ専用区間1411から拡張エクステントT=EXT3[1]が読み出される。その直後にジャンプJEX1が生じ、第1立体視映像専用区間1513へのアクセスがスキップされる。続いて、第1平面視映像専用区間1512からベースビュー・エクステントB2Dがファイル2Dの1つのエクステントEXT2D[2]として読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が層境界LBを越えて移動する。続いて、第2拡張データ専用区間1421から拡張エクステントT=EXT3[2]が読み出される。その直後にジャンプJEX2が生じ、第2立体視映像専用区間1523へのアクセスがスキップされる。更に、第2平面視映像専用区間1522からベースビュー・エクステントB2Dがファイル2Dの1つのエクステントEXT2D[3]として読み出される。第2共用区間1402では、拡張エクステントT=EXT3[3]が読み出され、2つのベースビュー・エクステントBがファイル2Dの2つのエクステントEXT2D[4]、EXT2D[5]として読み出され、2つのディペンデントビュー・エクステントDの読み出しがスキップされる。
図14、15に示されているとおり、2D再生モードでは、平面視映像専用区間はアクセスされるが、拡張データ専用区間と立体視映像専用区間とへのアクセスはスキップされる。3D再生モードでは、立体視映像専用区間はアクセスされるが、拡張データ専用区間と平面視映像専用区間とへのアクセスはスキップされる。拡張再生モードでは、拡張データ専用区間と平面視映像専用区間とはアクセスされるが、立体視映像専用区間へのアクセスはスキップされる。このように、配置1、2では、ロング・ジャンプJLYの直前と直後とにおいて、2D再生モードと拡張再生モードとのそれぞれでの再生経路が平面視映像専用区間を通る一方、3D再生モードでの再生経路が立体視映像専用区間を通る。すなわち、3D再生モードでの再生経路が2D再生モードと拡張再生モードとでの各再生経路から分離される。尚、立体視映像専用区間内のベースビュー・エクステントB3Dの全体は平面視映像専用区間内のベースビュー・エクステントB2Dの全体とビット単位で一致しているので、いずれの再生モードでも、再生されるベースビュー・ビデオ・フレームは等しい。
2−7:エクステントのサイズに対する条件
ベースビュー・エクステントB、ディペンデントビュー・エクステントD、及び拡張エクステントTはそれぞれ、アラインド・ユニット単位で構成される。従って、各エクステントのサイズはアラインド・ユニットのサイズ(=6144バイト=約6KB)の倍数に等しい。その場合、エクステント間の境界はセクタ間の境界と一致するので、BD−ROMドライブはいずれのエクステントも、その全体を確実に連続して読み出すことができる。
図12に示されているように、2D再生モード、3D再生モード、及び拡張再生モードのいずれにおいても再生装置102はジャンプを行う。従って、いずれの再生モードにおいても映像をシームレスに再生するには、ジャンプの間にリード・バッファがアンダーフローを生じないように、各エクステントのサイズの下限、すなわち最小エクステント・サイズが設計されなければならない。
2−7−A:2D再生モードでの条件
図16は、2D再生モードの再生装置102内の再生処理系統を示すブロック図である。図16を参照するに、その再生処理系統は、BD−ROMドライブ1601、リード・バッファ1602、及びシステム・ターゲット・デコーダ1603を含む。BD−ROMドライブ1601はBD−ROMディスク101からファイル2Dのエクステントを読み出し、読み出し速度RUD2Dでリード・バッファ1602へ転送する。リード・バッファ1602は、再生装置102に内蔵のバッファ・メモリであり、BD−ROMドライブ1601からエクステントを受信して蓄積する。システム・ターゲット・デコーダ1603は、リード・バッファ1602内に蓄積された各エクステントからソースパケットを平均転送速度REXT2Dで読み出して、映像データVDと音声データADとに復号する。
平均転送速度REXT2Dは、システム・ターゲット・デコーダ1603がリード・バッファ1602内の各ソースパケットからTSパケットを抽出する処理の平均速度の192/188倍に等しい。ここで、係数192/188はソースパケットとTSパケットとの間のバイト数の比に等しい。平均転送速度REXT2Dは通常、ビット/秒で表され、具体的には、ビット単位で表されたエクステントのサイズをエクステントATC時間で割ったときの値に等しい。「ビット単位で表されたエクステントのサイズ」は、そのエクステント内のソースパケット数とソースパケット1つ当たりのビット数(=192[バイト]×8[ビット/バイト])との積に等しい。平均転送速度REXT2Dは一般にエクステントごとに異なる。平均転送速度REXT2Dの最大値RMAX2Dはファイル2Dのビットレートの192/188倍に等しい。システム・ターゲット・デコーダ1603に対して要求されるTSパケットの処理速度の最高値、すなわち「システム・レート」RTSは、ファイル2Dのビットレートに等しく設定される。システム・レートRTSは通常、ビット/秒(bps)で表されるので、バイト/秒(Bps)で表されるメインTSの記録速度(TS recording rate)の8倍に等しい。
読み出し速度RUD2Dは通常、ビット/秒で表され、平均転送速度REXT2Dの最高値RMAX2Dよりも高い値、例えば54Mbpsに設定される:RUD2D>RMAX2D。それにより、BD−ROMドライブ1601がBD−ROMディスク101から1つのエクステントを読み出している間、システム・ターゲット・デコーダ1603の復号処理に伴うリード・バッファ1602のアンダーフローが防止される。
図17の(a)は、2D再生モードでの動作中、リード・バッファ1602に蓄積されるデータ量DAの変化を示すグラフである。図17の(b)は、再生対象の拡張エクステント・ブロック1710に対する2D再生モードでの再生経路1720を示す模式図である。図17の(b)を参照するに、再生経路1720に従い、拡張エクステント・ブロック1710内の各ベースビュー・エクステントB[m](m=n、n+1、n+2。数nは0以上の整数である。)がファイル2Dの1つのエクステントEXT2D[m]としてBD−ROMディスク101からリード・バッファ1602へ読み出される。図17の(a)を参照するに、各エクステントEXT2D[n]の読み出し期間PR2D[n]では蓄積データ量DAは、読み出し速度RUD2Dと平均転送速度REXT2D[n]との間の差RUD2D−REXT2D[n]に等しい速度で増加する。一方、2つの連続するエクステントEXT2D[n]、EXT2D[n+1]の間ではジャンプJ2D[n]が生じる。そのジャンプ期間PJ2D[n]ではディペンデントビュー・エクステントD[n+1]の読み出しがスキップされるので、BD−ROMディスク101からのデータの読み出しが停止する。従って、ジャンプ期間PJ2D[n]では蓄積データ量DAは平均転送速度REXT2D[n]で減少する。
BD−ROMドライブ1601による読み出し/転送動作は実際には、図17の(a)のグラフから示唆される連続的なものではなく、断続的なものである。それにより、各エクステントの読み出し期間PR2D[n]に蓄積データ量DAがリード・バッファ1602の容量を超えること、すなわちリード・バッファ1602のオーバーフローが防止される。すなわち、図17の(a)のグラフは、実際には階段状である増減を直線的な増減として近似的に表したものである。
図17の(b)に示されているエクステント・ブロック1710からフルHDの2D映像をシームレスに再生するには、次の2つの条件が満たされればよい:第1に、ファイル2Dの各エクステントEXT2D[n]のサイズSEXT2D[n]が下記の式(1)を満たす。第2に、ファイル2Dのエクステントの間隔が所定の上限以下である。
[ファイル2Dのエクステントの最小エクステント・サイズ]
各ジャンプ期間PJ2D[n]ではリード・バッファ1602からシステム・ターゲット・デコーダ1603へのデータ供給を持続させて、そのデコーダ1603に連続的な出力を確保させなければならない。それには、ファイル2Dのエクステントのサイズが、次の条件1を満たせばよい。
各エクステントEXT2D[n]のサイズSEXT2D[n]は、その読み出し期間PR2D[n]から次のジャンプ期間PJ2D[n]にわたり、リード・バッファ1602からシステム・ターゲット・デコーダ1603へ転送されるデータ量に等しい。その場合、図17の(a)に示されているように、蓄積データ量DAはそのジャンプ期間PJ2D[n]の終了時、その読み出し期間PR2D[n]の開始時での量を下回らない。すなわち、各ジャンプ期間PJ2D[n]ではリード・バッファ1602からシステム・ターゲット・デコーダ1603へのデータ供給が持続し、特にリード・バッファ1602はアンダーフローを生じない。ここで、読み出し期間PR2D[n]の長さはエクステントEXT2D[n]のサイズSEXT2D[n]を読み出し速度RUD2Dで割った値SEXT2D[n]/RUD2Dに等しい。従って、条件1は次のことを示す。ファイル2Dの各エクステントEXT2D[n]の最小エクステント・サイズは次式(1)の右辺で表される:
式(1)では、ジャンプ時間TJUMP-2D[n]はジャンプ期間PJ2D[n]の長さであり、秒単位で表される。一方、読み出し速度RUD2Dと平均転送速度REXT2Dとはいずれもビット/秒で表される。従って、式(1)では平均転送速度REXT2Dを数「8」で割り、エクステントのサイズSEXT2D[n]の単位をビットからバイトへ変換している。すなわち、エクステントのサイズSEXT2D[n]はバイト単位で表される。関数CEIL()は、括弧内の数値の小数点以下の端数を切り上げる操作を意味する。
図12に示されている2D再生モードの再生経路1201から明らかなとおり、2D再生モードではジャンプが頻繁に生じる。従って、ジャンプ中にシームレス再生を更に確実に行うには、式(1)の右辺で表される最小エクステント・サイズにマージン(余裕量)を追加するのが好ましい。マージンを追加する方法には、以下の3種類がある。
第1の方法は、式(1)の右辺の分母に含まれる平均転送速度REXT2Dをその最高値RMAX2Dに置き換える。すなわち、ファイル2DのエクステントのサイズSEXT2Dは、式(1)に代えて、次式(1A)を満たす:
第2の方法は、ファイル2DのエクステントのエクステントATC時間をΔT秒延長する。すなわち、そのエクステントのサイズSEXT2Dは、式(1)に代えて、次式(1B)又は(1C)を満たす:
延長時間ΔTは、GOPの長さ、又は、所定時間当たりに再生可能なエクステント数の上限から決定されてもよい。例えばGOPの長さが最大1秒であれば、延長時間ΔTは1秒に設定される。一方、所定時間[秒]当たりに再生可能なエクステント数の上限がk個であれば、延長時間ΔTは所定時間/k[秒]に設定される。
第3の方法は、式(1)の右辺に含まれる平均転送速度REXT2Dを全て、その最高値RMAX2Dに置き換える。すなわち、ファイル2DのエクステントのサイズSEXT2Dは、式(1)に代えて、次式(1D)を満たす:
第3の方法では、最小エクステント・サイズに、第1の方法よりも大きいマージンを追加することはできる。しかし、その反面、ファイル2Dのビットレートが低い場合でもエクステントのサイズが大きいので、リード・バッファには十分に大きな容量が確保されなければならない。従って、マージンの大きさとリード・バッファの利用効率との比較衡量が必要である。
[ファイル2Dのエクステントの間隔]
リード・バッファ1602の容量は有限であることから、ジャンプ時間TJUMP-2D[n]の最大値は制限される。すなわち、ジャンプ期間PJ2D[n]の直前に蓄積データ量DAがリード・バッファ1602の容量一杯であっても、ジャンプ時間TJUMP-2D[n]が長すぎれば、ジャンプ期間PJ2D[n]中に蓄積データ量DAが0に達し、リード・バッファ1602のアンダーフローが生じる危険性がある。以下、BD−ROMディスク101からリード・バッファ1602へのデータ供給が途絶えている状態で蓄積データ量DAがリード・バッファ1602の容量から0に到達するまでの時間、すなわち、シームレス再生を保証できるジャンプ時間TJUMP-2Dの最大値を「最大ジャンプ時間TJUMP-MAX」という。
光ディスクの規格では通常、ジャンプ距離と最大ジャンプ時間との間の関係が光ディスクドライブのアクセス・スピード等から決められている。図18は、BD−ROMディスクに関するジャンプ距離SJUMPと最大ジャンプ時間TJUMP-MAXとの対応表の一例である。図18を参照するに、ジャンプ距離SJUMPはセクタ単位で表され、最大ジャンプ時間TJUMP-MAXはm秒単位で表されている。1セクタは2048バイトに等しい。ジャンプ距離SJUMPが、1−10000セクタ、10001−20000セクタ、20001−40000セクタ、40001セクタ−1/10ストローク(=640000セクタ)、及び1/10ストローク以上の各範囲に属するとき、最大ジャンプ時間TJUMP-MAXはそれぞれ、200m秒、300m秒、350m秒、700m秒、及び1400m秒である。更に、ジャンプ距離SJUMPが0セクタに等しいときの最大ジャンプ時間TJUMP-MAXはゼロ・セクタ遷移時間TJUMP0=0m秒に等しい。
以上のことから、式(1)に代入されるべきジャンプ時間TJUMP-2D[n]は、BD−ROMディスクの規格によってジャンプ距離別に規定された最大ジャンプ時間TJUMP-MAXである。具体的には、図18の表において、ファイル2Dの2つの連続するエクステントEXT2D[n]、EXT2D[n+1]の間でのジャンプ距離SJUMPに対応する最大ジャンプ時間TJUMP-MAXが、ジャンプ時間TJUMP-2D[n]として式(1)に代入される。ここで、そのジャンプ距離SJUMPは、(n+1)番目のエクステントEXT2D[n]の後端から(n+2)番目のエクステントEXT2D[n+1]の先端までのセクタ数に等しい。
2D再生モードの再生装置に確保されるべきリード・バッファの容量を削減するには、ファイル2Dの最小エクステント・サイズを可能な限り小さく設定することが望ましい。従って、式(1)に代入されるべきジャンプ時間TJUMP-2D[n]は、図18の表に規定された最大ジャンプ時間TJUMP-MAXの中で、0m秒の次に小さな値200m秒に設定される。それにより、ファイル2DのエクステントEXT2D[n]、EXT2D[n+1]間のジャンプ距離SJUMP、すなわち、それらのエクステントEXT2D[n]、EXT2D[n+1]の間隔が、最大で10000セクタまでに制限される。このジャンプ距離SJUMPの最大値のように、ジャンプ時間TJUMPが最大ジャンプ時間TJUMP-MAXに等しいときでのジャンプ距離SJUMPを「最大ジャンプ距離SJUMP-MAX」という。
各エクステント・ブロック内では、ファイル2Dのエクステントの間隔が最大ジャンプ距離SJUMP-MAX=10000セクタ以下に制限される。ここで、その間隔はディペンデントビュー・エクステントのサイズに等しい。従って、そのディペンデントビュー・エクステントのサイズは、最大ジャンプ距離SJUMP-MAX=10000セクタの領域に格納可能なデータ量、約19.5MB(1MB=1024×1024バイト)以下に制限される。
図12に示されているように、2つの隣接するエクステント・ブロックの間には拡張エクステントが配置される。従って、前のエクステント・ブロックの後端に位置するベースビュー・エクステントから、次のエクステント・ブロックの先端に位置するベースビュー・エクステントまでのジャンプでは、ディペンデントビュー・エクステントの読み出しに加えて拡張エクステントの読み出しもスキップされなければならない。従って、ファイル2Dのエクステントが、式(1)に代えて、式(1A)−(1D)のいずれかを満たすように、そのエクステントにはマージンが加えられる。その場合、エクステント・ブロック間の最大ジャンプ距離SJUMP-MAXは20000セクタまで拡大される。すなわち、拡張エクステントとディペンデントビュー・エクステントとのサイズの和は20000セクタ以下であればよい。
2−7−B:3D再生モードでの条件
図19は、3D再生モードの再生装置102内の再生処理系統を示すブロック図である。図19を参照するに、その再生処理系統は、BD−ROMドライブ1901、スイッチ1902、2つのリード・バッファ1911、1912、及びシステム・ターゲット・デコーダ1903を含む。BD−ROMドライブ1901はBD−ROMディスク101からファイルSSのエクステントを読み出し、読み出し速度RUD3Dでスイッチ1902へ転送する。スイッチ1902はファイルSSの各エクステントをベースビュー・エクステントとディペンデントビュー・エクステントとに分離する。その分離処理の詳細については後述する。第1リード・バッファ1911及び第2リード・バッファ1912(以下、RB1及びRB2と略す。)は再生装置102に内蔵のバッファ・メモリであり、スイッチ1902によって分離された各エクステントを蓄積する。RB11911はベースビュー・エクステントを格納し、RB21912はディペンデントビュー・エクステントを格納する。システム・ターゲット・デコーダ1903は、RB11911内の各ベースビュー・エクステントからはソースパケットを第1転送速度REXT1で読み出し、RB21912内の各ディペンデントビュー・エクステントからはソースパケットを第2転送速度REXT2で読み出す。システム・ターゲット・デコーダ1903は更に、読み出されたベースビュー・エクステントとディペンデントビュー・エクステントとの対を映像データVDと音声データADとに復号する。
第1転送速度REXT1は、システム・ターゲット・デコーダ1903がRB11911内の各ソースパケットからTSパケットを抽出する処理の平均速度の192/188倍に等しい。第1転送速度REXT1の最高値RMAX1は、ファイル2Dに対するシステム・レートRTS1の192/188倍に等しい:RMAX1=RTS1×192/188。そのシステム・レートRTS1は通常、ビット/秒(bps)で表されるので、バイト/秒(Bps)で表されるメインTSの記録速度の8倍に等しい。第2転送速度REXT2は、システム・ターゲット・デコーダ1903がRB21912内の各ソースパケットからTSパケットを抽出する処理の平均速度の192/188倍に等しい。第2転送速度REXT2の最高値RMAX2は、ファイルDEPに対するシステム・レートRTS2の192/188倍と等しい:RMAX2=RTS2×192/188。そのシステム・レートRTS2は通常、ビット/秒(bps)で表されるので、バイト/秒(Bps)で表されるサブTSの記録速度の8倍に等しい。各転送速度REXT1、REXT2は通常、ビット/秒で表され、具体的には、ビット単位で表された各エクステントのサイズをエクステントATC時間で割ったときの値に等しい。エクステントATC時間は、そのエクステント内のソースパケットを全て、RB11911又はRB21912からシステム・ターゲット・デコーダ1903へ転送するのに要する時間に等しい。
読み出し速度RUD3Dは通常、ビット/秒で表され、いずれの転送速度REXT1、REXT2の最高値RMAX1、RMAX2よりも高い値、例えば72Mbpsに設定される:RUD3D>RMAX1、RUD3D>RMAX2。それにより、BD−ROMドライブ1901によってBD−ROMディスク101からファイルSSの1つのエクステントを読み出している間、システム・ターゲット・デコーダ1903の復号処理に伴うRB11911とRB21912とのアンダーフローが防止される。
[1つの拡張エクステント・ブロックからのシームレス再生]
図20の(a)、(b)は、1つの拡張エクステント・ブロックから3D映像がシームレスに再生されるとき、RB11911、RB21912に蓄積されるデータ量DA1、DA2の変化を示すグラフである。図20の(c)は、その拡張エクステント・ブロック2010に対する3D再生モードでの再生経路2020を示す模式図である。図20の(c)を参照するに、再生経路2020に従い、拡張エクステント・ブロック2010のうち、先頭の拡張エクステントT以外の部分がファイルSSの1つのエクステントとして一括して読み出される。その後、スイッチ1902によってそのエクステントからディペンデントビュー・エクステントD[k]とベースビュー・エクステントB[k]とが分離される(k=…、n、n+1、n+2、…)。
BD−ROMドライブ1901による読み出し/転送動作は実際には、図20の(a)、(b)の各グラフから示唆される連続的なものではなく、断続的なものである。それにより、各エクステントD[k]、B[k]の読み出し期間PRD[k]、PRB[k]では、RB11911、RB21912のオーバーフローが防止される。すなわち、図20の(a)、(b)の各グラフは、実際には階段状である増減を直線的な増減として近似的に表したものである。
図20の(a)、(b)を参照するに、(n+1)番目のディペンデントビュー・エクステントD[n]の読み出し期間PRD[n]では、RB21912の蓄積データ量DA2は、読み出し速度RUD3Dと第2転送速度REXT2[n]との間の差RUD3D−REXT2[n]に等しい速度で増加し、RB11911の蓄積データ量DA1は第1転送速度REXT1[n−1]で減少する。図20の(c)を参照するに、(n+1)番目のディペンデントビュー・エクステントD[n]から(n+1)番目のベースビュー・エクステントB[n]まではゼロ・セクタ遷移J0[n]が生じる。図20の(a)、(b)に示されているように、ゼロ・セクタ遷移期間PJ0[n]では、RB11911の蓄積データ量DA1は第1転送速度REXT1[n−1]で減少し続け、RB21912の蓄積データ量DA2は第2転送速度REXT2[n]で減少する。
図20の(a)、(b)を更に参照するに、(n+1)番目のベースビュー・エクステントB[n]の読み出し期間PRB[n]では、RB11911の蓄積データ量DA1は、読み出し速度RUD3Dと第1転送速度REXT1[n]との間の差RUD3D−REXT1[n]に等しい速度で増加する。一方、RB21912の蓄積データ量DA2は第2転送速度REXT2[n]で減少し続ける。図20の(c)を更に参照するに、そのベースビュー・エクステントB[n]から次のディペンデントビュー・エクステントD[n+1]まではゼロ・セクタ遷移J0[n+1]が生じる。図20の(a)、(b)に示されているように、ゼロ・セクタ遷移期間PJ0[n+1]では、RB11911の蓄積データ量DA1は第1転送速度REXT1[n]で減少し、RB21912の蓄積データ量DA2は第2転送速度REXT2[n]で減少し続ける。
1つの拡張エクステント・ブロック2010から3D映像をシームレスに再生するには、その拡張エクステント・ブロックに属するエクステントB[n]、D[n]の各サイズは、以下に説明される条件2、3を満たせばよい。
(n+1)番目のベースビュー・エクステントB[n]のサイズSEXT1[n]は少なくとも、その読み出し期間PRB[n]から次のベースビュー・エクステントB[n+1]の読み出し期間PRB[n+1]の直前までに、RB11911からシステム・ターゲット・デコーダ1903へ転送されるデータ量に等しい。その場合、図20の(a)に示されているように、次のベースビュー・エクステントB[n+1]の読み出し期間PRB[n+1]の直前では、RB11911の蓄積データ量DA1が、(n+1)番目のベースビュー・エクステントB[n]の読み出し期間PRB[n]の直前での量を下回らない。ここで、(n+1)番目のベースビュー・エクステントB[n]の読み出し期間PRB[n]の長さは、そのベースビュー・エクステントB[n]のサイズSEXT1[n]を読み出し速度RUD3Dで割った値SEXT1[n]/RUD3Dに等しい。一方、(n+2)番目のディペンデントビュー・エクステントD[n+1]の読み出し期間PRD[n+1]の長さは、そのディペンデントビュー・エクステントD[n+1]のサイズSEXT2[n+1]を読み出し速度RUD3Dで割った値SEXT2[n+1]/RUD3Dに等しい。従って、条件2は次のことを示す。(n+1)番目のベースビュー・エクステントB[n]の最小エクステント・サイズは、次式(2)の右辺で表される:
(n+1)番目のディペンデントビュー・エクステントD[n]のサイズSEXT2[n]は、少なくとも、その読み出し期間PRD[n]から次のディペンデントビュー・エクステントD[n+1]の読み出し期間PRD[n+1]の直前までに、RB21912からシステム・ターゲット・デコーダ1903へ転送されるデータ量に等しい。その場合、図20の(b)に示されているように、次のディペンデントビュー・エクステントD[n+1]の読み出し期間PRD[n+1]の直前では、RB21912の蓄積データ量DA2が(n+1)番目のディペンデントビュー・エクステントD[n]の読み出し期間PRD[n]の直前での量を下回らない。ここで、(n+1)番目のディペンデントビュー・エクステントD[n]の読み出し期間PRD[n]の長さは、そのディペンデントビュー・エクステントD[n]のサイズSEXT2[n]を読み出し速度RUD3Dで割った値SEXT2[n]/RUD3Dに等しい。従って、条件3は次のことを示す。(n+1)番目のディペンデントビュー・エクステントD[n]の最小エクステント・サイズは、次式(3)の右辺で表される:
[連続する拡張エクステント・ブロックからのシームレス再生]
図21の(b)は、(n+1)番目の拡張エクステント・ブロック2101と(n+2)番目の拡張エクステント・ブロック2102、及び、それらに対する3D再生モードでの再生経路2110を示す模式図である。図21の(b)を参照するに、ファイルSSの2つの連続するエクステントEXTSS[n]、EXTSS[n+1]が拡張エクステントT1によって分離されている。再生経路2110に従って、まず、(n+1)番目のエクステントEXTSS[n]が一括して読み出され、その直後にジャンプJ3Dが生じ、続いて、(n+2)番目のエクステントEXTSS[n+1]が一括して読み出される。
図21の(a)は、2つの連続する拡張エクステント・ブロック2101、2102から連続して3D映像がシームレスに再生されるとき、RB11911、RB21912に蓄積されるデータ量DA1、DA2の変化、及びそれらの和DA1+DA2の変化を示すグラフ群である。図21の(a)では、一点鎖線のグラフは、RB11911に蓄積されるデータ量DA1の変化を示し、破線のグラフは、RB21912に蓄積されるデータ量DA2の変化を示し、実線のグラフは、両データ量の和DA1+DA2の変化を示す。ここで、実線のグラフは、エクステントが1つ読み出されるごとに生じる細かい変化を均して直線的に近似したものである。更に、ゼロ・セクタ遷移時間TJUMP0は0m秒とみなされている。
図21の(a)を参照するに、(n+1)番目の拡張エクステント2101からエクステント・ブロックEXTSS[n]がRB11911、RB21912へ読み出される期間PRBLK[n]では、それらに蓄積されるデータ量DA1、DA2も増大する。具体的には、その読み出し期間PRBLK[n]中、蓄積データ量の和DA1+DA2は、読み出し速度RUD3Dと平均転送速度REXTSS[n]との間の差RUD3D−REXTSS[n]に等しい速度で増加する。その平均転送速度REXTSS[n]は、そのエクステント・ブロックEXTSS[n]の全体のサイズSEXTSS[n]をそのエクステントATC時間TEXTSSで割った値として評価される。
図21の(a)では、(n+1)番目のエクステント・ブロックEXTSS[n]の後端のベースビュー・エクステントB1がRB11911に読み込まれた時点で、蓄積データ量の和DA1+DA2は最大値に達する。その直後のジャンプ期間PJでは、蓄積データ量の和DA1+DA2は平均転送速度REXTSS[n]で減少する。従って、蓄積データ量の和DA1+DA2の最大値を十分に大きく調節することにより、拡張エクステントT1の記録領域を越えるジャンプJ3D中、RB11911、RB21912のいずれのアンダーフローも防止することができる。その結果、2つの連続する拡張エクステント・ブロック2101、2102から3D映像がシームレスに再生される。
図21の(a)における蓄積データ量の和DA1+DA2の最大値は(n+1)番目のエクステント・ブロックEXTSS[n]のサイズに依存する。従って、拡張エクステント・ブロック2101、2102間のジャンプJ3D中、RB11911、RB21912のいずれのアンダーフローも防止するには、(n+1)番目のエクステント・ブロックEXTSS[n]のサイズが次の条件4を満たせばよい。
(n+1)番目のエクステント・ブロックEXTSS[n]の先端に位置するディペンデントビュー・エクステントD0の読み出し期間PRD0ではプリロードが行われる。そのプリロード期間PRD0では、その直前のジャンプ期間に引き続き、n番目のエクステント・ブロックのデータがRB21912からシステム・ターゲット・デコーダ1903へ転送される。それにより、システム・ターゲット・デコーダ1903へのデータ供給が維持される。同様に、(n+2)番目のエクステント・ブロックEXTSS[n+1]の先端に位置するディペンデントビュー・エクステントD2の読み出し期間PRD1でもプリロードが行われる。従って、そのプリロード期間PRD1では、その直前のジャンプ期間PJに引き続き、(n+1)番目のエクステント・ブロックEXTSS[n]のデータがRB21912からシステム・ターゲット・デコーダ1903へ転送される。それにより、システム・ターゲット・デコーダ1903へのデータ供給が維持される。それ故、ジャンプJ3D中でのRB11911、RB21912のアンダーフローを防止するには、(n+1)番目のエクステント・ブロックEXTSS[n]のエクステントATC時間TEXTSSが少なくとも、最初のプリロード期間PRD0の終了時点t0から次のプリロード期間PRD1の終了時点t1までの期間の長さに等しければよい。すなわち、(n+1)番目のエクステント・ブロックEXTSS[n]のサイズSEXTSS[n]は少なくとも、その期間t0−t1にRB11911とRB21912とからシステム・ターゲット・デコーダ1903へ転送されるデータ量の和に等しければよい。
図21の(a)から明らかなとおり、期間t0−t1の長さは、(n+1)番目のエクステント・ブロックEXTSS[n]の読み出し期間PRBLK[n]の長さ、ジャンプ期間PJの長さTJUMP[n]、及び2つのエクステント・ブロックEXTSS[n]、EXTSS[n+1]間でのプリロード期間PRD0、PRD1の長さの差TDIFF[n]を足し合わせた値に等しい。更に、(n+1)番目のエクステント・ブロックEXTSS[n]の読み出し期間PRBLK[n]の長さは、そのエクステント・ブロックEXTSS[n]のサイズSEXTSS[n]を読み出し速度RUD3Dで割った値SEXTSS[n]/RUD3Dに等しい。従って、条件4は次のことを示す。ファイルSSの(n+1)番目のエクステントEXTSS[n]の最小エクステント・サイズは、次式(4)の右辺で表される:
各プリロード期間PRD0、PRD1の長さは、各エクステント・ブロックEXTSS[n]、EXTSS[n+1]の先端に位置するディペンデントビュー・エクステントD0、D1のサイズSEXT20、SEXT21を読み出し速度RUD3Dで割った値SEXT20/RUD3D、SEXT21/RUD3Dに等しい。従って、プリロード期間PRD0、PRD1の長さの差TDIFFはそれらの値の差に等しい:TDIFF=SEXT21/RUD3D−SEXT20/RUD3D。尚、式(4)の右辺は、式(1)−(3)の右辺と同様に、バイト単位の整数値で表されてもよい。
ここで、多重化ストリーム・データの復号処理を次のように工夫する場合、式(4)では、差TDIFFを0とみなしてもよい。まず、多重化ストリーム・データの全体での差TDIFFの最大値、すなわち差TDIFFのワースト値を予め求めておく。次に、その多重化ストリーム・データを再生する際、その復号処理の開始時点をその読み出しの開始時点よりも、差TDIFFのワースト値に等しい時間だけ遅らせる。
2−7−C:最大エクステント・サイズ
上記の条件1−4により、ファイル2D、ファイルDEP、及びファイルSSの各エクステントの最小エクステント・サイズは制限される。一方、一般に、各エクステントのサイズが大きいほど、リード・バッファは大きな容量を必要とする(詳細は《補足》参照)。従って、リード・バッファの容量を可能な限り削減するには、各エクステントのサイズの上限を可能な限り制限することが望ましい。それらの上限を「最大エクステント・サイズ」という。
1つのエクステント・ペアを成すベースビュー・エクステントEXT1[k]とディペンデントビュー・エクステントEXT2[k]とではエクステントATC時間が等しい(文字kは0以上の整数を表す)。従って、そのベースビュー・エクステントEXT1[k]の最大エクステント・サイズの制限によってそのエクステントATC時間が短縮されれば、そのディペンデントビュー・エクステントEXT2[k]の最大エクステント・サイズも制限される。それ故、RB11911、RB21912の各容量の下限を許容範囲内に抑えるには、各ベースビュー・エクステントEXT1[k]のサイズが次の条件5を満たせばよい。
共用区間においてベースビュー・エクステントB[k]はファイル2DとファイルSSとに共有されている。従って、ベースビュー・エクステントB[k]のサイズSEXT1[k]は式(1)を満たすべきである。式(1)を満たす範囲でベースビュー・エクステントB[k]のサイズSEXT1[k]を可能な限り縮小するには、その最大エクステント・サイズを式(1)の右辺の上限、すなわち、ベースビュー・エクステントB[k]の最小エクステント・サイズの上限に可能な限り近づければよい。従って、条件5は次のことを示す。ベースビュー・エクステントB[k]の最大エクステント・サイズは、次式(5)の右辺で表される:
式(5)の右辺は式(1)の右辺とは次の点で異なる。まず、分母に含まれる平均転送速度REXT2Dがその最高値RMAX2Dに置き換えられている。従って、式(5)の右辺の2番目の分数は、式(1)のものの最大値に等しい。次に、式(5)のジャンプ時間TJUMP-2D-MINは、規格で定められた最大ジャンプ時間の中で最小の値に等しい。例えば図18の表で規定された最大ジャンプ時間TJUMP-MAXの中では、0m秒の次に大きい値200m秒が式(5)のジャンプ時間TJUMP-2D-MINとして採用される。その場合、共用区間内ではファイル2DのエクステントEXT2D[k]、EXT2D[k+1]の間隔が、対応する最大ジャンプ距離SJUMP-MAX=10000セクタ以下に制限される。
式(1)に代えて式(1A)が採用されることでベースビュー・エクステントにマージンが加えられる場合、ベースビュー・エクステントのサイズは、式(5)に代えて、次式(5A)を満たす:
式(5A)の右辺で表される最大エクステント・サイズは、式(5)の右辺で表される最小エクステント・サイズよりも、延長時間ΔTにリード・バッファからシステム・ターゲット・デコーダへ読み出されるデータ量だけ大きい。そのデータ量がマージンとして確保される。
[ストリーム・データの転送速度]
図7に示されているように、ディペンデントビュー・ピクチャはベースビュー・ピクチャを参照して圧縮されている。従って、平均的には、ディペンデントビュー・ビデオ・ストリームはベースビュー・ビデオ・ストリームよりもビットレートが低い。それ故、ファイルDEPに対するシステム・レートRTS2はファイル2Dに対するシステム・レートRTS1よりも低く設定されれば十分である。例えば、ファイル2Dに対するシステム・レートRTS1が48Mbps以下に設定されるとき、ファイルDEPに対するシステム・レートRTS2は32Mbps以下に設定されれば十分である:RTS1≦48Mbps、RTS2≦32Mbps。
ここで、システム・レートRTS1、RTS2の合計が一定の閾値以下に制限される場合を想定する。その閾値は、システム・ターゲット・デコーダ1903に割り当てられた転送帯域の幅以下に設定され、例えば64Mbpsに等しい:RTS1+RTS2≦64Mbps。その場合、ファイル2Dに対するシステム・レートRTS1が48Mbpsに設定されれば、ファイルDEPに対するシステム・レートRTS2は16Mbps以下に制限される:RTS1=48Mbps、RTS2≦16Mbps。各ビデオ・ストリームのビットレートが平均的な値に維持されている限り、システム・レートRTS1、RTS2の合計に対するそのような制限は、上記の転送帯域を効率良く利用するのに有利である。しかし、実際には、ディペンデントビュー・ビデオ・ストリームのビットレートが一時的にベースビュー・ビデオ・ストリームのビットレートを超える場合はある。例えば自然の風景を表す3D映像において、ベースビュー(例えばレフトビュー)の焦点が突然外れて、ディペンデントビュー(例えばライトビュー)の焦点のみが合っている場合、そのようなビットレートの逆転が生じる。その場合、第1転送速度REXT1はファイル2Dに対するシステム・レートRTS1=48Mbpsよりかなり低いにもかかわらず、第2転送速度REXT2はファイルDEPに対するシステム・レートRTS2≦16Mbps(正確には、その192/188=約1.02倍。以下、特に必要でない限り、その係数は1とみなす。)を超えることができない。このように、システム・レートRTS1、RTS2の合計が制限されている場合、ディペンデントビュー・ビデオ・ストリームのビットレートの一時的な上昇に第2転送速度REXT2を対応させることができない。
その対応を可能にするには、システム・レートRTS1、RTS2の合計に代えて、第1転送速度REXT1[n]と第2転送速度REXT2[n]とのエクステント単位での合計が制限されればよい:REXT1[n]+REXT2[n]≦64Mbps。ここで、(n+1)番目のエクステント・ペアのうち、ベースビュー・エクステントEXT1[n]を含むソースパケットが転送される際の平均値が第1転送速度REXT1[n]であり、ディペンデントビュー・エクステントEXT2[n]を含むソースパケットが転送される際の平均値が第2転送速度REXT2[n]である。
図22の(a)、(b)はそれぞれ、第1転送速度REXT1と第2転送速度REXT2との合計が制限される場合における第1転送速度REXT1と第2転送速度REXT2との時間的な変化を示すグラフである。図22の(a)を参照するに、第1転送速度REXT1は第1時刻T0で最高値RMAX1=約48Mbpsから急落し、第1時刻T0から第2時刻T1までの期間Tstr中、低レベル=16Mbpsに留まっている。一方、図22の(b)において実線のグラフGR1が示すとおり、第2転送速度REXT2は第1転送速度REXT1の変化に対して相補的に変化する。特に上記の期間TstrにはピークP0が最高値RMAX2=約32Mbpsまで到達する。このように、第1転送速度REXT1と第2転送速度REXT2との合計がエクステント単位で制限される場合、第2転送速度REXT2をディペンデントビュー・ビデオ・ストリームのビットレートの一時的な上昇にも対応させることができる。
システム・ターゲット・デコーダ1903に割り当てられた転送帯域をストリーム・データの転送に更に効率良く利用するには、ファイルDEPに対するシステム・レートRTS2を更に高く設定することが好ましい。図22の(c)は、図22の(a)、(b)に示されている第1転送速度REXT1と第2転送速度REXT2とを足し合わせた値REXT1+REXT2の時間的な変化を示すグラフである。図22の(c)において実線のグラフGR3の窪みCVが示すとおり、第1転送速度REXT1と第2転送速度REXT2との和REXT1+REXT2は、第1時刻T0から第2時刻T1までの期間Tstr中、閾値64Mbpsを下回っている。これは、図22の(b)において実線のグラフGR1が示すとおり、第2転送速度REXT2がファイルDEPに対するシステム・レートRTS2=32Mbps以下に制限されていることに因る。図22の(a)の示すとおり、その期間Tstrでは第1転送速度REXT1は16Mbpsまで降下しているので、転送帯域幅には少なくとも、その値と閾値との間の差64−16=48Mbpsに等しい余裕が残されている。従って、ファイルDEPに対するシステム・レートRTS2は、32Mbpsよりも高い範囲、好ましくはファイル2Dに対するシステム・レートRTS1と同じ範囲、例えば48Mbps以下に設定される:RTS1≦48Mbps、RTS2≦48Mbps。図22の(b)、(c)にはそれぞれ、その場合における第2転送速度REXT2の時間的な変化、及び第1転送速度REXT1と第2転送速度REXT2との和REXT1+REXT2の時間的な変化が破線のグラフGR2、GR4で示されている。図22の(b)において破線のグラフGR2が示すとおり、第2転送速度REXT2のピークP1は32Mbpsを超えることができる。その結果、図22の(c)において破線のグラフGR4が示すとおり、第1転送速度REXT1と第2転送速度REXT2との和REXT1+REXT2は、上記の期間Tstr中、閾値64Mbpsの近傍に維持される。こうして、上記の転送帯域の利用効率を更に向上させることができる。
ファイルDEPに対するシステム・レートRTS2がファイル2Dに対するシステム・レートRTS1と同程度に高く設定される場合、第2転送速度REXT2も同程度まで上昇する場合が想定される。(n+1)番目のエクステント・ペアのうち、ディペンデントビュー・エクステントに対する転送速度REXT2[n]がそのように上昇した場合、転送速度の合計に対する制限から、ベースビュー・エクステントに対する転送速度REXT1[n]は最高値RMAX1よりも顕著に降下する。一方、最大エクステント・サイズの定義式(5)では、分母に含まれる平均転送速度REXT2Dがその最高値RMAX2Dで評価される。更に、ベースビュー・エクステントのエクステントATC時間は、その最大エクステント・サイズを第1転送速度REXT1[n]で割った値を上限とする。従って、その上限は実際のエクステントATC時間よりも顕著に長い。(n+1)番目のエクステント・ペアではエクステントATC時間が共通であるので、ディペンデントビュー・エクステントのサイズは最大で、第2転送速度REXT2[n]とエクステントATC時間の上記の上限との積まで達する。その積は、シームレス再生に実際に必要な値よりも顕著に大きい。その結果、RB21912の容量の更なる削減が阻まれる。
ファイルDEPに対するシステム・レートRTS2をファイル2Dに対するシステム・レートRTS1と同程度に高く設定する場合にも、RB21912の容量の更なる削減を可能にするには、最大エクステント・サイズに対する条件5、すなわち式(5)を次式(5B)に変更する:
式(5B)の右辺では、分母に含まれる転送速度として、ファイル2Dのエクステントに対する平均転送速度の最高値RMAX2D、又は、転送速度の最高値の合計RMAX1+RMAX2と第2転送速度REXT2[n]との間の差のいずれか低い方が採用される。ここで、転送速度の最高値の合計RMAX1+RMAX2はシステム・レートの合計RTS1+RTS2の192/188倍に等しい。従って、第2転送速度REXT2[n]がシステム・レートRTS2と同程度まで上昇する場合には、上記の差で最大エクステント・サイズが評価される。それにより、ベースビュー・エクステントのエクステントATC時間の上限は実際のエクステントATC時間に近い値に抑えられる。それ故、ディペンデントビュー・エクステントのサイズは、シームレス再生に実際に必要な値程度に抑えられる。こうして、RB21912の容量を十分に小さく維持することができる。
式(5B)で最大エクステント・サイズを評価する処理が煩雑である場合、最大エクステント・サイズが第2転送速度REXT2[n]の範囲に応じて予め決められていてもよい。例えば、ベースビュー・エクステントのサイズSEXT1[n]とディペンデントビュー・エクステントのサイズSEXT2[n]とは、次式(5C)を満たすように設計される:
第2転送速度REXT2[n]が32Mbps×192/188以下であるとき、
SEXT1[n]≦20×106バイト=約19MB、
SEXT2[n]≦6.5×106バイト=約6.2MB、
第2転送速度REXT2[n]が32Mbps×192/188を超えているとき、
SEXT1[n]≦20×106バイト=約19MB、
SEXT2[n]≦8.1×106バイト=約7.7MB。 (5C)
SEXT1[n]≦20×106バイト=約19MB、
SEXT2[n]≦6.5×106バイト=約6.2MB、
第2転送速度REXT2[n]が32Mbps×192/188を超えているとき、
SEXT1[n]≦20×106バイト=約19MB、
SEXT2[n]≦8.1×106バイト=約7.7MB。 (5C)
2−7−D:拡張再生モードでの条件
図23は、拡張再生モードの再生装置102内の再生処理系統を示すブロック図である。図23を参照するに、その再生処理系統は、BD−ROMドライブ2301、スイッチ2302、2つのリード・バッファ2311、2312、及びシステム・ターゲット・デコーダ2303を含む。BD−ROMドライブ2301はBD−ROMディスク101から拡張エクステントとベースビュー・エクステントとを読み出し、読み出し速度RUDEXでスイッチ2302へ転送する。スイッチ2302は拡張エクステントとベースビュー・エクステントとを分離する。第1リード・バッファ2311及び第3リード・バッファ2312(以下、RB1及びRB3と略す。)は再生装置102に内蔵のバッファ・メモリであり、スイッチ2302によって分離された各エクステントを蓄積する。RB12311はベースビュー・エクステントを格納し、RB32312は拡張エクステントを格納する。システム・ターゲット・デコーダ2303は、RB12311内の各ベースビュー・エクステントからはソースパケットを第1転送速度REXT1で読み出し、RB32312内の各拡張エクステントからはソースパケットを第3転送速度REXT3で読み出す。システム・ターゲット・デコーダ2303は更に、読み出されたベースビュー・エクステントと拡張エクステントとの対を映像データVDと音声データADとに復号する。
第1転送速度REXT1は3D再生モードにおける第1転送速度に等しい。第3転送速度REXT3は、システム・ターゲット・デコーダ2303がRB32312内の各ソースパケットからTSパケットを抽出する処理の平均速度の192/188倍に等しい。第3転送速度REXT3の最高値RMAX3は拡張ストリーム・ファイルに対するシステム・レートRTS3の192/188倍と等しい:RMAX3=RTS3×192/188。そのシステム・レートRTS3は通常、ビット/秒(bps)で表されるので、バイト/秒(Bps)で表される拡張ストリームの記録速度の8倍に等しい。各転送速度REXT1、REXT3は通常、ビット/秒で表され、具体的には、ビット単位で表された各エクステントのサイズをエクステントATC時間で割ったときの値に等しい。
読み出し速度RUDEXは通常、ビット/秒で表され、いずれの転送速度REXT1、REXT3の最高値RMAX1、RMAX3よりも高い値、例えば72Mbpsに設定される:RUDEX>RMAX1、RUDEX>RMAX2。それにより、BD−ROMドライブ2301によってBD−ROMディスク101から、ファイル2Dの1つのエクステントを読み出している間、及び拡張ストリーム・ファイルの1つのエクステントを読み出している間のいずれにおいても、システム・ターゲット・デコーダ2303の復号処理に伴うRB12311とRB32312とのアンダーフローが防止される。
[拡張エクステントのエクステントATC時間]
図24の(a)、(b)は、2つの連続する拡張エクステント・ブロック2410、2411から4K2Kの2D映像がシームレスに再生されるとき、RB12311、RB32312に蓄積されるデータ量DA1、DA3の変化を示すグラフである。図24の(c)は、それらの拡張エクステント・ブロック2410、2411に対する拡張再生モードでの再生経路2420を示す模式図である。図24の(c)を参照するに、その再生経路2420に従い、各拡張エクステント・ブロック2410、2411からは、まず、先頭の拡張エクステントTが読み出され、続いて、ディペンデントビュー・エクステントDの記録領域を越えるジャンプJSJとベースビュー・エクステントBの読み出しとが複数回ずつ繰り返される。
BD−ROMドライブ2301による読み出し/転送動作は実際には、図24の(a)、(b)の各グラフから示唆される連続的なものではなく、断続的なものである。それにより、各エクステントT、Bの読み出し期間では、RB12311、RB32312のオーバーフローが防止される。すなわち、図24の(a)、(b)の各グラフは、実際には階段状である増減を直線的な増減として近似的に表したものである。更に、ゼロ・セクタ遷移時間TJUMP0は0m秒とみなされている。
図24の(a)、(b)を参照するに、最初の拡張エクステントT0の読み出し期間PRT0では、RB32312の蓄積データ量DA3は、読み出し速度RUDEXと第3転送速度REXT3との間の差RUDEX−REXT3に等しい速度で増加し、RB12311の蓄積データ量DA1は第1転送速度REXT1で減少する。図24の(c)を参照するに、最初の拡張エクステントT0の読み出し期間PRT0の終了時にジャンプJSJが生じ、最初のディペンデントビュー・エクステントDの読み出しがスキップされる。図24の(a)、(b)に示されているように、ジャンプ期間PSJでは、RB12311の蓄積データ量DA1は第1転送速度REXT1で減少し続け、RB32312の蓄積データ量DA2は第3転送速度REXT3で減少する。その後、最初のベースビュー・エクステントBの読み出し期間PRBでは、RB12311の蓄積データ量DA1は、読み出し速度RUDEXと第1転送速度REXT1との間の差RUDEX−REXT1に等しい速度で増加する。以降、RB12311の蓄積データ量DA1は、ディペンデントビュー・エクステントDの記録領域を越えるジャンプJSJが行われる間は減少し、ベースビュー・エクステントBの読み出し期間では増加する。しかし、全体的には、最初の拡張エクステント・ブロック2410の後端が読み出されるまで、RB12311の蓄積データ量DA1は増加する。一方、RB32312の蓄積データ量DA3は第3転送速度REXT3で減少し続ける。
最初の拡張エクステント・ブロック2410が全て読み出されたとき、2番目の拡張エクステントT1の読み出しが始まる。その読み出し期間PRT1では、RB32312の蓄積データ量DA3は、読み出し速度RUDEXと第3転送速度REXT3との間の差RUDEX−REXT3に等しい速度で増加し、RB12311の蓄積データ量DA1は第1転送速度REXT1で減少する。更に、2番目の拡張エクステントT1の読み出し期間PRT1の終了時にジャンプJSJが生じ、ディペンデントビュー・エクステントDの読み出しがスキップされる。そのジャンプ期間PSJでは、RB12311の蓄積データ量DA1は第1転送速度REXT1で減少し続け、RB32312の蓄積データ量DA2は第3転送速度REXT3で減少する。
図24の(c)に示されている拡張エクステント・ブロック2410、2411から4K2Kの2D映像をシームレスに再生するには、拡張エクステントTのサイズが以下の条件6を満たせばよい。
最初の拡張エクステントT0は、その直後に位置するベースビュー・エクステントBの読み出し開始時点tAから、次の拡張エクステントT1の直後に位置するベースビュー・エクステントBの読み出し開始時点tBまでに、RB32312からシステム・ターゲット・デコーダ2303へ転送されればよい。その場合、図24の(b)に示されているように、RB32312の蓄積データ量DA3が、最初の拡張エクステントT0の読み出し期間PRT0の直前における量を下回らない。ここで、1つのベースビュー・エクステントBの読み出し期間PRBの長さは、そのベースビュー・エクステントBのサイズSBを読み出し速度RUDEXで割った値SB/RUDEXに等しい。一方、2番目の拡張エクステントT1の読み出し期間PRT1の長さは、その拡張エクステントT1のサイズSTを読み出し速度RUDEXで割った値ST/RUDEXに等しい。従って、条件6は次のことを示す。最初の拡張エクステントT0のエクステントATC時間ATC(T0)は次式(6)を満たす:
ここで、総和記号は、最初の拡張エクステントT0の直後に位置するベースビュー・エクステントBの読み出し開始時点tAから、次の拡張エクステントT1の直後に位置するベースビュー・エクステントBの読み出し開始時点tBまでの期間に含まれるジャンプ時間Tjumpの総和及びベースビュー・エクステントの読み出し期間の長さSB/RUDEXの総和を意味する。
拡張エクステントT0のエクステントATC時間ATC(T0)はまた、その拡張エクステントT0の直後に配置されたエクステント・ブロックに含まれるベースビュー・エクステントBのエクステントATC時間ATC(B)の合計に等しい:ATC(T0)=ΣATC(B)。
2−8:拡張エクステント・ブロックが含むべきエクステント・ペアの数
3D再生モードの再生装置102は、図21の(a)、(b)に示されているように、1つの拡張エクステントTの直後に位置するエクステント・ブロックEXTSS[n]を読み出すことにより、次の拡張エクステントT1の記録領域をジャンプする間にシステム・ターゲット・デコーダ1903へ送るべきデータ量をRB11911、RB21912に蓄積させる。その場合、条件4から、エクステント・ブロックEXTSS[n]のエクステントATC時間の下限が決まる。一方、条件5から、ベースビュー・エクステントとディペンデントビュー・エクステントとの各最大エクステント・サイズが制限される。従って、仮にエクステント・ブロックEXTSS[n]がエクステント・ペアを1つしか含まないとすると、そのペアを成す各エクステントのサイズが最大エクステント・サイズまで拡げられても、エクステント・ブロックEXTSS[n]のエクステントATC時間が下限に達しない危険性がある。それ故、図13に示されているように、1つの拡張エクステントT[m]の直後にはエクステント・ペアD[k]、B[k]が2つ以上配置される。それにより、それらのエクステント・ペアによって構成されるエクステント・ブロックのエクステントATC時間を下限以上に設計することができる。
好ましくは、1つの拡張エクステントT[m]の直後に配置されるエクステント・ペアD[k]、B[k]の数が2に固定される。それにより、その拡張エクステントT[m]のエクステントATC時間が最小限に抑えられるので、RB32312に必要な容量が最小限に抑えられる。また、拡張再生モードの再生装置が、早送り再生若しくは巻戻し再生等の特殊再生、又は飛び込み再生を行う際に、再生開始位置のベースビュー・ピクチャと拡張データとを検索する範囲が最小限に抑えられる。従って、その再生装置に再生開始位置のベースビュー・ピクチャと拡張データとを容易に検索させることができる。
2−9:ロング・ジャンプの必要な箇所での再生経路の分離
[層境界の前後に共用区間のみが配置された場合]
図25は、BD−ROMディスク101の2つの記録層が層境界LBの前後に共用区間のみを含む場合におけるエクステント群の配置、及びそのエクステント群に対する各モードでの再生経路を示す模式図である。図25を参照するに、2D再生モードでの再生経路2501、3D再生モードでの再生経路2502、及び拡張再生モードでの再生経路2503のいずれにおいても、層境界LBを越えるためのロング・ジャンプJLYの直前に4番目のベースビュー・エクステントB[3]が読み出される。従って、このベースビュー・エクステントB[3]のサイズは条件1、4、6のいずれをも満たさなければならない。ここで、式(1)、(4)、(6)の各右辺にジャンプ時間TJUMPとして代入されるべき値は、ロング・ジャンプJLYの最大ジャンプ時間である。この時間は、図18の表においてロング・ジャンプJLYの最大ジャンプ距離SJUMP-MAXに対応する最大ジャンプ時間TJUMP-MAXに加えて、記録層の切り換え操作に要する時間、すなわち「層切換時間」を更に含む。ロング・ジャンプJLYの最大ジャンプ距離SJUMP-MAXは例えば40000セクタであり、それに対応する最大ジャンプ時間TJUMP-MAXは350m秒である。一方、層切換時間は例えば350m秒である。その場合、式(1)、(4)、(6)の各右辺にはジャンプ時間TJUMPとして350m秒+350m秒=700m秒が代入される。
ロング・ジャンプJLY中にシステム・ターゲット・デコーダによって処理されるべきメインTSのデータ量は、2D再生モードでは条件1により4番目のベースビュー・エクステントB[3]のサイズで確保され、3D再生モードでは条件4により3番目と4番目とのベースビュー・エクステントB[2]、B[3]の全体のサイズで確保される。従って、条件1によって4番目のベースビュー・エクステントB[3]に要求される最小エクステント・サイズは、条件2によって要求される最小エクステント・サイズよりも一般に大きい。そのベースビュー・エクステントB[3]の直前に位置するディペンデントビュー・エクステントD[3]は、そのベースビュー・エクステントB[3]と同じエクステントATC時間を持つので、そのディペンデントビュー・エクステントD[3]のサイズは、条件2によって要求される最小エクステント・サイズよりも一般に大きい。従って、RB2の容量は、3D再生モードでのシームレス再生に必要最小限の値よりも一般に大きい。このように、図25に示されている配置では、RB2の容量を必要最小限に抑えることは難しい。
ロング・ジャンプJLY中での映像のシームレス再生を可能にしたまま、RB2の容量を更に削減するには、ロング・ジャンプJLYの直前又は直後で、3D再生モードでの再生経路を2D再生モードでの再生経路から分離すればよい。具体的には、まず、メインTSの同じ部分を、層境界LBの直前又は直後に位置する異なる領域に少なくとも二重に記録する。次に、2D再生モードの再生装置と3D再生モードの再生装置とにその部分を再生させる際に、それらの再生装置に異なる領域をアクセスさせる。層境界LBの直前に位置する異なる領域にメインTSの一部が二重に記録される場合、3D再生モードの再生装置によってアクセスされる領域においてはベースビュー・エクステントのサイズが条件1を満たさなくてもよい。一方、層境界LBの直後に位置する異なる領域にメインTSの一部が二重に記録される場合、2D再生モードにおけるロング・ジャンプのジャンプ距離を3D再生モードにおけるロング・ジャンプのジャンプ距離よりも短くすることができる。それらの結果、3D再生モードの再生装置にRB2の容量を必要最小限に維持させることができる。
[全てのモードでの再生経路が完全に分離された場合]
図26は、BD−ROMディスク101の層境界LBの直前において全てのモードでの再生経路が完全に分離された場合におけるエクステント群の配置、及びそのエクステント群に対する各モードでの再生経路を示す模式図である。図26を参照するに、層境界LBの前に位置する第1記録層L0は第1共用区間2601を含み、層境界LBの後に位置する第2記録層L1は第2共用区間2602を含む。第1記録層L0は更に、第1共用区間2601と層境界LBとの間に、平面視映像専用区間2611と立体視映像専用区間2612とに加え、拡張データ専用区間2613を含む。平面視映像専用区間2611にはメインTSの一部B2Dが配置され、立体視映像専用区間2612には2つのエクステント・ペアD、B3Dが配置され、拡張データ専用区間2613には拡張エクステントTとベースビュー・エクステントBEXとの対が配置されている。平面視映像専用区間2611内に配置されたメインTSの一部(以下、2D再生専用ブロックという。)B2Dと、拡張データ専用区間2613内に配置されたベースビュー・エクステント(以下、拡張再生専用ブロックという。)BEXとのそれぞれは、立体視映像専用区間2612内に配置されたベースビュー・エクステント(以下、3D再生専用ブロックという。)B3Dの全体の複製であり、それらとビット単位で一致する。すなわち、同じデータが三重に記録されている。2D再生専用ブロックB2Dは直前のベースビュー・エクステントB[1]と共に、ファイル2Dの1つのエクステントEXT2D[1]としてアクセス可能である。3D再生専用ブロックB3Dはディペンデントビュー・エクステントDと共に、ファイルSSの1つのエクステントEXTSS[1]としてアクセス可能である。拡張エクステントT[0]−T[2]、共用区間2601、2602内のベースビュー・エクステントB[0]、B[1]、B[4]、B[5]、及び拡張再生専用ブロックBEXはそれぞれ、拡張ストリーム・ファイルの1つのエクステントEXT3[0]−EXT3[7]としてアクセス可能である。
2D再生モードの再生装置102はファイル2Dを再生する。従って、図26に示されているエクステント群からは、2D再生モードでの再生経路2621が示すとおり、ファイル2Dのエクステント群EXT2D[0]−EXT2D[3]が読み出される。具体的には、まず、第1共用区間2601では先頭のベースビュー・エクステントB[0]がファイル2Dの1つのエクステントEXT2D[0]として読み出され、その直後に位置するディペンデントビュー・エクステントD[1]の読み出しがスキップされる。次に、第1共用区間2601の後端のベースビュー・エクステントB[1]と2D再生専用ブロックB2Dとがファイル2Dの1つのエクステントEXT2D[1]として読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が、立体視映像専用区間2612、拡張データ専用区間2613、及び層境界LBを越えて移動する。続いて、第2共用区間2602では先頭の拡張エクステントT[2]と2つのディペンデントビュー・エクステントD[4]、D[5]との読み出しがスキップされ、2つのベースビュー・エクステントB[4]、B[5]がファイル2Dの2つのエクステントEXT2D[2]、EXT2D[3]として読み出される。
3D再生モードの再生装置102はファイルSSを再生する。従って、図26に示されているエクステント群からは、3D再生モードでの再生経路2622が示すとおり、ファイルSSのエクステント群EXTSS[0]−EXTSS[2]が読み出される。具体的には、まず、第1共用区間2601からエクステント・ブロックD[0]、B[0]、D[1]、B[1]がファイルSSの1つのエクステントEXTSS[0]として連続して読み出される。その直後にジャンプJ3Dが生じ、平面視映像専用区間2611へのアクセスがスキップされる。次に、立体視映像専用区間2612からエクステント・ブロックD[2]、B3D、D[3]、B3DがファイルSSの1つのエクステントEXTSS[1]として連続して読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が拡張データ専用区間2613と層境界LBとを越えて移動する。続いて、第2共用区間2602では、拡張エクステントT[2]の読み出しがスキップされ、後続のエクステント・ブロックD[4]、B[4]、D[5]、B[5]がファイルSSの1つのエクステントEXTSS[2]として連続して読み出される。
拡張再生モードの再生装置102は拡張ストリーム・ファイルを再生する。従って、図26に示されているエクステント群からは、拡張再生モードでの再生経路2623が示すとおり、拡張ストリーム・ファイルのエクステント群EXT3[0]−EXT3[7]が読み出される。具体的には、まず、第1共用区間2601では、先頭の拡張エクステントT[0]=EXT3[0]が読み出され、2つのベースビュー・エクステントB[0]、B[1]が拡張ストリーム・ファイルの2つのエクステントEXT3[1]、EXT3[2]として読み出され、2つのディペンデントビュー・エクステントD[0]、D[1]の読み出しがスキップされる。次に、ジャンプJEXによって、平面視映像専用区間2611と立体視映像専用区間2612とへのアクセスがスキップされる。続いて、拡張データ専用区間2613から拡張エクステントT[1]と拡張再生専用ブロックBEXとが拡張ストリーム・ファイルの2つのエクステントEXT3[3]、EXT3[4]として読み出される。その直後にロング・ジャンプJLYが生じ、読み出し位置が層境界LBを越えて移動する。第2共用区間2602では、拡張エクステントT[2]と2つのベースビュー・エクステントB[4]、B[5]とが拡張ストリーム・ファイルの3つのエクステントEXT3[5]、EXT3[6]、EXT3[7]として読み出され、2つのディペンデントビュー・エクステントD[4]、D[5]の読み出しがスキップされる。
上記のとおり、図26に示されている配置では、ロング・ジャンプJLYの直前に、2D再生モードでの再生経路2621、3D再生モードでの再生経路2622、及び拡張再生モードでの再生経路2623が互いに分離される。尚、3D再生専用ブロックB3Dの全体は2D再生専用ブロックB2Dと拡張再生専用ブロックBEXとのそれぞれとビット単位で一致しているので、いずれの再生モードでも、再生されるベースビュー・ビデオ・フレームは等しい。
2D再生モードでの再生をシームレスに行うには、2D再生専用ブロックB2Dは、BD−ROMディスク101からの読み出し開始時点からロング・ジャンプJLYの終了時点までの期間にリード・バッファ1602からシステム・ターゲット・デコーダ1603へ転送されればよい。従って、2D再生専用ブロックB2DのサイズSDUP_FOR_SSIFとエクステントATC時間TDUP_FOR_SSIFとは、次式(7)を満たすように設計される:
例えば、ロング・ジャンプJLYのジャンプ時間TJUMPが700m秒であり、ファイル2Dに対するシステム・レートRTS=RMAX2D/192×188が最高値48Mbpsであり、BD−ROMドライブの読み出し速度RUD2Dが54Mbpsである場合、2D再生専用ブロックB2DのエクステントATC時間TDUP_FOR_SSIFは約7.6秒以上であればよい。
2D再生専用ブロックB2D、3D再生専用ブロックB3Dの全体、及び拡張再生専用ブロックBEXは同じデータであるのでサイズが等しい。そのサイズは2D再生専用ブロックB2DのサイズSDUP_FOR_SSIF、すなわち、式(7)で与えられるエクステントATC時間TDUP_FOR_SSIFとファイル2Dに対するシステム・レートRTSの192/188倍との積に等しい:SDUP_FOR_SSIF=TDUP_FOR_SSIF×RTS×192/188。例えば、ファイル2Dに対するシステム・レートRTSが最高値48Mbpsであり、エクステントATC時間TDUP_FOR_SSIFが約7.6秒である場合、各ブロックB2D、B3D、BEXのサイズSDUP_FOR_SSIFは約44MBである。
図26に示されているエクステントの配置では、ロング・ジャンプJLYの必要な箇所の近傍にメインTSの同じ部分B2D、B3D、BEXが三重に記録される。例えば、ファイル2Dに対するシステム・レートRTSが最高値48Mbpsである場合、少なくとも約44MB×2=約88MBのデータが重複して記録される。従って、BD−ROMディスク101上のボリューム領域202Bを更に有効に活用することが難しい。また、図26に示されている2D再生モードでの再生経路2621では、ロング・ジャンプJLYによって3D再生専用ブロックの全体B3Dと拡張再生専用ブロックBEXとの読み出しがスキップされなければならない。従って、ファイル2Dに対するシステム・レートRTSが最高値48Mbpsである場合、ロング・ジャンプJLYのジャンプ距離が約88MB=約45000セクタを超える。この値はロング・ジャンプの最大ジャンプ距離=40000セクタ=約78.1MBよりも大きい。それ故、少なくともロング・ジャンプJLYの必要な箇所の近傍では、ファイル2Dに対するシステム・レートRTSがファイル2Dの実際のビットレート=48Mbpsよりも低く制限されなければならない。それは、2D再生モードでの画質を低下させるので好ましくない。
2D再生モードで再生される映像の品質低下を防ぐためだけであれば、図26に示されている配置において平面視映像専用区間2611と拡張データ専用区間2613とを入れ換えて、2D再生モードにおけるロング・ジャンプJLYのジャンプ距離を40000セクタまで短縮すればよい。しかし、その場合、拡張再生モードにおいて、ロング・ジャンプによって3D再生専用ブロックの全体B3Dと2D再生専用ブロックB2Dとの読み出しがスキップされなければならない。従って、そのロング・ジャンプのジャンプ距離が40000セクタを超える。拡張再生モードの再生装置の再生能力を良好に維持するには、その再生装置のジャンプ性能を向上させる必要が生じる。それは、再生装置の製造コストを増加させるので好ましくない。
[エクステントの配置1、2に共通する利点]
図26に示されている配置とは異なり、図14に示されている配置1と、図15に示されている配置2とでは、平面視映像専用区間1412、1422、1512、1522が2D再生モードと拡張再生モードとのいずれの再生装置によってもアクセスされる。それにより、BD−ROMディスク101上において3D再生専用ブロックB3Dの全体と重複するデータを2D再生専用ブロックB2Dだけに削減することができる。その結果、BD−ROMディスク101上のボリューム領域202Bを更に有効に活用することができる。
また、いずれのモードの再生装置もロング・ジャンプJLYによって、2D再生専用ブロックB2Dと3D再生専用ブロックB3Dの全体とのいずれか一方の読み出しをスキップすればよい。従って、ファイル2DとファイルSSとのそれぞれに対するシステム・レートが最高値48Mbps、64Mbpsに設定されても、いずれのモードでもロング・ジャンプJLYのジャンプ距離が最大ジャンプ距離=40000セクタを超えない。その結果、いずれのモードでも、ロング・ジャンプの必要性にかかわらず、画質を高く維持することができる。
実際、図14に示されている配置1では、各モードでのロング・ジャンプJLYのジャンプ距離が以下のように計算される。ここで、その計算では次の場合を想定する:ロング・ジャンプJLYの最大ジャンプ時間は700m秒であり、2D再生モードでの再生経路1431において第2平面視映像専用区間1422の直後に生じるジャンプJ2Dの最大ジャンプ時間は350m秒である。この場合、いずれのジャンプについても最大ジャンプ距離が40000セクタに制限される。ファイル2D、ファイルDEP、及び拡張ストリーム・ファイルのそれぞれに対するシステム・レートRTS1、RTS2、RTS3は、48Mbps、16Mbps、及び16Mbpsである。それらの値は、2D再生モード、3D再生モード、及び拡張再生モードのそれぞれのシステム・ターゲット・デコーダに割り当てられた転送帯域幅、48Mbps、64Mbps、及び64Mbpsから決まる。2D再生モード、3D再生モード、及び拡張再生モードのそれぞれのBD−ROMドライブの読み出し速度RUD2D、RUD3D、RUDEXは、54Mbps、72Mbps、及び72Mbpsである。
まず、2D再生モードにおいてロング・ジャンプJLYの最大ジャンプ時間=700m秒を確保するには、式(7)から、第1平面視映像専用区間1412内のベースビュー・エクステントB2DのサイズSDUP_FOR_SSIFは少なくとも約44MBであればよく、エクステントATC時間TDUP_FOR_SSIFは短くとも約7.6秒であればよい。
次に、3D再生モードでの再生をシームレスに行うには、第1立体視映像専用区間1413内のエクステント・ブロックD、B3D、D、B3Dは、BD−ROMディスク101からの読み出し開始時点からロング・ジャンプJLYの終了時点までの期間にRB11911とRB21912とからシステム・ターゲット・デコーダ1903へ転送されればよい。従って、そのエクステント・ブロックD、B3D、D、B3DのサイズSEXTSSとエクステントATC時間TEXTSSとは、次式(8)を満たすように設計される:
第1転送速度REXT1の最高値RMAX1はファイル2Dに対するシステム・レートRTS1の192/188倍に等しく、第2転送速度REXT2の最高値RMAX2はファイルDEPに対するシステム・レートRTS2の192/188倍に等しい:RMAX1=RTS1×192/188、RMAX2=RTS2×192/188。従って、3D再生モードにおいてロング・ジャンプJLYの最大ジャンプ時間=700m秒を確保するには、第1立体視映像専用区間1413内のエクステント・ブロックD、B3D、D、B3DのサイズSEXTSSは少なくとも約59MBであればよく、エクステントATC時間TEXTSSは短くとも約7.6秒であればよい。
更に、2D再生モードでの再生経路1431において第2平面視映像専用区間1422の直後に生じるジャンプJ2Dの最大ジャンプ時間=350m秒を確保するには、式(1)から、第2平面視映像専用区間1422内のベースビュー・エクステントB2DのサイズSEXT2Dは少なくとも約33MBであればよく、エクステントATC時間TEXT2D=SEXT2D/RMAX2Dは短くとも約5.7秒であればよい。第2拡張データ専用区間1421内の拡張エクステントTは第2平面視映像専用区間1422内のベースビュー・エクステントB2DとエクステントATC時間が等しいので、その拡張エクステントTのサイズは少なくとも約11MBである。
図14を参照するに、まず、2D再生モードでの再生経路1431では、ロング・ジャンプJLYのジャンプ距離が第1立体視映像専用区間1413と第2拡張データ専用区間1421とのセクタ数の合計に等しい。ここで、第1立体視映像専用区間1413内のエクステント・ブロックD、B3D、D、B3DのサイズSEXTSSは約59MB以上であり、第2拡張データ専用区間1421内の拡張エクステントTのサイズは約11MB以上である。従って、2D再生モードにおけるロング・ジャンプJLYのジャンプ距離は59MB+11MB=70MB以上である。
次に、3D再生モードでの再生経路1432では、ロング・ジャンプJLYのジャンプ距離が第2拡張データ専用区間1421と第2平面視映像専用区間1422とのセクタ数の合計に等しい。ここで、第2拡張データ専用区間1421内の拡張エクステントTのサイズは約11MB以上であり、第2平面視映像専用区間1422内のベースビュー・エクステントB2DのサイズSEXT2Dは約33MB以上である。従って、3D再生モードにおけるロング・ジャンプJLYのジャンプ距離は11MB+33MB=44MB以上である。
更に、拡張再生モードでの再生経路1433では、ロング・ジャンプJLYのジャンプ距離が第1立体視映像専用区間1413のセクタ数に等しい。従って、拡張再生モードにおけるロング・ジャンプJLYのジャンプ距離は59MB以上である。
以上のように、各モードにおけるロング・ジャンプJLYのジャンプ距離が計算される。それらの計算結果が示すとおり、いずれのモードにおいても、そのジャンプ距離をロング・ジャンプJLYの最大ジャンプ距離=40000セクタ=約78.1MBよりも小さくすることができる。このことは、図15に示されている配置2についても同様である。
[エクステントの配置2に固有の利点]
図14に示されている配置1では、3D再生モードでの再生経路1432において、第1共用区間1401からのデータの読み出しが終了した直後にジャンプJ3Dが生じ、第1拡張データ専用区間1411と第1平面視映像専用区間1412とへのアクセスがスキップされる。ここで、2D再生モードにおいてロング・ジャンプJLYの最大ジャンプ時間=700m秒を確保するための条件から、第1平面視映像専用区間1412内のベースビュー・エクステントB2DのサイズSDUP_FOR_SSIFは約44MB以上であり、そのエクステントATC時間TDUP_FOR_SSIFが約7.6秒以上である。その場合、第1拡張データ専用区間1411内の拡張エクステントTのエクステントATC時間も約7.6秒以上であるので、拡張ストリーム・ファイルに対するシステム・レートが16Mbpsであるとき、その拡張エクステントTのサイズは16Mbps/8×192/188×7.6秒=約15MB以上である。従って、上記のジャンプJ3Dのジャンプ距離SJUMPは15MB+44MB=59MB=約30000セクタ以上でなければならない。図18の表から、そのジャンプJ3Dの最大ジャンプ時間TJUMP-MAXは350m秒以上でなければならない。
上記のジャンプJ3D中に3D再生モードのシステム・ターゲット・デコーダ1903によって処理されるべきデータ量は、条件4により、第1共用区間1401内の最後のエクステント・ブロックD、B、D、Bのサイズで確保される。ここで、そのエクステント・ブロックを構成する各エクステントの最大エクステント・サイズが式(5C)で決定され、かつ、そのエクステント・ブロックに対する第2転送速度REXT2が48Mbps×192/188である場合を想定する。その場合、そのエクステント・ブロックに属するディペンデントビュー・エクステントDのサイズは最大で8.1×106バイトであるので、そのエクステントATC時間TEXT2は最長で約1.32秒である:TEXT2=8.1×106バイト×8/REXT2≒1.32秒。従って、そのエクステント・ブロックがn個のエクステント・ペアを含む場合、そのエクステント・ブロック全体のエクステントATC時間TEXTSSは最長で約1.32秒×nである。一方、式(4)から、上記のジャンプJ3Dのジャンプ時間TJUMPは次式(9)を満たす:
エクステント・ブロックに対する平均転送速度REXTSSが最高値64Mbps×192/188であるとき、式(9)より、上記のジャンプJ3Dのジャンプ時間TJUMPは最長でも約122m秒×nである。3D再生モードにおいて、第1拡張データ専用区間1411と第1平面視映像専用区間1412とへのアクセスをスキップするためのジャンプJ3D中に3D映像をシームレスに再生するには、そのジャンプ時間TJUMP=約122m秒×nが350m秒以上でなければならない。従って、図14に示されている配置1では、第1共用区間1401内の最後のエクステント・ブロックに含まれるエクステント・ペアの数nが3以上でなければならない。また、拡張ストリーム・ファイルに対するシステム・レートRTS3を、上記の計算で想定されている値16Mbpsよりも更に高く設定するには、それに伴う第1拡張データ専用区間1411内のデータ量の増大に合わせて、上記のエクステント・ペアの数nを更に増加させなければならない。ここで、エクステント・ペアの数nの増加は、その直前に配置される拡張エクステントTのエクステントATC時間を増大させるので、RB32312に必要な容量を増大させる。従って、エクステント・ペアの数nを3以上に増加することは好ましくない。
一方、図15に示されている配置2では、配置1とは異なり、エクステント・ブロックに含まれるエクステント・ペアの数nに関する上記の制限が不要である。実際、配置2では、3D再生モードでの再生経路1532において、第1共用区間1401からのデータの読み出しが終了した直後に生じるジャンプによって、第1拡張データ専用区間1511へのアクセスのみがスキップされる。ここで、2D再生モードにおいて層境界LBを越えるためのロング・ジャンプJLYの最大ジャンプ時間=700m秒を確保するための条件から、第1平面視映像専用区間1512内のベースビュー・エクステントB2DのエクステントATC時間TDUP_FOR_SSIFは約7.6秒以上である。その場合、第1拡張データ専用区間1511内の拡張エクステントTのエクステントATC時間も約7.6秒以上であるので、拡張ストリーム・ファイルに対するシステム・レートが16Mbpsであるとき、その拡張エクステントTのサイズは約15MB以上である。従って、3D再生モードでの再生経路1532における上記のジャンプのジャンプ距離は第1拡張データ専用区間1511内のデータ量の下限=約15MB=約7680セクタ以上でなければならない。図18の表から、そのジャンプの最大ジャンプ時間TJUMP-MAXは短くとも200m秒でなければならない。それに対し、第1共用区間1401内の最後のエクステント・ブロックに対する平均転送速度REXTSSが最高値64Mbps×192/188であるとき、そのジャンプのジャンプ時間TJUMPが最長で約122m秒×nに制限される。この上限、約122m秒×nが200m秒を超えるには、そのエクステント・ブロックに含まれるエクステント・ペアの数nが2以上であればよい。すなわち、その数nに対する制限は、拡張エクステント・ブロックに対する本来の制限と変わらない。
また、配置2では配置1とは異なり、第1共用区間1401内の最後のエクステント・ブロックに含まれるエクステント・ペアの数nが2のままでも、拡張ストリーム・ファイルに対するシステム・レートRTS3を16Mbpsよりも高く設定することができる。実際、そのエクステント・ブロックに対する平均転送速度REXTSSが最高値64Mbps×192/188であるとき、3D再生モードでの再生経路1532においてそのエクステント・ブロックの読み出し直後に可能なジャンプのジャンプ時間が最長で約122m秒×2=約243m秒である。従って、第1拡張データ専用区間1511のセクタ数は10000セクタ以下であればよく、すなわち、その区間内の拡張エクステントTのサイズSEXT3は約19.5MB以下であればよい。一方、層境界LBを越えるためのロング・ジャンプJLYに関する条件から、その拡張エクステントTのエクステントATC時間TEXT3は短くとも約7.6秒であればよい。それ故、RB32312に必要な容量を増大させることなく、拡張ストリーム・ファイルに対するシステム・レートRTS3を約21Mbpsまで上昇させることができる:RTS3=SEXT3/TEXT3≦19.5MB×8/7.6秒/192×188≒21Mbps。
2−10:クリップ情報ファイル
図27は、2Dクリップ情報ファイル231のデータ構造を示す模式図である。図27を参照するに、2Dクリップ情報ファイル231は、クリップ情報2710、ストリーム属性情報2720、エントリ・マップ2727、及び3Dメタデータ2740を含む。3Dメタデータ2740はエクステント起点2742を含む。DEPクリップ情報ファイル232及び拡張クリップ情報ファイル233も同様なデータ構造を持つ。
クリップ情報2710は、図27に示されているように、システム・レート2711、再生開始時刻2712、及び再生終了時刻2713を含む。システム・レート2711は、ファイル2D221に対するシステム・レートRTSを規定する。ここで、図16に示されているように、2D再生モードの再生装置102は、ファイル2D221に属する“TSパケット”をリード・バッファ1602からシステム・ターゲット・デコーダ1603へ転送する。従って、ファイル2D221では、TSパケットの転送速度がシステム・レートRTS以下に抑えられるように、ソースパケットのATSの間隔が設定されている。再生開始時刻2712は、ファイル2D221の先頭のVAUに割り当てられたPTS、例えば先頭のビデオ・フレームのPTSを示す。再生終了時刻2713は、ファイル2D221の後端のVAUに割り当てられたPTSから更に所定量遅れたSTCの値、例えば最後のビデオ・フレームのPTSに1フレーム当たりの再生時間を加えた値を示す。
ストリーム属性情報2720は、図27に示されているように、ファイル2D221に含まれる各エレメンタリ・ストリームのPID2721とその属性情報2722との間の対応表である。属性情報2722は、ビデオ・ストリーム、オーディオ・ストリーム、PGストリーム、及びIGストリームのそれぞれで異なる。例えばプライマリ・ビデオ・ストリームのPID0x1011に対応付けられた属性情報は、そのビデオ・ストリームの圧縮に利用されたコーデックの種類、そのビデオ・ストリームを構成する各ピクチャの解像度、アスペクト比、及びフレームレートを含む。一方、プライマリ・オーディオ・ストリームのPID0x1100に対応付けられた属性情報は、そのオーディオ・ストリームの圧縮に利用されたコーデックの種類、そのオーディオ・ストリームに含まれるチャンネル数、言語、及びサンプリング周波数を含む。属性情報2722は再生装置102により、デコーダの初期化に利用される。
[エントリ・マップ]
図28の(a)は、エントリ・マップ2730のデータ構造を示す模式図である。図28の(a)を参照するに、エントリ・マップ2730はテーブル2800を含む。テーブル2800は、メインTSに多重化されたビデオ・ストリームと同数であり、各ビデオ・ストリームに1つずつ割り当てられている。図28の(a)では、各テーブル2800は割り当て先のビデオ・ストリームのPIDで区別されている。各テーブル2800はエントリ・マップ・ヘッダ2801とエントリ・ポイント2802とを含む。エントリ・マップ・ヘッダ2801は、そのテーブル2800に対応付けられたPIDと、そのテーブル2800に含まれるエントリ・ポイント2802の総数とを含む。エントリ・ポイント2802は、PTS2803とソースパケット番号(SPN)2804との対を1つずつ、異なるエントリ・ポイントID(EP_ID)2805に対応付けている。PTS2803は、エントリ・マップ・ヘッダ2801の示すPIDのビデオ・ストリームに含まれるいずれかのIピクチャのPTSに等しい。SPN2804は、そのIピクチャが格納されたソースパケット群の先頭のSPNに等しい。ここで、「SPN」とは、1つのAVストリーム・ファイルに属するソースパケット群に、先頭から順に割り当てられた通し番号をいう。SPNは、そのAVストリーム・ファイル内での各ソースパケットのアドレスとして利用される。2Dクリップ情報ファイル231内のエントリ・マップ2730では、SPNは、ファイル2D221に属するソースパケット群、すなわち、メインTSを格納しているソースパケット群に割り当てられた番号を意味する。従って、エントリ・ポイント2802は、ファイル2D221に含まれる各IピクチャのPTSとアドレス、すなわちSPNとの間の対応関係を表す。
エントリ・ポイント2802は、ファイル2D221内の全てのIピクチャに対して設定されていなくてもよい。但し、IピクチャがGOPの先頭に位置し、かつ、そのIピクチャの先頭を含むTSパケットがエクステントの先頭に位置するときは、そのIピクチャにはエントリ・ポイント2802が設定されなければならない。
図28の(b)は、ファイル2D221に属するソースパケット群2810のうち、エントリ・マップ2730によって各EP_ID2805に対応付けられているものを示す模式図である。図28の(c)は、そのソースパケット群2810に対応するBD−ROMディスク101上のエクステント群D[n]、B[n](n=0、1、2、3、…)を示す模式図である。再生装置102は、ファイル2D221から2D映像を再生する際にエントリ・マップ2730を利用して、任意のシーンを表すフレームのPTSから、そのフレームを含むソースパケットのSPNを特定する。具体的には、再生開始位置として特定のエントリ・ポイントのPTS、例えばPTS=360000が指定されたとき、再生装置102はまず、エントリ・マップ2730から、そのPTSに対応付けられたSPN=3200を検索する。再生装置102は次に、そのSPNとソースパケット1つ当たりのデータ量192バイトとの積を求め、更にその積をセクタ1つ当たりのデータ量2048バイトで割ったときの商、SPN×192/2048を求める。図6の(c)、(d)から理解されるとおり、その商は、メインTSのうち、そのSPNが割り当てられたソースパケットよりも前の部分が記録されたセクタの総数に等しい。図28の(b)に示されている例では、その商、3200×192/2048=300は、0から3199までのSPNが割り当てられたソースパケット群2811が記録されたセクタの総数に等しい。再生装置102は続いてファイル2D221のファイル・エントリを参照し、ファイル2D221のエクステント群が記録されたセクタ群の先頭から数えて(上記の総数+1)番目のセクタのLBNを特定する。図28の(c)に示されている例では、エクステントEXT2D[0]、EXT2D[1]、EXT2D[2]、…としてアクセス可能なベースビュー・エクステントB[0]、B[1]、B[2]、…が記録されたセクタ群のうち、先頭から数えて301番目のセクタのLBNが特定される。再生装置102はそのLBNをBD−ROMドライブに指定する。それにより、そのLBNのセクタから順にベースビュー・エクステント群がアラインド・ユニット単位で読み出される。再生装置102は更に、最初に読み出されたアラインド・ユニットから、再生開始位置のエントリ・ポイントの示すソースパケットを選択し、それらからIピクチャを抽出して復号する。それ以降、後続のピクチャは、先に復号されたピクチャを利用して順次復号される。こうして、再生装置102はファイル2D221から特定のPTS以降の2D映像を再生できる。
エントリ・マップ2730は更に、早送り再生及び巻戻し再生等の特殊再生の効率的な処理に有利である。例えば2D再生モードの再生装置102はまずエントリ・マップ2730を参照して、再生開始位置、例えばPTS=360000以降のPTSを含むエントリ・ポイントEP_ID=2、3、…からSPN=3200、4800、…を順番に読み出す。再生装置102は次にファイル2D221のファイル・エントリを利用して、各SPNに対応するセクタのLBNを特定する。再生装置102は続いて、各LBNをBD−ROMドライブに指定する。それにより、各LBNのセクタからアラインド・ユニットが読み出される。再生装置102は更に各アラインド・ユニットから、各エントリ・ポイントの示すソースパケットを選択し、それらからIピクチャを抽出して復号する。こうして、再生装置102はエクステント群EXT2D[n]自体を解析することなく、ファイル2D221からIピクチャを選択的に再生できる。
[エクステント起点]
図29の(a)は、エクステント起点2742のデータ構造を示す模式図である。図29の(a)を参照するに、「エクステント起点(Extent_Start_Point)」2742はベースビュー・エクステントID(EXT1_ID)2911とSPN2912とを含む。EXT1_ID2911は、ファイルSS223に属する各ベースビュー・エクステントに、先頭から順に割り当てられた通し番号である。SPN2912は各EXT1_ID2911に1つずつ割り当てられ、そのEXT1_ID2911で識別されるベースビュー・エクステントの先端に位置するソースパケットのSPNに等しい。ここで、そのSPNは、ファイルSS223に属するベースビュー・エクステント群に含まれる各ソースパケットに、先頭から順に割り当てられた通し番号である。
図11に示されているように、拡張エクステント・ブロックに含まれる各ベースビュー・エクステントB[0]、B[1]、B[2]、…は、ファイル2D221とファイルSS223とに共有される。一方、図14、15に示されているように、層境界等、ロング・ジャンプの必要な箇所の近傍に配置されたエクステント群は、ファイル2D221とファイルSS223とのいずれかにのみ属するベースビュー・エクステントを含む。従って、エクステント起点2742の示すSPN2912は、ファイル2D221に属するベースビュー・エクステントの先端に位置するソースパケットのSPNとは一般に異なる。
図29の(b)は、DEPクリップ情報ファイル232に含まれるエクステント起点2920のデータ構造を示す模式図である。図29の(b)を参照するに、エクステント起点2920はディペンデントビュー・エクステントID(EXT2_ID)2921とSPN2922とを含む。EXT2_ID2921は、ファイルSS223に属する各ディペンデントビュー・エクステントに先頭から順に割り当てられた通し番号である。SPN2922は各EXT2_ID2921に1つずつ割り当てられ、そのEXT2_ID2921で識別されるディペンデントビュー・エクステントの先端に位置するソースパケットのSPNに等しい。ここで、そのSPNは、ファイルSS223に属するディペンデントビュー・エクステント群に含まれる各ソースパケットに、先頭から順に割り当てられた通し番号である。
図29の(d)は、ファイルDEP222に属するディペンデントビュー・エクステントEXT2[0]、EXT2[1]、…と、エクステント起点2920の示すSPN2922との間の対応関係を表す模式図である。図11に示されているように、ディペンデントビュー・エクステントはファイルDEP222とファイルSS223とに共有される。従って、図29の(d)に示されているように、エクステント起点2920の示す各SPN2922は、各ディペンデントビュー・エクステントEXT2[0]、EXT2[1]、…の先端に位置するソースパケットのSPNに等しい。
2Dクリップ情報ファイル231のエクステント起点2742と、DEPクリップ情報ファイル232のエクステント起点2920とは、以下に説明するように、ファイルSS223から3D映像が再生されるとき、ファイルSS223の各エクステントに含まれるベースビュー・エクステントとディペンデントビュー・エクステントとの間の境界の検出に利用される。
図29の(e)は、ファイルSS223に属するエクステントEXTSS[0]とBD−ROMディスク101上のエクステント・ブロックとの間の対応関係を示す模式図である。図29の(e)を参照するに、そのエクステント・ブロックはインターリーブ配置のエクステント群D[n]、B[n](n=0、1、2、…)を含む。そのエクステント・ブロックはファイルSS223のエクステントEXTSS[0]としてアクセス可能である。更に、そのエクステントEXTSS[0]の中で、(n+1)番目のベースビュー・エクステントB[n]に含まれるソースパケットの数は、エクステント起点2742において、EXT1_ID=n+1、nのそれぞれに対応するSPN間の差A(n+1)−Anに等しい。ここで、A0=0とする。一方、ディペンデントビュー・エクステントD[n+1]に含まれるソースパケットの数は、エクステント起点2920において、EXT2_ID=n+1、nのそれぞれに対応するSPN間の差B(n+1)−Bnに等しい。ここで、B0=0とする。
3D再生モードの再生装置102は、ファイルSS223から3D映像を再生するとき、各クリップ情報ファイル231、232のエントリ・マップとエクステント起点2742、2920とを利用する。それにより、再生装置102は、任意のシーンのライトビューを表すフレームのPTSから、そのフレームの構成に必要なディペンデントビュー・エクステントが記録されたセクタのLBNを特定する。具体的には、再生装置102はまず、DEPクリップ情報ファイル232のエントリ・マップから、そのPTSに対応付けられたSPNを検索する。仮にそのSPNの示すソースパケットが、ファイルDEP222の3番目のディペンデントビュー・エクステントEXT2[2]=D[2]に含まれる場合を想定する。再生装置102は次に、DEPクリップ情報ファイル232のエクステント起点2920の示すSPN2922の中から、目標のSPN以下で最大のもの“B2”と、それに対応するEXT2_ID“2”とを検索する。再生装置102は続いて、2Dクリップ情報ファイル231のエクステント起点2742から、そのEXT2_ID“2”と等しいEXT1_IDに対応するSPN2912の値“A2”を検索する。再生装置102は更に、検索されたSPNの和B2+A2を求める。図29の(e)から理解されるように、その和B2+A2は、ファイルSS223のエクステントEXTSS[0]の中で、3番目のディペンデントビュー・エクステントD[2]よりも前に配置されたソースパケットの総数に等しい。従って、その和B2+A2とソースパケット1つ当たりのデータ量192バイトとの積をセクタ1つ当たりのデータ量2048バイトで割ったときの商(B2+A2)×192/2048は、ファイルSS223のエクステントEXTSS[0]の先頭から3番目のディペンデントビュー・エクステントD[2]の直前までのセクタ数に等しい。この商を利用してファイルSS223のファイル・エントリを参照すれば、そのディペンデントビュー・エクステントD[2]の先端が記録されたセクタのLBNを特定することができる。
再生装置102は、上記のようにLBNを特定した後、そのLBNをBD−ROMドライブに指定する。それにより、そのLBNのセクタ以降に記録されたファイルSS223のエクステントEXTSS[0]の部分、すなわち3番目のディペンデントビュー・エクステントD[2]以降のエクステント群D[2]、B[2]、D[3]、B[3]、…がアラインド・ユニット単位で読み出される。
再生装置102は更にエクステント起点2742、2920を利用して、読み出されたファイルSS223のエクステントから、ディペンデントビュー・エクステントとベースビュー・エクステントとを交互に抽出する。例えば、図29の(e)に示されているファイルSS223のエクステントEXTSS[0]からエクステント群D[n]、B[n](n=0、1、2、…)が順番に読み出されるときを想定する。再生装置102はまず、エクステントEXTSS[0]の先頭からB1個のソースパケットを最初のディペンデントビュー・エクステントD[0]として抽出する。再生装置102は次に、(B1+1)番目のソースパケットと、それに続く(A1−1)個のソースパケットとの計A1個のソースパケットを最初のベースビュー・エクステントB[0]として抽出する。再生装置102は続いて、(B1+A1+1)番目のソースパケットと、それに続く(B2−B1−1)個のソースパケットとの計(B2−B1)個のソースパケットを2番目のディペンデントビュー・エクステントD[1]として抽出する。再生装置102は更に、(A1+B2+1)番目のソースパケットと、それに続く(A2−A1−1)個のソースパケットとの計(A2−A1)個のソースパケットを2番目のベースビュー・エクステントB[1]として抽出する。それ以降も再生装置102は同様に、読み出されるソースパケットの数を用いて、ファイルSS223のエクステント内からディペンデントビュー・エクステントとベースビュー・エクステントとの間の境界を検出し、それらのエクステントを交互に抽出する。抽出されたベースビュー・エクステントとディペンデントビュー・エクステントとはパラレルにシステム・ターゲット・デコーダに渡されて復号される。こうして、3D再生モードの再生装置102はファイルSS223から特定のPTS以降の3D映像を再生できる。
2−11:ファイル・ベース
図29の(c)は、3D再生モードの再生装置102によってファイルSS223から抽出されたベースビュー・エクステントB[0]、B[1]、B[2]、…を表す模式図である。図29の(c)を参照するに、それらのベースビュー・エクステントB[n](n=0、1、2、…)に含まれるソースパケット群に、先頭から順にSPNを割り当てたとき、各ベースビュー・エクステントB[n]の先端に位置するソースパケットのSPNは、エクステント起点2742の示すSPN2912に等しい。それらのベースビュー・エクステント群B[n]のように、エクステント起点を利用して1つのファイルSSから抽出されるベースビュー・エクステント群を「ファイル・ベース」という。図29の(e)に示されているように、各ベースビュー・エクステントEXT1[0]、EXT1[1]、…はクリップ情報ファイル内のエクステント起点2742、2920によって参照される。
ファイル・ベースのエクステントEXT1[n]はファイル2DのエクステントEXT2D[n]とベースビュー・エクステントB[n]を共有する。従って、ファイル・ベースはファイル2Dと同じメインTSを含む。しかし、ファイル・ベースはファイル2Dとは異なり、ファイル・エントリを含まない。かつ、ベースビュー・エクステントの参照にエクステント起点を必要とする。それらの意味で、ファイル・ベースは「仮想的なファイル」である。特にファイル・ベースはファイルシステムでは認識されず、図2に示されているファイル構造には現れない。
2−12:2Dプレイリスト・ファイル
図30は、2Dプレイリスト・ファイルのデータ構造を示す模式図である。図30を参照するに、2Dプレイリスト・ファイル241はメインパス3001と2本のサブパス3002、3003とを含む。
メインパス3001はプレイアイテム情報(以下、PIと略す。)の配列であり、ファイル2D221の主要な再生経路、すなわち再生対象の部分とその再生順とを規定する。各PIは固有のプレイアイテムID=#N(N=1、2、3、…)で識別される。各PI#Nは主要な再生経路の異なる再生区間を一対のPTSで規定する。その対の一方はその再生区間の開始時刻(In−Time)を表し、他方は終了時刻(Out−Time)を表す。更に、メインパス3001内でのPIの順序は、対応する再生区間の再生経路内での順序を表す。
各サブパス3002、3003はサブプレイアイテム情報(以下、SUB_PIと略す。)の配列であり、ファイル2D221の主要な再生経路に並列に付随可能な再生経路を規定する。その再生経路は、メインパス3001の表すファイル2D221の部分とは別の部分とその再生順、又は、別のファイル2Dに多重化されたストリーム・データの部分とその再生順を示す。そのストリーム・データは、メインパス3001に従ってファイル2D221から再生される2D映像と同時に再生されるべき別の2D映像を表す。その別の2D映像は例えば、ピクチャ・イン・ピクチャ方式における副映像、ブラウザ画面、ポップアップ・メニュー、又は字幕を含む。サブパス3002、3003には2Dプレイリスト・ファイル241への登録順に通し番号“0”、“1”が振られている。その通し番号はサブパスIDとして各サブパス3002、3003の識別に利用される。各サブパス3002、3003では、各SUB_PIが固有のサブプレイアイテムID=#M(M=1、2、3、…)で識別される。各SUB_PI#Mは、再生経路の異なる再生区間を一対のPTSで規定する。その対の一方はその再生区間の再生開始時刻を表し、他方は再生終了時刻を表す。更に、各サブパス3002、3003内でのSUB_PIの順序は、対応する再生区間の再生経路内での順序を表す。
図31は、PI#Nのデータ構造を示す模式図である。図31を参照するに、PI#Nは、参照クリップ情報3101、再生開始時刻(In-Time)3102、再生終了時刻(Out-Time)3103、及びストリーム選択テーブル(以下、STN(StreamNumber)テーブルと略す。)3105を含む。参照クリップ情報3101は、2Dクリップ情報ファイル231を識別するための情報である。再生開始時刻3102と再生終了時刻3103とは、ファイル2D221の再生対象部分の先端と後端との各PTSを示す。STNテーブル3105は、再生開始時刻3102から再生終了時刻3103までの間に、再生装置102内のデコーダによってファイル2D221から選択可能なエレメンタリ・ストリームのリストを表す。
SUB_PIのデータ構造は、図31に示されているPIのデータ構造と、参照クリップ情報、再生開始時刻、及び再生終了時刻を含む点で共通する。特にSUB_PIの再生開始時刻と再生終了時刻とは、PIのそれらと同じ時間軸上の値で表される。
[STNテーブル]
図31を更に参照するに、STNテーブル3105はストリーム登録情報の配列である。「ストリーム登録情報」とは、再生開始時刻3102から再生終了時刻3103までの間にメインTSから再生対象として選択可能なエレメンタリ・ストリームを個別に示す情報である。ストリーム番号(STN)3106は、ストリーム登録情報に個別に割り当てられた通し番号であり、再生装置102によって各エレメンタリ・ストリームの識別に利用される。STN3106は更に、同じ種類のエレメンタリ・ストリームの間では選択の優先順位を表す。ストリーム登録情報はストリーム・エントリ3109とストリーム属性情報3110とを含む。ストリーム・エントリ3109はストリーム・パス情報3107とストリーム識別情報3108とを含む。ストリーム・パス情報3107は、選択対象のエレメンタリ・ストリームが属するファイル2Dを示す情報である。例えば、ストリーム・パス情報3107が“メインパス”を示すとき、そのファイル2Dは、参照クリップ情報3101の示す2Dクリップ情報ファイルに対応するものである。一方、ストリーム・パス情報3107が“サブパスID=1”を示すとき、選択対象のエレメンタリ・ストリームが属するファイル2Dは、サブパスID=1のサブパスに含まれるSUB_PIの参照クリップ情報が示す2Dクリップ情報ファイルに対応するものである。そのSUB_PIの規定する再生開始時刻又は再生終了時刻のいずれかは、STNテーブル3105を含むPIの規定する再生開始時刻3102から再生終了時刻3103までの期間に含まれる。ストリーム識別情報3108は、ストリーム・パス情報3107によって特定されるファイル2Dに多重化されているエレメンタリ・ストリームのPIDを示す。このPIDの示すエレメンタリ・ストリームが再生開始時刻3102から再生終了時刻3103までの間に選択可能である。ストリーム属性情報3110は各エレメンタリ・ストリームの属性情報を表す。例えば、オーディオ・ストリーム、PGストリーム、及びIGストリームの各属性情報は言語の種類を示す。
[2Dプレイリスト・ファイルに従った2D映像の再生]
図32は、2Dプレイリスト・ファイル241の示すPTSと、ファイル2D221から再生される部分との間の対応関係を示す模式図である。図32を参照するに、2Dプレイリスト・ファイル241のメインパス3001では、PI#1は、再生開始時刻IN1を示すPTS#1と、再生終了時刻OUT1を示すPTS#2とを規定する。PI#1の参照クリップ情報は2Dクリップ情報ファイル231を示す。再生装置102は、2Dプレイリスト・ファイル241に従って2D映像を再生するとき、まずPI#1からPTS#1、#2を読み出す。再生装置102は次に、2Dクリップ情報ファイル231のエントリ・マップを参照して、PTS#1、#2に対応するファイル2D221内のSPN#1、#2を検索する。再生装置102は続いて、SPN#1、#2から、それぞれに対応するセクタ数を算定する。再生装置102は更にそれらのセクタ数とファイル2D221のファイル・エントリとを利用して、再生対象のエクステント群EXT2D[0]、…、EXT2D[n]が記録されたセクタ群P1の先端のLBN#1と後端のLBN#2とを特定する。セクタ数の算定とLBNの特定とは、図28を用いて説明したとおりである。再生装置102は最後に、LBN#1からLBN#2までの範囲をBD−ROMドライブ121に指定する。それに応じて、BD−ROMドライブ121はファイル2D221のファイル・エントリを利用して、その範囲のセクタ群P1から、各エクステントEXT2D[0]、…、EXT2D[n]に属するソースパケット群を読み出す。同様に、PI#2の示すPTS#3、#4の対は、まず2Dクリップ情報ファイル231のエントリ・マップを利用してSPN#3、#4の対に変換される。次に、ファイル2D221のファイル・エントリを利用してSPN#3、#4の対がLBN#3、#4の対に変換される。更に、LBN#3からLBN#4までの範囲のセクタ群P2から、ファイル2D221のエクステント群に属するソースパケット群が読み出される。PI#3の示すPTS#5、#6の対からSPN#5、#6の対への変換、SPN#5、#6の対からLBN#5、#6の対への変換、及びLBN#5からLBN#6までの範囲のセクタ群P3からのソースパケット群の読み出しも同様である。こうして、再生装置102は2Dプレイリスト・ファイル241のメインパス3001に従って、ファイル2D221から2D映像を再生できる。
2Dプレイリスト・ファイル241はエントリ・マーク3201を含んでもよい。エントリ・マーク3201は、メインパス3001のうち、実際に再生が開始されるべき時点を示す。例えば図32に示されているように、PI#1に対して複数のエントリ・マーク3201が設定されてもよい。エントリ・マーク3201は、特に飛び込み再生において、再生開始位置の検索に利用される。例えば2Dプレイリスト・ファイル241が映画タイトルの再生経路を規定するとき、エントリ・マーク3201は各チャプタの先頭に付与される。それにより、再生装置102はその映画タイトルをチャプタごとに再生できる。
2−13:3Dプレイリスト・ファイル
図33は、3Dプレイリスト・ファイル242のデータ構造を示す模式図である。図33を参照するに、3Dプレイリスト・ファイル242は、メインパス3301、サブパス3302、及び拡張データ3303を含む。
メインパス3301はメインTSの再生経路を規定する。従って、メインパス3301は2Dプレイリスト・ファイル241のメインパス3001と実質的に等しい。すなわち、2D再生モードの再生装置102は、3Dプレイリスト・ファイル242のメインパス3301に従ってファイル2D221から2D映像を再生できる。
サブパス3302はサブTSの再生経路、すなわち、ファイルDEP222の再生経路を規定する。サブパス3302のデータ構造は2Dプレイリスト・ファイル241のサブパス3002、3003のデータ構造と同様である。従って、その同様なデータ構造の詳細、特にSUB_PIのデータ構造の詳細についての説明は、図30を用いた説明を援用する。
サブパス3302のSUB_PI#N(N=1、2、3、…)はメインパス3301のPI#Nと一対一に対応する。更に、各SUB_PI#Nの規定する再生開始時刻と再生終了時刻とはそれぞれ、対応するPI#Nの規定する再生開始時刻と再生終了時刻とに等しい。サブパス3302はその上、サブパス・タイプ3310を含む。「サブパス・タイプ」は一般に、メインパスとサブパスとの間で再生処理が同期すべきか否かを示す。3Dプレイリスト・ファイル242では特に、サブパス・タイプ3310が3D再生モードの種類、すなわち、サブパス3302に従って再生されるべきディペンデントビュー・ビデオ・ストリームの種類を示す。図33では、サブパス・タイプ3310は、その値が「3D・L/R」であるので、3D再生モードがL/Rモードであること、すなわち、ライトビュー・ビデオ・ストリームが再生対象であることを示す。一方、サブパス・タイプ3310は、その値が「3Dデプス」であるとき、3D再生モードがデプス・モードであること、すなわち、デプスマップ・ストリームが再生対象であることを示す。3D再生モードの再生装置102は、サブパス・タイプ3310の値が「3D・L/R」又は「3Dデプス」であることを検出したとき、メインパス3301に従った再生処理と、サブパス3302に従った再生処理とを同期させる。
拡張データ3303は、3D再生モードの再生装置102によってのみ解釈される部分であり、2D再生モードの再生装置102には無視される。拡張データ3303は特に拡張ストリーム選択テーブル3330を含む。拡張ストリーム選択テーブル(以下、STNテーブルSSと略す。)は、3D再生モードにおいて、メインパス3301内の各PIの示すSTNテーブルに追加されるべきストリーム登録情報の配列である。このストリーム登録情報は、サブTSから再生対象として選択可能なエレメンタリ・ストリームを示す。
[STNテーブルSS]
図34は、STNテーブルSS3330のデータ構造を示す模式図である。図34を参照するに、STNテーブルSS3330はストリーム登録情報列3401、3402、3403、…、を含む。ストリーム登録情報列3401、3402、3403、…、はメインパス3301内のPI#1、#2、#3、…、に個別に対応する。3D再生モードの再生装置102はそれらのストリーム登録情報列3401、3402、3403を、対応するPI内のSTNテーブルに含まれるストリーム登録情報列と組み合わせて利用する。各PIに対するストリーム登録情報列3401−3403は、ディペンデントビュー・ビデオ・ストリームのストリーム登録情報列3412、PGストリームのストリーム登録情報列3413、及びIGストリームのストリーム登録情報列3414を含む。
ディペンデントビュー・ビデオ・ストリームのストリーム登録情報列3412、PGストリームのストリーム登録情報列3413、及びIGストリームのストリーム登録情報列3414はそれぞれ、サブTSから再生対象として選択可能なディペンデントビュー・ビデオ・ストリーム、PGストリーム、及びIGストリームを示すストリーム登録情報を含む。これらのストリーム登録情報列3412、3413、3414はそれぞれ、対応するPI内のSTNテーブルに含まれるストリーム登録情報列のうち、ベースビュー・ビデオ・ストリーム、PGストリーム、及びIGストリームを示すものと組み合わされて利用される。3D再生モードの再生装置102は、STNテーブル内のいずれかのストリーム登録情報列を読み出すとき、そのストリーム登録情報列に組み合わされたSTNテーブルSS内のストリーム登録情報列も自動的に読み出す。それにより、再生装置102は、2D再生モードを単に3D再生モードへ切り換えるとき、設定済みのSTN、及び言語等のストリーム属性を同一に維持できる。
ディペンデントビュー・ビデオ・ストリームのストリーム登録情報列3412は、一般に複数のストリーム登録情報(SS_dependent_view_block)3420を含む。それらは、対応するPI内のストリーム登録情報のうち、ベースビュー・ビデオ・ストリームを示すものと同数である。各ストリーム登録情報3420は、STN3421、ストリーム・エントリ3422、及びストリーム属性情報3423を含む。STN3421は、ストリーム登録情報3420に個別に割り当てられた通し番号であり、対応するPI内の組み合わせ対象のストリーム登録情報のSTNと等しい。ストリーム・エントリ3422は、サブパスID参照情報(ref_to_Subpath_id)3431、ストリーム・ファイル参照情報(ref_to_subClip_entry_id)3432、及びPID(ref_to_stream_PID_subclip)3433を含む。サブパスID参照情報3431は、ディペンデントビュー・ビデオ・ストリームの再生経路を規定するサブパスのサブパスIDを示す。ストリーム・ファイル参照情報3432は、そのディペンデントビュー・ビデオ・ストリームが格納されたファイルDEPを識別するための情報である。PID3433はそのディペンデントビュー・ビデオ・ストリームのPIDである。ストリーム属性情報3423は、そのディペンデントビュー・ビデオ・ストリームの属性、例えば、フレームレート、解像度、及びビデオ・フォーマットを含む。特にそれらは、対応するPI内の組み合わせ対象のストリーム登録情報の示すベースビュー・ビデオ・ストリームのものと共通である。
PGストリームのストリーム登録情報列3413は、一般に複数のストリーム登録情報3440を含む。それらは、対応するPI内のストリーム登録情報のうち、PGストリームを示すものと同数である。各ストリーム登録情報3440は、STN3434、ベースビュー・ストリーム・エントリ(stream_entry_for_base_view)3443、ディペンデントビュー・ストリーム・エントリ(stream_entry_for_depentdent_view)3444、及びストリーム属性情報3445を含む。STN3434は、ストリーム登録情報3440に個別に割り当てられた通し番号であり、対応するPI内の組み合わせ対象のストリーム登録情報のSTNと等しい。ベースビュー・ストリーム・エントリ3443とディペンデントビュー・ストリーム・エントリ3444とはそれぞれ、サブパスID参照情報3451、ストリーム・ファイル参照情報3452、及びPID3453を含む。サブパスID参照情報3451は、ベースビューとディペンデントビューとの各PGストリームの再生経路を規定するサブパスのサブパスIDを示す。ストリーム・ファイル参照情報3452は、各PGストリームが格納されたファイルDEPを識別するための情報である。PID3453は各PGストリームのPIDである。ストリーム属性情報3445は各PGストリームの属性、例えば言語の種類を含む。IGストリームのストリーム登録情報列3414も同様なデータ構造を持つ。
[3Dプレイリスト・ファイルに従った3D映像の再生]
図35は、3Dプレイリスト・ファイル242の示すPTSと、ファイルSS223から再生される部分との間の対応関係を示す模式図である。図35を参照するに、3Dプレイリスト・ファイル242のメインパス3301では、PI#1は、再生開始時刻IN1を示すPTS#1と、再生終了時刻OUT1を示すPTS#2とを規定する。PI#1の参照クリップ情報は2Dクリップ情報ファイル231を示す。サブパス3302では、SUB_PI#1が、PI#1と同じPTS#1、#2を規定する。SUB_PI#1の参照クリップ情報はDEPクリップ情報ファイル232を示す。
再生装置102は3Dプレイリスト・ファイル242に従って3D映像を再生するとき、まずPI#1とSUB_PI#1とからPTS#1、#2を読み出す。再生装置102は次に2Dクリップ情報ファイル231のエントリ・マップを参照し、PTS#1、#2に対応するファイル2D221内のSPN#1、#2を検索する。それと並行して、再生装置102はDEPクリップ情報ファイル232のエントリ・マップを参照し、PTS#1、#2に対応するファイルDEP222内のSPN#11、#12を検索する。再生装置102は続いて、図29の(e)の説明で述べたように、各クリップ情報ファイル231、232のエクステント起点2742、2920を利用して、ファイルSS223の先頭から再生開始位置までのソースパケット数SPN#21をSPN#1、#11から算定する。再生装置102は同様に、ファイルSS223の先頭から再生終了位置までのソースパケット数SPN#22をSPN#2、#12から算定する。再生装置102は更にSPN#21、#22のそれぞれに対応するセクタ数を算定する。再生装置102は続いて、それらのセクタ数とファイルSS223のファイル・エントリとを利用して、再生対象のエクステント群EXTSS[0]、…、EXTSS[n]が記録されたセクタ群P11の先端のLBN#1と後端のLBN#2とを特定する。セクタ数の算定とLBNの特定とは、図29の(e)の説明で述べたものと同様である。再生装置102は最後に、LBN#1からLBN#2までの範囲をBD−ROMドライブ121に指定する。それに応じて、BD−ROMドライブ121はファイルSS223のファイル・エントリを利用して、その範囲のセクタ群P11から、各エクステントEXTSS[0]、…、EXTSS[n]に属するソースパケット群を読み出す。同様に、PI#2とSUB_PI#2との示すPTS#3、#4の対は、まずクリップ情報ファイル231、232の各エントリ・マップを利用してSPN#3、#4の対とSPN#13、#14の対とに変換される。次に、SPN#3、#13からはファイルSS223の先頭から再生開始位置までのソースパケット数SPN#23が算定され、SPN#4、#14からはファイルSS223の先頭から再生終了位置までのソースパケット数SPN#24が算定される。続いて、ファイルSS223のファイル・エントリを利用して、SPN#23、#24の対がLBN#3、#4の対に変換される。更に、LBN#3からLBN#4までの範囲のセクタ群P12から、ファイルSS223のエクステント群に属するソースパケット群が読み出される。
上記の読み出し処理と並行して、再生装置102は、図29の(e)の説明で述べたように各クリップ情報ファイル231、232のエクステント起点2742、2920を利用して、ファイルSS223の各エクステントからベースビュー・エクステントとディペンデントビュー・エクステントとを抽出して、パラレルに復号する。こうして、再生装置102は、3Dプレイリスト・ファイル242に従ってファイルSS223から3D映像を再生できる。
2−14:拡張プレイリスト・ファイル
図36は、拡張プレイリスト・ファイル243のデータ構造を示す模式図である。図36を参照するに、拡張プレイリスト・ファイル243は、メインパス3601、サブパス3602、及び拡張データ3603を含む。
メインパス3601はメインTSの再生経路を規定する。従って、メインパス3601は2Dプレイリスト・ファイル241のメインパス3001と実質的に等しい。すなわち、2D再生モードの再生装置102は、拡張プレイリスト・ファイル243のメインパス3601に従ってファイル2D221からフルHDの2D映像を再生できる。
サブパス3602は拡張ストリーム・ファイル224の再生経路を規定する。サブパス3602のデータ構造は2Dプレイリスト・ファイル241のサブパス3002、3003のデータ構造と同様である。従って、その同様なデータ構造の詳細、特にSUB_PIのデータ構造の詳細についての説明は、図30を用いた説明を援用する。
サブパス3602のSUB_PI#N(N=1、2、3、…)はメインパス3601のPI#Nと一対一に対応する。更に、各SUB_PI#Nの規定する再生開始時刻と再生終了時刻とはそれぞれ、対応するPI#Nの規定する再生開始時刻と再生終了時刻とに等しい。サブパス3602はその上、サブパス・タイプ3610を含む。拡張プレイリスト・ファイル243では特に、サブパス・タイプ3610の値が「4K2K」であり、再生装置102の動作モードが拡張再生モードであることを示す。拡張再生モードの再生装置102は、サブパス・タイプ3610が拡張再生モードを示すことを検出したとき、メインパス3601に従った再生処理と、サブパス3602に従った再生処理とを同期させる。
拡張データ3603は、拡張再生モードの再生装置102によってのみ解釈される部分であり、2D再生モード及び3D再生モードの再生装置102には無視される。拡張データ3603は特に拡張ストリーム選択テーブル3630を含む。拡張ストリーム選択テーブル(以下、STNテーブルEXと略す。)は、拡張再生モードにおいて、メインパス3601内の各PIの示すSTNテーブルに追加されるべきストリーム登録情報の配列である。このストリーム登録情報は、拡張ストリームから再生対象として選択可能なエレメンタリ・ストリームを示す。
[STNテーブルEX]
図37は、STNテーブルEX3630のデータ構造を示す模式図である。図37を参照するに、STNテーブルEX3630はストリーム登録情報列3701、3702、3703、…、を含む。ストリーム登録情報列3701、3702、3703、…、はメインパス3301内のPI#1、#2、#3、…、に個別に対応する。拡張再生モードの再生装置102はそれらのストリーム登録情報列3701、3702、3703を、対応するPI内のSTNテーブルに含まれるストリーム登録情報列と組み合わせて利用する。各PIに対するストリーム登録情報列3701は拡張ストリームのストリーム登録情報列3710を含む。
拡張ストリームのストリーム登録情報列3710は、対応するPI内のSTNテーブルに含まれるストリーム登録情報列のうち、ベースビュー・ビデオ・ストリームを示すものと組み合わされて利用される。拡張再生モードの再生装置102は、STNテーブル内のストリーム登録情報列を読み出すとき、そのストリーム登録情報に組み合わされたSTNテーブルEX内のストリーム登録情報列も自動的に読み出す。それにより、再生装置102は、2D再生モードを単に拡張再生モードへ切り換えるとき、設定済みのSTN、及び言語等のストリーム属性を同一に維持できる。
拡張ストリームのストリーム登録情報列3710は、一般に複数のストリーム登録情報3720を含む。それらは、対応するPI内のストリーム登録情報のうち、ベースビュー・ビデオ・ストリームを示すものと同数である。各ストリーム登録情報3720は、STN3721、ストリーム・エントリ3722、及びストリーム属性情報3723を含む。STN3721は、ストリーム登録情報3720に個別に割り当てられた通し番号であり、対応するPI内の組み合わせ対象のストリーム登録情報のSTNと等しい。ストリーム・エントリ3722は、サブパスID参照情報3731、ストリーム・ファイル参照情報3732、及びPID3733を含む。サブパスID参照情報3731は、拡張ストリームの再生経路を規定するサブパスのサブパスIDを示す。ストリーム・ファイル参照情報3732は、その拡張ストリームが格納された拡張ストリーム・ファイルを識別するための情報である。PID3733は、その拡張ストリームの中から選択されるべきエレメンタリ・ストリームのPID、特に解像度拡張情報のPIDである。ストリーム属性情報3723はその拡張ストリームの属性を含む。
[拡張プレイリスト・ファイルに従った4K2Kの映像の再生]
図38は、拡張プレイリスト・ファイル243の示すPTSと、ファイル2D221及び拡張ストリーム・ファイル224から再生される部分との間の対応関係を示す模式図である。図38を参照するに、拡張プレイリスト・ファイル243のメインパス3601では、PI#1は、再生開始時刻IN1を示すPTS#1と、再生終了時刻OUT1を示すPTS#2とを規定する。PI#1の参照クリップ情報は2Dクリップ情報ファイル231を示す。サブパス3602では、SUB_PI#1が、PI#1と同じPTS#1、#2を規定する。SUB_PI#1の参照クリップ情報は拡張クリップ情報ファイル233を示す。
再生装置102は拡張プレイリスト・ファイル243に従って4K2Kの2D映像を再生するとき、まずPI#1とSUB_PI#1とからPTS#1、#2を読み出す。再生装置102は次に2Dクリップ情報ファイル231のエントリ・マップを参照し、PTS#1、#2に対応するファイル2D221内のSPN#1、#2を検索する。それと並行して、再生装置102は拡張クリップ情報ファイル233のエントリ・マップを参照し、PTS#1、#2に対応する拡張ストリーム・ファイル224内のSPN#11、#12を検索する。再生装置102は続いて、SPN#1、#2から、それぞれに対応するセクタ数を算定する。再生装置102は更にそれらのセクタ数とファイル2D221のファイル・エントリとを利用して、再生対象のエクステント群EXT2D[0]、…、EXT2D[n]が記録されたセクタ群P1の先端のLBN#1と後端のLBN#2とを特定する。セクタ数の算定とLBNの特定とは、図28を用いて説明したとおりである。再生装置102は最後に、LBN#1からLBN#2までの範囲をBD−ROMドライブ121に指定する。同様に、再生装置102は、SPN#11、#12から、それぞれに対応するセクタ数を算定し、それらのセクタ数と拡張ストリーム・ファイル224のファイル・エントリとを利用して、再生対象の拡張エクステント群EXT3[0]、…、EXT3[i]が記録されたセクタ群P3の先端のLBN#11と後端のLBN#12とを特定する。再生装置102は更に、LBN#11からLBN#12までの範囲をBD−ROMドライブ121に指定する。再生装置102からの指定に応じて、BD−ROMドライブ121は、ファイル2D221のファイル・エントリを利用して、LBN#1からLBN#2までの範囲のセクタ群P1からファイル2D221のエクステントEXT2D[0]、…、EXT2D[n]を読み出す。それと並行して、BD−ROMドライブ121は、拡張ストリーム・ファイル224のファイル・エントリを利用して、LBN#11からLBN#12までの範囲のセクタ群P3から拡張エクステントEXT3[0]、…、EXT3[i]を読み出す。図11から理解されるとおり、LBN#1からLBN#2までの範囲と、LBN#11からLBN#12までの範囲とは重複しているので、ファイル2D221のエクステントEXT2D[0]、…、EXT2D[n]と拡張エクステントEXT3[0]、…、EXT3[i]とは、先頭のLBNが小さいものから順に読み出される。こうして、再生装置102は拡張プレイリスト・ファイル243のメインパス3601とサブパス3602とに従って、ファイル2D221と拡張ストリーム・ファイル224とから4K2Kの2D映像を再生できる。
2−15:インデックス・ファイル
図39は、図2に示されているインデックス・ファイル211のデータ構造を示す模式図である。図39を参照するに、インデックス・ファイル211はインデックス・テーブル3910を含む。インデックス・テーブル3910は、項目「ファーストプレイ」3901、「トップメニュー」3902、及び「タイトルk」3903(k=1、2、…、n:数nは1以上の整数である。)を含む。各項目には、MVオブジェクトMVO−2D、MVO−3D、MVO−EX、又はBD−JオブジェクトBDJO−2D、BDJO−3D、BDJO−EXのいずれかが対応付けられている。ユーザの操作又はアプリケーション・プログラムによってタイトル又はメニューが呼び出される度に、再生装置102の制御部は、インデックス・テーブル3910の対応する項目を参照する。制御部は更に、その項目に対応付けられているオブジェクトをBD−ROMディスク101から呼び出し、それに従って様々な処理を実行する。具体的には、項目「ファーストプレイ」3901には、BD−ROMディスク101がBD−ROMドライブ121へ挿入された時に呼び出されるべきオブジェクトが指定されている。項目「トップメニュー」3902には、例えばユーザの操作で「メニューに戻れ」というコマンドが入力された時に表示装置103にメニューを表示させるためのオブジェクトが指定されている。項目「タイトルk」3903には、BD−ROMディスク101上のコンテンツを構成するタイトルが個別に割り当てられている。例えばユーザの操作によって再生対象のタイトルが指定されたとき、そのタイトルが割り当てられている項目「タイトルk」には、そのタイトルに対応するAVストリーム・ファイルから映像を再生するためのオブジェクトが指定されている。
図39に示されている例では、項目「タイトル1」と項目「タイトル2」とがフルHDの2D映像のタイトルに割り当てられている。項目「タイトル1」に対応付けられているMVオブジェクトMVO−2Dは、2Dプレイリスト・ファイル241を用いたフルHDの2D映像の再生処理に関する命令群を含む。再生装置102によって項目「タイトル1」が参照されたとき、そのMVオブジェクトMVO−2Dに従い、2Dプレイリスト・ファイル241がBD−ROMディスク101から読み出され、それに規定された再生経路に沿ってフルHDの2D映像の再生処理が実行される。項目「タイトル2」に対応付けられているBD−JオブジェクトBDJO−2Dは、2Dプレイリスト・ファイル241を用いたフルHDの2D映像の再生処理に関するアプリケーション管理テーブルを含む。再生装置102によって項目「タイトル2」が参照されたとき、そのBD−JオブジェクトBDJO−2D内のアプリケーション管理テーブルに従ってJARファイル253からJavaアプリケーション・プログラムが呼び出されて実行される。それにより、2Dプレイリスト・ファイル241がBD−ROMディスク101から読み出され、それに規定された再生経路に沿ってフルHDの2D映像の再生処理が実行される。
更に、項目「タイトル3」と項目「タイトル4」とが3D映像のタイトルに割り当てられている。項目「タイトル3」に対応付けられているMVオブジェクトMVO−3Dは、2Dプレイリスト・ファイル241を用いたフルHDの2D映像の再生処理に関する命令群に加え、3Dプレイリスト・ファイル242を用いた3D映像の再生処理に関する命令群を含む。再生装置102によって項目「タイトル3」が参照されたとき、そのMVオブジェクトMVO−3Dに従い、3Dプレイリスト・ファイル242がBD−ROMディスク101から読み出され、それに規定された再生経路に沿って3D映像の再生処理が実行される。項目「タイトル4」に対応付けられているBD−JオブジェクトBDJO−3Dでは、アプリケーション管理テーブルが、2Dプレイリスト・ファイル241を用いたフルHDの2D映像の再生処理に関するJavaアプリケーション・プログラムに加え、3Dプレイリスト・ファイル242を用いた3D映像の再生処理に関するJavaアプリケーション・プログラムを規定する。再生装置102によって項目「タイトル4」が参照されたとき、そのBD−JオブジェクトBDJO−3D内のアプリケーション管理テーブルに従ってJARファイル253からJavaアプリケーション・プログラムが呼び出されて実行される。それにより、3Dプレイリスト・ファイル242がBD−ROMディスク101から読み出され、それに規定された再生経路に沿って3D映像の再生処理が実行される。
その他に、項目「タイトル5」と項目「タイトル6」とが4K2Kの2D映像のタイトルに割り当てられている。項目「タイトル5」に対応付けられているMVオブジェクトMVO−EXは、2Dプレイリスト・ファイル241を用いたフルHDの2D映像の再生処理に関する命令群に加え、拡張プレイリスト・ファイル243を用いた4K2Kの2D映像の再生処理に関する命令群を含む。再生装置102によって項目「タイトル5」が参照されたとき、そのMVオブジェクトMVO−EXに従い、拡張プレイリスト・ファイル243がBD−ROMディスク101から読み出され、それに規定された再生経路に沿って4K2Kの2D映像の再生処理が実行される。項目「タイトル6」に対応付けられているBD−JオブジェクトBDJO−EXは、2Dプレイリスト・ファイル241を用いたフルHDの2D映像の再生処理に関するアプリケーション管理テーブルに加え、拡張プレイリスト・ファイル243を用いた4K2Kの2D映像の再生処理に関するJavaアプリケーション・プログラムを規定する。再生装置102によって項目「タイトル6」が参照されたとき、そのBD−JオブジェクトBDJO−EX内のアプリケーション管理テーブルに従ってJARファイル253からJavaアプリケーション・プログラムが呼び出されて実行される。それにより、拡張プレイリスト・ファイル243がBD−ROMディスク101から読み出され、それに規定された再生経路に沿って4K2Kの2D映像の再生処理が実行される。
3:再生装置の構成
図40は、図1に示されている再生装置102の機能ブロック図である。図40を参照するに再生装置102は、BD−ROMドライブ4001、再生部4002、及び制御部4003を含む。再生部4002は、スイッチ4020、第1リード・バッファ(RB1)4021、第2リード・バッファ(RB2)4022、第3リード・バッファ(RB3)4023、システム・ターゲット・デコーダ4024、及びプレーン加算部4025を含む。制御部4003は、動的シナリオ・メモリ4031、静的シナリオ・メモリ4032、ユーザイベント処理部4033、プログラム実行部4034、再生制御部4035、及びプレーヤ変数記憶部4036を含む。再生部4002と制御部4003とは互いに異なる集積回路に実装されている。特にプログラム実行部4034と再生制御部4035とは、再生装置102に内蔵のCPUの機能によって実現される。その他に、再生部4002と制御部4003とが単一の集積回路に統合されていてもよい。
BD−ROMドライブ4001は、内部にBD−ROMディスク101が挿入されたとき、そのディスク101にレーザ光を照射してその反射光の変化を検出する。更に、その反射光の光量の変化から、ディスク101に記録されたデータを読み取る。具体的には、BD−ROMドライブ4001は光ピックアップ、すなわち光学ヘッドを備えている。その光学ヘッドは、半導体レーザ、コリメータ・レンズ、ビーム・スプリッタ、対物レンズ、集光レンズ、及び光検出器を含む。半導体レーザから出射された光ビームは、コリメータ・レンズ、ビーム・スプリッタ、及び対物レンズを順に通ってディスク101の記録層に集められる。集められた光ビームはその記録層で反射/回折される。その反射/回折光は、対物レンズ、ビーム・スプリッタ、及び集光レンズを通って光検出器に集められる。光検出器は、その集光量に応じたレベルの再生信号を生成する。更に、その再生信号からデータが復調される。
BD−ROMドライブ4001は、再生制御部4035からファイルの読み出し要求としてLBNの範囲が指示されたとき、そのファイルのファイル・エントリを利用して、BD−ROMディスク101上のその範囲に含まれるそのファイルのエクステントを順番に読み出す。読み出し対象のファイルが複数であり、各ファイルについて指定されたLBNの範囲が重複する場合、BD−ROMドライブ4001はその重複する部分では、いずれのファイルに属するかにかかわらず、先頭のLBNが小さいエクステントから順に読み出す。こうして読み出されたファイルのうち、AVストリーム・ファイルはスイッチ4020へ転送され、動的シナリオ情報は動的シナリオ・メモリ4031へ転送され、静的シナリオ情報は静的シナリオ・メモリ4032へ転送される。「動的シナリオ情報」はインデックス・ファイルとBDプログラム・ファイルとを含む。「静的シナリオ情報」はプレイリスト・ファイルとクリップ情報ファイルとを含む。
スイッチ4020は、AVストリーム・ファイルをエクステント単位で、BD−ROMドライブ4001からいずれかのリード・バッファ4021−4023へ転送する。2D再生モードの再生装置102では、スイッチ4020はファイル2DのエクステントをRB14021へ送出する。3D再生モードの再生装置102では、スイッチ4020は予め再生制御部4035から、ファイルSSのエクステントに関する境界情報を受信する。境界情報は、ファイルSSの各エクステントに含まれるベースビュー・エクステントとディペンデントビュー・エクステントとの間の境界を示す。具体的には、境界情報は、ファイルSSの各エクステントの先頭から、そのエクステントに含まれるベースビュー・エクステントとディペンデントビュー・エクステントとの各境界までのソースパケット数を示す。スイッチ4020は更に、その境界情報を利用して、ファイルSSの各エクステントから、ベースビュー・エクステントを抽出してRB14021へ送出し、ディペンデントビュー・エクステントを抽出してRB24022へ送出する。拡張再生モードの再生装置102では、スイッチ4020は、ファイル2DのエクステントをRB14021へ送出し、拡張ストリーム・ファイルのエクステントをRB34023へ送出する。BD−ROMドライブ4001からスイッチ4020へ送られる各エクステントがファイル2Dと拡張ストリーム・ファイルとのいずれに属するかについての情報は、BD−ROMドライブ4001からスイッチ4020へ送られる。
RB14021、RB24022、及びRB34023は、再生部4002内のメモリ素子を利用したバッファ・メモリである。特に単一のメモリ素子内の異なる領域が、RB14021、RB24022、及びRB34023として利用される。その他に、異なるメモリ素子が個別に各リード・バッファ4021−4023として利用されてもよい。RB14021はスイッチ4020からベースビュー・エクステントを受信して格納する。RB24022はスイッチ4020からディペンデントビュー・エクステントを受信して格納する。RB34023はスイッチ4020から拡張エクステントを受信して格納する。
システム・ターゲット・デコーダ4024は、各リード・バッファ4021−4023からエクステントをソースパケット単位で読み出して多重分離処理を行い、分離された各エレメンタリ・ストリームに対して復号処理を行う。ここで、復号対象のエレメンタリ・ストリームのPID、及び各エレメンタリ・ストリームの復号に必要な情報、例えばコーデックの種類及びストリームの属性は、予め再生制御部4035からシステム・ターゲット・デコーダ4024へ送られている。システム・ターゲット・デコーダ4024は更に、プライマリ・ビデオ・ストリームから復号されたビデオ・フレーム(以下、主映像プレーンという。)、セカンダリ・ビデオ・ストリームから復号されたビデオ・フレーム(以下、副映像プレーンという。)、PGストリームから復号されたPGプレーン、及びIGストリームから復号されたIGプレーンをプレーン加算部4025へ送出する。これらのプレーン・データは、2D再生モードではフルHDの2D映像を表し、3D再生モードではレフトビューとライトビューとの2D映像の対を表し、拡張再生モードでは4K2Kの2D映像を表す。一方、システム・ターゲット・デコーダ4024は、復号後のプライマリ・オーディオ・ストリームとセカンダリ・オーディオ・ストリームとをミキシングして、表示装置103の内蔵スピーカ103A等、音声出力装置へ送出する。システム・ターゲット・デコーダ4024はその他に、プログラム実行部4034からグラフィックス・データを受信する。そのグラフィックス・データは、GUI用のメニュー等のグラフィックスを画面に表示するためのものであり、JPEG又はPNG等のラスタ・データで表現されている。システム・ターゲット・デコーダ4024はそのグラフィックス・データを処理してイメージ・プレーンに変換し、プレーン加算部4025へ送出する。システム・ターゲット・デコーダ4024の詳細については後述する。
プレーン加算部4025はシステム・ターゲット・デコーダ4024から、主映像プレーン、副映像プレーン、PGプレーン、IGプレーン、及びイメージ・プレーンを読み出し、それらを互いに重畳して1枚のビデオ・フレームに合成する。特にL/Rモードでは、各プレーン・データは、レフトビューを表すものと、ライトビューを表すものとの対から成る。プレーン加算部4025は、レフトビューを表す主映像プレーンには、レフトビューを表す他のプレーン・データを重畳し、ライトビューを表す主映像プレーンには、ライトビューを表す他のプレーン・データを重畳する。一方、デプス・モードでは、各プレーン・データは、2D映像を表すものとデプスマップとの対から成る。従って、プレーン加算部4025はまず各プレーン・データからレフトビューとライトビューとのプレーン・データの対を生成する。その後の合成処理はL/Rモードでの合成処理と同様である。合成後の映像データはHDMI方式の映像信号に変換され、表示装置103へ送出される。2D再生モードのプレーン加算部4025はフルHDの2D映像のビデオ・フレームを送出する。3D再生モードのプレーン加算部4025はレフトビューのビデオ・フレームとライトビューのビデオ・フレームとを交互に送出する。拡張再生モードのプレーン加算部4025は4K2Kの2D映像のビデオ・フレームを送出する。
動的シナリオ・メモリ4031、及び静的シナリオ・メモリ4032はいずれもバッファ・メモリである。動的シナリオ・メモリ4031及び静的シナリオ・メモリ4032としては制御部4003内の異なるメモリ素子が利用される。その他に、単一のメモリ素子の異なる領域が動的シナリオ・メモリ4031及び静的シナリオ・メモリ4032として利用されてもよい。動的シナリオ・メモリ4031は動的シナリオ情報を格納し、静的シナリオ・メモリ4032は静的シナリオ情報を格納する。
ユーザイベント処理部4033は、リモコン105又は再生装置102のフロントパネルを通してユーザの操作を検出し、その操作の種類に依って、プログラム実行部4034又は再生制御部4035に処理を依頼する。例えば、ユーザがリモコン105のボタンを押下してポップアップ・メニューの表示を指示したとき、ユーザイベント処理部4033はその押下を検出してそのボタンを識別する。ユーザイベント処理部4033は更にプログラム実行部4034に、そのボタンに対応するコマンドの実行、すなわちポップアップ・メニューの表示処理を依頼する。一方、ユーザがリモコン105の早送り又は巻戻しボタンを押下したとき、ユーザイベント処理部4033はその押下を検出してそのボタンを識別する。ユーザイベント処理部4033は更に再生制御部4035に、現在再生中のプレイリストの早送り又は巻戻し処理を依頼する。
プログラム実行部4034は、動的シナリオ・メモリ4031に格納されたMVオブジェクト・ファイル及びBD−Jオブジェクト・ファイルからプログラムを読み出して実行する。プログラム実行部4034は更に各プログラムに従って次の制御を行う:(1)再生制御部4035に対してプレイリスト再生処理を命令する;(2)メニュー用又はゲーム用のグラフィックス・データをPNG又はJPEGのラスタ・データとして生成し、それをシステム・ターゲット・デコーダ4024へ転送して、他のプレーン・データに合成させる。これらの制御の具体的な内容は、プログラムの設計を通じて比較的自由に設計することができる。すなわち、それらの制御内容は、BD−ROMディスク101のオーサリング工程のうち、MVオブジェクト・ファイル及びBD−Jオブジェクト・ファイルのプログラミング工程によって決まる。
再生制御部4035は、各種のファイルをBD−ROMディスク101から、リード・バッファ4021−4023、動的シナリオ・メモリ4031、及び静的シナリオ・メモリ4032へ転送する処理を制御する。その制御にはBD−ROMディスク101のファイルシステムが利用される。具体的には、特定のファイルの転送が行われる際、再生制御部4035はまず、そのファイルの名前を利用して、BD−ROMディスク101上のディレクトリ/ファイル構造の中から、そのファイルのファイル・エントリを検索する。再生制御部4035は次に、そのファイル・エントリを利用して、転送対象のファイルの各エクステントが記録されたBD−ROMディスク101上のセクタ群を特定する。その後、再生制御部4035はそのセクタ群からのデータの読み出しをBD−ROMドライブ4001に指示する。その指示に応じて、BD−ROMドライブ4001は転送対象のファイルをエクステント単位で、BD−ROMディスク101から各バッファ・メモリ4021−4023、4031、4032へ転送する。
再生制御部4035は、BD−ROMドライブ4001とシステム・ターゲット・デコーダ4024とを制御して、AVストリーム・ファイルから映像データと音声データとを復号させる。具体的には、再生制御部4035はまず、プログラム実行部4034からの命令、又はユーザイベント処理部4033からの依頼に応じて、静的シナリオ・メモリ4032からプレイリスト・ファイルを読み出してその内容を解釈する。再生制御部4035は次に、その解釈された内容、特に再生経路に従って、BD−ROMドライブ4001とシステム・ターゲット・デコーダ4024とに再生対象のAVストリーム・ファイルを指定し、その読み出し処理及び復号処理を指示する。このようなプレイリスト・ファイルに従った再生処理を「プレイリスト再生処理」という。
2D再生モードの再生装置102では、再生制御部4035はプレイリスト再生処理をプログラム実行部4034等から命じられたとき、静的シナリオ・メモリ4032に格納された2Dプレイリスト・ファイルからPIを順番に読み出してカレントPIとして設定する。再生制御部4035はカレントPIを設定する度に、まず、そのSTNテーブルに従って、システム・ターゲット・デコーダ4024の動作条件を設定する。特に、再生制御部4035は復号対象のエレメンタリ・ストリームのPIDを選択して、そのエレメンタリ・ストリームの復号に必要な属性情報と共にシステム・ターゲット・デコーダ4024へ渡す。次に、再生制御部4035はカレントPIに従い、図32の説明に示されている手順で、読み出し対象のファイル2Dのエクステントが記録されたセクタ群のLBNの範囲をBD−ROMドライブ4001に指示する。
3D再生モードの再生装置102では、再生制御部4035はプレイリスト再生処理をプログラム実行部4034等から命じられたとき、静的シナリオ・メモリ4032に格納された3Dプレイリスト・ファイルからPIを順番に読み出してカレントPIとして設定する。再生制御部4035はカレントPIを設定する度に、まず、そのSTNテーブルとその3Dプレイリスト・ファイル内のSTNテーブルSSとに従って、システム・ターゲット・デコーダ4024とプレーン加算部4025との動作条件を設定する。特に、再生制御部4035は復号対象のエレメンタリ・ストリームのPIDを選択して、そのエレメンタリ・ストリームの復号に必要な属性情報と共にシステム・ターゲット・デコーダ4024へ渡す。次に、再生制御部4035はカレントPIに従い、図35の説明に示されている手順で、読み出し対象のファイルSSのエクステントが記録されたセクタ群のLBNの範囲をBD−ROMドライブ4001に指示する。一方、再生制御部4035は、静的シナリオ・メモリ4032に格納されたクリップ情報ファイル内のエクステント起点を利用して、ファイルSSのエクステントに関する境界情報を生成してスイッチ4020へ渡す。
拡張再生モードの再生装置102では、再生制御部4035はプレイリスト再生処理をプログラム実行部4034等から命じられたとき、静的シナリオ・メモリ4032に格納された拡張プレイリスト・ファイルからPIを順番に読み出してカレントPIとして設定する。再生制御部4035はカレントPIを設定する度に、まず、そのSTNテーブルとその拡張プレイリスト・ファイル内のSTNテーブルEXとに従って、システム・ターゲット・デコーダ4024の動作条件を設定する。特に、再生制御部4035は復号対象のエレメンタリ・ストリームのPIDを選択して、そのエレメンタリ・ストリームの復号に必要な属性情報と共にシステム・ターゲット・デコーダ4024へ渡す。次に、再生制御部4035はカレントPIに従い、図38の説明に示されている手順で、読み出し対象のファイル2Dと拡張ストリーム・ファイルとのエクステントが記録されたセクタ群のLBNの範囲をBD−ROMドライブ4001に指示する。
その他に、再生制御部4035は、静的シナリオ情報を利用してプレーヤ変数記憶部4036に各種のプレーヤ変数を設定する。再生制御部4035は更に、それらのプレーヤ変数を参照して、システム・ターゲット・デコーダ4024に復号対象のエレメンタリ・ストリームのPIDを指定し、かつ、各エレメンタリ・ストリームの復号に必要な情報を提供する。
プレーヤ変数記憶部4036は、プレーヤ変数を記憶するためのレジスタ群である。プレーヤ変数の種類にはシステム・パラメータ(SPRM)と汎用のパラメータ(GPRM)とがある。SPRMは再生装置102の状態を示す。SPRMは例えば64個であり、それぞれの示す意味は以下のとおりである。
SPRM(0) : 言語コード
SPRM(1) : プライマリ・オーディオ・ストリーム番号
SPRM(2) : 字幕ストリーム番号
SPRM(3) : アングル番号
SPRM(4) : タイトル番号
SPRM(5) : チャプタ番号
SPRM(6) : プログラム番号
SPRM(7) : セル番号
SPRM(8) : 選択キー情報
SPRM(9) : ナビゲーション・タイマー
SPRM(10) : 再生時刻情報
SPRM(11) : カラオケ用ミキシングモード
SPRM(12) : パレンタル用国情報
SPRM(13) : パレンタル・レベル
SPRM(14) : プレーヤ設定値(ビデオ)
SPRM(15) : プレーヤ設定値(オーディオ)
SPRM(16) : オーディオ・ストリーム用言語コード
SPRM(17) : オーディオ・ストリーム用言語コード(拡張)
SPRM(18) : 字幕ストリーム用言語コード
SPRM(19) : 字幕ストリーム用言語コード(拡張)
SPRM(20) : プレーヤ・リージョン・コード
SPRM(21) : セカンダリ・ビデオ・ストリーム番号
SPRM(22) : セカンダリ・オーディオ・ストリーム番号
SPRM(23) : 再生状態
SPRM(24)−SPRM(63):予備
SPRM(1) : プライマリ・オーディオ・ストリーム番号
SPRM(2) : 字幕ストリーム番号
SPRM(3) : アングル番号
SPRM(4) : タイトル番号
SPRM(5) : チャプタ番号
SPRM(6) : プログラム番号
SPRM(7) : セル番号
SPRM(8) : 選択キー情報
SPRM(9) : ナビゲーション・タイマー
SPRM(10) : 再生時刻情報
SPRM(11) : カラオケ用ミキシングモード
SPRM(12) : パレンタル用国情報
SPRM(13) : パレンタル・レベル
SPRM(14) : プレーヤ設定値(ビデオ)
SPRM(15) : プレーヤ設定値(オーディオ)
SPRM(16) : オーディオ・ストリーム用言語コード
SPRM(17) : オーディオ・ストリーム用言語コード(拡張)
SPRM(18) : 字幕ストリーム用言語コード
SPRM(19) : 字幕ストリーム用言語コード(拡張)
SPRM(20) : プレーヤ・リージョン・コード
SPRM(21) : セカンダリ・ビデオ・ストリーム番号
SPRM(22) : セカンダリ・オーディオ・ストリーム番号
SPRM(23) : 再生状態
SPRM(24)−SPRM(63):予備
SPRM(10)は、復号処理中のピクチャのPTSを示し、そのピクチャが復号される度に更新される。従って、SPRM(10)を参照すれば、現在の再生時点を知ることができる。
SPRM(16)のオーディオ・ストリーム用言語コード、及びSPRM(18)の字幕ストリーム用言語コードは、再生装置102のデフォルトの言語コードを示す。それらは再生装置102のOSD等を利用してユーザに変更させることもでき、プログラム実行部4034を通じてアプリケーション・プログラムに変更させることもできる。例えばSPRM(16)が「英語」を示しているとき、再生制御部4035はプレイリスト再生処理において、まず現時点での再生区間を示すPI、すなわちカレントPIの含むSTNテーブルから、「英語」の言語コードを含むストリーム・エントリを検索する。再生制御部4035は次に、そのストリーム・エントリのストリーム識別情報からPIDを抽出してシステム・ターゲット・デコーダ4024に渡す。それにより、そのPIDのオーディオ・ストリームがシステム・ターゲット・デコーダ4024によって選択されて復号される。これらの処理は、MVオブジェクト・ファイル又はBD−Jオブジェクト・ファイルを利用して再生制御部4035に実行させることができる。
プレーヤ変数は再生処理中、再生制御部4035によって再生状態の変化に応じて更新される。特に、SPRM(1)、SPRM(2)、SPRM(21)、及びSPRM(22)が更新される。それらは順に、処理中のオーディオ・ストリーム、字幕ストリーム、セカンダリ・ビデオ・ストリーム、及びセカンダリ・オーディオ・ストリームの各STNを示す。例えばプログラム実行部4034によってSPRM(1)が変更されたときを想定する。再生制御部4035はまず、変更後のSPRM(1)の示すSTNを利用して、カレントPI内のSTNテーブルから、そのSTNを含むストリーム・エントリを検索する。再生制御部4035は次に、そのストリーム・エントリ内のストリーム識別情報からPIDを抽出してシステム・ターゲット・デコーダ4024に渡す。それにより、そのPIDのオーディオ・ストリームがシステム・ターゲット・デコーダ4024によって選択されて復号される。こうして、再生対象のオーディオ・ストリームが切り換えられる。同様に、再生対象の字幕及びセカンダリ・ビデオ・ストリームを切り換えることもできる。
3−1:2Dプレイリスト再生処理
図41は、再生制御部4035による2Dプレイリスト再生処理のフローチャートである。2Dプレイリスト再生処理は、2Dプレイリスト・ファイルに従ったプレイリスト再生処理であり、再生制御部4035が静的シナリオ・メモリ4032から2Dプレイリスト・ファイルを読み出すことによって開始される。
ステップS4101では、再生制御部4035はまず、2Dプレイリスト・ファイル内のメインパスからPIを1つ読み出してカレントPIとして設定する。再生制御部4035は次に、そのカレントPIのSTNテーブルから再生対象のエレメンタリ・ストリームのPIDを選択し、かつ、それらの復号に必要な属性情報を特定する。選択されたPIDと属性情報とはシステム・ターゲット・デコーダ4024に指示される。再生制御部4035は更に、2Dプレイリスト・ファイル内のサブパスから、カレントPIに付随するSUB_PIを特定する。その後、処理はステップS4102へ進む。
ステップS4102では、再生制御部4035はカレントPIから、参照クリップ情報、再生開始時刻IN1を示すPTS#1、及び再生終了時刻OUT1を示すPTS#2を読み出す。その参照クリップ情報から、再生対象のファイル2Dに対応する2Dクリップ情報ファイルが特定される。更に、カレントPIに付随するSUB_PIが存在するときは、それらからも同様な情報が読み出される。その後、処理はステップS4103へ進む。
ステップS4103では、再生制御部4035は2Dクリップ情報ファイルのエントリ・マップを参照して、PTS#1、#2に対応するファイル2D内のSPN#1、#2を検索する。SUB_PIの示すPTSの対も同様にSPNの対に変換される。その後、処理はステップS4104へ進む。
ステップS4104では、再生制御部4035はSPN#1、#2から、それぞれに対応するセクタ数を算定する。具体的には、再生制御部4035はまず、SPN#1、#2のそれぞれとソースパケット1つ当たりのデータ量192バイトとの積を求める。再生制御部4035は次に、各積をセクタ1つ当たりのデータ量2048バイトで割ってその商を求める:N1=SPN#1×192/2048、N2=SPN#2×192/2048。商N1、N2は、メインTSのうち、SPN#1、#2のそれぞれが割り当てられたソースパケットよりも前の部分が記録されたセクタの総数に等しい。SUB_PIの示すPTSの対から変換されたSPNの対も同様にセクタ数の対に変換される。その後、処理はステップS4105へ進む。
ステップS4105では、再生制御部4035は、ステップS4104で得られたセクタ数N1、N2のそれぞれから、再生対象のエクステント群の先端と後端とのLBNを特定する。具体的には、再生制御部4035は、再生対象のファイル2Dのファイル・エントリを参照して、エクステント群が記録されたセクタ群の先頭から数えて(N1+1)番目のセクタのLBN=LBN#1と、(N2+1)番目のセクタのLBN=LBN#2とを特定する。再生制御部4035は更に、LBN#1からLBN#2までの範囲をBD−ROMドライブ4001に指定する。SUB_PIの示すPTSの対から変換されたセクタ数の対も同様にLBNの対に変換されて、BD−ROMドライブ4001に指定される。その結果、指定された範囲のセクタ群から、エクステント群に属するソースパケット群がアラインド・ユニット単位で読み出される。その後、処理はステップS4106へ進む。
ステップS4106では、再生制御部4035は、メインパスに未処理のPIが残されているか否かをチェックする。残されているときは、処理がステップS4101から繰り返される。残されていないときは、処理が終了する。
3−2:3Dプレイリスト再生処理
図42は、再生制御部4035による3Dプレイリスト再生処理のフローチャートである。3Dプレイリスト再生処理は、3Dプレイリスト・ファイルに従ったプレイリスト再生処理であり、再生制御部4035が静的シナリオ・メモリ4032から3Dプレイリスト・ファイルを読み出すことによって開始される。
ステップS4201では、再生制御部4035はまず、3Dプレイリスト・ファイル内のメインパスからPIを1つ読み出してカレントPIとして設定する。再生制御部4035は次に、そのカレントPIのSTNテーブルから再生対象のエレメンタリ・ストリームのPIDを選択し、かつ、それらの復号に必要な属性情報を特定する。再生制御部4035は更に、3Dプレイリスト・ファイル内のSTNテーブルSS3330のうち、カレントPIに対応するものから、再生対象のエレメンタリ・ストリームとして追加されるべきもののPIDを選択し、かつ、それらの復号に必要な属性情報を特定する。選択されたPIDと属性情報とはシステム・ターゲット・デコーダ4024に指示される。再生制御部4035はその他に、3Dプレイリスト・ファイル内のサブパスから、カレントPIと同時に参照されるべきSUB_PIを特定してカレントSUB_PIとして設定する。その後、処理はステップS4202へ進む。
ステップS4202では、再生制御部4035はカレントPIとカレントSUB_PIとのそれぞれから、参照クリップ情報、再生開始時刻IN1を示すPTS#1、及び再生終了時刻OUT1を示すPTS#2を読み出す。その参照クリップ情報から、再生対象のファイル2DとファイルDEPとのそれぞれに対応するクリップ情報ファイルが特定される。その後、処理はステップS4203へ進む。
ステップS4203では、再生制御部4035は、ステップS4202で特定されたクリップ情報ファイルの各エントリ・マップを参照して、PTS#1、#2に対応するファイル2D内のSPN#1、#2とファイルDEP内のSPN#11、#12とを検索する。再生制御部4035は更に、各クリップ情報ファイルのエクステント起点を利用して、ファイルSSの先頭から再生開始位置までのソースパケット数SPN#21をSPN#1、#11から算定し、ファイルSSの先頭から再生終了位置までのソースパケット数SPN#22をSPN#2、#12から算定する。具体的には、再生制御部4035はまず、2Dクリップ情報ファイルのエクステント起点の示すSPNの中から、SPN#1以下で最大のもの“Am”を検索し、DEPクリップ情報ファイルのエクステント起点の示すSPNの中から、SPN#11以下で最大のもの“Bm”を検索する。再生制御部4035は続いて、検索されたSPNの和Am+Bmを求めてSPN#21として決定する。再生制御部4035は次に、2Dクリップ情報ファイルのエクステント起点の示すSPNの中から、SPN#2よりも大きく、かつ最小のもの“An”を検索し、DEPクリップ情報ファイルのエクステント起点の示すSPNの中から、SPN#12より大きく、かつ最小のもの“Bn”を検索する。再生制御部4035は続いて、検索されたSPNの和An+Bnを求めてSPN#22として決定する。その後、処理はステップS4204へ進む。
ステップS4204では、再生制御部4035は、ステップS4203で決定されたSPN#21、#22をセクタ数の対N1、N2に変換する。具体的には、再生制御部4035はまず、SPN#21とソースパケット1つ当たりのデータ量192バイトとの積を求める。再生制御部4035は次に、その積をセクタ1つ当たりのデータ量2048バイトで割ったときの商SPN#21×192/2048を求める。この商は、ファイルSSの先頭から再生開始位置の直前までのセクタ数N1に等しい。同様に、再生制御部4035は、SPN#22から商SPN#22×192/2048を求める。この商は、ファイルSSの先頭から再生終了位置の直前までのセクタ数N2に等しい。その後、処理はステップS4205へ進む。
ステップS4205では、再生制御部4035は、ステップS4204で得られたセクタ数N1、N2のそれぞれから、再生対象のエクステント群の先端と後端とのLBNを特定する。具体的には、再生制御部4035は、再生対象のファイルSSのファイル・エントリを参照して、エクステント群が記録されたセクタ群の先頭から数えて(N1+1)番目のセクタのLBN=LBN#1と、(N2+1)番目のセクタのLBN=LBN#2とを特定する。再生制御部4035は更に、LBN#1からLBN#2までの範囲をBD−ROMドライブ4001に指定する。その結果、指定された範囲のセクタ群から、エクステント群に属するソースパケット群がアラインド・ユニット単位で読み出される。その後、処理はステップS4206へ進む。
ステップS4206では、再生制御部4035は、ステップS4203で利用されたクリップ情報ファイルのエクステント起点を再び利用して、ファイルSSのエクステント群に関する境界情報を生成し、スイッチ4020へ送出する。具体的な例として、再生開始位置を示すSPN#21が、各エクステント起点の示すSPNの和An+Bnに等しく、再生終了位置を示すSPN#22が、各エクステント起点の示すSPNの和Am+Bmに等しいときを想定する。そのとき、再生制御部4035は、各エクステント起点からSPNの差の列、A(n+1)−An、B(n+1)−Bn、A(n+2)−A(n+1)、B(n+2)−B(n+1)、…、Am−A(m−1)、Bm−B(m−1)を求めて、境界情報としてスイッチ4020へ送出する。図29の(e)に示されているとおり、この列は、ファイルSSのエクステントに含まれるベースビュー・エクステントとディペンデントビュー・エクステントとのそれぞれのソースパケット数を示す。スイッチ4020は、BD−ROMドライブ4001から受信されるファイルSSのエクステントのソースパケット数を0からカウントする。そのカウントが、境界情報の示すSPNの差と一致する度に、スイッチ4020は、ソースパケットの送出先をRB14021とRB24022との間で切り換え、かつカウントを0にリセットする。その結果、ファイルSSの各エクステントの先頭から{B(n+1)−Bn}個のソースパケット、すなわち最初のディペンデントビュー・エクステントはRB24022へ送出され、続く{A(n+1)−An}個のソースパケット、すなわち最初のベースビュー・エクステントはRB14021へ送出される。以降も同様に、スイッチ4020によって受信されるソースパケットの数が、境界情報の示すSPNの差と一致する度に、ファイルSSのエクステントからディペンデントビュー・エクステントとベースビュー・エクステントとが交互に抽出される。その後、処理はステップS4207へ進む。
ステップS4207では、再生制御部4035は、メインパスに未処理のPIが残されているか否かをチェックする。残されているときは、処理がステップS4201から繰り返される。残されていないときは、処理が終了する。
3−3:拡張プレイリスト再生処理
図43は、再生制御部4035による拡張プレイリスト再生処理のフローチャートである。拡張プレイリスト再生処理は、拡張プレイリスト・ファイルに従ったプレイリスト再生処理であり、再生制御部4035が静的シナリオ・メモリ4032から拡張プレイリスト・ファイルを読み出すことによって開始される。
ステップS4301では、再生制御部4035はまず、拡張プレイリスト・ファイル内のメインパスからPIを1つ読み出してカレントPIとして設定する。再生制御部4035は次に、そのカレントPIのSTNテーブルから再生対象のエレメンタリ・ストリームのPIDを選択し、かつ、それらの復号に必要な属性情報を特定する。再生制御部4035は更に、拡張プレイリスト・ファイル内のSTNテーブルEX3630のうち、カレントPIに対応するものから解像度拡張情報のPIDを選択し、かつその解像度拡張情報の復号に必要な属性情報を特定する。選択されたPIDと属性情報とはシステム・ターゲット・デコーダ4024に指示される。再生制御部4035は更に、拡張プレイリスト・ファイル内のサブパスから、カレントPIと同時に参照されるべきSUB_PIを特定してカレントSUB_PIとして設定する。その後、処理はステップS4302へ進む。
ステップS4302では、再生制御部4035はカレントPIとカレントSUB_PIとのそれぞれから、参照クリップ情報、再生開始時刻IN1を示すPTS#1、及び再生終了時刻OUT1を示すPTS#2を読み出す。その参照クリップ情報から、再生対象のファイル2Dと拡張ストリーム・ファイルとのそれぞれに対応するクリップ情報ファイルが特定される。その後、処理はステップS4303へ進む。
ステップS4303では、再生制御部4035は、ステップS4302で特定されたクリップ情報ファイルの各エントリ・マップを参照して、PTS#1、#2に対応するファイル2D内のSPN#1、#2と拡張ストリーム・ファイル内のSPN#11、#12とを検索する。その後、処理はステップS4304へ進む。
ステップS4304では、再生制御部4035はSPN#1、#2、#11、#12から、それぞれに対応するセクタ数を算定する。具体的には、再生制御部4035はまず、SPN#1、#2、#11、#12のそれぞれとソースパケット1つ当たりのデータ量192バイトとの積を求める。再生制御部4035は次に、各積をセクタ1つ当たりのデータ量2048バイトで割ってその商を求める:N1=SPN#1×192/2048、N2=SPN#2×192/2048、N11=SPN#11×192/2048、N12=SPN#12×192/2048。商N1、N2は、メインTSのうち、SPN#1、#2のそれぞれが割り当てられたソースパケットよりも前の部分が記録されたセクタの総数に等しい。商N11、N12は、拡張ストリームのうち、SPN#11、#12のそれぞれが割り当てられたソースパケットよりも前の部分が記録されたセクタの総数に等しい。その後、処理はステップS4305へ進む。
ステップS4305では、再生制御部4035は、ステップS4304で得られたセクタ数N1、N2のそれぞれから、再生対象のファイル2Dのエクステント群の先端と後端とのLBNを特定し、セクタ数N11、N12のそれぞれから、再生対象の拡張ストリーム・ファイルのエクステント群の先端と後端とのLBNを特定する。具体的には、再生制御部4035は、再生対象のファイル2Dのファイル・エントリを参照して、エクステント群が記録されたセクタ群の先頭から数えて(N1+1)番目のセクタのLBN=LBN#1と、(N2+1)番目のセクタのLBN=LBN#2とを特定する。再生制御部4035は更に、再生対象の拡張ストリーム・ファイルのファイル・エントリを参照して、エクステント群が記録されたセクタ群の先頭から数えて(N11+1)番目のセクタのLBN=LBN#11と、(N12+1)番目のセクタのLBN=LBN#12とを特定する。再生制御部4035は続いて、LBN#1からLBN#2までの範囲と、LBN#11からLBN#12までの範囲とをBD−ROMドライブ4001に指定する。その結果、指定された範囲のセクタ群から、ファイル2Dと拡張ストリーム・ファイルとのエクステントが、先頭のLBNの小さい順に読み出される。その後、処理はステップS4306へ進む。
ステップS4306では、再生制御部4035は、メインパスに未処理のPIが残されているか否かをチェックする。残されているときは、処理がステップS4301から繰り返される。残されていないときは、処理が終了する。
3−4:システム・ターゲット・デコーダ
[2D再生モードにおける構成]
図44は、2D再生モードのシステム・ターゲット・デコーダ4024の機能ブロック図である。図44を参照するに、システム・ターゲット・デコーダ4024は、ソース・デパケタイザ4410、ATCカウンタ4420、第1の27MHzクロック4430、PIDフィルタ4440、STCカウンタ(STC1)4450、第2の27MHzクロック4460、主映像デコーダ4470、副映像デコーダ4471、PGデコーダ4472、IGデコーダ4473、主音声デコーダ4474、副音声デコーダ4475、イメージ・プロセッサ4480、主映像プレーン・メモリ4490、副映像プレーン・メモリ4491、PGプレーン・メモリ4492、IGプレーン・メモリ4493、イメージ・プレーン・メモリ4494、及び音声ミキサ4495を含む。
ソース・デパケタイザ4410はRB14021からソースパケットを読み出し、その中からTSパケットを取り出してPIDフィルタ4440へ送出する。ソース・デパケタイザ4410は更にその送出時刻を、各ソースパケットのATSの示す時刻に合わせる。具体的には、ソース・デパケタイザ4410はまず、ATCカウンタ4420が生成するATCの値を監視する。ここで、ATCの値はATCカウンタ4420により、第1の27MHzクロック4430のクロック信号のパルスに応じてインクリメントされる。ソース・デパケタイザ4410は次に、ATCの値がソースパケットのATSと一致した瞬間、そのソースパケットから取り出されたTSパケットをPIDフィルタ4440へ転送する。そのような送出時刻の調節により、ソース・デパケタイザ4410からPIDフィルタ4440へのTSパケットの平均転送速度は、図27に示されている2Dクリップ情報ファイル231内のシステム・レート2711で規定される値RTSを超えない。
PIDフィルタ4440はまず、ソース・デパケタイザ4410から送出されたTSパケットの含むPIDを監視する。そのPIDが、再生制御部4035から予め指定されたPIDに一致したとき、PIDフィルタ4440はそのTSパケットを選択し、そのPIDの示すエレメンタリ・ストリームの復号に適したデコーダ4470−4475へ転送する。例えばPIDが0x1011であるとき、そのTSパケットは主映像デコーダ4470へ転送される。一方、PIDが、0x1B00−0x1B1F、0x1100−0x111F、0x1A00−0x1A1F、0x1200−0x121F、及び0x1400−0x141Fの各範囲に属するとき、TSパケットはそれぞれ、副映像デコーダ4471、主音声デコーダ4474、副音声デコーダ4475、PGデコーダ4472、及びIGデコーダ4473へ転送される。
PIDフィルタ4440は更に、各TSパケットのPIDを利用してそのTSパケットの中からPCRを検出する。PIDフィルタ4440はそのとき、STCカウンタ4450の値を所定値に設定する。ここで、STCカウンタ4450の値は、第2の27MHzクロック4460のクロック信号のパルスに応じてインクリメントされる。また、STCカウンタ4450に設定されるべき値は予め、再生制御部4035からPIDフィルタ4440に指示されている。各デコーダ4470−4475はSTCカウンタ4450の値をSTCとして利用する。具体的には、各デコーダ4470−4475は、まず、PIDフィルタ4440から受け取ったTSパケットをPESパケットに再構成する。各デコーダ4470−4475は、次に、そのPESペイロードの含むデータの復号処理の時期を、そのPESヘッダに含まれるPTS又はDTSの示す時刻に従って調節する。
主映像デコーダ4470は、図44に示されているように、トランスポート・ストリーム・バッファ(TB:Transport Stream Buffer)4401、多重化バッファ(MB:MultiplexingBuffer)4402、エレメンタリ・ストリーム・バッファ(EB:ElementaryStream Buffer)4403、圧縮映像デコーダ(DEC)4404、及び復号ピクチャ・バッファ(DPB:Decoded Picture Buffer)4405を含む。
TB4401、MB4402、及びEB4403はいずれもバッファ・メモリであり、それぞれ主映像デコーダ4470に内蔵のメモリ素子の一領域を利用する。その他に、それらのいずれか又は全てが異なるメモリ素子に分離されていてもよい。TB4401は、PIDフィルタ4440から受信されたTSパケットをそのまま蓄積する。MB4402は、TB4401に蓄積されたTSパケットから復元されたPESパケットを蓄積する。尚、TB4401からMB4402へTSパケットが転送されるとき、そのTSパケットからTSヘッダが除去される。EB4403は、PESパケットから、符号化されたVAUを抽出して格納する。そのVAUには、圧縮ピクチャ、すなわち、Iピクチャ、Bピクチャ、及びPピクチャが格納されている。尚、MB4402からEB4403へデータが転送されるとき、そのPESパケットからPESヘッダが除去される。
DEC4404は、圧縮ピクチャの復号処理に特化したハードウェア・デコーダであり、特にその復号処理のアクセラレータ機能を備えたLSIで構成されている。DEC4404は、EB4403内の各VAUからピクチャを、元のPESパケットに含まれるDTSの示す時刻に復号する。その復号処理では、DEC4404は予めそのVAUのヘッダを解析して、そのVAU内に格納された圧縮ピクチャの圧縮符号化方式とストリーム属性とを特定し、それらに依って復号方法を選択する。その圧縮符号化方式は、例えば、MPEG−2、MPEG−4 AVC、及びVC1を含む。DEC4404は更に、復号された非圧縮のピクチャをDPB4405へ転送する。
DPB4405は、TB4401、MB4402、及びEB4403と同様なバッファ・メモリであり、主映像デコーダ4470に内蔵のメモリ素子の一領域を利用する。DPB4405はその他に、他のバッファ・メモリ4401、4402、4403とは異なるメモリ素子に分離されていてもよい。DPB4405は復号後のピクチャを一時的に保持する。DEC4404によってPピクチャ又はBピクチャが復号されるとき、DPB4405はDEC4404からの指示に応じて、保持している復号後のピクチャから参照ピクチャを検索してDEC4404に提供する。DPB4405は更に、保持している各ピクチャを、元のPESパケットに含まれるPTSの示す時刻に主映像プレーン・メモリ4490へ書き込む。
副映像デコーダ4471は主映像デコーダ4470と同様の構成を含む。副映像デコーダ4471はまず、PIDフィルタ4440から受信されたセカンダリ・ビデオ・ストリームのTSパケットを非圧縮のピクチャに復号する。副映像デコーダ4471は次に、それらのTSパケットから復元されたPESパケットに含まれるPTSの示す時刻に、その非圧縮のピクチャを副映像プレーン・メモリ4491へ書き込む。
PGデコーダ4472は、PIDフィルタ4440から受信されたTSパケットを非圧縮のグラフィックス・オブジェクトに復号する。PGデコーダ4472は更に、それらのTSパケットから復元されたPESパケットに含まれるPTSの示す時刻に、その非圧縮のグラフィックス・オブジェクトをPGプレーン・メモリ4492へ書き込む。
IGデコーダ4473は、PIDフィルタ4440から受信されたTSパケットを非圧縮のグラフィックス・オブジェクトに復号する。IGデコーダ4473は更に、それらのTSパケットから復元されたPESパケットに含まれるPTSの示す時刻に、その非圧縮のグラフィックス・オブジェクトをIGプレーン・メモリ4493へ書き込む。
主音声デコーダ4474はまず、PIDフィルタ4440から受信されたTSパケットを内蔵のバッファに蓄える。主音声デコーダ4474は次に、そのバッファ内のTSパケット群からTSヘッダとPESヘッダとを除去し、残りのデータを非圧縮のLPCM音声データに復号する。主音声デコーダ4474は更にその音声データを、元のPESパケットに含まれるPTSの示す時刻に音声ミキサ4495へ送出する。ここで、主音声デコーダ4474は、TSパケットに含まれるプライマリ・オーディオ・ストリームの圧縮符号化方式及びストリーム属性に依って圧縮音声データの復号方法を選択する。その圧縮符号化方式は例えばAC−3又はDTSを含む。
副音声デコーダ4475は主音声デコーダ4474と同様の構成を含む。副音声デコーダ4475はまず、PIDフィルタ4440から受信されたセカンダリ・オーディオ・ストリームのTSパケット群からPESパケットを復元し、そのPESペイロードの含むデータを非圧縮のLPCM音声データに復号する。副音声デコーダ4475は次に、そのPESヘッダの含むPTSの示す時刻にその非圧縮のLPCM音声データを音声ミキサ4495へ送出する。ここで、副音声デコーダ4475は、TSパケットに含まれるセカンダリ・オーディオ・ストリームの圧縮符号化方式及びストリーム属性に依って圧縮音声データの復号方法を選択する。その圧縮符号化方式は例えばドルビー・デジタル・プラス又はDTS−HD LBRを含む。
音声ミキサ4495は、主音声デコーダ4474と副音声デコーダ4475とのそれぞれから非圧縮の音声データを受信し、それらを用いてミキシングを行う。音声ミキサ4495は更に、そのミキシングで得られた合成音を表示装置103の内蔵スピーカ103A等へ送出する。
イメージ・プロセッサ4480は、プログラム実行部4034からグラフィックス・データ、すなわちPNG又はJPEGのラスタ・データを受信する。イメージ・プロセッサ4480はそのとき、そのグラフィックス・データに対するレンダリング処理を行ってイメージ・プレーン・メモリ4494へ書き込む。
主映像プレーン・メモリ4490、副映像プレーン・メモリ4491、PGプレーン・メモリ4492、IGプレーン・メモリ4493、及びイメージ・プレーン・メモリ4494は、システム・ターゲット・デコーダ4024に内蔵のメモリ素子の異なる領域に確保されている。その他に、各プレーン・メモリ4490−4494が異なるメモリ素子に分離されていてもよい。各プレーン・メモリ4490−4494は、対応するプレーン・データを格納可能であり、少なくとも1枚のビデオ・フレームとサイズが等しい。
[3D再生モードにおける構成]
図45は、3D再生モードのシステム・ターゲット・デコーダ4024の機能ブロック図である。図45に示されている構成要素は、図44に示されているものとは次の3点で異なる:(1)リード・バッファから各デコーダへの入力系統が二重化されている;(2)主映像デコーダ、副映像デコーダ、PGデコーダ、及びIGデコーダはいずれも、メインTSとサブTSとを交互に復号できる;(3)各プレーン・メモリは、レフトビューとライトビューとのそれぞれを表すプレーン・データを格納可能である。一方、主音声デコーダ、副音声デコーダ、音声ミキサ、及びイメージ・プロセッサは、図44に示されているものと同様である。従って、以下では、図45に示されている構成要素のうち、図44に示されているものとは異なるものについて説明し、同様なものの詳細についての説明は、図44についての説明を援用する。更に、各デコーダはいずれも同様な構造を持つので、以下では主映像デコーダ4515の構造について説明する。同様な説明は他のデコーダの構造についても成立する。
第1ソース・デパケタイザ4511は、RB14021からソースパケットを読み出し、更にその中からTSパケットを抽出して第1PIDフィルタ4513へ送出する。第2ソース・デパケタイザ4512は、RB24022からソースパケットを読み出し、更にその中からTSパケットを抽出して第2PIDフィルタ4514へ送出する。各ソース・デパケタイザ4511、4512は更に、各TSパケットの送出時刻を、各ソースパケットのATSの示す時刻に合わせる。その同期方法は、図44に示されているソース・デパケタイザ4410による方法と同様である。従って、その詳細についての説明は図44についての説明を援用する。そのような送出時刻の調節により、第1ソース・デパケタイザ4511から第1PIDフィルタ4513へのTSパケットの平均転送速度RTS1は、2Dクリップ情報ファイルの示すシステム・レートを超えない。同様に、第2ソース・デパケタイザ4512から第2PIDフィルタ4514へのTSパケットの平均転送速度RTS2は、DEPクリップ情報ファイルの示すシステム・レートを超えない。
第1PIDフィルタ4513は、第1ソース・デパケタイザ4511からTSパケットを受信する度に、そのPIDを選択対象のPIDと比較する。その選択対象のPIDは再生制御部4035によって予め、3Dプレイリスト・ファイル内のSTNテーブルに従って指定されている。両方のPIDが一致したとき、第1PIDフィルタ4513はそのTSパケットを、そのPIDに割り当てられたデコーダへ転送する。例えば、PIDが0x1011であるとき、そのTSパケットは主映像デコーダ4515内のTB14501へ転送される。その他に、PIDが、0x1B00−0x1B1F、0x1100−0x111F、0x1A00−0x1A1F、0x1200−0x121F、及び0x1400−0x141Fの各範囲に属するとき、対応するTSパケットはそれぞれ、副映像デコーダ、主音声デコーダ、副音声デコーダ、PGデコーダ、及びIGデコーダへ転送される。
第2PIDフィルタ4514は、第2ソース・デパケタイザ4512からTSパケットを受信する度に、そのPIDを選択対象のPIDと比較する。その選択対象のPIDは、再生制御部4035によって予め、3Dプレイリスト・ファイル内のSTNテーブルSSに従って指定されている。両方のPIDが一致したとき、第2PIDフィルタ4514はそのTSパケットを、そのPIDに割り当てられたデコーダへ転送する。例えば、PIDが0x1012又は0x1013であるとき、そのTSパケットは主映像デコーダ4515内のTB24508へ転送される。その他に、PIDが、0x1B20−0x1B3F、0x1220−0x127F、及び0x1420−0x147Fの各範囲に属するとき、対応するTSパケットはそれぞれ、副映像デコーダ、PGデコーダ、及びIGデコーダへ転送される。
主映像デコーダ4515は、TB14501、MB14502、EB14503、TB24508、MB24509、EB24510、バッファ・スイッチ4506、DEC4504、DPB4505、及びピクチャ・スイッチ4507を含む。TB14501、MB14502、EB14503、TB24508、MB24509、EB24510、及びDPB4505はいずれもバッファ・メモリである。各バッファ・メモリは、主映像デコーダ4515に内蔵されたメモリ素子の一領域を利用する。その他に、それらのバッファ・メモリのいずれか又は全てが、異なるメモリ素子に分離されていてもよい。
TB14501は、ベースビュー・ビデオ・ストリームを含むTSパケットを第1PIDフィルタ4513から受信してそのまま蓄積する。MB14502は、TB14501に蓄積されたTSパケットからPESパケットを復元して蓄積する。そのとき、各TSパケットからTSヘッダが除去される。EB14503は、MB14502に蓄積されたPESパケットから、符号化されたVAUを抽出して蓄積する。そのとき、各PESパケットからPESヘッダが除去される。
TB24508は、ディペンデントビュー・ビデオ・ストリームを含むTSパケットを第2PIDフィルタ4514から受信してそのまま蓄積する。MB24509は、TB24508に蓄積されたTSパケットからPESパケットを復元して蓄積する。そのとき、各TSパケットからTSヘッダが除去される。EB24510は、MB24509に蓄積されたPESパケットから、符号化されたVAUを抽出して蓄積する。そのとき、各PESパケットからPESヘッダが除去される。
バッファ・スイッチ4506は、EB14503とEB24510とのそれぞれに蓄積されたVAUのヘッダをDEC4504からの要求に応じて転送する。バッファ・スイッチ4506は更に、そのVAUの圧縮ピクチャ・データを、元のPESパケットに含まれるDTSの示す時刻にDEC4504へ転送する。ここで、ベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとの間では、同じ3D・VAUに属する一対のピクチャのDTSが等しい。従って、バッファ・スイッチ4506は、DTSの等しい一対のVAUのうち、EB14503に蓄積された方を先にDEC4504へ転送する。
DEC4504は、図44に示されているDEC4404と同様、圧縮ピクチャの復号処理に特化したハードウェア・デコーダであり、特にその復号処理のアクセラレータ機能を備えたLSIで構成されている。DEC4504は、バッファ・スイッチ4506から転送された圧縮ピクチャ・データを順次復号する。その復号処理では、DEC4504は予め、各VAUのヘッダを解析して、そのVAU内に格納された圧縮ピクチャの圧縮符号化方式とストリーム属性とを特定し、それらに応じて復号方法を選択する。ここで、その圧縮符号化方式は、例えば、MPEG−2、MPEG−4 AVC、MVC、及びVC1を含む。DEC4504は更に、復号された非圧縮のピクチャをDPB4505へ転送する。
DPB4505は、復号された非圧縮のピクチャを一時的に保持する。DEC4504がPピクチャ及びBピクチャを復号するとき、DPB4505はDEC4504からの要求に応じて、保持されている非圧縮のピクチャの中から参照ピクチャを検索してDEC4504に提供する。
ピクチャ・スイッチ4507は、DPB4505から非圧縮の各ピクチャを、元のPESパケットに含まれるPTSの示す時刻に、左映像プレーン・メモリ4520と右映像プレーン・メモリ4521とのいずれかに書き込む。ここで、同じ3D・VAUに属するベースビュー・ピクチャとディペンデントビュー・ピクチャとではPTSが等しい。従って、ピクチャ・スイッチ4507は、DPB4505に保持された、PTSの等しい一対のピクチャのうち、ベースビュー・ピクチャを先に左映像プレーン・メモリ4520に書き込み、続いてディペンデントビュー・ピクチャを右映像プレーン・メモリ4521に書き込む。
[拡張再生モードにおける構成]
図46は、拡張再生モードのシステム・ターゲット・デコーダ4024の機能ブロック図である。図46に示されている構成要素は、図45に示されているものとは次の2点で異なる:(1)主映像デコーダ、副映像デコーダ、PGデコーダ、及びIGデコーダはいずれも、メインTSと拡張ストリームとを交互に復号できる;(2)各プレーン・メモリは4K2Kのプレーン・データを格納可能である。一方、主音声デコーダ、副音声デコーダ、音声ミキサ、及びイメージ・プロセッサは、図45に示されているものと同様である。従って、以下では、図46に示されている構成要素のうち、図45に示されているものとは異なるものについて説明し、同様なものの詳細についての説明は、図45についての説明を援用する。更に、各デコーダはいずれも同様な構造を持つので、以下では主映像デコーダ4615の構造について説明する。同様な説明は他のデコーダの構造についても成立する。
第2ソース・デパケタイザ4512は、RB34023からソースパケットを読み出し、更にその中からTSパケットを抽出して第2PIDフィルタ4514へ送出する。第2ソース・デパケタイザ4512から第2PIDフィルタ4514へのTSパケットの平均転送速度RTS3は、拡張クリップ情報ファイルの示すシステム・レートを超えない。
第2PIDフィルタ4514は、第2ソース・デパケタイザ4512からTSパケットを受信する度に、そのPIDを選択対象のPIDと比較する。その選択対象のPIDは、再生制御部4035によって予め、拡張プレイリスト・ファイル内のSTNテーブルEXに従って指定されている。両方のPIDが一致したとき、第2PIDフィルタ4514はそのTSパケットを、そのPIDに割り当てられたデコーダへ転送する。例えば、PIDが0x1014であるとき、そのTSパケットは主映像デコーダ4615内のTB24608へ転送される。
主映像デコーダ4615は、TB14601、MB14602、EB14603、TB24608、MB24609、EB24610、解像度拡張制御部4606、DEC4604、DPB4605、及び加算器4607を含む。TB14601、MB14602、EB14603、TB24608、MB24609、EB24610、及びDPB4605はいずれもバッファ・メモリである。各バッファ・メモリは、主映像デコーダ4615に内蔵されたメモリ素子の一領域を利用する。その他に、それらのバッファ・メモリのいずれか又は全てが、異なるメモリ素子に分離されていてもよい。
TB14601は、ベースビュー・ビデオ・ストリームを含むTSパケットを第1PIDフィルタ4513から受信してそのまま蓄積する。MB14602は、TB14601に蓄積されたTSパケットからPESパケットを復元して蓄積する。そのとき、各TSパケットからTSヘッダが除去される。EB14603は、MB14602に蓄積されたPESパケットから、符号化されたVAUを抽出して蓄積する。そのとき、各PESパケットからPESヘッダが除去される。
TB24608は、解像度拡張情報を含むTSパケットを第2PIDフィルタ4514から受信してそのまま蓄積する。MB24609は、TB24608に蓄積されたTSパケットからPESパケットを復元して蓄積する。そのとき、各TSパケットからTSヘッダが除去される。EB24610は、MB24609に蓄積されたPESパケットから、符号化されたVAUを抽出して蓄積する。そのとき、各PESパケットからPESヘッダが除去される。
解像度拡張制御部4606は、EB24610に蓄積された解像度拡張情報から拡張後の解像度と補間方式とを読み取ってDEC4604へ指示する。解像度拡張制御部4606は更に、その解像度拡張情報から差分画素情報を読み取り、元のPESパケットに含まれるDTSの示す時刻に加算器4607へ送出する。ここで、ベースビュー・ビデオ・ストリームと拡張ストリームとでは、1枚の4K2Kのビデオ・フレームを構成するのに必要なピクチャと解像度拡張情報とのDTSが等しい。
DEC4604は、図44に示されているDEC4404と同様、圧縮ピクチャの復号処理に特化したハードウェア・デコーダであり、特にその復号処理のアクセラレータ機能を備えたLSIで構成されている。DEC4604は、EB14603から転送された圧縮ピクチャ・データを順次復号する。その復号処理では、DEC4604は予め各VAUのヘッダを解析して、そのVAU内に格納された圧縮ピクチャの圧縮符号化方式とストリーム属性とを特定し、それらに応じて復号方法を選択する。ここで、その圧縮符号化方式は、例えば、MPEG−2、MPEG−4 AVC、及びVC1を含む。
DEC4604は更に、解像度拡張制御部4606から指定された補間方式を用いて、復号された非圧縮のピクチャの解像度をフルHDから、解像度拡張制御部4606から指示された解像度、すなわち4K2Kへ上昇させる。ここで、その補間方式としては、バイリニア法及びバイキュービック法等、映像の解像度を上昇させるのに利用可能な周知の方式が採用される。DEC4604は4K2KのピクチャをDPB4605へ転送する。
DPB4605は、復号された非圧縮のピクチャを一時的に保持する。DEC4604がPピクチャ及びBピクチャを復号するとき、DPB4605はDEC4604からの要求に応じて、保持されている非圧縮のピクチャの中から参照ピクチャを検索してDEC4604に提供する。
加算器4607は、DPB4605からは4K2Kのピクチャを読み出し、解像度拡張制御部4606からは差分画素情報を受信する。そのとき、加算器4607はそのピクチャの各画素データに、差分画素情報内の対応する画素データの差分を加算する。それにより、4K2Kのピクチャの表す映像が、本来の精細な映像に変換される。変換後の4K2Kのピクチャは、元のPESパケットに含まれるPTSの示す時刻に主映像プレーン・メモリ4620へ書き込まれる。
[フルHDから4K2Kへの解像度の変換処理]
図47は、フルHDから4K2Kへの解像度の変換処理のフローチャートである。この処理は、EB24610から解像度拡張制御部4606へ解像度拡張情報が転送され始めた時点から開始される。
ステップS4701では、解像度拡張制御部4606が解像度拡張情報から拡張後の解像度と補間方式とを読み出す。解像度拡張制御部4606は更に、拡張後の解像度と補間方式とをDEC4604に指示する。その後、処理はステップS4702へ進む。
ステップS4702では、DEC4604がEB14603から圧縮ピクチャ・データを読み出し、その圧縮ピクチャ・データからベースビュー・ピクチャを復号する。DEC4604は更に、解像度拡張制御部4606から指示された補間方式を用いて、そのベースビュー・ピクチャの解像度をフルHDから、解像度拡張制御部4606から指示された解像度、すなわち4K2Kへ上昇させる。DEC4603は続いて、その4K2KのピクチャをDPB4605へ書き込む。その後、処理はステップS4703へ進む。
ステップS4703では、加算器4607が、DPB4605からは4K2Kのベースビュー・ピクチャを読み出し、解像度拡張制御部4606からは差分画素情報を受信する。加算器4607はそのとき、そのベースビュー・ピクチャの各画素データに、差分画素情報内の対応する画素データの差分を加算する。4K2Kのピクチャは主映像プレーン・メモリ4620へ書き込まれる。その後、処理はステップS4704へ進む。
ステップS4704では、EB14603に次の圧縮ピクチャ・データが存在するか否かをDEC4604が確認する。次の圧縮ピクチャ・データが存在すれば、処理はステップS4701から繰り返される。次の圧縮ピクチャ・データが存在しなければ、処理は終了する。
4:実施形態1の効果
本発明の実施形態1によるBD−ROMディスク101は、図14、15に示されているように、層境界LB等、ロング・ジャンプJLYの必要な箇所の直前と直後とのそれぞれに、拡張データ専用区間、平面視映像専用区間、及び立体視映像専用区間を含む。平面視映像専用区間と立体視映像専用区間とにはメインTSの同じ部分が二重に記録される。その部分を、2D再生モードの再生装置と拡張再生モードの再生装置とは平面視映像専用区間から読み出し、3D再生モードの再生装置は立体視映像専用区間から読み出す。それにより、ロング・ジャンプJLY中にバッファ・アンダーフローを生じさせないためにベースビュー・エクステントのサイズが満たすべき条件を、平面視映像専用区間と立体視映像専用区間とで別々に設定することができる。その結果、全てのモードでロング・ジャンプJLY中に映像をシームレスに再生することと、再生装置内のバッファ容量を更に削減することとを両立させることができる。
更に、平面視映像専用区間は2D再生モードと拡張再生モードとのいずれの再生装置によってもアクセスされる。それにより、BD−ROMディスク101上において、立体視映像専用区間に配置されたベースビュー・エクステントB3Dの全体の複製を、平面視映像専用区間に配置されたベースビュー・エクステントB2Dだけに削減することができる。その結果、BD−ROMディスク101上のボリューム領域202Bを更に有効に活用することができる。
また、いずれのモードの再生装置もロング・ジャンプJLYによって、平面視映像専用区間と立体視映像専用区間とのいずれか一方へのアクセスをスキップすればよい。従って、ファイル2DとファイルSSとのそれぞれに対するシステム・レートが最高値48Mbps、64Mbpsに設定されても、いずれのモードでもロング・ジャンプJLYのジャンプ距離が最大ジャンプ距離=40000セクタを超えない。その結果、いずれのモードでも、ロング・ジャンプの必要性にかかわらず、画質を高く維持することができる。
5:変形例
(A)本発明の実施形態1による表示装置103は液晶ディスプレイである。本発明による表示装置はその他に、プラズマ・ディスプレイ及び有機ELディスプレイ等、他方式のフラットパネル・ディスプレイ又はプロジェクタであってもよい。更に、図1に示されている表示装置103は再生装置102から分離されている。その他に、表示装置が再生装置と一体化されていてもよい
(B)本発明の実施形態1による記録媒体101はBD−ROMディスクである。本発明による記録媒体は、その他の可搬性記録媒体、例えば、DVD等の他方式による光ディスク、リムーバブル・ハードディスクドライブ(HDD)、又はSDメモリカード等の半導体メモリ装置であってもよい。
(C)本発明の実施形態1による3D眼鏡102はシャッター眼鏡である。本発明による3D眼鏡はその他に、左右のレンズが偏光方向の異なる偏光フィルムで覆われているもの、又は、左右のレンズで透過スペクトルが異なるものであってもよい。前者の場合、表示装置は左目用の映像と右目用の映像とをそれぞれ、異なる偏光で表示する。後者の場合、表示装置は左目用の映像と右目用の映像とをそれぞれ、異なるスペクトルで表示する。いずれの場合でも、左目用レンズは左目用の映像のみを透過させ、右目用レンズは右目用の映像のみを透過させる。
(D)図5に示されているPESパケット511に格納されるピクチャは、1枚のビデオ・フレームの全体が符号化されたものである。ピクチャはその他に、1つのフィールドが符号化されたものであってもよい。
(E)本発明の実施形態1によるL/Rモードの再生装置102は、ベースビュー・ビデオ・ストリームからは、レフトビューを表すビデオ・フレームを再生し、ディペンデントビュー・ビデオ・ストリームからは、ライトビューを表すビデオ・フレームを再生する。逆に、ベースビュー・ビデオ・ストリームがライトビューを表し、ディペンデントビュー・ビデオ・ストリームがレフトビューを表してもよい。
(F)図11に示されているエクステントの配置では、ディペンデントビュー・エクステントがベースビュー・エクステントよりも前に位置する。しかし、ファイルDEPに対するシステム・レートRTS2がファイル2Dに対するシステム・レートRTS1と同程度に高く設定される場合、エクステント・ブロックの先頭に位置するエクステント・ペアにおいて第2転送速度REXT2が第1転送速度REXT1を超え得る。その場合、ベースビュー・エクステントがディペンデントビュー・エクステントの前に配置されてもよい。すなわち、そのエクステント・ペアの中で、サイズの小さいエクステントがサイズの大きいエクステントよりも前に配置される。それにより、リード・バッファの容量を小さく維持することができる。
(G)図14に示されている配置1と、図15に示されている配置2とのいずれにおいても、層境界LBの直前と直後との両方に、拡張データ専用区間、平面視映像専用区間、及び立体視映像専用区間が設けられている。その他に、それらの区間が層境界LBの直前と直後とのいずれか一方にのみ設けられてもよい。それらの区間が層境界LBの直前に設けられる場合、立体視映像専用区間においてはベースビュー・エクステントのサイズが条件1を満たさなくてもよい。一方、それらの区間が層境界LBの直後に設けられる場合、平面視映像専用区間を立体視映像専用区間よりも層境界LBに近づけることで、2D再生モードにおけるロング・ジャンプのジャンプ距離を3D再生モードにおけるロング・ジャンプのジャンプ距離よりも短くすることができる。いずれの場合においても、3D再生モードでのロング・ジャンプの直前に読み出されるベースビュー・エクステントのサイズを縮小することができるので、3D再生モードの再生装置にRB2の容量を必要最小限に維持させることができる。
(H)本発明の実施形態1では、拡張ストリームに含まれる拡張データが、ベースビュー・ビデオ・ストリームの表すフルHDの2D映像を4K2Kの2D映像に拡張するために必要な情報、すなわち解像度拡張情報である。拡張データの例としてはその他にも、以下のものが挙げられる。
[デプスマップ・ストリーム]
拡張データはデプスマップ・ストリームであってもよい。この場合、再生装置102の拡張再生モードはデプス・モードに等しい。すなわち、再生装置102は、図12に示されている第3再生経路1203に沿って読み出したエクステント群から3D映像を再生する。
デプスマップを用いた3D映像の再生は次のように行われる。ベースビュー・ビデオ・ストリームの表す2D映像は、再生対象の3D映像を仮想的な2D画面へ射影したときの映像を表す。一方、デプスマップは、その2D画面に対するその3D映像の各部の奥行きを画素別に表す。特に、各画素に表示される映像の奥行きが、その画素の輝度で表現される。デプス・モードの再生装置102では、プレーン加算部4025が、ベースビュー・ビデオ・ストリームとデプスマップとの組み合わせから、レフトビューとライトビューとの各ビデオ・フレームを構成する。
図48は、2D映像MVWとデプスマップDPHとの組み合わせからレフトビューLVWとライトビューRVWとを構成する例を示す模式図である。図48を参照するに、2D映像MVWでは、背景BGVの中に円板DSCが表示されている。デプスマップDPHはその2D映像MVW内の各部の奥行きを各画素の輝度で表す。そのデプスマップDPHによれば、2D映像MVWのうち、円板DSCの表示領域DA1の奥行きが画面よりも手前であり、かつ、背景BGVの表示領域DA2の奥行きが画面よりも奥である。再生装置102のプレーン加算部4025内では視差映像生成部PDGがまず、デプスマップDPHの示す各部の奥行きから2D映像MVW内の各部の両眼視差を計算する。視差映像生成部PDGは次に、2D映像MVW内の各部の表示位置を、計算された両眼視差に応じて左右に移動させて、レフトビューLVWとライトビューRVWとを構成する。図48に示されている例では、視差映像生成部PDGは、2D映像MVW内の円板DSCの表示位置に対し、レフトビューLVW内の円板DSLの表示位置をその両眼視差の半分S1だけ右に移動させ、ライトビューRVW内の円板DSRの表示位置をその両眼視差の半分S1だけ左に移動させる。それにより、視聴者には円板DSCが画面よりも手前に見える。一方、視差映像生成部PDGは2D映像MVW内の背景BGVの表示位置に対し、レフトビューLVW内の背景BGLの表示位置をその両眼視差の半分S2だけ左に移動させ、ライトビューRVW内の背景BGRの表示位置をその両眼視差の半分S2だけ右に移動させる。それにより、視聴者には背景BGVが画面よりも奥に見える。
デプスマップの画素データは単色の輝度のみを表すので、デプスマップのビットレートは一般に、ベースビュー・ビデオ・ストリームとライトビュー・ビデオ・ストリームとのいずれのビットレートよりも低い。従って、図13に示されているエクステントのインターリーブ配置が有効である。
[DTS拡張規格に準拠のオーディオ・ストリーム]
拡張データはビデオ・ストリームに限らず、オーディオ・ストリームであってもよい。特に拡張データは、DTS拡張規格に準拠のオーディオ・ストリームであってもよい。DTS拡張規格には、DTS−ES(Extended Surround)、DTS−HDマスター・オーディオ、及びDTS−HDハイレゾリューション・サラウンドがある。いずれの規格においても、メインTSに含まれるプライマリ・オーディオ・ストリームと組み合わせられるべきデータ部分が、拡張データとして拡張ストリームに格納される。そのデータ部分をプライマリ・オーディオ・ストリームと組み合わせることで、音質が向上し、サラウンド音声のチャネル数が増大する。拡張再生モードの再生装置102では主音声デコーダ4474が、メインTSからプライマリ・オーディオ・ストリームを復号すると共に、拡張ストリームから拡張データを復号し、復号されたデータから目的のオーディオ・ストリームを構成する。
DTS拡張規格に準拠のオーディオ・ストリームでは、メインTSに含まれるプライマリ・オーディオ・ストリームからの拡張部分のデータ量はベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとのいずれのデータ量よりも十分に小さい。従って、図13に示されているエクステントのインターリーブ配置が有効である。
[スーパー・ピクチャ・イン・ピクチャ用のビデオ・ストリーム]
拡張データは、メインTSのプライマリ・ビデオ・ストリームに組み合わされるべきセカンダリ・ビデオ・ストリームであってもよい。拡張再生モードの再生装置102はそれらの組み合わせとメインTSのセカンダリ・ビデオ・ストリームとを合わせて、3種類以上の映像を1つの画面に同時に表示させることができる。
ピクチャ・イン・ピクチャにおいては一般に、セカンダリ・ビデオ・ストリームの解像度はプライマリ・ビデオ・ストリームの解像度よりも低い。従って、拡張ストリームに含まれるビデオ・ストリームのビットレートは一般に、ベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとのいずれのビットレートよりも低い。従って、図13に示されているエクステントのインターリーブ配置が有効である。
[時間スケーラブル符号化における追加のピクチャ]
拡張データは、ベースビュー・ビデオ・ストリームのフレームレートを上昇させるのに必要な情報であってもよい。例えば、ベースビュー・ビデオ・ストリームのフレームレートが60fpsである場合、その値を120fpsまで上昇させるのに必要な追加のピクチャが、拡張データとして拡張ストリームに格納される。特に、追加のピクチャはベースビュー・ピクチャを参照して圧縮されている。拡張再生モードの再生装置102では主映像デコーダ4470が、メインTSからベースビュー・ピクチャを復号すると共に、そのベースビュー・ピクチャを利用して、拡張ストリームから追加のピクチャを復号する。主映像デコーダ4470は更に、ベースビュー・ピクチャ列の中に追加のピクチャを混入させることで、ベースビュー・ビデオ・ストリームのフレームレートを上昇させる。それにより、映像の時間的な変化を更に精細にすることができる。
追加のピクチャは、ベースビュー・ピクチャ間の映像の変化を更に精細にするためのものであるので、一般にベースビュー・ピクチャとの近似度が高い。従って、ベースビュー・ピクチャを参照して追加のピクチャを圧縮することにより、拡張ストリームのビットレートをベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとのいずれのビットレートよりも十分に低くくすることができる。それ故、図13に示されているエクステントのインターリーブ配置が有効である。
[カメラの画角が拡大された際の映像と元の画角での映像との間の差分]
拡張データは、カメラの画角が拡大された際の映像と元の画角での映像との間の差分であってもよい。その場合、ベースビュー・ビデオ・ストリームは、元の画角での映像を表す。拡張再生モードの再生装置102では主映像デコーダ4470が、ベースビュー・ビデオ・ストリームから1枚のビデオ・フレームを復号すると共に、そのビデオ・フレームの表す映像の外側の領域の映像を表す画素データを拡張ストリームから復号する。主映像デコーダ4470は更に、それらのデータから1枚のビデオ・フレームを再構成する。それにより、元の映像よりも画角の広い映像を再生することができる。
ベースビュー・ビデオ・ストリームのビデオ・フレームが表す映像の外側の領域の映像を表す画素データの全体のデータ量は一般に、元のビデオ・フレームのデータ量よりは十分に小さい。従って、拡張ストリームのビットレートはベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとのいずれのビットレートよりも十分に低い。それ故、図13に示されているエクステントのインターリーブ配置が有効である。
[ディペンデントビュー・ビデオ・ストリーム]
拡張データが、メインTSのベースビュー・ビデオ・ストリームと組み合わされて3D映像を表すディペンデントビュー・ビデオ・ストリーム、又は、そのディペンデントビュー・ビデオ・ストリームをベースビュー・ビデオ・ストリームと組み合わせることで生成されるレフトビューとライトビューとの間の視差を表す情報であってもよい。その場合、拡張再生モードの再生装置102は、3D再生モードのものと同様に3D映像を再生する。ここで、拡張ストリームのディペンデントビュー・ビデオ・ストリームはサブTSのディペンデントビュー・ビデオ・ストリームとは、共通のベースビュー・ビデオ・ストリームとの組み合わせで生成されるレフトビューとライトビューとの間の視差が異なる。
レフトビューとライトビューとの間の視差の最大値は通常、一般的な視聴者の瞳孔間距離以下(特に視聴者が子供である場合は5cm以下)である。その条件が満たされる限り、その視差は視聴者の瞳孔間距離を超えないので、その視聴者に映像酔いや眼精疲労が生じる危険性を低減させることができる。一方、表示装置103の画面サイズが大きいほど、レフトビューとライトビューとの間の視差は大きい。従って、例えばサブTSのディペンデントビュー・ビデオ・ストリームが、ベースビュー・ビデオ・ストリームとの組み合わせで、50インチ以下の画面サイズに適切な視差を持つレフトビューとライトビューとを生成可能である場合、拡張ストリームのディペンデントビュー・ビデオ・ストリームは、ベースビュー・ビデオ・ストリームとの組み合わせで、100インチ以下の画面サイズに適切な視差を持つレフトビューとライトビューとを生成可能であるように設計される。
再生装置102の再生制御部4035は、BD−ROMディスク101から3D映像を再生する場合、表示装置103の画面サイズに合わせて、3D再生モードと拡張再生モードとのいずれかを選択する。具体的には、再生制御部4035はまず、HDMIケーブル122を通して表示装置103から画面サイズを取得する。再生制御部4035は次に、表示装置103の画面サイズが、50インチ以下であれば3D再生モードを選択し、50インチよりも大きく100インチ以下であれば拡張再生モードを選択する。それにより、レフトビューとライトビューとの間の視差が画面サイズに適切な値に設定される。
拡張再生モードの再生装置102は、図12に示されている第3再生経路1203とは異なり、ベースビュー・エクステント、ディペンデントビュー・エクステント、及び拡張エクステントを全て順番に読み出す。再生装置102は更に、ファイルSSと拡張ストリーム・ファイルとのファイル・エントリと3Dクリップ情報ファイルのエクステント起点とを利用して、読み出されたエクステントをRB14021、RB24022、RB34023に分配する。システム・ターゲット・デコーダ4024は主映像デコーダに、RB14021からは、ベースビュー・ビデオ・ストリームを格納したソースパケットを供給し、RB24022からは、ディペンデントビュー・ビデオ・ストリームを格納したソースパケットを供給し、RB34023からは、拡張データを格納したソースパケットを供給する。拡張データがディペンデントビュー・ピクチャを含む場合、そのディペンデントビュー・ピクチャは、サブTSのディペンデントビュー・ピクチャと近似度が高いので、サブTSのディペンデントビュー・ピクチャを参照して圧縮されている。その場合、主映像デコーダはサブTSのディペンデントビュー・ピクチャを利用して拡張データからディペンデントビュー・ピクチャを復号する。一方、拡張データが視差情報を含む場合、主映像デコーダはその視差情報を利用してサブTSのディペンデントビュー・ピクチャの各画素データを左右に移動させる。こうして得られたディペンデントビュー・ピクチャとベースビュー・ピクチャとから、主映像デコーダは、レフトビューとライトビューとを表すビデオ・フレームの対を構成する。
拡張データは、サブTSのディペンデントビュー・ピクチャを参照して圧縮されたピクチャ又は視差情報である。従って、拡張ストリームのビットレートは、ベースビュー・ビデオ・ストリームとサブTSのディペンデントビュー・ビデオ・ストリームとのいずれのビットレートよりも十分に低い。それ故、図13に示されているエクステントのインターリーブ配置が有効である。
[3D映像に対する解像度拡張情報]
拡張データは、ベースビュー・ビデオ・ストリームに対する解像度拡張情報だけでなく、ディペンデントビュー・ビデオ・ストリームに対する解像度拡張情報を含んでいてもよい。その場合、拡張再生モードの再生装置102は次のようにして4K2Kの3D映像を再生する。
拡張再生モードの再生装置102は、図12に示されている第3再生経路1203とは異なり、ベースビュー・エクステント、ディペンデントビュー・エクステント、及び拡張エクステントを全て順番に読み出す。再生装置102は更に、ファイルSSと拡張ストリーム・ファイルとのファイル・エントリと3Dクリップ情報ファイルのエクステント起点とを利用して、読み出されたエクステントをRB14021、RB24022、RB34023に分配する。システム・ターゲット・デコーダ4024は主映像デコーダに、RB14021からは、ベースビュー・ビデオ・ストリームを格納したソースパケットを供給し、RB24022からは、ディペンデントビュー・ビデオ・ストリームを格納したソースパケットを供給し、RB34023からは、拡張データを格納したソースパケットを供給する。主映像デコーダはまず、フルHDのベースビュー・ピクチャとディペンデントビュー・ピクチャとを復号する。主映像デコーダは次に、解像度拡張情報の示す補間方式を利用して、各ピクチャの解像度を4K2Kに上昇させる。主映像デコーダは続いて、解像度が上昇した各ピクチャに差分画素情報を加算する。こうして、4K2Kのレフトビューとライトビューとを表すビデオ・フレームの対が構成される。
解像度拡張情報は、ベースビュー・ピクチャとディペンデントビュー・ピクチャとのいずれよりもデータ量が十分に小さい。従って、拡張ストリームのビットレートは、ベースビュー・ビデオ・ストリームとサブTSのディペンデントビュー・ビデオ・ストリームとのいずれのビットレートよりも十分に低い。それ故、図13に示されているエクステントのインターリーブ配置が有効である。
[生体情報]
3D映像技術は医療への応用も進められている。例えば、内視鏡手術等において術者が手術支援ロボットを操作する際に、その術者に術野の映像が3D映像で提示される。その他に、手術の進捗状況の監視、カンファレンス、学会発表、又は医学生に対する教育等に手術の3D映像が利用される。それらの場合、拡張データが、生体情報モニタに表示される映像又は生体情報そのものであってもよい。生体情報は、患者の身体的状態に関する情報であり、特にその患者のバイタルサイン、例えば、心電図、心拍(脈拍)数、呼吸数、血圧、体表温度、脳波を表す。拡張再生モードの再生装置102は、生体情報を表すグラフィックス映像を拡張データから生成して、メインTSの表す2D映像に合成する。それにより、術野の2D映像に患者の生体情報を重ねて表示させることができる。
生体情報モニタに表示される映像は、比較的簡単なグラフィックス映像である。また、生体情報そのものは数値データに過ぎない。従って、拡張ストリームのビットレートはメインTSとサブTSとのいずれのビットレートよりも十分に低い。それ故、図13に示されているエクステントのインターリーブ配置が有効である。
[ビット拡張における追加の色情報]
拡張データは、ベースビュー・ピクチャの各画素データが含む色情報のビット数を増加させるのに必要な情報であってもよい。例えば、ベースビュー・ピクチャの画素データがRGB又はYCrCbの各色座標を8ビットで表現している場合、その色座標を12ビット表現に変換するのに必要な情報が拡張データとして拡張ストリームに格納される。
図49は、原画のピクチャ列からベースビュー・ビデオ・ストリームと拡張ストリームとを生成するシステムのブロック図である。図49を参照するに、このシステムは、シフト回路14901、ビデオ・エンコーダ14902、ビデオ・デコーダ4903、シフト回路24904、減算器4905、加算器4906、ビデオ・エンコーダ24907、及びシフト量決定部4908を含む。
シフト回路14901は、原画のピクチャOPTの各画素データから、色座標を表すビット列を抜き出して、そのビット列を右に(N−8)ビット、シフトさせる。それにより、色座標を表すビット数がNから8へ減る。ここで、数Nは、8よりも大きい整数である。原画のピクチャOPCが映画等の映像を表す場合、数Nは10又は12である場合が多い。
ビデオ・エンコーダ14902は、シフト回路14901によって処理された後のピクチャOPTを符号化して、ベースビュー・ビデオ・ストリームに変換する。それにより、原画のピクチャOPTは圧縮されて、ベースビュー・ビデオ・ストリームに多重化される。ここで、圧縮符号化形式としては、MPEG−2、MPEG−4 AVC、MVC、又はSMPTE VC−1が利用される。特にMPEG−4 MVCが利用される場合、ピクチャOPTは“Base view”として符号化される。
ビデオ・デコーダ4903は、ビデオ・エンコーダ14902によって生成されたベースビュー・ビデオ・ストリームからピクチャを復号する。ここで、ビデオ・エンコーダ14902による符号化処理は非可逆である。従って、復号後のピクチャは、ビデオ・エンコーダ14902によって処理される直前のピクチャとは、色座標を表す8ビットのうち、下位の数ビットが異なる。
シフト回路24904は、ビデオ・デコーダ4903によって復号されたピクチャの各画素データから、色座標を表すビット列を抜き出して、そのビット列を左に(N−8)ビット、シフトさせる。それにより、そのビット列の右に(N−8)個の“0”が追加されるので、色座標を表すビット数が8からNへ増える。
減算器4905は、シフト回路14901、ビデオ・エンコーダ14902、ビデオ・デコーダ4903、及びシフト回路24904によって処理された後のピクチャを元のピクチャOPTと比較し、対応する画素データ間で、色座標を表すNビットの差分を計算する。減算器4905は更に、その差分を表すビット数が8を超える場合、下位ビットを切り捨てて、又は切り上げて、ビット数の上限を8に揃える。それにより、色座標の差分を新たな色座標とみなし、減算器4905の出力をピクチャとみなすことができる。以下、そのピクチャを「拡張ピクチャ」と呼ぶ。
加算器4906は、減算器4905によって計算された差分に補正値を加える。それにより、その差分が負の数であっても、正の数に変換される。ここで、ビデオ・エンコーダ24907が、負の数を含む画素データを処理できる場合、加算器4906は省略されてもよい。
ビデオ・エンコーダ24907は、加算器4906によって処理された後の拡張ピクチャを符号化して、拡張ストリームに変換する。それにより、拡張ピクチャは圧縮されて、拡張ストリームに多重化される。ここで、圧縮符号化形式としては、MPEG−2、MPEG−4 AVC、MVC、又はSMPTE VC−1が利用される。特に、MPEG−4 MVCが利用される場合、拡張ピクチャは“Non baseview”として符号化される。すなわち、拡張ストリームは、ディペンデントビュー・ビデオ・ストリームと同様なデータ構造を持つ。
シフト量決定部4908はまず、シフト回路14901によって処理されたピクチャを、ビデオ・デコーダ4903によって復号されたピクチャと比較し、対応する画素データ間で、色座標を表す8ビットのうち、最上位から数えて何番目のビットまでが一致するのかを調べる。シフト量決定部4908は次に、ピクチャごとに、調べられた値の中で最も小さい値を、そのピクチャに対するシフト量として決定する。但し、その最小値がN−8を超えた場合、シフト量はN−8に固定される。シフト量決定部4908は更に、各ピクチャに対するシフト量をベースビュー・ビデオ・ストリーム又は拡張ストリームに組み込む。その場合、シフト量は、図8に示されている各VAUの補足データ831D、832D等に組み込まれる。その他に、各ビデオ・シーケンスの先頭に位置するVAU、VAU#1の補足データ等に、そのビデオ・シーケンスに含まれる全てのピクチャに対するシフト量が一括して組み込まれてもよい。
図50は、図49に示されているシステムによる色座標の処理方法を示す模式図である。図50を参照するに、まず、原画のピクチャOPTに含まれる1組の画素データにおいて、例えば赤色の色座標を表すNビット5001が、シフト回路14901によって右に(N−8)ビット、シフトする。それにより、そのNビット5001から上位8ビット5002が抽出され、ビデオ・エンコーダ14902によってベースビュー・ビデオ・ストリームに組み込まれる。そのベースビュー・ビデオ・ストリームから、上記の画素データにおいて赤色の色座標を表す8ビット5003が、ビデオ・デコーダ4903によって復号される。その8ビット5003が、シフト回路24904によって左に(N−8)ビット、シフトする。それにより、その8ビット5003の右に(N−8)個の“0”が追加され、新たなNビット5004に変換される。変換後のNビット5004と元のNビット5001との間の差分5005が減算器4905によって計算される。更に、その差分5005から上位8ビット5006が減算器4905によって抽出され、ビデオ・エンコーダ24907によって拡張ストリームに組み込まれる。他の色座標についても同様な処理が行われる。
図50に斜線部で示されているように、復号後の8ビット5003は元の8ビット5002と、最上位MSBから数えて(b+1)番目以降のビットが異なる。ここで、数bは0以上8以下の整数である。その場合、差分5005のビット数はN−bである。図50に複数の点で示されているように、差分5005は元のNビット5004の下位(N−b)ビットとは、上位(8−b)ビットが異なる。シフト量決定部4908は各色座標について数値bを求め、ピクチャごとに、全ての色座標から求められた数値bの中で最も小さい値を、そのピクチャに対するシフト量bとして決定する。但し、その最小値がN−8を超えた場合、シフト量bはN−8に固定される。
図51は、拡張再生モードのシステム・ターゲット・デコーダにおけるベースビュー・ビデオ・ストリームと拡張ストリームとの処理系統の一例を示すブロック図である。図51を参照するに、その処理系統は、第1PIDフィルタ4513、第2PIDフィルタ4514、主映像デコーダ4515、ビット拡張部5110、及び主映像プレーン・メモリ5120を含む。2つのPIDフィルタ4513、4514と主映像デコーダ4515とは、図45に示されているものと同様である。従って、以下では、図45に示されているものとの違いについて説明し、それらの詳細については、図45に示されているものについての説明を援用する。
圧縮映像デコーダ(DEC)4504は、バッファ・スイッチ4506を通して、第1PIDフィルタ4513からはベースビュー・ピクチャを受信し、第2PIDフィルタ4514からは拡張ピクチャを受信する。DEC4504は更に、受信されたピクチャを順次復号する。DEC4504はまた、それらのピクチャを格納したVAUの補足データ等からシフト量bを読み出して、ビット拡張部5110へ渡す。
ビット拡張部5110は、同じPTSが割り当てられた拡張ピクチャとベースビュー・ピクチャとを組み合わせて、各画素データにおいて色座標を表すビット数を8からNへ増大させる。ビット拡張部5110は、シフト回路15101、減算器5102、加算器5103、及びシフト回路25104を含む。
シフト回路15101はまず、ピクチャ・スイッチ4507からは復号後のベースビュー・ピクチャを受信し、DEC4504からはシフト量bを受信する。シフト回路15101は次に、そのベースビュー・ピクチャの各画素データから、色座標を表すビット列を抜き出して、そのビット列を左にbビット、シフトさせる。それにより、そのビット列の右にb個の“0”が追加されるので、色座標を表すビット数が8から8+bへ増える。
減算器5102は、ピクチャ・スイッチ4507から復号後の拡張ピクチャを受信し、その拡張ピクチャの画素データにおいて色座標を表すビット列から補正値を除く。この補正値は、図49に示されている加算器4906によって利用される補正値と等しい。ここで、図49に示されているシステムから加算器4906が省略されている場合、ビット拡張部5110から減算器5102が省略される。
加算器5103はまず、シフト回路15101からは、ベースビュー・ピクチャの各画素データにおいて色座標を表す(8+b)ビットを受信し、減算器5102からは、対応する拡張ピクチャの画素データにおいて色座標の差分を表す8ビットを受信する。加算器5103は次に、それらのビットの和を計算する。
シフト回路25104はまず、加算器5103からは、色座標を表す(8+b)ビットを受信し、DEC4504からはシフト量bを受信する。シフト回路25104は次に、その(8+b)ビットを左に(N−8−b)ビット、シフトさせる。それにより、その(8+b)ビットの右に(N−8−b)個の“0”が追加されるので、色座標を表すビット数が8+bからNへ増える。シフト回路25104は更に、色座標を表すNビットを主映像プレーン・メモリ5120へ書き込む。
主映像プレーン・メモリ5120は、システム・ターゲット・デコーダ4024に内蔵のメモリ素子に確保された一領域であり、色座標をNビットで表す画素データから構成されたフルHDの主映像プレーンを格納可能である。
図52は、ビット拡張部5110による色座標の処理方法を示す模式図である。図52を参照するに、まず、復号後のベースビュー・ピクチャに含まれる1組の画素データにおいて、例えば赤色の色座標を表す8ビット5201が、シフト回路15101によって左にbビット、シフトする。それにより、その8ビット5201の右にb個の“0”が追加され、(8+b)ビット5202に変換される。次に、その(8+b)ビット5202に対し、復号後の拡張ピクチャに含まれる、対応する画素データにおいて赤色の色座標の差分を表す8ビット5203が加算器5103によって加えられる。更に、その和を表す(8+b)ビット5204は、シフト回路25104によって左に(N−8−b)ビット、シフトする。それにより、その(8+b)ビット5204の右に(N−8−b)個の“0”が追加されて、新たなNビット5205に変換される。図50から明らかなとおり、その新たなNビット5205の上位(8+b)ビットは、原画のピクチャOPTに含まれる、対応する画素データにおいて赤色の色座標を表す元のNビット5001の上位(8+b)ビットとほぼ一致する。その誤差は、拡張ピクチャを符号化した際の誤差、すなわち、図50に示されている符号化前の差分5006と、図52に示されている復号後の差分5203との間の差である。従って、新たなNビット5205と元のNビット5001との間の差は、図50に斜線部で示されている復号後のNビット5004と元のNビット5001との間の差よりも十分に小さい。他の色座標についても同様な処理が行われる。こうして、ビット拡張部5110は、ベースビュー・ピクチャと拡張ピクチャとの組み合わせから原画のピクチャOPTを、高い精度で復元することができる。
図53は、拡張再生モードのシステム・ターゲット・デコーダにおけるベースビュー・ビデオ・ストリームと拡張ストリームとの処理系統の別の例を示すブロック図である。図53を参照するに、その処理系統は、ビット拡張部5310を除いて、図51に示されているものと同様である。従って、以下では、図51に示されているものとの違いについて説明し、同様な部分については、図51に示されているものについての説明を援用する。
ビット拡張部5310は、同じPTSが割り当てられた拡張ピクチャとベースビュー・ピクチャとを組み合わせて、各画素データにおいて色座標を表すビット数を8からNへ増大させる。ビット拡張部5310は、シフト回路15301、減算器5102、シフト回路25303、及び加算器5304を含む。
シフト回路15301は、ピクチャ・スイッチ4507から復号後のベースビュー・ピクチャを受信し、そのベースビュー・ピクチャの各画素データから、色座標を表すビット列を抜き出して、そのビット列を左に(N−8)ビット、シフトさせる。それにより、そのビット列の右に(N−8)個の“0”が追加されるので、色座標を表すビット数が8からN−8へ増える。
シフト回路25303はまず、減算器5102からは、色座標の差分を表す8ビットを受信し、DEC4504からはシフト量bを受信する。シフト回路25303は次に、その8ビットを左に(N−8−b)ビット、シフトさせる。それにより、その(8+b)ビットの右に(N−8−b)個の“0”が追加されるので、色座標の差分を表すビット数が8からN−bへ増える。
加算器5304はまず、シフト回路15301からは、ベースビュー・ピクチャの各画素データにおいて色座標を表すNビットを受信し、シフト回路25303からは、対応する拡張ピクチャの画素データにおいて色座標の差分を表す(N−b)ビットを受信する。加算器5304は次に、それらのビットの和を計算し、その和を表すNビットを主映像プレーン・メモリ5120へ書き込む。
図54は、ビット拡張部5310による色座標の処理方法を示す模式図である。図54を参照するに、まず、復号後のベースビュー・ピクチャに含まれる1組の画素データにおいて、例えば赤色の色座標を表す8ビット5401が、シフト回路15301によって左に(N−8)ビット、シフトする。それにより、その8ビット5401の右に(N−8)個の“0”が追加され、Nビット5402に変換される。一方、復号後の拡張ピクチャに含まれる、対応する画素データにおいて赤色の色座標の差分を表す8ビット5403が、シフト回路25303によって左に(N−8−b)ビット、シフトする。それにより、その8ビット5403の右に(N−8−b)個の“0”が追加され、(N−b)ビット5404に変換される。その後、変換後のNビット5402に、差分を表す(N−b)ビット5404が加算器5304によって加えられ、新たなNビット5405に変換される。図50から明らかなとおり、その新たなNビット5405の上位(8+b)ビットは、原画のピクチャOPTに含まれる、対応する画素データにおいて赤色の色座標を表す元のNビット5001の上位(8+b)ビットとほぼ一致する。その誤差は、拡張ピクチャを符号化した際の誤差、すなわち、図50に示されている符号化前の差分5006と、図54に示されている復号後の差分5403との間の差である。従って、新たなNビット5405と元のNビット5001との間の差は、図50に斜線部で示されている復号後のNビット5004と元のNビット5001との間の差よりも十分に小さい。他の色座標についても同様な処理が行われる。こうして、ビット拡張部5310は、ベースビュー・ピクチャと拡張ピクチャとの組み合わせから原画のピクチャOPTを、高い精度で復元することができる。
拡張ピクチャの画素データが含む色座標の差分のデータ量は一般に、ベースビュー・ピクチャの画素データが含む色座標のデータ量よりも小さい。従って、拡張ストリームのビットレートは一般に、ベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとのいずれのビットレートよりも低い。それ故、図13に示されているエクステントのインターリーブ配置が有効である。
《実施形態2》
本発明の実施形態2による記録装置は光ディスク・レコーダ又はビデオカメラに搭載され、BD−RE(Rewritable)、BD−R(Recordable)、ハードディスク、又は半導体メモリカード等の書き込み可能な記録媒体(以下、BDディスク等と略す。)にAVストリーム・ファイルを、本発明の実施形態1によるエクステントの配置でリアルタイムに記録する。その記録装置は、ビデオカメラで撮影された動画コンテンツ、又は、BD−ROMディスク等、他の記録媒体から再生されたコンテンツを、所定の圧縮符号化方式でAVストリーム・ファイルに変換して記録媒体に記録する。そのコンテンツは、4K2Kの2D映像とフルHDの3D映像との両方で表現されている。その記録装置は次にシナリオを生成する。「シナリオ」は、コンテンツに含まれる各タイトルの再生方法を規定した情報であり、動的シナリオ情報と静的シナリオ情報とを含む。その記録装置は続いて、シナリオを記録媒体に記録する。
[記録装置の構成]
図55は、実施形態2による記録装置の機能ブロック図である。図55を参照するに、その記録装置5500は、記憶部5501、ビデオ・エンコーダ5502、オーディオ・エンコーダ5503、制御部5504、マルチプレクサ5505、ソース・パケタイザ5506、及び書き込み部5507を含む。
記憶部5501は記録装置5500に内蔵の記憶装置であり、特にHDDである。記憶部5501はその他に、記録装置5500に外付けされたHDDであってもよく、記録装置5500に内蔵の、又は外付けされた半導体メモリ装置であってもよい。
ビデオ・エンコーダ5502は映像データの符号化処理専用のハードウェアである。ビデオ・エンコーダ5502はその他に、記録装置5500に内蔵のCPUが特定のソフトウェアを実行することによって機能する要素であってもよい。ビデオ・エンコーダ5502はアナログ又はデジタルの映像入力信号VINを、MPEG−4 AVC、MVC、又はMPEG−2等の圧縮符号化方式で圧縮する。それにより、映像データは、ベースビュー・ビデオ・ストリーム、ディペンデントビュー・ビデオ・ストリーム、及び拡張ストリームの組み合わせに変換される。変換後の各ビデオ・ストリーム5511と拡張ストリーム5512とは記憶部5501に保存される。
ビデオ・エンコーダ5502は、3D映像のデータの符号化にはMVC等の多視点符号化方式を利用する。それにより、3D映像のデータは、図7に示されているようなベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとの対に変換される。すなわち、レフトビューを表すビデオ・フレームの列は、それ自身のピクチャ間での予測符号化によってベースビュー・ビデオ・ストリームに変換される。一方、ライトビューを表すビデオ・フレームの列は、それ自身のピクチャだけでなく、ベースビュー・ピクチャとの間での予測符号化によってディペンデントビュー・ビデオ・ストリームに変換される。尚、ライトビューを表すビデオ・フレームの列がベースビュー・ビデオ・ストリームに変換され、レフトビューを表すビデオ・フレームの列がディペンデントビュー・ビデオ・ストリームに変換されてもよい。
ビデオ・エンコーダ5502は、3D映像のデータを符号化する際、ピクチャ間予測符号化の処理過程で、圧縮前のレフトビュー・ピクチャとライトビュー・ピクチャとを8画素×8画素又は16画素×16画素のマクロブロックごとに比較して、両ピクチャ間での各映像の動きベクトルを検出する。ビデオ・エンコーダ5502は、検出された動きベクトルを各ピクチャの圧縮に利用する。一方、ビデオ・エンコーダ5502はその動きベクトルを各映像の両眼視差の計算に利用し、各映像の両眼視差からその映像の奥行き情報を算出してもよい。ビデオ・エンコーダ5502は更にその奥行き情報を利用して、レフトビュー又はライトビューに対するデプスマップを生成してもよい。その場合、ビデオ・エンコーダ5502は、レフトビュー又はライトビューのストリーム・データとデプスマップ・ストリームとのそれぞれを、それ自身の含むピクチャ間での予測符号化を用いて、ベースビュー・ビデオ・ストリームとデプスマップ・ストリームとに変換する。
ビデオ・エンコーダ5502は、4K2Kの2D映像のデータを符号化する際、まず、3D映像のデータの符号化で得られたベースビュー・ビデオ・ストリームからフルHDのビデオ・フレームを抽出し、バイキュービック方式又はバイリニア方式等の補間を用いてそのビデオ・フレームを4K2Kのビデオ・フレームに変換する。ビデオ・エンコーダ5502は次に、変換された4K2Kのビデオ・フレームを元の4K2Kのビデオ・フレームと比較して、差分画素情報を生成する。ビデオ・エンコーダ5502は更に、生成された差分画素情報から解像度拡張情報を生成して、拡張ストリームに変換する。
オーディオ・エンコーダ5503は音声データの符号化処理専用のハードウェアである。オーディオ・エンコーダ5503はその他に、記録装置5500に内蔵のCPUが特定のソフトウェアを実行することによって機能する要素であってもよい。オーディオ・エンコーダ5503は音声入力信号AINからオーディオ・ストリーム5513を生成して記憶部5501に保存する。音声入力信号AINは例えば非圧縮のLPCM音声データであり、AC−3等の圧縮符号化方式で符号化される。
制御部5504は、記録装置5500に内蔵のCPUが特定のソフトウェアを実行することによって機能する要素である。制御部5504はシナリオ・データ5514を生成して記憶部5501に保存する。シナリオ・データ5514は、インデックス・ファイル、MVオブジェクト・ファイル、クリップ情報ファイル、及びプレイリスト・ファイルを含み、記憶部5501に保存された各エレメンタリ・ストリーム5511−5513の再生方法を規定する。
制御部5504は特にクリップ情報ファイルのエントリ・マップを、次のようにリアルタイムで生成する。ビデオ・エンコーダ5502はGOPを1つ符号化する度に、そのGOPの先頭に位置するIピクチャ又はPピクチャのPTS、そのピクチャが格納される予定のソースパケット群の先頭のSPN、及び、そのピクチャに対する解像度拡張情報が格納される予定のソースパケット群の先頭のSPNを制御部5504に渡す。制御部5504は、ビデオ・エンコーダ5502から渡されたPTSとSPNとの対を1つのエントリ・ポイントとしてエントリ・マップに追記する。
制御部5504は更に、2Dクリップ情報ファイルとDEPクリップ情報ファイルとのそれぞれのエントリ・マップを利用して、図29の(a)、(b)に示されているエクステント起点2742、2920を生成する。そのとき、エクステント・ペア間でエクステントATC時間が揃えられる。制御部5504はまた、ベースビュー・エクステント、ディペンデントビュー・エクステント、及び拡張エクステントの各サイズが条件1−6を満たすように、エクステントの配置を設計する。特に、ロング・ジャンプが必要な箇所の直前又は直後では、図14に示されている配置1、又は図15に示されている配置2のように、拡張データ専用区間、平面視映像専用区間、及び立体視映像専用区間が設けられる。
制御部5504はその他に、メインTS、サブTS、及び拡張ストリームのそれぞれに多重化されるべきエレメンタリ・ストリームから、図27に示されているストリーム属性情報2720を抽出し、図27に示されているように、エントリ・マップ2730、3Dメタデータ2740、及びストリーム属性情報2720の組み合わせをクリップ情報2710に対応付ける。こうして、2Dクリップ情報ファイル、DEPクリップ情報ファイル、及び拡張クリップ情報ファイルが生成される。その後、制御部5504は各クリップ情報ファイルを利用して、2Dプレイリスト・ファイル、3Dプレイリスト・ファイル、及び拡張プレイリスト・ファイルを生成する。
マルチプレクサ5505は、記憶部5501に保存されているエレメンタリ・ストリーム5511−5513をMPEG2−TS形式のストリーム・データに多重化する。具体的には、図5に示されているように、まず、各エレメンタリ・ストリーム5511−5512が一連のTSパケット列に変換され、次に、それらのTSパケット列が1本の多重化ストリーム・データにまとめられる。こうして、メインTS、サブTS、及び拡張ストリームが生成される。それらの多重化ストリーム・データはソース・パケタイザ5506へ送出される。
ソース・パケタイザ5506は、メインTS、サブTS、及び拡張ストリームを構成する各TSパケットを1つのソースパケットに変換する。それにより、メインTS、サブTS、及び拡張ストリームがそれぞれ、一連のソースパケット列に変換され、書き込み部5507へ送出される。
書き込み部5507は、まず、ソース・パケタイザ5506によって生成されたソースパケット列を、制御部5504によって設計されたエクステントの配置に従ってBDディスク等BDRに書き込む。それと並行して、書き込み部5507は、ファイル2D、ファイルDEP、ファイルSS、及び拡張ストリーム・ファイルの各ファイル・エントリを、内蔵のメモリ上に生成する。書き込み部5507は更に、各ソースパケット列の全体をBDディスク等BDRに書き終えたとき、各AVストリーム・ファイルのファイル・エントリをBDディスク等BDRに書き込む。こうして、各ソースパケット列がAVストリーム・ファイルとしてBDディスク等BDRに記録される。その後、書き込み部5507は、記憶部5501に保存されたシナリオ・データ5514をBDディスク等BDRに記録する。
書き込み部5507は、AVストリーム・ファイルのファイル・エントリを生成するとき、クリップ情報ファイルに含まれるエントリ・マップと3Dメタデータとを参照する。それにより、エントリ・ポイントとエクステント起点との各SPNがアロケーション記述子の生成に利用される。特に、図11に示されているようなエクステントのインターリーブ配置が表現されるように、各アロケーション記述子の表すべきLBNの値とエクステントのサイズとが、制御部5504によって設計されたエクステントの配置に従って決定される。
[エクステントATC時間を揃える方法]
図56は、隣接するエクステント間でエクステントATC時間を揃える方法を示す模式図である。以下の説明では便宜上、3D再生モードを対象とする。拡張再生モードでも同様である。まず、ベースビュー・エクステントに格納されるソースパケット(以下、SP1と略す。)と、ディペンデントビュー・エクステントに格納されるソースパケット(以下、SP2と略す。)とには、同じATC時間軸でATSが付与される。図56を参照するに、矩形5610、5620はそれぞれ、SP1#p(p=0、1、…、k、k+1、…、i、i+1)とSP2#q(q=0、1、…、m、m+1、…、j、j+1)とを表す。ここで、数i、jは1以上の整数であり、数kは0以上i以下の整数であり、数mは0以上j以下の整数である。それらの矩形5610、5620はATCの時間軸方向で各ソースパケットのATSの順に並べられている。各矩形5610、5620の先頭の位置A1(p)、A2(q)はそのソースパケットのATSの値を表す。各矩形5610、5620の長さAT1、AT2は、3D再生モードの再生装置が1個のソースパケットをリード・バッファからシステム・ターゲット・デコーダへ転送するのに要する時間を表す。
SP1#0のATSA1(0)からエクステントATC時間TEXT[n]が経過するまでの期間に、リード・バッファからシステム・ターゲット・デコーダへ転送されるSP1、すなわちSP1#0、1、…、kは(n+1)番目のベースビュー・エクステントEXT1[n]に格納される(数nは0以上の整数である)。同様に、SP1#(k+1)のATSA1(k+1)からエクステントATC時間TEXT[n+1]が経過するまでの期間に、リード・バッファからシステム・ターゲット・デコーダへ転送されるSP1、すなわちSP1#(k+1)、…、iは(n+2)番目のベースビュー・エクステントEXT1[n+1]に格納される。
一方、(n+1)番目のディペンデントビュー・エクステントEXT2[n]に格納されるべきSP2は次のように選択される。まず、SP1#0のATSA1(0)とエクステントATC時間TEXT[n]との和、すなわち、SP1#(k+1)のATSA1(k+1)=A1(0)+TEXT[n]が求められる。次に、SP1#0のATSA1(0)からSP1#(k+1)のATSA1(k+1)までの期間に、リード・バッファからシステム・ターゲット・デコーダへの転送が開始されるSP2、すなわちSP2#0、1、…、mが選択される。従って、先頭のSP2、すなわちSP2#0のATSA2(0)は必ず、先頭のSP1、すなわちSP1#0のATSA1(0)以上である:A2(0)≧A1(0)。更に、最後のSP2、すなわちSP2#mのATSA2(m)は、SP1#(k+1)のATSA1(k+1)以下である:A2(m)≦A1(k+1)。ここで、SP2#mの転送完了はSP1#(k+1)のATSA1(k+1)以後であってもよい。
同様に、(n+2)番目のディペンデントビュー・エクステントEXT2[n+1]に格納されるべきSP2は次のように選択される。まず、(n+3)番目のベースビュー・エクステントEXT1[n+2]の先頭に位置するSP1#(i+1)のATSA1(i+1)=A1(k+1)+TEXT[n+1]が求められる。次に、SP1#(k+1)のATSA1(k+1)からSP1#(i+1)のATSA1(i+1)までの期間に、リード・バッファからシステム・ターゲット・デコーダへの転送が開始されるSP2、すなわちSP2#(m+1)、…、jが選択される。従って、先頭のSP2、すなわちSP2#(m+1)のATSA2(m+1)は先頭のSP1、すなわちSP1#(k+1)のATSA1(k+1)以上である:A2(m+1)≧A1(k+1)。更に、最後のSP2#jのATSA2(j)は、次のベースビュー・エクステントEXT1[n+2]の先頭に位置するSP1#(i+1)のATSA1(i+1)以下である:A2(j)≦A1(i+1)。
[コンテンツのリアルタイム記録]
図57は、図55に示されている記録装置5500を利用してBDディスク等BDRへコンテンツをリアルタイムで記録する方法のフローチャートである。この方法は、例えば記録装置5500の電源投入によって開始される。
ステップS5701では、ビデオ・エンコーダ5502が、映像入力信号VINを符号化してピクチャを生成し、音声入力信号AINを符号化してオーディオ・フレームを生成する。特に、3D映像のレフトビューを表すビデオ・フレームはベースビュー・ピクチャに符号化され、ライトビューを表すビデオ・フレームはディペンデントビュー・ピクチャに符号化される。更に、4K2Kのビデオ・フレームは、ベースビュー・ピクチャを利用して、解像度拡張情報に変換される。生成されたピクチャ、オーディオ・フレーム、及び解像度拡張情報は記憶部5501に保存される。その後、処理はステップS5702へ進む。
ステップS5702では、マルチプレクサ5505が、記憶部5501に保存されたピクチャ、オーディオ・フレーム、及び解像度拡張情報を1本のTSに多重化する。更に、ソース・パケタイザ5506がそのTSをソースパケット列に変換して、書き込み部5507へ渡す。その後、処理はステップS5703へ進む。
ステップS5703では、書き込み部5507が、ソース・パケタイザ5506によって生成されたソースパケット列を蓄積する。制御部5504は、蓄積されたソースパケット列に基づいて、BDディスク等BDRに記録すべきエクステントの配置を設計する。書き込み部5507はそのソースパケット列を、制御部5504によって設計されたエクステントの配置に従ってBDディスク等BDRに書き込む。それと並行して、書き込み部5507はAVストリーム・ファイルのファイル・エントリを内蔵のメモリ上に生成する。その後、処理はステップS5704へ進む。
ステップS5704では、ステップS5701で生成されたピクチャがGOPの先頭であるか否かを、ビデオ・エンコーダ5502がチェックする。そのピクチャがGOPの先頭である場合、処理はステップS5705へ進む。そのピクチャがGOPの先頭ではない場合、処理はステップS5706へ進む。
ステップS5705では、ステップS5701で生成されたピクチャがGOPの先頭である。従って、ビデオ・エンコーダ5502は、そのピクチャのPTS、そのピクチャが格納される予定のソースパケット群の先頭のSPN、及び、そのピクチャに対する解像度拡張情報が格納される予定のソースパケット群の先頭のSPNを制御部5504に渡す。制御部5504は、ビデオ・エンコーダ5502から渡されたPTSとSPNとの対を1つのエントリ・ポイントとしてエントリ・マップに追記する。その後、処理はステップS5706へ進む。
ステップS5706では、復号対象の映像入力信号VINが存在するか否かをビデオ・エンコーダ5502がチェックする。その映像入力信号VINが存在する場合、処理はステップS5701から繰り返される。その映像入力信号VINが存在しない場合、処理はステップS5707へ進む。
ステップS5707では、復号対象の映像入力信号VINが全て、多重化ストリーム・データに変換されてBDディスク等BDRに記録されている。従って、書き込み部5507は内蔵のメモリからBDディスク等BDRへ、各AVストリーム・ファイルのファイル・エントリを転送する。一方、制御部5504が、メインTS、サブTS、及び拡張ストリームのそれぞれに多重化されるべきエレメンタリ・ストリームからストリーム属性情報を抽出し、エントリ・マップと3Dメタデータと共にクリップ情報に対応付ける。こうして、2Dクリップ情報ファイル、DEPクリップ情報ファイル、及び拡張クリップ情報ファイルが生成される。書き込み部5507はそれらのクリップ情報ファイルをBDディスク等BDRに記録する。その後、処理はステップS5708へ進む。
ステップS5708では、制御部5504は、2Dクリップ情報ファイル、DEPクリップ情報ファイル、及び拡張クリップ情報ファイルを利用して、2Dプレイリスト・ファイル、3Dプレイリスト・ファイル、及び拡張プレイリスト・ファイルを生成する。書き込み部5507はそれらのプレイリスト・ファイルをBDディスク等BDRに記録する。その後、処理は終了する。
《実施形態3》
本発明の実施形態3による記録装置は、いわゆるオーサリング装置と呼ばれるものであり、BD−ROMディスクにコンテンツを本発明の実施形態1によるエクステントの配置で記録する。オーサリング装置は通常、頒布用のコンテンツの制作スタジオに設置され、オーサリング・スタッフによって使用される。その記録装置はオーサリング・スタッフの操作に従い、まずコンテンツを所定の圧縮符号化方式でAVストリーム・ファイルに変換する。コンテンツは、4K2Kの2D映像とフルHDの3D映像との両方で表現されている。その記録装置は次にシナリオを生成する。その記録装置は続いて、AVストリーム・ファイル及びシナリオからBD−ROMディスク用のボリューム・イメージを生成する。その記録装置は最後に、そのボリューム・イメージをBD−ROMディスクに記録する。
[記録装置の構成]
図58は、本発明の実施形態3による記録装置の機能ブロック図である。図58を参照するに、その記録装置5800は、データベース部5801、ビデオ・エンコーダ5802、素材制作部5803、シナリオ生成部5804、BDプログラム制作部5805、多重化処理部5806、及びフォーマット処理部5807を含む。
データベース部5801は記録装置5800に内蔵の不揮発性記憶装置であり、特にHDDである。データベース部5801はその他に、記録装置5800に外付けされたHDDであってもよく、記録装置5800に内蔵の、又は外付けされた不揮発性半導体メモリ装置であってもよい。
ビデオ・エンコーダ5802は映像データの符号化処理専用のハードウェアである。ビデオ・エンコーダ5802はその他に、記録装置5800に内蔵のCPUが特定のソフトウェアを実行することによって機能する要素であってもよい。ビデオ・エンコーダ5802は、非圧縮のビットマップ・データ等の映像データをオーサリング・スタッフから受け付けて、MPEG−4 AVC、MVC、又はMPEG−2等の圧縮符号化方式で圧縮する。それにより、映像データは、ベースビュー・ビデオ・ストリーム、ディペンデントビュー・ビデオ・ストリーム、及び拡張ストリームの組み合わせに変換される。変換後の各ビデオ・ストリーム5811と拡張ストリーム5812とはデータベース部5801に保存される。
ビデオ・エンコーダ5802は、図55に示されているもの5502と同様に、3D映像のデータをベースビュー・ビデオ・ストリームとディペンデントビュー・ビデオ・ストリームとの対に変換する。特に、レフトビューとライトビューとの間での各映像の動きベクトルから各3D映像の奥行き情報を算出し、その奥行き情報を利用してデプスマップ・ストリームを生成してもよい。ビデオ・エンコーダ5802は更に、3D映像のデータの符号化で得られたベースビュー・ビデオ・ストリームを利用して、4K2Kの2D映像のデータから、解像度拡張情報を含む拡張ストリームを生成する。
素材制作部5803は、ビデオ・ストリーム5811と拡張ストリーム5812以外のエレメンタリ・ストリーム、例えば、オーディオ・ストリーム5813、PGストリーム5814、及びIGストリーム5815を生成してデータベース部5801に保存する。例えば、素材制作部5803はオーサリング・スタッフから非圧縮のLPCM音声データを受け付けて、それをAC−3等の圧縮符号化方式で符号化してオーディオ・ストリーム5813に変換する。オーディオ・ストリームとしてDTS−HD拡張オーディオ・ストリームが生成される場合、各オーディオ・フレームはDTS−HDコア・オーディオ・フレームと拡張部分とに分解され、前者はオーディオ・ストリームに格納され、後者は拡張ストリームに格納される。素材制作部5803はその他に、オーサリング・スタッフから字幕情報ファイルを受け付けて、それに従ってPGストリーム5814を生成する。字幕情報ファイルは、字幕を表すイメージ・データ又はテキスト・データ、その字幕の表示時期、及び、その字幕に加えられるべきフェード・イン/アウト等の視覚効果を規定する。素材制作部5803は更に、オーサリング・スタッフからビットマップ・データとメニュー・ファイルとを受け付けて、それらに従ってIGストリーム5815を生成する。ビットマップ・データはメニューのイメージを表す。メニュー・ファイルは、そのメニューに配置される各ボタンの状態の遷移、及び各ボタンに加えられるべき視覚効果を規定する。
シナリオ生成部5804は、オーサリング・スタッフからGUI経由で受け付けられた指示に従ってシナリオ・データ5816を生成し、データベース部5801に保存する。シナリオ・データ5816は、インデックス・ファイル、MVオブジェクト・ファイル、及びプレイリスト・ファイルを含み、データベース部5801に保存された各エレメンタリ・ストリーム5811−5815の再生方法を規定する。シナリオ生成部5804は更に、パラメータ・ファイルPRFを生成して多重化処理部5806へ送出する。パラメータ・ファイルPRFは、データベース部5801に保存されたエレメンタリ・ストリーム5811−5815の中から、メインTS、サブTS、及び拡張ストリームのそれぞれに多重化されるべきエレメンタリ・ストリームを規定する。
BDプログラム制作部5805はオーサリング・スタッフに対して、BD−Jオブジェクト及びJavaアプリケーション・プログラムのプログラミング環境を提供する。BDプログラム制作部5805はGUIを通じてユーザからの要求を受け付け、その要求に従って各プログラムのソースコードを生成する。BDプログラム制作部5805は更に、BD−JオブジェクトからBD−Jオブジェクト・ファイルを生成し、Javaアプリケーション・プログラムをJARファイルに圧縮する。それらのプログラム・ファイル群BDPはフォーマット処理部5807へ送出される。
多重化処理部5806はパラメータ・ファイルPRFに従い、データベース部5801に保存されているエレメンタリ・ストリーム5811−5815をMPEG2−TS形式のストリーム・データに多重化する。具体的には、図5に示されているように、まず、各エレメンタリ・ストリーム5811−5815が一連のソースパケット列に変換され、次に、それらのソースパケット列が1本の多重化ストリーム・データにまとめられる。こうして、メインTS、サブTS、及び拡張ストリームが生成される。それらの多重化ストリーム・データMSDはフォーマット処理部5807へ送出される。
多重化処理部5806は更に、2Dクリップ情報ファイル、DEPクリップ情報ファイル、及び拡張クリップ情報ファイルを以下の手順(I)−(IV)で生成する:(I)ファイル2D、ファイルDEP、拡張クリップ情報ファイルのそれぞれについてエントリ・マップを生成する。(II)各クリップ情報ファイルのエントリ・マップを利用してエクステント起点を生成する。そのとき、エクステント・ペア間でエクステントATC時間を揃える。更に、ベースビュー・エクステント、ディペンデントビュー・エクステント、及び拡張エクステントの各サイズが条件1−6を満たすように、エクステントの配置を設計する。特に、ロング・ジャンプが必要な箇所の直前又は直後では、図14に示されている配置1、又は図15に示されている配置2のように、拡張データ専用区間、平面視映像専用区間、及び立体視映像専用区間が設けられる。(III)メインTS、サブTS、及び拡張ストリームのそれぞれに多重化されるべきエレメンタリ・ストリームからストリーム属性情報を抽出する。(IV)エントリ・マップ、3Dメタデータ、及びストリーム属性情報の組み合わせをクリップ情報に対応付ける。こうして、各クリップ情報ファイルCLIが生成され、フォーマット処理部5807へ送出される。
フォーマット処理部5807は、データベース部5801に保存されたシナリオ・データ5816、BDプログラム制作部5805によって制作されたBD−Jオブジェクト・ファイル等のプログラム・ファイル群BDP、及び、多重化処理部5806によって生成された多重化ストリーム・データMSDとクリップ情報ファイルCLIとから、BD−ROMディスク・イメージ5820を生成する。
フォーマット処理部5807は多重化ストリーム・データMSDを、ファイル2D、ファイルDEP、ファイルSS、及び拡張ストリーム・ファイルに格納する。フォーマット処理部5807は、それらのAVストリーム・ファイルのファイル・エントリを生成するとき、クリップ情報ファイルに含まれるエントリ・マップと3Dメタデータとを参照する。それにより、エントリ・ポイントとエクステント起点との各SPNがアロケーション記述子の生成に利用される。特に、図11に示されているようなエクステントのインターリーブ配置が表現されるように、各アロケーション記述子の表すべきLBNの値とエクステントのサイズとが、多重化処理部5806によって設計されたエクステントの配置に従って決定される。
[BD−ROMディスクのオーサリング]
図59は、図58に示されている記録装置5800を利用してBD−ROMディスクへコンテンツを記録する方法のフローチャートである。この方法は、例えば記録装置5800の電源投入によって開始される。
ステップS5801では、BD−ROMディスクへ記録されるべきエレメンタリ・ストリーム、プログラム、及びシナリオ・データが生成される。すなわち、ビデオ・エンコーダ5802はビデオ・ストリーム5811と拡張ストリーム5812とを生成する。素材制作部5803は、オーディオ・ストリーム5813、PGストリーム5814、及びIGストリーム5815を生成する。シナリオ生成部5804はシナリオ・データ5816を生成する。生成されたそれらのデータ5811−5816はデータベース部5801に保存される。一方、シナリオ生成部5804はパラメータ・ファイルPRFを生成して多重化処理部5806へ送出する。BDプログラム制作部5805は、BD−Jオブジェクト・ファイルとJARファイルとを含むプログラム・ファイル群BDPを生成してフォーマット処理部5807へ送出する。その後、処理はステップS5802へ進む。
ステップS5802では、多重化処理部5806はパラメータ・ファイルPRFに従い、データベース部5801からエレメンタリ・ストリーム5811−5815を読み出してMPEG2−TS形式のストリーム・データに多重化する。その後、処理はステップS5803へ進む。
ステップS5803では、多重化処理部5806は、2Dクリップ情報ファイル、DEPクリップ情報ファイル、及び拡張クリップ情報ファイルを生成する。更に、ベースビュー・エクステント、ディペンデントビュー・エクステント、及び拡張エクステントのサイズが条件1−6を満たすように設計される。その後、処理はステップS5804へ進む。
ステップS5804では、フォーマット処理部5807は、シナリオ・データ5816、プログラム・ファイル群BDP、多重化ストリーム・データMDS、及びクリップ情報ファイルCLIからBD−ROMディスク・イメージ5820を生成する。特に、多重化ストリーム・データMDSがAVストリーム・ファイルに格納される際には、図11に示されているようなエクステントのインターリーブ配置が表現されるように、ファイル・エントリ内の各アロケーション記述子の表すべきLBNの値とエクステントのサイズとが、多重化処理部5806によって設計されたエクステントの配置に従って決定される。その後、処理はステップS5805へ進む。
ステップS5805では、BD−ROMディスク・イメージ5820がBD−ROMプレス用データに変換される。このデータは、マスタリング装置によってBD−ROMディスクの原盤に記録される。その後、処理はステップS5806へ進む。
ステップS5806では、ステップS5805で得られた原盤をプレス工程に利用してBD−ROMディスク101の大量生産を行う。こうして、処理が終了する。
《補足》
[記録媒体のファイルシステム]
記録媒体のファイルシステムとしてUDFが利用されるとき、図2に示されているBD−ROMディスク101のボリューム領域202Bのようなデータ記録領域は、一般に複数のディレクトリ、ファイル・セット記述子、及び終端記述子のそれぞれが記録された領域を含む。「ディレクトリ」は、同じディレクトリを構成するデータ群である。「ファイル・セット記述子」は、ルート・ディレクトリのファイル・エントリが記録されているセクタのLBNを示す。「終端記述子」はファイル・セット記述子の記録領域の終端を示す。
各ディレクトリは共通のデータ構造を持つ。各ディレクトリは特に、ファイル・エントリ、ディレクトリ・ファイル、及び下位ファイル群を含む。
「ファイル・エントリ」は、記述子タグ、ICB(InformationControl Block)タグ、及びアロケーション記述子を含む。「記述子タグ」は、その記述子タグを含むデータの種類がファイル・エントリであることを示す。例えば記述子タグの値が“261”であるとき、そのデータの種類はファイル・エントリである。「ICBタグ」はそのファイル・エントリ自身の属性情報を示す。「アロケーション記述子」は、同じディレクトリに属するディレクトリ・ファイルが記録されたセクタのLBNを示す。
「ディレクトリ・ファイル」は、下位ディレクトリのファイル識別記述子と下位ファイルのファイル識別記述子とを一般に複数ずつ含む。「下位ディレクトリのファイル識別記述子」は、そのディレクトリの直下に置かれた下位ディレクトリにアクセスするための情報である。このファイル識別記述子は、その下位ディレクトリの識別情報、ディレクトリ名の長さ、ファイル・エントリ・アドレス、及びディレクトリ名そのものを含む。特にファイル・エントリ・アドレスは、その下位ディレクトリのファイル・エントリが記録されたセクタのLBNを示す。「下位ファイルのファイル識別記述子」は、そのディレクトリの直下に置かれた下位ファイルにアクセスするための情報である。このファイル識別記述子は、その下位ファイルの識別情報、ファイル名の長さ、ファイル・エントリ・アドレス、及びファイル名そのものを含む。特にファイル・エントリ・アドレスは、その下位ファイルのファイル・エントリが記録されたセクタのLBNを示す。「下位ファイルのファイル・エントリ」は、後述のとおり、下位ファイルの本体を構成するデータのアドレス情報を含む。
ファイル・セット記述子と下位ディレクトリ/ファイルのファイル識別記述子とを順番に辿ってゆけば、記録媒体に記録された任意のディレクトリ/ファイルのファイル・エントリにアクセスすることができる。具体的には、まず、ファイル・セット記述子からルート・ディレクトリのファイル・エントリが特定され、そのファイル・エントリ内のアロケーション記述子からルート・ディレクトリのディレクトリ・ファイルが特定される。次に、そのディレクトリ・ファイルからルート・ディレクトリ直下のディレクトリのファイル識別記述子が検出され、その中のファイル・エントリ・アドレスからそのディレクトリのファイル・エントリが特定される。更に、そのファイル・エントリ内のアロケーション記述子からそのディレクトリのディレクトリ・ファイルが特定される。続いて、そのディレクトリ・ファイルのうち、下位ディレクトリ又は下位ファイルのファイル識別記述子内のファイル・エントリ・アドレスからその下位ディレクトリ又は下位ファイルのファイル・エントリが特定される。
「下位ファイル」はそれぞれエクステントとファイル・エントリとを含む。「エクステント」は一般に複数であり、それぞれ、ディスク上の論理アドレス、すなわちLBNが連続しているデータ列である。エクステントの全体が下位ファイルの本体を構成する。「ファイル・エントリ」は、記述子タグ、ICBタグ、及びアロケーション記述子を含む。「記述子タグ」は、その記述子タグを含むデータの種類がファイル・エントリであることを示す。「ICBタグ」はそのファイル・エントリ自身の属性情報を示す。「アロケーション記述子」は各エクステントに対して1つずつ設けられ、データ記録領域における各エクステントの配置、具体的には各エクステントのサイズとその先端のLBNとを示す。従って、各アロケーション記述子を参照することにより、各エクステントにアクセスすることができる。その他に、各アロケーション記述子の上位2ビットは、そのアロケーション記述子の示すLBNのセクタにエクステントが実際に記録されているか否かを示す。すなわち、その上位2ビットが“0”であるとき、そのセクタにはエクステントが割り付け済みであり、かつ記録済みであることを示し、“1”であるとき、そのセクタにエクステントが割り付け済みではあるが未記録であることを示す。
UDFを利用した上記のファイルシステムと同様、記録媒体に対するファイルシステムでは一般に、その記録媒体に記録された各ファイルが複数のエクステントに分割されているとき、上記のアロケーション記述子のように、各エクステントの配置を示す情報がその記録媒体に記録される。その情報を参照することにより、各エクステントの配置、特にその論理アドレスを知ることができる。
[エクステントのサイズとリード・バッファの容量との関係]
<配置1>
図60の(a)、(b)は、図14に示されている配置1のエクステント群から拡張再生モードの再生装置が映像をシームレスに再生するとき、RB1、RB3に蓄積されるデータ量の変化を示すグラフである。図60の(c)は、そのエクステント群に対する拡張再生モードでの再生経路を示す模式図である。この再生経路は、図14に示されているもの1433と同じである。
図60の(a)、(c)を参照するに、第1拡張データ専用区間1411における拡張エクステントT1のプリロード期間PRT1では、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。従って、その期間PRT1が経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188とその拡張エクステントT1のサイズST1とを用いて、第1共用区間1401からのデータの読み出し期間PRBLKの終了時点におけるRB1の蓄積データ量DA1の下限RB11が次式(10)で表されればよい:
図60の(a)、(c)を更に参照するに、第1立体視映像専用区間1413と層境界LBとを越えるためのロング・ジャンプJLJの期間PLJと、第2拡張データ専用区間1421における拡張エクステントT2のプリロード期間PRT2とでは、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。従って、それらの期間PLJ、PRT2が経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188、ロング・ジャンプJLJの最大ジャンプ時間TLJ、及びその拡張エクステントT2のサイズST2を用いて、ロング・ジャンプJLJの開始時点におけるRB1の蓄積データ量DA1の下限RB12が次式(11)で表されればよい:
図60の(a)、(c)を更に参照するに、第2立体視映像専用区間1423を越えるためのジャンプJEXの期間PEX、第2共用区間1402における拡張エクステントT3のプリロード期間PRT3、及びその直後のディペンデントビュー・エクステントDの読み出しをスキップするためのジャンプJSJの期間PSJでは、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。それ故、それらの期間PEX、PRT3、PSJが経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188、ジャンプJEX、JSJの最大ジャンプ時間TEX、TSJ、及びその拡張エクステントT3のサイズST3を用いて、ジャンプJEXの開始時点におけるRB1の蓄積データ量DA1の下限RB13が次式(12)で表されればよい:
以上の結果、RB1の容量RB1は、式(10)−(12)で表される下限RB11、RB12、RB13の中の最大値以上であればよい:
図60の(b)、(c)を参照するに、第1共用区間1401の最後に配置されたエクステント・ブロックからのデータの読み出し期間PRBLKでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、第1拡張データ専用区間1411における拡張エクステントT1のプリロード期間PRT1では、その拡張エクステントT1はRB3から読み出されない。従って、それらの期間PLJ、PRT1が経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、そのエクステント・ブロックが含むエクステント・ペアD、Bの数nとベースビュー・エクステントのサイズSB、ディペンデントビュー・エクステントの読み出しをスキップするためのジャンプJSJの最大ジャンプ時間TSJ、その拡張エクステントT1のサイズST1、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、そのエクステント・ブロックからのデータの読み出し期間PRBLKの開始時点におけるRB3の蓄積データ量DA3の下限RB31が次式(13)で表されればよい:
図60の(b)、(c)を更に参照するに、第1平面視映像専用区間1412からのデータの読み出し期間PRB1、及び第1立体視映像専用区間1413と層境界LBとを越えるためのロング・ジャンプJLJの期間PLJでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、第2拡張データ専用区間1421における拡張エクステントT2のプリロード期間PRT2では、その拡張エクステントT2はRB3から読み出されない。従って、それらの期間PRB1、PLJ、PRT2が経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、第1平面視映像専用区間1412内のベースビュー・エクステントのサイズSB1、ロング・ジャンプJLJの最大ジャンプ時間TLJ、その拡張エクステントT2のサイズST2、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、ロング・ジャンプJLJの開始時点におけるRB3の蓄積データ量DA3の下限RB32が次式(14)で表されればよい:
図60の(b)、(c)を更に参照するに、第2平面視映像専用区間1422からのデータの読み出し期間PRB2、及び第2立体視映像専用区間1423を越えるためのジャンプJEXの期間PEXでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、第2共用区間1402における拡張エクステントT3のプリロード期間PRT3と、その直後のディペンデントビュー・エクステントDの読み出しをスキップするためのジャンプJSJの期間PSJとでは、その拡張エクステントT3はRB3から読み出されない。従って、それらの期間PRB2、PEX、PRT3、PSJが経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、第2平面視映像専用区間1422内のベースビュー・エクステントのサイズSB2、ジャンプJEX、JSJの最大ジャンプ時間TEX、TSJ、その拡張エクステントT3のサイズST3、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、第2平面視映像専用区間1422からのデータの読み出し期間PRB2の開始時点におけるRB3の蓄積データ量DA3の下限RB33が次式(15)で表されればよい:
各拡張データ専用区間1411、1421からRB3へ読み出された拡張エクステントT1、T2は、それぞれの全体の読み出しが終了するまで、RB3からは転送されない。従って、各拡張エクステントT1、T2のプリロードの終了時点におけるRB3の蓄積データ量DA3の下限RB32、RB33は、その拡張エクステントT1、T2の最大エクステント・サイズmaxST1、maxST2以上であればよい:
第2共用区間1402から読み出された拡張エクステントT3は、その読み出し直後のジャンプ期間PSJが経過するまで、RB3からは転送されない。従って、そのジャンプ期間PSJの開始時点におけるRB3の蓄積データ量DA3の下限RB34は、その拡張エクステントT3の最大エクステント・サイズmaxST3と、そのジャンプ期間PSJにRB3からシステム・ターゲット・デコーダへ供給されるデータ量TSJ×RMAX3との和で表される:
以上の結果、RB3の容量RB3は、式(13)−(17)で表される下限RB31、RB32、RB33、RB34の中の最大値以上であればよい:
<配置2>
図61の(a)、(b)は、図15に示されている配置2のエクステント群から拡張再生モードの再生装置が映像をシームレスに再生するとき、RB1、RB3に蓄積されるデータ量の変化を示すグラフである。図61の(c)は、そのエクステント群に対する拡張再生モードでの再生経路を示す模式図である。この再生経路は、図15に示されているもの1533と同じである。
図61の(a)、(c)を参照するに、第1拡張データ専用区間1411における拡張エクステントT1のプリロード期間PRT1と、第1立体視映像専用区間1513を越えるためのジャンプJEX1の期間PEX1とでは、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。従って、それらの期間PRT1、PEX1が経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188、その拡張エクステントT1のサイズST1、及びジャンプJEX1の最大ジャンプ時間TEX1を用いて、第1共用区間1401からのデータの読み出し期間PRBLKの終了時点におけるRB1の蓄積データ量DA1の下限RB11が次式(18)で表されればよい:
図61の(a)、(c)を更に参照するに、層境界LBを越えるためのロング・ジャンプJLJの期間PLJ、第2拡張データ専用区間1421における拡張エクステントT2のプリロード期間PRT2、及び第2立体視映像専用区間1523を越えるためのジャンプJEX2の期間PEX2では、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。従って、それらの期間PLJ、PRT2、PEX2が経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188、ロング・ジャンプJLJの最大ジャンプ時間TLJ、その拡張エクステントT2のサイズST2、及びジャンプJEX2の最大ジャンプ時間TEX2を用いて、ロング・ジャンプJLJの開始時点におけるRB1の蓄積データ量DA1の下限RB12が次式(19)で表されればよい:
図61の(a)、(c)を更に参照するに、第2共用区間1402における拡張エクステントT3のプリロード期間PRT3、及びその直後のディペンデントビュー・エクステントDの読み出しをスキップするためのジャンプJSJの期間PSJでは、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。それ故、それらの期間PRT3、PSJが経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188、ジャンプJSJの最大ジャンプ時間TSJ、及びその拡張エクステントT3のサイズST3を用いて、第2共用区間1402における拡張エクステントT3のプリロードの開始時点におけるRB1の蓄積データ量DA1の下限RB13が次式(20)で表されればよい:
以上の結果、RB1の容量RB1は、式(18)−(20)で表される下限RB11、RB12、RB13の中の最大値以上であればよい:
図61の(b)、(c)を参照するに、第1共用区間1401の最後に配置されたエクステント・ブロックからのデータの読み出し期間PRBLKでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、第1拡張データ専用区間1411における拡張エクステントT1のプリロード期間PRT1と、第1立体視映像専用区間1513を越えるためのジャンプJEX1の期間PEX1とでは、その拡張エクステントT1はRB3から読み出されない。従って、それらの期間PRT1、PEX1が経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、そのエクステント・ブロックが含むエクステント・ペアD、Bの数nとベースビュー・エクステントのサイズSB、ディペンデントビュー・エクステントの読み出しをスキップするためのジャンプJSJの最大ジャンプ時間TSJ、その拡張エクステントT1のサイズST1、第1立体視映像専用区間1513を越えるためのジャンプJEX1の最大ジャンプ時間TEX1、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、そのエクステント・ブロックからのデータの読み出し期間PRBLKの開始時点におけるRB3の蓄積データ量DA3の下限RB31が次式(21)で表されればよい:
図61の(b)、(c)を更に参照するに、第1立体視映像専用区間1513を越えるためのジャンプ期間PEX1、第1平面視映像専用区間1512からのデータの読み出し期間PRB1、及び層境界LBを越えるためのロング・ジャンプJLJの期間PLJでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、第2拡張データ専用区間1421における拡張エクステントT2のプリロード期間PRT2と、第2立体視映像専用区間1523を越えるためのジャンプJEX2の期間PEX2とでは、その拡張エクステントT2はRB3から読み出されない。従って、それらの期間PEX1、PRB1、PLJ、PRT2、PEX2が経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、第1平面視映像専用区間1512内のベースビュー・エクステントのサイズSB1、ジャンプJEX1、JLJ、JEX2の最大ジャンプ時間TEX1、TLJ、TEX2、その拡張エクステントT2のサイズST2、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、ジャンプJEX1の開始時点におけるRB3の蓄積データ量DA3の下限RB32が次式(22)で表されればよい:
図61の(b)、(c)を更に参照するに、第2立体視映像専用区間1523を越えるためのジャンプJEX2の期間PEX2と、第2平面視映像専用区間1522からのデータの読み出し期間PRB2とでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、第2共用区間1402における拡張エクステントT3のプリロード期間PRT3と、その直後のディペンデントビュー・エクステントDの読み出しをスキップするためのジャンプJSJの期間PSJとでは、その拡張エクステントT3はRB3から読み出されない。従って、それらの期間PEX2、PRB2、PRT3、PSJが経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、ジャンプJEX2、JSJの最大ジャンプ時間TEX2、TSJ、第2平面視映像専用区間1522内のベースビュー・エクステントのサイズSB2、その拡張エクステントT3のサイズST3、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、ジャンプ期間PEX2の開始時点におけるRB3の蓄積データ量DA3の下限RB33が次式(23)で表されればよい:
第1拡張データ専用区間1411から読み出された拡張エクステントT1は、その読み出し直後のジャンプ期間PEX1が経過するまで、RB3から転送されない。従って、そのジャンプ期間PEX1の開始時点におけるRB3の蓄積データ量DA3の下限RB32が、その拡張エクステントT1の最大エクステント・サイズmaxST1と、そのジャンプ期間PEX1にRB3からシステム・ターゲット・デコーダへ供給されるデータ量TEX1×RMAX3との和以上でなければならない:
第2拡張データ専用区間1421から読み出された拡張エクステントT2は、その読み出し直後のジャンプ期間PEX2が経過するまで、RB3から転送されない。従って、そのジャンプ期間PEX2の開始時点におけるRB3の蓄積データ量DA3の下限RB33が、その拡張エクステントT2の最大エクステント・サイズmaxST2と、そのジャンプ期間PEX2にRB3からシステム・ターゲット・デコーダへ供給されるデータ量TEX2×RMAX3との和以上でなければならない:
第2共用区間1402から読み出された拡張エクステントT3は、その読み出し直後のジャンプ期間PSJが経過するまで、RB3から転送されない。従って、そのジャンプ期間PSJの開始時点におけるRB3の蓄積データ量DA3の下限RB34が、その拡張エクステントT3の最大エクステント・サイズmaxST3と、そのジャンプ期間PSJにRB3からシステム・ターゲット・デコーダへ供給されるデータ量TSJ×RMAX3との和でなければならない:
以上の結果、RB3の容量RB3は、式(21)−(26)で表される下限RB31、RB32、RB33、RB34の中の最大値以上であればよい:
<層境界LBの直前でのみ、配置1である場合>
図62の(c)は、層境界LBの直前にのみ、拡張データ専用区間、平面視映像専用区間、及び立体視映像専用区間を配置した場合におけるエクステント群、及びそれらのエクステント群に対する拡張再生モードでの再生経路を示す模式図である。このエクステント群と再生経路とは、図14に示されている配置1から、第2拡張データ専用区間1421、第2平面視映像専用区間1422、及び第2立体視映像専用区間1423を除去した場合のものと等しい。図62の(a)、(b)は、(c)に示されているエクステント群から拡張再生モードの再生装置が映像をシームレスに再生するとき、RB1、RB3に蓄積されるデータ量の変化を示すグラフである。
図62の(a)、(c)を参照するに、拡張データ専用区間1411における拡張エクステントT1のプリロード期間PRT1ではRB1の蓄積データ量DA1が第1転送速度REXT1で減少する。従って、その期間PRT1が経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188とその拡張エクステントT1のサイズST1とを用いて、第1共用区間1401からのデータの読み出し期間PRBLKの終了時点におけるRB1の蓄積データ量DA1の下限RB11が次式(27)で表されればよい:
図62の(a)、(c)を更に参照するに、立体視映像専用区間1413と層境界LBとを越えるためのロング・ジャンプJLJの期間PLJ、第2共用区間1402における拡張エクステントT2のプリロード期間PRT2、及び、その直後のディペンデントビュー・エクステントDの読み出しをスキップするためのジャンプJSJの期間PSJでは、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。従って、それらの期間PLJ、PRT2、PSJが経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188、ジャンプJLJ、JSJの最大ジャンプ時間TLJ、TSJ、及びその拡張エクステントT2のサイズST2を用いて、ロング・ジャンプJLJの開始時点におけるRB1の蓄積データ量DA1の下限RB12が次式(28)で表されればよい:
以上の結果、RB1の容量RB1は、式(27)、(28)で表される下限RB11、RB12のいずれか大きい方以上であればよい:
図62の(b)、(c)を参照するに、第1共用区間1401の最後に配置されたエクステント・ブロックからのデータの読み出し期間PRBLKでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、拡張データ専用区間1411における拡張エクステントT1のプリロード期間PRT1では、その拡張エクステントT1はRB3から読み出されない。従って、それらの期間PLJ、PRT1が経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、そのエクステント・ブロックが含むエクステント・ペアD、Bの数nとベースビュー・エクステントのサイズSB、ディペンデントビュー・エクステントの読み出しをスキップするためのジャンプJSJの最大ジャンプ時間TSJ、その拡張エクステントT1のサイズST1、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、そのエクステント・ブロックからのデータの読み出し期間PRBLKの開始時点におけるRB3の蓄積データ量DA3の下限RB31が次式(29)で表されればよい:
図62の(b)、(c)を更に参照するに、平面視映像専用区間1412からのデータの読み出し期間PRB、及び、立体視映像専用区間1413と層境界LBとを越えるためのロング・ジャンプJLJの期間PLJでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、第2共用区間1402における拡張エクステントT2のプリロード期間PRT2と、その直後のディペンデントビュー・エクステントDの読み出しをスキップするためのジャンプJSJの期間PSJとでは、その拡張エクステントT2はRB3から読み出されない。従って、それらの期間PRB、PLJ、PRT2、PSJが経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、平面視映像専用区間1412内のベースビュー・エクステントのサイズSB1、ジャンプJLJ、JSJの最大ジャンプ時間TLJ、TSJ、その拡張エクステントT2のサイズST2、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、ロング・ジャンプJLJの開始時点におけるRB3の蓄積データ量DA3の下限RB32が次式(30)で表されればよい:
拡張データ専用区間1411からRB3へ読み出された拡張エクステントT1は、その全体の読み出しが終了するまで、RB3からは転送されない。従って、拡張エクステントT12のプリロードの終了時点におけるRB3の蓄積データ量DA3の下限RB32は、その拡張エクステントT1の最大エクステント・サイズmaxST1以上であればよい:
第2共用区間1402から読み出された拡張エクステントT2は、その読み出し直後のジャンプ期間PSJが経過するまで、RB3からは転送されない。従って、そのジャンプ期間PSJの開始時点におけるRB3の蓄積データ量DA3の下限RB33は、その拡張エクステントT2の最大エクステント・サイズmaxST2と、そのジャンプ期間PSJにRB3からシステム・ターゲット・デコーダへ供給されるデータ量TSJ×RMAX3との和で表される:
以上の結果、RB3の容量RB3は、式(29)−(32)で表される下限RB31、RB32、RB33の中の最大値以上であればよい:
<層境界LBの直前でのみ、配置2である場合>
図63の(c)は、図62の(c)において、平面視映像専用区間と立体視映像専用区間との位置を入れ換えた場合におけるエクステント群、及びそれらのエクステント群に対する拡張再生モードでの再生経路を示す模式図である。このエクステント群と再生経路とは、図15に示されている配置2から、第2拡張データ専用区間1421、第2平面視映像専用区間1522、及び第2立体視映像専用区間1523を除去した場合のものと等しい。図63の(a)、(b)は、(c)に示されているエクステント群から拡張再生モードの再生装置が映像をシームレスに再生するとき、RB1、RB3に蓄積されるデータ量の変化を示すグラフである。
図63の(a)、(c)を参照するに、拡張データ専用区間1411における拡張エクステントT1のプリロード期間PRT1と、立体視映像専用区間1513を越えるためのジャンプJEXの期間PEXとでは、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。従って、それらの期間PRT1、PEXが経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188、その拡張エクステントT1のサイズST1、及びジャンプJEXの最大ジャンプ時間TEXを用いて、第1共用区間1401からのデータの読み出し期間PRBLKの終了時点におけるRB1の蓄積データ量DA1の下限RB11が次式(33)で表されればよい:
図63の(a)、(c)を更に参照するに、層境界LBを越えるためのロング・ジャンプJLJの期間PLJ、第2共用区間1402における拡張エクステントT2のプリロード期間PRT2、及びその直後のディペンデントビュー・エクステントDの読み出しをスキップするためのジャンプJSJの期間PSJでは、RB1の蓄積データ量DA1が第1転送速度REXT1で減少する。従って、それらの期間PLJ、PRT2、PSJが経過するまでRB1の蓄積データ量DA1が0に達するのを防ぐには、第1転送速度REXT1の最高値RMAX1=RTS1×192/188、ジャンプJLJ、JSJの最大ジャンプ時間TLJ、TSJ、及びその拡張エクステントT2のサイズST2を用いて、ロング・ジャンプJLJの開始時点におけるRB1の蓄積データ量DA1の下限RB12が次式(34)で表されればよい:
以上の結果、RB1の容量RB1は、式(33)、(34)で表される下限RB11、RB12のいずれか大きい方以上であればよい:
図63の(b)、(c)を参照するに、第1共用区間1401の最後に配置されたエクステント・ブロックからのデータの読み出し期間PRBLKでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、拡張データ専用区間1411における拡張エクステントT1のプリロード期間PRT1と、立体視映像専用区間1513を越えるためのジャンプJEXの期間PEXとでは、その拡張エクステントT1はRB3から読み出されない。従って、それらの期間PRT1、PEXが経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、そのエクステント・ブロックが含むエクステント・ペアD、Bの数nとベースビュー・エクステントのサイズSB、ディペンデントビュー・エクステントの読み出しをスキップするためのジャンプJSJの最大ジャンプ時間TSJ、その拡張エクステントT1のサイズST1、立体視映像専用区間1513を越えるためのジャンプJEXの最大ジャンプ時間TEX1、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、そのエクステント・ブロックからのデータの読み出し期間PRBLKの開始時点におけるRB3の蓄積データ量DA3の下限RB31が次式(35)で表されればよい:
図63の(b)、(c)を更に参照するに、立体視映像専用区間1513を越えるためのジャンプ期間PEX、平面視映像専用区間1512からのデータの読み出し期間PRB、及び層境界LBを越えるためのロング・ジャンプJLJの期間PLJでは、RB3の蓄積データ量DA3が第3転送速度REXT3で減少する。また、第2共用区間1402における拡張エクステントT2のプリロード期間PRT2と、その直後のディペンデントビュー・エクステントDの読み出しをスキップするためのジャンプJSJの期間PSJとでは、その拡張エクステントT2はRB3から読み出されない。従って、それらの期間PEX、PRB、PLJ、PRT2、PSJが経過するまで、RB3からシステム・ターゲット・デコーダへのデータの供給を維持するには、平面視映像専用区間1512内のベースビュー・エクステントのサイズSB1、ジャンプJEX、JLJ、JSJの最大ジャンプ時間TEX、TLJ、TSJ、その拡張エクステントT2のサイズST2、及び第3転送速度REXT3の最高値RMAX3=RTS3×192/188を用いて、ジャンプJEXの開始時点におけるRB3の蓄積データ量DA3の下限RB32が次式(36)で表されればよい:
拡張データ専用区間1411から読み出された拡張エクステントT1は、その読み出し直後のジャンプ期間PEXが経過するまで、RB3から転送されない。従って、そのジャンプ期間PEXの開始時点におけるRB3の蓄積データ量DA3の下限RB32が、その拡張エクステントT1の最大エクステント・サイズmaxST1と、そのジャンプ期間PEXにRB3からシステム・ターゲット・デコーダへ供給されるデータ量TEX×RMAX3との和以上でなければならない:
第2共用区間1402から読み出された拡張エクステントT2は、その読み出し直後のジャンプ期間PSJが経過するまで、RB3から転送されない。従って、そのジャンプ期間PSJの開始時点におけるRB3の蓄積データ量DA3の下限RB33が、その拡張エクステントT2の最大エクステント・サイズmaxST2と、そのジャンプ期間PSJにRB3からシステム・ターゲット・デコーダへ供給されるデータ量TSJ×RMAX3との和でなければならない:
以上の結果、RB3の容量RB3は、式(35)−(38)で表される下限RB31、RB32、RB33の中の最大値以上であればよい:
<本発明の他の特徴付け>
本発明は、上記の実施形態に基づき、以下のように特徴づけられてもよい。
本発明の1つの観点による記録媒体では、平面視映像専用区間が立体視映像専用区間の直後に位置してもよい。その場合、3D再生モードでの再生装置は、共用区間からのデータの読み出しを終えた直後にジャンプを行うことにより、拡張データ専用区間へのアクセスのみをスキップすればよい。従って、その共用区間の最後に配置されたエクステント・ブロックは他のエクステント・ブロックと同様に、エクステント・ペアを2つ以上含めばよい。
本発明の1つの観点による記録媒体では、立体視映像専用区間、平面視映像専用区間、及び拡張データ専用区間から成る組が、ロング・ジャンプの必要な箇所の直前と直後とのそれぞれに配置されていてもよい。その場合、各モードでの再生経路において、ロング・ジャンプの起点と終点とのいずれをも異なる位置に設計することができる。従って、いずれのモードでの再生経路においても、ロング・ジャンプの距離を許容範囲内に確実に収めることができる。
本発明の1つの観点による記録装置は、メインビュー・ストリーム、サブビュー・ストリーム、及び拡張ストリームを記録媒体に記録する記録装置であり、符号化部、多重化部、及び書き込み部を備えている。符号化部は、立体視映像のメインビューをメインビュー・ビデオ・ストリームに符号化し、その立体視映像のサブビューをサブビュー・ビデオ・ストリームに符号化し、そのメインビュー・ビデオ・ストリームと組み合わされて利用される拡張データを符号化する。多重化部は、メインビュー・ビデオ・ストリームをメインビュー・ストリームに多重化し、サブビュー・ビデオ・ストリームをサブビュー・ストリームに多重化し、拡張データを拡張ストリームに多重化する。多重化部は更に、メインビュー・ストリームを複数のメインビュー・エクステントに分割し、サブビュー・ストリームを複数のサブビュー・エクステントに分割し、拡張ストリームを複数の拡張エクステントに分割し、記録媒体におけるエクステントの配置を決定する。書き込み部は、多重化部によって決定されたエクステントの配置に従って、複数のメインビュー・エクステント、複数のサブビュー・エクステント、及び複数の拡張エクステントを記録媒体に書き込む。多重化部は、共用区間、立体視映像専用区間、平面視映像専用区間、及び拡張データ専用区間を記録媒体上に設計する。共用区間は、メインビュー・エクステント、サブビュー・エクステント、及び拡張エクステントが交互に連続して配置された領域である。立体視映像専用区間は、メインビュー・エクステントとサブビュー・エクステントとが交互に連続して配置された領域である。平面視映像専用区間は、立体視映像専用区間に隣接する領域であって、立体視映像専用区間に配置されたメインビュー・エクステントの複製が連続して配置された領域である。拡張データ専用区間は、立体視映像専用区間と平面視映像専用区間とが連続する領域の直前に位置する領域であって、平面視映像専用区間に配置されたメインビュー・エクステントの複製と組み合わされて利用されるべき拡張エクステントが配置された領域である。多重化部はこれらの区間の設計により、再生装置にこれらの区間を以下のようにアクセスさせる。まず、再生装置によって、立体視映像が再生されるとき、メインビューが平面視映像として再生されるとき、及び、拡張ストリームがメインビュー・ストリームと組み合わされて利用されるときのいずれにおいても、その再生装置に共用区間をアクセスさせる。次に、立体視映像の再生中において、ロング・ジャンプが行われる直前に共用区間に続いて立体視映像専用区間を再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に立体視映像専用区間を共用区間よりも先に再生装置にアクセスさせる。更に、平面視映像の再生中において、ロング・ジャンプが行われる直前に共用区間に続いて平面視映像専用区間を再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に平面視映像専用区間を共用区間よりも先に再生装置にアクセスさせる。その上、拡張ストリームがメインビュー・ストリームと共に読み出される場合において、ロング・ジャンプが行われる直前に共用区間に続いて拡張データ専用区間と平面視映像専用区間との対を再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に拡張データ専用区間と平面視映像専用区間との対を共用区間よりも先に再生装置にアクセスさせる。
本発明の1つの観点による記録方法は、メインビュー・ストリーム、サブビュー・ストリーム、及び拡張ストリームを記録媒体に記録する方法であり、以下のステップを含む。まず、立体視映像のメインビューをメインビュー・ビデオ・ストリームに符号化し、その立体視映像のサブビューをサブビュー・ビデオ・ストリームに符号化し、メインビュー・ビデオ・ストリームと組み合わされて利用される拡張データを符号化する。次に、メインビュー・ビデオ・ストリームをメインビュー・ストリームに多重化し、サブビュー・ビデオ・ストリームをサブビュー・ストリームに多重化し、拡張データを拡張ストリームに多重化する。続いて、メインビュー・ストリームを複数のメインビュー・エクステントに分割し、サブビュー・ストリームを複数のサブビュー・エクステントに分割し、拡張ストリームを複数の拡張エクステントに分割して、記録媒体におけるエクステントの配置を決定する。更に、決定されたエクステントの配置に従って、複数のメインビュー・エクステント、複数のサブビュー・エクステント、及び複数の拡張エクステントを記録媒体に書き込む。エクステントの配置を決定するステップでは、共用区間、立体視映像専用区間、平面視映像専用区間、及び拡張データ専用区間が記録媒体上に設計される。共用区間は、メインビュー・エクステント、サブビュー・エクステント、及び拡張エクステントが交互に連続して配置された領域である。立体視映像専用区間は、メインビュー・エクステントとサブビュー・エクステントとが交互に連続して配置された領域である。平面視映像専用区間は、立体視映像専用区間に隣接する領域であって、立体視映像専用区間に配置されたメインビュー・エクステントの複製が連続して配置された領域である。拡張データ専用区間は、立体視映像専用区間と平面視映像専用区間とが連続する領域の直前に位置する領域であって、平面視映像専用区間に配置されたメインビュー・エクステントの複製と組み合わされて利用されるべき拡張エクステントが配置された領域である。これらの区間が記録媒体上に設計されることにより、これらの区間を再生装置に以下のようにアクセスさせる。再生装置によって、立体視映像が再生されるとき、メインビューが平面視映像として再生されるとき、及び、拡張ストリームがメインビュー・ストリームと組み合わされて利用されるときのいずれにおいても、再生装置に共用区間をアクセスさせる。立体視映像の再生中において、ロング・ジャンプが行われる直前に共用区間に続いて立体視映像専用区間を再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に立体視映像専用区間を共用区間よりも先に再生装置にアクセスさせる。平面視映像の再生中において、ロング・ジャンプが行われる直前に共用区間に続いて平面視映像専用区間を再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に平面視映像専用区間を共用区間よりも先に再生装置にアクセスさせる。拡張ストリームがメインビュー・ストリームと共に読み出される場合において、ロング・ジャンプが行われる直前に共用区間に続いて拡張データ専用区間と平面視映像専用区間との対を再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に拡張データ専用区間と平面視映像専用区間との対を共用区間よりも先に再生装置にアクセスさせる。
再生装置は、本発明の上記の観点による記録装置及び方法によって記録媒体に記録されたデータを読み出す際、ロング・ジャンプを行う直前又は直後に、立体視映像の再生時、平面視映像の再生時、及び拡張ストリームとメインビュー・ストリームとの組み合わせの利用時のそれぞれで異なる領域をアクセスする。それにより、上記の記録装置及び方法はそれらの領域に対して別々に、ロング・ジャンプ中にバッファ・アンダーフローを生じさせないためにエクステントのサイズが満たすべき条件を設定することができる。その結果、立体視映像と平面視映像との両方をシームレスに再生することと、再生装置内のバッファ容量を更に削減することとを両立させることができる。また、平面視映像の再生時、及び拡張ストリームとメインビュー・ストリームとの組み合わせの利用時の両方で同じ平面視映像専用区間がアクセスされる。それにより、1枚の記録媒体に重複して記録されるべきメインビュー・エクステントのデータ量が最小限に抑えられる。従って、立体視映像の再生時、平面視映像の再生時、及び拡張ストリームとメインビュー・ストリームとの組み合わせの利用時のいずれにおいても、ロング・ジャンプの距離を許容範囲内に収めることができる。このように、上記の記録装置及び方法は記録媒体に3D映像コンテンツと拡張データとの組み合わせを、再生装置に再生能力を良好に維持させるような態様で記録することができる。
本発明は立体視映像の記録再生技術に関し、上記のとおり、ロング・ジャンプが必要な記録媒体上の箇所の直前又は直後に3種類の区間を設計する。このように、本発明は明らかに産業上利用可能である。
1401 第1共用区間
1411 第1拡張データ専用区間
1412 第1平面視映像専用区間
1413 第1立体視映像専用区間
1402 第2共用区間
1421 第2拡張データ専用区間
1422 第2平面視映像専用区間
1423 第2立体視映像専用区間
L0 第1記録層
L1 第2記録層
LB 層境界
T 拡張エクステント
D ディペンデントビュー・エクステント
B ベースビュー・エクステント
B2D 2D再生専用ブロック
B3D 3D再生専用ブロック
EXT2D[m] ファイル2Dのエクステント
EXTSS[m] ファイルSSのエクステント
EXT3[m] 拡張ストリーム・ファイルのエクステント
JLY ロング・ジャンプ
J2D 2D再生モードにおけるジャンプ
J3D 3D再生モードにおけるジャンプ
JEX 拡張再生モードにおけるジャンプ
1411 第1拡張データ専用区間
1412 第1平面視映像専用区間
1413 第1立体視映像専用区間
1402 第2共用区間
1421 第2拡張データ専用区間
1422 第2平面視映像専用区間
1423 第2立体視映像専用区間
L0 第1記録層
L1 第2記録層
LB 層境界
T 拡張エクステント
D ディペンデントビュー・エクステント
B ベースビュー・エクステント
B2D 2D再生専用ブロック
B3D 3D再生専用ブロック
EXT2D[m] ファイル2Dのエクステント
EXTSS[m] ファイルSSのエクステント
EXT3[m] 拡張ストリーム・ファイルのエクステント
JLY ロング・ジャンプ
J2D 2D再生モードにおけるジャンプ
J3D 3D再生モードにおけるジャンプ
JEX 拡張再生モードにおけるジャンプ
Claims (6)
- 立体視映像のメインビューを表すメインビュー・ストリーム、前記立体視映像のサブビューを表すサブビュー・ストリーム、及び、前記メインビュー・ストリームと組み合わされて利用される拡張ストリームが記録された記録媒体であって、
前記メインビュー・ストリームは複数のメインビュー・エクステントから構成され、前記サブビュー・ストリームは複数のサブビュー・エクステントから構成され、前記拡張ストリームは複数の拡張エクステントから構成され、
メインビュー・エクステント、サブビュー・エクステント、及び拡張エクステントが交互に連続して配置された共用区間、
メインビュー・エクステントとサブビュー・エクステントとが交互に連続して配置された立体視映像専用区間、
前記立体視映像専用区間に隣接する領域であって、前記立体視映像専用区間に配置されたメインビュー・エクステントの複製が連続して配置された平面視映像専用区間、並びに、
前記立体視映像専用区間と前記平面視映像専用区間とが連続する領域の直前に位置する領域であって、前記平面視映像専用区間に配置されたメインビュー・エクステントの複製と組み合わされて利用されるべき拡張エクステントが配置された拡張データ専用区間、
を有し、
前記共用区間は、前記立体視映像が再生されるとき、前記メインビューが平面視映像として再生されるとき、及び、前記拡張ストリームが前記メインビュー・ストリームと組み合わされて利用されるときのいずれにおいてもアクセスされ、
前記立体視映像専用区間は、前記立体視映像の再生中において、ロング・ジャンプが生じる直前に前記共用区間に続いてアクセスされ、又は、ロング・ジャンプが終了した直後に前記共用区間よりも先にアクセスされ、
前記平面視映像専用区間は、前記平面視映像の再生中において、ロング・ジャンプが生じる直前に前記共用区間に続いてアクセスされ、又は、ロング・ジャンプが終了した直後に前記共用区間よりも先にアクセスされ、
前記拡張データ専用区間と前記平面視映像専用区間との対は、前記拡張ストリームが前記メインビュー・ストリームと共に読み出される場合において、ロング・ジャンプが生じる直前に前記共用区間に続いてアクセスされ、又は、ロング・ジャンプが終了した直後に前記共用区間よりも先にアクセスされる、
ことを特徴とする記録媒体。 - 前記平面視映像専用区間が前記立体視映像専用区間の直後に位置することを特徴とする、請求項1に記載の記録媒体。
- 前記立体視映像専用区間、前記平面視映像専用区間、及び前記拡張データ専用区間から成る組が、ロング・ジャンプの必要な箇所の直前と直後とのそれぞれに配置されている、
ことを特徴とする、請求項1に記載の記録媒体。 - 立体視映像のメインビューを表すメインビュー・ストリーム、前記立体視映像のサブビューを表すサブビュー・ストリーム、又は、拡張ストリームを記録媒体から読み出して、前記立体視映像を再生し、前記メインビューを平面視映像として再生し、又は、前記拡張ストリームを前記メインビュー・ストリームと組み合わせて利用する再生装置であって、
前記メインビュー・ストリームは複数のメインビュー・エクステントから構成され、前記サブビュー・ストリームは複数のサブビュー・エクステントから構成され、前記拡張ストリームは複数の拡張エクステントから構成され、
前記記録媒体は、
メインビュー・エクステント、サブビュー・エクステント、及び拡張エクステントが交互に連続して配置された共用区間、
メインビュー・エクステントとサブビュー・エクステントとが交互に連続して配置された立体視映像専用区間、
前記立体視映像専用区間に隣接する領域であって、前記立体視映像専用区間に配置されたメインビュー・エクステントの複製が連続して配置された平面視映像専用区間、並びに、
前記立体視映像専用区間と前記平面視映像専用区間とが連続する領域の直前に位置する領域であって、前記平面視映像専用区間に配置されたメインビュー・エクステントの複製と組み合わされて利用されるべき拡張エクステントが配置された拡張データ専用区間、
を有し、
前記再生装置は、
前記記録媒体からデータを読み出す読み出し部、
前記読み出し部によって読み出されたデータから、前記メインビュー・ストリーム、前記サブビュー・ストリーム、及び前記拡張ストリームを抽出するスイッチ部、
前記スイッチ部によって抽出された前記メインビュー・ストリームを格納する第1リード・バッファ、
前記スイッチ部によって抽出された前記サブビュー・ストリームを格納する第2リード・バッファ、
前記スイッチ部によって抽出された前記拡張ストリームを格納する第3リード・バッファ、並びに、
前記第1リード・バッファから前記メインビュー・ストリームを読み出して復号し、前記第2リード・バッファから前記サブビュー・ストリームを読み出して復号し、前記第3リード・バッファから前記拡張ストリームを読み出して復号する復号部、
を備え、
前記読み出し部は、
前記立体視映像が再生されるとき、前記メインビューが平面視映像として再生されるとき、及び、前記拡張ストリームが前記メインビュー・ストリームと組み合わされて利用されるときのいずれにおいても前記共用区間にアクセスし、
前記立体視映像の再生中において、ロング・ジャンプを行う直前に前記共用区間に続いて前記立体視映像専用区間にアクセスし、又はロング・ジャンプを行った直後に前記共用区間よりも先に前記立体視映像専用区間にアクセスし、
前記平面視映像の再生中において、ロング・ジャンプを行う直前に前記共用区間に続いて前記平面視映像専用区間にアクセスし、又はロング・ジャンプを行った直後に前記共用区間よりも先に前記平面視映像専用区間にアクセスし、
前記拡張ストリームを前記メインビュー・ストリームと共に読み出す場合において、ロング・ジャンプを行う直前に前記拡張データ専用区間と前記平面視映像専用区間との対にアクセスし、又はロング・ジャンプを行った直後に前記共用区間よりも先に前記拡張データ専用区間と前記平面視映像専用区間との対にアクセスする、
ことを特徴とする再生装置。 - 記録媒体に、メインビュー・ストリーム、サブビュー・ストリーム、及び拡張ストリームを記録する記録装置であって、
立体視映像のメインビューをメインビュー・ビデオ・ストリームに符号化し、前記立体視映像のサブビューをサブビュー・ビデオ・ストリームに符号化し、前記メインビュー・ビデオ・ストリームと組み合わされて利用される拡張データを符号化する符号化部、
前記メインビュー・ビデオ・ストリームを前記メインビュー・ストリームに多重化し、前記サブビュー・ビデオ・ストリームを前記サブビュー・ストリームに多重化し、前記拡張データを前記拡張ストリームに多重化し、前記メインビュー・ストリームを複数のメインビュー・エクステントに分割し、前記サブビュー・ストリームを複数のサブビュー・エクステントに分割し、前記拡張ストリームを複数の拡張エクステントに分割し、前記記録媒体におけるエクステントの配置を決定する多重化部、並びに、
前記多重化部によって決定されたエクステントの配置に従って、前記複数のメインビュー・エクステント、前記複数のサブビュー・エクステント、及び前記複数の拡張エクステントを前記記録媒体に書き込む書き込み部、
を備え、
前記多重化部は、
メインビュー・エクステント、サブビュー・エクステント、及び拡張エクステントが交互に連続して配置された共用区間、
メインビュー・エクステントとサブビュー・エクステントとが交互に連続して配置された立体視映像専用区間、
前記立体視映像専用区間に隣接する領域であって、前記立体視映像専用区間に配置されたメインビュー・エクステントの複製が連続して配置された平面視映像専用区間、並びに、
前記立体視映像専用区間と前記平面視映像専用区間とが連続する領域の直前に位置する領域であって、前記平面視映像専用区間に配置されたメインビュー・エクステントの複製と組み合わされて利用されるべき拡張エクステントが配置された拡張データ専用区間、
を前記記録媒体上に設計することにより、
再生装置によって、前記立体視映像が再生されるとき、前記メインビューが平面視映像として再生されるとき、及び、前記拡張ストリームが前記メインビュー・ストリームと組み合わされて利用されるときのいずれにおいても、前記再生装置に前記共用区間をアクセスさせ、
前記立体視映像の再生中において、ロング・ジャンプが行われる直前に前記共用区間に続いて前記立体視映像専用区間を前記再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に前記立体視映像専用区間を前記共用区間よりも先に前記再生装置にアクセスさせ、
前記平面視映像の再生中において、ロング・ジャンプが行われる直前に前記共用区間に続いて前記平面視映像専用区間を前記再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に前記平面視映像専用区間を前記共用区間よりも先に前記再生装置にアクセスさせ、
前記拡張ストリームが前記メインビュー・ストリームと共に読み出される場合において、ロング・ジャンプが行われる直前に前記共用区間に続いて前記拡張データ専用区間と前記平面視映像専用区間との対を前記再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に前記拡張データ専用区間と前記平面視映像専用区間との対を前記共用区間よりも先に前記再生装置にアクセスさせる、
ことを特徴とする記録装置。 - 記録媒体に、メインビュー・ストリーム、サブビュー・ストリーム、及び拡張ストリームを記録する方法であって、
立体視映像のメインビューをメインビュー・ビデオ・ストリームに符号化し、前記立体視映像のサブビューをサブビュー・ビデオ・ストリームに符号化し、前記メインビュー・ビデオ・ストリームと組み合わされて利用される拡張データを符号化するステップ、
前記メインビュー・ビデオ・ストリームを前記メインビュー・ストリームに多重化し、前記サブビュー・ビデオ・ストリームを前記サブビュー・ストリームに多重化し、前記拡張データを前記拡張ストリームに多重化するステップ、
前記メインビュー・ストリームを複数のメインビュー・エクステントに分割し、前記サブビュー・ストリームを複数のサブビュー・エクステントに分割し、前記拡張ストリームを複数の拡張エクステントに分割して、前記記録媒体におけるエクステントの配置を決定するステップ、並びに、
決定されたエクステントの配置に従って、前記複数のメインビュー・エクステント、前記複数のサブビュー・エクステント、及び前記複数の拡張エクステントを前記記録媒体に書き込むステップ、
を備え、
前記エクステントの配置を決定するステップでは、
メインビュー・エクステント、サブビュー・エクステント、及び拡張エクステントが交互に連続して配置された共用区間、
メインビュー・エクステントとサブビュー・エクステントとが交互に連続して配置された立体視映像専用区間、
前記立体視映像専用区間に隣接する領域であって、前記立体視映像専用区間に配置されたメインビュー・エクステントの複製が連続して配置された平面視映像専用区間、並びに、
前記立体視映像専用区間と前記平面視映像専用区間とが連続する領域の直前に位置する領域であって、前記平面視映像専用区間に配置されたメインビュー・エクステントの複製と組み合わされて利用されるべき拡張エクステントが配置された拡張データ専用区間、
が前記記録媒体上に設計されることにより、
再生装置によって、前記立体視映像が再生されるとき、前記メインビューが平面視映像として再生されるとき、及び、前記拡張ストリームが前記メインビュー・ストリームと組み合わされて利用されるときのいずれにおいても、前記再生装置に前記共用区間をアクセスさせ、
前記立体視映像の再生中において、ロング・ジャンプが行われる直前に前記共用区間に続いて前記立体視映像専用区間を前記再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に前記立体視映像専用区間を前記共用区間よりも先に前記再生装置にアクセスさせ、
前記平面視映像の再生中において、ロング・ジャンプが行われる直前に前記共用区間に続いて前記平面視映像専用区間を前記再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に前記平面視映像専用区間を前記共用区間よりも先に前記再生装置にアクセスさせ、
前記拡張ストリームが前記メインビュー・ストリームと共に読み出される場合において、ロング・ジャンプが行われる直前に前記共用区間に続いて前記拡張データ専用区間と前記平面視映像専用区間との対を前記再生装置にアクセスさせ、又はロング・ジャンプが行われた直後に前記拡張データ専用区間と前記平面視映像専用区間との対を前記共用区間よりも先に前記再生装置にアクセスさせる、
ことを特徴とする記録方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161526816P | 2011-08-24 | 2011-08-24 | |
US61/526,816 | 2011-08-24 | ||
PCT/JP2012/005293 WO2013027408A1 (ja) | 2011-08-24 | 2012-08-23 | 記録媒体、再生装置、記録装置、及び記録方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013027408A1 true JPWO2013027408A1 (ja) | 2015-03-05 |
JP5957768B2 JP5957768B2 (ja) | 2016-07-27 |
Family
ID=47746168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013505241A Expired - Fee Related JP5957768B2 (ja) | 2011-08-24 | 2012-08-23 | 記録媒体、再生装置、記録装置、及び記録方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8989556B2 (ja) |
EP (1) | EP2750389A4 (ja) |
JP (1) | JP5957768B2 (ja) |
CN (1) | CN103181172B (ja) |
WO (1) | WO2013027408A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5908894B2 (ja) * | 2011-04-28 | 2016-04-26 | パナソニック株式会社 | 記録媒体、再生装置、及び記録装置 |
US20150009289A1 (en) * | 2013-07-08 | 2015-01-08 | Electronics And Telecommunications Research Institute | Method and apparatus for providing three-dimensional (3d) video |
US9894422B2 (en) * | 2014-02-18 | 2018-02-13 | Lg Electronics Inc. | Method and apparatus for transreceiving broadcast signal for panorama service |
US9348495B2 (en) | 2014-03-07 | 2016-05-24 | Sony Corporation | Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone |
WO2016039171A1 (ja) * | 2014-09-12 | 2016-03-17 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム、並びに記録媒体 |
JP2016081553A (ja) * | 2014-10-17 | 2016-05-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 記録媒体、再生方法、および再生装置 |
JP6595232B2 (ja) * | 2015-07-02 | 2019-10-23 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡用撮像装置、内視鏡装置、及び内視鏡用ケーブル |
JP2017157904A (ja) * | 2016-02-29 | 2017-09-07 | 富士ゼロックス株式会社 | 情報処理装置 |
JP2017213181A (ja) * | 2016-05-31 | 2017-12-07 | オリンパス株式会社 | 医療用画像記録装置 |
CN108881877B (zh) * | 2017-05-12 | 2020-07-24 | 京东方科技集团股份有限公司 | 显示处理装置及其显示处理方法以及显示装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3935507B2 (ja) * | 1996-02-28 | 2007-06-27 | 松下電器産業株式会社 | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、光ディスク記録装置 |
WO2010073499A1 (ja) * | 2008-12-26 | 2010-07-01 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
JP2011004411A (ja) * | 2009-02-19 | 2011-01-06 | Panasonic Corp | 半導体集積回路 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2696147C (en) * | 2008-09-17 | 2016-02-02 | Panasonic Corporation | Recording medium, playback device, and integrated circuit |
EP2521366B1 (en) | 2009-02-19 | 2014-09-17 | Panasonic Corporation | Playback device |
US8290338B2 (en) * | 2009-05-27 | 2012-10-16 | Panasonic Corporation | Recording medium, playback device, encoding device, integrated circuit, and playback output device |
CN102160389B (zh) | 2009-06-11 | 2013-03-27 | 松下电器产业株式会社 | 再现装置、集成电路、记录介质 |
RU2535443C2 (ru) * | 2009-09-25 | 2014-12-10 | Панасоник Корпорэйшн | Носитель записи, устройство воспроизведения и интегральная схема |
-
2012
- 2012-08-23 JP JP2013505241A patent/JP5957768B2/ja not_active Expired - Fee Related
- 2012-08-23 WO PCT/JP2012/005293 patent/WO2013027408A1/ja active Application Filing
- 2012-08-23 EP EP12825215.2A patent/EP2750389A4/en not_active Withdrawn
- 2012-08-23 CN CN201280003441.6A patent/CN103181172B/zh not_active Expired - Fee Related
- 2012-08-23 US US13/824,516 patent/US8989556B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3935507B2 (ja) * | 1996-02-28 | 2007-06-27 | 松下電器産業株式会社 | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、光ディスク記録装置 |
WO2010073499A1 (ja) * | 2008-12-26 | 2010-07-01 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
JP2011004411A (ja) * | 2009-02-19 | 2011-01-06 | Panasonic Corp | 半導体集積回路 |
Also Published As
Publication number | Publication date |
---|---|
CN103181172A (zh) | 2013-06-26 |
EP2750389A4 (en) | 2014-09-24 |
JP5957768B2 (ja) | 2016-07-27 |
US8989556B2 (en) | 2015-03-24 |
US20130279883A1 (en) | 2013-10-24 |
WO2013027408A1 (ja) | 2013-02-28 |
EP2750389A1 (en) | 2014-07-02 |
CN103181172B (zh) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5908894B2 (ja) | 記録媒体、再生装置、及び記録装置 | |
JP5957768B2 (ja) | 記録媒体、再生装置、記録装置、及び記録方法 | |
JP5551654B2 (ja) | 半導体集積回路 | |
JP4676579B2 (ja) | 記録媒体、再生装置、及び集積回路 | |
JP4642939B2 (ja) | 記録媒体、再生装置、及び集積回路 | |
JP4654327B2 (ja) | 記録媒体、及び再生装置 | |
US8045844B2 (en) | Recording medium, playback apparatus, and integrated circuit | |
JP5491414B2 (ja) | 記録媒体、再生装置、及び集積回路 | |
WO2010089995A1 (ja) | 記録媒体、再生装置、及び集積回路 | |
WO2010100875A1 (ja) | 記録媒体、再生装置、及び集積回路 | |
JP4569935B2 (ja) | 記録媒体、再生装置、及び集積回路 | |
WO2010098134A1 (ja) | 記録媒体、再生装置、及び集積回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160602 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5957768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |