JP4764855B2 - 記録方法、再生システム - Google Patents
記録方法、再生システム Download PDFInfo
- Publication number
- JP4764855B2 JP4764855B2 JP2007163930A JP2007163930A JP4764855B2 JP 4764855 B2 JP4764855 B2 JP 4764855B2 JP 2007163930 A JP2007163930 A JP 2007163930A JP 2007163930 A JP2007163930 A JP 2007163930A JP 4764855 B2 JP4764855 B2 JP 4764855B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- stream
- time
- video stream
- button
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
デジタルストリームは、MPEG2-Video、MPEG4-AVC等の可変長符号化方式により符号化されており、フレーム当たりの情報量にばらつきがある。このことから、ランダムアクセスを実行する際、上述した変換を行うにあたっては、エントリーマップの参照が必要になる。ここでエントリーマップとは、時間軸上の複数のエントリー時刻を、デジタルストリームにおける複数のエントリー位置に対応づけて示す情報であり、エントリーマップにおける複数のエントリー時刻が、1秒という時間精度を有している場合、1秒という時間精度でのランダムアクセスを、高効率に行うことができる。
エントリーマップは、ピクチャデータ毎の再生時刻に対応付けて、ビデオストリームにおける各ピクチャデータのエントリーアドレスを示しており、ビデオストリームに含まれる全てのピクチャデータのエントリーアドレスがエントリーマップに含まれていることを特徴としている。
時間軸上の任意の時点からビデオストリーム上の記録位置を導くことができ、また、1枚先、3枚先というピクチャ精度でのランダムアクセスを実現することができるので、ユーザ操作に即応して、前後のピクチャを表示させたり、数枚前後のピクチャを表示させうるアプリケーションを制作することができる。
スライドショーに対するエントリーマップのデータ構造が、外観上、動画に対するエントリーマップのデータ構造と同一であっても、再生装置は、動画再生と同じ再生制御を実行しつつ、フラグが上述した旨を示している場合のみ、ピクチャ精度のランダムアクセスを実行すればよい。再生装置は、動画再生との互換性を維持する形で、ピクチャ精度のランダムアクセスを実現することができる。これにより、動画再生と、スライドショー再生との両機能を兼備した再生装置の普及を促進することができる。
以降、本発明に係る記録媒体の実施形態について説明する。先ず始めに、本発明に係る記録媒体の実施行為のうち、使用行為についての形態を説明する。図1は、本発明に係る記録媒体の、使用行為についての形態を示す図である。図1において、本発明に係る記録媒体は、BD-ROM100である。このBD-ROM100は、再生装置200、リモコン300、テレビ400により形成されるホームシアターシステムに、映画作品を供給するという用途に供される。
本図の第4段目にBD-ROMを示し、第3段目にBD-ROM上のトラックを示す。本図のトラックは、BD-ROMの内周から外周にかけて螺旋状に形成されているトラックを、横方向に引き伸ばして描画している。このトラックは、リードイン領域と、ボリューム領域と、リードアウト領域とからなる。本図のボリューム領域は、物理層、ファイルシステム層、応用層というレイヤモデルをもつ。ディレクトリ構造を用いてBD-ROMの応用層フォーマット(アプリケーションフォーマット)を表現すると、図中の第1段目のようになる。この第1段目においてBD-ROMには、Rootディレクトリの下に、BDMVディレクトリがある。
STREAMディレクトリには、いわばデジタルストリーム本体となるファイル群を格納しているディレクトリであり、拡張子m2tsが付与されたファイル(00001.m2ts,00002.m2ts,00003.m2ts)が存在する。
CLIPINFディレクトリには、拡張子clpiが付与されたファイル(00001.clpi,00002.clpi,00003.clpi)が存在する。
<AVClipの構成>
続いて拡張子.m2tsが付与されたファイルについて説明する。図3は、拡張子.m2tsが付与されたファイルがどのように構成されているかを模式的に示す図である。拡張子.m2tsが付与されたファイル(00001.m2ts,00002.m2ts,00003.m2ts・・・・・)は、AVClipを格納している。AVClipは(第4段目)、複数のビデオフレーム(ピクチャpj1,2,3)からなるビデオストリーム、複数のオーディオフレームからなるオーディオストリームを(第1段目)、PESパケット列に変換し(第2段目)、更にTSパケットに変換して(第3段目)、これらを多重化することで構成される。
続いて、MPEG2-TS形式のデジタルストリームであるAVClipが、BD-ROMにどのように書き込まれるかを説明する。図4は、AVClipを構成するTSパケットがどのような過程を経てBD-ROMに書き込まれるかを示す図である。本図の第1段目にAVClipを構成するTSパケットを示す。
第3段目、第4段目は、BD-ROMの物理単位と、TSパケットとの対応関係を示す。第4段目に示すように、BD-ROM上には複数セクタが形成されている。extra_header付きTSパケット(以下EX付きTSパケットと略す)は、32個毎にグループ化されて、3つのセクタに書き込まれる。32個のEX付きTSパケットからなるグループは、6144バイト(=32×192)であり、これは3個のセクタサイズ6144バイト(=2048×3)と一致する。3個のセクタに収められた32個のEX付きTSパケットを“AlignedUnit”といい、BD-ROMへの書き込みにあたっては、Aligned Unit単位で暗号化がなされる。
<ビデオストリーム>
ビデオストリームの内部構成について説明する。図5は、ビデオストリームの内部構成を示す図である。ビデオストリームには、映画により利用されるものと、スライドショーにより利用されるものの2つのタイプがある。本実施形態において、これら映画、スライドショーで用いられるビデオストリームは何れもMPEG4-AVCで符号化されている点で共通する。つまり、符号化方式の点において共通するものとする。
図中のI,P,Bは、それぞれIピクチャ、Bピクチャ、Pピクチャを意味する。Iピクチャには、IDRピクチャと、Non-IDR Iピクチャとの2種類がある。Non-IDRIピクチャ、Pピクチャ、Bピクチャは、他のピクチャとのフレーム相関性に基づき圧縮符号化されている。Bピクチャとは、Bidirectionallypredictive(B)形式のスライスデータからなるピクチャをいい、Pピクチャとは、Predictive(P)形式のスライスデータからなるピクチャをいう。Bピクチャには、refrenceBピクチャと、nonrefrenceBピクチャとがある。
続いてIDRピクチャ及びNon-IDR Iピクチャの内部構成について説明する。図6(a)は、IDRピクチャの内部構成を示す図である。本図に示すようにIDRピクチャは、複数のIntra形式のスライスデータからなる。図6(b)は、Non-IDRIピクチャの内部構成を示す。IDRピクチャがIntra形式のスライスデータのみから構成されているのに対し、Non-IDR IピクチャはIntra形式のスライスデータ、P形式のスライスデータ、B形式のスライスデータから構成されている。図6(c)は、Non-IDRIピクチャにおける依存関係を示す。Non-IDR Iピクチャは、B,Pスライスデータから構成されうるので、他のピクチャとの依存関係をもちうる。
続いてIDRピクチャ、Non-IDR Iピクチャが、どのようにしてTSパケットに変換され、BD-ROMに記録されるかについて説明する。図7は、IDRピクチャ、Non-IDRIピクチャがTSパケットに変換される過程を示す図である。図中の第1段目は、IDRピクチャ、Non-IDR Iピクチャを示す。第2段目は、MPEG4-AVCに規定されたAccessUnitを示す。IDRピクチャ、Non-IDR Iピクチャを構成する複数のスライスデータは、シーケンシャルに配置され、AUD(Access UnitDelimiter),SPS(Sequence Parameter Set),PPS(Picture ParameterSet),SEI(Supplemental Enhanced info)が付加されることにより、Access Unitに変換されることになる。
第3段目はNAL unitを示す。第2段目におけるAUD,SPS,PPS,SEIに対し、ヘッダを付加することにより、AUD,SPS,PPS,SEI、スライスデータは、それぞれNALunitに変換されることになる。NAL unitとは、MPEG4-AVCのネットワーク抽象レイヤ(Network Abstraction Layer)において、規定された単位であり、ITU-TRecommendation H.264等の様々な文献に記載されているので、詳細についてはこれらの文献を参照されたい。ここで重要であるのは、AUD,SPS,PPS,SEI,スライスデータは、それぞれ独立したNALunitに変換されているので、AUD,SPS,PPS,SEI,スライスデータのそれぞれは、ネットワーク抽象レイヤにおいて、それぞれ独立に取り扱われるという点である。
1つのGOPを再生するには、そのGOPの先頭に位置するIDRピクチャ、Non-IDR Iピクチャを構成するNAL unitのうち、Access UnitDelimiterを含むものをデコーダに投入せねばならない。つまりAccess Unit Delimiterを含むNAL unitが、IDRピクチャ、Non-IDRIピクチャをデコードするための1つの指標になる。このAccess Unit Delimiterを含むNAL unitを、本実施形態では点(Point)として扱う。そして再生装置は、ビデオストリームを再生するにあたって、AccessUnit Delimiterを含むNAL unitを、Non-IDR Iピクチャ、IDRピクチャを再生するためのエントリー位置として解釈する。従って、AVClipにおいて、ランダムアクセスを実行するには、IDRピクチャ,Non-IDRIピクチャのAccess Unit Delimiterが何処に存在するかを、把握することが非常に重要になる。以上が映画に用いられる、MPEG4-AVC形式のビデオストリームの構成である。
続いて、スライドショーに用いられるビデオストリームについて説明する。図5(b)は、スライドショーに用いられるビデオストリームの内部構成を示す図である。本図に示すように、スライドショーに用いられるビデオストリームは、複数の静止画データから構成される。これらの静止画データは、何れも、IDRピクチャである。つまりスライドショーでは、どのピクチャも単体でデコードされるように、IDRピクチャでデコードされているのである。
BD-ROMに記録されうるスライドショーには、オーディオストリームが多重されておらず、オーディオストリームの再生とは無関係に、静止画の再生が進行するスライドショー(BrowsableSlideShow)が他に存在する。
スライドショーを構成するビデオストリームの内部構成について説明する。
図8は、スライドショーにおけるIDRピクチャが、BD-ROMにどのように記録されるかを図である。BD-ROMへの記録は、図7と同様である。つまりスライドショーを構成するIDRピクチャは、複数のスライスデータからなるので、各スライスデータを、動画のIDRピクチャ同様、NALunitに変換して、BD-ROMに記録するのである。本図に示す記録が、図7のものと異なるのは、ピクチャを構成するスライスデータの末尾に、“End ofStreamコード”がある点である。このEnd of Streamコードは、デコーダ動作の凍結(Display Frozen)を再生装置に命じる終端コードであり、スライスデータと同様、1つのNALunitに変換されてBD-ROMに記録される。
続いて拡張子.clpiが付与されたファイルについて説明する。拡張子.clpiが付与されたファイル(00001.clpi,00002.clpi,00003.clpi・・・・・)は、Clip情報を格納している。Clip情報は、個々のAVClipについての管理情報である。図10は、Clip情報の内部構成を示す図である。本図の左側に示すようにClip情報は、i)AVClipファイルの属性情報を格納した『ClipInfo()』、ii)ATC Sequence,STC Sequenceに関する情報を格納した『Sequence Info()』iii)Program Sequenceに関する情報を格納した『Program Info()』iv)『Characteristic Point Info(CPI())』からなる。
図11(a)は、ビデオストリームについてのStream_Coding_Infoを示し、図11(b)は、オーディオストリームについてのStream_Coding_Infoを示す。ビデオストリームのStream_Coding_Infoは、図11(a)に示すように、ビデオストリームの符号化方式が、MPEG4-AVC、MPEG2-Videoの何れであるかを示す『Stream_Coding_type』と、ビデオストリームの表示方式が480i,576i,480p,1080i,720p,1080pの何れであるかを示す『Video_format』,ビデオストリームのフレームレートが23.976Hz,29.97Hz,59.94Hzの何れであるかを示す『frame_rate』、ビデオストリームにおけるピクチャのアスペクト比が4:3,16:9の何れであるかを示す『aspect_ratio』を含む。
<CPI(EP_map)>
図10に戻って、CPIの説明を行う。図中の引き出し線cu2は、CPIの構成をクローズアップしている。引き出し線cu2に示すように、CPIはEP_mapからなる。EP_mapは、Ne個のEP_map_for_one_stream_PID(EP_map_for_one_stream_PID(0)〜EP_map_for_one_stream_PID(Ne-1))からなる。これらEP_map_for_one_stream_PIDは、AVClipに属する個々のエレメンタリストリームについてのEP_mapである。EP_mapは、1つのエレメンタリストリーム上において、AccessUnit Delimiterが存在するエントリー位置のパケット番号(SPN_EP_start)を、エントリー時刻(PTS_EP_start)と対応づけて示す情報である。図中の引き出し線cu3は、EP_map_for_one_stream_PIDの内部構成をクローズアップしている。
続いて、Clip情報におけるClip infoについて説明する。図12は、Clip情報におけるClip infoの内部構成を示す図である。図中の引き出し線はClipinfo()の構成をクローズアップしている。この引き出し線に示すように、Clip info()は、デジタルストリームの類型を示す“clip_stream_type”,本AVClipを利用するアプリケーションの類型を示す“application_type”,AVClipの記録レートを示す“TS_recording_rate”,AVClipを構成するTSパケット数を示す“number_of_source_packet”から構成されていることがわかる。このうちclip_stream_typeは、本Clip情報に対応するAVClipが、MovieApplication,TS for Timebased SlideShow,TS for MainPath of the BrowsableSlideShow,TS for SubPath of the Browsable SlideShowの何れであるかを示す。具体的には、
a)clip_stream_type=1である場合、AVClipの類型は、Movie Applicationであることを示す。
c)clip_stream_type=3である場合、AVClipの類型は、TS for MainPath of the BrowsableSlideShowであることを示す。ここで“MainPath”とは、Browsable SlideShowを構成するビデオストリーム−オーディオストリームの組みのうち、ビデオストリームであることを意味する。
図12における矢印ct3,ct4は、このapplication_typeがもたらす副次的な意味内容を示す。副次的な意味内容とは、application_typeがそれぞれの値に設定された際、EP_mapのデータ構造がどのようなものになるかを意味する。
図中の矢印ct3は、application_typeが2,3である場合、EP_mapがどのようなデータ構造になるかを示す。具体的にいうと、application_typeが2,3である場合、AVClipの全てのピクチャを指し示すように、PTS_EP_startの値が設定されることを意味する。つまりAVClipの全てのピクチャがEP_mapにて指し示されていることを保証している。
ここでスライドショーを作成するにあたって、全てのピクチャデータをIDRピクチャに設定するというというのは、1つの考え方にすぎない。他のピクチャとの相関性を用いて圧縮されたPピクチャや2枚以上の前後のピクチャとの相関性を用いて圧縮されたBピクチャを用いることで、ビデオストリームを構成してもよい。従ってオーサリング者によっては、PピクチャやBピクチャを用いてスライドショーを構成しようとするかもしれない。
所望のピクチャを再生する度に、そのピクチャが参照している全てのピクチャをデコードせねばならないので、PピクチャやBピクチャからスライドショーを構成しようとすると、操作性が悪い、スライドショーを制作することになりかねない。
ビデオストリームがスライドショーに用いられるものであるか否かは、Clip_Infoにおけるapplication_typeに示されているので、このapplication_typeが“スライドショーを示しているか否か”は、“ビデオストリームを構成する各ピクチャデータの位置及び再生開始時刻が、EP_mapにより示されているか否か”という副次的な意味をもつことになる。
故に再生装置は、スライドショーを再生するにあたって、このapplication_typeを参照することにより、前後のピクチャをデコードせずとも、所望のピクチャをデコードすることができる。
以下、具体例を通じて、映画と、スライドショーとのEP_map設定の違いについて説明する。図13は、映画のビデオストリーム(application_type=1or4)に対するEP_map設定を示す図である。第1段目は、表示順序に配置された複数のピクチャを示し、第2段目は、そのピクチャにおける時間軸を示す。第4段目は、BD-ROM上のTSパケット列を示し、第3段目は、EP_mapの設定を示す。
図14左側のEP_Low(0)〜(Nf-1)のうち、EP_Low(i)〜(i+1)のPTS_EP_Lowは、t1,t3,t5,t7の下位ビットを示す。EP_Low(0)〜(Nf-1)のうち、EP_Low(i)〜(i+1)のSPN_EP_Highは、n1,n3,n5,n7の下位ビットを示す。
映画のような動画アプリケーションの場合は一度再生を開始すれば、以降のピクチャを連続的にデコードするため、EP_mapは、すべてのAccess Unitを指定しておく必要はなく、最低限再生開始したい点にのみEP_mapのエントリーが設定されていればよい。このように映画に用いられるビデオストリームにあたっては、隣り合うPTS_EP_startの値が、1秒未満になるように設定されればよいから、t2,t4,t6に存在するピクチャのように、隣りのAccessUnitとの時間間隔が0.5秒程度になるAccess Unitについては、その再生時点がPTS_EP_startにて指示されないものも現れる。図15は、図13のビデオストリームに対するランダムアクセスがどのようになされるかを示す図である。
続いて、application_typeがスライドショー(application_type=2or3)である場合の、EP_map設定について説明する。時間軸上の複数の時点(t1〜t7)において、再生がなされるよう、PTSが設定されたIDRピクチャが、スライドショー内に存在するものとする。この場合、このスライドショーに対するEP_map設定は、図16のようになる。図16は、スライドショーに対し、設定されたEP_mapの内部構成を示す図である。
こうして、各IDRピクチャの再生時点が、エントリー時刻として、EP_mapにより指定されるので、t1〜t7のうち、どれかをランダムアクセスのアクセス先に選ぶ場合でも、先行するIDRピクチャを経由するという迂回のオーバーヘッドが発生することはない。図17は、時間軸上の一時点へのランダムアクセスを、図16と同様の表記で、示した図である。本図における第1段目〜第4段目は、図16と同様である。第2段目における時点t2,t4,t6のうち、t6をアクセス先にしてランダムアクセスを実行しようとすると、時点t6そのものが、PTS_EP_startに指示されているので、先のIDRピクチャを経由することなく、時点t6にあたる、記録位置(SPN=N6)をアクセスすることができる。
上述したようなEP_map設定に伴い、CLIP.INFOにおけるApplication_Typeを2又は3に示しておけば、スライドショーを構成するすべてのピクチャに対してEP_map上にエントリーが存在することが識別できるので、EP_mapのエントリーを参照することにより、読み出すデータの範囲が判明し、前後のストリームを余分に解析する必要がなくなる。
以上で本発明に係る記録媒体についての説明を終わる。続いて本発明に係る再生装置について説明する。
図18は、本発明に係る再生装置の内部構成を示す図である。本発明に係る再生装置は、本図に示す内部構成に基づき、工業的に生産される。本発明に係る再生装置は、主としてシステムLSIと、ドライブ装置という2つのパーツからなり、これらのパーツを装置のキャビネット及び基板に実装することで工業的に生産することができる。システムLSIは、再生装置の機能を果たす様々な処理部を集積した集積回路である。こうして生産される再生装置は、BDドライブ1、Arrivaltime Clock Counter2、Source de-packetetizer3、PID Filter4、Transport Buffer5、MultiplexedBuffer6、Coded Picture Buffer7、ビデオデコーダ8、Decoded Picture
Buffer10、ビデオプレーン11、TransportBuffer12、Coded Data Buffer13、Stream Graphics Processor14、Object Buffer15、CompositionBuffer16、Composition Controller17、Presentation Graphicsプレーン18、CLUT部19、TransportBuffer20、Coded Data Buffer21、Stream Graphics Processor22、Object Buffer23、CompositionBuffer24、Composition Controller25、Intaractive Graphicsプレーン26、CLUT部27、合成部28、合成部29、スイッチ30、NetworkDevice31、Local Storage32、Arrival Time Clock Counter33、Source De-Packetizer34、PIDフィルタ35、スイッチ36、TransportBuffer37、Elementary Buffer38、オーディオデコーダ39、Transport Buffer40、バッファ41、テキスト字幕デコーダ42、シナリオメモリ43、制御部44、PSRセット46から構成される。本図における内部構成は、MPEGのT-STDモデルをベースとしたデコーダモデルであり、ダウンコンバートを想定した含めたデコーダモデルになっている。本図において一点鎖線で囲んだ部位は、システムLSIとして、ワンチップ化されている部位を示す。
Arrival time Clock Counter2は、27MHzの水晶発振器(27MHz X-tal)に基づき、Arrival Time Clockを生成する。ArrivalTime Clockとは、TSパケットに付与されたATSの基準となる時間軸を規定するクロック信号である。
Transport Buffer(TB)5は、ビデオストリームに帰属するTSパケットがPIDフィルタ4から出力された際、一旦蓄積されるバッファである。
Coded Picture Buffer(CPB)7は、符号化状態にあるピクチャ(Non-IDR Iピクチャ、IDRピクチャ、Bピクチャ、Pピクチャ)が格納されるバッファである。
Decoded Picture Buffer10は、復号されたピクチャが書き込まれるバッファである。
ビデオプレーン11は、非圧縮形式のピクチャを格納しておくためのプレーンである。プレーンとは、再生装置において一画面分の画素データを格納しておくためのメモリ領域である。ビデオプレーン11における解像度は1920×1080であり、このビデオプレーン11に格納されたピクチャデータは、16ビットのYUV値で表現された画素データにより構成される。
Coded Data Buffer(CDB)13は、PGストリームを構成するPESパケットが格納されるバッファである。
Stream Graphics Processor(SGP)14は、グラフィクスデータを格納したPESパケット(ODS)をデコードして、デコードにより得られたインデックスカラーからなる非圧縮状態のビットマップをグラフィクスオブジェクトとしてObjectBuffer15に書き込む。
Composition Buffer16は、グラフィクスデータ描画のための制御情報(PCS)が配置されるメモリである。
Graphics Controller17は、Composition Buffer16に配置されたPCSを解読して、解読結果に基づく制御をする。
Transport Buffer(TB)20は、IGストリームに帰属するTSパケットが一旦蓄積されるバッファである。
Coded Data Buffer(CDB)21は、IGストリームを構成するPESパケットが格納されるバッファである。
Object Buffer23は、Stream Graphics Processor22のデコードにより得られたグラフィクスオブジェクトが配置される。
Graphics Controller25は、Composition Buffer24に配置された制御情報を解読して、解読結果に基づく制御をする。
Interactive Graphicsプレーン26は、Stream Graphics Processor(SGP)22によるデコードで得られた非圧縮グラフィクスが書き込まれる。本プレーンにおける解像度は1920×1080であり、IntaractiveGraphicsプレーン26中の非圧縮グラフィクスの各画素は8ビットのインデックスカラーで表現される。CLUT(Color Lookup Table)を用いてかかるインデックスカラーを変換することにより、IntaractiveGraphicsプレーン26に格納された非圧縮グラフィクスは、表示に供される。
合成部28はビデオプレーン11に格納された非圧縮状態のフレーム画像と、Presentation Graphicsプレーン18に格納された非圧縮状態のグラフィクスオブジェクトとを合成させる。かかる合成により、動画像上に、字幕が重ね合わされた合成画像を得ることができる。
スイッチ30は、BD-ROMから読み出されたTSパケット、Local Storage32から読み出されたTSパケットの何れか一方を、選択的にTransportBuffer20に供給する。
Local Storage32は、様々な記録媒体及び通信媒体から供給されたコンテンツを格納しておくためのハードディスクである。Network Device31により確立されたコネクションを通じてwebサイトからダウンロードされたコンテンツ等も、このLocalStorage32に格納される。
スイッチ36は、BD-ROMから読み出されたTSパケット、Local Storage32から読み出されたTSパケットのどちらかをオーディオデコーダ39側に許可要求する。
Transport Buffer(TB)37は、オーディオストリームに帰属するTSパケットを蓄積する。
オーディオデコーダ39は、Elementary Buffer38から出力されたPESパケットを復号して、非圧縮形式のオーディオデータを出力する。
Transport Buffer(TB)40は、テキスト字幕ストリームに帰属するTSパケットを蓄積する。
テキスト字幕デコーダ42は、バッファ41に読み出されたPESパケットをデコードして、表示に供する。このデコードは、Local Storage32から別途読み出されるフォントを用いて、テキスト字幕ストリーム中のテキスト文字列を、ビットマップに展開することでなされる。デコードにより得られたテキスト字幕は、PresentationGraphicsプレーン18に書き込まれる。
制御部44は、命令ROMと、CPUとからなり、命令ROMに格納されているソフトウェアを実行して、再生装置全体の制御を実行する。この制御の内容は、ユーザ操作に応じて発生するユーザイベント、及び、PSRセット46における各PSRの設定値に応じて動的に変化する。
続いて制御部44の処理手順について説明する。
制御部44は、MPEG4-AVC形式のビデオストリームの再生時においてランダムアクセスを実行するよう、BDドライブ1、ビデオデコーダ8を制御する。
一方ランダムアクセスには、タイムサーチがある。タイムサーチとは、“何時何分何秒”に再生せよという時間情報をユーザから受け付けて、指示された再生開始時点にあたる位置から、ビデオストリームを再生する技術である。この際制御部44は、時間情報をBD-ROM上のAccessUnitアドレス(Iピクチャアドレスともいう)に変換するという変換処理を行い、Access Unitのアドレスを求めてから、そのアドレス以降のTSパケットをBD-ROMから読み出させ、そのTSパケットを順次デコーダに投入する。
こうしてEP_Low_idを求めれば、ステップS3〜ステップS5からなるループ処理に移行する。EP_Low_idを変数jに代入した上で(ステップS3)、ステップS4〜ステップS5からなるループ処理を実行するというものである。このループ処理は、ステップS5がYesと判定されるまで、変数jのデクリメント(ステップS4)を繰り返すものである。このステップS5は、変数jにて特定されるEntryPointのis_angle_change_point(PTS_EP_Low[j].is_angle_change_point)が1であるか否かを判定するものであり、変数jにて特定されるEntryPointのis_angle_change_pointが連続して“0”を示している限り、このループ処理は繰り返し実行される。
Unitアドレスに変換する手順を示すフローチャートである。
スライドショーでは、ビデオストリームにおける全てのピクチャがIDRピクチャであり、その再生時点がPTS_EP_startにて指定されているので、図19のステップS3〜ステップS7の処理を行うことなく、In_timeをIDRピクチャのアドレスに変換することができる。具体的にいうなら、S1では、In_timeをPTS_EP_startとし、ステップS2では、PTS_EP_startに最も近い、EP_High_id、EP_Low_idの組みを求めて、SPN_EP_Low[EP_Low_id]と、SPN_EP_High[EP_High_id]とからSPN_EP_Startを求めることにより(ステップS8)、AccessUnitアドレスを得ればよい(ステップS9)。つまり、Access
Unitアドレスを得るための変換手順が大幅に簡略化されることになる。
以上の手順により、In_timeに合致するPTS_EP_startが存在する場合、EP_mapにおけるPTS_EP_startのうち、In_timeに合致するものに対応するSPN_EP_startからのピクチャデータの読み出しと、再生を実行することができる。
以上のように本実施形態によれば、ユーザの操作により前後の映像を表示せず、スキップ操作などにより順序に関係なく静止画を表示する必要があるスライドショーにおいて、すべての静止画をIDRピクチャで構成して、EP_mapで指定しておき、ストリーム解析が必要になるようにしている。
なお、前記ビデオストリームを構成する全てのピクチャデータのエントリーアドレスがEP_mapに含まれていることを保証するフラグを、EP_mapあるいは関連するナビゲーション情報内の一箇所に記録していてもよい。
第2実施形態は、スライドショーにおける時間軸上に、チャプターを設定する改良に関する。以降、チャプター定義のための情報について説明する。
このチャプター定義のための情報は、PlayList情報であり、拡張子“mpls”が付与されたファイル内に存在する。以降、PlayList情報について説明する。
拡張子“mpls”が付与されたファイル(00001.mpls,00002.mpls,00003.mpls・・・・・)は、PlayList情報を格納したファイルである。PlayList情報は、AVClipを参照してPlayListと呼ばれる再生経路を定義する情報である。図21は、PlayList情報の構成を示す図であり、本図の左側に示すように、PlayList情報は、複数のPlayItem情報からなる。PlayItemとは、1つ以上のAVClip時間軸上において、In_Time,Out_Timeを指定することで定義される再生区間である。PlayItem情報を複数配置させることで、複数再生区間からなるPlayList(PL)が定義される。図中の破線hs1は、PlayItem情報の内部構成をクローズアップしている。本図に示すようにPlayItem情報は、対応するClip情報を示す『Clip_information_file_name』と、対応するAVClipの符号化方式を示す『Clip_codec_indentifier』と、AVClipの再生を開始すべき時刻を示す『In_time』と、AVClipの再生を終了すべき時刻を示す『Out_time』と、『Still_mode』と、『Still_time』とからなる。図22は、AVClipと、PlayList情報との関係を示す図である。第1段目はAVClipがもつ時間軸を示し、第2段目は、PlayListがもつ時間軸(PL時間軸という)を示す。PlayList情報は、PlayItem#1,#2,#3という3つのPlayItem情報を含んでおり、これらPlayItem#1,#2,#3のIn_time,Out_timeにより、3つの再生区間が定義されることになる。これらの再生区間を配列させると、AVClip時間軸とは異なる時間軸が定義されることになる。これが第2段目に示すPL時間軸である。このように、PlayItem情報の定義により、AVClipとは異なる時間軸の定義が可能になる。
『Still_mode』は、In_timeからOut_timeまでのピクチャを再生するにあたって、最後のピクチャデータを静止表示するか否かを示す。“00”に設定された場合、Still_modeは、静止表示を継続しない旨を表し、“01”に設定された場合、Still_modeは、静止表示を有限時間継続する旨を示す。“01”に設定された場合の、静止表示の時間長は、Still_timeに設定される。“02”に設定された場合、Still_modeは、静止表示を無限時間継続する旨を示す。静止表示を無限時間継続する場合の表示解除は、ユーザからの明示の操作による。
以上が、本実施形態に係るPlayItem情報についての説明である。続いてPLMark情報についてである。
図23は、第2実施形態に係るPlayList情報の、複数のPLMark情報の内部構成を示す図である。図23におけるPLmark情報(PLmark())は、PL時間軸のうち、任意の区間を、チャプター点として指定する情報である。図23の引き出し線pm1に示すようにPLmark情報は、『ref_to_PlayItem_Id』と、『mark_time_stamp』とを含む。図24は、PLmark情報によるチャプター定義を示す図である。本図において第1段目は、AVClip時間軸を示し、第2段目はPL時間軸を示す。図中の矢印pk1,2は、PLmark情報におけるPlayItem指定(ref_to_PlayItem_Id)と、一時点の指定(mark_time_stamp)とを示す。これらの指定によりPL時間軸には、3つのチャプター(Chapter#1,#2,#3)が定義されることになる。以上がPLmarkについての説明である。
続いてPlayItem情報による再生について説明する。スライドショーにおける個々のピクチャデータが、PlayItem情報及びPLMark情報により指定されているので制御部44は、PlayItem情報のIn_time、Out_timeを、EP_mapを用いて、AVClipにおけるSPNに変換し、そしてそのSPNに存在するピクチャデータをデコーダに投入する。こうすることにより、PlayItem情報のIn_time、Out_timeにて指定されているピクチャデータが表示されることになる。その後、Still_Timeに示されている期間だけ、表示の静止を継続する。以上のような処理を、全てのPlayItem情報について繰り返すことにより、本実施形態に係る制御部44は、スライドショーを再生する。
チャプターサーチ機能とは、PLMark情報に記述されているref_to_PlayItem_Idに対応するPlayItem情報を、複数のPlayItem情報の中から特定して、特定したPlayItem情報が定義されているAVClipにおいて、PLMark情報に記述されたmark_time_stampに示される位置からのランダムアクセスを行うものであり、この際、制御部44は、複数のEntryPointのうち、PLMark情報に記述されたmark_time_stampに最も近いPTS_EP_startをもつEntry Pointを特定して、特定したEntryPointのSPN_EP_startに対応するAccess Unitアドレスからの再生を行わせる。
PointのSPN_EP_startに示される位置以降のピクチャを読み出すことにより、IDRピクチャをビデオデコーダ8に供給することができる。
本フローチャートにおいて先ずチャプターメニューにおけるチャプター選択を待ち(ステップS124)、チャプター選択がなされれば、選択されたチャプターにあたるPLMark情報をカレントPlayListMarkとする(ステップS125)。ステップS126では、カレントPlayListMarkのref_to_PlayItem_Idに記述されているPIを、PlayItem#xに設定し、ステップS127では、PlayItem#xのClip_information_file_nameで指定されるClip情報を読み込む。ステップS128では、カレントClip情報のEP_mapを用いて、カレントPlayListMarkのmark_time_stampを、AccessUnitアドレスuに変換する。ここでPLMark情報のmark_time_stampで指示されているピクチャは、is_angle_change_point“=1”に設定されたEntryPointにより指示されている。そのため、Access Unitアドレスuは、IDRピクチャのアドレスを指示することになる。
ここで図25に示したビデオストリームに対し、PLMarkを設定する場合の設定例について説明する。スライドショーにおいて再生されうる各静止画が、第1段目における6つのPLMark#1〜#6にて指定されているので、本図の時点t1,t2,t3,t4,t5,t6の静止画が、チャプターサーチ及びチャプタースキップの対象になりうる。
(第3実施形態)
本実施形態は、第1実施形態、第2実施形態の応用であり、対話的な制御をスライドショーに導入するものである。かかる対話制御を導入するため、AVClipは、図3に示したビデオストリーム及びオーディオストリームの他に、IGストリームを多重化した構成になっている。図28は、第3実施形態に係る、AVClipの構成を示す図であり、本図に示すようにAVClipは(中段)、複数のビデオフレーム(ピクチャpj1,2,3)からなるビデオストリーム、複数のオーディオフレームからなるオーディオストリームを(上1段目)、PESパケット列に変換し(上2段目)、更にTSパケットに変換し(上3段目)、同じく対話系のインタラクティブグラフィクスストリーム(下2段目のIGストリーム)をTSパケットに変換して(下3段目)、これらを多重化することで構成されていることがわかる。図29は、IGストリームの内部構成を示す図である。
ODS(Object Definition Segment)は、ボタンを描画するにあたっての絵柄のグラフィクスを定義するグラフィクスデータである。
ICS(Interactive Composition Segment)は、ユーザ操作に応じてボタンの状態を変化させるという対話制御を規定する機能セグメントである。
図29(b)は、ICSの内部構成を示す図である。ICSは、複数のボタン情報からなる。ボタン情報は、対話制御画面における個々のボタンに対応するものである。具体的にいうと、対応するボタンにフォーカスが存在する状態において、移動キーの押下がなされた場合、どのボタンにフォーカス移動を移動させるかを示す『neighbor_info』と、対応するボタンのノーマル状態、セレクテッド状態といった各状態を、どのODSで表現するかを示す『state_info』と、対応ボタンの確定時において、再生装置に実行させるべき『ナビゲーションコマンド』とからなる。
国際公開公報WO 2004/077826号公報
以降、ICSの具体例について説明する。
ここでICSが、state_info、neighbor_info、ナビゲーションコマンドは、図30に示すように設定されているものとする。図30は、スライドショーにおける対話制御を規定するICSの一例を示す図である。
Button_info(0)のstate_infoは、Button_info(0)に対応するボタン(“top”ボタン)がノーマル状態である場合、“top”が付された三角図形を描画するよう規定されている。また“top”ボタンにフォーカスが存在する場合(セレクテッド状態である場合)、“top”が付された三角図形を強調態様で描画するよう規定されている。かかる規定により、“top”ボタンは、先頭の静止画へのスキップを意図する、“top”ボタンとして扱われることになる。
図30において、各オブジェクトBのneighbor_infoを参照すると
Button_info(0)のneighbor_infoは、左キー押下時に“2”の番号を有する“-1”ボタンにフォーカスを移動し、右キー押下時に“1”の番号を有する“+1”ボタンにフォーカスを移動するよう規定され、
Button_info(1)のneighbor_infoは、上キー押下時に“0”の番号を有する“top”ボタンにフォーカスを移動するよう規定され、左キー押下時に“2”の番号を有する“-1”ボタンにフォーカスを移動し、右キー押下時に3の番号を有する“+10”ボタンにフォーカスを移動するよう規定されている。
Button_info(3)のneighbor_infoは、左キー押下時に“1”の番号を有する“+1”ボタンにフォーカスを移動するよう規定されている。
以上のneighbor_infoの規定により、図32に示すような状態遷移を実現することができる。図32は、スライドショーで表示されるメニューにおける状態遷移を示す図である。
“+1”ボタンにフォーカス移動が存在する状態において、右キーが押下された場合、“+10”ボタンにフォーカス移動を移動させることができる(hh2)。更に、“+10”ボタンにフォーカス移動が存在する場合において、左キーが押下された場合、“+1”ボタンにフォーカス移動を戻すことができる(hh4)。“+1”ボタンにフォーカス移動が存在する状態において、上キーが押下された場合、“top”ボタンにフォーカス移動を移動させることができる(hh3)。
Button_info(0)のナビゲーションコマンドは、“top”ボタンに対し確定操作がなされた場合、Jmp PLMark(1)を実行するよう規定されている。
Button_info(1)のナビゲーションコマンドは、“+1”ボタンに対し確定操作がなされた場合、Jmp PLMark(x+1)を実行するよう規定されている。
Button_info(3)のナビゲーションコマンドは、“+10”ボタンに対し確定操作がなされた場合、Jmp PLMark(x+10)を実行するよう規定されている。
これらのナビゲーションコマンドは、PLMarkを分岐先に指定するものである。PLMarkについての括弧内の数値は、分岐先となるピクチャを特定する。つまりPLMark(1)は、1枚目のピクチャを指し示すPLMarkであり、PLMark(x+1)は、x+1枚目のピクチャを指し示すPLMarkである。PLMark(x-1)は、x-1枚目のピクチャを指し示すPLMarkである。PLMark(x+10)は、x+10枚目のピクチャを指し示すPLMarkである。PLMark(x-10)は、x-10枚目のピクチャを指し示すPLMarkである。
図30のようなフォーカス移動により、ユーザは任意のボタンにフォーカス移動を移動させることができるので、どれかのボタンにフォーカス移動がある状態で、ユーザが確定操作を行った場合、その確定操作がなされたボタンに対応するナビゲーションコマンドを、再生装置に実行させて、図32に示すような分岐を実行させることができる。図33は、スライドショーのナビゲーションコマンドによる分岐を示す図である本図の第1段目は、スライドショーを構成する複数のピクチャと、これらピクチャへの分岐を示す。第2段目は、スライドショーの時間軸であり、第3段目は、第2段目のピクチャ列に対し、設定されたエントリーマップを、第4段目は、BD-ROM上のTSパケット列を示す。
以上の説明は、本発明の全ての実施行為の形態を示している訳ではない。下記(A)(B)(C)(D)・・・・・の変更を施した実施行為の形態によっても、本発明の実施は可能となる。本願の請求項に係る各発明は、以上に記載した複数の実施形態及びそれらの変形形態を拡張した記載、ないし、一般化した記載としている。拡張ないし一般化の程度は、本発明の技術分野の、出願当時の技術水準の特性に基づく。
2 Arrival time Clock Counter
3 Source de-packetetizer
4 PID Filter4
5 Transport Buffer5
6 Multiplexed Buffer6
7 Coded Picture Buffer7
8 ビデオデコーダ8
10 Decoded Picture Buffer10
11 ビデオプレーン11
12 Transport Buffer12
13 Coded Data Buffer13
14 Stream Graphics Processor14
15 Object Buffer15
15 Composition Buffer16
17 Composition Controller17
18 Presentation Graphicsプレーン18
19 CLUT部19
20 Transport Buffer20
21 Coded Data Buffer21
22 Stream Graphics Processor22
23 Object Buffer23
24 Composition Buffer24
25 Composition Controller25
26 Intaractive Graphicsプレーン26
27 CLUT部27
28 合成部28
29 合成部29
30 スイッチ30
31 Network Device31
32 Local Storage32
33 Arrival Time Clock Counter33
34 Source De-Packetizer34
35 PIDフィルタ
36 スイッチ
37 Transport Buffer
38 Elementary Buffer
39 オーディオデコーダ
40 Transport Buffer
41 バッファ
42 テキスト字幕デコーダ
43 シナリオメモリ
44 制御部
46 PSRセット
100 BD-ROM
200 再生装置
300 リモコン
400 テレビ
Claims (2)
- 記録媒体の記録方法であって、
アプリケーションデータを作成するステップと、
作成したデータを記録媒体に記録するステップとを有し、
前記アプリケーションデータは、ビデオストリームと、ストリーム管理情報とを含み、
ビデオストリームは、複数のピクチャデータを含み、
ストリーム管理情報は、エントリーマップを含み、
エントリーマップは、ピクチャデータ毎の再生時刻に対応付けて、ビデオストリームにおける各ピクチャデータのエントリーアドレスを示しており、ビデオストリームに含まれる全てのピクチャデータのエントリーアドレスがエントリーマップに含まれていることを特徴とする、記録方法。 - 記録媒体と、再生装置とを含む再生システムであって、
記録媒体には、ビデオストリームと、ストリーム管理情報とが記録されており、
ビデオストリームは、複数のピクチャデータを含み、
ストリーム管理情報は、エントリーマップを含み、
エントリーマップは、ピクチャデータ毎の再生時刻に対応付けて、ビデオストリームにおける各ピクチャデータのエントリーアドレスを示しており、ビデオストリームに含まれる全てのピクチャデータのエントリーアドレスがエントリーマップに含まれており、
前記再生装置は、記録媒体からストリーム管理情報を読み出し、このストリーム管理情報に基づき、記録媒体に記録されているビデオストリームの再生を行い、
記録媒体に記録されたビデオストリームに含まれるピクチャデータを、記録媒体から読み出す読出手段と、
ビデオストリームに含まれるピクチャデータのそれぞれをデコードすることにより、映像の再生を行う再生手段と、
前記エントリーマップを参照して、再生時刻の指定に基づく再生開始又は再生位置の変更を実行するよう、読出手段及び再生手段を制御する制御手段と
を備えることを特徴とする再生システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007163930A JP4764855B2 (ja) | 2004-06-02 | 2007-06-21 | 記録方法、再生システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004164203 | 2004-06-02 | ||
JP2004164203 | 2004-06-02 | ||
JP2007163930A JP4764855B2 (ja) | 2004-06-02 | 2007-06-21 | 記録方法、再生システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006519582A Division JP4027408B2 (ja) | 2004-06-02 | 2005-06-02 | 再生装置、プログラム、再生方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007295612A JP2007295612A (ja) | 2007-11-08 |
JP4764855B2 true JP4764855B2 (ja) | 2011-09-07 |
Family
ID=38765702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007163930A Expired - Fee Related JP4764855B2 (ja) | 2004-06-02 | 2007-06-21 | 記録方法、再生システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4764855B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102266902B1 (ko) * | 2014-01-13 | 2021-06-18 | 삼성전자주식회사 | 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3264303B2 (ja) * | 1994-04-06 | 2002-03-11 | ソニー株式会社 | オーディオ情報および動画像情報の再生方法および再生装置 |
JP4416289B2 (ja) * | 1999-07-29 | 2010-02-17 | シャープ株式会社 | 記録媒体のアクセス位置特定方法及び記録媒体の管理装置 |
JP4599740B2 (ja) * | 2000-04-21 | 2010-12-15 | ソニー株式会社 | 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体 |
-
2007
- 2007-06-21 JP JP2007163930A patent/JP4764855B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007295612A (ja) | 2007-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI401955B (zh) | A reproducing apparatus, a recording medium reproducing program, a reproducing method, and a reproducing system | |
TWI405466B (zh) | A regeneration device, a regeneration program, a regeneration method, and a regeneration system | |
JP4295801B2 (ja) | 記録方法、記録媒体再生システム | |
US8391672B2 (en) | Recording medium, reproduction device, program, and reproduction method | |
JP4027408B2 (ja) | 再生装置、プログラム、再生方法 | |
JP4764855B2 (ja) | 記録方法、再生システム | |
JP4308863B2 (ja) | 再生装置、記録方法、再生方法、プログラム | |
JP4658986B2 (ja) | システムlsi | |
JP4204621B2 (ja) | 再生装置、記録方法、再生方法、プログラム | |
KR100884148B1 (ko) | 슬라이드 쇼에서 랜덤 액세스를 고속으로 실현할 수 있는 기록매체, 재생장치, 컴퓨터 판독 가능한 기록매체, 기록방법, 재생방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080530 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110613 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |