JP4199792B2 - システムlsi - Google Patents

システムlsi Download PDF

Info

Publication number
JP4199792B2
JP4199792B2 JP2006242573A JP2006242573A JP4199792B2 JP 4199792 B2 JP4199792 B2 JP 4199792B2 JP 2006242573 A JP2006242573 A JP 2006242573A JP 2006242573 A JP2006242573 A JP 2006242573A JP 4199792 B2 JP4199792 B2 JP 4199792B2
Authority
JP
Japan
Prior art keywords
graphics
pcs
stream
display
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006242573A
Other languages
English (en)
Other versions
JP2007080487A (ja
Inventor
洋 矢羽田
ジョセフ マクロッサン
智之 岡田
航 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JP2007080487A publication Critical patent/JP2007080487A/ja
Application granted granted Critical
Publication of JP4199792B2 publication Critical patent/JP4199792B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06GANALOGUE COMPUTERS
    • G06G5/00Devices in which the computing operation is performed by means of fluid-pressure elements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022Control panels
    • G11B19/025'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/027Remotely controlled
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91321Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a copy protection control signal, e.g. a record inhibit signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91357Television signal processing therefor for scrambling ; for copy protection by modifying the video signal
    • H04N2005/91364Television signal processing therefor for scrambling ; for copy protection by modifying the video signal the video signal being scrambled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

本発明は、動画ストリーム及びグラフィクスストリームが多重化されたデジタルストリームが記録されている記録媒体と、そのデジタルストリームを再生する再生装置とに関し、特に動画ストリーム及びグラフィクスストリームを再生装置が別個にデコードし、そのデコードにより得られた映像−グラフィクスを合成することで、再生映像を得る技術に関する。
上述した合成技術は、再生装置における言語設定やディスプレィ設定に応じて、グラフィクスを選択して表示することもできる。また必要に応じてグラフィクスを表示したり、消したりという選択も可能である。これらの選択が可能なので、かかる技術は、DVD-Video規格やETSI EN 300 743標準規格のプレーヤモデルに採用されている。上記規格技術においてグラフィクスストリームは、PESパケットの配列であり、PESパケットには、制御情報を格納したもの、グラフィクス本体たるグラフィクスデータを格納したものの2種類がある。制御情報は、グラフィクスデータより前に配置されており、制御情報及びグラフィクスデータの一対で一個のグラフィクス表示を実現する。具体的にいうと、再生装置は制御情報及びグラフィクスデータが順次読み込み、制御情報を解読すると共に、グラフィクスデータをデコードし、デコードにより得られた非圧縮グラフィクスを、制御情報の解読結果に従い、所望の表示タイミングで表示する。
かかるグラフィクス表示の先行技術には、以下の特許文献に記載されたものがある。
特許第328220号公報
以上のようなグラフィクス表示にあたっては、グラフィクス表示の度に、グラフィクスデータのデコードを行う必要があるので、1つのグラフィクス表示から、次のグラフィクス表示までの間隔は、グラフィクスデータのデコード期間に依存したものとなる。ここでグラフィクスの解像度が高く、デコード期間が長ければ長いほど、グラフィクスの更新間隔も長くなってしまう。
映画における字幕のように、グラフィクスが2〜3秒という時間間隔で更新されるのであれば、多少、グラフィクスの解像度が高く、デコード期間が長くなったとしても問題はない。しかし、アミューズメントの用途にグラフィクスを使用しようとする場合、グラフィクスの表示間隔をもっと短くしたいという要望がでてくる。
ここでアミューズメントの用途とは、登場人物の台詞を示すグラフィクスに、独特の動きを与えて、視聴者の注意をひいたり、色彩を派手に変化させることで、視聴者の意表を突くというものである。かかるグラフィクス表示の実現は、バラエティ色が濃い映像コンテンツの制作現場からの要望が特に強い。
しかしグラフィクスの滑らかな動きを実現するには、グラフィクスをデコードし、表示するという処理を、ディスプレィの一表示期間(NTSC方式の場合は1/29.97sec)という僅かな期間が経過する毎に、行う必要がある。ディスプレィの一表示期間が経過する度に、グラフィクスのデコード−表示を繰り返すというのは、多大な負荷であり、低コストでの普及を想定しているような再生装置のハードウェアスペックでは実現が困難である。
無論、上述したようなグラフィクス動きや色彩変化は、動画像の一コマ一コマにグラフィクスを予め合成しておき、各コマの絵柄の一部としてグラフィクスを取り扱うことで実現可能である。しかし一コマ一コマに、グラフィクスを予め合成しておくといく方法は、再生装置における言語設定やディスプレィ設定に応じて、グラフィクスを選択的に表示するという、融通性を欠く。そのため、かかる方法を採用している限り、将来への展望は見えてこない。
本発明の目的は、グラフィクスを、動画のような滑らかさで動かすことができるシステムLSIを提供することである。
上記目的を達成するため、本発明にかかるシステムLSIは、ビデオストリーム、グラフィクスストリームが多重化されたデジタルストリームを再生するシステムLSIであって、ビデオストリームをデコードして動画像を得るビデオデコーダと、グラフィクスデコーダとを備え、グラフィクスストリームは、パケットの配列から構成され、前記デジタルストリームは、グラフィクスストリームを構成する複数のパケットと、ビデオストリームを構成する複数のパケットとを多重化することで得られるものであり、グラフィクスストリームを構成する各パケットには、グラフィクスデータを格納したものと、制御データを格納したものとがあり、パケット配列は、制御データを格納したパケットと、グラフィクスデータを格納したパケットとの組みを含み、当該組みの後ろには、前方参照を行う制御データを格納したパケットが配置されており、前記前方参照を行う制御データは、自身より前方に存在するパケットの組みにおけるグラフィクスデータに対応するグラフィクスビデオストリームに対応する動画像と合成して表示する旨を示し、グラフィクスデコーダは、オブジェクトバッファと、前記組みに含まれるグラフィクスデータをデコードして、オブジェクトバッファにグラフィクスを得るプロセッサと、前記組みに含まれる制御データに基づいて、オブジェクトバッファ上に得られたグラフィクスを、プレーンメモリにおける部分領域に書き込むことにより、グラフィクス表示を実行するコントローラとを備え、前記プレーンメモリは、動画像との合成のために、再生装置に設けられた合成用メモリであり、前記コントローラは、前方参照を行う制御データが記録媒体からグラフィクスデコーダに読み込まれれば、前記オブジェクトバッファ上に得られたグラフィクスを、当該前方参照を行う制御データに基づいて部分領域に再度書き込むことで、グラフィクス表示の更新を行うことを特徴としている。
上述した構成において、制御データは、自身より前方に存在するグラフィクスデータを用いた表示を行う旨を示しており、その表示を行うべきタイミングが、制御データを格納したパケットのタイムスタンプに示されている。そのため、システムLSIは、新たな制御データのみを読み込むだけで、所定の時点においてグラフィクスの表示位置を変えるという制御を再生装置に行わせることができる。
制御データを格納したパケットを送り込むことにより、所定のタイミングにグラフィクス表示を更新することができるので、グラフィクスの表示と、動画再生との同期が容易になる。
このため、アミューズメントの用途、つまり、登場人物の台詞を示すグラフィクスに、独特の動きを与えて、視聴者の注意をひくという用途にグラフィクスを利用することができ、バラエティ色が濃い映像コンテンツの制作現場からの要望を満たすことができる。
(第1実施形態)
以降、本発明に係る記録媒体の実施形態について説明する。先ず始めに、本発明に係る記録媒体の実施行為のうち、使用行為についての形態を説明する。図1は、本発明に係る記録媒体の、使用行為についての形態を示す図である。図1において、本発明に係る記録媒体は、BD-ROM100である。このBD-ROM100は、再生装置200、テレビ300、リモコン400により形成されるホームシアターシステムに、映画作品を供給するという用途に供される。
以上が本発明に係る記録媒体の使用形態についての説明である。
続いて本発明に係る記録媒体の実施行為のうち、生産行為についての形態について説明する。本発明に係る記録媒体は、BD-ROMの応用層に対する改良により実施することができる。図2は、BD-ROMの構成を示す図である。
本図の第4段目にBD-ROMを示し、第3段目にBD-ROM上のトラックを示す。本図のトラックは、BD-ROMの内周から外周にかけて螺旋状に形成されているトラックを、横方向に引き伸ばして描画している。このトラックは、リードイン領域と、ボリューム領域と、リードアウト領域とからなる。本図のボリューム領域は、物理層、ファイルシステム層、応用層というレイヤモデルをもつ。ディレクトリ構造を用いてBD-ROMの応用層フォーマット(アプリケーションフォーマット)を表現すると、図中の第1段目のようになる。本図に示すようにBD-ROMには、ROOTディレクトリの下にBDMVディレクトリがあり、BDMVディレクトリの配下には、AVClipを格納したファイル(XXX.M2TS)、AVClipの管理情報を格納したファイル(XXX.CLPI),AVClipにおける論理的な再生経路(PL)を定義したファイル(YYY.MPLS)が存在する。本図に示すようなアプリケーションフォーマットを作成することにより、本発明に係る記録媒体は生産される。尚、XXX.M2TS、XXX.CLPI,YYY.MPLSといったファイルが、それぞれ複数存在する場合は、BDMVディレクトリの配下に、STREAMディレクトリ、CLIPINFディレクトリ、PLAYLISTディレクトリという3つのディレクトリを設け、STREAMディレクトリにXXX.M2TSと同じ種別のファイルを、CLIPINFディレクトリにXXX.CLPIと同じ種別のファイルを、PLAYLISTディレクトリにYYY.MPLSと同じ種別のファイルを格納することが望ましい。
このアプリケーションフォーマットにおけるAVClip(XXX.M2TS)について説明する。
AVClip(XXX.M2TS)は、MPEG-TS(Transport Stream)形式のデジタルストリームであり、ビデオストリーム、1つ以上のオーディオストリーム、プレゼンテーショングラフィクスストリームを多重化することで得られる。ビデオストリームは映画の動画部分を、オーディオストリームは映画の音声部分を、プレゼンテーショングラフィクスストリームは、映画の字幕をそれぞれ示している。図3は、AVClipがどのように構成されているかを模式的に示す図である。
AVClipは(中段)、複数のビデオフレーム(ピクチャpj1,2,3)からなるビデオストリーム、複数のオーディオフレームからなるオーディオストリームを(上1段目)、PESパケット列に変換し(上2段目)、更にTSパケットに変換し(上3段目)、同じくプレゼンテーショングラフィクスストリーム(下1段目)を、PESパケット列に変換し(下2段目)、更にTSパケットに変換して(下3段目)、これらを多重化することで構成される。
本図において多重されるプレゼンテーショングラフィクスストリームは1つであるが、BD-ROMが多言語対応型である場合、その言語毎のプレゼンテーショングラフィクスストリームがAVClipに多重される。かかる過程を経て生成されたAVClipは、通常のコンピュータファイル同様、複数のエクステントに分割され、BD-ROM上の領域に記録される。
続いてプレゼンテーショングラフィクスストリームについて説明する。図4(a)は、プレゼンテーショングラフィクスストリームの構成を示す図である。第1段目は、AVClipを構成するTSパケット列を示す。第2段目は、グラフィクスストリームを構成するPESパケット列を示す。第2段目におけるPESパケット列は、第1段目におけるTSパケットのうち、所定のPIDをもつTSパケットからペイロードを取り出して、連結することにより構成される。
第3段目は、グラフィクスストリームの構成を示す。グラフィクスストリームは、PCS(Presentation Composition Segment)、WDS(Window Define Segment)、PDS(Palette Difinition Segment)、ODS(Object_Definition_Segment)、END(END of Display Set Segment)と呼ばれる機能セグメントからなる。これらの機能セグメントのうち、PCSは、画面構成セグメントと呼ばれ、WDS,PDS,ODS,ENDは定義セグメントと呼ばれる。PESパケットと機能セグメントとの対応関係は、1対1の関係、1対多の関係である。つまり機能セグメントは、1つのPESパケットに変換されてBD-ROMに記録されるか、又は、フラグメント化され、複数PESパケットに変換されてBD-ROMに記録される。
図4(b)は、機能セグメントを変換することで得られるPESパケットを示す図である。図4(b)に示すようにPESパケットは、パケットヘッダと、ペイロードとからなり、このペイロードが機能セグメント実体にあたる。またパケットヘッダには、この機能セグメントに対応するDTS、PTSが存在する。尚以降の説明では、機能セグメントが格納されるPESパケットのヘッダ内に存在するDTS及びPTSを、機能セグメントのDTS及びPTSとして扱う。
これら様々な種別の機能セグメントは、図5のような論理構造を構築する。図5は、様々な種別の機能セグメントにて構成される論理構造を示す図である。本図は第3段目に機能セグメントを、第2段目にDisplay Setを、第1段目にEpochをそれぞれ示す。
第2段目のDisplay Set(DSと略す)とは、グラフィクスストリームを構成する複数機能セグメントのうち、一画面分のグラフィクスを構成するものの集合をいう。図中の破線は、第3段目の機能セグメントが、どのDSに帰属しているかという帰属関係を示す。PCS-WDS-PDS-ODS-ENDという一連の機能セグメントが、1つのDSを構成していることがわかる。再生装置は、このDSを構成する複数機能セグメントをBD-ROMから読み出せば、一画面分のグラフィクスを構成することができる。
第1段目のEpochとは、AVClipの再生時間軸上においてメモリ管理の連続性をもっている一つの期間、及び、この期間に割り当てられたデータ群をいう。ここで想定しているメモリとは、一画面分のグラフィクスを格納しておくためのグラフィクスプレーン、伸長された状態のグラフィクスデータを格納しておくためのオブジェクトバッファである。これらについてのメモリ管理に、連続性があるというのは、このEpochにあたる期間を通じてこれらグラフィクスプレーン及びオブジェクトバッファのフラッシュは発生せず、グラフィックスプレーン内のある決められた矩形領域内でのみ、グラフィクスの消去及び再描画が行われることをいう(※ここでフラッシュとは、プレーン及びバッファの格納内容を全部クリアしてしまうことである。)。この矩形領域の縦横の大きさ及び位置は、Epochにあたる期間において、終始固定されている。グラフィックスプレーンにおいて、この固定化された領域内で、グラフィクスの消去及び再描画を行っている限り、映像とグラフィクスとの同期が保障される。つまりEpochは、映像−グラフィクスの同期の保障が可能な再生時間軸上の一単位ということができる。グラフィックスプレーンにおいて、グラフィクスの消去・再描画を行うべき領域を変更したい場合は、再生時間軸上においてその変更時点を定義し、その変更時点以降を、新たなEpochにせねばならない。この場合、2つのEpochの境界では、映像−グラフィクスの同期は保証されない。
Epochにおける字幕の位置関係にたとえれば、再生時間軸上において、画面上のある決まった矩形領域内に字幕が出現している期間が、Epochということができる。図6は、字幕の表示位置と、Epochとの関係を示す図である。本図では、動画の各ピクチャの絵柄に応じて字幕の位置を変更するという配慮がなされている。つまり5つの字幕「本当は」「ウソだった」「ごめん」「あれから」「3年がたった」のうち、3つの字幕「本当は」「ウソだった」「ごめん」は画面の下側に、「あれから」「3年がたった」は画面の上側に配置されている。これは画面の見易さを考え、画面中の余白にあたる位置に字幕を配置することを意図している。かかる時間的な変動がある場合、AVClipの再生時間軸において、下側の余白に字幕が出現している期間が1つのEpoch1、上側の余白に字幕が出現している期間が別のEpoch2になる。これら2つのEpochは、それぞれ独自の字幕の描画領域をもつことになる。Epoch1では、画面の下側の余白が字幕の描画領域(window1)になる。一方Epoch2では、画面の上側の余白が字幕の描画領域(window2)になる。これらのEpoch1,2において、バッファ・プレーンにおけるメモリ管理の連続性は保証されているので、上述した余白での字幕表示はシームレスに行われる。以上がEpochについての説明である。続いてDisplay Setについて説明する。
図5における破線hk1,2は、第2段目の機能セグメントが、どのEpochに帰属しているかという帰属関係を示す。Epoch Start,Acquisition Point,Normal Caseという一連のDSは、第1段目のEpochを構成していることがわかる。『Epoch Start』、『Acquisition Point』、『Normal Case』は、DSの類型である。本図におけるAcquisition Point、Normal Caseの順序は、一例にすぎず、どちらが先であってもよい。
『Epoch Start』は、”新表示”という表示効果をもたらすDSであり、新たなEpochの開始を示す。そのためEpoch Startは、次の画面合成に必要な全ての機能セグメントを含んでいる。Epoch Startは、映画作品におけるチャプター等、頭出しがなされることが判明している位置に配置される。
『Acquisition Point』は、”表示リフレッシュ”という表示効果をもたらすDisplay Setであり、先行するEpoch Startと全く同じDisplay Setをいう。Acquisition PointたるDSは、Epochの開始時点ではないが、次の画面合成に必要な全ての機能セグメントを含んでいるので、Acquisition PointたるDSから頭出しを行えば、グラフィックス表示を確実に実現することができる。つまりAcquisition PointたるDSは、Epochの途中からの画面構成を可能するという役割をもつ。
Acquisition PointたるDisplay Setは、頭出し先になり得る位置に組み込まれる。そのような位置には、タイムサーチにより指定され得る位置がある。タイムサーチとは、何分何秒という時間入力をユーザから受け付けて、その時間入力に相当する再生時点から頭出しを行う操作である。かかる時間入力は、10分単位、10秒単位というように、大まかな単位でなされるので、10分間隔の再生位置、10秒間隔の再生位置がタイムサーチにより指定され得る位置になる。このようにタイムサーチにより指定され得る位置にAcquisition Pointを設けておくことにより、タイムサーチ時のグラフィクスストリーム再生を好適に行うことができる。
『Normal Case』は、”表示アップデート”という表示効果をもたらすDSであり、前の画面合成からの差分のみを含む。例えば、あるDSvの字幕は、先行するDSuと同じ内容であるが、画面構成が、この先行するDSuとは異なる場合、PCSと、ENDのみのDSvを設けてこのDSvをNormal CaseのDSにする。こうすれば、重複するODSを設ける必要はなくなるので、BD-ROMにおける容量削減に寄与することができる。一方、Normal CaseのDSは、差分にすぎないので、Normal Case単独では画面構成は行えない。
続いてDefinition Segment(ODS,WDS,PDS)について説明する。
『Object_Definition_Segment』は、グラフィクスオブジェクトを定義する機能セグメントである。このグラフィクスオブジェクトについて以下説明する。BD-ROMに記録されているAVClipは、ハイビジョン並みの高画質をセールスポイントにしているため、グラフィクスオブジェクトの解像度も、1920×1080画素という高精細な大きさに設定されている。1920×1080という解像度があるので、BD-ROMでは、劇場上映用の字幕の字体、つまり、手書きの味わい深い字体の字幕表示を鮮やかに再現できる。グラフィクスオブジェクトは複数のランレングスデータからなる。ランレングスデータとは、画素値を示すPixel Codeと、画素値の連続長とにより、画素列を表現したデータである。Pixel Codeは、8ビットの値であり、1〜255の値をとる。ランレングスデータでは、このPixel Codeによりフルカラーの16,777,216色から任意の256色を選んで画素の色として設定することができる。尚、字幕として表示される場合、グラフィクスオブジェクトは、透明色の背景に、文字列を配置することで描画せねばならない。
ODSによるグラフィクスオブジェクトの定義は、図7(a)に示すようなデータ構造をもってなされる。ODSは、図7(a)に示すように自身がODSであることを示す『segment_type』と、ODSのデータ長を示す『segment_length』と、EpochにおいてこのODSに対応するグラフィクスオブジェクトを一意に識別する『object_id』と、EpochにおけるODSのバージョンを示す『object_version_number』と、『last_in_sequence_flag』と、グラフィクスオブジェクトの一部又は全部である連続バイト長データ『object_data_fragment』とからなる。
『object_id』は、ODSはデコードされて対応するグラフィクスオブジェクトがオブジェクトバッファ上に読み出された場合、このグラフィクスオブジェクトと、オブジェクトバッファにおいてこのグラフィクスオブジェクトが占有している領域とを一意に識別する識別子である。1つ以上のグラフィクスオブジェクトが格納された状態において、オブジェクトバッファのメモリ空間における個々の領域は、このobject_idにより識別されることになる。仮にあるobject_idが2つ以上のDisplay Setに付加されている場合、先行するODSに対応するグラフィクスオブジェクトは、オブジェクトバッファに格納された後、同じobject_idを有する後続のグラフィクスオブジェクトにより上書きされることになる。かようなアップデートは、空き領域の虫食い状の発生や、グラフィクスオブジェクトの離散配置を避けるとの配慮である。その理由は以下の通りである。グラフィクス表示を行うため、オブジェクトバッファ上のグラフィクスオブジェクトは絶えずグラフィックスプレーンに転送されることになる。オブジェクトバッファ内に空き領域が虫食い状に発生したり、また同じobject_idをもったグラフィクスオブジェクトがバラバラにされて離散的に配置されると、グラフィクスオブジェクトを読み出すためのオーバヘッドが発生し、オブジェクトバッファ→グラフィックスプレーンの転送時にあたっての転送効率が落ちる。この効率低下は、グラフィクス−動画の同期表示に悪影響を及ぼしかねない。かかる事情から、オブジェクトバッファ上においてあるobject_idで識別されるグラフィクスオブジェクトが共有している領域は、同じ大きさと同じobject_idとをもったグラフィクスオブジェクトでのみ上書きできるとしている。
グラフィクスオブジェクト上書きにあたって、後続するグラフィクスオブジェクトのサイズは、先行するものと同じサイズでなければならない。先行するグラフィクスオブジェクトにより小さすぎてもいけないし、大き過ぎてもいけない。アップデートにあたってグラフィクスオブジェクトのサイズが同じになるようにグラフィクスオブジェクトを作成しておくというのは、オーサリング担当者にとっての責務になる。同じIDをもつグラフィクスオブジェクトの縦横サイズを同じにするとの制限は、1つのEpoch内の制限に過ぎない。あるEpochに属するグラフィクスオブジェクトと、次のEpochに属するグラフィクスオブジェクトとでは縦横のサイズが変わっても良い。
『last_in_sequence_flag』、『object_data_fragment』について説明する。PESパケットのペイロードの制限から、字幕を構成する非圧縮グラフィクスが1つのODSでは格納できない場合がある。そのような場合、グラフィクスを分割することにより得られた1部分(フラグメント)がobject_data_fragmentに設定される。1つのグラフィクスオブジェクトを複数ODSで格納する場合、最後のフラグメントを除く全てのフラグメントは同じサイズになる。つまり最後のフラグメントは、それ以前のフラグメントサイズ以下となる。これらフラグメントを格納したODSは、DSにおいて同じ順序で出現する。グラフィクスオブジェクトの最後は、last_in_sequence_flagをもつODSにより指示される。上述したODSのデータ構造は、前のPESパケットからフラグメントを詰めてゆく格納法を前提にしているが、各PESパケットに空きが生じるように、詰めてゆくという格納法であっても良い。以上がODSの説明である。
『Palette Difinition Segment(PDS)』は、色変換用のパレットを定義する情報である。パレットとは、1〜255のPixel Codeと、画素値との組合せを示すデータである。ここで画素値は、赤色差成分(Cr値),青色差成分(Cb値),輝度成分(Y値),透明度(T値)から構成される。各ランレングスデータが有するPixel Codeを、パレットに示される画素値に置き換えることで、ランレングスデータは発色されることになる。PDSのデータ構造を図7(b)に示す。図7(b)に示すようにPDSは、自身がPDSであることを示す『segment_type』、PDSのデータ長を示す『segment_length』、このPDSに含まれるパレットを一意に識別する『pallet_id』、EpochにおけるEpochのPDSのバージョンを示す『pallet_version_number』、各エントリーについての情報『pallet_entry』からなる。『pallet_entry』は、各エントリーにおける赤色差成分(Cr値),青色差成分(Cb値),輝度成分Y値,透明度(T値)を示す。
続いてWDSについて説明する。
『window_definition_segment』は、グラフィックスプレーンの矩形領域を定義するための機能セグメントである。Epochでは、クリア及び再描画が、グラフィックスプレーンにおけるある矩形領域内で行われている場合のみ、メモリ管理に連続性が生ずることは既に述べている。このグラフィックスプレーンにおける矩形領域は”window”と呼ばれ、このWDSで定義される。図8(a)は、WDSのデータ構造を示す図である。本図に示すようにWDSは、グラフィックスプレーンにおいてウィンドゥを一意に識別する『window_id』と、グラフィックスプレーンにおける左上画素の水平位置を示す『window_horizontal_position』と、グラフィックスプレーンにおける左上画素の垂直位置を示す『window_vertical_position』と、グラフィックスプレーンにおけるウィンドゥの横幅を示す『window_width』と、グラフィックスプレーンにおける縦幅を示す『window_height』とを用いて表現される。
window_horizontal_position、window_vertical_position、window_width、window_heightがとりうる値について説明する。これらが想定している座標系は、グラフィックスプレーンの内部領域であり、このグラフィックスプレーンは、縦:video_height、横:video_widthという二次元状の大きさをもつ。
window_horizontal_positionは、グラフィックスプレーンにおける左上画素の水平アドレスであるので、0〜video_width-1の値をとり、window_vertical_positionは、グラフィックスプレーンにおける左上画素の垂直アドレスであるので0〜video_height-1の値をとる。
window_widthは、グラフィックスプレーンにおけるウィンドゥの横幅であるので、1〜video_width-window_horizontal_positionの値をとり、window_heightは、グラフィックスプレーンにおける縦幅であるので1〜video_height-window_vertical_positionの値をとる。
WDSのwindow_horizontal_position、window_vertical_position、window_width、window_heightにより、グラフィックスプレーンの何処にウィンドゥを配置するか、ウィンドゥの大きさをどれだけにするかをEpoch毎に規定することができる。そのため、あるEpochに属するピクチャが表示されている期間において、ピクチャ内の絵柄の邪魔にならないように、ピクチャ上の余白にあたる位置に、ウィンドゥが現れるようオーサリング時に調整しておくことができる。これによりグラフィクスによる字幕表示を見易くすることができる。WDSはEpoch毎に定義可能なので、ピクチャの絵柄に時間的な変動があっても、その変動に応じて、グラフィクスを見易く表示することができる。そのため、結果として、字幕を映像本体に組み込むのと同じレベルにまで映画作品の品質を高めることができる。
続いて『END of Display Set Segment』について説明する。END of Display Set Segmentは、Display Setの伝送の終わりを示す指標であり、Display Setにおける機能セグメントのうち、最後のODSの直後に配置される。この END of Display SetSegmentの内部構成は、自身が END of Display SetSegmentであることを示す『segment_type』と、当該機能セグメントのデータ長を示す『segment_length』とからなり、これといって説明が必要な構成要素はない。故に図示は省略する。
以上がODS、PDS、WDS、ENDについての説明である。続いてPCSについて説明する。
PCSは、対話的な画面を構成する機能セグメントである。PCSは、図8(b)に示すデータ構造で構成される。本図に示すようにPCSは、『segment_type』と、『segment_length』と、『composition_number』と、『composition_state』と、『pallet_update_flag』と、『pallet_id_ref』と、『composition_object(1)〜(m)』とから構成される。
『composition_number』は、0から15までの数値を用いてDisplay Setにおけるグラフィクスアップデートを識別する。どのように識別するかというと、Epochの先頭から本PCSまでにグラフィクスアップデートが存在すれば、それらグラフィクスアップデートを経由する度に、インクリメントされるというルールでcomposition_numberは設定される。
『composition_state』は、本PCSから始まるDisplay Setが、Normal Caseであるか、ACquisition Pointであるか、Epoch Startであるかを示す。
『pallet_update_flag』は、本PCSにおいてPalletOnly Displey Updateがなされているかどうかを示す。PalletOnly Displey Updateとは、直前のパレットのみを新たなものに切り換えることでなされるアップデートをいう。本PCSでかかるアップデートがなされれば、本フィールドは”1”に設定される。
『pallet_id』は、PalletOnly Displey Updateに用いられるべきパレットを示す。
『composition_object(1)・・・(n)』は、このPCSが属するDisplay Setにおける画面構成を実現するための制御情報である。図8(b)の破線wd1は、任意のcomposition_object(i)の内部構成をクローズアップしている。この破線wd1に示すように、composition_object(i)は、『object_id_ref』、『window_id_ref』、『object_cropped_flag』、『object_horizontal_position』、『object_vertical_position』、『cropping_rectangle情報(1)(2)・・・・・(n)』からなる。
『object_id_ref』は、グラフィクスオブジェクト識別子(object_id)の参照値である。この参照値は、composition_object(i)に対応する画面構成を実現するにあたって、用いるべきグラフィクスオブジェクトの識別子を意味する。
『window_id_ref』は、ウィンドゥ識別子(window_id)の参照値である。この参照値は、composition_object(i)に対応する画面構成を実現するにあたって、どのウィンドゥに、グラフィクスオブジェクトを表示させるべきかを示す。
『object_cropped_flag』は、オブジェクトバッファにおいてクロップされたグラフィクスオブジェクトを表示するか、グラフィクスオブジェクトを非表示とするかを切り換えるフラグである。”1”と設定された場合、オブジェクトバッファにおいてクロップされたグラフィクスオブジェクトが表示され、”0”と設定された場合、グラフィクスオブジェクトは非表示となる。
『object_horizontal_position』は、グラフィックスプレーンにおけるグラフィクスオブジェクトの左上画素の水平位置を示す。
『object_vertical_position』は、グラフィックスプレーンにおける左上画素の垂直位置を示す。
『cropping_rectangle情報(1)(2)・・・・・(n)』は、『object_cropped_flag』が1に設定されている場合に有効となる情報要素である。破線wd2は、任意のcropping_rectangle情報(i)の内部構成をクローズアップしている。この破線に示すようにcropping_rectangle情報(i)は、『object_cropping_horizontal_position』、『object_cropping_vertical_address』、『object_cropping_width』、『object_cropping_height』からなる。
『object_cropping_horizontal_position』は、グラフィックスプレーンにおけるクロップ矩形の左上画素の水平位置を示す。クロップ矩形は、グラフィクスオブジェクトの一部を切り出すための枠であり、ETSI EN 300 743標準規格における”Region”に相当する。
『object_cropping_vertical_address』は、グラフィックスプレーンにおけるクロップ矩形の左上画素の垂直位置を示す。
『object_cropping_width』は、グラフィックスプレーンにおけるクロップ矩形の横幅を示す。
『object_cropping_height』は、グラフィックスプレーンにおけるクロップ矩形の縦幅を示す。
以上がPCSのデータ構造である。続いてPCSの具体的な記述について説明する。この具体例は、図6に示した字幕の表示、つまり動画の再生進行に伴い、三回のグラフィックスプレーンへの書き込みで『ほんとは』『ウソだった』『ごめん』というように徐々に表示させるというものである。図9は、かかる字幕表示を実現するための記述例である。本図におけるEpochは、DS1(Epoch Start)、DS2(Normal Case)、DS3(Normal Case)を有する。DS1は、字幕の表示枠となるwindowを定義するWDS、台詞『ほんとは ウソだった ごめん』を表すODS、1つ目のPCSを備える。DS2(Normal Case)は、2つ目のPCSを有する。DS3(Normal Case)は3つ目のPCSを有する。
次に個々のPCSをどのように記述するかについて説明する。Display Setに属するWDS、PCSの記述例を図10〜図12に示す。図10は、DS1におけるPCSの記述例を示す図である。
図10において、WDSのwindow_horizontal_position、window_vertical_positionは、グラフィックスプレーンにおけるウィンドゥの左上座標LP1を、window_width,window_heightは、ウィンドゥの表示枠の横幅、縦幅を示す。
図10におけるクロップ情報のobject_cropping_horizontal_position,object_cropping_vertical_positionは、オブジェクトバッファにおけるグラフィクスオブジェクトの左上座標を原点とした座標系においてクロップ範囲の基準ST1を示している。そして基準点からobject_cropping_width、object_cropping_heightに示される範囲(図中の太枠部分)がクロップ範囲になる。クロップされたグラフィクスオブジェクトは、グラフィックスプレーンの座標系においてobject_horizontal_position,object_vertical_positionを基準点(左上)とした破線の範囲cp1に配置される。こうすることにより、『本当は』がグラフィックスプレーンにおけるウィンドゥ内に書き込まれる。これにより字幕『本当は』は動画像と合成され表示される。
図11は、DS2におけるPCSの記述例を示す図である。本図におけるWDSの記述は、図10と同じなので説明を省略する。クロップ情報の記述は、図10と異なる。図11におけるクロップ情報のobject_cropping_horizontal_position,object_cropping_vertical_position,は、オブジェクトバッファ上の字幕『本当はウソだった。ごめん』のうち、『ウソだった』の左上座標を示し、object_cropping_height,object_cropping_widthは、『ウソだった』の横幅、縦幅を示す。こうすることにより、『ウソだった』がグラフィックスプレーンにおけるウィンドゥ内に書き込まれる。これにより字幕『ウソだった』は動画像と合成され表示される。
図12は、DS3におけるPCSの記述例を示す図である。本図におけるWDSの記述は、図10と同じなので説明を省略する。クロップ情報の記述は、図10と異なる。図12におけるクロップ情報のobject_cropping_horizontal_position,object_cropping_vertical_position,は、オブジェクトバッファ上の字幕『本当はウソだった。ごめん』のうち、『ごめん』の左上座標を示し、object_cropping_height,object_cropping_widthは、『ごめん』の横幅、縦幅を示す。こうすることにより、『ごめん』がグラフィックスプレーンにおけるウィンドゥ内に書き込まれる。これにより字幕『ごめん』は動画像と合成され表示される。
図13は、図10〜図12に示すようなグラフィクスアップデートを実現するにあたっての、オブジェクトバッファにおけるメモリ空間を示す図である。本図に示すようにオブジェクトバッファは、縦幅、横幅、位置が固定された格納領域A,B,C,Dが4つあり、このうち格納領域Aに、図11に示した字幕が格納される。これら4つの格納領域A,B,C,Dのそれぞれには、格納されているグラフィクスオブジェクトに対応するobject_idにより識別される。つまりobject_id=1により格納領域Aが、object_id=2により格納領域Bが、object_id=3により格納領域Cが、object_id=4により格納領域Dがそれぞれ識別されるのである。グラフィックスプレーンへの転送効率を維持するため、これら格納領域の縦幅、横幅は終始固定されている。同じobject_idをもったグラフィクスオブジェクトがデコードにより新たに得られれば、それらの格納領域はその新たに得られたグラフィクスオブジェクトにより上書きされる。例えば、図10に示した字幕と同じ位置に、同じ大きさで字幕を表示させたい場合、後続するDisplay Setにおいて、同じobject_idを付加したODSを設ければよい。このように同じobject_idを付加するだけで、オブジェクトバッファ上に存在するグラフィクスオブジェクトは、新たなグラフィクスオブジェクトで上書きされ、その新たなグラフィクスオブジェクトは、先のグラフィクスオブジェクトと同じ大きさ・同じ位置で表示されることになる。
表示効果実現にあたっての制約について説明する。なめらかな表示効果の実現には、ウィンドゥクリアと、ウィンドゥ再描画とが必要になる。ウィンドゥクリアと、ウィンドゥ再描画とをビデオフレームの時間間隔で実現する場合、オブジェクトバッファと、グラフィックスプレーンとの間の転送レートはどれだけ必要であろうか。
ここでウィンドゥをどれだけの大きさとするかの制限について検討する。オブジェクトバッファ−グラフィックスプレーン間の転送レートをRcとすると、ワーストケースでは、この転送レートRcでウィンドゥクリアと、ウィンドゥ再描画とを行わねばならない。そうするとウィンドゥクリア、ウィンドゥ再描画のそれぞれをRcの半分の転送レート(Rc/2)で実現せねばならない。
これらウィンドゥクリア−ウィンドゥ再描画をビデオフレームと同期させるには、
ウィンドゥサイズ×フレームレート≒Rc/2

を満たす必要がある。このフレームレートが29.97であるなら、

Rcは、ウィンドゥサイズ×2×29.97になる。

字幕の表示にあたっては、グラフィックスプレーン全体に対し、最低でも25%〜33%程度の大きさが必要となる。ここでグラフィックスプレーンの総画素数は1920×1080であり、一画素当たりのインデックスのビット長を8ビットとすると、グラフィックスプレーンの総容量は2Mバイト(≒1920×1080×8)になる。
この総容量の1/4をウィンドゥサイズとすると、500kバイト(=2Mバイト/4)になる。これを上述した式に代入してRcを導けば、Rcは256Mbps(500Kバイト×2×29.97)と算出することができる。
この25%〜33%という大きさであれば、256Mbpsという転送レートで字幕の表示を行っている限り、如何なる表示効果を実現する場合であっても、動画との同期を維持することができる。
仮に、ウィンドゥクリア及び再描画のレートがビデオフレームのフレームレートの1/2,1/4でよいなら、Rcがたとえ同じであってもウィンドゥサイズを2倍,4倍にすることができる。以上がwindowの大きさについての説明である。続いて、windowの位置、範囲について説明する。上述したように、Epochにおいてウィンドゥの位置、範囲は一貫している。
Epochにおいてウィンドゥの位置、範囲を一貫させておくのは以下の理由による。ウィンドゥの位置・範囲を変えれば、グラフィックスプレーンに対する書込先アドレスを変えねばならず、オーバーヘッドが発生するので、かかるオーバーヘッドによりオブジェクトバッファからグラフィックスプレーンへの転送レートが低下するからである。
ウィンドゥには、グラフィクスオブジェクトの個数が制限されている。この個数制限は、デコードされたグラフィクスオブジェクトの転送にあたってのオーバーヘッドを低減する目的で設けられている。ここでのオーバーヘッドは、グラフィクスオブジェクトのエッジ部分のアドレスを設定する際に発生する。そうすれば、エッジの部分が多く存在する程、オーバーヘッドの発生回数が多くなる。
ウィンドゥにおけるグラフィクスオブジェクトの数に制限がないと、グラフィクス転送にあたって発生するオーバーヘッド数が未知数になり、転送負荷の増減が激しくなる。一方、ウィンドゥにおけるグラフィクスの個数が2つまでであると、最悪4つのオーバーヘッドが発生すると見込んで転送レートを設定すればよいので、ミニマムスタンダードたる転送レートを数値化し易くなる。
以上がウィンドゥについての説明である。続いてこれらPCS、ODSを有したDisplay Setが、AVClipの再生時間軸上にどのように割り当てられるかについて説明する。Epochは、再生時間軸上においてメモリ管理が連続する期間であり、Epochは1つ以上のDisplay Setから構成されるので、Display SetをどうやってAVClipの再生時間軸に割り当てるかが問題になる。ここでAVClipの再生時間軸とは、AVClipに多重されたビデオストリームを構成する個々のピクチャデータのデコードタイミング、再生タイミングを規定するために想定される時間軸をいう。この再生時間軸においてデコードタイミング、再生タイミングは、90KHzの時間精度で表現される。Display Set内のPCS、ODSに付加されたDTS、PTSは、この再生時間軸において同期制御を実現すべきタイミングを示す。このPCS、ODSに付加されたDTS、PTSを用いて同期制御を行うことが、再生時間軸へのDisplay Setの割り当てである。
先ず、ODSに付加されたDTS、PTSにより、どのような同期制御がなされるかについて説明する。
DTSは、ODSのデコードを開始すべき時間を90KHzの時間精度で示しており、PTSはデコード終了時刻を示す。
ODSのデコードは、瞬時には完了せず、時間的な長さをもっている。このデコード期間の開始点・終了点を明らかにしたいとの要望から、ODSについてのDTS、PTSはデコード開始時刻、デコード終了時刻を示している。
PTSの値はデッドラインであるので、PTSに示される時刻までにODSのデコードがなされて、非圧縮状態のグラフィックオブジェクトが、再生装置上のオブジェクトバッファに得られなければならない。
DSnに属する任意のODSjのデコード開始時刻は、90KHzの時間精度でDTS(DSn[ODSj])に示されるので、これにデコードを要する最長時間を加えた時刻が、Display SetのODSjのデコード終了時刻になる。
ODSjのサイズを”SIZE(DSn[ODSj])”、ODSのデコードレートを”Rd”とすると、デコードに要する最長時間(秒)は、”SIZE(DSn[ODSj])//Rd”になる。ここで”//”は、小数点以下切り上げの割り算を示す演算子である。
この最長時間を90KHzの時間精度に変換し、ODSjのDTSに加算することにより、PTSで示されるべきデコード終了時刻(90KHz)は算出される。

DSnに属するODSjのPTSを、数式で表すと、以下の式のようになる。

PTS(DS[ODSj])=DTS(DSn[ODSj])+90,000×(SIZE(DSn[ODSj])//Rd)

そして互いに隣接する2つのODS(ODSj,ODSj+1)との間では、以下の関係を満たす必要がある。

PTS(DSn[ODSj])≦DTS(DSn[ODSj+1])

またDSnに属するENDは、DSnの終わりを示すものだから、DSnに属する最後のODS(ODSlast)のデコード終了時刻を示せばよい。このデコード終了時刻は、ODS2(ODSlast)のPTS(PTS(DSn[ODSlast]))に示されているので、ENDのPTSは、以下の式に示される値に設定される。

PTS(DSn[END]) = PTS(DSn[ODSlast])

続いてPCSのDTS、PTSの設定について説明する。
PCSのDTS値は、DSnにおける最初のODS(ODS1)のデコード開始時点か、それ以前の時点を示す。何故ならPCSは、DSnにおける最初のODS(ODS1)のデコード開始時点(DTS(DSn[ODS1]))、及び、DSnにおける最初のPDS(PDS1)が有効になる時点(PTS(DSn[PDS1]))と同時か、又はそれ以前に、再生装置上のバッファにロードされねばならないからである。よって以下の式の関係を満たす値に、設定されねばならない。
]DTS(DSn[PCS])≦DTS(DSn[ODS1])
DTS(DSn[PCS])≦PTS(DSn[PDS1])
そしてDSnにおけるPCSのPTSは、以下の数式から算出される。

PTS(DSn[PCS])≧DTS(DSn[PCS])+decodeduration(DSn)

ここでdecodeduration(DSn)は、PCSのアップデートに用いられる全グラフィクスオブジェクトのデコード及び表示に要する時間である。このデコード時間は、固定値ではない。しかし各再生装置の状態や再生装置の実装により変動するものでもない。本DSn.PCSnの画面合成に用いられるオブジェクトをDSn.PCSn.OBJ[j]とした場合、decodeduration(DSn)は、ウィンドゥクリアに要する時間(i)、DSn.PCSn.OBJ[j]のデコード期間(ii)、DSn.PCSn.OBJ[j]の書き込みに要する時間(iii)により変動を受ける値になる。Rd,Rcさえ予め定められていれば、どのような実装の再生装置であっても、同じ値になる。そのためオーサリング時にあたっては、これらの期間の長さを算出して、この値からPTSを計算している。
decode_durationの計算は、図14のプログラムに基づき行われる。また図15、図16(a)(b)は、このプログラムのアルゴリズムを図式化したフローチャートである。以降、これらの図を参照しながらdecode_durationの算出について説明する。図15のフローチャートにおいて、先ず初めに、PLANEINITIALIZATINTIME関数を呼び出し、戻り値をdecode_durationに加算する(図15のステップS1)。PLANEINITIALIZATINTIME関数(図16(a))は、Display Setを表示するにあたってグラフィックスプレーンの初期化に要する時間を求める関数を呼出すための関数であり、図15のステップS1では、DSn,DSn.PCS.OBJ[0],decode_durtationを引数に設定して、この関数を呼び出す。
続いて図16(a)を参照しながらPLANEINITIALIZATINTIME関数について説明する。図16(a)においてinitialize_durationとは、PLANEINITIALIZATINTIME関数の戻り値を示す変数である。
図16のステップS2は、DSnのPCSにおけるcomposition_stateがEpoch Startかどうかにより、処理を切り換えるif文である。もしcomposition_stateがEpoch Startであるなら(図14のDSn.PCS.composition_state==EPOCH_START、ステップS2=Yes)、グラフィックスプレーンのクリアに要する時間をinitialize_durationに設定する(ステップS3)。
オブジェクトバッファ−グラフィックスプレーン間の転送レートRcを上述したように256,000,000とし、グラフィックスプレーンの総サイズをvideo_width*video_heightとすると、クリアに要する時間(秒)は、「video_width*video_height//256,000,000」になる。これに、90,000Hzを乗じPTSの時間精度で表現すれば、グラフィックスプレーンのクリアに要する時間は「90000×video_width*video_height//256,000,000」になる。この時間を、initialize_durationに加えて、initialize_durationを戻り値としてリターンする。
もしcomposition_stateがEpoch Startでないなら(ステップS2=No)、WDSにて定義されるwindow[i]のクリアに要する時間をinitialize_durationに加えるという処理を全てのwindowについて繰り返す(ステップS4)。オブジェクトバッファ−グラフィックスプレーン間の転送レートRcを上述したように256,000,000とし、WDSに属するウィンドゥ[i]の総サイズをΣSIZE(WDS.WIN[i])とすると、クリアに要する時間(秒)は、「ΣSIZE(WDS.WIN[i])//256,000,000」になる。これに、90,000Hzを乗じPTSの時間精度で表現すれば、WDSに属する全ウィンドゥのクリアに要する時間は「90000×ΣSIZE(WDS.WIN[i]))//256,000,000」になる。この時間を、initialize_durationに加えて、initialize_durationを戻り値としてリターンする。以上がPLANEINITIALIZATINTIME関数である。
図15のステップS5は、DSnに属するグラフィクスオブジェクトの数が2であるか、1であるかで処理を切り換えるものであり(図14のif(DSn.PCS.num_of_object==2),if(DSn.PCS.num_of_object==1))、もし”1”であるなら(ステップS5=1)、グラフィクスオブジェクトのデコードを行うための待ち時間をdecode_durationに加える(ステップS6)。この待ち時間の算出は、WAIT関数の呼出(図14のdecode_duration +=WAIT(DSn,DSn.PCS.OBJ[0],decode_duration))で実現される。この関数呼出にあたっての引数はDSn,DSn.PCS.OBJ[0],decode_durationであり、待ち時間を示すwait_durationが戻り値として返される。
図16(b)は、WAIT関数の処理手順を示すフローチャートである。
このWAIT関数においてcurrent_durationとは、呼出元のdecode_durationが設定される。object_define_ready_timeは、Display Setのグラフィクスオブジェクト[i]のPTSが設定される変数である。
current_timeとは、DSnのPCSのDTSに、current_durationを足した値が設定される変数である。このcurrent_timeよりobject_define_ready_timeが大きい場合(ステップS7がYes、if(current_time < object_define_ready_time))、戻り値たるwait_durationは、object_define_ready_timeとcurrent_timeとの差分が設定されることになる(ステップS8、wait_duration += object_define_ready_time - current_time)。以上がWait関数である。ステップS6においてdecode_durationには、このwait関数の戻り値と、OBJ[0]をwindowに描画するのに必要な時間を足し合わせた時間(90,000*(SIZE(DSn.WDS.WIN[0]))//256,000,000)が設定されることになる(ステップS9)。
以上はDSnのグラフィクスオブジェクトが1つである場合の処理である。図15のステップS5は、グラフィクスオブジェクトの数が2であるかどうかを判定している。DSnのグラフィクスオブジェクトが2以上であれば(図14のif(DSn.PCS.num_of_object==2))、DSn,DSn.PCS.OBJ[0],decode_durationを引数として、wait関数を呼び出し、その戻り値をdecode_durationに加算する(ステップS10)。
続くステップS11は、DSnのOBJ[0]が属するwindowが、グラフィクスオブジェクト[1]が属するwindowと同一かどうかの判定であり(if(DSn.PCS.OBJ[0].window_id == DSn.PCS.OBJ[1].window_id)、もし同一であるなら、DSn,DSn.PCS.OBJ[1],decode_durationを引数にしてwait関数を呼び出し、その戻り値wait_durationを、decode_durationに加算する(ステップS12)。OBJ[0]が属するwindowの再描画に必要な時間(90,000*(SIZE(DSn.WDS.OBJ[0].window_id)//256,000,000)をdecode_durationに加える(ステップS13)。
もし属するwindowが異なるなら(ステップS11で”異なる”)、OBJ[0]が属するwindowの再描画に必要な時間(90,000*(SIZE(DSn.WDS.OBJ[0].window_id)//256,000,000)をdecode_durationに加える(ステップS15)。DSn,DSn.PCS.OBJ[1],decode_durationを引数にしてwait関数を呼び出し、その戻り値wait_durationを、decode_durationに加算する(ステップS16)。その後、OBJ[1]が属するwindowの再描画に必要な時間(90,000*(SIZE(DSn.WDS.OBJ[1].window_id)//256,000,000)をdecode_durationに加える(ステップS17)。
以上のアルゴリズムにより、Decode_Durationは算出される。このPCSのPTSが、具体的にどのように設定されるかについて説明する。
図17(a)は、1つのwindowに1つのODSが存在するケースを想定した図である。図17(b)(c)は、図14で引用した各数値の時間的な前後関係を示すタイミングチャートである。本チャートには3つの段があり、これらの段のうち、”グラフィックスプレーンアクセス”の段、”ODSデコード”の段は、再生時にパラレルになされる2つの処理を示す。上述したアルゴリズムは、これらの2つの処理のパラレル実行を想定している。
グラフィックスプレーンアクセスは、クリア期間(1)、書き込み期間(3)からなる。このクリア期間(1)は、グラフィックスプレーン全体のクリアに要する期間(90,000×(グラフィックスプレーンのサイズ//256,000,000))、グラフィックスプレーンにおける全windowのクリアに要する時間(Σ(90,000×(window[i]のサイズ//256,000,000)))のどちらかを意味する。
書き込み期間(3)は、window全体描画に要する期間(90,000×(windowサイズ//256,000,000))を意味する。
一方、デコード期間(2)は、ODSのDTSからPTSまでに示される期間を意味する。 これらクリア期間(1)〜書き込み期間(3)は、クリアすべき範囲、デコードすべきODSのサイズ、グラフィックスプレーンに書き込むべきグラフィクスオブジェクトのサイズにより変化し得る。本図では、説明の簡略化のため、ODSのデコード期間(2)の始点は、クリア期間(1)の始点と同一であると仮定している。
図17(b)はデコード期間(2)が長くなるケースであり、Decode_Durationはデコード期間(2)+書き込み期間(3)になる。
図17(c)は、クリア期間(1)が長くなるケースであり、Decode_Durationはクリア期間(1)+書き込み期間(3)の期間がDecode_Durationになる。
図18(a)〜(c)は、1つのwindowに2つのODSが存在するケースを想定した図である。本図(b)(c)におけるデコード期間(2)は、2つのグラフィクスのデコードに要する期間の総和を意味する。グラフィクス書込期間(3)も、2つのグラフィクスをグラフィックスプレーンに書き込む期間の総和を意味する。ODSが2つになっているものの、図17と同様に考えればDecode_Durationを算出することができる。2つのODSをデコードするためのデコード期間(2)が長い場合は、図18(b)に示すようにDecode_Durationはデコード期間(2)+書き込み期間(3)に算出されることになる。
クリア期間(1)が長い場合は、図18(c)に示すように、Decode_Durationはクリア期間(1)+書き込み期間(3)となる。
図19(a)は、2つのwindowのそれぞれに、ODSが1つずつ存在するケースを想定している。この場合でもクリア期間(1)が、2つのODSをデコードするための総デコード期間(2)より長い場合、Decode_Durationはクリア期間(1)+書き込み期間(3)になる。問題は、クリア期間(1)がデコード期間(2)より短くなるケースである。この場合デコード期間(2)の経過を待たずに、1つ目のwindowへの書き込みは可能になる。そのためクリア期間(1)+書き込み期間(3)、デコード期間(2)+書き込み期間(3)の長さにはならない。ここで1つ目のODSのデコードに要する期間を書込期間(31)、2つ目のODSのデコードに要する期間を書込期間(32)とする。図19(b)は、デコード期間(2)がクリア期間(1)+書込期間(31)より長くなるケースを示す。この場合Decode_Durationは、デコード期間(2)+書込期間(32)になる。
図19(c)は、クリア期間(1)+書込期間(31)がデコード期間(2)より長くなるケースを示す。この場合Decode_Durationはクリア期間(1)+書込期間(31)+書込期間(32)になる。
グラフィックスプレーンのサイズは、プレーヤモデルから予め判明しており、またwindowのサイズ、ODSのサイズ、個数もオーサリングの段階で判明しているので、これらからDecode_Durationがクリア期間(1)+書き込み期間(3)、デコード期間(2)+書き込み期間(3)、デコード期間(2)+書込期間(32)、クリア期間(1)+書込期間(31)+書込期間(32)のどれかになる。こうしたDecode_Duration算出を基にPCSのPTSを設定すれば、ピクチャデータとの同期表示を高い時間精度で実現することができる。このような高精度な同期制御は、windowを定義し、クリア・再描画する範囲を、このwindowに限定することで成り立っているので、オーサリングの環境に、このwindowの概念を導入したことの意義は大きい。
続いてDSnにおけるWDSのDTS、PTSの設定について説明する。WDSのDTSは、以下の数式を満たすように設定すればよい。
DTS(DSn[WDS])≧DTS(DSn[PCS])

一方、DSnにおけるWDSのPTSは、グラフィックスプレーンに対する書き込みを開始すべきデッドラインを示す。グラフィックスプレーンへの書き込みは、ウィンドゥだけで足りるので、PCSのPTSに示される時刻から、全てのウィンドウの書き込みに要する期間を差し引けば、グラフィックスプレーンへの書き込みを開始すべき時刻は定まる。WDSの総サイズをΣSIZE(WDS.WIN[i])とすれば、これのクリア及び再描画に要する時間は、『ΣSIZE(WDS.WIN[i])//256,000,000』になる。そして、これを90.000KHzの時間精度で表現すると『90000×ΣSIZE(WDS.WIN[i])//256,000,000』になる。
故に以下の数式から、WDSのPTSを算出すればよい。

PTS(DSn[WDS])=PTS(DSn[PCS])-90000×ΣSIZE(WDS.WIN[i])//256,000,000

このWDSに示されるPTSはデッドラインなので、これより早い時点からグラフィックスプレーンの書き込みを開始してもよい。つまり図19に示すように、2つのウィンドゥのうち、1つのウィンドゥに表示させるべきODSのデコードが完了したなら、その時点からデコードにより得られたグラフィクスオブジェクトの書き込みを開始してもよい。
このようにWDSに付加されたDTS、PTSを用いてAVClipの再生時間軸の任意の時点に、ウィンドゥを割り当てることができる。
以上がPCS、WDSのDTS、PTSの説明である。
続いてPCSによる前方参照について説明する。前方参照とは、前もって再生装置のメモリに読み込まれたグラフィクスオブジェクトを参照した再生制御をいう。図20は、前方参照を行うPCSを描いた図である。本図では、DSn、DSn+1、DSn+2という3つのDisplay Setが描かれている。この中でDSn+1、DSn+2に属するPCSが「前方参照を行うPCS」である。本図の矢印yy1,yy2は、PCSにおける前方参照を象徴的に示す。かかる前方参照において参照先になっているグラフィクスオブジェクトは、DSn内のODS#u+1〜#vにより定義されるグラフィクスオブジェクトである。ここでDSnは、ODS#1〜#u、ODS#u+1〜#vという複数のグラフィクスオブジェクトを含む。このうちDSn内のPCSにより参照されているのは、ODS#1〜#uであり、ODS#u+1〜#vは参照されていない。つまりDSn内の非参照グラフィクスオブジェクトが前方参照されているのである。
以上のような前方参照では、PCSにより参照されているグラフィクスオブジェクトが前もって再生装置に読み込まれているので、同じDisplay Setに属するODSのデコードを待つ必要が無い。PCSを新たに送り込むだけで、そのPCSに基づく表示制御を再生装置に実行させることができる。PCSの読み込みに即応した表示制御が可能であるため、既に表示されているグラフィクスを、新たなグラフィクスを用いて更新するというグラフィクス更新を短い時間間隔で実行することができる。そして短い時間間隔でのグラフィクス更新を繰り返せば、動画像の再生進行と共にグラフィクスを滑らかに動かすという表示制御が可能になる。前方参照型のPCSにおける2つの記述例について説明する。

先ず初めに、画面上でグラフィクスが動きまわるような表示効果を実現するにあたってのPCSの記述について説明する。図21(a)は、かかる表示効果を実現するEpochを示す図である。本Epochは、9つのDisplay Set(DS0〜DS8)からなり、先頭のDS0は、PCS、PDS、ODSを含む。DS0内のODSは、図22(a)に示すような字幕「心が揺れる」を定義するものであり、object_id=1が付されている。後続するDS1〜DS8は、PCSのみを含む。
図21(b)は、DS1〜DS8に含まれるPCSの内容と、PTS値とを示す図である。本図に示すようにDS1〜DS8に属するPCS内の内容は、object_id_ref=1のグラフィクスオブジェクトを座標(x1,y1)(x2,y2)(x3,y3)・・・(x8,y8)に表示するよう、object_horizontal_position,object_vertivcal_positionの位置決めがなされている。これら座標(x1,y1)(x2,y2)(x3,y3)・・・(x8,y8)が、ウィンドゥの座標系のどこに存在するかを、具体的に示したのが図22(b)である。図22(b)において座標(x1,y1)(x2,y2)(x3,y3)・・・(x8,y8)は、波形を表す曲線上に存在していることがわかる。これら(x1,y1)(x2,y2)(x3,y3)・・・(x8,y8)という座標値は、WDSにて定義されるウィンドゥ内に、グラフィクスが収まるように規定されている。ウィンドゥ内に、グラフィクスが収まらないと、ビデオストリームにおける動画表示との同期を確立することができないからである。
図21(b)におけるPCSのPTS値は、座標(x1,y1)(x2,y2)(x3,y3)・・・(x8,y8)に対する表示を、再生時間軸上の時点t1,t2,t3・・・・t8のタイミングで命じるものである。
以上のように、PCSの内容が規定されたDS0〜DS8を順次再生装置に読み込んでゆくことにより、グラフィクスは、図23のような表示効果をなす。動画ストリームの再生時間軸における時点t1において、再生装置にはDS1が読み込まれるので、ウィンドゥ内の座標(x1,y1)にグラフィクスが表示される。時点t4において再生装置にはDS4が読み込まれるので座標(x4,y4)にグラフィクスが表示されることになる。一方時点t6では、DS6が読み込まれるので座標(x6,y6)に、時点t8ではDS8が読み込まれるので座標(x8,y8)にグラフィクスが表示されることになる。これらの座標(x1,y1),(x4,y4),(x6,y6),(x8,y8)は、波形の曲線上に存在するので、かかる座標に表示位置の位置決めがなされたPCSにより、グラフィクスは、図24に示すように波形の軌道を描くことになる。
以上のようにobject_horizontal_position,object_vertivcal_positionが規定されたPCSを含むDisplay Setを順次再生装置に読み込ませれば、再生装置はBD-ROMから読み出されてくるDS1、DS2、DS3内のPCSに従い、既にオブジェクトバッファに格納されているグラフィクスオブジェクトを、表示させることができる。制御情報の送り込みのみで、グラフィクスの位置を変化させることができるので、グラフィクスを目まぐるしく動かすという制御に適している。
個々のDisplay Setの読み出し時において、それまで参照していたPCSを、新たなPCSで上書きするとの動作を行えば、たとえ読み出すべきPCSが何十個、何百個あったとしても、そのうち最も新しいもののみ、再生装置に格納しておけばよい。滑らかな動きを実現するため、表示座標を示すPCSが、何十個、何百個必要であっても、そのうち最新のもののみ、再生装置に常駐させておけばよいので、再生装置におけるメモリ占有量を必要最低限にすることができる。
続いてPCSの第2の記述例としてPallet Only Updateについて説明する。図25は、Pallet Only Updateを実現する一連のDisplay Setを示す図である。本図の第1段目は、Pallet Only Updateを実現する一連のDisplay Set(DS0、DS1、DS2、DS3)を示す。このうちDS0は、PCSと、3つのPDS0,1,2,3と、ODSとを含む。以降のDS2、DS3、DS4は、PCSのみからなる。
DS0内のODSは、引き出し線hv1に示すように、文字列「忘れない」を定義するものである。これら文字「忘」「れ」「な」「い」は、それぞれ複数のRun Length(図中の白抜きの四角形)から構成される。このうち文字「忘」を構成するRun Lengthは、PixelCode0をもっているものとする。文字「れ」,「な」,「い」を構成するRun Lengthは、PixelCode1,PixelCode2,PixelCode3をもっているものとする。
図26(a)は、DS0内のPDSがどのような内容であるかを示す図である。
4つのPDSのうち、1つ目のPDS0は(第1段目)、pallet_id=0が付加されており、PixelCode0に赤色を、PixelCode1〜3に白色を割り当てるものである。
2つ目のPDS1は(第2段目)、pallet_id=1が付加されており、0,1,2のPixelCodeに赤色を、3以降のPixelCodeに白色を割り当てるものである。
3つ目のPDS2は(第3段目)、pallet_id=2が付加されており、0,1,2,3のPixelCodeに赤色を、4のPixelCodeに白色を割り当てるものである。
4つ目のPDS3は(第4段目)、pallet_id=3が付加されており、0,1〜4のPixelCodeに赤色を割り当てるものである。
図26(b)は、DS0〜DS3内のPCSを示す図である。
本図においてDS0内のPCSは(第1段目)、object_id_ref=1のグラフィクスオブジェクトを参照した表示制御を行う旨を示す。そしてPallet_update_flagが0に設定され、Pallet_id_refが0に設定されている。これによりDS0内のODSは、Pallet_id=0で指示されるPDSを用いて、表示されることになる。
DS1内のPCSは(第2段目)、object_id_ref=1のグラフィクスオブジェクトを参照した表示制御を行う旨を示す。そしてPallet_update_flagが1に設定され、Pallet_id_refが1に設定されている。これは、DS1の読み込み時において、Pallet_id=1で指示されるPDSを用いて、グラフィクス表示の更新を行う旨を示す。
DS2内のPCSは(第3段目)、object_id_ref=1のグラフィクスオブジェクトを参照した表示制御を行う旨を示す。そしてPallet_update_flagが1に設定され、Pallet_id_refが2に設定されている。これは、DS2の読み込み時において、Pallet_id=2で指示されるPDSを用いて、グラフィクス表示の更新を行う旨を示す。]
DS3内のPCSは(第4段目)、object_id_ref=1のグラフィクスオブジェクトを参照した表示制御を行う旨を示す。そしてPallet_update_flagが1に設定され、Pallet_id_refが3に設定されている。これは、DS3の読み込み時において、Pallet_id=3で指示されるPDSを用いて、グラフィクス表示の更新を行う旨を示す。DS0〜DS3に属するPCSは、以上のように設定されているので、DS0に属するグラフィクスオブジェクトは、それぞれ別々のパレットデータを用いて、更新されてゆくことになる。
図27は、これら4つのDisplay Setが読み込ませることで実現される、表示効果を現した図である。DS0に属するグラフィクスオブジェクトが再生装置に投入された段階で、字幕「忘れない」が表示され、それを構成する文字のうち、文字「忘」が赤色になる。次にDS1を投入した段階において、字幕「忘れない」を構成する文字のうち、文字「忘」,「れ」が赤色に、DS2を投入した段階で、文字「忘」,「れ」,「な」が赤色になる。そしてDS3を投入した段階で、全ての文字が赤色になる。Display Setが投入される毎に、字幕を構成する文字は、左に位置するものから順に、白色から赤色に変わってゆくので、音声の進行と共に、文字の色彩を代えてゆく表示効果を実現することができる。
これまでに説明したDisplay Set(PCS,WDS,PDS,ODS)のデータ構造は、プログラミング言語で記述されたクラス構造体のインスタンスであり、オーサリングを行う制作者は、Blu-ray Disc Read Only Formatに規定された構文に従い、クラス構造体を記述することで、BD-ROM上のこれらのデータ構造を得ることができる。 以上が本発明に係る記録媒体の実施形態である。続いて本発明に係る再生装置の実施形態について説明する。図28は、本発明に係る再生装置の内部構成を示す図である。本発明に係る再生装置は、本図に示す内部に基づき、工業的に生産される。本発明に係る再生装置は、主としてシステムLSIと、ドライブ装置、マイコンシステムという3つのパーツからなり、これらのパーツを装置のキャビネット及び基板に実装することで工業的に生産することができる。システムLSIは、再生装置の機能を果たす様々な処理部を集積した集積回路である。こうして生産される再生装置は、BDドライブ1、Read Buffer2、PIDフィルタ3、Transport Buffer4a,b,c、周辺回路4d、ビデオデコーダ5、ビデオプレーン6、オーディオデコーダ7、グラフィクスプレーン8、CLUT部9、加算器10、グラフィクスデコーダ12、Coded Data Buffer13、周辺回路13a、Stream Graphics Processor14、Object Buffer15、Composition Buffer16、Graphical Controller17から構成される。
BD-ROMドライブ1は、BD-ROMのローディング/リード/イジェクトを行い、BD-ROMに対するアクセスを実行する。
Read Buffer2は、FIFOメモリであり、BD-ROMから読み出されたTSパケットが先入れ先出し式に格納される。
PIDフィルタ3は、Read Buffer2から出力される複数TSパケットに対してフィルタリングを施す。PIDフィルタ3によるフィルタリングは、TSパケットのうち、所望のPIDをもつもののみをTransport Buffer4a,b,cに書き込むことでなされる。PIDフィルタ3によるフィルタリングでは、バッファリングは必要ではない。従って、PIDフィルタ3に入力されたTSパケットは、時間遅延なく、Transport Buffer4a,b,cに書き込まれる。
Transport Buffer4a,b,cは、PIDフィルタ3から出力されたTSパケットを先入れ先出し式に格納しておくメモリである。このTransport Buffer4aからTSパケットが取り出される速度を速度Rxとする
周辺回路4dは、Transport Buffer4a,b,cから読み出されたTSパケットを、機能セグメントに変換する処理を行うワイアロジックである。変換により得られた機能セグメントはCoded Data Buffer13に格納される。
ビデオデコーダ5は、PIDフィルタ3から出力された複数TSパケットを復号して非圧縮形式のピクチャを得てビデオプレーン6に書き込む。
ビデオプレーン6は、動画用のプレーンメモリである。
オーディオデコーダ7は、PIDフィルタ3から出力されたTSパケットを復号して、非圧縮形式のオーディオデータを出力する。
グラフィクスプレーン8は、一画面分の領域をもったプレーンメモリであり、一画面分の非圧縮グラフィクスを格納することができる。
CLUT部9は、グラフィクスプレーン8に格納された非圧縮グラフィクスにおけるインデックスカラーを、PDSに示されるY,Cr,Cb値に基づき変換する。
加算器10は、CLUT部9により色変換された非圧縮グラフィクスに、PDSに示されるT値(透過率)を乗じて、ビデオプレーン6に格納された非圧縮状態のピクチャデータと画素毎に加算し、合成画像を得て出力する。
グラフィクスデコーダ12は、グラフィクスストリームをデコードして、非圧縮グラフィクスを得て、これをグラフィクスオブジェクトとしてグラフィクスプレーン8に書き込む。グラフィクスストリームのデコードにより、字幕やメニューが画面上に現れることになる。
グラフィクスデコーダ12によるパイプラインは、DSnに属するグラフィクスオブジェクトをObject Buffer15に書き込む処理、DSn+1に属するグラフィクスオブジェクトをObject Buffer15から読み出す処理を同時に実行することでパイプラインは実行される。
このグラフィクスデコーダ12は、Coded Data Buffer13、周辺回路13a、Stream Graphics Processor14、Object Buffer15、Composition Buffer16、Graphical Controller17から構成される。
Coded Data Buffer13は、機能セグメントがDTS、PTSと共に格納されるバッファである。かかる機能セグメントは、Transport Buffer4a,b,cに格納されたトランスポートストリームの各TSパケットから、TSパケットヘッダ、PESパケットヘッダを取り除き、ペイロードをシーケンシャルに配列することにより得られたものである。取り除かれたTSパケットヘッダ、PESパケットヘッダのうち、PTS/DTSは、PESパケットと対応付けて格納される。
周辺回路13aは、Coded Data Buffer13−Stream Graphics Processor14間の転送、Coded Data Buffer13−Composition Buffer16間の転送を実現するワイヤロジックである。この転送処理において現在時点がODSのDTSに示される時刻になれば、ODSを、Coded Data Buffer13からStream Graphics Processor14に転送する。また現在時刻がPCS、PDSのDTSに示される時刻になれば、PCS、PDSをComposition Buffer16に転送するという処理を行う。
Stream Graphics Processor14は、ODSをデコードして、デコードにより得られたインデックスカラーからなる非圧縮状態の非圧縮グラフィクスをグラフィクスオブジェクトとしてObject Buffer15に書き込む。Stream Graphicsプロセッサ14によるデコードは瞬時に行われ、デコードによりグラフィクスオブジェクトをStream Graphicsプロセッサ14は一時的に保持する。Stream Graphicsプロセッサ14によるデコードは瞬時になされるが、Stream Graphicsプロセッサ14からObject Buffer15への書き込みは、瞬時には終わらない。BD-ROM規格のプレーヤモデルでは、Object Buffer15への書き込みは、128Mbpsという転送レートでなされるからである。Object Buffer15への書き込み完了時点は、ENDセグメントのPTSに示されているので、このENDセグメントのPTSに示される時点が経過するまで、次のDSに対する処理を待つことになる。各ODSをデコードすることにより得られたグラフィクスオブジェクトの書き込みは、そのODSに関連付けられたDTSの時刻に開始し、ODSに関連付けられたPTSに示されるデコード終了時刻までに終了する。
書き込み時にあたってDSn側のグラフィックスデータと、DSn+1側のグラフィックスデータとに割り当てられているobject_idが別々の場合、Stream Graphicsプロセッサ14はDSn側のグラフィックスデータと、DSn+1側のグラフィックスデータとを、Object Buffer15における別々の領域に書き込む。これによりDSnのPCSにより参照されるグラフィクスオブジェクトは、DSn+1に属するグラフィクスオブジェクトにより上書きされることなく、パイプラインで表示に供される。両グラフィクスオブジェクトに割り当てられているobject_idが同じである場合、前記Stream Graphicsプロセッサ14は、Object Buffer15において先行DS側のグラフィックスデータが格納されている領域と同じ領域に、後続DS側のグラフィックスデータを上書きする。かかる場合、パイプラインは行わない。またDSに属するグラフィクスオブジェクトには、同一DSのPCSにより参照されているものと、参照されていないものとがある。Stream Graphicsプロセッサ14は、PCSにより参照されているグラフィクスオブジェクトだけでなく、参照されてないグラフィクスオブジェクトを逐次デコードして、デコードにより得られたグラフィクスをObject Buffer15に格納する。
Object Buffer15は、ETSI EN 300 743標準規格におけるピクセルバッファに相当するバッファであり、Stream Graphics Processor14のデコードにより得られたグラフィクスオブジェクトが配置される。Object Buffer15は、グラフィクスプレーン8の2倍/4倍の大きさに設定せねばならない。何故ならScrollingを実現する場合を考えると、グラフィクスプレーン8の2倍、4倍のグラフィクスオブジェクトを格納しておかねばならないからである。
Composition Buffer16は、PCS、PDSが配置されるメモリである。−−処理すべきDisplay Setが2つあり、これらの有効区間が重複している場合、Compositionバッファ16には処理すべきPCSが複数格納される。
Graphical Controller17は、Graphicalコントローラ17はPCSの解読を行い、PCSの解読結果に従って、グラフィクスオブジェクトのObject Buffer15への書き込み、及び、Object Buffer15からのグラフィクスオブジェクトの読み出し、グラフィクスオブジェクトの表示を実行する。Graphicalコントローラ17による表示は、PCSを格納したPESパケットのPTSに示される時点において実行される。
PCSを用いた画面構成を実行するにあたって、Graphicsコントローラ17は以下の処理を行う。Graphicsコントローラ17は、オブジェクトCに記述されたグラフィクスオブジェクト識別子の参照値(object_id_ref)を読み取り、そのobject_id_refにより指示されるグラフィクスオブジェクトのうち、object_cropping_horizontal_position,object_cropping_vertical_positionから、object_cropping_width、object_cropping_heightに示されるクロップ範囲を切り出して、グラフィックスプレーンのobject_horizontal_position,object_vertical_positionにより示される位置に書き込む。この参照値が、PCSと同じDisplay Setに属するグラフィクスオブジェクトを表している場合、同じDisplay Setに属するODSがデコードされた後でないと、上述したグラフィックスプレーンへの書き込みは行えない。
一方、オブジェクトCが属するDisplay SetのComposition_stateがNormal Caseである場合、デコードにより得られたグラフィクスオブジェクトが、前もってオブジェクトバッファ内に格納されているので、ODSのデコードを待つことなく、上述したグラフィックスプレーンへの書き込みを行うことができる。
PalletOnly Displey Update時におけるGraphicsコントローラ17の読み出し処理は以下の通りである。Display Setが、BD-ROMから読み出された場合、Graphicsコントローラ17は、PCSのPallette_update_flagが、”1”であるか否かを判定する。もし1であるなら、PCSのpallet_idに記述されているパレットデータを用いた画素値変換を、CLUT部9に命じた上で、Object Buffer15からグラフィクスオブジェクトを読み出し、グラフィクスプレーン8に格納させてゆく。CLUT部9に対するパレットデータの設定のみを行うことで、グラフィクスの更新を行うのである。
続いて、PIDフィルタ3、Transport Buffer4a,b,c、グラフィクスプレーン8、CLUT部9、Coded Data Buffer13〜Graphical Controller17を構成するための、転送レート、バッファサイズの推奨値について説明する。図29は、書込レートRx,Rc,Rd、グラフィクスプレーン8、Transport Buffer4a、Coded Data Buffer13、Object Buffer15、Composition Buffer16のサイズを示す図である。
Object Buffer15−グラフィクスプレーン8間の転送レートRcは、本装置において最も高い転送レートであり、ウィンドゥサイズ、フレームレートから256Mbps(=500Kバイト×29.97×2)と算出される。
Stream Graphics Processor14−Object Buffer15間の転送レートRd(Pixel Decoding Rate)は、Rcとは異なり、ビデオフレームの周期によるアップデートは要求されずRcの1/2,1/4でよい。故に128Mbps,64Mbpsになる。
Transport Buffer4a,b,c−Coded Data Buffer13間のTransport Buffer LeakレートRxは、圧縮状態たるODSの転送レートである。従ってTransport Buffer Leakレートは、Rdに圧縮率を乗じた転送レートでよい。ODSの圧縮率を25%と仮定すれば、16Mbps(=64Mbps×25%)で足りる。
この図に示す転送レート、バッファ規模はあくまでもミニマムスタンダードであり、これより大きい値での実装を否定している訳ではない。
以上のように構成された再生装置において、各構成要素はパイプライン式にデコード処理を行うことができる。
図30は、再生装置によるパイプライン処理を示すタイミングチャートである。第5段目は、BD-ROMにおけるDisplay Setを示し、第4段目は、Coded Data Buffer13へのPCS、WDS、PDS、ODSの読出期間を示す。第3段目は、Stream Graphics Processor14による各ODSのデコード期間を、第2段目はComposition Buffer16の格納内容を、第1段目はGraphical Controller17の処理内容を示す。
ODS1,2に付与されたDTS(デコード開始時刻)は、図中のt31,t32の時点を示している。デコード開始時刻がDTSに規定されているので、各ODSは、自身のDTSに示される時刻までにCoded Data Buffer13に読み出されなければならない。そのためODS1の読み出しは、Coded Data Buffer13へのODS1のデコード期間dp1の直前までに完了している。Coded Data Buffer13へのODS2の読み出しは、ODS2のデコード期間dp2の直前までに完了している。
一方、ODS1,2に付与されたPTS(デコード終了時刻)は、図中のt32,t33の時点を示している。Stream Graphics Processor14によるODS1のデコードはt32までに完了し、ODS2のデコードは、t33に示される時刻までに完了する。以上のように、Stream Graphics Processor14は、各ODSのDTSに示される時刻までに、ODSをCoded Data Buffer13に読み出し、Coded Data Buffer13に読み出されたODSを、各ODSのPTSに示される時刻までに、デコードしてObject Buffer15に書き込む。
本図の第1段目における期間cd1は、Graphics Controller17がグラフィクスプレーン8をクリアするのに要する期間である。また期間td1は、Object Buffer15上にえられたグラフィクスオブジェクトを、グラフィクスプレーン8に書き込むのに要する期間である。WDSのPTSは、この書き込みの開始にあたってのデッドラインを示し、PCSのPTSはこの書き込みの終了時点及び表示タイミングを示す。このPCSのPTSに示される時点になれば、対話画面を構成する非圧縮グラフィクスがグラフィクスプレーン8上に得られることになる。この非圧縮グラフィクスの色変換をCLUT部9に行わせ、ビデオプレーン6に格納されている非圧縮ピクチャとの合成を加算器10に行わせれば、合成画像が得られることになる。
グラフィクスデコーダ12において、Graphics Controller17がグラフィクスプレーン8のクリアを実行している間においても、Stream Graphics Processor14のデコードは継続して行われる。以上のようなパイプライン処理により、グラフィクスの表示を迅速に実施することができる。
図30では、グラフィックスプレーンのクリアが、ODSのデコードより早く終わる場合を想定したが、図31は、ODSのデコードが、グラフィックスプレーンのクリアより早く終わる場合を想定したパイプライン処理を示すタイミングチャートである。この場合、ODSのデコードが完了した段階では、グラフィックスプレーンへの書き込みを実行することができず、グラフィックスプレーンのクリアが完了した時点で、デコードにより得られたグラフィクスをグラフィックスプレーンに書き込むことができる。
再生装置におけるバッファ占有量の時間的遷移について図32を参照しながら説明する。図32は、図28におけるCompositionバッファ16、Object Buffer15、Coded Dataバッファ13、グラフィクスプレーン8の時間的遷移を示すタイミングチャートである。本図は、第1段目から第4段目までに、グラフィクスプレーン8、Object Buffer15、Coded Dataバッファ13、Compositionバッファ16における占有量の時間的遷移を示している。この占有量の時間的遷移は、横軸を時間軸とし、縦軸を占有量とした折れ線グラフの表記で表現している。
図32の第4段目は、Compositionバッファ16における占有量の時間的遷移を示す。本図に示すようにCompositionバッファ16の時間的遷移は、Coded Dataバッファ13から出力されPCSが格納されることによる単調増加vf0を含む。
第3段目は、Coded Dataバッファ13における占有量の時間的遷移を示す。本図に示すようにCoded Dataバッファ13の時間的遷移は、ODSが格納されることによる単調増加Vf1,Vf2と、格納されたODSが順次Stream Graphicsプロセッサ14により取り出されることによる単調減少Vg1,Vg2とを含む。単調増加Vf1,Vf2の傾きは、Transportバッファ4a,b,cからCoded Dataバッファ13への出力レートRxに基づき、単調減少Vg1,Vg2の傾きは、Stream Graphicsプロセッサ14によるデコードであり、瞬時に実行される。つまりODSに対するデコードは瞬時に行われ、Stream Graphicsプロセッサ14は、デコードにより得られた非圧縮グラフィクスを保持する。Stream Graphicsプロセッサ14からObject Buffer15への伝送路の書込レートは128Mbpsであるため、この書込レートにより、Object Buffer15の占有量は増加する。
第2段目は、Object Buffer15における占有量の時間的遷移を示す。本図に示すようにObject Buffer15の時間的遷移は、Stream Graphicsプロセッサ14から出力されたODSが格納されることによる単調増加Vh1,Vh2を含む。単調増加Vh1,Vh2の傾きは、Stream Graphicsプロセッサ14からObject Buffer15への転送レートRdに基づく。第3段目の単調減少が生じる期間及びの第2段目の単調増加が生ずる期間が、デコード期間である。このデコード期間の始期は、ODSのDTSに示されており、デコード期間の終期は、ODSのPTSに示されている。このODSのPTSに示される期間までに、非圧縮のグラフィクスがobject buffer15に格納されれば、ODSに対するデコードは完了したことになる。ODSのPTSに示される期間までに、非圧縮のグラフィクスがobject buffer15に格納されることが、必須の要件であり、このデコード期間における単調増加、単調減少はどのようなものであってもよい。
第1段目は、グラフィクスプレーン8における占有量の時間的遷移を示す。本図に示すようにグラフィクスプレーン8の時間的遷移は、Object Buffer15から出力されたデコード済みODSが格納されることによる単調増加Vf3を含む。単調増加Vf3の傾きは、Object Buffer15からグラフィクスプレーン8への転送レートRcに基づく。この単調増加の終期は、PCSのPTSに示されている。
ODSに付与されたDTS、PTS、ICSに付与されたDTS、PTS、そして図29に示した各バッファのサイズ、転送レートを用いれば、本図のようなグラフを作図することにより、BD-ROMにて供給すべきAVClipの再生時において、各バッファの状態がどのように変化するかが、オーサリングの段階で明らかになる。
このバッファ状態の遷移は、DTS、PTSに示される値を書き換えることで、調整することが可能なので、再生装置側のデコーダのスペックを越えるような復号負荷の発生を回避したり、再生にあたってのバッファオーバーフローの回避することができる。そのため再生装置の開発にあたってのハードウェア、ソフトウェアの実装が簡易になる。
以上が再生装置の内部構成である。続いてグラフィクスコントローラ17を、どのようにして実装するかについて説明する。グラフィクスコントローラ17は、図33の処理手順を行うプログラムを作成し、CPUに実行させることにより実装可能である。以降、図33を参照しながら、グラフィクスコントローラ17の処理手順について説明する。
図33は、機能セグメントのロード処理の処理手順を示すフローチャートである。本フローチャートにおいてSegmentKとは、AVClipの再生時において、読み出されたSegment(PCS,WDS,PDS,ODS)のそれぞれを意味する変数であり、無視フラグは、このSegmentKを無視するかロードするかを切り換えるフラグである。本フローチャートは、無視フラグを0に初期化した上で、ステップS21〜S24、ステップS27〜S31の処理を全てのSegmentKについて繰り返すループ構造を有している(ステップS25、ステップS26)。
ステップS21は、SegmentKがPCSであるか否かの判定であり、もしSegmentKがPCSであれば、ステップS27、ステップS28の判定を行う。
ステップS22は、無視フラグが1かどうかの判定である。無視フラグが0であるならステップS23に移行し、1であるならステップS24に移行する。無視フラグが1であれば(ステップS22でNo)、ステップS23においてSegmentKをCoded Data Buffer13にロードする。
無視フラグが0に設定されていれば(ステップS22がNo)、ステップS24においてSegmentKが無視される。これによりDSに属する機能セグメントは全て、ステップS22がNoになって、無視されることになる(ステップS24)。
このように、SegmentKが無視されるか、ロードされるかは、無視フラグの設定により決まる。ステップS27〜S31、S34、S35は、この無視フラグを設定する処理である。
ステップS27は、PCSにおけるcomposition_stateがAcquisition Pointであるか否かの判定である。SegmentKがAcquisition Pointであるなら、ステップS28に移行し、SegmentKがもしEpoch StartかNormal Caseであるなら、ステップS31に移行する。
ステップS28は、先行するDSがグラフィクスデコーダ12内のどれかのバッファ(Coded Data Buffer13、Stream Graphicsプロセッサ14、Object Buffer15、Composition Buffer16)に存在するかどうかの判定であり、ステップS27がYesである場合に実行される。グラフィクスデコーダ12内にDSが存在しないケースとは、頭出しがなされたケースをいう。この場合、Acquisition PointたるDSから、表示を開始せねばならないので、ステップS30に移行する(ステップS28でNo)。
ステップS30は、無視フラグを0に設定し、ステップS22に移行する。
グラフィクスデコーダ12内にDSが存在するケースとは、通常再生がなされたケースをいう。この場合、ステップS29に移行する(ステップS28でYes)。ステップS29は、無視フラグを1に設定し、ステップS22に移行する。
ステップS31は、PCSにおけるcomposition_stateがNormal Caseであるか否かの判定である。もしNormal Caseであるなら、ステップS34に移行する。SegmentKがEpoch Startであるなら、ステップS30において無視フラグを0に設定する。 ステップS34は、ステップS28と同じであり、先行するDSがグラフィクスデコーダ12内に存在するかどうかの判定を行う。もし存在するなら、無視フラグを0に設定する(ステップS30)。存在しないなら、元々、対話画面を構成する充分な機能セグメントが得られないため、無視フラグを1に設定する(ステップS35)。かかるフラグ設定により、先行するDSがグラフィクスデコーダ12に存在しない場合、Normal Caseを構成する機能セグメントは無視されることになる。
DSが、図34のように多重化されている場合を想定して、DSの読み出しがどのように行われるかを説明する。図34の一例では、3つのDSが動画と多重化されている。この3つのDSのうち、初めのDS1は、composition_stateがEpoch_Start、DS10はAcquisition Point、DS20は、Normal Caseである。
かかる3つのDSが、動画と多重化されているAVClipにおいて、ピクチャデータpt10からの頭出しが矢印am1に示すように行われたものとする。この場合、頭出し位置に最も近いDS10が、図33のフローチャートの対象となる。ステップS27においてcomposition_stateはAcquisition Pointと判定されるが、先行するDSはCoded Data Buffer13上に存在しないため、無視フラグは0に設定され、このDS10が図35の矢印md1に示すように再生装置のCoded Data Buffer13にロードされる。一方、頭出し位置がDS10の存在位置より後である場合(図34の矢印am2)、DS20は、Normal CaseのDisplay Setであり、先行するDS20はCoded Data Buffer13に存在しないので、このDisplay Setは、無視されることになる(図35の矢印md2)。
図36のように通常再生が行われた場合のDS1,10,20のロードは、図36に示すものとなる。3つのDSのうち、PCSのcomposition_stateがEpoch StartであるDS1は、そのままCoded Data Buffer13にロードされるが(ステップS23)、PCSのcomposition_stateがAcquisition PointであるDS10については、無視フラグが1に設定されるため(ステップS29)、これを構成する機能セグメントはCoded Data Buffer13にロードされず無視される(図37の矢印rd2,ステップS24)。またDS20については、PCSのcomposition_stateはNormal Caseなので、Coded Data Buffer13にロードされる(図37の矢印rd3)。
続いてGraphical Controller17の処理手順について説明する。図38〜図40は、Graphical Controller17の処理手順を示すフローチャートである。
ステップS41〜ステップS44は、本フローチャートのメインルーチンであり、ステップS41〜ステップS44に規定した何れかの事象の成立を待つ。
ステップS41は、現在の再生時点がPCSのDTS時刻になっているか否かの判定であり、もしなっていれば、ステップS45〜ステップS53の処理を行う。
ステップS45は、PCSのcomposition_stateが、Epoch_Startであるか否かの判定であり、もしEpoch Startであるなら、ステップS46においてグラフィクスプレーン8を全クリアする。それ以外であるなら、ステップS47においてWDSのwindow_horizontal_position、window_vertival_position、window_width、window_heightに示されるwindowをクリアする。
ステップS48は、ステップS46又はステップS47でのクリア後の実行されるステップであり、任意のODSxのPTS時刻が既に経過しているか否かの判定である。つまり、グラフィクスプレーン8全体のクリアにあたっては、そのクリア時間に長時間を費するので、あるODS(ODSx)のデコードが既に完了していることもある。ステップS48はその可能性を検証している。もし経過していないなら、メインルーチンにリターンする。どれかのODSのデコード時刻を経過しているなら、ステップS49〜ステップS51を実行する。ステップS49は、object_cropped_flagが0を示しているか否かの判定であり、もし0を示しているなら、グラフィクスオブジェクトを非表示とする(ステップS50)。
もし0を示していないなら、object_cropping_horizontal_position、object_cropping_vertival_position、cropping_width、cropping_heightに基づきクロップされたグラフィクスオブジェクトを、グラフィクスプレーン8のwindowにおいて object_horizontal_position,object_vertival_positionに示される位置に書き込む(ステップS51)。以上の処理により、ウィンドゥに1つ以上のグラフィクスオブジェクトが描かれることになる。
ステップS52は、別のODSyのPTS時刻が経過しているか否かの判定である。ODSxをグラフィクスプレーン8に書き込んでいる際、別のODSのデコードが既に完了していれば、このODSyをODSxにして(ステップS53)、ステップS49に移行する。これにより、別のODSに対しても、ステップS49〜S51の処理が繰り返し行われる。
次に図39を参照して、ステップS42、ステップS54〜ステップS59について説明する。
ステップS42は、現在の再生時点がWDSのPTSであるか否かの判定であり、もしWDSのPTSであるなら、ステップS54においてウィンドゥが1つであるか否かを判定し、もし2つであれば、メインルーチンにリターンする。ウィンドゥが1つであるなら、ステップS55〜ステップS59のループ処理を行う。このループ処理は、ウィンドゥに表示される2つのグラフィクスオブジェクトのそれぞれについて、ステップS57〜ステップS59を実行するというものである。ステップS57は、object_cropped_flagが0を示しているか否かの判定であり、もし0を示しているなら、グラフィクスオブジェクトを非表示とする(ステップS58)。
もし0を示していないなら、object_cropping_horizontal_position、object_cropping_vertival_position、cropping_width、cropping_heightに基づきクロップされたグラフィクスオブジェクトを、グラフィクスプレーン8のwindowにおいて object_horizontal_position,object_vertival_positionに示される位置に書き込む(ステップS59)。以上の処理を繰り返せば、ウィンドゥに1つ以上のグラフィクスオブジェクトが描かれることになる。
ステップS44は、現在の再生時点がPCSのPTSに示される時点であるかの判定であり、もしそうであるなら、ステップS60においてPallet_update_flagが1を示しているか否かを判定する。もし1を示しているなら、pallet_idに示されるPDSをCLUT部に設定する(ステップS61)。0を示しているなら、ステップS61をスキップする。
その後、グラフィクスプレーン8におけるグラフィクスオブジェクトの色変換をCLUT部に行わせて、動画像と合成する(ステップS62)。
次に図40を参照して、ステップS43、ステップS64〜ステップS66について説明する。
ステップS43は、現在の再生時点がODSのPTSであるか否かの判定であり、もしODSのPTSであるなら、ステップS63においてウィンドゥが2つであるか否かを判定する。もし1つであれば、メインルーチンにリターンする。
ステップS43及びステップS63の判定は以下の意味をもつ。つまりウィンドゥが2つある場合、それぞれのウィンドゥには、1つずつグラフィクスオブジェクトが表示される。そうすると、それぞれのODSのデコードが完了する度に、デコードにより得られたグラフィクスオブジェクトを、グラフィックスプレーンに書き込んでゆく処理が必要になる(例:図19(b)のケース)。そこで現在時点がODSのPTSに示される時点であり、ウィンドゥが2つであるなら、個々のグラフィクスオブジェクトをグラフィックスプレーンに書き込むべく、ステップS64〜ステップS66を実行する。ステップS64は、object_cropped_flagが0を示しているか否かの判定であり、もし示しているなら、グラフィクスオブジェクトを非表示とする(ステップS65)。
もし0を示していないなら、object_cropping_horizontal_position、object_cropping_vertival_position、cropping_width、cropping_heightに基づきクロップされたグラフィクスオブジェクトを、グラフィクスプレーン8のwindowにおいて object_horizontal_position,object_vertival_positionに示される位置に書き込む(ステップS66)。以上の処理を繰り返せば、各ウィンドゥにグラフィクスオブジェクトが描かれることになる。
(第2実施形態)
本実施形態は、BD-ROMの製造工程に関する実施形態である。図41は、第1実施形態に示したPCSを作成するための製造工程を示す図である。
BD-ROMの制作工程は、動画収録、音声収録等の素材作成を行う素材制作工程S201、オーサリング装置を用いて、アプリケーションフォーマットを生成するオーサリング工程S202、BD-ROMの原盤を作成し、プレス・貼り合わせを行って、BD-ROMを完成させるプレス工程S203を含む。
これらの工程のうち、BD-ROMを対象としたオーサリング工程は、以下のステップS204〜ステップS210を含む。
ステップS204において制御情報、ウィンドゥ定義情報、パレット定義情報、グラフィクスを記述し、ステップS205では、制御情報、ウィンドゥ定義情報、パレット定義情報、グラフィクスを機能セグメントに変換する。そしてステップS206において同期したいピクチャが出現するタイミングに基づき、PCSのPTSを設定し、ステップS207では、PTS[PCS]の値に基づき、DTS[ODS],PTS[ODS]を設定する。ステップS208において、DTS[ODS]の値に基づき、DTS[PCS],PTS[PDS],DTS[WDS],PTS[WDS]を設定し、ステップS209では、プレーヤモデルにおける各バッファの占有量の時間的遷移をグラフ化する。ステップS210では、グラフ化された時間的遷移がプレーヤモデルの制約を満たすか否かを判定し、もし満たさないなら、ステップS211において各機能セグメントのDTS、PTSを書き換える。もし満たすならステップS212においてグラフィクスストリームを生成し、ステップS213においてグラフィクスストリームを別途生成されたビデオストリーム、オーディオストリームと多重してAVClipを得る。以降、AVClipをBD-ROMのフォーマットに適合させることにより、アプリケーションフォーマットが完成する。
(備考)
以上の説明は、本発明の全ての実施行為の形態を示している訳ではない。下記(A)(B)(C)(D)・・・・・の変更を施した実施行為の形態によっても、本発明の実施は可能となる。本願の請求項に係る各発明は、以上に記載した複数の実施形態及びそれらの変形形態を拡張した記載、ないし、一般化した記載としている。拡張ないし一般化の程度は、本発明の[技術分野]の、出願当時の技術水準の特性に基づく。
(A)全ての実施形態では、本発明に係る記録媒体をBD-ROMとして実施したが、本発明の記録媒体は、記録されるグラフィクスストリームに特徴があり、この特徴は、BD-ROMの物理的性質に依存するものではない。グラフィクスストリームを記録しうる記録媒体なら、どのような記録媒体であってもよい。例えば、DVD-ROM,DVD-RAM,DVD-RW,DVD-R,DVD+RW,DVD+R,CD-R,CD-RW等の光ディスク、PD,MO等の光磁気ディスクであってもよい。また、コンパクトフラッシュ(登録商標)カード、スマートメディア、メモリスティック、マルチメディアカード、PCM-CIAカード等の半導体メモリカードであってもよい。フレシキブルディスク、SuperDisk,Zip,Clik!等の磁気記録ディスク(i)、ORB,Jaz,SparQ,SyJet,EZFley,マイクロドライブ等のリムーバルハードディスクドライブ(ii)であってもよい。更に、機器内蔵型のハードディスクであってもよい。
(B)全ての実施形態における再生装置は、BD-ROMに記録されたAVClipをデコードした上でTVに出力していたが、再生装置をBD-ROMドライブのみとし、これ以外の構成要素をTVに具備させてもい、この場合、再生装置と、TVとをIEEE1394で接続されたホームネットワークに組み入れることができる。また、実施形態における再生装置は、テレビと接続して利用されるタイプであったが、ディスプレィと一体型となった再生装置であってもよい。更に、各実施形態の再生装置において、処理の本質的部分をなすシステムLSI(集積回路)のみを、実施としてもよい。これらの再生装置及び集積回路は、何れも本願明細書に記載された発明であるから、これらの何れの態様であろうとも、第1実施形態に示した再生装置の内部構成を元に、再生装置を製造する行為は、本願の明細書に記載された発明の実施行為になる。第1実施形態に示した再生装置の有償・無償による譲渡(有償の場合は販売、無償の場合は贈与になる)、貸与、輸入する行為も、本発明の実施行為である。店頭展示、カタログ勧誘、パンフレット配布により、これらの譲渡や貸渡を、一般ユーザに申し出る行為も本再生装置の実施行為である。
(C)各フローチャートに示したプログラムによる情報処理は、ハードウェア資源を用いて具体的に実現されていることから、上記フローチャートに処理手順を示したプログラムは、単体で発明として成立する。全ての実施形態は、再生装置に組み込まれた態様で、本発明に係るプログラムの実施行為についての実施形態を示したが、再生装置から分離して、第1実施形態に示したプログラム単体を実施してもよい。プログラム単体の実施行為には、これらのプログラムを生産する行為(1)や、有償・無償によりプログラムを譲渡する行為(2)、貸与する行為(3)、輸入する行為(4)、双方向の電子通信回線を介して公衆に提供する行為(5)、店頭、カタログ勧誘、パンフレット配布により、プログラムの譲渡や貸渡を、一般ユーザに申し出る行為(6)がある。
(D)各フロ−チャ−トにおいて時系列に実行される各ステップの「時」の要素を、発明を特定するための必須の事項と考える。そうすると、これらのフロ−チャ−トによる処理手順は、再生方法の使用形態を開示していることがわかる。各ステップの処理を、時系列に行うことで、本発明の本来の目的を達成し、作用及び効果を奏するよう、これらのフロ−チャ−トの処理を行うのであれば、本発明に係る記録方法の実施行為に該当することはいうまでもない。
(E)BD-ROMに記録するにあたって、AVClipを構成する各TSパケットには、拡張ヘッダを付与しておくことが望ましい。拡張ヘッダは、TP_extra_headerと呼ばれ、『Arribval_Time_Stamp』と、『copy_permission_indicator』とを含み4バイトのデータ長を有する。TP_extra_header付きTSパケット(以下EX付きTSパケットと略す)は、32個毎にグループ化されて、3つのセクタに書き込まれる。32個のEX付きTSパケットからなるグループは、6144バイト(=32×192)であり、これは3個のセクタサイズ6144バイト(=2048×3)と一致する。3個のセクタに収められた32個のEX付きTSパケットを”Aligned Unit”という。
IEEE1394を介して接続されたホームネットワークでの利用時において、再生装置は、以下のような送信処理にてAligned Unitの送信を行う。つまり送り手側の機器は、Aligned Unitに含まれる32個のEX付きTSパケットのそれぞれからTP_extra_headerを取り外し、TSパケット本体をDTCP規格に基づき暗号化して出力する。TSパケットの出力にあたっては、TSパケット間の随所に、isochronousパケットを挿入する。この挿入箇所は、TP_extra_headerのArribval_Time_Stampに示される時刻に基づいた位置である。TSパケットの出力に伴い、再生装置はDTCP_Descriptorを出力する。DTCP_Descriptorは、TP_extra_headerにおけるコピー許否設定を示す。ここで「コピー禁止」を示すようDTCP_Descriptorを記述しておけば、IEEE1394を介して接続されたホームネットワークでの利用時においてTSパケットは、他の機器に記録されることはない。

(F)各実施形態におけるデジタルストリームは、BD-ROM規格のAVClipであったが、DVD-Video規格、DVD-Video Recording規格のVOB(Video Object)であってもよい。VOBは、ビデオストリーム、オーディオストリームを多重化することにより得られたISO/IEC13818-1規格準拠のプログラムストリームである。またAVClipにおけるビデオストリームは、MPEG4やWMV方式であってもよい。更にオーディオストリームは、Linear-PCM方式、Dolby-AC3方式、MP3方式、MPEG-AAC方式、dts方式であってもよい。
(G)各実施形態における映画作品は、アナログ放送で放送されたアナログ映像信号をエンコードすることにより得られたものでもよい。デジタル放送で放送されたトランスポートストリームから構成されるストリームデータであってもよい。
またビデオテープに記録されているアナログ/デジタルの映像信号をエンコードしてコンテンツを得ても良い。更にビデオカメラから直接取り込んだアナログ/デジタルの映像信号をエンコードしてコンテンツを得ても良い。他にも、配信サーバにより配信されるデジタル著作物でもよい。
(H)第1実施形態〜第2実施形態に示したグラフィックスオブジェクトは、ランレングス符号化されたラスタデータである。グラフィックスオブジェクトの圧縮・符号化方式にランレングス符号方式を採用したのは、ランレングス符号化は字幕の圧縮・伸長に最も適しているためである。字幕には、同じ画素値の水平方向の連続長が比較的長くなるという特性があり、ランレングス符号化による圧縮を行えば、高い圧縮率を得ることができる。また伸長のための負荷も軽く、復号処理のソフトウェア化に向いているからである。しかし、グラフィックスオブジェクトにランレングス符号化方式を採用したというのは、本発明の必須事項ではなく、グラフィックスオブジェクトはPNGデータであってもよい。またラスタデータではなくベクタデータであってもよい、更に透明な絵柄であってもよい。
(I)PCSによる表示効果の対象は、装置側の言語設定に応じて選ばれた字幕のグラフィクスであってもよい。これにより、現状のDVDにおいて動画像本体で表現していたような文字を用いた表示効果を、装置側の言語設定に応じて表示された字幕グラフィクスで実現することができるので、実用上の価値は大きい。
またPCSによる表示効果の対象は、装置側のディスプレィ設定に応じて選ばれた字幕グラフィクスであってもよい。つまり、ワイドビジョン、パンスキャン、レターボックス用といった様々な表示モード用のグラフィクスがBD-ROMに記録されており、装置側は自身に接続されたテレビの設定に応じてこれらの何れかを選んで表示する。この場合、そうして表示された字幕グラフィクスに対し、PCSに基づく表示効果をほどこすので、見栄えがよくなる。これにより、動画像本体で表現していたような文字を用いた表示効果を、装置側のディスプレィ設定に応じて表示された字幕で実現することができるので、実用上の価値は大きい。
(J)第1実施形態ではグラフィックスプレーンへの書込レートRcは、1ビデオフレーム内にグラフィックスプレーンクリア及び再描画が可能になるよう、windowのサイズを全体の25%に定めたが、これらクリア・再描画が垂直帰線期間に完遂するよう、Rcを定めても良い。垂直帰線期間は1/29.93秒の25%と仮定すると、Rcは1Gbpsになる。Rcをこのように設定することでグラフィクス表示はスムーズになされるので、実用上の効果は大きい。
また垂直帰線期間での書き込みに加え、ラインスキャンに同期した書き込みを併用してもよい。これにより、Rc=256Mbpsの書込レートであっても、スムーズな表示の実現が可能になる。
(K)各実施形態において再生装置には、グラフィックスプレーンを実装したが、このグラフィックスプレーンに代えて、一ライン分の非圧縮画素を格納するラインバッファを具備してもよい。映像信号への変換は水平行(ライン)毎に行われるので、このラインバッファさえ具備していれば、この映像信号への変換は行なえるからである。
(L)グラフィクスたる字幕は、映画の台詞を表す文字列であるとして説明を進めたが、動画と緻密に同期して表示されるものであればなんであってもよい。例えばイラストや絵柄、キャラクタ、シンボルマークを描いたものであってもよい。商標を構成するような図形,文字,色彩の組合せや、国の紋章,旗章,記章,国家が採用する監督/証明用の公の記号・印章、政府間国際機関の紋章,旗章,記章,特定商品の原産地表示を含んでいてもよい。
(M)第1実施形態では、字幕を画面の上側、下側に横書きで表示するものとして、ウィンドゥをグラフィックスプレーンの上側、下側に定義したが、字幕を画面の右側、左側に表示するものとして、ウィンドゥをグラフィックスプレーンの右側、左側に定義してもよい。こうすることにより、日本語字幕を縦書きで表示することができる。
(O)グラフィクスデコーダ12が、DSn及びDSn+1に対する処理をパイプライン式に行うのは、DSn及びDSn+1が、グラフィクスストリームにおける同じEpochに帰属している場合であり、前記DSn及びDSn+1が、互いに異なるEpochに属している場合、DSnにおけるグラフィクス表示を開始した後に、DSn+1に対する処理を開始する。
またグラフィクスストリームには、動画との同期を主たる目的としたプレゼンテーション系のものと、対話的な表示を主目的としたインタラクティブ系のものとがあり、前記グラフィクスデコーダは、グラフィクスストリームがプレゼンテーション系である場合に、2つのDSに対するパイプライン式を行い、グラフィクスストリームがインタラクティブ系である場合、2つのDSに対するパイプライン式を行わない。
(P)Display Set内にグラフィクスデータを配列させるにあたって、図20では、同じDisplay Set内のPCSにより参照されるグラフィクスデータを、参照されないグラフィクスデータの前に配列したが、複数の参照グラフィクスデータ、及び、複数の非参照グラフィクスデータを、それぞれ、object_idにより指示される識別番号順に配列してもよい。また複数の参照グラフィクスデータは、スキャンライン順に配列してもよい。スキャンラインとは、ディスプレイでの表示時において、走査される順番を表す。通常ディスプレイにおける走査は、左上→右下方向に向けてなされるから、表示座標が左上にあるグラフィクスデータを前に、表示座標が右下にあるグラフィクスデータを後に配置するのである。こうすることで、グラフィクスデータ表示の迅速化を図ることができる。
上述した変更実施は可能であるものの、請求項に係る各発明は、従来技術の技術的課題を解決するための手段を反映したものであるから、請求項に係る各発明の技術範囲は、従来技術の技術的課題解決が当業者により認識される技術範囲を超えることはない。故に、本願の請求項に係る各発明は、詳細説明の記載と、実質的な対応関係を有する。
本発明に係るシステムLSIは、上記実施形態に内部構成が開示されており、この内部構成に基づき工業的に量産することが可能なので、資質において工業上用することができる。このことから本発明に係るシステムLSIは、産業上利用可能性を有する。
本発明に係る記録媒体の、使用行為についての形態を示す図である。 BD-ROMの構成を示す図である。 AVClipがどのように構成されているかを模式的に示す図である。 (a)プレゼンテーショングラフィクスストリームの構成を示す図である。 (b)機能セグメントを変換することで得られるPESパケットを示す図である。 様々な種別の機能セグメントにて構成される論理構造を示す図である。 字幕の表示位置と、Epochとの関係を示す図である。 (a)ODSによるグラフィクスオブジェクトの定義を示す図である。 (b)PDSのデータ構造を示す図である。 (a)WDSのデータ構造を示す図である。 (b)PCSのデータ構造を示す図である。 字幕表示を実現するためのDisplay Setの記述例である。 DS1におけるWDS、PCSの記述例を示す図である。 DS2におけるPCSの記述例を示す図である。 DS3におけるPCSの記述例を示す図である。 図10〜図12に示すようなグラフィクスアップデートを実現するにあたっての、オブジェクトバッファにおけるメモリ空間を示す図である。 decode_durationの計算アルゴリズムの一例を示す図である。 図14のプログラムのアルゴリズムを図式化したフローチャートである。 (a)(b)図14のプログラムのアルゴリズムを図式化したフローチャートである。 (a)1つのwindowに1つのODSが存在するケースを想定した図である。 (b)(c)図14で引用した各数値の時間的な前後関係を示すタイミングチャートである。 (a)1つのwindowに2つのODSが存在するケースを想定した図である。 (b)(c)図14で引用した各数値の時間的な前後関係を示すタイミングチャートである。 (a)2つのwindowのそれぞれに、ODSが1つずつ存在するケースを想定したタイミングチャートである。 (b)デコード期間(2)がクリア期間(1)+書込期間(31)より長くなるケースを示すタイミングチャートである。 (c)クリア期間(1)+書込期間(31)がデコード期間(2)より長くなるケースを示すタイミングチャートである。 前方参照を行うPCSを描いた図である。 (a)DS1〜DS8に含まれるPCSの内容と、PTS値とを示す図である。 (b)グラフィクスが画面内を動き回るという表示効果を実現するEpochを示す図である。 (a)DS0内のODSを示す図である。 (b)座標(x1,y1)(x2,y2)(x3,y3)・・・(x8,y8)が、ウィンドゥの座標系のどこに存在するかを示す図である。 各Display Setに属する各機能セグメントのタイムスタンプに対する設定を示す図である。 アップデートの、時間的変遷の具体例を示す図である。 Pallet Only Updateを実現する一連のDisplay Setを示す図である。 (a)DS0内のPDS及び各Display SetのPCSがどのような内容であるかを示す図である。 (b)DS0〜DS3内のPCSを示す図である。 4つのDisplay Setが読み込ませることで実現される、表示効果を現した図である。 本発明に係る再生装置の内部構成を示す図である。 書込レートRx,Rc,Rd、グラフィクスプレーン8、Coded Data Buffer13、Object Buffer15、Composition Buffer16のサイズを示す図である。 再生装置によるパイプライン処理を示すタイミングチャートである。 ODSのデコードが、グラフィックスプレーンのクリアより早く終わる場合を想定したパイプライン処理を示すタイミングチャートである。 Compositionバッファ16、Object Buffer15、Coded Dataバッファ13、グラフィクスプレーン8における蓄積量の時間的遷移を示すタイミングチャートである。 機能セグメントのロード処理の処理手順を示すフローチャートである。 スキップ操作がなされる一例を示す図である。 図34においてスキップ操作がなされた際、DS10が再生装置のCoded Data Buffer13にロードされる様子を示す図である。 通常再生が行われる場合を示す図である。 図36のように通常再生が行われた場合のDS1,10,20のロードを示す図である。 Graphical Controller17の処理手順を示すフローチャートである。 Graphical Controller17の処理手順を示すフローチャートである。 Graphical Controller17の処理手順を示すフローチャートである。 第1実施形態に示したPCSが記録されたBD-ROMを製造するための製造工程を示す図である。
符号の説明
1 BDドライブ1、
2 Read Buffer
3 PIDフィルタ
4a,b,c Transport Buffer
4d 周辺回路
5 ビデオデコーダ
6 ビデオプレーン
7 オーディオデコーダ
8 グラフィクスプレーン
9 CLUT部
10 加算器
12 グラフィクスデコーダ
13 Coded Data Buffer
13a 周辺回路
14 Stream Graphics Processor
15 Object Buffer
16 Composition Buffer
17 Graphical Controller
100 BD-ROM
200 再生装置
300 テレビ
400 リモコン

Claims (1)

  1. ビデオストリーム、グラフィクスストリームが多重化されたデジタルストリームを再生するシステムLSIであって、
    ビデオストリームをデコードして動画像を得るビデオデコーダと、
    グラフィクスデコーダとを備え、
    グラフィクスストリームは、パケットの配列から構成され、前記デジタルストリームは、グラフィクスストリームを構成する複数のパケットと、ビデオストリームを構成する複数のパケットとを多重化することで得られるものであり、
    グラフィクスストリームを構成する各パケットには、グラフィクスデータを格納したものと、制御データを格納したものとがあり、パケット配列は、制御データを格納したパケットと、グラフィクスデータを格納したパケットとの組みを含み、当該組みの後ろには、前方参照を行う制御データを格納したパケットが配置されており、
    前記前方参照を行う制御データは、自身より前方に存在するパケットの組みにおけるグラフィクスデータに対応するグラフィクスビデオストリームに対応する動画像と合成して表示する旨を示し、
    グラフィクスデコーダは、
    オブジェクトバッファと、
    前記組みに含まれるグラフィクスデータをデコードして、オブジェクトバッファにグラフィクスを得るプロセッサと、
    前記組みに含まれる制御データに基づいて、オブジェクトバッファ上に得られたグラフィクスを、プレーンメモリにおける部分領域に書き込むことにより、グラフィクス表示を実行するコントローラとを備え、
    前記プレーンメモリは、動画像との合成のために、再生装置に設けられた合成用メモリであり、
    前記コントローラは、前方参照を行う制御データが記録媒体からグラフィクスデコーダに読み込まれれば、前記オブジェクトバッファ上に得られたグラフィクスを、当該前方参照を行う制御データに基づいて部分領域に再度書き込むことで、グラフィクス表示の更新を行う
    ことを特徴とするシステムLSI。
JP2006242573A 2003-06-30 2006-09-07 システムlsi Expired - Fee Related JP4199792B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US48322803P 2003-06-30 2003-06-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005511149A Division JP4160978B2 (ja) 2003-06-30 2004-06-29 記録媒体再生システム、再生装置、記録方法、プログラム、再生方法

Publications (2)

Publication Number Publication Date
JP2007080487A JP2007080487A (ja) 2007-03-29
JP4199792B2 true JP4199792B2 (ja) 2008-12-17

Family

ID=33552045

Family Applications (12)

Application Number Title Priority Date Filing Date
JP2005511148A Active JP4208880B2 (ja) 2003-06-30 2004-06-29 記録媒体再生システム、再生装置、記録方法、プログラム、再生方法
JP2005511149A Active JP4160978B2 (ja) 2003-06-30 2004-06-29 記録媒体再生システム、再生装置、記録方法、プログラム、再生方法
JP2006242571A Expired - Fee Related JP4027401B2 (ja) 2003-06-30 2006-09-07 記録方法
JP2006242570A Expired - Fee Related JP4199791B2 (ja) 2003-06-30 2006-09-07 システムlsi
JP2006242569A Active JP4077856B2 (ja) 2003-06-30 2006-09-07 再生装置、記録方法、再生プログラム、再生方法
JP2006242572A Active JP4027402B2 (ja) 2003-06-30 2006-09-07 再生装置、記録方法、再生プログラム、再生方法。
JP2006242568A Active JP4027400B2 (ja) 2003-06-30 2006-09-07 再生装置、記録方法、プログラム、再生方法
JP2006242573A Expired - Fee Related JP4199792B2 (ja) 2003-06-30 2006-09-07 システムlsi
JP2007170270A Expired - Fee Related JP4388970B2 (ja) 2003-06-30 2007-06-28 再生システム
JP2007170269A Expired - Fee Related JP4332186B2 (ja) 2003-06-30 2007-06-28 記録媒体、再生装置、記録方法、再生方法
JP2007196073A Expired - Fee Related JP4388972B2 (ja) 2003-06-30 2007-07-27 再生装置
JP2007196074A Expired - Fee Related JP4332187B2 (ja) 2003-06-30 2007-07-27 再生装置、再生方法、再生システム、再生プログラム

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2005511148A Active JP4208880B2 (ja) 2003-06-30 2004-06-29 記録媒体再生システム、再生装置、記録方法、プログラム、再生方法
JP2005511149A Active JP4160978B2 (ja) 2003-06-30 2004-06-29 記録媒体再生システム、再生装置、記録方法、プログラム、再生方法
JP2006242571A Expired - Fee Related JP4027401B2 (ja) 2003-06-30 2006-09-07 記録方法
JP2006242570A Expired - Fee Related JP4199791B2 (ja) 2003-06-30 2006-09-07 システムlsi
JP2006242569A Active JP4077856B2 (ja) 2003-06-30 2006-09-07 再生装置、記録方法、再生プログラム、再生方法
JP2006242572A Active JP4027402B2 (ja) 2003-06-30 2006-09-07 再生装置、記録方法、再生プログラム、再生方法。
JP2006242568A Active JP4027400B2 (ja) 2003-06-30 2006-09-07 再生装置、記録方法、プログラム、再生方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2007170270A Expired - Fee Related JP4388970B2 (ja) 2003-06-30 2007-06-28 再生システム
JP2007170269A Expired - Fee Related JP4332186B2 (ja) 2003-06-30 2007-06-28 記録媒体、再生装置、記録方法、再生方法
JP2007196073A Expired - Fee Related JP4388972B2 (ja) 2003-06-30 2007-07-27 再生装置
JP2007196074A Expired - Fee Related JP4332187B2 (ja) 2003-06-30 2007-07-27 再生装置、再生方法、再生システム、再生プログラム

Country Status (10)

Country Link
US (9) US7716584B2 (ja)
EP (4) EP2068564B1 (ja)
JP (12) JP4208880B2 (ja)
KR (6) KR100967737B1 (ja)
CN (8) CN100576898C (ja)
CA (3) CA2659714C (ja)
DE (5) DE602004022945D1 (ja)
ES (4) ES2354139T3 (ja)
TW (6) TW200514442A (ja)
WO (2) WO2005002220A1 (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100448452B1 (ko) * 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
AU2003260974B8 (en) * 2002-09-07 2010-06-03 Lg Electronics Inc. Recording medium having data structure for managing reproduction of still images from a clip file recorded thereon and recording and reproducing methods and apparatuses
CN101106729B (zh) 2002-10-02 2012-12-19 Lg电子株式会社 用于控制图形数据再现的数据结构的记录和再现方法及装置
EP1547080B1 (en) 2002-10-04 2012-01-25 LG Electronics, Inc. Recording medium having a data structure for managing reproduction of graphic data and recording and reproducing methods and apparatuses
JP4558498B2 (ja) * 2002-11-20 2010-10-06 エルジー エレクトロニクス インコーポレイティド 記録されたスチールイメージの再生を管理するためのデータ構造を有する記録媒体、それによる記録及び再生方法及び装置
JP4165895B2 (ja) * 2003-01-20 2008-10-15 エルジー エレクトロニクス インコーポレーテッド 記録された静止映像の再生を管理するためのデータ構造を有する記録媒体、それによる記録と再生の方法及び装置
US8145033B2 (en) * 2003-02-05 2012-03-27 Lg Electronics Inc. Recording medium having data structure for managing reproducton duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
US7734154B2 (en) * 2003-02-14 2010-06-08 Lg Electronics Inc. Recording medium having data structure for managing reproduction duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
RU2388073C2 (ru) * 2003-04-29 2010-04-27 Эл Джи Электроникс Инк. Носитель записи со структурой данных для управления воспроизведением графических данных и способы и устройства записи и воспроизведения
US7616865B2 (en) 2003-04-30 2009-11-10 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of subtitle data and methods and apparatuses of recording and reproducing
KR100967737B1 (ko) * 2003-06-30 2010-07-05 파나소닉 주식회사 기록매체, 재생장치, 기록방법, 재생방법
KR20050005074A (ko) 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20050004339A (ko) * 2003-07-02 2005-01-12 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR100882077B1 (ko) * 2003-07-11 2009-02-10 파나소닉 주식회사 디스플레이 세트의 병렬처리를 수행할 수 있는 재생장치, 기록매체, 기록방법, 재생방법, 및 컴퓨터 판독가능한 기록매체
US7366405B2 (en) * 2003-07-11 2008-04-29 Matsushita Electric Industrial Co., Ltd. Recording medium, recording method, reproduction apparatus and method, and computer-readable program
BRPI0412839A (pt) 2003-07-24 2006-09-26 Lg Electronics Inc mìdia de gravação que tem uma estrutura de dados para gerenciar reprodução de dados de subtìtulo de texto gravado nela e métodos e aparelhos de gravação e reprodução
KR20050012328A (ko) * 2003-07-25 2005-02-02 엘지전자 주식회사 고밀도 광디스크의 프레젠테이션 그래픽 데이터 관리 및재생방법과 그에 따른 고밀도 광디스크
JP5049591B2 (ja) * 2003-07-31 2012-10-17 サムスン エレクトロニクス カンパニー リミテッド グラフィックデータを含む情報記録媒体
KR100739676B1 (ko) 2003-07-31 2007-07-13 삼성전자주식회사 그래픽 데이터를 포함하는 정보저장매체, 그 처리장치 및처리방법
KR100611970B1 (ko) 2003-08-16 2006-08-11 삼성전자주식회사 인터렉티브 그래픽 스트림을 기록한 정보저장매체 및 그 재생장치
KR20050035678A (ko) * 2003-10-14 2005-04-19 엘지전자 주식회사 광디스크 장치의 부가 데이터 재생방법 및 장치와, 이를위한 광디스크
KR20050036277A (ko) * 2003-10-15 2005-04-20 엘지전자 주식회사 고밀도 광디스크의 네비게이션 정보 관리방법
KR20050064150A (ko) 2003-12-23 2005-06-29 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
US8190003B2 (en) * 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
KR100561417B1 (ko) 2004-02-09 2006-03-16 삼성전자주식회사 Av 데이터의 재생상태를 전환할 수 있는 인터랙티브그래픽 스트림을 기록한 정보저장매체, 그 재생방법 및 장치
WO2005074393A2 (en) * 2004-02-10 2005-08-18 Lg Electronics Inc. Recording medium having a data structure for managing various data streams and recording and reoroducing methods and apparatuses
KR20050089353A (ko) * 2004-03-04 2005-09-08 엘지전자 주식회사 고밀도 광디스크와 그에 따른 데이터 파일 구성 방법 및재생 방법과 장치
KR20060043284A (ko) * 2004-03-08 2006-05-15 엘지전자 주식회사 기록매체의 텍스트 서브타이틀 스트림 재생방법과 재생장치
DE602005018462D1 (de) * 2004-03-18 2010-02-04 Lg Electronics Inc Aufzeichungsmedium und verfahren und vorrichtung zur wiedergabe eines auf dem aufzeichnungsmedium aufgezeichneten textuntertitelstroms
ATE450041T1 (de) * 2004-03-26 2009-12-15 Lg Electronics Inc Aufzeichnungsmedium und verfahren und vorrichtung zum wiedergeben eines auf dem aufzeichnungsmedium aufgezeichneten textuntertitelstroms
JP4673885B2 (ja) 2004-03-26 2011-04-20 エルジー エレクトロニクス インコーポレイティド 記録媒体及びテキストサブタイトルストリームの再生方法及びその装置
CN101114505B (zh) * 2004-06-18 2010-06-02 松下电器产业株式会社 再现装置、再现方法
US8233779B2 (en) 2004-07-09 2012-07-31 Panasonic Corporation Recording medium, recording method, reproduction apparatus and method, and computer-readable program
US7725010B2 (en) 2004-08-17 2010-05-25 Lg Electronics, Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7609939B2 (en) 2004-08-17 2009-10-27 Lg Electronics Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7609945B2 (en) 2004-08-17 2009-10-27 Lg Electronics Inc. Recording medium, and method and apparatus for reproducing data from the recording medium
US7613384B2 (en) 2004-08-17 2009-11-03 Lg Electronics Inc. Method for configuring composite file structure for data reproduction, and method and apparatus for reproducing data using the composite file structure
US7599611B2 (en) 2004-09-13 2009-10-06 Lg Electronics Co. Recording medium, and method and apparatus of reproducing data recorded on the same
US20060056804A1 (en) * 2004-09-13 2006-03-16 Seo Kang S Recording medium, and method and apparatus for reproducing data from the recording medium
KR20060047549A (ko) 2004-10-12 2006-05-18 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
KR20060065476A (ko) 2004-12-10 2006-06-14 엘지전자 주식회사 기록매체, 기록매체 내의 콘텐츠 서치방법 및 기록매체재생방법과 재생장치
US20090290710A1 (en) * 2004-12-20 2009-11-26 Koninklijke Philips Electronics, N.V. Unlocking a protected portable storage medium
KR20060081323A (ko) 2005-01-07 2006-07-12 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
JP5160407B2 (ja) * 2005-03-10 2013-03-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 仮想オブジェクトを表示する方法および装置
TWI393124B (zh) * 2005-04-07 2013-04-11 Panasonic Corp A recording medium, a reproducing apparatus, a recording method, and a reproducing method
KR20070052642A (ko) * 2005-11-17 2007-05-22 엘지전자 주식회사 데이터 재생방법 및 재생장치와 데이터 전송방법
US20070006062A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US8020084B2 (en) * 2005-07-01 2011-09-13 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US8799757B2 (en) 2005-07-01 2014-08-05 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US8656268B2 (en) 2005-07-01 2014-02-18 Microsoft Corporation Queueing events in an interactive media environment
US7721308B2 (en) 2005-07-01 2010-05-18 Microsoft Corproation Synchronization aspects of interactive multimedia presentation management
US8305398B2 (en) 2005-07-01 2012-11-06 Microsoft Corporation Rendering and compositing multiple applications in an interactive media environment
US7500175B2 (en) * 2005-07-01 2009-03-03 Microsoft Corporation Aspects of media content rendering
US20070258696A1 (en) * 2006-04-04 2007-11-08 Branson Michael J Digital video recorder (DVR) filtering of on-screen graphics
JP4591405B2 (ja) * 2006-05-10 2010-12-01 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
JP5001584B2 (ja) 2006-06-06 2012-08-15 ソニー株式会社 オーサリング装置、オーサリング方法、オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法
TWM304101U (en) * 2006-06-14 2007-01-01 Wei-Jing Yang DVD player capable of showing multi-national captions
JP5034424B2 (ja) * 2006-10-11 2012-09-26 ソニー株式会社 再生装置および再生方法
US20080158254A1 (en) * 2006-12-29 2008-07-03 Hong Jiang Using supplementary information of bounding boxes in multi-layer video composition
US20090086095A1 (en) * 2007-09-28 2009-04-02 Gateway Inc. Method and apparatus for overlaying encoded streams
JP5697989B2 (ja) * 2007-12-26 2015-04-08 コーニンクレッカ フィリップス エヌ ヴェ グラフィックスオブジェクトを重ね合わせるための画像プロセッサ
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
RU2496157C2 (ru) 2008-09-30 2013-10-20 Панасоник Корпорэйшн Носитель записи, на котором записано 3d видео, устройство воспроизведения для воспроизведения 3d видео и большая интегральная схема системы
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
CN101877136A (zh) * 2009-04-30 2010-11-03 国际商业机器公司 处理图形对象的方法、设备及系统
RU2605435C2 (ru) 2011-06-14 2016-12-20 Конинклейке Филипс Н.В. Графическая обработка для видео с расширенным динамическим диапазоном
EP2798843A4 (en) * 2011-12-28 2015-07-29 Intel Corp SYSTEMS AND METHOD FOR INTEGRATED METADATA INSERT IN A VIDEO CODING SYSTEM
KR20140031758A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 포인팅 디바이스를 이용하여 aⅴ 데이터의 메뉴를 제어하기 위한 인터랙티브 그래픽 데이터를 기록한 정보저장매체, 그 재생방법 및 장치
KR102059842B1 (ko) 2014-11-14 2020-02-11 엘지전자 주식회사 일반화된 그래프 파라미터를 이용하여 그래프 기반 변환을 수행하는 방법 및 장치
JP6623876B2 (ja) 2016-03-24 2019-12-25 富士通株式会社 描画処理装置、方法、及びプログラム
CN109478412B (zh) * 2016-07-20 2021-07-16 索尼公司 信息处理设备、信息处理方法和程序
CN109218510B (zh) * 2017-07-04 2021-01-01 北京小米移动软件有限公司 息屏显示方法、装置及计算机可读存储介质

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4302775A (en) * 1978-12-15 1981-11-24 Compression Labs, Inc. Digital video compression system and methods utilizing scene adaptive coding with rate buffer feedback
CA2000421A1 (en) 1989-10-11 1991-04-11 Jobst Ulrich Gellert Injection molding insulated valve member
US5880729A (en) * 1994-05-16 1999-03-09 Apple Computer, Inc. Graphical user interfaces having animated control elements
KR970005939B1 (ko) * 1994-09-28 1997-04-22 대우전자 주식회사 모니터의 온스크린 디스플레이 장치
JP3092478B2 (ja) 1995-06-16 2000-09-25 日本電気株式会社 半導体装置の製造方法
KR100224815B1 (ko) * 1995-06-23 1999-10-15 윤종용 데이타 압축 및 신장방법
WO1997007504A1 (fr) 1995-08-21 1997-02-27 Matsushita Electric Industrial Co., Ltd. Disque optique multimedia capable de creer des situations tout a fait inattendues sur la base de l'interactivite, appareil et procede de reproduction de ce disque
JPH0981118A (ja) * 1995-09-11 1997-03-28 Casio Comput Co Ltd 画像制御装置
JPH0988118A (ja) 1995-09-20 1997-03-31 Toho Gas Co Ltd 複数ミキサ式流動化処理装置
JP3338036B2 (ja) 1995-09-29 2002-10-28 松下電器産業株式会社 再生方法、再生装置、記録方法、記録装置、光ディスク
KR100352253B1 (ko) 1995-09-29 2003-01-08 마쯔시다덴기산교 가부시키가이샤 비트스트림을인터리브하여매체에기록재생하는방법및그장치
TW385431B (en) 1995-09-29 2000-03-21 Matsushita Electric Ind Co Ltd A method and an apparatus for encoding a bitstream with plural possible searching reproduction paths information useful in multimedia optical disk
US5838316A (en) * 1996-01-26 1998-11-17 International Business Machines Corporation Method and system for presenting a plurality of animated display objects to a user for selection on a graphical user interface in a data processing system
JP4059355B2 (ja) * 1996-04-04 2008-03-12 パイオニア株式会社 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法
KR100616258B1 (ko) * 1996-05-06 2007-04-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 그래픽이미지와비디오이미지동시표시방법및장치
US5864340A (en) 1996-08-22 1999-01-26 International Business Machines Corporation Mobile client computer programmed to predict input
DE69708042T2 (de) * 1996-08-28 2002-03-14 Matsushita Electric Ind Co Ltd Rundkfunkempfänger, der wahlweise auf navigationsinformationen zugreift, die sich zeitversetzt auf einem datenstrom befinden, und aufzeichnungsmedium, auf dem das dazugehörige verfahren gespeichert ist
US5990972A (en) * 1996-10-22 1999-11-23 Lucent Technologies, Inc. System and method for displaying a video menu
WO1998021722A1 (fr) 1996-11-13 1998-05-22 Matsushita Electric Industrial Co., Ltd. Appareil et procede de generation de train de bits pour memoire a disque d'enregistrement de donnees permettant une reproduction continue de plusieurs pieces de donnees-images et support d'enregistrement sur lequel est enregistre un programme applique a l'appareil de generation
US5892767A (en) * 1997-03-11 1999-04-06 Selsius Systems Inc. Systems and method for multicasting a video stream and communications network employing the same
KR100217179B1 (ko) 1997-03-25 1999-09-01 윤종용 디지털비디오디스크 재생장치에서의 메뉴재생방법
JP4416846B2 (ja) * 1997-08-22 2010-02-17 ソニー株式会社 メニュー制御用データを記録したコンピュータ読み取り可能な記録媒体ならびにメニュー制御方法および装置
US5929857A (en) * 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
US6166735A (en) * 1997-12-03 2000-12-26 International Business Machines Corporation Video story board user interface for selective downloading and displaying of desired portions of remote-stored video data objects
JP3597690B2 (ja) * 1998-01-21 2004-12-08 株式会社東芝 デジタル情報記録再生システム
US6526214B2 (en) 1998-04-13 2003-02-25 Oak Technology, Inc. DVD sub-picture decoder with minimal buffering
EP0982952A3 (en) * 1998-08-28 2000-05-17 Hitachi, Ltd. Moving picture recording/regenerating system
JP2000100073A (ja) * 1998-09-28 2000-04-07 Sony Corp 記録装置および方法、再生装置および方法、記録媒体、並びに提供媒体
TW530267B (en) 1998-12-10 2003-05-01 Ibm Multimedia player for an electronic content delivery system
US6580756B1 (en) 1998-12-11 2003-06-17 Matsushita Electric Industrial Co., Ltd. Data transmission method, data transmission system, data receiving method, and data receiving apparatus
ES2273523T3 (es) * 1998-12-14 2007-05-01 Koninklijke Philips Electronics N.V. Soporte de grabacion y aparato y metodo para reproducir un soporte de grabacion, y metodo de fabricacion de un soporte de grabacion.
EP1035546B1 (en) * 1999-03-09 2001-11-21 Matsushita Electric Industrial Co., Ltd. Apparatus and method for recording the recording medium
US6470140B1 (en) 1999-03-10 2002-10-22 Matsushita Electric Industrial Co., Ltd. Optical disc optical disc recording and reproducing apparatus, and optical disc recording and reproducing method
JP3128220B1 (ja) 1999-03-10 2001-01-29 松下電器産業株式会社 光ディスク、光ディスク記録再生装置および光ディスク記録再生方法
EP1229545B1 (en) * 1999-03-12 2011-08-17 Panasonic Corporation Optical disk, reproduction apparatus, reproduction method, and recording medium
JP2000276834A (ja) 1999-03-19 2000-10-06 Sony Corp 記録装置、再生装置、記録再生システム、及びダビング動作管理方法
EP1228453A4 (en) 1999-10-22 2007-12-19 Activesky Inc AN OBJECT-ORIENTED VIDEO SYSTEM
KR100364755B1 (ko) * 1999-12-20 2002-12-16 엘지전자 주식회사 칩 테스트 장치
KR100383843B1 (ko) * 1999-12-27 2003-05-14 엘지전자 주식회사 외부 연결기기에 대한 영상기기의 메뉴 원격제어방법
US7206344B1 (en) * 2000-01-05 2007-04-17 Genesis Microchip Inc. Method and apparatus for displaying video
US7093005B2 (en) 2000-02-11 2006-08-15 Terraspring, Inc. Graphical editor for defining and creating a computer system
JP2001332006A (ja) 2000-05-17 2001-11-30 Toshiba Corp 背景画像取り込みシステム
EP1287687B1 (en) * 2000-05-22 2005-11-09 Sony Computer Entertainment Inc. Information processing apparatus, graphic processing unit, graphic processing method, storage medium, and computer program
EP1160759A3 (en) * 2000-05-31 2008-11-26 Panasonic Corporation Image output device and image output control method
DE10033110B4 (de) * 2000-07-07 2005-06-16 Siemens Ag Verfahren, und System zur Übertragung digitalisierter Bewegtbilder von einem Sender zu einem Empfänger und zugehöriger Decoder
JP2002044590A (ja) 2000-07-21 2002-02-08 Alpine Electronics Inc Dvdビデオ再生装置
US20060064716A1 (en) 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
JP5039911B2 (ja) * 2000-10-11 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
JP2002278996A (ja) * 2001-03-22 2002-09-27 Sony Corp 記録装置および記録方法、並びに記録媒体
US7177412B2 (en) * 2001-09-24 2007-02-13 Berlyoung Danny L Multi-media communication management system with multicast messaging capabilities
US7054423B2 (en) * 2001-09-24 2006-05-30 Nebiker Robert M Multi-media communication downloading
US7233655B2 (en) * 2001-10-03 2007-06-19 Accenture Global Services Gmbh Multi-modal callback
US7187852B1 (en) * 2001-10-24 2007-03-06 Apple Computer, Inc. Method and apparatus for on-the-fly DVD encoding
CN1381838A (zh) * 2002-03-08 2002-11-27 北京阜国数字技术有限公司 Evd盘、evd盘记录机和方法、以及evd盘播放机和方法
JP2004098193A (ja) * 2002-09-06 2004-04-02 Nachi Fujikoshi Corp フィルムラップ加工方法及び装置。
EP1547080B1 (en) * 2002-10-04 2012-01-25 LG Electronics, Inc. Recording medium having a data structure for managing reproduction of graphic data and recording and reproducing methods and apparatuses
CN100466713C (zh) * 2002-11-28 2009-03-04 索尼株式会社 再现装置和再现方法
ES2343065T3 (es) * 2003-01-31 2010-07-22 Panasonic Corporation Medio de registro, dispositivo de reproduccion, procedimiento de registro, programa y procedimiento de reproduccion para un flujo de datos graficos especificando botones interactivos.
EP1463052A1 (en) * 2003-03-25 2004-09-29 Deutsche Thomson-Brandt Gmbh Method for representing animated menu buttons
CA2523597C (en) * 2003-04-28 2011-09-27 Matsushita Electric Industrial Co., Ltd. Recording medium, reproduction apparatus, recording method, reproducing method, program, and integrated circuit
JP4177705B2 (ja) * 2003-05-13 2008-11-05 株式会社東芝 情報記憶媒体、情報再生装置、情報再生方法
KR100967737B1 (ko) * 2003-06-30 2010-07-05 파나소닉 주식회사 기록매체, 재생장치, 기록방법, 재생방법
ES2356582T3 (es) * 2003-07-03 2011-04-11 Panasonic Corporation Medio de grabación, aparato de reproducción, método de grabación, circuito integrado, programa y método de reproducción.
KR101129121B1 (ko) * 2003-11-12 2012-03-27 파나소닉 주식회사 기록매체, 재생장치 및 방법, 기록방법
CN103956176B (zh) 2003-11-28 2017-07-07 索尼株式会社 再现设备和再现方法
KR20050072256A (ko) * 2004-01-06 2005-07-11 엘지전자 주식회사 고밀도 광디스크의 메뉴 사운드 구성방법 및 재생방법과기록재생장치
KR100782808B1 (ko) * 2004-01-13 2007-12-06 삼성전자주식회사 인터렉티브 그래픽 스트림을 기록한 저장 매체 및 그 재생장치
US8190003B2 (en) * 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
EP1768404A4 (en) * 2004-07-06 2010-04-21 Panasonic Corp OPTICAL DEVICE, PLAYING DEVICE, PROGRAM AND PLAYING PROCESS
WO2006036781A2 (en) * 2004-09-22 2006-04-06 Perfect Market Technologies, Inc. Search engine using user intent
US20060129463A1 (en) * 2004-12-15 2006-06-15 Zicherman Amir S Method and system for automatic product searching, and use thereof
US20080137729A1 (en) * 2005-03-08 2008-06-12 Jung Kil-Soo Storage Medium Including Data Structure For Reproducing Interactive Graphic Streams Supporting Multiple Languages Seamlessly; Apparatus And Method Therefore
JP4337849B2 (ja) * 2006-07-26 2009-09-30 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、撮像装置、撮像方法および撮像プログラム
JP4321628B2 (ja) * 2007-05-31 2009-08-26 ソニー株式会社 記憶装置、記憶方法および記憶プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
JP2009049726A (ja) * 2007-08-21 2009-03-05 Sony Corp 情報変換装置、情報変換方法およびプログラム

Also Published As

Publication number Publication date
KR100897465B1 (ko) 2009-05-14
JP2007087381A (ja) 2007-04-05
EP1641259A4 (en) 2008-02-13
KR20070100931A (ko) 2007-10-12
US20060288290A1 (en) 2006-12-21
CN101005630A (zh) 2007-07-25
TW200739525A (en) 2007-10-16
KR20070107758A (ko) 2007-11-07
CN101527863B (zh) 2011-09-07
JP2007068191A (ja) 2007-03-15
ES2347701T3 (es) 2010-11-03
CA2528504A1 (en) 2005-01-06
JP4208880B2 (ja) 2009-01-14
CN101026774A (zh) 2007-08-29
EP1641259A1 (en) 2006-03-29
US7680394B2 (en) 2010-03-16
JPWO2005002220A1 (ja) 2006-08-10
JP2007259504A (ja) 2007-10-04
ES2354012T3 (es) 2011-03-09
EP2068564A1 (en) 2009-06-10
CN101005630B (zh) 2012-07-04
JP2007080486A (ja) 2007-03-29
TWI341690B (ja) 2011-05-01
CN101026775B (zh) 2012-08-22
TW200809592A (en) 2008-02-16
DE602004030059D1 (de) 2010-12-23
TW200514442A (en) 2005-04-16
US20060294542A1 (en) 2006-12-28
CN101026775A (zh) 2007-08-29
CA2659714A1 (en) 2005-01-06
JP4388970B2 (ja) 2009-12-24
JP2007080485A (ja) 2007-03-29
US7913169B2 (en) 2011-03-22
JP4160978B2 (ja) 2008-10-08
DE602004030060D1 (de) 2010-12-23
CN101026774B (zh) 2011-01-05
JP4332187B2 (ja) 2009-09-16
EP2068563A1 (en) 2009-06-10
JP2007080487A (ja) 2007-03-29
CA2528509A1 (en) 2005-01-06
EP2068564B1 (en) 2010-11-10
US20060236218A1 (en) 2006-10-19
US8020117B2 (en) 2011-09-13
KR100967737B1 (ko) 2010-07-05
US20080126922A1 (en) 2008-05-29
US8010908B2 (en) 2011-08-30
CN100576898C (zh) 2009-12-30
CN1817032A (zh) 2006-08-09
CA2528504C (en) 2013-04-16
JP4027401B2 (ja) 2007-12-26
CN101527864A (zh) 2009-09-09
TWI348689B (ja) 2011-09-11
TWI352977B (ja) 2011-11-21
KR20090130145A (ko) 2009-12-17
WO2005002220A1 (ja) 2005-01-06
JP4388972B2 (ja) 2009-12-24
JP2007053777A (ja) 2007-03-01
JP2007335074A (ja) 2007-12-27
CA2659714C (en) 2012-07-17
TW200509081A (en) 2005-03-01
KR20060029239A (ko) 2006-04-05
JP2008011546A (ja) 2008-01-17
US20060294543A1 (en) 2006-12-28
JP4077856B2 (ja) 2008-04-23
JP4199791B2 (ja) 2008-12-17
EP1641260A4 (en) 2009-12-16
TW200746822A (en) 2007-12-16
KR101102758B1 (ko) 2012-01-05
JP4027402B2 (ja) 2007-12-26
US20060245723A1 (en) 2006-11-02
CN1817031A (zh) 2006-08-09
US7668440B2 (en) 2010-02-23
WO2005002219A1 (ja) 2005-01-06
TWI340596B (ja) 2011-04-11
KR20090038036A (ko) 2009-04-17
JPWO2005002219A1 (ja) 2006-08-10
EP1641259B1 (en) 2009-09-02
US20060288302A1 (en) 2006-12-21
US7664370B2 (en) 2010-02-16
KR20060027365A (ko) 2006-03-27
ES2347702T3 (es) 2010-11-03
EP1641260A1 (en) 2006-03-29
CN101005629A (zh) 2007-07-25
CN100583973C (zh) 2010-01-20
KR100897466B1 (ko) 2009-05-14
DE602004028674D1 (de) 2010-09-23
KR100984412B1 (ko) 2010-09-29
TWI362655B (ja) 2012-04-21
JP4332186B2 (ja) 2009-09-16
US20060291814A1 (en) 2006-12-28
DE602004028673D1 (de) 2010-09-23
DE602004022945D1 (de) 2009-10-15
ES2354139T3 (es) 2011-03-10
EP2068563B1 (en) 2010-11-10
US20060282775A1 (en) 2006-12-14
CN101527863A (zh) 2009-09-09
TWI341691B (ja) 2011-05-01
WO2005002220A8 (ja) 2005-02-24
US8006173B2 (en) 2011-08-23
KR100871528B1 (ko) 2008-12-05
CA2528509C (en) 2015-11-24
JP4027400B2 (ja) 2007-12-26
US7620297B2 (en) 2009-11-17
CN101527864B (zh) 2011-01-05
TW200746823A (en) 2007-12-16
US7716584B2 (en) 2010-05-11
JP2008017499A (ja) 2008-01-24

Similar Documents

Publication Publication Date Title
JP4199792B2 (ja) システムlsi
JP5094986B2 (ja) 集積回路
JP4990932B2 (ja) 再生装置、再生方法、記録装置、記録方法、再生プログラム、集積回路
JP4569931B2 (ja) 記録方法、再生装置、プログラム、再生方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081003

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141010

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees