JP4245607B2 - 記録方法、再生装置、再生方法、プログラム - Google Patents

記録方法、再生装置、再生方法、プログラム Download PDF

Info

Publication number
JP4245607B2
JP4245607B2 JP2005504762A JP2005504762A JP4245607B2 JP 4245607 B2 JP4245607 B2 JP 4245607B2 JP 2005504762 A JP2005504762 A JP 2005504762A JP 2005504762 A JP2005504762 A JP 2005504762A JP 4245607 B2 JP4245607 B2 JP 4245607B2
Authority
JP
Japan
Prior art keywords
button
graphics
stream
state
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005504762A
Other languages
English (en)
Other versions
JPWO2004068854A1 (ja
Inventor
航 池田
智之 岡田
靖 上坂
雅之 小塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2004068854A1 publication Critical patent/JPWO2004068854A1/ja
Application granted granted Critical
Publication of JP4245607B2 publication Critical patent/JP4245607B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036Time code signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Description

BD−ROM等、映画作品の頒布のための記録媒体と、その再生装置とに関し、特に、対話的な制御を実現する場合の改良に関する。
動画の再生に伴ってボタンが画面に出現し、このボタンに対する操作によって再生の進行が変化するという対話制御は、制作者にとって長年の夢であり、DVDはかかる再生制御を現実のものにした画期的な記録媒体である。動画と、ボタンとの同期再生は、動画の再生時間軸における任意の時点に、ボタンが表示されるようタイムスタンプを設定することにより、実現される。
ただし、対話性を実現するには、ボタンを構成するクラフィクスデータを記録媒体に記録しておくだけでは足りない。画面に配置された複数ボタンの状態を、ユーザ操作に応じて変化させたり、動画データの再生進行に応じてボタンの状態を変化させるという制御を再生装置に実行させねばならない。かかる状態制御を実現するため、DVDでは音声・動画を多重化したストリーム(Video Object)において、各VOBUの先頭に位置するNAVIパックに状態制御情報を設けている。VOBUとは、動画ストリームの1つのGOPと、これと同時にDVDから読み出されるべきオーディオデータ、副映像データを含む。また状態制御情報は、画面に配置された複数ボタンの状態を、ユーザ操作に応じて変化させる情報であり、NAVIパックとは、GOPにおいてストリーム毎に必要とされる転送レートやバッファサイズを示す情報である。DVDではNAVIパックに、かかる状態制御情報を設けることにより、GOPの時間精度でのボタンの状態変化を実現している。以上の対話制御を現したのが図1である。本図の最下段が、DVDにおけるデータアロケーションであり、状態制御情報は、NAVIパックに格納されていることがわかる。そしてこのNAVIパックが属するGOPの時間帯において、この状態制御情報は有効になっている。またグラフィクスオブジェクトは、PESパケットに格納され、同期表示すべきピクチャデータと同じタイミングで表示される。かかる先行技術を示した文献1には、以下の特許文献1がある。
<特許文献1>特許第2813245号
ところがDVDのオーサリングにおいて、GOP及びVOBUの構造が決まるのは、ビデオ,副映像、オーディオという個々のエレメンタリストリームのエンコードが完了し、これらを1つのVOBに多重化するという多重化の段階である。かかる多重化は、オーサリングにおいて終盤の工程であり、この終盤の段階になるまで、状態制御情報をVOBに組み込むことはできないので、画面におけるボタンがどのように変化するかというボタン状態変化の検証作業は、この終盤の工程になるまで、待たねばならない。終盤の工程にならないと、ボタン状態の変化を検証することはできないので、出荷間際になってボタンの状態に係るバグが発覚し、関係者が慌てふためくという事例が、オーサリングの現場では数多く見られる。更に検証期間が極僅かなので、アニメーションにより複雑に動くようなボタンを映画作品に組み入れることは、大きなリスクを伴うことになる。そのため現状のオーサリングでは、ユーザ操作に応じて、色が変換するような単純な形態のボタンが主流になっている。
本発明の目的は、ボタン状態の変化を検証するという作業を、オーサリングの早い時期に行うことができる記録媒体を提供することである。
VOBUに対するNAVIパックに、状態制御情報を格納するというのは、DVDにおける読出レートを考えれば有効な手法であった。何故なら、状態制御情報をNAVIパックに格納しておけば、NAVIパックに対する読み出しで、同時に状態制御情報をDVDから読み出することができるので、読み出し時の帯域を低く抑えることができるからである。
しかしBD−ROMにおける読出レートを考えればそれ程有効とはいえない。何故なら、BD−ROMの読出レートはDVDより遥かに高く、かかる帯域抑制に対する危惧は薄れるからである。
かかる媒体側の進歩に鑑み、本発明に係る記録媒体は、対話画面を構成するクラフィクスデータ(i)、当該対話画面の状態を、動画データの再生進行及びユーザ操作に応じて変化させる状態制御情報(ii)を一体化したグラフィクスストリームを、動画ストリームに多重化することにより得られるデジタルストリームを記録することで上記目的の達成を図っている。本記録媒体によれば、ボタンの状態を変化させる情報は、クラフィクスデータと一体になってグラフィクスストリームを構成しているので、動画ストリームのエンコード完了や、多重化完了を待たなくても、グラフィクスストリーム単体を完成しさえすれば、再生進行に応じてボタンの状態がどのように変化するかの検証が可能になる。かかる状態変化の検証がオーサリングの早い段階(多重化作業より前)で可能になるので、記録媒体の出荷直前に不具合が発見され、関係者が慌てふためくという事態はなくなる。グラフィクスストリーム単体での動作検証が可能になるので、アニメーションにより複雑に動くようなボタンを積極的に映画作品に組み入れることができる。
ここで各ディスプレィセットにおける状態制御情報はアップデートフラグを含み、当該アップデートフラグはオンに設定されることにより、当該ディスプレィセットは、ボタンコマンドを除き先行するディスプレィセットの状態制御情報及びクラフィクスデータと同じ内容である旨を、当該アップデートフラグはオフに設定されることにより、当該ディスプレィセットは、先行するディスプレィセットの状態制御情報及びクラフィクスデータと同じ内容である旨を示すものであり、ボタンコマンドとは、対話画面上のボタンに対し、確定操作が行われた場合に、再生装置に実行させるべきコマンドであってもよい。
上述した構成では、再生が進行することにより、ボタンコマンドによる分岐先が変化してゆくようなタイトルを制作することができる。ここで制作すべきタイトルがクイズ集であり、2つのディスプレィセットが設問である場合、ユーザの回答が遅れれば遅れる程不利な分岐先に分岐するようなタイトルを制作することができる。
ここで対話画面におけるn個のボタンのそれぞれには、数値が割り当てられており、前記n個のボタン情報は、自身に割り当てられた数値と、その数値によるボタン選択が可能か否かを示すフラグを含んでいてもよい。ボタンの1つ1つに飛び飛びの番号を割り当てることができるので、プロ野球選手の選手名鑑のようなタイトルの作成に便利である。
つまり各選手が活躍するプレーの映像に分岐するようなボタンコマンドを作成し、このボタンコマンドを含むボタン情報に、選手の背番号を割り当てることにより、背番号の数値入力にて、各選手のプレーのシーンに分岐するような再生制御を実現することができる。
図1は、DVDにおける対話制御を示す図である。
図2(a)は、本発明に係る記録媒体の、使用行為についての形態を示す図である。
図2(b)は、対話画面に対する操作をユーザから受け付けるためのリモコン400におけるキー配置を示す図である。
図3は、BD−ROMの構成を示す図である。
図4は、AVClipがどのように構成されているかを模式的に示す図である。
図5は、Clip情報の内部構成を示す図である。
図6は、PL情報の内部構成を示す図である。
図7は、PL情報による間接参照を模式化した図である。
図8(a)は、グラフィクスストリームの構成を示す図である。
図8(b)は、ICS、ODSの内部構成を示す図である。
図9は、様々な種別の機能セグメントにて構成される論理構造を示す図である。
図10(a)は、ODSによるグラフィクスオブジェクトを定義するためのデータ構造を示す図である。
図10(b)は、PDSのデータ構造を示す図である。
図11は、Interactive Composition Segmentのデータ構造を示す図である。
図12は、あるDSnに含まれるODSと、ICSとの関係を示す図である。
図13は、任意のピクチャデータpt1の表示タイミングにおける画面合成を示す図である。
図14は、ICSにおけるボタン情報の設定例を示す図である。
図15は、ボタンA〜ボタンDの状態遷移を示す図である。
図16は、ODS11,21,31,41の絵柄の一例を示す図である。
図17は、ボタンA用のODS11〜19の絵柄の一例を示す図である。
図18は、DSに含まれるICS、ODSの一例を示す図である。
図19は、Display Setに属するODSの順序及びbutton−stateグループを示す図である。
図20は、図19のbutton−stateグループが配置された対話画面における状態遷移を示す図である。
図21は、Display SetにおけるODSの順序を示す図である。
図22は、ICSによる同期表示時のタイミングを示す図である。
図23は、対話画面の初期表示が複数ODSにて構成され、default_selected_button_numberが有効である場合のDTS、PTSの設定を示す図である。
図24は、対話画面の初期表示が複数ODSにて構成され、default_selected_button_numberが無効である場合のDTS、PTSの設定を示す図である。
図25は、本発明に係る再生装置の内部構成を示す図である。
図26は、再生装置によるパイプライン処理を示すタイミングチャートである。
図27は、デフォルトセレクテッドボタンが未確定である場合の、再生装置によるパイプライン処理を示すタイミングチャートである。
図28は、制御部20によるLinkPL関数の実行手順を示すフローチャートである。
図29は、Segmentのロード処理の処理手順を示すフローチャートである。
図30は、頭出し時におけるロード処理がどのように行われるかを示す図である。
図31は、DS10が再生装置のCoded Dataバッファ13にロードされる様子を示す図である。
図32は、通常再生が行われる場合を示す図である。
図33は、図32のように通常再生が行われた場合のDS1,10,20のロードを示す図である。
図34はGraphicalコントローラ17の処理手順のうち、メインルーチンにあたる処理を描いたフローチャートである。
図35は、タイムスタンプによる同期制御の処理手順を示すフローチャートである。
図36は、グラフィクスプレーン8の書込処理の処理手順を示すフローチャートである。
図37は、デフォルトセレクテッドボタンのオートアクティベートの処理手順を示すフローチャートである。
図38は、アニメーション表示の処理手順を示すフローチャートである。
図39は、UO処理の処理手順を示すフローチャートである。
図40は、カレントボタンの変更処理の処理手順を示すフローチャートである。
図41は、数値入力処理の処理手順を示すフローチャートである。
図42は、クリック音の発音を実現する場合のICSのデータ構造を示す図である。
図43は、クリック音の発音を実現する場合のICSのデータ構造を示す図である。
図44(a)は、button_info(1)(2)を含む状態制御情報を示す図である。
図44(b)は、状態制御情報を含むICSが読み出される過程を示す図である。
図44(c)は、対角線方向に並べられた3つのボタン(ボタンA、ボタンB、ボタンC)と、これらのボタンについてのボタン情報の設定例である。
図45(a)(b)は、プリロードメモリ21に読み出されたICSによるクリック音データの発音制御を示す。
図45(c)は、横方向に並べられた3つのボタン(ボタンA、ボタンB、ボタンC)と、これらのボタンについてのボタン情報の設定例である。
図46は、第3実施形態に係るBD−ROMの製造工程を示すフローチャートである。
図47は、ICSの変更実施の形態を示す図である。
図48は、リモコンのキー毎にクリック音を定義するようにしたICSを示す図である。
(第1実施形態)
以降、本発明に係る記録媒体の実施形態について説明する。先ず始めに、本発明に係る記録媒体の実施行為のうち、使用行為についての形態を説明する。図2(a)は、本発明に係る記録媒体の、使用行為についての形態を示す図である。図2において、本発明に係る記録媒体は、BD−ROM100である。このBD−ROM100は、再生装置200、テレビ300、リモコン400により形成されるホームシアターシステムに、映画作品を供給するという用途に供される。このうちリモコン400は、対話画面の状態を変化させるための操作をユーザから受け付けるものであり、本発明に係る記録媒体に深い係りをもつ。図2(b)は、対話画面に対する操作をユーザから受け付けるためのリモコン400におけるキーを示す図である。本図に示すようにリモコン400は、MoveUpキー、MoveDownキー、MoveRightキー、MoveLeftキーが設けられている。ここで対話画面におけるボタンは、ノーマル状態、セレクテッド状態、アクティブ状態という3つの状態をもち、これらMoveUpキー、MoveDownキー、MoveRightキー、MoveLeftキーは、このボタンの状態をノーマル状態→セレクテッド状態→アクティブ状態と変化させる操作をユーザから受け付ける。ノーマル状態とは、単に表示されているに過ぎない状態である。これに対しセレクテッド状態とは、ユーザ操作によりフォーカスが当てられているが、確定に至っていない状態をいう。アクティブ状態とは、確定に至った状態をいう。MoveUpキーは、対話画面においてあるボタンがセレクテッド状態である場合、このボタンより上にあるボタンをセレクテッド状態に設定するためのキーである。MoveDownキーは、このボタンより下にあるボタンをセレクテッド状態に設定するためのキー、MoveRightキーは、このボタンより右にあるボタンをセレクテッド状態に設定するためのキー、MoveLeftキーは、このボタンより左にあるボタンをセレクテッド状態に設定するためのキーである。
Activatedキーは、セレクテッド状態にあるボタンをアクティブ状態(アクティベート)するためのキーである。「0」〜「9」の数値キーは、該当する数値が割り当てられたボタンをセレクテッド状態にするキーである。「+10」キーとは、これまで入力された数値に10をプラスするという操作を受け付けるキーである。尚、「0」キー、「+10」キーは、何れも10桁以上の数値の入力を受け付けるものなので、「0」キー、「+10」キーは、どちらかが具備されていればよい。
以上が本発明に係る記録媒体の使用形態についての説明である。
続いて本発明に係る記録媒体の実施行為のうち、生産行為についての形態について説明する。本発明に係る記録媒体は、BD−ROMの応用層に対する改良により実施することができる。図3は、BD−ROMの構成を示す図である。
本図の第4段目にBD−ROMを示し、第3段目にBD−ROM上のトラックを示す。本図のトラックは、BD−ROMの内周から外周にかけて螺旋状に形成されているトラックを、横方向に引き伸ばして描画している。このトラックは、リードイン領域と、ボリューム領域と、リードアウト領域とからなる。本図のボリューム領域は、物理層、ファイルシステム層、応用層というレイヤモデルをもつ。ディレクトリ構造を用いてBD−ROMの応用層フォーマット(アプリケーションフォーマット)を表現すると、図中の第1段目のようになる。本図に示すようにBD−ROMには、ROOTディレクトリの下にBDMVディレクトリがあり、BDMVディレクトリの配下には、XXX.M2TS、XXX.CLPI,YYY.MPLSといったファイルが存在する。本図に示すようなアプリケーションフォーマットを作成することにより、本発明に係る記録媒体は生産される。
このアプリケーションフォーマットにおける各ファイルについて説明する。最初に説明するのは、AVClip(XXX.M2TS)である。
AVClip(XXX.M2TS)は、MPEG−TS(Transport Stream)形式のデジタルストリームであり、ビデオストリーム、1つ以上のオーディオストリーム、プレゼンテーショングラフィクスストリーム、インタラクティブグラフィクスストリームを多重化することで得られる。ビデオストリームは映画の動画部分を、オーディオストリームは映画の音声部分を、プレゼンテーショングラフィクスストリームは、映画の字幕を、インタラクティブグラフィクスストリームは、メニューを対象とした動的な再生制御の手順をそれぞれ示している。図4は、AVClipがどのように構成されているかを模式的に示す図である。
AVClipは(中段)、複数のビデオフレーム(ピクチャpj1,2,3)からなるビデオストリーム、複数のオーディオフレームからなるオーディオストリームを(上1段目)、PESパケット列に変換し(上2段目)、更にTSパケットに変換し(上3段目)、同じくプレゼンテーショングラフィクスストリーム、インタラクティブグラフィクスストリーム(下1段目)を、PESパケット列に変換し(下2段目)、更にTSパケットに変換して(下3段目)、これらを多重化することで構成される。
かかる過程を経て生成されたAVClipは、通常のコンピュータファイル同様、複数のエクステントに分割され、BD−ROM上の領域に記録される。AVClipは、1つ以上のACCESS UNITとからなり、このACCESS UNITの単位で頭出し可能である。ACCESS UNITとは、1つのGOP(Group Of Picture)と、このGOPと同時に読み出されるべきオーディオフレームとを含む最小デコード単位である。GOPは、過去方向および未来方向に再生されるべき画像との時間相関特性を用いて圧縮されているBidirectionally predictive Predictive(B)ピクチャ、過去方向に再生されるべき画像との時間相関特性を用いて圧縮されているPredictive(P)ピクチャ、時間相関特性を用いず、一フレーム分の画像内での空間周波数特性を利用して圧縮されているIntra(I)ピクチャを含む。
Clip情報(XXX.CLPI)は、個々のAVClipについての管理情報である。図5は、Clip情報の内部構成を示す図である。AVClipはビデオストリーム、オーディオストリームを多重化することで得られ、AVClipはACCESS UNITと呼ばれる単位での頭出しが可能なので、各ビデオストリーム、オーディオストリームはどのような属性をもっているか、頭出し位置がAVClip内の何処に存在するかが、Clip情報の管理項目になる。図中の引き出し線はClip情報の構成をクローズアップしている。引き出し線hn1に示すように、Clip情報(XXX.CLPI)は、ビデオストリーム、オーディオストリームについての「属性情報」と、ACCESS UNITを頭出しするためのリファレンステーブルである「EP_map」とからなる。
属性情報(Attribute)は、破線の引き出し線hn2に示すようにビデオストリームについての属性情報(Video属性情報)、属性情報数(Number)、AVClipに多重化される複数オーディオストリームのそれぞれについての属性情報(Audio属性情報#1〜#m)からなる。ビデオ属性情報は、破線の引き出し線hn3に示すようにそのビデオストリームがどのような圧縮方式で圧縮されたか(Coding)、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか(Resolution)、アスペクト比はどれだけであるか(Aspect)、フレームレートはどれだけであるか(Framerate)を示す。
一方、オーディオストリームについての属性情報(Audio属性情報#1〜#m)は、破線の引き出し線hn4に示すようにそのオーディオストリームがどのような圧縮方式で圧縮されたか(Coding)、そのオーディオストリームのチャネル番号が何であるか(Ch.)、何という言語に対応しているか(Lang)、サンプリング周波数がどれだけであるかを示す。
EP_mapは、複数の頭出し位置のアドレスを、時刻情報を用いて間接参照するためのリファレンステーブルであり、破線の引き出し線hn5に示すように複数のエントリー情報(ACCESS UNIT#1エントリー、ACCESS UNIT#2エントリー、ACCESS UNIT#3エントリー・・・・・)と、エントリー数(Number)とからなる。各エントリーは、引き出し線hn6に示すように、対応するACCESS UNITの再生開始時刻を、ACCESS UNITのアドレスと対応づけて示す(尚、ACCESS UNITにおける先頭Iピクチャのサイズ(I−size)を記載してもよい。)。ACCESS UNITの再生開始時刻は、ACCESS UNIT先頭に位置するピクチャデータのタイムスタンプ(Presentation Time Stamp)で表現される。またACCESS UNITにおけるアドレスは、TSパケットの連番(SPN(Source Packet Number))で表現される。可変長符号圧縮方式が採用されるため、GOPを含む各ACCESS UNITのサイズや再生時間がバラバラであっても、このACCESS UNITについてのエントリーを参照することにより、任意の再生時刻から、その再生時刻に対応するACCESS UNIT内のピクチャデータへと頭出しを行うことが可能になる。尚、XXX.CLPIのファイル名XXXは、Clip情報が対応しているAVClipと同じ名称が使用される。つまり本図におけるAVClipのファイル名はXXXであるから、AVClip(XXX.M2TS)に対応していることを意味する。以上がClip情報についての説明である。続いてプレイリスト情報について説明する。
YYY.MPLS(プレイリスト情報)は、再生経路情報であるプレイリストを構成するテーブルであり、複数のPlayItem情報(PlayItem情報#1,#2,#3・・・#n)と、これらPlayItem情報数(Number)とからなる。図6は、PL情報の内部構成を示す図である。PlayItem情報は、プレイリストを構成する1つ以上の論理的な再生区間を定義する。PlayItem情報の構成は、引き出し線hs1によりクローズアップされている。この引き出し線に示すようにPlayItem情報は、再生区間のIn点及びOut点が属するAVClipの再生区間情報のファイル名を示す『Clip_Information_file_name』と、当該AVClipがどのような符号化方式で符号化されているかを示す『Clip_codec_identifier』と、再生区間の始点を示す時間情報『IN_time』と、再生区間の終点を示す時間情報『OUT_time』とから構成される。
PlayItem情報の特徴は、その表記法にある。つまりEP_mapをリファレンステーブルとして用いた時間による間接参照の形式で、再生区間が定義されている。図7は、時間による間接参照を模式化した図である。本図においてAVClipは、複数のACCESS UNITから構成されている。Clip情報内のEP_mapは、これら複数ACCESS UNITのセクタアドレスを、矢印ay1,2,3,4に示すように指定している。図中の矢印jy1,2,3,4は、PlayItem情報によるACCESS UNITの参照を模式化して示している。つまり、PlayItem情報による参照(矢印jy1,2,3,4)は、EP_mapを介することにより、AVClip内に含まれる複数ACCESS UNITのアドレスを指定するという時間による間接参照であることがわかる。
PlayItem情報−Clip情報−AVClipの組みからなるBD−ROM上の再生区間を『プレイアイテム』という。PL情報−Clip情報−AVClipの組みからなるBD−ROM上の論理的な再生単位を『プレイリスト(PLと略す)』という。BD−ROMに記録された映画作品は、この論理的な再生単位(PL)にて構成される。論理的な再生単位にて、BD−ROMにおける映画作品は構成されるので、本編たる映画作品とは別に、あるキャラクタが登場するようなシーンのみを指定するようなPLを定義すれば、そのキャラクタが登場するシーンのみからなる映画作品を簡単に制作することができる。
BD−ROMに記録される映画作品は、上述した論理構造をもっているので、ある映画作品のシーンを構成するAVClipを他の映画作品で引用するという”使い回し”を効率良く行うことができる。
続いてインタラクティブグラフィクスストリームについて説明する。図8(a)は、インタラクティブグラフィクスストリームの構成を示す図である。第1段目は、AVClipを構成するTSパケット列を示す。第2段目は、グラフィクスストリームを構成するPESパケット列を示す。第2段目におけるPESパケット列は、第1段目におけるTSパケットのうち、所定のPIDをもつTSパケットからペイロードを取り出して、連結することにより構成される。尚、プレゼンテーショングラフィクスストリームについては、本願の主眼ではないので説明は行わない。
第3段目は、グラフィクスストリームの構成を示す。グラフィクスストリームは、ICS(Interactive Composition Segment)、PDS(Palette Difinition Segment)、ODS(Object_Definition_Segment)、END(END of Display Set Segment)と呼ばれる機能セグメントからなる。これらの機能セグメントのうち、ICSは、画面構成セグメントと呼ばれ、PDS、ODS、ENDは定義セグメントと呼ばれる。PESパケットと機能セグメントとの対応関係は、1対1の関係、1対多の関係である。つまり機能セグメントは、1つのPESパケットに変換されてBD−ROMに記録されるか、又は、フラグメント化され、複数PESパケットに変換されてBD−ROMに記録される。
図8(b)は、機能セグメントを変換することで得られるPESパケットを示す図である。図8(b)に示すようにPESパケットは、パケットヘッダと、ペイロードとからなり、このペイロードが機能セグメント実体にあたる。またパケットヘッダには、この機能セグメントに対応するDTS、PTSが存在する。尚以降の説明では、機能セグメントが格納されるPESパケットのヘッダ内に存在するDTS及びPTSを、機能セグメントのDTS及びPTSとして扱う。
これら様々な種別の機能セグメントは、図9のような論理構造を構築する。図9は、様々な種別の機能セグメントにて構成される論理構造を示す図である。本図は第3段目に機能セグメントを、第2段目にDisplay Setを、第1段目にEpochをそれぞれ示す。
第2段目のDisplay Set(DSと略す)とは、グラフィクスストリームを構成する複数機能セグメントのうち、一画面分のグラフィクスを構成するものの集合をいう。図中の破線は、第3段目の機能セグメントが、どのDSに帰属しているかという帰属関係を示す。ICS−PDS−ODS−ENDという一連の機能セグメントが、1つのDSを構成していることがわかる。再生装置は、このDSを構成する複数機能セグメントをBD−ROMから読み出せば、一画面分のグラフィクスを構成することができる。
第1段目のEpochとは、AVClipの再生時間軸上においてメモリ管理の連続性をもっている一つの期間、及び、この期間に割り当てられたデータ群をいう。ここで想定しているメモリとは、一画面分のグラフィクスを格納しておくためのグラフィクスプレーン、伸長された状態のクラフィクスデータを格納しておくためのオブジェクトバッファである。これらについてのメモリ管理に、連続性があるというのは、このEpochにあたる期間を通じてこれらグラフィクスプレーン及びオブジェクトバッファのフラッシュは発生せず、グラフィックプレーン内のある決められた矩形領域内でのみ、グラフィクスの消去及び再描画が行われることをいう(※ここでフラッシュとは、プレーン及びバッファの格納内容を全部クリアしてしまうことである。)。この矩形領域の縦横の大きさ及び位置は、Epochにあたる期間において、終始固定されている。グラフィックプレーンにおいて、この固定化された領域内で、グラフィクスの消去及び再描画を行っている限り、シームレス再生が保障される。つまりEpochは、シームレス再生の保障が可能な再生時間軸上の一単位ということができる。グラフィックプレーンにおいて、グラフィクスの消去・再描画を行うべき領域を変更したい場合は、再生時間軸上においてその変更時点を定義し、その変更時点以降を、新たなEpochにせねばならない。この場合、2つのEpochの境界では、シームレス再生は保証されない。
尚、ここでのシームレス再生とは、グラフィクスの消去及び再描画が、所定のビデオフレーム数で完遂することをいう。インタラクティブグラフィクスストリームの場合、このビデオフレーム数は、4,5フレームとなる。このビデオフレームをどれだけにするかは、グラフィックプレーン全体に対する固定領域の大きさの比率と、オブジェクトバッファ−グラフィックプレーン間の転送レートとによって定まる。
図中の破線hk1,2は、第2段目の機能セグメントが、どのEpochに帰属しているかという帰属関係を示す。Epoch Start,Acquisition Point,Normal Caseという一連のDSは、第1段目のEpochを構成していることがわかる。『Epoch Start』、『Acquisition Point』、『Normal Case』は、DSの類型である。本図におけるAcquisition Point、Normal Caseの順序は、一例にすぎず、どちらが先であってもよい。
『Epoch Start』は、”新表示”という表示効果をもたらすDSであり、新たなEpochの開始を示す。そのためEpoch Startは、次の画面合成に必要な全ての機能セグメントを含んでいる。Epoch Startは、映画作品におけるチャプター等、AVClipのうち、頭出しがなされることが判明している位置に配置される。
『Acquisition Point』は、”表示リフレッシュ”という表示効果をもたらすDisplay Setであり、先行するEpoch Startと関連性をもつ。Acquisition Pointの類型には、『Duplicate』と、『Inherit』とがある。Duplicateとは、先行するEpoch Startと全く同じDisplay Setをいい、Inheritとは、先行するEpoch Startの機能セグメントを継承しているが、ボタンコマンドのみが違うDisplay Setをいう。Acquisition PointたるDSは、Epochの開始時点ではないが、次の画面合成に必要な全ての機能セグメントを含んでいるので、Acquisition PointたるDSから頭出しを行えば、グラフィックス表示を確実に実現することができる。つまりAcquisition PointたるDSは、Epochの途中からの画面構成を可能するという役割をもつ。
Acquisition PointたるDisplay Setは、頭出し先になり得る位置に組み込まれる。そのような位置には、タイムサーチにより指定され得る位置がある。タイムサーチとは、何分何秒という時間入力をユーザから受け付けて、その時間入力に相当する再生時点から頭出しを行う操作である。かかる時間入力は、10分単位、10秒単位というように、大まかな単位でなされるので、10分間隔の再生位置、10秒間隔の再生位置がタイムサーチにより指定され得る位置になる。このようにタイムサーチにより指定され得る位置にAcquisition Pointを設けておくことにより、タイムサーチ時のグラフィクスストリーム再生を好適に行うことができる。
『Normal Case』は、”表示アップデート”という表示効果をもたらすDSであり、前の画面合成からの差分のみを含む。例えば、あるDSvのボタンは、先行するDSuと同じ絵柄であるが、状態制御が、この先行するDSuとは異なる場合、ICSのみのDSv、又は、ICSとPDSのみのDSvを設けてこのDSvをNormal CaseのDSにする。こうすれば、重複するODSを設ける必要はなくなるので、BD−ROMにおける容量削減に寄与することができる。一方、Normal CaseのDSは、差分にすぎないので、Normal Case単独では画面構成は行えない。
これらのDSにより定義される対話画面は、画面上にGUI部品を配置することにより作成される対話画面である。そしてDSにおける対話性とは、GUI部品の状態をユーザ操作に応じて変化させることをいう。本実施形態では、ユーザ操作の対象となるGUI部品をボタンという。ボタンにおける状態には、ノーマル状態、セレクテッド状態、アクティブ状態といったものがある。ノーマル状態、セレクテッド状態、アクティブ状態といった各状態は、複数の非圧縮状態のグラフィクスから構成される。ボタンの各状態を表現する個々の非圧縮グラフィクスを”グラフィクスオブジェクト”という。あるボタンの1つの状態を、複数の非圧縮グラフィクスで表現しているのは、各ボタンの1つの状態をアニメーション表示することを念頭に置いているからである。
続いてDefinition Segment(ODS、PDS)について説明する。
『Object_Definition_Segment』は、グラフィクスオブジェクトを定義する情報である。このグラフィクスオブジェクトについて以下説明する。BD−ROMに記録されているAVClipは、ハイビジョン並みの高画質をセールスポイントにしているため、グラフィクスオブジェクトの解像度も、1920×1080画素という高精細な大きさに設定されている。画素の色にあたっては、一画素当たりのインデックス値(赤色差成分(Cr値),青色差成分(Cb値),輝度成分Y値,透明度(T値))のビット長が8ビットになっており、これによりフルカラーの16,777,216色から任意の256色を選んで画素の色として設定することができる。
ODSによるグラフィクスオブジェクトの定義は、図10(a)に示すようにデータ構造をもってなされる。ODSは、自身がODSであることを示す『Segment_Type』と、ODSのデータ長を示す『segment_length』と、EpochにおいてこのODSに対応するグラフィクスオブジェクトを一意に識別する『object_ID』と、EpochにおけるODSのバージョンを示す『object_version_number』と、『last_insequence_flag』と、グラフィクスオブジェクトの一部又は全部である連続バイト長データ『object_data_fragment』とからなる。
『object_ID』は、EpochにおいてこのODSに対応するグラフィクスオブジェクトを一意に識別するものだが、複数ODSにより定義される複数グラフィックオブジェクトがアニメーションを構成する場合、これらのODSに付加された一連の『object_ID』は、連番になる。
『last_insequence_flag』、『object_data_fragment』について説明する。PESパケットのペイロードの制限から、ボタンを構成する非圧縮グラフィクスが1つのODSでは格納できない場合がある。そのような場合、ボタンコマンドを分割することにより得られた1部分(フラグメント)がobject_data_fragmentに設定される。1つのグラフィクスオブジェクトを複数ODSで格納する場合、最後のフラグメントを除く全てのフラグメントは同じサイズになる。つまり最後のフラグメントは、それ以前のフラグメントサイズ以下となる。これらフラグメントを格納したODSは、DSにおいて同じ順序で出現する。グラフィクスオブジェクトの最後は、last_sequence_flagをもつODSにより指示される。上述したODSのデータ構造は、前のPESパケットからフラグメントを詰めてゆく格納法を前提にしているが、各PESパケットに空きが生じるように、詰めてゆくという格納法であっても良い。以上がODSの説明である。
『Palette Difinition Segment』は、色変換用のパレットを定義する情報である。PDSのデータ構造を図10(b)に示す。図10(b)に示すようにPDSは、”0x15”に設定されることにより、自身がPDSであることを示す『segment_type』、PDSのデータ長を示す『segment_length』、このPDSに含まれるパレットを一意に識別する『Pallet_id』、EpochにおけるEpochのPDSのバージョンを示す『version_number』、各エントリーについての情報『Pallet_entry』からなる。『Pallet_entry』は、各エントリーにおける赤色差成分(Cr値),青色差成分(Cb値),輝度成分Y値,透明度(T値)を示す。
続いてICSについて説明する。Interactive Composition Segmentは、対話的な画面を構成する機能セグメントである。Interactive Composition Segmentは、図11に示すデータ構造で構成される。本図に示すようにICSは、『segment_type』と、『segment_length』と、『composition_number』と、『composition_state』と、『command_update_flag』と、『Composition_timeout_PTS』と、『Selection_timeout_PTS』と、『UO_Mask_Table』と、『animation_frame_rate_code』と、『default_selected_button_number』と、『default_activated_button_number』と、『ボタン情報群(button info(1)(2)(3)・・・・)』とからなる。
『Composition_Number』は、ICSが属するDSにおいて、Updateがなされることを示す0から15までの数値である。
『composition_state』は、本ICSから始まるDSが、Normal Caseであるか、Acquisition Pointであるか、Epoch Startであるかを示す。
『command_update_flag』は、本ICS内のボタンコマンドは、前のICSから変化しているかを否かを示す。例えば、あるICSが属するDSが、Acquisition Pointであれば、このICSは、原則1つ前のICSと同じ内容になる。しかしcommand_update_flagをオンに設定しておけば、1つ前のDSと違うボタンコマンドをICSに設定しておくことができる。本フラグは、グラフィックオブジェクトは流用するが、コマンドは変更したい場合に有効となる。
『Composition_timeout_PTS』は、ボタンによる対話画面の終了時刻を記述する。終了時刻において対話画面の表示は、もはや有効ではなく表示されない。Composition_PTSは、動画データにおける再生時間軸の時間精度で記述しておくことが好ましい。
『Selection_Timeout_PTS』は、有効なボタン選択期間の終了時点を記述する。Selection_Timeout_PTSの時点において、Default_activated_button_numberにより特定されるボタンがアクティベートされる。Selection_Timeout_PTSは、composition_time_out_PTSの時間と等しいかそれより短い。Selection_Timeout_PTSはビデオフレームの時間精度で記述される。
『UO_Mask_Table』は、ICSに対応するDisplay Setにおけるユーザ操作の許可/不許可を示す。このマスクフィールドが不許可に設定されていれば、再生装置に対するユーザ操作は無効になる。
『animation_frame_rate_code』は、アニメーション型ボタンに適用すべきフレームレートを記述する。アニメーションフレームレートは、本フィールドの値を用いて、ビデオフレームレートを割ることにより与えられる。本フィールドが00なら、各ボタンのグラフィクスオブジェクトを定義するODSのうち、Start_Object_id_xxxにて特定されるもののみが表示され、アニメーションされない。
『default_selected_button_number』は、対話画面の表示が始まったとき、デフォルトとしてセレクテッド状態に設定すべきボタン番号を指示する。本フィールドが”0”であれば、再生装置のレジスタに格納されたボタン番号のボタンが自動的にアクティブ状態に設定される。もしこのフィールドが非ゼロであれば、このフィールドは、有効なボタンの値を意味する。
『default_activated_button_number』は、Selection_Timeout_PTSにより定義された時間の前に、ユーザがどのボタンもアクティブ状態にしなかったとき、自動的にアクティブ状態に設定されるボタンを示す。default_activated_button_numberが”FF”であれば、Selection_Timeout_PTSにより定義される時刻において、現在セレクテッド状態にあるボタンが自動的に選択される。このdefault_activated_button_numberが00であれば、自動選択はなされない。00,FF以外の値であれば本フィールドは、有効なボタン番号として解釈される。
『ボタン情報(Button_info)』は、対話画面において合成される各ボタンを定義する情報である。図中の引き出し線hp1はICSにより制御されるi番目のボタンについてのボタン情報iの内部構成をクローズアップしている。以降、ボタン情報iを構成する情報要素について説明する。
『button_number』は、ボタンiを、ICSにおいて一意に識別する数値である。
『numerically_selectable_flag』は、ボタンiの数値選択を許可するか否かを示すフラグである。
『auto_action_flag』は、ボタンiを自動的にアクティブ状態にするかどうかを示す。auto_action_flagがオン(ビット値1)に設定されれば、ボタンiは、セレクテッド状態になる代わりにアクティブ状態になる。auto_action_flagがオフ(ビット値0)に設定されれば、ボタンiは、選択されたとしてもセレクテッド状態になるにすぎない。
『object_horizontal_position』、『object_vertical_position』は、対話画面におけるボタンiの左上画素の水平位置、垂直位置を示す。
『upper_button_number』は、ボタンiがセレクテッド状態である場合においてMOVEUPキーが押下された場合、ボタンiの代わりに、セレクテッド状態にすべきボタンの番号を示す。もしこのフィールドにボタンiの番号が設定されていれば、MOVEUPキーの押下は無視される。
『lower_button_number』,『left_button_number』,『right_button_number』は、ボタンiがセレクテッド状態である場合においてMOVE Downキー,MOVE Leftキー,MOVE Rightキーが押下された場合、ボタンiの押下の代わりに、セレクテッド状態にすべきボタンの番号を示す。もしこのフィールドにボタンiの番号が設定されていれば、これらのキーの押下は無視される。
『start_object_id_normal』は、ノーマル状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのstart_object_id_normalに記述される。
『end_object_id_normal』は、ノーマル状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番たる『object_ID』のうち、最後の番号がこのend_object_id_normalに記述される。このEnd_object_id_normalに示されるIDが、start_object_id_normalに示されるIDと同じである場合、このIDにて示されるグラフィックオブジェクトの静止画が、ボタンiの絵柄になる。
『repeated_selected_flag』は、セレクテッド状態にあるボタンiのアニメーション表示を反復させるかどうかを示す。
『start_object_id_selected』は、セレクテッド状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのstart_object_id_selectedに記述される。このEnd_object_id_selectedに示されるIDが、start_object_id_selectdに示されるIDと同じである場合、このIDにて示されるグラフィックオブジェクトの静止画が、ボタンiの絵柄になる。
『end_object_id_selected』は、セレクト状態のボタンをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番たる『object_ID』のうち、最後の番号がこのend_object_id_selectedに記述される。
『repeat_selected_flag』は、セレクテッド状態にあるボタンiのアニメーション表示を、反復継続するかどうかを示す。start_object_id_selectedと、end_object_id_selectedとが同じ値になるなら、本フィールド00に設定される。
『start_object_id_activated』は、アクティブ状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのstart_object_id_activatedに記述される。
『end_object_id_activated』は、アクティブ状態のボタンをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番たる『object_ID』のうち、最後の番号がこのend_object_id_activatedに記述される。
続いてボタンコマンドについて説明する。
『ボタンコマンド(button_command)』は、ボタンiがアクティブ状態になれば、実行されるコマンドである。
ボタンコマンドでは、PL、PlayItemを対象とした再生を再生装置に命じることができる。PlayItem、PlayItemを対象とした再生を、再生装置に命じるコマンドをLinkPLコマンドという。本コマンドは、第1引数で指定するプレイリストの再生を、第2引数で指定する位置から再生を開始させるものである。
書式:LinkPL(第1引数,第2引数)
第1引数は、プレイリストの番号で、再生すべきPLを指定することができる。第2引数は、そのPLに含まれるPlayItemや、そのPLにおけるChapter、Markを用いて再生開始位置を指定することができる。
PlayItemにより再生開始位置を指定したLinkPL関数をLinkPLatPlayItem()、
Chapterにより再生開始位置を指定したLinkPL関数をLinkPLatChapter()、
Markにより再生開始位置を指定したLinkPL関数をLinkPLatMark()という。
またボタンコマンドでは、再生装置の状態取得や状態設定を再生装置に命じることができる。再生装置の状態は、64個のPlayer Status Register(これの設定値は、PSRと呼ばれる)と、4096個のGeneral Purpose Register(これの設定値は、GPRと呼ばれる)とに示されている。ボタンコマンドでは、以下の(i)〜(iv)のコマンドを使用することにより、これらのレジスタに値を設定したり、これらのレジスタから値を取得したりすることができる。
(i)Get value of Player Status Registerコマンド
書式:Get value of Player Status Register(引数)
この関数は、引数で指定されたPlayer Status Registerの設定値を取得する。
(ii)Set value of Player Status Registerコマンド
書式:Set value of Player Status Register(第1引数、第2引数)
この関数は、第1引数で指定されたPlayer Status Registerに、第2引数で指定された値を設定させる。
(iii)Get value of General Purpose Registerコマンド
書式:Get value of General Purpose Register(引数)
この関数は、引数で指定されたGeneral Purpose Registerの設定値を取得する関数である。
(iv)Set value of General Purpose Registerコマンド
書式:Set value of General Purpose Register(第1引数、第2引数)
この関数は、第1引数で指定されたGeneral Purpose Registerに、第2引数で指定された値を設定させる。
以上がICSの内部構成である。ICSによる対話制御の具体例について以下説明する。本具体例は、図12のようなODS、ICSを想定している。図12は、あるDSnに含まれるODSと、ICSとの関係を示す図である。このDSnには、ODS11〜19,21〜29,31〜39,41〜49が含まれているものとする。これらのODSのうち、ODS11〜19は、ボタンAの各状態を描いたものであり、ODS21〜29は、ボタンBの各状態を描いたもの、ODS31〜39は、ボタンCの各状態を描いたもの、ODS41〜49は、ボタンDの各状態を描いたものとする(図中の括弧}を参照)。そしてICSにおけるbutton_info(1),(2),(3),(4)にて、これらのボタンA〜ボタンDの状態制御が記述されているものとする(図中の矢印bh1,2,3,4参照)。
このICSによる制御の実行タイミングが、図13に示す動画のうち、任意のピクチャデータpt1の表示タイミングであれば、ボタンA〜ボタンDからなる対話画面tm1が、このピクチャデータpt1に合成(gs1)されて表示されることになる(gs2)。動画の中身に併せて、複数ボタンからなる対話画面が表示されるので、ICSによりボタンを用いたリアルな演出が可能になる。
図15に示すボタンA〜ボタンDの状態遷移を実行する場合のICSの記述例を図14に示す。図15における矢印hh1,hh2は、button info(1)のneighbor_info()よる状態遷移を象徴的に表現している。button info(1)のneighbor_info()におけるlower_button_numberは、ボタンCに設定されているため、ボタンAがセレクテッド状態になっている状態で、MOVEDownキー押下のUOが発生すれば(図15のup1)、ボタンCがセレクテッド状態になる(図15のsj1)。button info(1)のneighbor_info()におけるright_button_numberは、ボタンBに設定されているため、ボタンAがセレクテッド状態になっている状態で、MOVERightキー押下のUOが発生すれば(図15のup2)、ボタンBがセレクテッド状態になる(図15のsj2)。
図15における矢印hh3は、button info(3)のneighbor_info()による状態遷移の制御を示す。button info(3)のneighbor_info()におけるupper_button_numberは、ボタンAに設定されているため、ボタンCがセレクテッド状態になっている状態で(up3)、MOVEUpキー押下のUOが発生すれば、ボタンAがセレクテッド状態に戻る。
続いてボタンA〜ボタンDの絵柄について説明する。ODS11,21,31,41が図16に示す絵柄であるものとする。そしてボタンAに割り当てられたODS11〜19は、図17のような絵柄であるものとする。ICSにおけるbutton_info(1)のnormal_state_info()におけるstart_object_id_normal,end_object_id_normalは、ODS11〜13を指定しているため、ボタンAのノーマル状態は、ODS11〜13によるアニメーションで表現される。またbutton_info(1)のselected_state_info()におけるstart_object_id_selected,end_object_id_selectedは、ODS14〜16を指定しているため、ボタンAのセレクテッド状態は、ODS14〜16で表現される。ユーザがこのボタンAをセレクテッド状態にすることにより、ボタンAの絵柄たる肖像は、ODS11〜13によるものから、ODS14〜16によるものへと変化する。ここでnormal_state_info()、selected_state_info()におけるrepeat_normal_flag,repeat_select_flagを1にしておけば、ODS11〜13によるアニメーション、ODS14〜16によるアニメーションは、図中の「→(A)」,「(A)→」,「→(B)」,「(B)→」,に示すように、アニメーション表示は反復継続する。
アニメーション描画が可能な複数ODSが、ボタンA〜ボタンDに割り当てられており、これらによる制御がICSに記述されていれば、ユーザ操作に併せてキャラクタの表情が変わるような、リアルなボタンの状態制御を実現することができる。
続いてnumerically_selectable_flagによる応用について説明する。図18は、DSに含まれるICS、ODSの一例を示す図である。本図におけるODS31〜33は、図中上段に示すような3人の野球選手の肖像及び選手名、背番号を示すものとする。一方、このDSに属するICSは、3つのボタン情報を含んでおり、ボタン情報(1)のstart_object_idは、ODS31を示すよう設定され、ボタン情報(2)のstart_object_idは、ODS32を示すよう、ボタン情報(3)のstart_object_idは、ODS33を示すよう設定されているものとする。一方、ボタン情報(1)は、button numberが99に、ボタン情報(2)はbutton numberが42に、ボタン情報(3)はbutton numberが94に設定されているものとする。またボタン情報(1)〜(3)は、全てnumerically_selectable_flagが1に設定されているものとする。この場合、ボタン情報(1)〜(3)に対応する各ボタンの数値選択が可能になるので、ユーザによりリモコン400による「99」の数値入力がなされれば、ビギナーズ・ラック選手のボタンがセレクテッド状態になる。数値「99」の入力は、「4」キーの押下と、「9」キーの押下とを連続して受け付けることで実現しても良い。また「9」キーの押下と、「+10」キーの4回の押下とを連続して受け付けることで実現しても良い。「42」の数値入力がなされれば、ケアレス・ミス選手のボタンがセレクテッド状態、「94」の数値入力がなされれば、デッド・ストック選手のボタンがセレクテッド状態になる。
これらのボタン情報(1)〜(3)のauto_action_flagが1に設定されていれば、これら3つのボタンはセレクテッド状態になる代わりにアクティブ状態になり、ボタン情報の内部に含まれるボタンコマンド(LinkPL(PL#21),LinkPL(PL#22),LinkPL(PL#23))が実行される。3つのボタン情報に含まれるボタンコマンドのリンク先PL#21,#22,#23が、それぞれの選手の打撃シーン、投球シーンであれば、これら打撃シーン、投球シーンは、選手の背番号にあたる数値入力で再生されることになる。背番号という、知名度が高い番号でのダイレクトなボタン選択が可能になるので、ユーザによる操作性は一段と高まる。
続いてDisplay SetにおけるODSの順序について説明する。Display Setに属するODSは、ボタンの1つの状態を表すようICSにて指定されていることは、上述した通りである。ODSは、こうした指定、つまり、ボタンのどの状態を示すかという指定に応じて、Display Setにおける順序が決められる。
詳しくいうとDisplay SetにおいてODSは、ノーマル状態を表すもの(1)、セレクテッド状態を表すもの(2)、アクティブ状態を示すもの(3)というように、同じ状態を表すもの同士がグループ化される。このボタンの1つの状態を表すグループをbutton−stateグループという。そしてこれらbutton−stateグループを、ノーマル状態→セレクテッド状態→アクティブ状態というように並べる。このようにボタンのどの状態を表すかに応じて、ODSの順序を決めるというのが、Display SetにおけるODSの順序である。
図19は、Display Setに属するODSの順序を示す図である。本図の第2段目に、Display Setにおける3つのbutton−stateグループを示す。本図においてノーマル状態を描くODSの集合(ODSs for Normal state)、ボタンのセレクテッド状態を描くODSの集合(ODSs for Selected state)、ボタンのアクティブ状態を描くODSの集合(ODSs for Actioned state)が示されている。そしてこれらbutton−stateグループの順序は、ノーマル状態→セレクテッド状態→アクティブ状態というように並べられている。これはODSのうち、対話画面の初期表示を構成するものを早く読み出させ、アップデート後の画面表示を構成するものの読み出しを後にするという配慮である。
図19の第1段目は、これらbutton−stateグループにより描かれるグラフィクスオブジェクトAn,Bn,Cn,Dn,As,Bs,Cs,Ds,Aa,Ba,Ca,Daを示す。本図におけるAn,Bn,Cn,Dnにおける添字nは各ボタンのノーマル状態を表し、As,Bs,Cs,Dsにおける添字sは各ボタンのセレクテッド状態を表す。Aa,Ba,Ca,Daにおける添字aは各ボタンのアクティブ状態を表す。図19の第2段目は、第1段目のグラフィクスオブジェクトが属するbutton−stateグループを示す。尚、本図におけるODS1〜ODSnという表記は、「1」,「n」というような同じ番号が付されているが、これらN−ODSs,S−ODSs,A−ODSsに属するODSは別々のものである。以降、同様の表記の図は同じ意味であるとする。
図20は、図19のbutton−stateグループが配置された対話画面における状態遷移を示す図である。
本図における対話画面は、”初期表示”、”1stユーザアクションによる更新表示”、”2ndユーザアクションによる更新表示”という複数の状態をもつ。図中の矢印は、状態遷移のトリガとなるユーザアクションを表す。この図を参照すると、4つのボタンA,B,C,Dはそれぞれノーマル状態、セレクテッド状態、アクティブ状態という状態をもっている。このうち初期表示に必要なのは、3つのノーマル状態を描くグラフィクスオブジェクトと、1つのセレクテッド状態を描くグラフィクスオブジェクトであることがわかる。
デフォルトセレクテッドボタンが未確定であり、ボタンA〜ボタンDのうち、どのボタンがセレクテッド状態になるかが不定であっても、各ボタンのノーマル状態、セレクテッド状態を表すグラフィクスオブジェクトのデコードが完了すれば、初期表示を実現することができる。このことを意識して、本実施形態では、各状態に対応するbutton−stateグループを、図19の第2段目に示すようにノーマル状態→セレクテッド状態→アクティブ状態の順に配列している。かかる配列により、アクティブ状態を構成するODSの読み出しやデコードが未完であっても、初期表示を実現することができ、Display Setの読み出し開始から初期表示の完了までの期間を短くすることができる。
図21は、図16、図17に示したODSを、どのような順序で配列させるかについて説明する。図21は、Display SetにおけるODSの順序を示す図である。本図においてODSs for Normal stateは、ODS11〜13,ODS21〜23,ODS31〜33,ODS41〜43から構成されている。またODSs for Selected stateは、ODS14〜16,ODS24〜26,ODS34〜36,ODS44〜46から構成され、ODSs for Actioned stateは、ODS17〜19,ODS27〜29,ODS37〜39,ODS47〜49から構成されている。ODS11〜13は、図17に示したような、キャラクターの表情変化を描くものであり、ODS21〜23,ODS31〜33,ODS41〜43も同様なので、これらのODSを先頭のbutton−stateグループに配置することにより、Display Setの読み出しの途中であっても、初期表示の準備を整えることができる。これによりアニメーションを取り入れた対話画面を、遅滞なく実行することができる。
続いて複数のボタン状態からの多重参照されるODSの順序について説明する。多重参照とは、あるODSについてのobject_idがICSにおける2以上のnormal_state_info,selected_state_info,activated_state_infoにより指定されていることをいう。かかる多重参照を行えば、あるボタンのノーマル状態を描くグラフィクスオブジェクトを用いて、他のボタンのセレクテッド状態を描くことができ、グラフィクスオブジェクトの絵柄を共用することができる。かかる共用により、ODSの数を少なくすることができる。多重参照されるODSについては、どのbutton−stateグループに属するかが問題になる。つまりあるボタンのノーマル状態と、別のボタンのセレクテッド状態とが1つのODSで描かれている場合、このODSは、ノーマル状態に対応するbutton−stateグループに属するか、セレクテッド状態に対応するbutton−stateグループに属するかが問題となる。この場合ODSは、複数状態のうち、最も早く出現する状態に対応するbutton−stateグループに配置される。ノーマル状態−セレクテッド状態−アクティブ状態という3つの状態があり、あるODSがノーマル状態、セレクテッド状態で多重参照されるなら、ノーマル状態に対応するbutton−stateグループにこのODSは配置される。また別のODSがセレクテッド状態、アクティブ状態で多重参照されるなら、セレクテッド状態に対応するbutton−stateグループにこのODSは配置される。以上が多重参照されるODSの順序についての説明である。
セレクテッド状態に対応するbutton−stateグループにおける、ODSの順序について説明する。セレクテッド状態に対応するbutton−stateグループにおいて、どのODSが先頭に位置するかは、デフォルトセレクテッドボタンが確定しているか未確定であるかによって変わる。確定したデフォルトセレクテッドボタンとは、ICSにおけるdefault_selected_button_numberに00以外の有効な値が設定され、この値で指示されるボタンのことをいう。この場合、デフォルトセレクテッドボタンを表すODSが、button−stateグループの先頭に配置される。
未確定のデフォルトセレクテッドボタンとは、ICSにおけるdefault_selected_button_numberが値00を示しているようなDisplay Setにおいて、デフォルトでセレクテッド状態に設定されるボタンをいう。値00を示すよう、default_selected_button_numberを設定しておくのは、例えば、Display Setが多重されているAVClipが、複数再生経路の合流点になっているようなケースである。先行する複数再生経路がそれぞれ第1、第2、第3章であり、合流点にあたるDisplay Setが第1章、第2章、第3章に対応するボタンを表示させるものである場合、default_selected_button_numberにおいて、デフォルトでセレクテッド状態とすべきボタンを決めてしまうのは、おかしい。
第1章からの到達時には第2章にあたるボタン、第2章からの到達時には第3章にあたるボタン、第3章からの到達時には第4章にあたるボタンというように、このDisplay Setに到達するまでに、先行する複数再生経路のうち、どの再生経路を経由するかによって、セレクテッド状態とすべきボタンを変化させるのが理想的である。先行する再生経路によって、セレクテッド状態とすべきボタンが変わるようなケースにおいて、default_selected_button_numberは無効を示すよう、0に設定される。どの再生経路を経由するかによって、セレクテッド状態とすべきボタンを変化するから、特定のODSをbutton−stateグループの先頭に配置するというような配慮は行わない。
以上がODSの順序についての説明である。続いてこれらICS、ODSを有したDisplay Setが、AVClipの再生時間軸上にどのように割り当てられるかについて説明する。Epochは、再生時間軸上においてメモリ管理が連続する期間であり、Epochは1つ以上のDisplay Setから構成されるので、Display SetをどうやってAVClipの再生時間軸に割り当てるかが問題になる。ここでAVClipの再生時間軸とは、AVClipに多重されたビデオストリームを構成する個々のピクチャデータのデコードタイミング、再生タイミングを規定するための想定される時間軸をいう。この再生時間軸においてデコードタイミング、再生タイミングは、90KHzの時間精度で表現される。90KHzの時間精度は、NTSC信号、PAL信号、DolbyAC−3、MPEGオーディオのフレーム周波数の公倍数を考慮したものである。Display Set内のICS、ODSに付加されたDTS、PTSは、この再生時間軸において同期制御を実現すべきタイミングを示す。このICS、ODSに付加されたDTS、PTSを用いて同期制御を行うことが、再生時間軸へのDisplay Setの割り当てである。
先ず、ODSに付加されたDTS、PTSにより、どのような同期制御がなされるかについて説明する。
DTSは、ODSのデコードを開始すべき時間を90KHzの時間精度で示しており、PTSはデコードデッドラインを示す。
ODSのデコードは、瞬時には完了せず、時間的な長さをもっている。このデコード期間の開始点・終了点を明らかにしたいとの要望から、ODSについてのDTS、PTSはデコード開始時刻、デコードデッドラインを示している。
PTSの値はデッドラインであるので、PTSに示される時刻までにODSjのデコードがなされて、非圧縮状態のグラフィックオブジェクトが、再生装置上のオブジェクトバッファに得られなければならない。
Display Setnに属する任意のODSjのデコード開始時刻は、90KHzの時間精度でDTS(DSn[ODS])に示されるので、これにデコードを要する最長時間を加えた時刻が、Display SetのODSjのデコードデッドラインになる。
ODSjのサイズを”SIZE(DSn[ODSj])”、ODSのデコードレートを”Rd”とすると、デコードに要する最長時間(秒)は、”SIZE(DSn[ODSj])//Rd”になる。
この最長時間を90KHzの時間精度に変換し、ODSjのDTSに加算することにより、PTSで示されるべきデコードデッドライン(90KHz)は算出される。
DSnに属するODSjのPTSを、数式で表すと、以下の式のようになる。
Figure 0004245607
次にICSの、PTS値について説明する。
ICSのPTSは、DSnの初期表示を構成するODSのうち、デコード時刻が最も遅いODSのPTS値(1)、グラフィクスプレーンのクリアに要する時間(2)、ODSのデコードにより得られたグラフィクスオブジェクトをグラフィクスプレーンに転送する転送時間(3)を足した値に設定される。
ICSにおいてdefault_selected_button_numberが指定されている場合は、全てのボタンのノーマル状態を描画するODSのデコードと、デフォルトボタンのセレクテッド状態を描画するODSのデコードさえ完了すれば、初期表示を行うことができる。初期表示における複数ボタンのセレクテッド状態を描画するODSを、S−ODSsと呼び、そのうちデコード時刻が最も早いもの(この場合、デフォルトボタンを描画するもの)をS−ODSsfirstと呼ぶ。このS−ODSsfirstのPTS値を、デコード時刻が最も遅いODSのPTS値として、ICSのPTSの基準に用いる。
ICSにおいてdefault_selected_button_numberが指定されていない場合は、どのボタンがセレクテッド状態になるかわからないから、全ボタンのノーマル状態、セレクテッド状態を描画する準備が整なわないと、初期表示の準備が完了しない。初期表示における複数ボタンのセレクテッド状態を描画するS−ODSsのうち、デコード時刻が最も遅いものをS−ODSslastと呼ぶ。このS−ODSslastのPTS値を、デコード時刻が最も遅いODSのPTS値として、ICSのPTSの基準値に用いる。
S−ODSsfirstのデコードデッドラインをPTS(DSn[S−ODSsfirst])とすると、PTS(DSn[ICS])は、PTS(DSn[S−ODSsfirst])に、グラフィクスプレーンのクリアに要する時間(2)、ODSのデコードにより得られたグラフィクスオブジェクトをグラフィクスプレーンに書き込む書込時間(3)を足した値になる。
グラフィックプレーン内において描画可能な矩形領域の横幅をvideo_width,縦幅をvideo_heightとし、グラフィックプレーンへの書込レートを128Mbpsとすると、グラフィックプレーンのクリアに要する時間は、8×video_width×video_height//128,000,000と表現される。これを90KHzの時間精度で表現すれば、グラフィックプレーンのクリア時間(2)は 90,000×(8×video_width×video_height//128,000,000)になる。
ICSに含まれる全ボタン情報により、指定されるグラフィックオブジェクトの総サイズをΣSIZE(DSn[ICS.BUTTON[i]]とし、グラフィックプレーンへの書込レートを128Mbpsとすると、グラフィックプレーンへの書き込みに要する時間は、ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000と表現される。これを90KHzの時間精度で表現すれば、グラフィックプレーンのクリア時間(3)は90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000)になる。
以上の数式を用いることにより、PTS(DSn[ICS])は、以下の数式のように表現される。
Figure 0004245607
尚、本式は、ICSにおけるdefault_selected_button_numberが有効である場合の算出式に過ぎない。default_selected_button_numberが無効である場合の算出式は、以下の通りになる。
Figure 0004245607
以上のようにしてPTS、DTSを設定することにより、同期表示を実現する場合の一例を図22に示す。本図において動画における任意のピクチャデータpy1の表示タイミングで、ボタンを表示させる場合を想定する。この場合、ICSのPTS値は、このピクチャデータの表示時点になるよう設定せねばならない。尚ICSのDTSは、PTSにより示される時刻より前の時刻を示すよう設定される。
そしてICSのPTSから、画面のクリア期間cd1、グラフィクスオブジェクトの転送期間td1を差し引いた時刻に、DSnの初期表示を構成するODSのうち、デコード時刻が最も遅いODSのデコードが完了せねばならないから、図中の時点(★1)に、ODSのPTS値が設定しなければならない。更に、ODSのデコードには期間dd1を要するから、このPTSより期間dd1だけ早い時点に、このODSのDTS値を設定せねばならない。
図22において、動画と合成されるODSは1つだけであり、単純化されたケースを想定している。動画と合成されるべき対話画面の初期表示が、複数のODSで実現される場合、ICSのPTS及びDTS、ODSのPTS、DTSは図23のように設定せねばならない。
図23は、対話画面の初期表示が複数ODSにて構成され、デフォルトセレクテッドボタンが確定している場合のDTS、PTSの設定を示す図である。初期表示を実現するODSのうち、デコードが最も遅いS−ODSsfirstのデコードが図中の期間dd1の経過時に終了するなら、このS−ODSsfirstのPTS(DSn[S−ODSsfirst])は、期間dd1の経過時を示すよう設定される。
更に、初期表示の実現には、画面クリアを行い、デコードされたグラフィクスオブジェクトを転送せねばならないから、このPTS(DSn[S−ODSsfirst])の値に画面クリアに要する期間(90,000×(8×video_width×video_height//128,000,000))、デコードされたグラフィクスオブジェクトの転送期間(90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000))を足した時点以降を、ICSのPTS(DSn[ICS])として設定せねばならない。
図24は、対話画面の初期表示が複数ODSにて構成され、デフォルトセレクテッドボタンが未定である場合のDTS、PTSの設定を示す図である。初期表示を実現するS−ODSsのうち、デコードが最も遅いS−ODSslastのデコードが図中の期間dd2の経過時に終了するなら、このS−ODSslastのPTS(DSn[S−ODSslast])は、期間dd2の経過時を示すように設定される。
更に、初期表示の実現には、画面クリアを行い、デコードされたグラフィクスオブジェクトを転送せねばならないから、このPTS(DSn[S−ODSslast])の値に画面クリアに要する期間(90,000×(8×video_width×video_height//128,000,000))、デコードされたグラフィクスオブジェクトの転送期間(90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000))を足した時点以降を、ICSのPTS(DSn[ICS])として設定せねばならない。以上がICSによる同期制御である。
DVDにおいて、対話制御が有効になる期間は、そのビデオストリームのGOPにあたるVOBUの期間であったが、BD−ROMでは、Epochに含まれるICSのPTS、DTSによりこの有効期間を任意に設定し得る。このためBD−ROMにおける対話制御は、GOPとの依存性をもたない。
尚、ICSのPTSによる同期制御は、再生時間軸上のあるタイミングでボタンを表示するという制御のみならず、再生時間軸上のある期間でPopupメニューの表示を可能とする制御を含む。Popupメニューとは、リモコン400に設けられたメニューキーの押下でPopup表示されるメニューであり、このPopup表示が、AVClipにおけるあるピクチャデータの表示タイミングで可能になることも、ICSのPTSによる同期制御である。Popupメニューを構成するODSは、ボタンを構成するODSと同様、ODSのデコードが完了し、デコードにより得られたグラフィックオブジェクトがグラフィックプレーンに書き込まれる。このグラフィックプレーンへの書き込みが完了していなければ、ユーザからのメニューコールに応ずることはできない。そこでPopupメニューの同期表示にあたって、ICSのPTSに、Popup表示が可能になる時刻を示しておくのである。
以上が本発明に係る記録媒体の実施形態である。続いて本発明に係る再生装置の実施形態について説明する。図25は、本発明に係る再生装置の内部構成を示す図である。本発明に係る再生装置は、本図に示す内部に基づき、工業的に生産される。本発明に係る再生装置は、主としてシステムLSIと、ドライブ装置、マイコンシステムという3つのパーツからなり、これらのパーツを装置のキャビネット及び基板に実装することで工業的に生産することができる。システムLSIは、再生装置の機能を果たす様々な処理部を集積した集積回路である。こうして生産される再生装置は、BDドライブ1、トラックバッファ2、PIDフィルタ3、Transport Buffer4a,b,c、周辺回路4d、ビデオデコーダ5、ビデオプレーン6、オーディオデコーダ7、グラフィクスプレーン8、CLUT部9、加算器10、グラフィクスデコーダ12、Coded Dataバッファ13、周辺回路13a、Stream Graphicsプロセッサ14、Object Buffer15、Compositionバッファ16、Graphicalコントローラ17、UOコントローラ18、プレーヤレジスタ群19、制御部20から構成される。
BD−ROMドライブ1は、BD−ROMのローディング/リード/イジェクトを行い、BD−ROMに対するアクセスを実行する。
トラックバッファ2は、FIFOメモリであり、BD−ROMから読み出されたTSパケットが先入れ先出し式に格納される。
PIDフィルタ3は、トラックバッファ2から出力される複数TSパケットに対してフィルタリングを施す。PIDフィルタ3によるフィルタリングは、TSパケットのうち、所望のPIDをもつもののみをTransport Buffer4a,b,cに書き込むことでなされる。PIDフィルタ3によるフィルタリングでは、バッファリングは必要ではない。従って、PIDフィルタ3に入力されたTSパケットは、時間遅延なく、Transport Buffer4a,b,cに書き込まれる。
Transport Buffer4a,b,cは、PIDフィルタ3から出力されたTSパケットを先入れ先出し式に格納しておくメモリである。
周辺回路4dは、Transport Buffer4a,b,cから読み出されたTSパケットを、機能セグメントに変換する処理を行うワイアロジックである。変換により得られた機能セグメントはCoded Dataバッファ13に格納される。
ビデオデコーダ5は、PIDフィルタ3から出力された複数TSパケットを復号して非圧縮形式のピクチャを得てビデオプレーン6に書き込む。
ビデオプレーン6は、動画用のプレーンである。
オーディオデコーダ7は、PIDフィルタ3から出力されたTSパケットを復号して、非圧縮形式のオーディオデータを出力する。
グラフィクスプレーン8は、一画面分の領域をもったメモリであり、一画面分の非圧縮グラフィクスを格納することができる。
CLUT部9は、グラフィクスプレーン8に格納された非圧縮グラフィクスにおけるインデックスカラーを、PDSに示されるY,Cr,Cb値に基づき変換する。
加算器10は、CLUT部9により色変換された非圧縮グラフィクスに、PDSに示されるT値(透過率)を乗じて、ビデオプレーン6に格納された非圧縮状態のピクチャデータと画素毎に加算し、合成画像を得て出力する。
グラフィクスデコーダ12は、グラフィクスストリームをデコードして、非圧縮グラフィクスを得て、これをグラフィクスオブジェクトとしてグラフィクスプレーン8に書き込む。グラフィクスストリームのデコードにより、字幕やメニューが画面上に現れることになる。このグラフィクスデコーダ12は、Coded Dataバッファ13、周辺回路13a、Stream Graphicsプロセッサ14、Object Buffer15、Compositionバッファ16、Graphicalコントローラ17から構成される。
Code Data Buffer13は、機能セグメントがDTS、PTSと共に格納されるバッファである。かかる機能セグメントは、Transport Buffer4a,b,cに格納されたトランスポートストリームの各TSパケットから、TSパケットヘッダ、PESパケットヘッダを取り除き、ペイロードをシーケンシャルに配列することにより得られたものである。取り除かれたTSパケットヘッダ、PESパケットヘッダのうち、PTS/DTSは、PESパケットと対応付けて格納される。
周辺回路13aは、Coded Dataバッファ13−Stream Graphicsプロセッサ14間の転送、Coded Dataバッファ13−Compositionバッファ16間の転送を実現するワイヤロジックである。この転送処理において現在時点がODSのDTSに示される時刻になれば、ODSを、Coded Dataバッファ13からStream Graphicsプロセッサ14に転送する。また現在時刻がICS、PDSのDTSに示される時刻になれば、ICS、PDSをCompositionバッファ16に転送するという処理を行う。
Stream Graphics Processor14は、ODSをデコードして、デコードにより得られたインデックスカラーからなる非圧縮状態の非圧縮グラフィクスをグラフィクスオブジェクトとしてObject Buffer15に書き込む。このStream Graphicsプロセッサ14によるデコードは、ODSに関連付けられたDTSの時刻に開始し、ODSに関連付けられたPTSに示されるデコードデッドラインまでに終了する。上述したグラフィックオブジェクトのデコードレートRdは、このStream Graphicsプロセッサ14の出力レートである。
Object Buffer15には、Stream Graphicsプロセッサ14のデコードにより得られたグラフィクスオブジェクトが配置される。
Compositionバッファ16は、ICS、PDSが配置されるメモリである。
Graphicalコントローラ17は、Compositionバッファ16に配置されたICSを解読して、ICSに基づく制御をする。この制御の実行タイミングは、ICSに付加されたPTSの値に基づく。
UOコントローラ18は、リモコンや再生装置のフロントパネルに対してなされたユーザ操作を検出して、ユーザ操作を示す情報(以降UO(User Operation)という)を制御部20に出力する。
プレーヤレジスタ群19は、制御部20に内蔵されるレジスタであり、32個のPlayer Status Registerと、32個のGeneral Purppose Registerとからなる。Player Status Registerの設定値(PSR)がどのような意味をもつかは、以下に示す通りである。以下のPSR(x)という表記は、x番目のPlayer Status Registerの設定値を意味する。
PSR(0) : Reserved
PSR(1) : デコード対象たるオーディオストリームのストリーム番号
PSR(2) : デコード対象たる副映像ストリームのストリーム番号
PSR(3) : ユーザによるアングル設定を示す番号
PSR(4) : 現在再生対象とされているタイトルの番号
PSR(5) : 現在再生対象とされているChapterの番号
PSR(6) : 現在再生対象とされているPLの番号
PSR(7) : 現在再生対象とされているPlayItemの番号
PSR(8) : 現在の再生時点を示す時刻情報
PSR(9) : ナビゲーションタイマのカウント値
PSR(10) : 現在セレクテッド状態にあるボタンの番号
PSR(11)〜(12): Reserved
PSR(13) : ユーザによるパレンタルレベルの設定
PSR(14) : 再生装置の映像再生に関する設定
PSR(15) : 再生装置の音声再生に関する設定
PSR(16) : 再生装置における音声設定を示す言語コード
PSR(17) : 再生装置における字幕設定を示す言語コード
PSR(18) : メニュー描画のための言語設定
PSR(19)〜(63): Reserved
PSR(8)は、AVClipに属する各ピクチャデータが表示される度に更新される。つまり再生装置が新たなピクチャデータを表示させれば、その新たなピクチャデータの表示開始時刻(Presentation Time)を示す値にPSR(8)は更新される。このPSR(8)を参照すれば、現在の再生時点を知得することができる。
制御部20は、グラフィクスデコーダ12との双方向のやりとりを通じて、統合制御を行う。制御部20からグラフィクスデコーダ12へのやりとりとは、UOコントローラ18が受け付けたUOを、グラフィクスデコーダ12に出力することである。グラフィクスデコーダ12から制御部20へのやりとりとは、ICSに含まれるボタンコマンドを制御部20に出力することである。
以上のように構成された再生装置において、各構成要素はパイプライン式にデコード処理を行う。
図26は、ODSのデコードがどのように行われるかの時間的遷移を示すタイミングチャートである。ODSのデコードがどのように行われるかの時間的遷移を示すタイミングチャートである。第4段目は、BD−ROMにおけるDisplay Setを示し、第3段目は、Coded Dataバッファ13へのICS、PDS、ODSの読出期間を示す。第2段目は、Stream Graphicsプロセッサ14による各ODSのデコード期間を示す。第1段目は、Graphicalコントローラ17による処理期間を示す。各ODSのデコード開始時刻は、図中のDTS11,DTS12,DTS13に示されている。デコード開始時刻がDTSに規定されているので、各ODSは、自身のDTSに示される時刻までにCoded Dataバッファ13に読み出されなければならない。そのためODS1の読み出しは、Coded Dataバッファ13へのODS1のデコード期間dp1の直前までに完了している。Coded Dataバッファ13へのODSnの読み出しは、ODS2のデコード期間dp2の直前までに完了している。
一方、各ODSのデコードデッドラインは、図中のPTS11,PTS12,PTS13に示されている。Stream Graphicsプロセッサ14によるODS1のデコードはPTS11までに完了し、ODSnのデコードは、PTS12に示される時刻までに完了する。以上のように、各ODSのDTSに示される時刻までに、ODSをCoded Dataバッファ13に読み出し、Coded Dataバッファ13に読み出されたODSを、各ODSのPTSに示される時刻までに、デコードしてObject Buffer15に書き込む。これらの処理を、1つのStream Graphicsプロセッサ14は、パイプライン式に行う。
デフォルトセレクテッドボタンが確定している場合、対話画面の初期表示に必要なグラフィクスオブジェクトがObject Buffer15上で全て揃うのは、ノーマル状態に対応するbutton−stateグループ、セレクテッド状態に対応するbutton−stateグループの先頭ODSのデコードが完了した時点である。本図でいえば、PTS13に示される時点で、対話画面の初期表示に必要なグラフィクスオブジェクトは全て揃う。
本図の第1段目における期間cd1は、Graphicalコントローラ17がグラフィクスプレーン8をクリアするのに要する期間である。また期間td1は、Object Buffer15上にえられたグラフィクスオブジェクトを、グラフィクスプレーン8に書き込むのに要する期間である。グラフィクスプレーン8における書込先は、ICSにおけるbutton_horizontal_position,button_vertical_positionに示されている場所である。つまりODSのPTS13の値に、画面クリアの期間cd1と、デコードにより得られたグラフィクスオブジェクトの書込期間td1とを足し合わせれば、対話画面を構成する非圧縮グラフィクスがグラフィクスプレーン8上に得られることになる。この非圧縮グラフィクスの色変換をCLUT部9に行わせ、ビデオプレーン6に格納されている非圧縮ピクチャとの合成を加算器10に行わせれば、合成画像が得られることになる。
Display Setに含まれる全てのODSをデコードした上で初期表示を行う場合と比較すると、セレクテッド状態に対応するbutton−stateグループ、アクティブ状態に対応するbutton−stateグループのデコード完了を待つことなく、初期表示は可能になるので、図中の期間hy1だけ、初期表示の実行は早められることになる。
尚、本図におけるODS1〜ODSnという表記は、「1」,「n」というような同じ番号が付されているが、これらN−ODSs,S−ODSs,A−ODSsに属するODSは別々のものである。以降、同様の表記の図は同じ意味であるとする。
グラフィクスデコーダ12において、Graphicalコントローラ17がグラフィクスプレーン8のクリアやグラフィクスプレーン8への書き込みを実行している間においても、Stream Graphicsプロセッサ14のデコードは継続して行われる(第2段目のODSnのデコード期間,ODS1のデコード期間,ODSnのデコード期間n,)。Graphicalコントローラ17によるグラフィクスプレーン8のクリアやグラフィクスプレーン8への書き込みが行われている間に、残りのODSに対するデコードは、継続してなされるので、残りのODSのデコードは早く完了する。残りのODSのデコードが早く完了することにより対話画面を更新するための準備は早く整うので、これら残りのODSを用いた対話画面更新も、ユーザ操作に即応することができる。以上のようなパイプライン処理により、対話画面の初期表示、更新の双方を迅速に実施することができる。
図26ではデフォルトセレクテッドボタンが確定している場合を想定したが、図27は、デフォルトセレクテッドボタンが未確定である場合の、再生装置によるパイプライン処理を示すタイミングチャートである。デフォルトセレクテッドボタンが未確定している場合、button−stateグループに属する全てのODSをデコードして、グラフィクスオブジェクトをグラフィクスプレーン8に得れば、初期表示に必要なグラフィクスオブジェクトは全て揃う。Display Setに含まれる全てのODSをデコードした上で初期表示を行う場合と比較すると、アクティブ状態に対応するbutton−stateグループのデコード完了を待つことなく、初期表示は可能になる。そのため図中の期間hy2だけ、初期表示の実行は早められることになる。
以上が再生装置の内部構成である。続いて制御部20及びグラフィクスデコーダ12を、どのようにして実装するかについて説明する。制御部20は、図28、図29の処理手順を行うプログラムを作成し、汎用CPUに実行させることにより実装可能である。以降、図28、図29を参照しながら、制御部20の処理手順について説明する。
図28は、制御部20によるLinkPL関数の実行手順を示すフローチャートである。LinkPL関数を含むコマンドの解読時において、制御部20は本図のフローチャートに従って、処理を行う。
本フローチャートにおいて処理対象たるPlayItemをPIy、処理対象たるACCESS UNITをACCESS UNITvとする。本フローチャートは、LinkPLの引数で指定されたカレントPL情報(.mpls)の読み込みを行い(ステップS1)、カレントPL情報の先頭のPI情報をPIyにする(ステップS2)。そしてPIyのClip_information_file_nameで指定されるClip情報を読み込む(ステップS3)。
Clip情報を読み込めば、カレントClip情報のEP_mapを用いてPIyのIN_timeを、アドレスに変換する(ステップS4)。そして変換アドレスにより特定されるACCESS UNITをACCESS UNITvにする(ステップS5)。一方、PIyのOut_timeを,カレントClip情報のEP_mapを用いてアドレスに変換する(ステップS6)。そして、その変換アドレスにより特定されるACCESS UNITをACCESS UNITwにする(ステップS7)。
こうしてACCESS UNITv,wが決まれば、ACCESS UNITvからACCESS UNITwまでの読み出しをBDドライブに命じ(ステップS8)、PIyのIN_timeからOut_timeまでのデコード出力をビデオデコーダ5、オーディオデコーダ7、グラフィクスデコーダ12に命じる(ステップS9)。
ステップS11は、本フローチャートの終了判定であり、PIyがPIzになったかを判定している。もしステップS11がYesなら本フローチャートを終了し、そうでないなら、PIyを次のPlayItemに設定して(ステップS12)、ステップS3に戻る。以降、ステップS11がYesと判定されるまで、ステップS1〜ステップS10の処理は繰り返される。
ステップS10は、ACCESS UNITの読み出しにともなって機能セグメントをCoded Dataバッファ13にロードするステップである。
図29は、機能セグメントのロード処理の処理手順を示すフローチャートである。本フローチャートにおいてSegmentKとは、ACCESS UNITと共に読み出されたSegment(ICS,ODS,PDS)のそれぞれを意味する変数であり、無視フラグは、このSegmentKを無視するかロードするかを切り換えるフラグである。本フローチャートは、無視フラグを0に初期化した上で、ステップS21〜S24、ステップS27〜S35の処理を全てのSegmentKについて繰り返すループ構造を有している(ステップS25、ステップS26)。
ステップS21は、SegmentKがICSであるか否かの判定であり、もしSegmentKがICSであれば、ステップS27、ステップS28の判定を行う。
ステップS27は、ICSにおけるSegment_TypeがAcquisition Pointであるか否かの判定である。SegmentKがAcquisition Pointであるなら、ステップS28に移行し、SegmentKがもしEpoch StartかNormal Caseであるなら、ステップS33に移行する。
ステップS28は、先行するDSがプレーヤ上のCoded Dataバッファ13に存在するかどうかの判定であり、ステップS27がYesである場合に実行される。Coded Dataバッファ13上にDSが存在しないケースとは、頭出しがなされたケースをいう。この場合、Acquisition PointたるDSから、表示を開始せねばならないので、ステップS30に移行する(ステップS28でNo)。
Coded Dataバッファ13上に先行するDSが存在する場合は(ステップS28でYes)、無視フラグを1に設定して(ステップS29)、ステップS31に移行する。
ステップS31は、command_update_flagが1であるか否かの判定である。もし1であるなら(ステップS31でYes)、ボタン情報のボタンコマンドのみをCoded Dataバッファ13にロードし、それ以外を無視する(ステップS32)。もし0であるなら、ステップS22に移行する。これによりAcquisition Pointを示すICSは無視されることになる(ステップS24)。
無視フラグが1に設定されていれば、Acquisition PointたるDSに属する機能セグメントは全て、ステップS22がNoになって、無視されることになる。
ステップS33は、ICSにおけるSegment_TypeがNormal Caseであるか否かの判定である。SegmentKがEpoch Startであるなら、ステップS30において無視フラグを0に設定する。
無視フラグが0であれば(ステップS22でYes)、SegmentKをCoded Dataバッファ13にロードし(ステップS23)、
SegmentKがもしEpoch StartかNormal Caseであるなら、ステップS34に移行する。ステップS34は、ステップS28と同じであり、先行するDSがプレーヤ上のCoded Dataバッファ13に存在するかどうかの判定を行う。もし存在するなら、無視フラグを0に設定する(ステップS30)。存在しないなら、無視フラグを1に設定する(ステップS35)。かかるフラグ設定により、先行するDSがプレーヤ上のCoded Dataバッファ13に存在しない場合、Normal Caseを構成する機能セグメントは無視されることになる。
これらのボタン情報(1)〜(3)のauto_action_flagが1に設定されていれば、これら3つのボタンはセレクテッド状態になる代わりにアクティブ状態になり、ボタン情報の内部に含まれるボタンコマンド(LinkPL(PL#21),LinkPL(PL#22),LinkPL(PL#23))が実行される。3つのボタン情報に含まれるボタンコマンドのリンク先PL#21,#22,#23が、それぞれの選手の打撃シーン、投球シーンであれば、これら打撃シーン、投球シーンは、選手の背番号にあたる数値入力で再生されることになる。背番号という、知名度が高い番号でのダイレクトなボタン選択が可能になるので、ユーザによる操作性は一段と高まる。
DSが、図30のように多重化されている場合を想定して、DSの読み出しがどのように行われるかを説明する。図30の一例では、3つのDSが動画と多重化されている。この3つのDSのうち、初めのDS1は、Segment_TypeがEpoch_Startであり、Command_update_flagが0に設定され、LinkPL(PL#5)というボタンコマンドを含む。
DS10は、DS1のduplicateであり、Segment_TypeはAcquision Point、Command_update_flagが0に設定され、LinkPL(PL#5)というボタンコマンドを含む。
DS20は、DS1のInheritであり、Segment_TypeはAcquision Pointになっている。DS1から変化があるのはボタンコマンドであり(LinkPL(PL#10))、これを示すべくCommand_update_flagが1に設定されている。
かかる3つのDSが、動画と多重化されているAVClipにおいて、ピクチャデータpt10からの頭出しが行われたものとする。この場合、頭出し位置に最も近いDS10が、図29のフローチャートの対象となる。ステップS27においてsegment_typeはAcquisition Pointと判定されるが、先行するDSはCoded Dataバッファ13上に存在しないため、無視フラグは0に設定され、このDS10が図31に示すように再生装置のCoded Dataバッファ13にロードされる。一方、頭出し位置がDisplay Setの存在位置より後である場合は(図30の破線hst1)、Display Set10に後続するDisplay Set20(図31のhst2)がCoded Dataバッファ13に読み出される。
図32のように通常再生が行われた場合のDS1,10,20のロードは、図33に示すものとなる。3つのDSのうち、ICSのSegment_TypeがEpoch StartであるDS1は、そのままCoded Dataバッファ13にロードされるが(ステップS23)、ICSのSegment_TypeがAcquisition PointであるDS10については、無視フラグが1に設定されるため(ステップS29)、これを構成する機能セグメントはCoded Dataバッファ13にロードされず無視される(ステップS24)。またDS20については、ICSのSegment_TypeはAcquisition Pointであるが、Command_update_flagが1に設定されているので、ステップS31がYesになり、ボタンコマンドのみがロードされて、Coded Dataバッファ13上のDSのうち、ICS内のボタンコマンドのみをこれに置き換えられる(ステップS32)。しかし無視フラグは依然として1を示しているので、このボタンコマンド以外は、ロードされることなく無視される。
DSによる表示内容は同じであるが、DS20への到達時には、ボタンコマンドは、DSのLinkPL(#5)からLinkPL(#10)に置き換えられている。かかる置き換えにより、再生進行に伴い、ボタンコマンドの内容が変化するという制御が可能になる。続いてGraphicalコントローラ17の処理手順について説明する。図34はGraphicalコントローラ17の処理手順のうち、メインルーチンにあたる処理を描いたフローチャートである。本フローチャートは、タイムスタンプ同期処理(ステップS35)、アニメーション表示処理(ステップS36)、UO処理(ステップS37)という3つの処理を繰り返し実行するというものである。
続いてGraphicalコントローラ17の処理手順について説明する。図34はGraphicalコントローラ17の処理手順のうち、メインルーチンにあたる処理を描いたフローチャートである。本フローチャートは、同期処理(ステップS35)、アニメーション表示処理(ステップS36)、UO処理(ステップS37)という3つの処理を繰り返し実行するというものである。
図35は、タイムスタンプによる同期制御の処理手順を示すフローチャートである。本フローチャートは、ステップS43〜ステップS47の何れかの事象が成立しているかどうかを判定し、もしどれかの事象が成立すれば、該当する処理を実行してメインルーチンにリターンするというサブルーチンを構成する。
ステップS43は、現在の再生時点がODSのPTSに示される時刻であるかの判定であり、もしそうであれば、グラフィクスプレーン8への書き込み処理を行って(ステップS51)、メインルーチンにリターンする。
ステップS45は、現在の再生時点がICSのPTSであるかの判定である。もしそうであれば、グラフィクスプレーン8の格納内容の出力を開始させる。この格納内容の出力先は、CLUT部9であり、CLUT部9により色変換がなされた上で、対話画面はビデオプレーン6の格納内容と合成される。これにより初期表示が実行される(ステップS52)。そして変数qに1を設定して(ステップS53)、メインルーチンにリターンする。尚、変数qはアニメーション表示に用いられるグローバル変数(複数フローチャートにわたって有効になるという意味である)であり、その意味合いについては後述する。
ステップS46、ステップS47は、ICSに記述された時間情報に現在の再生時点が到達したかどうかの判定である。
ステップS46は、現在の再生時点がselection_TimeOut_PTSに示される時刻であるかの判定であり、もしそうであれば、defaut_activated_button_numberで指定されるボタンをアクティベートする処理を行い、メインルーチンにリターンする(ステップS54)。
ステップS47は、現在の再生時点がComposition_TimeOut_PTSであるかの判定であり、もしそうであれば、画面クリアを行ってメインルーチンにリターンする(ステップS55)。以上がタイムスタンプによる同期処理である。この同期処理において、ステップS51、ステップS54の処理手順は、サブルーチン化されている。ステップS51のサブルーチンの処理手順を、図36を参照しながら説明する。
図36は、グラフィクスプレーン8の書込処理の処理手順を示すフローチャートである。グラフィクスプレーン8への書込は、初期表示に先立ち必要なものである。本フローチャートにおけるODSxとは、PSR(10)に示される、現在の再生時点にあたるPTSをもつODSのことである。ステップS61〜ステップS63は、このODSが、対話画面の初期表示に必要なODSのうち、最後のものであるかの判定であり、もし最後のODSであれば、ステップS64〜ステップS72の処理を実行する。
ステップS61は、default_selected_button_numberによる指定が有効であるか否かの判定であり、もし有効であるなら、ステップS63においてODSxはS−ODSsfirstであるかを判定する。ステップS63がNoならそのまま本フローチャートを終了してメインルーチンにリターンする。
ステップS61においてNoと判定されれば、ステップS62においてODSxは,S−ODSslastであるか否かを判定する。ステップS62がNoならそのまま本フローチャートを終了してメインルーチンにリターンする。
ステップS64は、ICSにおけるSegment_typeがEpoch Startであるか否かの判定であり、もしEpoch StartであればステップS65においてグラフィクスプレーン8をクリアしてから、ステップS66〜ステップS72の処理を行う。グラフィクスプレーン8のクリアに要する期間が、図23、図24の期間cd1である。もしEpoch StartでなければステップS65をスキップしてステップS66〜ステップS72の処理を行う。
ステップS66〜ステップS72は、ICSにおける各ボタン情報について繰り返されるループ処理を形成している(ステップS66、ステップS67)。本ループ処理において処理対象になるべきボタン情報をボタン情報(p)という。ステップS68は、button_info(p)はdefault_selected_button_numberにより指定されたデフォルトセレクテッドボタンに対応するボタン情報であるかの判定である。
デフォルトセレクテッドボタンに対応するボタン情報でないなら、button_info(p)のnormal_state_infoに指定されているstart_object_id_normalのグラフィクスオブジェクトを、グラフィクスオブジェクト(p)としてObject Buffer15から特定する(ステップS69)。
デフォルトセレクテッドボタンに対応するボタン情報であるなら、button_info(p)のselected_state_infoに指定されているstart_object_id_selectedのグラフィクスオブジェクトを、グラフィクスオブジェクト(p)としてObject Buffer15から特定して(ステップS70)、ボタン(p)をカレントボタンにする(ステップS71)。カレントボタンとは、現在表示中の対話画面において、セレクテッド状態になっているボタンであり、再生装置はこのカレントボタンの識別子を、PSR(10)として格納している。
ステップS69、ステップS70を経ることでグラフィクスオブジェクト(p)が特定されれば、button_info(p)のbutton_horizontal_position,button_vertical_positionに示されるグラフィクスプレーン8上の位置に、グラフィクスオブジェクト(p)を書き込む(ステップS72)。かかる処理をICSにおける各ボタン情報について繰り返せば、各ボタンの状態を表す複数グラフィクスオブジェクトのうち、最初のグラフィクスオブジェクトがグラフィクスプレーン8上に書き込まれることになる。Object Buffer15上の全てのグラフィクスオブジェクトについて、かかる処理を実行するのに要する期間が、図23、図24の期間td1である。以上がステップS51の詳細である。続いてステップS54のサブルーチンの処理手順を、図37を参照しながら説明する。
図37は、デフォルトセレクテッドボタンのオートアクティベートの処理手順を示すフローチャートである。先ずdefault_activated_button_numberが0であるか,FFであるかどうかを判定し(ステップS91)、00であれば何の処理も行わずメインルーチンにリターンする。もしdefault_activated_button_numberがFFなら、カレントボタンをボタンuとする(ステップS95)。
00でも、FFでもなければ、default_activated_button_numberで指定されるボタンをボタンuとし(ステップS92)、ボタンuをアクティブ状態に遷移する(ステップS93)。この遷移は、ボタンuのactivated_state_info.におけるstart_object_id_activatedからend_object_id_activatedまでのグラフィクスオブジェクトを、ボタンuのbutton_horizontal_position,button_vertical_positionに示されている位置に書き込むことでなされる。そしてボタンuに対応するボタンコマンドを実行した後(ステップS94)、メインルーチンにリターンする。
以上の処理により、セレクテッド状態のボタンは、所定時間の経過時においてアクティブ状態に遷移させられることになる。以上が、図37のフローチャートの全容である。
続いて、メニューにおけるアニメーション(ステップS36)について説明する。図38は、アニメーション表示の処理手順を示すフローチャートである。
ここで初期表示は、各button_infoのnormal_state_infoにおけるstart_object_id_normal、selected_state_infoにおけるstart_object_id_selectedで指定されているグラフィクスオブジェクトを、グラフィクスプレーン8に書き込まれることにより実現した。アニメーションとは、ステップS35〜ステップS37のループ処理が一巡する度に、各ボタンにおける任意のコマ(qコマ目にあるグラフィクスオブジェクト)をこのグラフィクスプレーン8に上書する処理である。この更新は、button_infoのnormal_state_info、selected_state_infoで指定されているグラフィクスオブジェクトを、一枚ずつグラフィクスプレーン8に書き込んでメインルーチンにリターンすることでなされる。ここで変数qとは、各ボタン情報のbutton_infoのnormal_state_info、selected_state_infoで指定されている個々のグラフィクスオブジェクトを指定するための変数である。
このアニメーション表示を実現するための処理を、図38を参照しながら説明する。尚本フローチャートにおいては、各ボタンにおけるアニメーションのコマ数を同じであるとの想定で作図している。これはコマ数がボタン毎に異なると、処理手順が複雑になるため、簡略化したいとの配慮である。また本フローチャートは、記述の簡略化を期するため、ICSのrepeat_normal_flag、repeat_selected_flagが繰り返し要と設定されているとの前提で作図している。
ステップS80は初期表示が済んでいるか否かの判定であり、もし済んでいなけれ何の処理も行わずにリターンする。もし済んでいればステップS81〜ステップS90の処理を実行する。ステップS81〜ステップS90は、ICSにおける各button_infoについて、ステップS83〜ステップS87の処理を繰り返すというループ処理を構成している(ステップS81、ステップS82)。
ステップS83は、button_info(p)が、カレントボタンに対応するbutton_infoであるか否かの判定である。
カレントボタンに対応するボタンであれば、button_info(p).normal_state_infoにおけるstart_object_id_selectedに変数qを足した識別子をID(q)とする(ステップS84)。
カレントボタン以外のボタンならば、button_info(p).selected_state_infoにおけるstart_object_id_seleetedに変数qを足した識別子をID(q)とする(ステップS85)。
そしてObject Buffer15に存在する、ID(q)を有するグラフィクスオブジェクト(p)を、button_info(p)のbutton_horizontal_position,button_vertical_positionに示されるGraphics Plane8上の位置に書き込む(ステップS87)。以上の処理は、ICSにおける全てのbutton_infoについて繰り返される(ステップS81、ステップS82)。
以上のループ処理により、カレントボタンのセレクテッド状態及びその他のボタンのノーマル状態を構成する複数グラフィクスオブジェクトのうち、q枚目のものがグラフィクスプレーン8に書き込まれることになる。
ステップS88は、end_object_id_normalがstart_object_id_normal+qに達したか否かの判定であり、もし達したならqを0に初期化した後メインルーチンにリターンする(ステップS89)。まだ達しないなら変数qをインクリメントした後メインルーチンにリターンする(ステップS90)。
以上のステップS80〜ステップS90により対話画面における各ボタンの絵柄は、ステップS35〜ステップS37が一巡する度に新たなグラフィクスオブジェクトに更新される。ステップS35〜ステップS37の処理が何度も反復されれば、いわゆるアニメーションが可能になる。アニメーションにあたって、グラフィクスオブジェクト一コマの表示間隔は、animation_frame_rate_codeに示される値になるようにGraphicalコントローラ17は時間調整を行う。このような時間調整を実行するのは、他のフローチャートでも同様である。以上でアニメーション表示処理についての説明を終わる。続いてメインルーチンのステップS37におけるUO処理の処理手順について図39を参照しながら説明する。
図39は、UO処理の処理手順を示すフローチャートである。本フローチャートは、ステップS100〜ステップS103の何れかの事象が成立しているかどうかを判定し、もしどれかの事象が成立すれば、該当する処理を実行してメインルーチンにリターンする。ステップS100は、UOmaskTableが”1”に設定されているかどうかの判定であり、もしに設定されていれば、何の処理も行わずに、メインルーチンにリターンする。
ステップS101は、MoveUP/Down/Left/Rightキーが押下されたかどうかの判定であり、もしこれらのキーが押下されれば、カレントボタンを変更して(ステップS104)、カレントボタンのauto_action_flagが01かどうかを判定する(ステップS108)。もし違うならメインルーチンにリターンする。もしそうであるなら、ステップS105に移行する。
ステップS102は、activatedキーが押下されたかどうかの判定であり、もしそうであれば、ステップS105においてカレントボタンをアクティブ状態に遷移する。この状態遷移は、カレントボタンのactivated_state_info.におけるstart_object_id_activatedからend_object_id_activatedまでのグラフィクスオブジェクトを、Graphics Plane8内のカレントボタンのbutton_horizontal_position,button_vertical_positionに示されている位置に書き込むことでなされる。これにより、ボタンで描かれたキャラクタが、ユーザ操作に応じて動くような状態遷移を実現することができる。かかる状態遷移の後、カレントボタンに対応するボタンコマンドを実行する(ステップS106)。
ステップS103は、数値入力であるかどうかの判定であり、もし数値入力であれば、数値入力処理を行って(ステップS107)、メインルーチンにリターンする。図39の処理手順のうち、ステップS104、ステップS107はサブルーチン化されている。このサブルーチンの処理手順を示したのが図40、図41である。以降これらのフローチャートについて説明する。
図40は、カレントボタンの変更処理の処理手順を示すフローチャートである。尚本フローチャートにおいては、各ボタンにおけるアニメーションのコマ数を同じであるとの想定で作図している。これはコマ数がボタン毎に異なると、処理手順が複雑になるため、簡略化したいとの配慮である。先ず初めに、カレントボタンのneighbor_infoにおけるupper_button_number,lower_button_number,left_button_number,right_button_numberのうち、押下されたキーに対応するものを特定する(ステップS110)。
そしてカレントボタンをボタンiとし、新たにカレントボタンになるボタンをボタンjとする(ステップS111)。ステップS112は、ステップS111で特定されたボタンjが、ボタンiと一致しているかどうかの判定である。もし一致していれば、何の処理も行わずにメインルーチンにリターンする。もし一致しなければ、ステップS113〜ステップS120の処理を行う。ステップS113〜ステップS120の処理は、ボタンjをセレクテッド状態に遷移させ、ボタンiをノーマル状態に遷移させるという処理をアニメーションで実現する。アニメーションにおいてまず初めに、変数rを0で初期化する。変数rは、アニメーションの一コマを示す変数である。このステップS113〜ステップS119の処理は、ボタンiのノーマル状態を示す複数グラフィックオブジェクトのうちr枚目のもの、ボタンjのセレクテッド状態を示す複数グラフィックオブジェクトのうちr枚目のものを、グラフィックプレーンに書き込むという処理を、複数グラフィックオブジェクトのそれぞれについて繰り返すものである。
具体的にいうと、button_info(i).normal_state_infoにおけるstart_object_id_normalに変数rを足すことにより特定される識別子をID(r)とする(ステップS114)。このようにしてID(r)を特定すると、Object Buffer15においてID(r)を有するグラフィックオブジェクトを、button_info(i)のbutton_horizontal_position,button_vertical_positionに示されるGraphics Plane8上の位置に書き込む(ステップS115)。
button_info(j).selected_state_infoにおけるstart_object_id_selectedに変数rを足すことにより特定される識別子をID(r)とする(ステップS116)。このようにしてID(r)を特定すると、Object Buffer15においてID(r)を有するグラフィックオブジェクトを、button_info(j)のbutton_horizontal_position,button_vertical_positionに示されるGraphics Plane8上の位置に書き込む(ステップS117)。
ステップS118は、start_object_id_normalに変数rを足した識別子がend_object_id_normalに一致するかの判定であり、一致しなければ、変数rをインクリメントして(ステップS120)、ステップS114に戻る。ステップS114〜ステップS120の処理は、ステップS118がYesと判定されるまで繰り返される。この繰り返しにより、ボタンで描かれたキャラクタが、ユーザ操作に応じて動くような状態遷移を実現することができる。この繰り返しにおいてステップS118がYesと判定されれば、ボタンjをカレントボタンにして(ステップS119)メインルーチンにリターンする。
図41は、数値入力処理の処理手順を示すフローチャートである。入力された数値に合致するbutton_numberを有したButton info.jが存在するかどうかの判定を行い(ステップS121)、Button info.jにおけるnumerically_selectable_flagは1であるかどうかの判定を行う(ステップS122)。ステップS121及びステップS122がYesなら、Button info.jのauto_action_flagは01であるかを判定する(ステップS123)。
01でないなら、ボタンjのselected_state_info.におけるstart_object_id_selectedからend_object_id_selectedまでのグラフィクスオブジェクトを、ボタンjのbutton_horizontal_position,button_vertical_positionに示されている位置に書き込む(ステップS124)。これにより、ボタンjをセレクテッド状態に遷移させる。その後、ボタンjをカレントボタンにして(ステップS125)メインルーチンにリターンする。
01であるなら、ステップS126においてカレントボタンをアクティブ状態に遷移する。この状態遷移は、カレントボタンのactivated_state_info.におけるstart_object_id_activatedからend_object_id_activatedまでのグラフィクスオブジェクトを、Graphics Plane8内のカレントボタンのbutton_horizontal_position,button_vertical_positionに示されている位置に書き込むことでなされる。その後、ステップS127においてボタンjに対応するボタンコマンドを実行してメインルーチンにリターンする。
ステップS121〜S123のどちらかがNoなら、そのままメインルーチンにリターンする。
以上が同期表示を行う場合のGraphicalコントローラ17の処理手順である。Popup表示のように、ユーザ操作をトリガとした対話画面表示を行う場合、Stream Graphicsプロセッサ14、Graphicalコントローラ17は以下のような処理を行う。つまり、同期表示の場合と同様の処理を行う。これにより、グラフィクスプレーン8にはグラフィックオブジェクトが得られる。このようにグラフィックオブジェクトを得た後、現在の再生時点が、ICSに付加されたPTSに示される時点を経過するのを待つ。そしてこの再生時点の経過後、UOコントローラ18がメニューコールを示すUOを受け付れば、グラフィクスプレーン8に格納されたグラフィックオブジェクトを合成させるよう、CLUT部9に出力する。UOに同期して、かかる出力を行えば、メニューコールの押下に応じたPopup表示を実現することができる。
以上のように本実施形態によれば、ICS,ODSから構成されるEpochをAVClipに組み込んでおくので、ある動画の一コマが画面に現れたタイミングに、特定の処理を再生装置に実行させるという対話制御、つまり動画内容と緻密に同期した対話制御の記述に便利である。またEpochは、AVClip自身に多重化されているので、再生制御を行いたい区間が数百個であっても、それらに対応するEpochの全てをメモリに格納しておく必要はない。Epochはビデオパケットと共にBD−ROMから読み出されるので、現在再生すべき動画区間に対応するICSをメモリに常駐させ、この動画区間の再生が終われば、そのEpochをメモリから削除して、次の動画区間に対応するICSをメモリに格納すればよい。Epochは、AVClipに多重化されるので、たとえEpochの数が数百個になってもメモリの搭載量を必要最低限にすることができる。
(第2実施形態)
第2実施形態は、ボタンの状態がセレクテッド状態、アクティブ状態に変化した際、この変化に伴いクリック音を発音させる改良に関する。例えば図16、図17のようなボタン、つまり、映画作品のキャラクターを象徴するようなボタンが操作対象である場合、それらボタンの状態変化時に、キャラクタの音声をクリック音として再生させることができれば、ユーザは、自分がどのボタンを操作しているかを直感的に知ることができる。こうすることにより、ユーザに対するボタン操作の認知度は高まる。ボタン毎のクリック音を発音させるにあたって、問題になるのが主音声との併存である。ここでの主音声とは、映画作品における登場人物の台詞やBGMのことである。主音声たるオーディオストリームは、ビデオストリーム、グラフィクスストリームと多重されてAVClipを構成しているので、オーディオデコーダ7はこれのデコードを行う。しかしクリック音を再生しようとすると、主音声を消してクリック音を再生するという制御が必要になる。この際、オーディオデコーダ7の動作を止める必要があるが、この動作停止により、再生の途切れ音が出力される恐れがあり望ましくない。
かかる途切れ音の発生を防止するべく、再生装置は図42に示すような内部構成を有する。本図の内部構成図は、図25に示した内部構成にプリロードメモリ21、ミキシング部22を新規に設けたものである。
プリロードメモリ21は、クリック音として発音すべき非圧縮LPCMデータを予め格納しているメモリである。
ミキシング部22は、プリロードメモリ21に格納されている非圧縮LPCMデータをオーディオデコーダ7の再生出力にミキシングする。このミキシングにあたっての混合比率は、グラフィクスデコーダ12内のGraphicalコントローラ17(図25参照)からの指示に従う。かかるミキシングパラメータでクリック音を発音させるので、オーディオデコーダ7のデコード出力を止めなくても、クリック音を発音させることができる。
以上が第2実施形態に係る再生装置の内部構成である。
以上のような併存を実現するには、BD−ROMに記録された非圧縮LPCMデータを予めBD−ROMからプリロードメモリ21にロードしておかねばならない。だが非圧縮LPCMデータは、データサイズが大きい。サンプリング周波数が48KHz、量子化ビット数が16ビットのLPCM形式のオーディオデータは、10秒足らずの短いものでも、そのサイズは1メガバイトになる。
プリロードメモリ21の規模を小さくしたいとの要望に応えるべく、本実施形態に係るICSは、図43のデータ構造を有する。図43は、かかるクリック音の発音を実現する場合のICSのデータ構造を示す図である。本図のICSが図11に示したものと異なるのは、button_infoのselected_state_info()、actioned_state_info()に『オーディオ指定情報』、『発音制御情報』が備えられている点である。
『オーディオ指定情報』は、button_infoに対応するボタンの状態が変化した際、再生装置に読み出させ、クリック音として再生させるべきオーディオ指定情報をファイル名又は識別子で示す。プリロードメモリ21に読み出されるクリック音データは、ICSのbutton_infoのselected_state_info()、actioned_state_info()により指定されたものである。かかるプリロードメモリ21に読み出されたクリック音データはミキシング部22に供される。
『発音制御情報』は、複数のミキシングパラメータからなる。各ミキシングパラメータは、オーディオデータの各成分をどれだけの比率で主音声に混合するかを示す。ミキシングパラメータは0〜1.0の値をとり、クリック音データの発音時において、クリック音データの再生出力時には、このミキシングパラメータに示される値が乗じられる。ここでオーディオデータにR成分、L成分がある場合、発音制御情報は、L成分のミキシングパラメータ、R成分のミキシングパラメータを備え、これらの混合比に示されるミキシングをミキシング部22に命じる。
このような発音制御情報が設けられたことにより、非圧縮LPCMデータのL成分がボタンAのクリック音、R成分がボタンBのクリック音というように、2つのボタンについてのクリック音を1つにまとめることができる。
かかる統合を行いつつも、L成分のみの出力を行うよう規定した発音制御情報をボタン情報(1)に組み込み、R成分のみの出力を行うよう規定した発音制御情報をボタン情報(2)に組み込んでおけば、ボタンAがセレクテッド状態に遷移したタイミングで、ボタン情報(1)の発音制御情報に基づき、非圧縮LPCMデータのL成分の再生を開始させることにより、ボタンA用のクリック音を発音させることができる。
またボタンBがセレクテッド状態に遷移したタイミングで、ボタン情報(2)の発音制御情報に基づき、非圧縮LPCMデータのR成分の再生を開始させることにより、ボタンB用のクリック音を発音させることができる。
以上のように構成されたICS、再生装置によりクリック音の発音がどのように行われるかの具体例を、図44、図45を参照しながら説明する。本具体例は、図44(a)(b)のような状態制御情報を想定している。図44(a)における状態制御情報は、button_info(1)(2)を含んでいる。本図における矢印sy1,2に示すようにbutton_info(1)(2)のオーディオ指定情報は何れも、同じ、ステレオ音声たるクリック音データを指定している。一方、button_info(1)の発音制御情報は、L音声のミキシングパラメータを含み、button_info(2)の発音制御情報は、R音声のミキシングパラメータを含む
図44(b)は、かかる状態制御情報を含むICSが読み出される過程を示す。このICSの読み出しに先立ち、クリック音データがプリロードメモリ21に読み出す。
図45(a)(b)は、プリロードメモリ21に読み出されたICSによるクリック音データの発音制御を示す。button_info(1)に対応するボタンAがセレクテッド状態である場合、グラフィクスデコーダ12はbutton_info(1)における発音制御情報に基づき再生を行うようオーディオデコーダ7を制御する。これによりステレオ音声たるクリック音データのうち、L音声が出力される。button_info(2)に対応するボタンBがセレクテッド状態である場合、グラフィクスデコーダ12はbutton_info(2)における発音制御情報に基づき再生を行うようオーディオデコーダ7を制御する。これによりステレオ音声たるクリック音データのうち、R音声が出力される。
かかる制御により、クリック音データをステレオ音声として構成しておき、ボタンAのセレクテッド状態時にはボタンAのクリック音としてL音声の再生を、ボタンBのセレクテッド状態時にはボタンBのクリック音としてR音声の再生を開始させることができる。
以上は、複数ボタンのクリック音を1つの非圧縮LPCMデータに統合する場合の具体例であったが、本実施形態のボタン情報は、ボタンの操作時に、異なる方向から聞こえるように、クリック音を発音させることもできる。そのような具体例を図45を参照しながら説明する。図45(c)は、横方向に並べられた3つのボタン(ボタンA、ボタンB、ボタンC)と、これらのボタンについてのボタン情報の設定例である。これら3つのボタン情報のうち、左側のボタンAについてのミキシングパラメータは、L音声が1.0、真ん中のボタンBについてのミキシングパラメータはL,R音声がそれぞれ0.5,0.5、右側のボタンCについてのミキシングパラメータは、R音声が1.0になっている。ミキシングパラメータがこのように設定されているので、左側のボタンAがセレクテッド状態になった際には、左側のスピーカから、右側のボタンCがセレクテッド状態になった際には右側のスピーカから、真ん中のボタンBがセレクテッド状態になった際には、両方のスピーカから発音が聞こえる。このようなボタン情報の設定により、画面におけるボタンの位置に応じて、クリック音が聞こえる方向を変えることができる。このように押下されたボタンの位置に応じて、クリック音が聞こえる方向を変えることができるので、ボタン操作に対する臨場感が増す。
以上のように本実施形態によれば、複数ボタンについてのクリック音がステレオ音声たる1つのクリック音データに統合されたとしても、各button_infoについてのオーディオ指定情報、発音制御情報を用いて、統合された音声を個々のボタンのクリック音として再生させることができる。かかる統合により、クリック音データのサイズを少なくすることができ、クリック音データを読み出しておくためのプリロードメモリ21の規模を小規模にすることができる。
尚、本実施形態においてステレオ音声である場合のクリック音データの一例を示したが、クリック音データは5.2chの非圧縮オーディオデータであってもよい。図45(c)のような具体例を、5.2CHの音声で再生する場合のミキシングパラメータの設定例を図44(c)に示す。5.2チャネルのオーディオデータには、L成分、R成分に加え、Center成分、Rear Left成分、Rear Right成分がある。そして、対話画面に配置されるボタンは、ボタンA、ボタンB、ボタンCのように対角線上に配置されているものとする。この場合、ボタンAのボタン情報についてはL成分のミキシングパラメータを1.0に、ボタンCのボタン情報についてはRear Right成分のミキシングパラメータを1.0に、ボタンBのボタン情報については、L成分、R成分、Center成分、Rear Left成分、Rear Right成分を、0.1、0.1、0.4、0.2、0.2に設定しておく。このように設定することで、ボタンAがセレクテッド状態になった際には、左側からクリック音が発音され、ボタンCがセレクテッド状態になった際には右側からクリック音が聞こえる。そして真ん中のボタンBがセレクテッド状態になった際には、全ての方向からクリック音が聞こえる。このように押下されたボタンの位置に応じて、クリック音が聞こえる方向を変えることができるので、ボタン操作に対する臨場感が増す(この具体例において、ボタンBについてはCenter成分を1.0にし、それ以外を1.0にしてもよい。)。
また、クリック音用のオーディオデコーダを、オーディオデコーダ7とは別に設けてもよい。かかるプリロードメモリ21には、圧縮されたオーディオデータを格納しておく。そしてクリック音用オーディオデコーダは、ボタンの状態変化に応じてプリロードメモリ21におけるオーディオデータを取り出し、デコードする。クリック音用オーディオデコーダを設ければ、圧縮された状態のオーディオデータく1をプリロードメモリ21にロードしておけばよいので、プリロードメモリ21の容量削減を実現することができる。
(第3実施形態)
本実施形態は、BD−ROMの製造工程に関する実施形態である。図46は、第3実施形態に係るBD−ROMの製造工程を示すフローチャートである。
BD−ROMの制作工程は、動画収録、音声収録等の素材作成を行う素材制作工程S201、オーサリング装置を用いて、アプリケーションフォーマットを生成するオーサリング工程S202、BD−ROMの原盤を作成し、プレス・貼り合わせを行って、BD−ROMを完成させるプレス工程S203を含む。
これらの工程のうち、BD−ROMを対象としたオーサリング工程は、以下のステップS204〜ステップS209を含む。
先ずステップS204において、ビデオ素材、オーディオ素材、副映像素材のそれぞれをエンコードして、ビデオストリーム、オーディオストリーム、グラフィクスストリームを得る。次にステップS205において、グラフィクスストリームの動作検証を行う。第1実施形態に示したように、グラフィクスストリームにはボタンを構成するクラフィクスデータと共に、ボタンの状態制御情報が含まれているため、グラフィクスストリーム単体での動作検証が可能になる。もし異常があれば(ステップS206でNo)、グラフィクスストリーム単体の修正を行い(ステップS207)、再度グラフィクスストリームの動作検証を行う。
動作検証において、グラフィクスストリームに異常がなければ(ステップS206でYes)、ステップS208において素材エンコードにより得られた、ビデオストリーム、オーディオストリーム、グラフィクスストリームをインターリーブ多重して、これらを1本のデジタルストリームに変換する。続くステップS209において、BD−ROM向けシナリオを元に、各種情報を作成して、シナリオ及びデジタルストリームをBD−ROMのフォーマットに適合させる。
以上のように本実施形態によれば、ボタンの状態を変化させるICSは、クラフィクスデータと一体になってグラフィクスストリームを構成しているので、動画ストリームのエンコード完了や、多重化完了を待たなくても、グラフィクスストリーム単体を完成しさえすれば、再生進行に応じてボタンの状態がどのように変化するかの検証が可能になる。かかる状態変化の検証がオーサリングの早い段階で可能になるので、BD−ROMの出荷直前に不具合が発見され、関係者が慌てふためくという事態はなくなる。グラフィクスストリーム単体での動作検証が可能になるので、アニメーションにより複雑に動くようなボタンを積極的に映画作品に組み入れることができる。
(備考)
以上の説明は、本発明の全ての実施行為の形態を示している訳ではない。下記(A)(B)(C)(D)・・・・・の変更を施した実施行為の形態によっても、本発明の実施は可能となる。本願の請求項に係る各発明は、以上に記載した複数の実施形態及びそれらの変形形態を拡張した記載、ないし、一般化した記載としている。拡張ないし一般化の程度は、本発明の技術分野の、出願当時の技術水準の特性に基づく。しかし請求項に係る各発明は、従来技術の技術的課題を解決するための手段を反映したものであるから、請求項に係る各発明の技術範囲は、従来技術の技術的課題解決が当業者により認識される技術範囲を超えることはない。故に、本願の請求項に係る各発明は、詳細説明の記載と、実質的な対応関係を有する。
(A)全ての実施形態では、本発明に係る記録媒体をBD−ROMとして実施したが、本発明の記録媒体は、記録されるグラフィクスストリームに特徴があり、この特徴は、BD−ROMの物理的性質に依存するものではない。動的シナリオ、グラフィクスストリームを記録しうる記録媒体なら、どのような記録媒体であってもよい。例えば、DVD−ROM,DVD−RAM,DVD−RW,DVD−R,DVD+RW,DVD+R,CD−R,CD−RW等の光ディスク、PD,MO等の光磁気ディスクであってもよい。また、コンパクトフラッシュカード、スマートメディア、メモリスティック、マルチメディアカード、PCM−CIAカード等の半導体メモリカードであってもよい。フレシキブルディスク、SuperDisk,Zip,Clik!等の磁気記録ディスク(i)、ORB,Jaz,SparQ,SyJet,EZFley,マイクロドライブ等のリムーバルハードディスクドライブ(ii)であってもよい。更に、機器内蔵型のハードディスクであってもよい。
(B)全ての実施形態における再生装置は、BD−ROMに記録されたAVClipをデコードした上でTVに出力していたが、再生装置をBD−ROMドライブのみとし、これ以外の構成要素をTVに具備させてもい、この場合、再生装置と、TVとをIEEE1394で接続されたホームネットワークに組み入れることができる。また、実施形態における再生装置は、テレビと接続して利用されるタイプであったが、ディスプレィと一体型となった再生装置であってもよい。更に、各実施形態の再生装置において、処理の本質的部分をなす部分のみを、再生装置としてもよい。これらの再生装置は、何れも本願明細書に記載された発明であるから、これらの何れの態様であろうとも、第1実施形態〜第3実施形態に示した再生装置の内部構成を元に、再生装置を製造する行為は、本願の明細書に記載された発明の実施行為になる。第1実施形態〜第3実施形態に示した再生装置の有償・無償による譲渡(有償の場合は販売、無償の場合は贈与になる)、貸与、輸入する行為も、本発明の実施行為である。店頭展示、カタログ勧誘、パンフレット配布により、これらの譲渡や貸渡を、一般ユーザに申し出る行為も本再生装置の実施行為である。
(C)各フローチャートに示したプログラムによる情報処理は、ハードウェア資源を用いて具体的に実現されていることから、上記フローチャートに処理手順を示したプログラムは、単体で発明として成立する。全ての実施形態は、再生装置に組み込まれた態様で、本発明に係るプログラムの実施行為についての実施形態を示したが、再生装置から分離して、第1実施形態〜第3実施形態に示したプログラム単体を実施してもよい。プログラム単体の実施行為には、これらのプログラムを生産する行為(1)や、有償・無償によりプログラムを譲渡する行為(2)、貸与する行為(3)、輸入する行為(4)、双方向の電子通信回線を介して公衆に提供する行為(5)、店頭展示、カタログ勧誘、パンフレット配布により、プログラムの譲渡や貸渡を、一般ユーザに申し出る行為(6)がある。
(D)各フローチャートにおいて時系列に実行される各ステップの「時」の要素を、発明を特定するための必須の事項と考える。そうすると、これらのフローチャートによる処理手順は、再生方法の使用形態を開示していることがわかる。各ステップの処理を、時系列に行うことで、本発明の本来の目的を達成し、作用及び効果を奏するよう、これらのフローチャートの処理を行うのであれば、本発明に係る記録方法の実施行為に該当することはいうまでもない。
(E)BD−ROMに記録するにあたって、AVClipを構成する各TSパケットには、拡張ヘッダを付与しておくことが望ましい。拡張ヘッダは、TP_extra_headerと呼ばれ、『Arribval_Time_Stamp』と、『copy_permission_indicator』とを含み4バイトのデータ長を有する。TP_extra_header付きTSパケット(以下EX付きTSパケットと略す)は、32個毎にグループ化されて、3つのセクタに書き込まれる。32個のEX付きTSパケットからなるグループは、6144バイト(=32×192)であり、これは3個のセクタサイズ6144バイト(=2048×3)と一致する。3個のセクタに収められた32個のEX付きTSパケットを”Aligned Unit”という。
IEEE1394を介して接続されたホームネットワークでの利用時において、再生装置200は、以下のような送信処理にてAligned Unitの送信を行う。つまり送り手側の機器は、Aligned Unitに含まれる32個のEX付きTSパケットのそれぞれからTP_extra_headerを取り外し、TSパケット本体をDTCP規格に基づき暗号化して出力する。TSパケットの出力にあたっては、TSパケット間の随所に、isochronousパケットを挿入する。この挿入箇所は、TP_extra_headerのArribval_Time_Stampに示される時刻に基づいた位置である。TSパケットの出力に伴い、再生装置200はDTCP_Descriptorを出力する。DTCP_Descriptorは、TP_extra_headerにおけるコピー許否設定を示す。ここで「コピー禁止」を示すようDTCP_Descriptorを記述しておけば、IEEE1394を介して接続されたホームネットワークでの利用時においてTSパケットは、他の機器に記録されることはない。
(F)各実施形態におけるデジタルストリームは、BD−ROM規格のAVClipであったが、DVD−Video規格、DVD−Video Recording規格のVOB(Video Object)であってもよい。VOBは、ビデオストリーム、オーディオストリームを多重化することにより得られたISO/IEC13818−1規格準拠のプログラムストリームである。またAVClipにおけるビデオストリームは、MPEG4やWMV方式であってもよい。更にオーディオストリームは、Linear−PCM方式、Dolby−AC3方式、MP3方式、MPEG−AAC方式であってもよい。
(G)各実施形態における映像編集は、アナログ放送で放送されたアナログ映像信号をエンコードすることにより得られたものでもよい。デジタル放送で放送されたトランスポートストリームから構成されるストリームデータであってもよい。
またビデオテープに記録されているアナログ/デジタルの映像信号をエンコードしてコンテンツを得ても良い。更にビデオカメラから直接取り込んだアナログ/デジタルの映像信号をエンコードしてコンテンツを得ても良い。他にも、配信サーバにより配信されるデジタル著作物でもよい。
(H)ICSは、タイムアウト時にどのような処理を行うかを規定してもよい。ICSのタイムアウトは、第1実施形態に示したcomposition_time_out_ptsにより規定される。図47は、ICSの変更実施の形態を示す図である。本図のICSで新規なのは、Pause/Still情報が設けられていることである。Pause/Still情報は、composition_time_out_ptsに示されるタイムアウトが発生した際、再生装置の動作をStillするか、Pauseするかを示す。再生装置における動作には、ビデオデコーダ5、Stream Graphicsプロセッサ14、グラフィクスデコーダ12によるデコード動作と、Graphicalコントローラ17、制御部20によるナビ動作とがある。Stillとは、再生装置におけるデコード動作、ナビ動作の双方を停止することである。一方Pauseとは、デコード動作、ナビ動作のうちデコード動作を止めて、ナビ動作を継続実行することである。Stillでは、ナビ動作が停止するので、タイムアウトの時点で最後に再生されたピクチャデータが止め絵として表示され、ボタンの状態を遷移させられない状態となる。
Pauseではナビ動作は停止しないので、ユーザによるボタンの状態遷移は可能となる。Pause/Still情報をICSに設けることにより、タイムアウト時にどのような制御を行うべきかをオーサリング時に規定しておくことができる。
(I)第2実施形態では、各ボタンについてのクリック音をボタン情報に定義できるようにしたが、リモコンにおけるキー毎のクリック音をICSに定義できるようにしてもよい。図48は、リモコンのキー毎にクリック音を定義するようにしたICSを示す図である。
『upper_audio』は、MoveUpキーの押下時に参照すべきオーディオ指定情報及び発音制御情報、
『lower_audio』は、MoveDownキーの押下時に参照すべきオーディオ指定情報及び発音制御情報、
『left_audio』は、MoveLeftキーの押下時に参照すべきオーディオ指定情報及び発音制御情報、
『Right_audio』は、MoveRightキーの押下時に参照すべきオーディオ指定情報及び発音制御情報、
『Activated_audio』は、Activatedキーの押下時に参照すべきオーディオ指定情報及び発音制御情報である。リモコン400におけるキー押下時に、該当するキーのオーディオ指定情報及び発音制御情報を参照した処理をプリロードメモリ21、ミキシング部22に行わせることにより、クリック音の発音が可能になる。
(J)第1実施形態〜第3実施形態に示したグラフィックオブジェクトは、ランレングス符号化されたラスタデータである。グラフィックオブジェクトの圧縮・符号化方式にランレングス符号方式を採用したのは、ランレングス符号化は字幕の圧縮・伸長に最も適しているためである。字幕には、同じ画素値の水平方向の連続長が比較的長くなるという特性があり、ランレングス符号化による圧縮を行えば、高い圧縮率を得ることができる。また伸長のための負荷も軽く、復号処理のソフトウェア化に向いている。デコードを実現する装置構成を、字幕−グラフィックオブジェクト間で共通化する目的で、字幕と同じ圧縮・伸長方式をグラフィックオブジェクトに採用している。しかし、グラフィックオブジェクトにランレングス符号化方式を採用したというのは、本発明の必須事項ではなく、グラフィックオブジェクトはPNGデータであってもよい。またラスタデータではなくベクタデータであってもよい、更に透明な絵柄であってもよい。
本発明に係る記録媒体、再生装置は、対話的な制御を映画作品に付与することができるので、より付加価値が高い映画作品を市場に供給することができ、映画市場や民生機器市場を活性化させることができる。故に本発明に係る記録媒体、再生装置は、映画産業や民生機器産業において高い利用可能性をもつ。

Claims (9)

  1. 記録媒体の記録方法であって、
    動画ストリームにグラフィクスストリームを多重化し、デジタルストリームを得る第一ステップと
    前記デジタルストリームを前記記録媒体に記録する第二ステップと
    を含み、
    前記グラフィクスストリームは、対話画面を構成するグラフィクスデータ(i)、当該対話画面の状態を、前記デジタルストリームの再生進行及びユーザ操作に応じて変化させる状態制御情報(ii)を一体化したストリームであり、前記状態制御情報及び前記グラフィクスデータの組みを複数含み、
    前記グラフィクスストリームは、複数のディスプレィセットを含み、
    各前記ディスプレィセットは、前記状態制御情報及び前記グラフィクスデータの組みを含み、
    各状態制御情報は、前記ディスプレィセットのタイプを示すタイプ情報を含み、
    前記グラフィクスストリームに含まれる複数の前記タイプ情報は、前記ディスプレィセットにより規定されるグラフィクスデータが、前記グラフィクスストリームにおいて先行するディスプレィセットにより規定されるグラフィクスデータと同じであることを示す前記タイプ情報を含むことを特徴とする記録方法
  2. 前記グラフィクスストリームはパケット列であり、
    当該パケット列は、前記状態制御情報を格納したパケット、及び、前記グラフィクスデータを格納したパケットの組みを1つ以上含んでおり、
    前記状態制御情報を格納したパケットには、前記対話画面と同期すべきピクチャデータの表示タイミングを示すタイムスタンプが付加されていることを特徴とする請求項1記載の記録方法
  3. 前記グラフィクスストリームはパケット列であり、
    当該パケット列は、前記状態制御情報を格納したパケット、及び、前記グラフィクスデータを格納したパケットの組みを1つ以上含んでおり、
    前記状態制御情報を格納したパケットにはタイムスタンプ付加
    当該タイムスタンプは、
    ユーザ操作に応じた前記対話画面の表示が、前記動画ストリームの再生時間軸上において何時から可能になるかを示す
    ことを特徴とする請求項1記載の記録方法
  4. 前記対話画面は、ボタンをn個配置してなり、そのうち任意の1つのボタンiは、m個の状態をもち、
    前記状態制御情報はn個のボタン情報を含み、
    前記ボタンiについてのボタン情報はクリック音制御情報を含み、
    前記クリック音制御情報は、前記ボタンiの状態遷移が生じた場合、発音すべきオーディオデータと、当該オーディオデータの発音にあたって、再生装置側で行うべき制御とを示す
    ことを特徴とする請求項1記載の記録方法
  5. ビデオストリーム、グラフィクスストリームが多重化されたデジタルストリームについての再生装置であって、
    前記ビデオストリームをデコードして動画像を得るビデオデコーダと、
    前記グラフィクスストリームをデコードして対話画面をえるグラフィクスデコーダと、を備え、
    前記グラフィクスストリームは、グラフィクスデータ及び状態制御情報の組みを複数含み、
    前記グラフィクスストリームは、複数のディスプレィセットを含み、
    各前記ディスプレィセットは、前記状態制御情報及び前記グラフィクスデータの組みを含み、
    前記状態制御情報は前記対話画面の状態を、前記デジタルストリームの再生進行及びユーザ操作に応じて変化させる情報であり、ディスプレィセットのタイプを示すタイプ情報を備え、
    前記グラフィクスデコーダは、
    前記グラフィクスストリームに含まれる前記グラフィクスデータをデコードして前記対話画面を得る処理部と、
    前記対話画面の状態を、前記状態制御情報に基づき制御するコントローラと、を備え、
    前記コントローラは、
    通常再生が行われる場合、前記ディスプレィセットのうち、タイプ情報が先行ディスプレィセットにより規定されるグラフィクスデータと同じである旨を示しているものについては、それに包含されるグラフィクスデータを無視し、
    頭出しが行われる場合、頭出し位置以降に存在するディスプレィセットのうち、タイプ情報が先行ディスプレィセットにより規定されるグラフィクスデータと同じである旨を示しているものをデコードする
    ことを特徴とする再生装置。
  6. 前記グラフィクスストリームは、パケット列であり、
    当該パケット列は、前記状態制御情報を格納したパケット、及び、前記グラフィクスデータを格納したパケットの組みを1つ以上含んでおり、
    前記状態制御情報を格納したパケットには、前記対話画面と同期すべきピクチャデータの表示タイミングを示すタイムスタンプが付加されており、
    処理部によるデコード及びコントローラによる制御は、前記状態制御情報を格納したパケットのタイムスタンプを参照して行われることを特徴とする請求項5記載の再生装置。
  7. 前記グラフィクスストリームは、パケット列であり、
    当該パケット列は、前記状態制御情報を格納したパケット、及び、前記グラフィクスデータを格納したパケットの組みを1つ以上含んでおり、
    前記状態制御情報を格納したパケットにはタイムスタンプが付加されており、
    当該タイムスタンプは、
    ユーザ操作に応じた対話画面の表示が、動画ストリームの再生時間軸上において何時から可能になるかを示し、
    前記再生装置はユーザ操作を受け付ける受付手段を備え、
    前記コントローラは、
    現在の再生時点が、状態制御情報を格納したパケットのタイムスタンプに示される時点を経過した後、受付手段がユーザ操作を 受け付ければ、対話画面表示を実行するよう制御を行う
    ことを特徴とする請求項5記載の再生装置。
  8. ビデオストリーム、グラフィクスストリームが多重化されたデジタルストリームについての再生方法であって、
    前記ビデオストリームをデコードして動画像を得る第一ステップと、
    前記グラフィクスストリームをデコードして対話画面をえる第二ステップと、を備え、
    前記グラフィクスストリームは、グラフィクスデータ及び状態制御情報の組みを複数含み、
    前記グラフィクスストリームは、複数のディスプレィセットを含み、
    各前記ディスプレィセットは、前記状態制御情報及び前記グラフィクスデータの組みを含み、
    前記状態制御情報は前記対話画面の状態を、前記デジタルストリームの再生進行及びユーザ操作に応じて変化させる情報であり、ディスプレィセットのタイプを示すタイプ情報を備え、
    前記第二ステップは、
    前記グラフィクスストリームに含まれる前記グラフィクスデータをデコードして前記対話画面を得る第一サブステップと、
    前記対話画面の状態を、前記状態制御情報に基づき制御する第二サブステップと、を備え、
    前記第二サブステップは、
    通常再生が行われる場合、前記ディスプレィセットのうち、タイプ情報が先行ディスプレィセットにより規定されるグラフィクスデータと同じである旨を示しているものについては、それに包含されるグラフィクスデータを無視し、
    頭出しが行われる場合、頭出し位置以降に存在するディスプレィセットのうち、タイプ情報が先行ディスプレィセットにより規定されるグラフィクスデータと同じである旨を示しているものをデコードする
    ことを特徴とする再生方法。
  9. ビデオストリーム、グラフィクスストリームが多重化されたデジタルストリームについての再生をコンピュータに実行させるプログラムであって、
    前記ビデオストリームをデコードして動画像を得る第一ステップと、
    前記グラフィクスストリームをデコードして対話画面をえる第二ステップと、を備え、
    前記グラフィクスストリームは、グラフィクスデータ及び状態制御情報の組みを複数含み、
    前記グラフィクスストリームは、複数のディスプレィセットを含み、
    各前記ディスプレィセットは、前記状態制御情報及び前記グラフィクスデータの組みを含み、
    前記状態制御情報は前記対話画面の状態を、前記デジタルストリームの再生進行及びユーザ操作に応じて変化させる情報であり、ディスプレィセットのタイプを示すタイプ情報を備え、
    前記第二ステップは、
    前記グラフィクスストリームに含まれる前記グラフィクスデータをデコードして前記対話画面を得る第一サブステップと、
    前記対話画面の状態を、前記状態制御情報に基づき制御する第二サブステップと、を備え、
    前記第二サブステップは、
    通常再生が行われる場合、前記ディスプレィセットのうち、タイプ情報が先行ディスプレィセットにより規定されるグラフィクスデータと同じである旨を示しているものについては、それに包含されるグラフィクスデータを無視し、
    頭出しが行われる場合、頭出し位置以降に存在するディスプレィセットのうち、タイプ情報が先行ディスプレィセットにより規定されるグラフィクスデータと同じである旨を示しているものをデコードする
    ことを特徴とするプログラム。
JP2005504762A 2003-01-31 2004-01-30 記録方法、再生装置、再生方法、プログラム Expired - Lifetime JP4245607B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US44387603P 2003-01-31 2003-01-31
US60/443,876 2003-01-31
PCT/JP2004/000891 WO2004068854A1 (ja) 2003-01-31 2004-01-30 記録媒体、再生装置、記録方法、プログラム、再生方法

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2008114159A Division JP4213764B2 (ja) 2003-01-31 2008-04-24 記録方法、再生装置、再生方法、プログラム
JP2008114161A Division JP4549404B2 (ja) 2003-01-31 2008-04-24 記録媒体の記録方法、再生装置、及び再生方法
JP2008114160A Division JP4213765B2 (ja) 2003-01-31 2008-04-24 再生装置、プログラム、再生方法

Publications (2)

Publication Number Publication Date
JPWO2004068854A1 JPWO2004068854A1 (ja) 2006-05-25
JP4245607B2 true JP4245607B2 (ja) 2009-03-25

Family

ID=32825388

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2005504762A Expired - Lifetime JP4245607B2 (ja) 2003-01-31 2004-01-30 記録方法、再生装置、再生方法、プログラム
JP2008114159A Expired - Lifetime JP4213764B2 (ja) 2003-01-31 2008-04-24 記録方法、再生装置、再生方法、プログラム
JP2008114160A Expired - Lifetime JP4213765B2 (ja) 2003-01-31 2008-04-24 再生装置、プログラム、再生方法
JP2008114161A Expired - Fee Related JP4549404B2 (ja) 2003-01-31 2008-04-24 記録媒体の記録方法、再生装置、及び再生方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2008114159A Expired - Lifetime JP4213764B2 (ja) 2003-01-31 2008-04-24 記録方法、再生装置、再生方法、プログラム
JP2008114160A Expired - Lifetime JP4213765B2 (ja) 2003-01-31 2008-04-24 再生装置、プログラム、再生方法
JP2008114161A Expired - Fee Related JP4549404B2 (ja) 2003-01-31 2008-04-24 記録媒体の記録方法、再生装置、及び再生方法

Country Status (10)

Country Link
US (2) US7729598B2 (ja)
EP (2) EP1608165B1 (ja)
JP (4) JP4245607B2 (ja)
KR (5) KR101019346B1 (ja)
CN (4) CN101510982B (ja)
CA (1) CA2512058C (ja)
DE (1) DE602004026036D1 (ja)
ES (1) ES2343065T3 (ja)
MX (1) MXPA05007922A (ja)
WO (1) WO2004068854A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008198354A (ja) * 2003-01-31 2008-08-28 Matsushita Electric Ind Co Ltd システムlsi
US7814422B2 (en) 2003-02-28 2010-10-12 Panasonic Corporation Reproduction apparatus, reproduction method and recording method

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100448452B1 (ko) * 2000-06-09 2004-09-13 엘지전자 주식회사 고밀도 광 기록매체의 메뉴 지원방법
CN101202093B (zh) * 2002-07-04 2010-09-22 Lg电子株式会社 包含菜单数据的只读记录介质及其菜单显示方法
EP1547076A4 (en) * 2002-09-07 2009-09-23 Lg Electronics Inc RECORDING MEDIA WITH A DATA STRUCTURE FOR MANAGING THE REPRODUCTION OF STILL IMAGES FROM A CLIP FILE RECORDED THEREFOR AND RECORDING AND PLAYING METHOD AND DEVICES
WO2004032122A1 (en) 2002-10-02 2004-04-15 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of graphic data and recording and reproducing methods and apparatuses
JP4477501B2 (ja) 2002-10-04 2010-06-09 エルジー エレクトロニクス インコーポレイティド グラフィックデータの再生を管理するためのデータ構造を有する記録媒体、記録及び再生方法並びに装置
EP1563503A4 (en) * 2002-11-20 2009-08-12 Lg Electronics Inc RECORDING MEDIUM HAVING A DATA STRUCTURE FOR REPRODUCING DATA RECORDED THEREIN AND RECORDING AND REPRODUCING METHODS AND APPARATUSES
MY141419A (en) * 2003-01-20 2010-04-30 Lg Electronics Inc Recording medium having data structure for managing reproduction of still pictures recorded thereon and recording and reproducing methods and apparatuses
KR100998906B1 (ko) * 2003-01-20 2010-12-09 엘지전자 주식회사 기록된 정지 영상의 재생을 관리하기 위한 데이터 구조를갖는 기록 매체, 그에 따른 기록 및 재생 방법 및 장치
US7734154B2 (en) * 2003-02-14 2010-06-08 Lg Electronics Inc. Recording medium having data structure for managing reproduction duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
US8055117B2 (en) * 2003-02-15 2011-11-08 Lg Electronics Inc. Recording medium having data structure for managing reproduction duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
BRPI0409832A (pt) * 2003-04-29 2006-04-25 Lg Electronics Inc meio de gravação tendo uma estrutura de dados para gerenciar reprodução de dados gráficos e métodos e aparelhos de gravação e reprodução
US7616865B2 (en) 2003-04-30 2009-11-10 Lg Electronics Inc. Recording medium having a data structure for managing reproduction of subtitle data and methods and apparatuses of recording and reproducing
KR100945333B1 (ko) * 2003-06-18 2010-03-08 파나소닉 주식회사 재생장치, 재생방법 및 컴퓨터 판독 가능한 기록매체
CA2528504C (en) * 2003-06-30 2013-04-16 Matsushita Electric Industrial Co., Ltd. Recording medium, recording method, reproduction apparatus and method, and computer-readable program
KR20050005074A (ko) * 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20050004339A (ko) * 2003-07-02 2005-01-12 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20050064150A (ko) 2003-12-23 2005-06-29 엘지전자 주식회사 고밀도 광디스크의 메뉴 구성방법 및 실행방법과기록재생장치
KR20050072256A (ko) * 2004-01-06 2005-07-11 엘지전자 주식회사 고밀도 광디스크의 메뉴 사운드 구성방법 및 재생방법과기록재생장치
KR100782808B1 (ko) * 2004-01-13 2007-12-06 삼성전자주식회사 인터렉티브 그래픽 스트림을 기록한 저장 매체 및 그 재생장치
US7894711B2 (en) 2004-01-13 2011-02-22 Panasonic Corporation Recording medium, reproduction device, recording method, program, and reproduction method
US8175444B2 (en) 2004-01-14 2012-05-08 Samsung Electronics Co., Ltd. Method of reproducing from storage medium storing interactive graphics stream activated in response to user's command
US8620140B2 (en) * 2004-01-29 2013-12-31 Sony Corporation Reproducing apparatus, reproducing method, reproducing program, and recording medium
KR100561417B1 (ko) * 2004-02-09 2006-03-16 삼성전자주식회사 Av 데이터의 재생상태를 전환할 수 있는 인터랙티브그래픽 스트림을 기록한 정보저장매체, 그 재생방법 및 장치
CN101790067B (zh) 2004-02-17 2013-09-11 松下电器产业株式会社 记录方法和再现装置
CN100484226C (zh) * 2004-05-11 2009-04-29 松下电器产业株式会社 再生装置
JP2006012300A (ja) * 2004-06-25 2006-01-12 Funai Electric Co Ltd ディスク再生装置
KR101162790B1 (ko) 2004-07-06 2012-07-05 파나소닉 주식회사 광디스크, 재생장치, 재생방법, 기록방법
EP1770705B1 (en) * 2004-12-01 2014-08-20 Panasonic Corporation Recording medium, reproduction device, program, reproduction method, and integrated circuit
JP5133700B2 (ja) * 2004-12-27 2013-01-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ アプリケーションがofaプログラムと協動するのを可能にする方法及び装置
US20060143566A1 (en) * 2004-12-28 2006-06-29 Meng-Han Tsai Recording medium, method for previewing on-demand digital multimedia data on the recording medium
KR20070110389A (ko) 2005-02-28 2007-11-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 데이터 재생용 폴백 메카니즘
JP5160407B2 (ja) * 2005-03-10 2013-03-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 仮想オブジェクトを表示する方法および装置
KR20060131610A (ko) * 2005-06-15 2006-12-20 엘지전자 주식회사 기록매체, 오디오 데이터 믹싱방법 및 믹싱장치
US8799757B2 (en) * 2005-07-01 2014-08-05 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
US20070006238A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Managing application states in an interactive media environment
KR101314455B1 (ko) * 2005-07-14 2013-10-14 톰슨 라이센싱 디지털 시네마 편성 목록에서 보조 미디어를 제공하는 방법및 장치
JP4251298B2 (ja) * 2005-07-15 2009-04-08 ソニー株式会社 再生装置および再生方法、プログラム、プログラム格納媒体、データ、記録媒体、記録装置、および、記録媒体の製造方法
CN101026725B (zh) * 2005-07-15 2010-09-29 索尼株式会社 再现设备及再现方法
US7773864B2 (en) * 2005-08-29 2010-08-10 Sony Corporation Slicing interactive graphic data in disc authoring
US20080244407A1 (en) * 2005-08-29 2008-10-02 Eklund Don Abstractions in disc authoring
US8644682B2 (en) * 2005-08-29 2014-02-04 Sony Corporation Playable content
TWI466110B (zh) * 2005-12-23 2014-12-21 Koninkl Philips Electronics Nv 使應用程式配合節目運行之方法及裝置
JP2007282023A (ja) * 2006-04-10 2007-10-25 Nec Electronics Corp 多重化装置及び多重化方法
CN101657855B (zh) * 2007-05-30 2011-06-22 松下电器产业株式会社 信息再现装置和图像显示装置
WO2009040966A1 (ja) * 2007-09-26 2009-04-02 Panasonic Corporation データ処理装置及び方法
CN101809186B (zh) 2007-09-27 2012-05-30 三菱综合材料株式会社 ZnO蒸镀材料和其制造方法、和ZnO膜
JP5224862B2 (ja) * 2008-03-25 2013-07-03 キヤノン株式会社 コンテンツ切換装置およびコンテンツ切換方法
JP4596060B2 (ja) 2008-08-29 2010-12-08 ソニー株式会社 電子機器、動画像データ区間変更方法及びプログラム
EP2561664B1 (en) 2010-04-20 2019-03-06 Samsung Electronics Co., Ltd Interface apparatus for transmitting and receiving media data
JP5899751B2 (ja) * 2011-09-28 2016-04-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR20130038745A (ko) * 2011-10-10 2013-04-18 삼성전자주식회사 휴대 단말기에서 키 효과음을 제공하는 장치 및 방법
MX2019004302A (es) * 2014-10-17 2019-10-21 Panasonic Ip Corp America Medio de grabacion, metodo de reproduccion y dispositivo de reproduccion.
SG10201801709SA (en) * 2014-10-17 2018-04-27 Panasonic Ip Corp America Recording medium, playback method, and playback device

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2735557B2 (ja) * 1988-02-29 1998-04-02 パイオニア株式会社 画像情報の再生方法
JP3259272B2 (ja) 1990-10-23 2002-02-25 ソニー株式会社 画像表示制御装置および方法
US5600838A (en) * 1994-01-18 1997-02-04 Sybase, Inc. Object oriented dispatch and supercall process and arrangement
AU698969B2 (en) * 1995-04-14 1998-11-12 Kabushiki Kaisha Toshiba Recording medium, device and method for recording data on the medium, and device and method for reproducing data from the medium
JP2813245B2 (ja) 1995-08-21 1998-10-22 松下電器産業株式会社 光ディスクの再生装置及び再生方法
EP0788094A4 (en) 1995-08-21 1998-06-24 Matsushita Electric Ind Co Ltd MULTIMEDIA OPTICAL DISK WHICH CAN COMPLETELY GENERATE UNEXPECTED SCENES THROUGH INTERACTIVE CONTROL, THEIR PLAYBACK DEVICE AND PLAYBACK METHOD
EP0788101B1 (en) * 1995-08-21 2000-07-05 Matsushita Electric Industrial Co., Ltd. Multimedia optical disk which realizes dynamic switching between reproduced outputs, and reproducing apparatus
JP3345411B2 (ja) 1995-08-21 2002-11-18 松下電器産業株式会社 記録媒体の記録方法
JPH0981118A (ja) 1995-09-11 1997-03-28 Casio Comput Co Ltd 画像制御装置
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
EP0830023B1 (en) * 1996-03-29 2001-12-12 Matsushita Electric Industrial Co., Ltd. Multimedia optical disk improved in interactive reproduction advancing performance, reproducing device, and reproducing method
US6567612B2 (en) * 1996-04-05 2003-05-20 Pioneer Electronic Corporation Information record medium, apparatus for recording the same and apparatus for reproducing the same
JPH09282848A (ja) * 1996-04-05 1997-10-31 Pioneer Electron Corp 情報記録媒体並びにその記録装置及び再生装置
US5859642A (en) * 1996-09-26 1999-01-12 Sandia Corporation Virtual button interface
CN1145965C (zh) 1996-11-13 2004-04-14 松下电器产业株式会社 用于生成存储在信息记录盘上的图象位流设备和方法
JP3655433B2 (ja) 1997-06-20 2005-06-02 パイオニア株式会社 コンピュータ読み取り可能な記録媒体及び情報再生装置
US6806893B1 (en) * 1997-08-04 2004-10-19 Parasoft Corporation System and method for displaying simulated three dimensional buttons in a graphical user interface
JP4416846B2 (ja) * 1997-08-22 2010-02-17 ソニー株式会社 メニュー制御用データを記録したコンピュータ読み取り可能な記録媒体ならびにメニュー制御方法および装置
US5929857A (en) 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
JP3407287B2 (ja) 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
JP2000067522A (ja) 1998-08-25 2000-03-03 Sony Corp 情報再生装置および方法、情報記録装置および方法、提供媒体、並びに記録媒体
EP1101223B1 (en) 1998-12-14 2006-09-27 Koninklijke Philips Electronics N.V. Record carrier, and apparatus and method for playing back a record carrier, and method of manufacturing a record carrier
DE69935704T2 (de) * 1998-12-24 2007-12-27 Matsushita Electric Industrial Co., Ltd., Kadoma Aufnahme/Wiedergabe-Anlage und Verfahren zur digitalen Fernsehsendung
JP3615954B2 (ja) * 1999-01-29 2005-02-02 大日本スクリーン製造株式会社 基板処理装置用の槽内液面検出装置
WO2000049803A1 (fr) * 1999-02-18 2000-08-24 Kabushiki Kaisha Toshiba Support d'enregistrement pour flux de donnees, procede d'enregistrement et procede de reproduction associes
US6466220B1 (en) 1999-03-05 2002-10-15 Teralogic, Inc. Graphics engine architecture
JP2001052470A (ja) 1999-08-04 2001-02-23 Toshiba Corp キー操作ナビゲーション装置及び方法
US7099561B1 (en) 1999-08-20 2006-08-29 Thomson Licensing User interface and processing system for digital video, audio and ancillary data
ID29232A (id) 1999-10-21 2001-08-16 Koninkl Philips Electronics Nv Perangkat putar-ulang dan metode untuk memutar-ulang suatu pembawa rekaman
KR20020064888A (ko) 1999-10-22 2002-08-10 액티브스카이 인코포레이티드 객체 지향형 비디오 시스템
GB0007870D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for making and replauing digital video recordings, and recordings made by such methods
US6600502B1 (en) * 2000-04-14 2003-07-29 Innovative Technology Application, Inc. Immersive interface interactive multimedia software method and apparatus for networked computers
JP2001332006A (ja) 2000-05-17 2001-11-30 Toshiba Corp 背景画像取り込みシステム
US6867781B1 (en) 2000-08-23 2005-03-15 Nintendo Co., Ltd. Graphics pipeline token synchronization
WO2002079902A2 (en) 2000-12-01 2002-10-10 Smartdisk Corporation Systems, methods and computer program products for managing multimedia content
US20020163543A1 (en) * 2001-05-02 2002-11-07 Minoru Oshikiri Menu item selection method for small-sized information terminal apparatus
JP2003249057A (ja) 2002-02-26 2003-09-05 Toshiba Corp デジタル情報媒体を用いるエンハンスド・ナビゲーション・システム
GB0225789D0 (en) * 2002-03-25 2002-12-11 Makemyphone Ltd Method and apparatus for creating image production file for a custom imprinted article
CN100466713C (zh) 2002-11-28 2009-03-04 索尼株式会社 再现装置和再现方法
KR101019346B1 (ko) 2003-01-31 2011-03-07 파나소닉 주식회사 재생장치, 기록방법, 재생방법
CA2515517C (en) * 2003-02-28 2014-12-30 Matsushita Electric Industrial Co., Ltd. Recording medium, reproduction apparatus, recording method, program, and reproduction method
KR20050005074A (ko) 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008198354A (ja) * 2003-01-31 2008-08-28 Matsushita Electric Ind Co Ltd システムlsi
US7729598B2 (en) 2003-01-31 2010-06-01 Panasonic Corporation Recording medium, reproduction apparatus, recording method, program, and reproduction method
JP4549404B2 (ja) * 2003-01-31 2010-09-22 パナソニック株式会社 記録媒体の記録方法、再生装置、及び再生方法
US8463107B2 (en) 2003-01-31 2013-06-11 Panasonic Corporation Recording medium, reproduction apparatus, recording method, program, and reproduction method
US7814422B2 (en) 2003-02-28 2010-10-12 Panasonic Corporation Reproduction apparatus, reproduction method and recording method
US7962012B2 (en) 2003-02-28 2011-06-14 Panasonic Corporation Recording medium, reproduction apparatus, recording method, program and reproduction method
US8676040B2 (en) 2003-02-28 2014-03-18 Panasonic Corporation Recording medium, reproduction apparatus, and recording method

Also Published As

Publication number Publication date
KR101019360B1 (ko) 2011-03-07
CN101510982B (zh) 2010-12-29
CA2512058A1 (en) 2004-08-12
JP4213765B2 (ja) 2009-01-21
KR101019333B1 (ko) 2011-03-07
CN100474915C (zh) 2009-04-01
KR20090060374A (ko) 2009-06-11
CN101510980B (zh) 2011-06-15
DE602004026036D1 (de) 2010-04-29
US20100195982A1 (en) 2010-08-05
MXPA05007922A (es) 2005-09-30
KR20090026365A (ko) 2009-03-12
CA2512058C (en) 2013-01-15
CN101510981A (zh) 2009-08-19
JP2008198354A (ja) 2008-08-28
KR20050104361A (ko) 2005-11-02
KR100999743B1 (ko) 2010-12-08
CN1745579A (zh) 2006-03-08
US8463107B2 (en) 2013-06-11
EP1608165B1 (en) 2010-03-17
KR20090026366A (ko) 2009-03-12
EP2194532A2 (en) 2010-06-09
US7729598B2 (en) 2010-06-01
WO2004068854A1 (ja) 2004-08-12
CN101510980A (zh) 2009-08-19
EP1608165A4 (en) 2008-10-08
JP2008245303A (ja) 2008-10-09
CN101510982A (zh) 2009-08-19
EP2194532A3 (en) 2011-09-28
JP2008199661A (ja) 2008-08-28
EP1608165A1 (en) 2005-12-21
KR100984442B1 (ko) 2010-09-29
JP4549404B2 (ja) 2010-09-22
JPWO2004068854A1 (ja) 2006-05-25
CN101510981B (zh) 2011-08-10
JP4213764B2 (ja) 2009-01-21
ES2343065T3 (es) 2010-07-22
KR20090026364A (ko) 2009-03-12
US20060188223A1 (en) 2006-08-24
KR101019346B1 (ko) 2011-03-07

Similar Documents

Publication Publication Date Title
JP4245607B2 (ja) 記録方法、再生装置、再生方法、プログラム
JP3863905B2 (ja) 記録媒体、再生装置、記録方法、プログラム、再生方法。
JP4388972B2 (ja) 再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080424

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20080424

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090106

R150 Certificate of patent or registration of utility model

Ref document number: 4245607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150116

Year of fee payment: 6