JP4170362B2 - 記録媒体、再生装置、記録方法、プログラム、再生方法 - Google Patents

Description

【技術分野】
【０００１】
本発明は、ユーザインターフェイス制御の［技術分野］に属する発明であり、デジタル化された映画作品を頒布するための記録媒体、民生用の再生装置に、かかるユーザインターフェイス技術を応用する場合の改良に関する。
【背景技術】
【０００２】
メニューを用いたユーザインターフェイスは、言語選択やチャプター選択を受け付けるために必要不可欠な機能である。
チャプター等、多数の選択項目があるような映画作品では、選択項目が画面に収まりきらない。そこでユーザ操作に応じて複数ページを表示して個々のページに選択項目を表示させるというメニューのマルチページメニュー化の登場が要望されている。これらの技術を記載した文献には、以下の非特許文献に掲げたものがある。
【非特許文献１】
“Digital Video Broadcasting(DVB) Subtitling systems;Final draft ETSI EN 300 743”ETSI STANDARDS,EUROPEAN TELECOMMUNICATION STANDARDS INSTITUTE,SOPHIA-ANTIPO,FR
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ユーザの操作に応じて多くのページを画面上に表示させれば、それらページにより画面の多くの領域が占有され、主映像たる動画が遮蔽されることになる。そうすると、本編内容の視聴が阻害されるという事態が多発する。もっとも、「ページを表示したら消す」という操作をユーザがこまめに行えば、かかる妨害は生じ得ない。しかしそのようなこまめな操作はユーザにとって面倒なものであり、視聴への専念を妨害する新たな阻害要因になりかねない。またDVD-Videoの対話制御では、かかるページ表示の度に、ページ情報をアクセスして読み出す必要があり、そのアクセスにより動画再生が途切れるので、ユーザによる視聴を妨害することになってしまう。
【０００４】
本発明の目的は、視聴の阻害が無いようなマルチページメニュー表示を実現することができる記録媒体を提供することである。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明にかかる記録媒体は、グラフィクスストリーム及び動画ストリームが記録されている記録媒体であって、グラフィクスストリームは、1つ以上の対話制御セグメントと、グラフィクスオブジェクトを定義するオブジェクト定義セグメントとを含み、 対話制御セグメントは、複数のページ情報と、時間情報とを含み、
複数のページ情報は、マルチページメニューの画面構成を規定する情報であり、各ページ情報は、1つ以上のボタン情報を含み、各ボタン情報は、グラフィクスオブジェクトをボタン部材の一状態として表示させることにより、マルチページメニューを構成する各ページ上で対話的な画面構成を実現する情報であり、 前記マルチページメニューの表示状態には、 ノーメニュー状態、ファーストページオンリーの状態、マルチページが存在する状態の3つがあり、前記時間情報は、タイムアウト情報を含み、前記タイムアウト情報は、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを自動的にアクティベートさせることで、ファーストページオンリーの状態からマルチページ状態への遷移を行わせる時刻を示すことを特徴としている。
【発明の効果】
【０００６】
上記記録媒体によれば、動画ストリームに多重化されたグラフィクスストリーム内の対話制御セグメントは、動画の再生進行に伴ったマルチページメニューの表示状態を規定する時間情報を含んでいるので、風景等が再生されているシーンにおいて、多くのページを表示させるような再生制御が可能になる。かかる制御によりユーザによる本編内容の視聴は阻害されないので、マルチページメニューの利便性を享受しつつも、動画の視聴に専念することができる。
【０００７】
またマルチページメニュー の表示のための情報はグラフィクスストリーム内に存在しており、動画ストリームと多重化されているので、ビデオストリームの読み出しを中断しなくても、マルチページメニューを表示するための情報を再生装置内に得ることができる。かかる読出中断がありえないので、動画の表示期間に同期した時間精度で、スムーズにマルチページメニューを挙動させることができる。
【０００８】
(第１実施形態)
以降、本発明に係る記録媒体の実施形態について説明する。先ず始めに、本発明に係る記録媒体の実施行為のうち、使用行為についての形態を説明する。図１は、本発明に係る記録媒体の、使用行為についての形態を示す図である。図１において、本発明に係る記録媒体は、BD-ROM１００である。このBD-ROM１００は、再生装置２００、リモコン３００、テレビ４００により形成されるホームシアターシステムに、映画作品を供給するという用途に供される。
【０００９】
以上が本発明に係る記録媒体の使用形態についての説明である。続いて本発明に係る記録媒体の実施行為のうち、生産行為についての形態について説明する。本発明に係る記録媒体は、BD-ROMの応用層に対する改良により実施することができる。図２は、BD-ROMの構成を示す図である。
本図の第４段目にBD-ROMを示し、第３段目にBD-ROM上のトラックを示す。本図のトラックは、BD-ROMの内周から外周にかけて螺旋状に形成されているトラックを、横方向に引き伸ばして描画している。このトラックは、リードイン領域と、ボリューム領域と、リードアウト領域とからなる。本図のボリューム領域は、物理層、ファイルシステム層、応用層というレイヤモデルをもつ。ディレクトリ構造を用いてBD-ROMの応用層フォーマット(アプリケーションフォーマット)を表現すると、第1段目のようになる。
【００１０】
第1段目は、BD-ROMの応用層レイアウト(アプリケーションフォーマット)を示す図である。本図において、Rootディレクトリの配下にはBDMVというサブディレクトリが形成されている。このBDMVディレクトリの下には、STREAMディレクトリが存在する。
STREAMディレクトリは、AVClip、SubClipを格納したディレクトリである。STREAMディレクトリにおける『00001.m2ts』,『00002.m2ts』,『00003.m2ts』はAVClip、SubClipを格納したファイルであり、これらのファイルには「xxxxx.m2ts(xは任意の整数)」という統一形式のファイル名が付与されている。
【００１１】
＜AVClipの構成＞
AVClipについて説明する。図３は、AVClipがどのように構成されているかを模式的に示す図である。
AVClipは(中段)、複数のビデオフレーム(ピクチャpj1,2,3)からなるビデオストリーム、複数のオーディオフレームからなるオーディオストリームを(上１段目)、PESパケット列に変換し(上２段目)、更にTSパケットに変換し(上３段目)、同じく字幕系のプレゼンテーショングラフィクスストリーム(PGストリーム)及び対話系のインタラクティブグラフィクスストリーム(IGストリーム)を(下１段目)を、PESパケット列に変換し(下２段目)、更にTSパケットに変換して(下３段目)、これらを多重化することで構成される。
【００１２】
プレゼンテーショングラフィクスストリーム及びインタラクティブグラフィクスストリームは、ビデオストリームにおける個々のピクチャにグラフィクスを合成させるという画面構成を実現するストリーム形式のデータである。これらプレゼンテーショングラフィクスストリーム及びインタラクティブグラフィクスストリームにより、ピクチャに合成される合成客体を”グラフィクスオブジェクト”という。
【００１３】
プレゼンテーショングラフィクスストリームは、グラフィクスオブジェクトを用いた字幕表示を実現するグラフィクスストリームである。
インタラクティブグラフィクスストリームは、グラフィクスオブジェクトの対話的な表示を実現するグラフィクスストリームである。以上がAVClipの構成である。続いてAVClip、SubClipについて説明する。SubClipは、多重化されたストリームではなく、インタラクティブグラフィクスストリームのみ、オーディオストリームのみ、テキストデータのみを格納したファイルである。SubClipたるインタラクティブグラフィクスストリームは、再生時において予めメモリにロードされた上で、他のAVClipと同期して再生される。ここで、AVClipを再生するにあたって、SubClipを前もってメモリにロードしておくことをプリロードという。
【００１４】
続いてインタラクティブグラフィクスストリームについて説明する。図４（ａ）は、インタラクティブグラフィクスストリームの構成を示す図である。第１段目は、AVClipを構成するTSパケット列を示す。第２段目は、グラフィクスストリームを構成するPESパケット列を示す。第２段目におけるPESパケット列は、第１段目におけるTSパケットのうち、所定のPIDをもつTSパケットからペイロードを取り出して、連結することにより構成される。尚、プレゼンテーショングラフィクスストリームについては、本願の主眼ではないので説明は行わない。
【００１５】
第３段目は、グラフィクスストリームの構成を示す。グラフィクスストリームは、ICS(Interactive Composition Segment)、PDS(Palette Difinition Segment)、ODS(Object_Definition_Segment)、END(END of Display Set Segment)と呼ばれる機能セグメントからなる。これらの機能セグメントのうち、ICSは、画面構成セグメントと呼ばれ、PDS、ODS、ENDは定義セグメントと呼ばれる。PESパケットと機能セグメントとの対応関係は、1対1の関係、1対多の関係である。つまり機能セグメントは、1つのPESパケットに変換されてBD-ROMに記録されるか、又は、フラグメント化され、複数PESパケットに変換されてBD-ROMに記録される。
【００１６】
以降、各機能セグメントについて説明する。
『Interactive Composition Segment(ICS)』は、対話的なグラフィクスオブジェクトの画面構成を制御する機能セグメントである。対話的な画面構成の1つとして、本実施形態のICSは、Multi-Pageメニューを実現するものとする。
『Object_Definition_Segment(ODS)』は、ランレングス符号化形式のグラフィクスオブジェクトである。ランレングス符号化形式のグラフィクスオブジェクトは複数のランレングスデータからなる。ランレングスデータとは、画素値を示すPixel Codeと、画素値の連続長とにより、画素列を表現したデータである。Pixel Codeは、8ビットの値であり、1〜255の値をとる。ランレングスデータでは、このPixel Codeによりフルカラーの16,777,216色から任意の256色を選んで画素の色として設定することができる。
【００１７】
『Palette Difinition Segment(PDS)』は、パレットデータを格納する機能セグメントである。パレットデータとは、1〜255のPixel Codeと、画素値との組合せを示すデータである。ここで画素値は、赤色差成分(Cr値),青色差成分(Cb値),輝度成分(Y値),透明度(T値)から構成される。各ランレングスデータが有するPixel Codeを、パレットに示される画素値に置き換えることで、ランレングスデータは発色されることになる。
【００１８】
『END of Display Set Segment(END)』は、機能セグメントの伝送の終わりを示す指標であり、最後のODSの直後に配置される。以上が各機能セグメントについての説明である。
図４（ｂ）は、機能セグメントを変換することで得られるPESパケットを示す図である。図４（ｂ）に示すようにPESパケットは、パケットヘッダと、ペイロードとからなり、このペイロードが機能セグメント実体にあたる。またパケットヘッダには、この機能セグメントに対応するDTS、PTSが存在する。尚以降の説明では、機能セグメントが格納されるPESパケットのヘッダ内に存在するDTS及びPTSを、機能セグメントのDTS及びPTSとして扱う。
【００１９】
これら様々な種別の機能セグメントは、図５のような論理構造を構築する。図５は、様々な種別の機能セグメントにて構成される論理構造を示す図である。本図は第１段目にEpochを、第２段目にDisplay Setを、第３段目にDisplay Setの類型をそれぞれ示す。図４（ａ）の第3段目に示した機能セグメントは第４段目に描かれている。
第１段目のEpochとは、AVClipの再生時間軸上においてメモリ管理の連続性をもっている一つの期間、及び、この期間に割り当てられたデータ群をいう。ここで想定しているメモリとは、表示を構成するグラフィクスオブジェクトを格納しておくためのグラフィクスプレーン、非圧縮グラフィクスオブジェクトを格納しておくためのオブジェクトバッファである。これらについてのメモリ管理に、連続性があるというのは、このEpochにあたる期間を通じてこれらグラフィクスプレーン及びオブジェクトバッファのフラッシュは発生せず、グラフィックプレーン内のある決められた矩形領域内でのみ、グラフィクスの消去及び再描画が行われることをいう(※ここでフラッシュとは、プレーン及びバッファの格納内容を全部クリアしてしまうことである。)。この矩形領域の縦横の大きさ及び位置は、Epochにあたる期間において、終始固定されている。グラフィックプレーンにおいて、この固定化された領域内で、グラフィクスの消去及び再描画を行っている限り、シームレス再生が保障される。つまりEpochは、シームレス再生の保障が可能な再生時間軸上の一単位ということができる。グラフィックプレーンにおいて、グラフィクスの消去・再描画を行うべき領域を変更したい場合は、再生時間軸上においてその変更時点を定義し、その変更時点以降を、新たなEpochにせねばならない。この場合、2つのEpochの境界では、シームレス再生は保証されない。
【００２０】
尚、ここでのシームレス再生とは、グラフィクスの消去及び再描画が、所定のビデオフレーム数で完遂することをいう。インタラクティブグラフィクスストリームの場合、このビデオフレーム数は、4,5フレームとなる。このビデオフレームをどれだけにするかは、グラフィックプレーン全体に対する固定領域の大きさの比率と、オブジェクトバッファ−グラフィックプレーン間の転送レートとによって定まる。
【００２１】
第２段目のDisplay Set(DSと略す)とは、グラフィクスストリームを構成する複数機能セグメントのうち、一つの画面構成を実現するものの集合をいう。図５における破線hk1は、第２段目のDisplay Setが、どのEpochに帰属しているかという帰属関係を示す。DS1,2,3・・・nは、第１段目のEpochを構成していることがわかる。
第３段目はDisplay Setの類型を示す。Epochの先頭に位置するDisplay Setの類型はEpoch Startである。先頭ではない Display Setの類型は『Acquisition Point』、『Normal Case』、『Epoch Continue』である。本図におけるAcquisition Point、Normal Case、Epoch Continueの順序は、一例にすぎず、どちらが先であってもよい。
【００２２】
『Epoch Start』は、”新表示”という表示効果をもたらすDSであり、新たなEpochの開始を示す。そのためEpoch Startは、次の画面合成に必要な全ての機能セグメントを含んでいる。Epoch Startは、映画作品におけるチャプター等、頭出しがなされることが判明している位置に配置される。
『Acquisition Point』は、”表示リフレッシュ”という表示効果をもたらすDisplay Setであり、先行するEpoch Startと全く同じDisplay Setをいう。Acquisition PointたるDSは、Epochの開始時点ではないが、次の画面合成に必要な全ての機能セグメントを含んでいるので、Acquisition PointたるDSから頭出しを行えば、グラフィックス表示を確実に実現することができる。つまりAcquisition PointたるDSは、Epochの途中からの画面構成を可能するという役割をもつ。
【００２３】
Acquisition PointたるDisplay Setは、頭出し先になり得る位置に組み込まれる。そのような位置には、タイムサーチにより指定され得る位置がある。タイムサーチとは、何分何秒という時間入力をユーザから受け付けて、その時間入力に相当する再生時点から頭出しを行う操作である。かかる時間入力は、10分単位、10秒単位というように、大まかな単位でなされるので、10分間隔の再生位置、10秒間隔の再生位置がタイムサーチにより指定され得る位置になる。このようにタイムサーチにより指定され得る位置にAcquisition Pointを設けておくことにより、タイムサーチ時のグラフィクスストリーム再生を好適に行うことができる。
【００２４】
『Normal Case』は、”表示アップデート”という表示効果をもたらすDSであり、前の画面合成からの差分のみを含む。例えば、あるDSvは、先行するDSuと同じ内容であるが、画面構成が、この先行するDSuとは異なる場合、ICSのみのDSv、又は、ODSのみのDSvを設けてこのDSvをNormal CaseのDSにする。こうすれば、重複するODSを設ける必要はなくなるので、BD-ROMにおける容量削減に寄与することができる。Normal CaseのDSは、差分にすぎないので、Normal Case単独では画面構成は行えない。
【００２５】
『Epoch Continue』とは、AVClipの境界において、Epochが連続していることを示す。1つのDSnのComposition StateがEpoch Continueに設定されていれば、たとえDSnが、その直前に位置するDSn-1と異なるAVClip上に存在していたとしても、同じEpochに属することになる。これらDSn,DSn-1は、同じEpochに帰属するので、たとえこれら2つのDS間で、AVClipの分岐が発生したとしても、グラフィックスプレーン、オブジェクトバッファのフラッシュは発生しない。
【００２６】
図中の破線kz1は、第４段目の機能セグメントが、どのDSに帰属しているかという帰属関係を示す。第４段目の機能セグメントは、図４（ａ）に示したものと同じものなので、これら図４（ａ）の一連の機能セグメントは、Epoch Startに帰属していることがわかる。Acquisition Pointに帰属する機能セグメントは、Epoch Startに帰属するものと同じであり、Normal Caseに帰属する機能セグメントは、Epoch Startに帰属するものの一部を省略したものである。
【００２７】
以上が機能セグメントにより構成される論理構造についての説明である。続いてこれらICS、ODSを有したDisplay Setが、AVClipの再生時間軸上にどのように割り当てられるかについて説明する。Epochは、再生時間軸上においてメモリ管理が連続する期間であり、Epochは1つ以上のDisplay Setから構成されるので、Display SetをどうやってAVClipの再生時間軸に割り当てるかが問題になる。ここでAVClipの再生時間軸とは、AVClipに多重されたビデオストリームを構成する個々のピクチャデータのデコードタイミング、再生タイミングを規定するための想定される時間軸をいう。この再生時間軸においてデコードタイミング、再生タイミングは、90KHzの時間精度で表現される。Display Set内のICS、ODSに付加されたDTS、PTSは、この再生時間軸において同期制御を実現すべきタイミングを示す。このICS、ODSに付加されたDTS、PTSを用いて同期制御を行うことが、再生時間軸へのDisplay Setの割り当てである。
【００２８】
Epochに属するDisplay Setのうち、任意のDisplay SetをDSnとすると、DSnは、図６に示すようなDTS、PTS設定によりAVClipの再生時間軸に割り当てられる。
図６は、DSnが割り当てられた、AVClipの再生時間軸を示す図である。本図においてDSnの始期は、DSnに属するICSのDTS値(DTS(DSn[ICS]))により示されており、終期は、DSnに属するENDのPTS値(PTS(DSn[ICS]))により示されている。そしてDSnにおいて最初の表示が行われるタイミングは、ICSのPTS値(PTS(DSn[ICS]))に示されている。AVClip再生時間軸において、ビデオストリームの所望のピクチャが出現するタイミングと、PTS(DSn[ICS])とを一致させれば、DSnの最初の表示は、そのビデオストリームと同期することになる。
【００２９】
PTS(DSn[ICS])は、DTS(DSn[ICS])に、ODSのデコードに要する期間(DECODEDURATION)と、デコードにより得られたグラフィクスオブジェクトの転送に要する期間(TRANSFERDURATION)とを足し合わせた値である。
最初の表示に必要なODSのデコードは、このDECODEDURATION内に行われることになる。図６の期間mc1は、DSnに属する任意のODS(ODSm)のデコードがなされる期間を示す。このデコード期間の開始点は、DTS(ODSn[ODSm])により示され、このデコードの終了点は、PTS(ODSn[ODSm])により示される。
【００３０】
以上のような再生時間軸への割り付けを、Epochに属する全てのODSに対して行うことで、Epochは規定されることになる。以上が再生時間軸に対する割り付けについての説明である。
本実施形態は、上述した再生時間軸における動画の再生進行に応じて、Multi-Pageメニューの挙動を制御することを特徴としている。この特徴を実現するための新規な構成は、ICS内のInteractive_compositionに存在する。以降ICS、Interactive_compositionの内部構成について以下説明する。
【００３１】
図７（ａ）（ｂ）は、ICSとInteractive_compositionとの対応関係を示す図である。ICSとInteractive_compositionとの対応関係には、図７（ａ）に示すような1対1のものと、図７（ｂ）に示すような1対多のものとがある。
対応関係が1対1になるのは、Interactive_compositionのサイズが小さく、1つのICS内にInteractive_compositionが収まる場合である。
【００３２】
1対多の対応関係になるのは、Interactive_compositionのサイズが大きく、Interactive_compositionがフラグメント化され、複数ICSに格納される場合である。複数ICSへの格納が可能なので、Interactive_compositionサイズには制限がなく、512Kバイトであろうと、1Mバイトであろうと、Interactive_compositionのサイズを大きくすることができる。ICS、Interactive_compositionには1対多の対応関係もあり得るが、簡単を期するため、以降の説明では、ICS、Interactive_compositionの対応関係は、1対1であるとする。
【００３３】
図８は、ICSの内部構成を示す図である。ICSには、Interactive_Compositionの全体、又は、Interactive_Compositionをフラグメント化することで得られた一部が格納されている。図８の左側に示すように、ICSは、自身がICSであることを示す『segment_descriptor』と、本ICSが想定している縦横の画素数、フレームレートを示す『video_descriptor』と、本ICSが属するDisplay Setが、Normal Case、Acquisition Point、Epoch Start、Effect_Sequenceの何れであるかというcomposition_stateを示す『composition_descriptor』と、Interactive_Compositionの全体、又は、Interactive_Compositionをフラグメント化することで得られた一部である『Interactive_composition_data_fragment』とからなる。
【００３４】
図８の矢印cu1は、Interactive_compositionの内部構成をクローズアップしている。この矢印に示すようにInteractive_compositionは、『Interactive_composition_length』,『Stream_model』,『user_interface_model』,『composition_time_out_pts』,『selection_time_out_pts』,『user_time_out_duration』、Multi-Pageメニューにおいて表示可能な複数ページのそれぞれに対応する『ページ情報(1)(2)・・・(i)・・・(number_of_page-1)』を含む。
【００３５】
『Interactive_composition_length』は、Interactive_compositionのデータ長を示す。
『Stream_model』は、Interactive_compositionが想定しているストリームモデルのタイプを示す。ストリームモデルとは、Interactive_compositionがどのような形態でBD-ROMに記録されて、再生装置におけるバッファ(コンポジションバッファと呼ばれる)上でどのように扱われるかを示すものであり、Stream_modelは、グラフィクスストリームがAVClipから多重分離されてコンポジションバッファ上にロードされたものであるか(i)、SubClipとしてAVClipとは別ファイルに格納され、コンポジションバッファにプリロードされたものであるか(ii)を示す。かかるStream_modelをInteractive_compositionに設けておくのは、コンポジションバッファにおけるInteractive_compositionの扱いが、プリロードされたものと、多重化されたものとで違うからである。図９は、Stream_modelがMultiplexedである場合のICSの取り扱いを示す図である。本図における第4段目は、AVClipに多重化されるビデオストリーム、第3段目は、AVClipに多重化されるグラフィクスストリームをそれぞれ示す。この第3段目においてグラフィクスストリームには、DS1、DS2、DS8という3つのDisplay Setが存在している。第2段目は、AVClipにおける再生進行を示し、第1段目は、その再生進行に伴う、コンポジションバッファの格納内容の移り変わりを示す。現在の再生時点がDS1の多重化地点に到達すれば、矢印PF1に示すように、DS1がコンポジションバッファにロードされ、コンポジションバッファにはDS1[ICS]が格納されることがわかる。現在の再生時点がDS2の多重化地点に到達すれば、矢印PF2に示すように、DS2がコンポジションバッファにロードされ、コンポジションバッファにはDS2[ICS]が格納されることがわかる。Stream_model＝Multiplexedである場合、Interactive_compositionが複数存在するので、再生装置はAVClipの再生進行に伴い、古いInteractive_compositionを捨てて、現在の再生時点に存在する新たなInteractive_compositionをロードするという捨拾選択が行われることがわかる。
【００３６】
この捨拾選択が顕著になるのが頭出し実行時である。頭出し実行時において、現在の再生時点に相当するInteractive_compositionはもはや役に立たないから、再生装置は頭出し実行と共に、コンポジションバッファ上のInteractive_compositionを廃棄してしまう。図９において頭出しam1がなされれば、その頭出し開始のタイミングam2で、コンポジションバッファの格納内容が廃棄され、頭出し先位置に存在するDS8[ICS]が矢印PF3に示すように、コンポジションバッファにロードされることがわかる。
【００３７】
多重化であれば、再生進行に伴ったInteractive_composition廃棄は必須となるが、プリロードであれば、Interactive_composition廃棄は一切不要である。仮に、再生時点が進行する度にInteractive_composition廃棄がなされれば、その度に同じInteractive_compositionをBD-ROMからコンポジションバッファにロードする必要が生じ、ロードのやり直しにより、余分が負荷が発生するからである。図１０は、Stream_modelがプリロードである場合のコンポジションバッファの移り変わりを示す図である。第1段目〜第4段目の意味合いは、図９と同じであるが、コンポジションバッファ格納内容の移り変わりは図９と全く異なるものになっている。どう違うかというと、DS1が多重化されている地点まで、現在の再生時点が到達してもICSはコンポジションバッファにロードされないのである(図中の×印)。
【００３８】
同様に、DS2が多重化されている地点まで、現在の再生時点が到達してもICSはコンポジションバッファにロードされない(図中の×印)。更に頭出しが発生したとしても、コンポジションバッファの格納内容は廃棄されず維持される。再生進行にともなってInteractive_compositionを廃棄するか、或は、再生進行に拘らずコンポジションバッファ上のInteractive_compositionを保持しておくかとの判断を再生装置における制御主体(グラフィクスコントローラ)に正確に行わせるため、Stream_modelがInteractive_compositionに設けられている。以上がStream_modelの説明である。
【００３９】
『user_interface_model』は、Interactive_compositionが想定しているユーザインターフェイスモデルが、Always-onU/IであるかPop-upU/Iであるかを示す。Always-onU/Iとは、AVClipの再生進行に伴ってメニューの表示・消去がなされるユーザインターフェイスであり、ポップアップU/Iとは、ユーザによる操作をトリガにしてメニューの表示・消去がなされるユーザインターフェイスである。
【００４０】
『Composition_time_out_pts』は、ICSが帰属するEpochの終期(Epoch END)を示す。ICSによる対話制御は、このEpoch終期(Epoch END)においてもはや不可能となるので、このcomposition_time_out_ptsに示される時点が、対話制御の終期を意味する。
『selection_time_out_pts』は、セレクテッド状態にあるボタンを自動的にアクティベートするためのタイムアウト時刻を示す。ボタンとは、Multi-Pageメニューにおける個々の選択項目であり、かかるボタンの状態をアクティブ状態に変化させる時間を規定しているのがこのselection_time_out_ptsである。
【００４１】
図中のIF文(if(Stream_model=='0b'))は、上述したcomposition_time_out_pts及びselection_time_out_ptsが、Stream_model=Multiplexedの際、出現する任意の情報要素であることを示してる。ICSが想定しているストリームモデルがプリロードである場合、これらcomposition_time_out_pts、selection_time_out_ptsは存在しない。
『user_time_out_dutration』は、ユーザ操作により表示され得るページを消去するためのタイムアウト時刻を示す。Always-onU/Iでは、2ndPage以降のPage(SubPageという)がユーザ操作により表示されるので、このuser_time_out_dutrationのタイムアウトにより、SubPageのみが消去され、1stPageのみとなる。Pop-upU/Iでは、SubPageだけではなく、Multi-Pageメニュー全体がユーザ操作により表示されるので、user_time_out_dutrationのタイムアウトにより、全てのページが消去され何も表示されない状態(No Menu Display)になる。
【００４２】
続いてEpochにおいて、selection_time_out_pts及びcomposition_time_out_ptsがどのような意味合いを持つかについて説明する。
図１１は、DSnがEpoch Startである場合(n=1)、DSnに帰属するICSにおいて、selection_time_out_pts及びcomposition_time_out_ptsがどのような意味合いを持つかを示す図である。このタイミングチャートを参照すれば、composition_time_out_ptsはEpochの終了時点(EpochEND)を示していることがわかる。対話的な画面構成は、PTS(DSn[ICS])からEpochENDまで有効になる。この期間を、Interactive display Periodという。
【００４３】
またselection_time_out_ptsは、Epoch ENDの手前の時点を示す。PTS(DSn[ICS])からselection_time_out_ptsにより示される時点までにおいて、対話制御は有効になる。この期間をValid Interaction Periodという。このようにselection_time_out_ptsは、Epochにおいて最初の表示がなされてから、どれだけの間対話制御が有効になるかを示し、composition_time_out_ptsは、Epochにおいて最初の表示がなされてから、どれだけの間、対話的な表示が有効になるかを示していることがわかる。以上がselection_time_out_pts、composition_time_out_ptsの意味合いである。続いてこれらselection_time_out_pts及びcomposition_time_out_pts、user_time_out_dutrationによりMulti-Pageメニューの状態がどのように変化するかについて説明する。
【００４４】
図１２（ａ）は、selection_time_out_pts、user_time_out_dutration、composition_time_out_ptsを用いたMulti-Pageメニューの状態遷移を示す状態遷移図である。図１２（ａ）はPop-upU/IにおけるMulti-Pageメニューの状態遷移を示す。本図におけるMulti-Pageメニューの状態には、No Menu Display、1st page Only、Multi-Page existがある。
1st page Onlyは、1stPageのみが表示されている状態を示す。
【００４５】
Multi-Page existは、1stPageに加え、2ndPage以降のページ(SubPageという)が表示されている状態を示す。
矢印jt1は、No Menu Display→1st page Onlyの状態遷移を示す。この状態遷移は、イベント”Pop-up_on”をトリガにしている。”Pop-up_on”とは、メニュー呼出操作をユーザが行うことで再生装置内に発生するイベントである。
【００４６】
矢印jt2は、1st page Only→No Menu Displayの状態遷移を示す。この状態遷移は、イベント”Pop-up_off”をトリガにしている。”Pop-up_off”とは、メニュー呼出の取消操作をユーザが行うことで再生装置内に発生するイベントである。
矢印jt3,jt4は、1st page Only→Multi-Page exist、Multi-Page exist→1st page Onlyの状態遷移を示す。この状態遷移は、selection_time_out_ptsのタイムアウトによるChangeButtonPageイベントの発生をトリガにしている。ChangeButtonPageとは、ユーザがページ切り換えを再生装置に命じた際、発生するイベントである。本イベントの発生は、ユーザによりページ切り換え操作がなされたことを前提にしている。selection_time_out_ptsは、メニューにおいてそのページ切り換え操作を受け付けるボタンを強制的にタイムアウトにするためのタイムアウト時刻を示すから、Interactive_compositionにおけるselection_time_out_ptsの記述により、1st page Only→Multi-Page exist、Multi-Page exist→1st page Onlyの状態遷移を実現をすることができる。
【００４７】
矢印jt5は、1st page OnlyからNo Menu Displayへの状態遷移を示し、矢印jt6は、Multi-Page existからNo Menu Displayへの状態遷移を示す。この状態遷移jt6は、”user_time_out_dutrationによるタイムアウト”をトリガにしている。
この状態遷移図において、1st page Only又はMulti-Page existからNo Menu Displayに戻るという状態遷移jt5,jt6は、user_time_out_dutrationにより規定されるので、動画ストリームの再生が、クライマックスシーンまで進行した際メニューを自動的に消去して、メニューによる遮蔽を防ぐという再生制御を規定することができる。
【００４８】
図１２（ｂ）は、Always-onU/IにおけるMulti-Pageメニューの挙動を示す。矢印at1は、No Menu Display→1st page Onlyの状態遷移を示す。この状態遷移は、イベント”Epoch Start”をトリガにしている。イベント”Epoch Start”は、Interactive_compositionのPTSに示される再生時刻が到来したことを示すイベントであり、1stPageの表示は、ユーザによる操作を待つことなく、動画ストリームの再生進行により自動的になされることがわかる。
【００４９】
矢印at2,at3は、1st page Only→Multi-Page exist、Multi-Page exist→1st page Onlyの状態遷移を示す。この状態遷移も、Pop-upU/I同様、selection_time_out_ptsのタイムアウトによるChangeButtonPageイベントの発生をトリガにしている。
矢印at4は、user_time_out_dutrationによるタイムアウト”をトリガにした、Multi-Page existから1st Page onlyへの状態遷移を示す。この状態遷移からも明らかなように、Always-onU/Iではuser_time_out_dutrationによるタイムアウトが発生したとしても、1st Page onlyに戻るのみであり、No Menu Displayにはならない。
【００５０】
矢印at5は、1st Page only→No Menu Displayの状態遷移を示す。この状態遷移は、”composition_time_out_ptsによるタイムアウト”をトリガにしている。composition_time_out_ptsによるタイムアウトは、いわばEpochの終了(Epoch END)を表す。
図１２（ａ）,（ｂ）からも明らかなように、Interactive_compositionのselection_time_out_pts、user_time_out_dutration、composition_time_out_ptsにより、Multi-Pageメニューの挙動は制御されることがわかる。
【００５１】
この制御を応用した画面演出の一例を図１３〜図１５に示す。図１３は、Multi-Pageメニューを導入した画面演出を示す図である。この画面演出とは、最初はMulti-Pageメニューを一切表示せず、時点t1に到達した際、1stPageを表示し、その後、時点t2に到達した際、1stPageに加えSubPageを表示するというものである。更に再生が進み時点t3の到達後、SubPageを消去して1stPageのみとし、時点t4の到達時に1stPageを消去してNo Menu Displayとするというものである。
【００５２】
図１３の下側に、かかる画面演出を行う際のInteractive_compositionの記述例を示す。この場合、PTS(DSn[ICS])に時点t1を示させ、selection_time_out_ptsに時点t2を、user_time_out_dutrationに時点t3を、composition_time_out_ptsに時点t4をそれぞれ示させる。PTS(DSn[ICS])、selection_time_out_pts、user_time_out_dutration、composition_time_out_ptsをこのように設定することによりMulti-Pageメニューは、図１３の状態遷移を行うことになる。
【００５３】
更に詳しい具体例を交えながら、selection_time_out_ptsの設定例について説明する。
図１４（ａ）〜（ｃ）は、selection_time_out_pts設定の一例を示す図である。時点t1では、図１４（ａ）に示すように、Multi-Pageメニューの1stPageがピクチャに合成され、表示されているものとする。時点t2に出現するピクチャは、図１４（ｂ）の通りであり、何の変哲もない風景であるものとする。特に価値がある内容が表示される訳ではないので、時点t2で、1stPageのボタンが自動的に確定するようselection_time_out_ptsを設定しておく。そうすると、図１４（ｂ）に示す風景上にSubPageが合成され、図１４（ｃ）に示すような合成画像が現れることになる。
【００５４】
同様に、具体的な表示内容を交えながら、user_time_out_dutrationの設定例について説明する。図１５（ａ）〜（ｄ）は、user_time_out_dutration設定の具体例を示す図である。この具体例で想定しているのは、図１５（ａ）に示すように、複数のSubPage(2nd Page,3rd Page,4th Page)が表示され、MultiPage-exist状態になっている状態である。かかるMultiPage-exist状態が、ビデオストリームを構成する個々のピクチャと合成されて、表示されることになる。ここで時点t3に表示されるべきピクチャが図１５（ｂ）に示すような登場人物の肖像であるものとする。この肖像に複数SubPageが合成されると、肖像は、複数SubPageで覆い隠され、図１５（ｃ）に示すように表情がわからなくなってしまう。そこで時点t3の直前を示すよう、user_time_out_dutrationを設定しておく。そうするとメニュー状態は、MultiPage-exist状態から1stPage-Only状態に変化するので、肖像は図１３（ｄ）に示すように、画面に現れることになる。ページによる画面占有が1stPage一枚のみになるので、ピクチャの映像内容の妨げにはならない。またメニュー全体を消す訳ではなく、1stPageのみを残すので、メニュー全体を消去する場合と比較すると、メニュー呼出を改めて行うという手間が不要になる。
【００５５】
以上のように本実施形態によれば、グラフィクスストリーム内に多重化されたICSは、動画の再生進行に伴ったMulti-Pageメニューの挙動を規定する制御情報を含んでいるので、風景等が再生されているシーンにおいて、多くのページを表示させたり、クライマックスシーンまで再生が進行すれば、個々のページを消してゆくような再生制御が可能になる。かかる制御によりユーザによる本編内容の視聴は阻害されないので、Multi-Pageメニューの利便性を享受しつつも、動画の視聴に専念することができる。
【００５６】
(第２実施形態)
第２実施形態は、Multi-Pageメニューにおける個々のページを表示させるにあたっての画面構成を実現する実施形態である。本実施形態で想定している画面構成は、グラフィカルなボタン部材が複数配置されたページを表示すると共に、その表示の前後に、表示効果を伴うというものである。
【００５７】
図１６は、複数ページのうち、任意のもの(x枚目のページ)についてのページ情報の内部構成を示す図である。この図１６の左側に示すようにページ情報(x)は、ページxを一意に識別する識別子である『page_id』,『UO_mask_table』,ページ(x)の表示開始時あたって再生すべき表示効果を示す『in_effect』,ページ(x)の表示終了時あたって再生すべき表示効果を示す『out_effect』,ページ(x)にアニメーションを実行する際、適用すべきフレームレートを記述する『animation_frame_rate_code』,『default_selected_button_id_ref』、『default_activated_button_id_ref』,『pallet_id_ref』,ページ(x)上の複数ボタンのそれぞれに対応する『ボタン情報(1)(2)・・・・・(number_of_buttons-1)』を含む。
【００５８】
『UO_Mask_Table』は、page(x)におけるユーザ操作の許可／不許可を示す。このマスクフィールドが不許可に設定されていれば、再生装置に対するユーザ操作は無効になる。
『default_selected_button_id_ref』は、Page(x)の表示が始まったとき、デフォルトでセレクテッド状態に設定すべきボタンを動的に定めるか、静的に定めるかを示す。本フィールドが”OxFF”であれば、デフォルトでセレクテッド状態に設定すべきボタンを動的に定める旨を示す。動的に定める場合、再生装置における状態レジスタ(Player Status Register(PSR))の設定値が優先的に解釈され、PSRに示されるボタンがセレクテッド状態になる。本フィールドが0xFFでなければ、デフォルトでセレクテッド状態に設定すべきボタンを静的に定める旨を示す。この場合、『default_selected_button_id_ref』に規定されたボタン番号でPSRを上書きし、本フィールドで指示されるボタンをセレクテッド状態にする。
【００５９】
『default_activated_button_id_ref』は、selection_time_out_ptsに示される時点に達した際、自動的にアクティブ状態に設定されるボタンを示す。default_activated_button_id_refが”FF”であれば、所定のタイムアウト時刻において、現在セレクテッド状態になっているボタンが自動的に選択される。このdefault_activated_button_id_refが00であれば、自動選択はなされない。00,FF以外の値であれば本フィールドは、有効なボタン番号として解釈される。
【００６０】
『pallet_id_ref』は、Page(x)において、CLUT部に設定すべきパレットのidを示す。
『ボタン情報(Button_info)』は、Page(x)上に表示される各ボタンを定義する情報である。以上のフィールドにより、Multi-Pageメニューにおける個々のページは特定される。続いてボタン情報の内部構成について説明する。Page(x)における任意のボタンをボタン(i)であると仮定した場合、このボタン(i)の内部構成が、どのようにして規定されるかについて説明する。図１６における破線の矢印cx1は、ボタン(i)を規定するボタン情報iの内部構成をクローズアップしている。
【００６１】
ページに表示される個々のボタンには、ノーマル状態、セレクテッド状態、アクティブ状態という3つの状態がある。ノーマル状態とは、単に表示されているに過ぎない状態である。これに対しセレクテッド状態とは、ユーザ操作によりフォーカスが当てられているが、確定に至っていない状態をいう。アクティブ状態とは、確定に至った状態をいう。かかる状態があるので、ボタン情報iには、以下の情報要素が規定されている。
【００６２】
『button_id』は、ボタン(i)を、Interactive_compositionにおいて一意に識別する数値である。
『button_numeric_select_value』は、ボタン(i)の数値選択を許可するか否かを示すフラグである。
『auto_action_flag』は、ボタン(i)を自動的にアクティブ状態にするかどうかを示す。auto_action_flagがオン(ビット値1)に設定されれば、ボタン(i)は、セレクテッド状態になる代わりにアクティブ状態になる。auto_action_flagがオフ(ビット値0)に設定されれば、ボタン(i)は、選択されたとしてもセレクテッド状態になるにすぎない。
【００６３】
『button_horizontal_position』、『button_vertical_position』は、対話画面におけるボタン(i)の左上画素の水平位置、垂直位置を示す。
『neighbor_info』は、ボタン(i)がセレクテッド状態になっていて、上下左右方向へのフォーカス移動が命じられた場合、どのボタンをセレクテッド状態に設定するかを示す情報であり、『upper_button_id_ref』,『lower_button_id_ref』,『left_button_id_ref』,『right_button_id_ref』からなる。
【００６４】
『upper_button_id_ref』は、ボタン(i)がセレクテッド状態である場合においてリモコンが操作され、上方向へのフォーカス移動を命じるキー(MOVEUPキー)が押下された場合、ボタン(i)の代わりに、セレクテッド状態にすべきボタンの番号を示す。もしこのフィールドにボタン(i)の番号が設定されていれば、MOVEUPキーの押下は無視される。
『lower_button_id_ref』,『left_button_id_ref』,『right_button_id_ref』は、ボタン(i)がセレクテッド状態である場合において、リモコンが操作され、下方向へのフォーカス移動を命じるキー(MOVE Downキー),左方向へのフォーカス移動を命じるキー(MOVE Left キー),右方向へのフォーカス移動を命じるキー(MOVE Right キー)が押下された場合、ボタン(i)の押下の代わりに、セレクテッド状態にすべきボタンの番号を示す。もしこのフィールドにボタン(i)の番号が設定されていれば、これらのキーの押下は無視される。
【００６５】
『normal_state_info』は、ボタン(i)のノーマル状態を規定する情報であり、『normal_start_object_id_ref』、『normal_end_object_id_ref』、『normal_repeated_flag』を含む。
『normal_start_object_id_ref』は、ノーマル状態のボタン(i)をアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのnormal_start_object_id_refに記述される。
【００６６】
『normal_end_object_id_ref』は、ノーマル状態のボタン(i)をアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番たる『object_ID』のうち、最後の番号がこのnormal_end_object_id_refに記述される。このactivated_end_object_id_refに示されるIDが、normal_start_object_id_refに示されるIDと同じである場合、このIDにて示されるグラフィックスオブジェクトの静止画が、ボタン(i)の絵柄になる。
【００６７】
『normal_repeat_flag』は、ノーマル状態にあるボタン(i)のアニメーション表示を反復継続させるかどうかを示す。
『selected_state_info』は、ボタン(i)のセレクテッド状態を規定する情報であり、 『selected_state_sound_id_ref』、『selected_start_object_id_ref』、『selected_end_object_id_ref』、『selected_repeat_flag』を含む。
【００６８】
『selected_state_sound_id_ref』は、ボタン(i)の状態がセレクテッド状態が変化した際、クリック音として再生させるべきサウンドデータを指定する情報である。この指定は、sound.bdmvと呼ばれるファイルに格納されているサウンドデータの識別子を記述することでなされる。本フィールドが0xFFである場合、サウンドデータは指定されていないことを意味し、クリック音再生はなされない。
【００６９】
『selected_start_object_id_ref』は、セレクテッド状態のボタン(i)をアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのselected_start_object_id_refに記述される。
『selected_end_object_id_ref』は、セレクト状態のボタンをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番たる『object_ID』のうち、最後の番号がこのselected_end_object_id_refに記述される。このselected_end_object_id_refに示されるIDが、selected_start_object_id_refに示されるIDと同じである場合、このIDにて示されるグラフィックスオブジェクトの静止画が、ボタン(i)の絵柄になる。
【００７０】
『selected_repeat_flag』は、セレクテッド状態にあるボタン(i)のアニメーション表示を、反復継続するかどうかを示す。selected_start_object_id_refと、selected_end_object_id_refとが同じ値になるなら、本フィールド00に設定される。
『activated_state_info』は、ボタン(i)のアクティブ状態を規定する情報であり、 『activated_state_sound_id_ref』、『activated_start_object_id_ref』、『activated_end_object_id_ref』を含む。
【００７１】
『activated_state_sound_id_ref』は、button情報に対応するボタンのセレクテッド状態が変化した際、クリック音として再生させるべきサウンドデータを指定する情報である。この指定は、sound.bdmvに格納されているサウンドデータの識別子を記述することでなされる。本フィールドが0xFFである場合、サウンドデータは指定されていないことを意味し、クリック音再生はなされない。
【００７２】
『activated_start_object_id_ref』は、アクティブ状態のボタン(i)をアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのactivated_start_object_id_refに記述される。
『activated_end_object_id_ref』は、アクティブ状態のボタンをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番たる『object_ID』のうち、最後の番号がこのactivated_end_object_id_refに記述される。
【００７３】
『ナビゲーションコマンド(navigation_command)』は、ボタン(i)がアクティブ状態になれば、実行されるコマンドである。ナビゲーションコマンドの代表的なものは、SetButtonPageコマンドである。SetButtonPageコマンドは、Multi-Pageメニューの所望のページを表示させ、そのページにおける所望のボタンをセレクテッド状態に設定させることを再生装置に命じるコマンドである。かかるナビゲーションコマンドを用いることにより、オーサリング担当者は、ページ切り換えを簡易に記述することができる。
【００７４】
以上がボタン情報の内部構成である。図１７に示すボタン0-A〜ボタン0-Dの状態遷移を実行する場合のボタン情報の記述例を図１８に示す。図１７における矢印hh1,hh2は、button info(1)のneighbor_info()による状態遷移を象徴的に表現している。button info(1)のneighbor_info()におけるlower_button_id_refは、ボタン0-Cに設定されているため、ボタン0-Aがセレクテッド状態になっている状態で、MOVEDownキー押下のUOが発生すれば(図１７のup1)、ボタン0-Cがセレクテッド状態になる(図１７のsj1)。button info(1)のneighbor_info()におけるright_button_id_refは、ボタン0-Bに設定されているため、ボタン0-Aがセレクテッド状態になっている状態で、MOVERightキー押下のUOが発生すれば(図１７のup2)、ボタン0-Bがセレクテッド状態になる(図１７のsj2)。
【００７５】
図１７における矢印hh3は、button info(2)のneighbor_info()による状態遷移の制御を示す。button info(2)のneighbor_info()におけるupper_button_id_refは、ボタン0-Aに設定されているため、ボタン0-Cがセレクテッド状態になっている状態で、MOVEUpキー押下のUOが発生すれば(up3)、ボタン0-Aがセレクテッド状態に戻る(sj3)。続いてボタン0-A〜ボタン0-Dの絵柄について説明する。図１８のICSを含むDSnは、図１９のような絵柄を示すODS11〜19を含んでいるものとする。ICSにおけるbutton情報(0)のnormal_state_info()におけるnormal_start_object_id_ref,normal_end_object_id_refは、ODS11〜13を指定しているため、ボタン0-Aのノーマル状態は、ODS11〜13によるアニメーションで表現される。またbutton情報(0)のselected_state_info()におけるselected_start_object_id_ref,end_object_id_selectedは、ODS14〜16を指定しているため、ボタン0-Aのセレクテッド状態は、ODS14〜16で表現される。ユーザがこのボタン0-Aをセレクテッド状態にすることにより、ボタン0-Aの絵柄たる肖像は、ODS11〜13によるものから、ODS14〜16によるものへと変化する。ここでnormal_state_info()、selected_state_info()におけるnormal_repeat_flag,selected_repeat_flagを1にしておけば、ODS11〜13によるアニメーション、ODS14〜16によるアニメーションは、図中の「→(A)」,「(A)→」,「→(B)」,「(B)→」,に示すように、アニメーション表示は反復継続する。
【００７６】
アニメーション描画が可能な複数ODSが、ボタン0-A〜ボタン0-Dに割り当てられており、これらによる制御がICSに記述されていれば、ユーザ操作に併せてキャラクタの表情が変わるような、リアルなボタンの状態制御を実現することができる。
以上がボタン情報についての説明である。続いてEffect画像について説明する。図１６においてIn_Effect及びOut_Effectは、何れもEffect_Sequenceにより定義される。図２０は、Effect_Sequenceの内部構成を示す図である。Effect_Sequenceは、図２０の左半分に示す通りであり、number_of_windows個のウィンドゥ情報(ウィンドゥ情報(0)(1)(2)・・・(number_of_windows-1))と、number_of_effects個のeffect情報(Effect情報(0)(1)(2)・・・(number_of_effects-1))とからなる。
【００７７】
ここでEffect画像は、一定間隔置きの画面構成(Display Composition)を繰り返すことで再生される。Effect情報は、個々の画面構成を規定する情報であり、破線ec1は、Effect情報の内部構成をクローズアップして示す。本矢印に示すように、Effect情報は、上記一定間隔を示す『effect_duration』と、その画面構成に用いられるパレットデータを示す『pallet_id_ref』と、画面構成の詳細を規定する『composition_object(0)(1)(2)・・・・(number_of_Composition_Object-1)』とからなる。
【００７８】
ウィンドゥ情報は、グラフィックスプレーンでの画面構成に用いられる領域を規定するものである。図中の引き出し線wc1はウィンドゥ情報の構成をクローズアップしている。この引き出し線に示すようにwindow情報は、グラフィックスプレーンにおいてウィンドゥを一意に識別する『window_id』と、グラフィックスプレーンにおける左上画素の水平位置を示す『window_horizontal_position』と、グラフィックスプレーンにおける左上画素の垂直位置を示す『window_vertical_position』と、グラフィックスプレーンにおけるウィンドゥの横幅を示す『window_width』と、グラフィックスプレーンにおける縦幅を示す『window_height』とを用いて表現される。
【００７９】
window_horizontal_position、window_vertical_position、window_width、window_heightがとりうる値について説明する。これらが想定している座標系は、グラフィックスプレーンの内部領域であり、このグラフィックスプレーンは、縦:video_height、横:video_widthという二次元状の大きさをもつ。
window_horizontal_positionは、グラフィックスプレーンにおける左上画素の水平アドレスであるので、1〜video_widthの値をとり、window_vertical_positionは、グラフィックスプレーンにおける左上画素の垂直アドレスであるので1〜video_heightの値をとる。
【００８０】
window_widthは、グラフィックスプレーンにおけるウィンドゥの横幅であるので、1〜video_width-window_horizontal_positionの値をとり、window_heightは、グラフィックスプレーンにおける縦幅であるので1〜video_height-window_vertical_positionの値をとる。
window情報のwindow_horizontal_position、window_vertical_position、window_width、window_heightにより、グラフィックスプレーンの何処にウィンドゥを配置するか、ウィンドゥの大きさをどれだけにするかを規定することができる。
【００８１】
フレームワークを実現するにあたってのウィンドゥサイズの制約について説明する。フレームワークとは、毎秒24枚という頻度で、グラフィクスの画面構成を行うことをいう。この毎秒24枚という頻度は、ビデオストリームの再生時における、一秒当たりのピクチャの表示枚数をいう。かかるフレームワークの実現によりグラフィクスオブジェクトは、動画像と緻密に同期することになる。さて、フレームワークの実現には、ウィンドゥクリアと、ウィンドゥ再描画とをビデオフレームの時間間隔で実現する必要がある。この際、オブジェクトバッファと、グラフィックスプレーンとの間の転送レートはどれだけ必要であろうか。
【００８２】
ここでウィンドゥをどれだけの大きさとするかの制限について検討する。オブジェクトバッファ−グラフィックスプレーン間の転送レートをRcとすると、ワーストケースでは、この転送レートRcでウィンドゥクリアと、ウィンドゥ再描画とを行わねばならない。そうするとウィンドゥクリア、ウィンドゥ再描画のそれぞれをRcの半分の転送レート(Rc/2)で実現せねばならない。
【００８３】
そうするとフレームワークの実現には、
ウィンドゥサイズ×フレームレート≒Rc/2
を満たす必要がある。このフレームレートが24であるなら、
Rcは、ウィンドゥサイズ×2×24になる。
ここでグラフィックスプレーンの総画素数は1920×1080であり、一画素当たりのインデックスのビット長を8ビットとすると、グラフィックスプレーンの総容量は2Mバイト(≒1920×1080×8)になる。
【００８４】
Rcが128Mbpsであり、ウィンドゥサイズの大きさが、グラフィックスプレーンの大きさの1/Aであるすると以下の関係が成り立つ。

128,000,000＝1920×1080×1/A×8×2×24
1/A≒0.16(=128,000,000/(1920×1080×8×2×24))
この16%という大きさであれば、128Mbpsという転送レートでEffect映像の表示を行っている限り、如何なる表示効果を実現する場合であっても、動画との同期を維持することができる。
仮に、ウィンドゥクリア及び再描画のレートたるeffect_durationがビデオフレームのフレームレートの1/2,1/4でよいなら、Rcがたとえ同じであってもウィンドゥサイズをグラフィックスプレーン全体の32%,64%にすることができる。ウィンドゥサイズが大きければeffect_durationの間隔を長く、ウィンドゥサイズが小さければ、effect_durationの間隔を短くするという調整を可能とするデータ構造が、Effect_Sequenceの特徴である。以上がwindowの大きさについての説明である。続いて、windowの位置について説明する。上述したように、Epochにおいてウィンドゥの位置は一貫している。
【００８５】
Epochにおいてウィンドゥの位置を一貫させておくのは以下の理由による。ウィンドゥの位置を変えれば、グラフィックスプレーンに対する書込先アドレスを変えねばならず、オーバーヘッドが発生するので、かかるオーバーヘッドによりオブジェクトバッファからグラフィックスプレーンへの転送レートが低下するからである。
ウィンドゥには、グラフィクスオブジェクトの個数が制限されている。この個数制限は、デコードされたグラフィクスオブジェクトの転送にあたってのオーバーヘッドを低減する目的で設けられている。ここでのオーバーヘッドは、グラフィクスオブジェクトのエッジ部分のアドレスを設定する際に発生する。そうすれば、エッジの部分が多く存在する程、オーバーヘッドの発生回数が多くなる。
【００８６】
ウィンドゥにおけるグラフィクスオブジェクトの数に制限がないと、グラフィクス転送にあたって発生するオーバーヘッド数が未知数になり、転送負荷の増減が激しくなる。一方、ウィンドゥにおけるグラフィクスの個数が2つまでであると、最悪4つのオーバーヘッドが発生すると見込んで転送レートを設定すればよいので、ミニマムスタンダードたる転送レートを数値化し易くなる。
【００８７】
一方Effect情報におけるeffect_durationは、ウィンドゥの大きさに基づいて定められる。ここで、effect_durationの設定をどのように行うかという設定の考え方について説明する。図２１（ａ）は、effect_durationの設定をどのように行うかという設定の概念を示す図である。j+1回目の画面構成は、j回目の画面構成後、複数ビデオフレームが経過した際に行われるものとする。この場合、このビデオフレームの経過数がeffect_durationを意味する。effect_durationを算出するにあたっては、画面構成に必要な総書込サイズを求めねばならない。ここでEffect_Sequenceにおけるj回目、j+1回目の画面構成において、number_of_windows個のウィンドゥが存在するものとする。そうするとj回目の画面構成における書込時の総サイズは、｝記号brに示すように、window(0)からwindow(number_of_windows-1)までのウィンドゥサイズの総和になる。
【００８８】
ここでj回目の画面構成において、window(0)からwindow(number_of_window-1)までのwindowが存在すると、これらwindowのデータサイズの総和を再生装置の転送レート(128Mbps)で割り、更にPTSの時間精度(90KHz)で表現するために90KHzを乗ずる。こうして求められた値が、Effect_Sequence(j)を描画するための、描画期間になる。図２１（ｂ）は、effect_durationを算出するための算出式を示す。
【００８９】
尚、本明細書において演算子”ceil()”は、小数点以下切り上げの割算を示す。
図２２は、In_Effectの具体例を示す図である。この具体例で想定しているIn_Effectは、登場人物の手のひらで閃光が瞬き、その閃光からメニューが起き上がってくるという表示効果である。このIn_Effectにおいてグラフィクスの大きさが最も大きくなるのは、メニュー全体が出現するタイミング(effect(4))であるから、このeffect(4)の大きさを基準に、ウィンドゥのwindow_width、window_heightを定める。こうして定められたウィンドゥの大きさが、大凡のところ、グラフィックスプレーン全体の50%になったとする。上述した約16%という大きさに比べれば、ウィンドゥの大きさは3倍近くなっているので、effect_durationを長く設定することにより、128Mbpsでのアップデートを可能にする。effect(0)、effect(1)、effect(2)は長く設定されたeffect_durationである。この設定のように、ビデオフレーム3回につき1回、画面構成を行うとすれば、表示の途切れのないIn_Effectを実行することができる。同様の調整は、Out_effectでも可能である。図２３は、window_width、window_height、effect_durationの調整により再生されるOut_effectを示す図である。
【００９０】
以上のように本実施形態によれば、ウィンドゥ情報により画面上の描画領域が特定され、Effect情報においてその描画領域のアップデート間隔が示されているので、描画領域を大きく設定するときはアップデート間隔を長く設定し、描画領域を小さく設定するときは、アップデート間隔を短く設定するという調整が可能になる。かかる調整により、一定の転送レートでのグラフィクスデータ転送が再生装置側でなされれば、途切れのない再生を保証することができる。
【００９１】
(第３実施形態)
第３実施形態は、Scroll,Wipe-In/Out,Cut-In/Outといった表示効果を、Effect画像として再生するための改良に関する。かかる表示効果実現のための構成は、図２０に示したComposition_Objectにある。図２４は、任意のcomposition_object(i)の内部構成をクローズアップした図である。この図２４に示すように、composition_object(i)は、『object_id_ref』、『window_id_ref』、『object_cropped_flag』、『composition_object_horizontal_position』、『composition_object_vertical_position』、『cropping_rectangle情報(1)(2)・・・・・(n)』からなる。
【００９２】
『object_id_ref』は、グラフィクスオブジェクト識別子(object_id)の参照値である。この参照値は、composition_object(i)に対応する画面構成を実現するにあたって、用いるべきグラフィクスオブジェクトの識別子を意味する。
『window_id_ref』は、ウィンドゥ識別子(window_id)の参照値である。この参照値は、composition_object(i)に対応する画面構成を実現するにあたって、どのウィンドゥに、グラフィクスオブジェクトを表示させるべきかを示す。
【００９３】
『object_cropped_flag』は、オブジェクトバッファにおいてクロップされたグラフィクスオブジェクトを表示するか、グラフィクスオブジェクトを非表示とするかを切り換えるフラグである。”1”と設定された場合、オブジェクトバッファにおいてクロップされたグラフィクスオブジェクトが表示され、”0”と設定された場合、グラフィクスオブジェクトは非表示となる。
【００９４】
『composition_object_horizontal_position』は、グラフィックスプレーンにおけるグラフィクスオブジェクトの左上画素の水平位置を示す。
『composition_object_vertical_position』は、グラフィックスプレーンにおける左上画素の垂直位置を示す。
『cropping_rectangle』は、『object_cropped_flag』が1に設定されている場合に有効となる情報要素である。破線wd2は、cropping_rectangleの内部構成をクローズアップしている。この破線に示すようにcropping_rectangleは、『object_cropping_horizontal_position』、『object_cropping_vertical_position』、『object_cropping_width』、『object_cropping_height』からなる。
【００９５】
『object_cropping_horizontal_position』は、グラフィックスプレーンにおけるクロップ矩形の左上画素の水平位置を示す。クロップ矩形は、グラフィクスオブジェクトの一部を切り出すための枠である。
『object_cropping_vertical_position』は、グラフィックスプレーンにおけるクロップ矩形の左上画素の垂直位置を示す。
【００９６】
『object_cropping_width』は、グラフィックスプレーンにおけるクロップ矩形の横幅を示す。
『object_cropping_height』は、グラフィックスプレーンにおけるクロップ矩形の縦幅を示す。
以上がcomposition_objectのデータ構造である。続いてcomposition_objectの具体的な記述について説明する。
【００９７】
図２５は、右ScrollによりIn_Effectを実現するという具体例を示す図である。この具体例は、言語設定メニューを右端から徐々に引き出してゆくというものである。かかる表示効果を実現するため、時点t0,t1,t2,t3には、4つのComposition_Object(0)〜(3)を配置しておく。そしてこれらのComposition_Objectを以下のように定義する。
次に個々のcomposition_objectをどのように記述するかについて説明する。4つのcomposition_object(0)〜(3)の記述例を図２６〜図２９に示す。図２６は、composition_object(0)の記述例を示す図である。
【００９８】
図２６において、window情報のwindow_horizontal_position、window_vertical_positionは、グラフィックスプレーンにおけるウィンドゥの左上座標LP0を、window_width,window_heightは、ウィンドゥの表示枠の横幅、縦幅を示す。
図２６におけるcomposition_object(0)のobject_cropping_horizontal_position,object_cropping_vertical_positionは、オブジェクトバッファにおけるグラフィクスオブジェクトの左上座標を原点とした座標系においてクロップ範囲の基準ST1を示している。そして基準点からobject_cropping_width、object_cropping_heightに示される範囲(図中の太枠部分)がクロップ範囲になる。クロップされたグラフィクスオブジェクトは、グラフィックスプレーンの座標系においてcomposition_object_horizontal_position,composition_object_vertical_positionを基準点(左上)とした範囲に配置される。こうすることにより、言語選択メニューの右端がグラフィックスプレーンにおけるウィンドゥ内に書き込まれる。これにより言語選択メニューの右端は動画像と合成され表示される。
【００９９】
図２７、図２８、図２９は、composition_object(1)(2)(3)の記述例を示す図である。本図におけるwindow情報の記述は、図２６と同じなので説明を省略する。composition_objectの記述は、図２６と異なる。図２７におけるcomposition_object(1)のobject_cropping_horizontal_position,object_cropping_vertical_position,は、オブジェクトバッファ上の言語選択メニューのうち、右半分の左上座標を示し、object_cropping_height,object_cropping_widthは、右半分の横幅、縦幅を示す。また図２８におけるcomposition_object(2)のobject_cropping_horizontal_position,object_cropping_vertical_positionは、オブジェクトバッファ上の言語選択メニューのうち、右端から3/4の部分の左上座標を示し、object_cropping_height,object_cropping_widthは、3/4の部分の横幅、縦幅を示す。図２９におけるcomposition_object(3)のobject_cropping_horizontal_position,object_cropping_vertical_position,は、オブジェクトバッファ上の言語選択メニュー全体の左上座標を示し、object_cropping_height,object_cropping_widthは、全体の横幅、縦幅を示す。これら図２７、図２８、図２９に示すような書き込みがなされることにより、右半分、3/4、全体がグラフィックスプレーンにおけるウィンドゥ内に書き込まれる。これにより言語選択メニューが動画像と合成され表示される。
【０１００】
以上のように本実施形態によれば、オブジェクトバッファ上のグラフィクスオブジェクトを徐々に画面に出現させたり、徐々に画面から消すという処理を、Composition_Objectの記述次第で簡単に実現することができる。
(第４実施形態)
本実施形態は、Display SetにおけるODSの順序を最適化する改良に関する。Display Setに属するODSは、In_Effect・Out_Effectや、ボタンの1つの状態を表すようInteractive_compositionにて指定されていることは、上述した通りである。ODSは、こうした指定、つまり、In_Effect・Out_Effectのどれを表すか、ボタンのどの状態を示すかという指定に応じて、Display Setにおける順序が決められる。
【０１０１】
詳しくいうとDisplay SetにおいてODSは、Page[0]のIn_Effectを表現するもの(1)、ノーマル状態を表すもの(2)、セレクテッド状態を表すもの(3)、アクティブ状態を示すもの(4)、Page[0]のOut_Effect及びPage[1]以降のIn_Effect・Out_Effectを表現するもの(5)、というように、同じ表示対象を表すもの同士がグループ化される。In_Effectを表すODSのグループをIn_Effectグループという。またボタンの1つの状態を表すグループをbutton-stateグループという。Page[0]のOut_Effect及びPage[1]以降のIn_Effect・Out_Effectを実現するものをRemainグループという。
【０１０２】
そしてこれらのグループを、In_Effect→ノーマル状態→セレクテッド状態→アクティブ状態→Remainというように並べる。このようにどの表示客体を表すかに応じて、ODSの順序を決めるというのが、Display SetにおけるODSの順序である。
続いてDSnにおけるODSの配列について説明する。図３０は、DSnにおけるODS配列を示す図である。
【０１０３】
本図においてODS1〜gは、Page[0]のIn_effectを構成するODSの集合である(in-effect group)。
ODSg+1〜hは、ボタンのノーマル状態を描くODSの集合(ODSs for Normal state)である。
ODSh+1〜iは、ボタンのセレクテッド状態を描くODSの集合(ODSs for Selected state)である。
【０１０４】
ODSi+1〜jは、ボタンのアクティブ状態を描くODSの集合(ODSs for Actioned state)である。
ODSj+1〜kは、Page[0]のOut_Effect及びPage[1]以降のIn_Effect・Out_Effectを表現するODSの集合である。
これらグループの順序は、In_Effect→ノーマル状態→セレクテッド状態→アクティブ状態→その他というように並べられている。これはODSのうち、対話画面の最初の表示を構成するものを早く読み出させ、アップデート後の画面表示を構成するものの読み出しを後にするという配慮である。
【０１０５】
続いて複数のボタン状態からの多重参照されるODSの順序について説明する。多重参照とは、あるODSについてのobject_idがInteractive_compositionにおける2以上のnormal_state_info,selected_state_info,activated_state_infoにより指定されていることをいう。かかる多重参照を行えば、あるボタンのノーマル状態を描くグラフィクスオブジェクトを用いて、他のボタンのセレクテッド状態を描くことができ、グラフィクスオブジェクトの絵柄を共用することができる。かかる共用により、ODSの数を少なくすることができる。多重参照されるODSについては、どのbutton-stateグループに属するかが問題になる。
【０１０６】
つまりあるボタンのノーマル状態と、別のボタンのセレクテッド状態とが1つのODSで描かれている場合、このODSは、ノーマル状態に対応するbutton-stateグループに属するか、セレクテッド状態に対応するbutton-stateグループに属するかが問題となる。
この場合ODSは複数状態のうち、最も早く出現する状態に対応するbutton-stateグループだけ1回のみ配置される。
【０１０７】
あるODSがノーマル状態、セレクテッド状態で多重参照されるなら、ノーマル状態に対応するbutton-stateグループ(N-ODSs)にこのODSは配置され、セレクテッド状態に対応するbutton-stateグループ(S-ODSs)には配置されない。また別のODSがセレクテッド状態、アクティブ状態で多重参照されるなら、セレクテッド状態に対応するbutton-stateグループ(S-ODSs)にこのODSは配置され、アクティブ状態に対応するbutton-stateグループ(A-ODSs)には配置されない。このように多重参照されるODSは、最も早く出現する状態に対応するbutton-stateグループ内に一回だけ配置される。
【０１０８】
これはEffect画像を構成するODSでも同様であり、Page[0]のIn_Effectと、Page[0]のOut_Effectとで同じ絵柄のグラフィクスオブジェクトが共用されている場合、Page[0]のIn_Effectと、Page[1]以降のIn_Effect、Out_Effectとで同じ絵柄のグラフィクスオブジェクトが共用されている場合、そのグラフィクスオブジェクトに対応するODSは、In_Effectグループにだけ1回配置される。以上が多重参照されるODSの順序についての説明である。
【０１０９】
以上の多重参照がありうるから、上述した集合の全てがDSn内に存在する訳ではない。多重参照故に、Selected StateODSグループが存在しないものもある。またIn_Effectグループがないものもある。これは多重参照がありうるとの理由の他に、そもそも、In_Effectを施すがどうかは対話画面の必須事項ではないかである。
S-ODSsにおける、ODSの順序について説明する。S-ODSsにおいて、どのODSが先頭に位置するかは、デフォルトセレクテッドボタンが静的に確定しているか、動的であるかによって違う。確定したデフォルトセレクテッドボタンとは、Interactive_compositionにおけるdefault_selected_button_id_refに00以外の有効な値が設定され、この値で指示されるボタンのことをいう。default_selected_button_id_refが有効な値を示しており、尚且つデフォルトセレクテッドボタンを表すODSが、N-ODSsに無い場合は、デフォルトセレクテッドボタンを表すODSが、S-ODSsの先頭に配置される。
【０１１０】
default_selected_button_id_refが値00を示している場合、デフォルトでセレクテッド状態に設定されるボタンは、再生装置側の状態によって動的に変化する。
値00を示すよう、default_selected_button_id_refを設定しておくのは、例えば、Display Setが多重されているAVClipが、複数再生経路の合流点になっているようなケースに対応するためである。合流点においては、どの再生経路を経由するかによって、セレクテッド状態とすべきボタンを変化させたいから、特定のODSをbutton-stateグループの先頭に配置するというような配慮は行わない。
【０１１１】
図３１は、default_selected_button_id_refが”=00”である場合と、”＝ボタンB”である場合とでS-ODSsにおいてODSの並びがどのように変わるかを示す図である。本図において破線ss1は、default_selected_button_id_refがボタンBのbutton_idを示している場合に、S-ODSsにおけるODSの配列がどのようになるかを示しており、破線ss2は、default_selected_button_id_refが=0を示している場合に、S-ODSsにおけるODSの配列がどのようになるかを示している。この図の表記からもわかるように、default_selected_button_id_refがボタンBを示している場合、ボタンBのセレクテッド状態を示すODS(ODSs for ButtonB)がS-ODSsの先頭に配され、その他のボタンを示すODS(ODS for ButtonAs,Cs,Ds)は、後回しにされている。一方、default_selected_button_id_refが”=00”である場合、ボタン0-Aのセレクテッド状態を表すODSAsが先頭に配置されている。このようにdefault_selected_button_id_refが有効かどうかは、S-ODSs内の順序に大きな変動をもたらす。
【０１１２】
以上のように本実施形態によれば、出現する順に、ODSを並べておくので、多くのグラフィクスの表示を伴った対話表示を迅速に行うことができる。
(第５実施形態)
第１実施形態では、Display Setを、AVClipの再生時間軸上にどのように割り当てられるかについて説明した。第５実施形態では、個々のPTS,DTSをどのように設定するかについて説明する。
【０１１３】
先ず、ODSに付加されたDTS、PTSにより、どのような同期制御がなされるかについて説明する。
DTSは、ODSのデコードを開始すべき時間を90KHzの時間精度で示しており、PTSはデコード終了時刻を示す。
ODSのデコードは、瞬時には完了せず、時間的な長さをもっている。このデコード期間の開始点・終了点を明らかにしたいとの要望から、ODSについてのDTS、PTSはデコード開始時刻、デコード終了時刻を示している。
【０１１４】
PTSの値は終了時刻であるので、PTSに示される時刻までにODSjのデコードがなされて、非圧縮状態のグラフィックスオブジェクトが、再生装置上のオブジェクトバッファに得られなければならない。
Display Setnに属する任意のODSjのデコード開始時刻は、90KHzの時間精度でDTS(DSn[ODS])に示されるので、これにデコードを要する最長時間を加えた時刻が、Display SetのODSjのデコード終了保証時刻になる。
【０１１５】
ODSjの伸長後のサイズを”SIZE(DSn[ODSj])”、ODSのデコードレートを”Rd”とすると、デコードに要する最長時間(秒)は、”ceil(SIZE(DSn[ODSj]))”になる。
この最長時間を90KHzの時間精度に変換し、ODSjのDTSに加算することにより、PTSで示されるべきデコード終了時刻(90KHz)は算出される。
DSnに属するODSjのPTSを、数式で表すと、以下の式のようになる。
PTS(DS[ODSj])=DTS(DSn[ODSj])+90,000×ceil(SIZE(DSn[ODSj])/Rd)

そして互いに隣接する2つのODS(ODSj,ODSj+1)との間では、以下の関係を満たす必要がある。
PTS(DSn[ODSj])≦DTS(DSn[ODSj+1])
以上がODSについてのPTS,DTSの説明である。次にICSの、PTS値について説明する。ICSは、DSnにおける最初のDSn[ODS1]のデコード開始時点(DTS(DSn[ODS1]))以前、及び、DSnにおける最初のDSn[PDS1]が有効になる時点(PTS(DSn[PDS1]))以前に、Compositionバッファにロードされねばならない。よって以下の式の関係を満たす値に、設定されねばならない。
【０１１６】
DTS(DSn[ICS])≦DTS(DSn[ODS1])
DTS(DSn[ICS])≦PTS(DSn[PDS1])
続いてPTS(DSn[ICS])について説明する。PTS(DSn[ICS])は、以下の式を満たすように設定される。
PTS(DSn[ICS])≧PTS(DSn[ICS])＋DECODEDURATION＋TRANSFERDURATION
DECODEDURATIONは、DSn(ICS)の最初の表示を構成するグラフィクスデータのデコードに要する期間を示す。かかるデコードの開始は、もっとも早くてDTS(ICS)に等しい。一方、DSn(ICS)の最初の表示を構成するグラフィクスデータのうち、デコードが最後に終了するもののPTSを、LASTODSPTSとすると、DECODEDURATIONは、LASTODSPTS(DSn)−DTS(DSn[ICS])になる。
LASTODSPTSは、default_selected_button_id_refの設定及びDisplay SetにおけるODSの配列により変わってくる。図３２（ａ）（ｂ）、図３３（ａ）〜（ｃ）は、ODSの配列において、どのODSのDTSを、LASTODSPTSに設定するかという設定パターンを示す。
【０１１７】
図３２（ａ）は、デフォルトセレクテッドボタンが静的に確定している場合を示す。ここで静的確定とは、default_selected_button_id_refが非00になっていることをいう。この場合LASTODSPTSは、黒枠で強調しているように、Selected StateODSグループの最初に位置するODSh+1のPTS(DSn[ODSh+1])になる。
図３２（ｂ）は、デフォルトセレクテッドボタンが動的に変化する場合を示す。動的変化とは、default_selected_button_id_refが00に設定されていることを意味する。この場合、LASTODSPTSは、黒枠で強調しているように、Selected StateODSグループの最後に位置するODSiのPTS(DSn[ODSi])になる。
【０１１８】
図３３（ａ）は、セレクテッド状態に属するODSが存在しない場合を示す。この場合LASTODSPTSは、黒枠で強調しているように、Normal StateODSグループの最後に位置するODShのPTS(DSn[ODSh])になる。
図３３（ｂ）は、Normal StateODSグループに属するODSが存在しない場合を示す。この場合LASTODSPTSは、黒枠で強調しているように、In_effsetODSグループの最後に位置するODSgのPTS(DSn[ODSg])になる。
【０１１９】
図３３（ｃ）は、Display SetにおいてODSが存在しない場合を示す。この場合、LASTODSPTSは、黒枠で強調しているようにDTS(DSn[ICS])になる。
これはDSnがEpoch Start以外である場合であり、DSn[ICS]がEpoch Startであれば、事情は変わってくる。
Epoch Startでは、グラフィックスプレーン全体をクリアする場合があり、このクリア期間は、LASTODSPTS(DSn)-DTS(DSn[ICS])を上回る場合がある。BD-ROMのデコーダモデルではグラフィクスデータのデコードを行うデコード主体(グラフィクスプロセッサ)と、グラフィックスプレーンのクリアを行う制御主体とが別々に存在しており、両者はグラフィクスデータのデコードと、グラフィックスプレーンのクリアとを同時実行している。最初の表示を構成するグラフィクスデータのデコードが完了したとしても画面クリアが完了しない限り、グラフィクスデータがグラフィックスプレーンに書き込むことはできないから、DECODEDURATIONは、クリア期間に設定せねばならない。ここでグラフィックスプレーンの横幅をvideo_width、縦幅をvideo_heightとし、オブジェクトバッファ−グラフィックスプレーン間の転送レートを128Mbpsにすると、グラフィックスプレーン全体をクリアするためには、8×video_width×video_heightという大きさを再生装置におけるオブジェクトバッファ→グラフィックスプレーン間の転送レート(128Mbps)で上書きする必要がある。この上書きに要する期間を、90KHzの時間精度で表現すれば、グラフィックスプレーンのクリアに要する期間(PLANECLEARTIMEという)は、下記の数式により表現される。
ceil((90000×8×DSn[ICS].video_width×DSn[ICS].video_height)/128,000,000)
図３４（ａ）は、LASTODSPTS(DSn)-DTS(DSn[ICS])及びPLANECLEARTIMEからDECODEDURATIONを導き出すためのアルゴリズムを示す。本図のアルゴリズムは、LASTODSPTS(DSn)-DTS(DSn[ICS])及びPLANECLEARTIMEのうち、大きいものを定める。
【０１２０】
本図を参照すると、DSn(ICS)のComposition_StateがEpoch Startでなければ(if(DSn(ICS).Composition_State==Epoch Start) else)、LASTODSPTS(DSn)-DTS(DSn[ICS])がDECODEDURATIONとして導出され(return(LASTODSPTS(DSn)-DTS(DSn[ICS])))、DSn(ICS)のComposition_StateがEpoch Startであれば(if(DSn(ICS).Composition_State==Epoch Start))、LASTODSPTS(DSn)-DTS(DSn[ICS])、PLANECLEARTIMEのうち、長い方がDECODEDURATIONとして算出されることがわかる(return(max(LASTODSPTS(DSn)-DTS(DSn[ICS]))))。
【０１２１】
図３４（ｂ）（ｃ）は、PLANECLEARTIME、LASTODSPTS(DSn)-DTS(DSn[ICS])の長短に応じたDECODEDURATIONの設定例を示す。PLANECLEARTIMEがLASTODSPTS(DSn)-DTS(DSn[ICS])より長い場合、図３４（ｂ）のようにPLANECLEARTIMEがDECODEDURATIONになり、PLANECLEARTIMEがLASTODSPTS(DSn)-DTS(DSn[ICS])より短い場合、図３４（ｃ）のようにLASTODSPTS(DSn)-DTS(DSn[ICS])がDECODEDURATIONになる。
【０１２２】
TRANSFERDURATIONは、最初の表示を構成するグラフィクスデータを、オブジェクトバッファからグラフィックスプレーンに転送するのに要する期間を示す。Display Setにおける最初の表示は、In_Effectが存在するものと、存在しないもの、デフォルトセレクテッドボタンが静的に定まるものと、動的に変化するものとでそれぞれ異なる。最初の表示が、これらのうちどれであるかによりTRANSFERDURATIONは変化する。最初の表示がIn_Effectであるなら、In_Effectを構成する非圧縮グラフィクスの転送期間がTRANSFERDURATIONになる。
【０１２３】
ここでDSn[ICS]のPage[0]のIn_Effectは、number_of_window個のwindowにおいて描画されるものとする。そうすると、In_Effectの最初の表示を実現するためのグラフィクスデータは、window(0)からwindow(number_of_window)までのwindow領域の総和になるので、この総和を再生装置の転送レート(128Mbps)で割り、更にPTSの時間精度(90KHz)で表現するために90KHzを乗ずれば、In_Effectの最初の表示を実現するための転送期間EFFECTTDを算出することができる。図３５（ａ）は、EFFECTTD(DSn)の算出式を示す。
【０１２４】
一方、In_Effectが一切存在しない場合、DSn[ICS]の最初の表示はMulti-PageメニューのPage[0]の表示になる。デフォルトセレクテッドボタンが静的に確定している場合、1つのボタンのセレクテッド状態を表す非圧縮グラフィクスと、残りのボタンのノーマル状態を表す非圧縮グラフィクスとをオブジェクトバッファからグラフィックスプレーンに転送すれば、Multi-PageメニューのPage[0]の表示は完成することになる。
【０１２５】
ここでDSn(ICS)におけるMulti-PageメニューのPage[0]において、number_of_Button個のボタンが存在するとすると、DSn(ICS).Page[0].Button(0)からDSn(ICS).Page[0].Button(number_of_Button-1)までのボタンのノーマル状態を構成するグラフィクスデータのサイズの総和を求め、この総和にPage[0]のデフォルトセレクテッドボタンのセレクテッド状態を構成するグラフィクスデータのサイズSBSIZE(DSn,DSn[ICS].PAGE[0].default_selected_button_id_ref)を加算し、代わりにPage[0]のデフォルトセレクテッドボタンのノーマル状態を構成するグラフィクスデータのサイズNBSIZE(DSn,DSn[ICS].PAGE[0].default_selected_button_id_ref)を減算すれば、最初の表示に必要なデータサイズが求まる。
【０１２６】
このデータサイズを再生装置の転送レート(128Mbps)で割り、更にPTSの時間精度(90KHz)で表現するために90KHzを乗ずれば、Page[0]の最初の表示を実現するための転送期間を算出することができる。図３５（ｂ）は、In_Effectが存在せず、デフォルトセレクテッドボタンが静的に確定している場合の、PAGEDEFAULTTD(DSn)の算出式を示す図である。
デフォルトセレクテッドボタンが動的に変化する場合、Page[0]におけるどのボタンがセレクテッド状態になるかは不明なので、図３５（ｂ）の数式は適用できない。この場合、ワーストケースを想定してTRANSFERDURATIONを算出せねばならない。ここでのワーストケースとは、DSn(ICS).Page[0]において最もサイズが大きいものがデフォルトセレクテッドボタンになるケースである。DSn(ICS).Page[0]に属するボタンのうち、最もサイズが大きいものをLRG{button:button∈DSn[ICS].PAGE[0].Button}とする。
【０１２７】
そうすると、上述したワーストケースにおいて、転送に必要となるデータサイズ(最大データサイズ)は、Page[0].Button(0)からPage[0].Button(number_of_Button-1)までの総和を求め、上述したLRG{button:button∈DSn[ICS].PAGE[0].Button}のサイズBSIZE(DSn,LRG{button:button∈DSn[ICS].PAGE[0].Button})を加算し、代わりにLRG{button:button∈DSn[ICS].PAGE[0].Button}のノーマル状態を表すグラフィクスのデータサイズNBSIZE(DSn,LRG{button:button∈DSn[ICS].PAGE[0].Button})を差し引いたサイズになる。
【０１２８】
これがワーストケースにおける最大データサイズになるから、このデータサイズを再生装置の転送レート(128Mbps)で割り、更にPTSの時間精度(90KHz)で表現するために90KHzを乗ずれば、Multi-Pageメニューの最初の表示を実現するための転送期間を算出することができる。図３５（ｃ）は、In_Effectが存在せず、デフォルトセレクテッドボタンが動的に変化する場合の、PAGENODEFAULTTD(DSn)の算出式を示す図である。
【０１２９】
図３６は、以上のようにして算出されたEFFECTTD、PAGEDEFAULTTD、PAGENODEFAULTTDから1つをえらんでTRANSFERDURATIONにするというアルゴリズムを示す。本図に示すようにPage[0].In_effectの数が0でなければ(if(DSn[ICS].PAGE[0].IN_EFFECTS.number_of_effects != 0))、EFFECTTDがTRANSFERDURATIONになる(return EFFECTTD(DSn))。Page[0].In_effectの数が0であり、且つdefault_selected_button_id_refが0xFFFである場合(DSn[ICS.PAGE[0].Default_selected_button_id_ref==0xFFFF])、PAGEDEFAULTTDがTRANSFERDURATIONになり(return PAGENODEFAULTTD(DSn))、default_selected_button_id_refが0xFFF以外である場合、PAGEDEFAULTTDがTRANSFERDURATIONになる(return PAGEDEFAULTTD(DSn))。
【０１３０】
以上のように本実施形態によれば、ODSのデータサイズに従った最適な値を、ICSのDTS、PTSに設定するので、時間的遅延のないスムーズな対話制御を実現することができる。
(第６実施形態)
第６実施形態は、本発明に係る再生装置の実施形態であり、第１実施形態〜第５実施形態に示したBD-ROMを再生する再生装置を開示するものである。図３７は、本発明に係る再生装置の内部構成を示す図である。第６実施形態に係る再生装置は、図３７に示す内部構成に基づき、工業的に生産される。本発明に係る再生装置は、主としてシステムLSIと、ドライブ装置という2つのパーツからなり、これらのパーツを装置のキャビネット及び基板に実装することで工業的に生産することができる。システムLSIは、再生装置の機能を果たす様々な処理部を集積した集積回路である。
【０１３１】
こうして生産される再生装置は、BDドライブ１、リードバッファ２、デマルチプレクサ(De-MUX)３、ビデオデコーダ４、ビデオプレーン５、P-Graphicsデコーダ６、Presentation Graphicsプレーン７、合成部８、I-Graphicsデコーダ９、Interactive Graphicsプレーン１０、合成部１１、オーディオデコーダ１３、CLUT部１４、CLUT部１５、PSRセット１６、システムクロック１７、User_TimeOutタイマ１８、Selection_TimeOutタイマ１９、Composition_TimeOutタイマ２０、Effect_durationタイマ２１、操作受付部２２、状態制御部２３から構成される。
【０１３２】
BD-ROMドライブ１は、BD-ROMのローディング／イジェクトを行い、BD-ROMに対するアクセスを実行する。
リードバッファ２は、FIFOメモリであり、BD-ROMから読み出されたTSパケットが先入れ先出し式に格納される。
デマルチプレクサ(De-MUX)３は、リードバッファ２からTSパケットを取り出して、このTSパケットを構成するTSパケットをPESパケットに変換する。そして変換により得られたPESパケットのうち、所定のstreamPIDをもつものをビデオデコーダ４、オーディオデコーダ１３、P-Graphicsデコーダ６、I-Graphicsデコーダ９のどれかに出力する。
【０１３３】
ビデオデコーダ４は、デマルチプレクサ３から出力された複数PESパケットを復号して非圧縮形式のピクチャを得てビデオプレーン５に書き込む。
ビデオプレーン５は、非圧縮形式のピクチャを格納しておくためのプレーンである。プレーンとは、再生装置において一画面分の画素データを格納しておくためのメモリ領域である。再生装置に複数のプレーンを設けておき、これらプレーンの格納内容を画素毎に加算して、映像出力を行えば、複数の映像内容を合成させた上で映像出力を行うことができる。ビデオプレーン５における解像度は1920×1080であり、このビデオプレーン５に格納されたピクチャデータは、16ビットのYUV値で表現された画素データにより構成される。
【０１３４】
P-Graphicsデコーダ６は、BD-ROM、HDから読み出されたグラフィクスストリームをデコードして、非圧縮グラフィクスをPresentation Graphicsプレーン７に書き込む。グラフィクスストリームのデコードにより、字幕が画面上に現れることになる。
Presentation Graphicsプレーン７は、一画面分の領域をもったメモリであり、一画面分の非圧縮グラフィクスを格納することができる。本プレーンにおける解像度は1920×1080であり、Presentation Graphicsプレーン７中の非圧縮グラフィクスの各画素は8ビットのインデックスカラーで表現される。CLUT(Color Lookup Table)を用いてかかるインデックスカラーを変換することにより、Presentation Graphicsプレーン７に格納された非圧縮グラフィクスは、表示に供される。
【０１３５】
合成部８は、非圧縮状態のピクチャデータ(i)を、Presentation Graphicsプレーン７の格納内容と合成する。
I-Graphicsデコーダ９は、BD-ROM又はHDから読み出されたIGストリームをデコードして、非圧縮グラフィクスをInteractive Graphicsプレーン１０に書き込む。
Interactive Graphicsプレーン１０は、I-Graphicsデコーダ９によるデコードで得られた非圧縮グラフィクスが書き込まれる。
【０１３６】
合成部１１は、Interactive Graphicsプレーン１０の格納内容と、合成部８の出力である合成画像(非圧縮状態のピクチャデータと、Presentation Graphicsプレーン７の格納内容とを合成したもの)とを合成する。
オーディオデコーダ１３は、デマルチプレクサ３から出力されたPESパケットを復号して、非圧縮形式のオーディオデータを出力する。
【０１３７】
CLUT部１４は、Presentation Graphicsプレーン７に格納された非圧縮グラフィクスにおけるインデックスカラーを、Y,Cr,Cb値に変換する。
CLUT部１５は、Interactive Graphicsプレーン１０に格納された非圧縮グラフィクスにおけるインデックスカラーを、Y,Cr,Cb値に変換する。
PSRセット１６は、再生装置に内蔵されるレジスタであり、64個のPlayer Status Register(PSR)と、4096個のGeneral Purpose Register（GPR)とからなる。64個のPlayer Status Register(PSR)は、それぞれ現在の再生時点等、再生装置における諸状態を示す。64個のPSRのうちPSR5〜PSR8は、現在の再生時点を表すものである。このうちPSR8は、0〜OxFFFFFFFFの値に設定されることで、45KHzの時間精度を用いてAVClip上の現在の再生時点(カレントPTM)を示す。PSR11は、Multi-PageメニューにおけるカレントページのPage_idを示し、PSR10は、そのカレントページにおいてセレクテッド状態になっているボタン(カレントボタン)を示す。
【０１３８】
システムクロック１７は、クロック信号を発生する。De-MUX３によるPESパケット変換は、このクロック信号に同期してなされる。
user_timeoutタイマ１８は、PTS(DSn[ICS])の時点において、user_time_out_dutrationが設定されるタイマである。user_time_out_dutrationが設定されると本User_TimeOutタイマ１８は、システムクロックの計時に伴い、カウントダウンを始める。タイマーによるカウントダウンは、ユーザ操作がなされる度にリセットされ、user_time_out_dutrationにより示される値に戻る。ユーザ操作が無い期間が長く続けば、カウント値はゼロに達し、User_TimeOutタイマ１８はタイムアウトする。
【０１３９】
Selection_TimeOutタイマ１９は、PTS(DSn[ICS])の時点において、selection_time_out_ptsが設定されるタイマである。selection_time_out_ptsが設定されると本Selection_TimeOutタイマ１９は、システムクロックの計時に伴い、カウントダウンを始める。Selection_TimeOutタイマ１９によるカウントダウンは、ユーザ操作がなされる度にリセットされ、selection_time_out_ptsにより示される値に戻るが、ユーザ操作が無い期間が長く続けば、タイマーのカウント値はゼロに達し、Selection_TimeOutタイマ１９はタイムアウトする。かかるタイムアウトにより、図９に示したValid Interactive Periodの経過を知ることができる。
【０１４０】
Composition_TimeOutタイマ２０は、DTS(DSn[ICS])の時点において、composition_time_out_ptsが設定されるタイマである。composition_time_out_ptsが設定されると本Composition_TimeOutタイマ２０は、システムクロックの計時に伴い、カウントダウンを始める。Composition_TimeOutタイマ２０によるカウントダウンは、ユーザ操作がなされもリセットされない。カウント値がゼロに達して、Composition_TimeOutタイマ２０がタイムアウトすれば、Epoch Endの到来を知ることができる。
【０１４１】
Effect_durationタイマ２１は、DSnがEpoch Startである場合、DTS(DSn[ICS])の時点において、effect_durationが設定されるタイマである。effect_durationが設定されると本Effect_durationタイマ２１は、システムクロックの計時に伴い、カウントダウンを始める。Effect_durationタイマ２１によるカウントダウンは、ユーザ操作がなされもリセットされない。Effect_durationタイマ２１のカウント値はゼロに達し、Effect_durationタイマ２１がタイムアウトすれば、かかるタイムアウトにより、次のEffect映像の表示タイミングを知ることができる。
【０１４２】
操作受付部２２は、リモコンや再生装置のフロントパネルになされたキー操作を受け付け、ユーザ操作を示す情報(UO)をI-Graphicsデコーダ９に出力する。
状態制御部２３は、I-Graphicsデコーダ９からの設定指示に従い、PSRに所望の値を設定する。I-Graphicsデコーダ９による設定指示には、設定すべき即値をI-Graphicsデコーダ９から受け取り、PSRセット１６に設定するという直接指定のもの(i)、再生装置における状態変化や、ユーザからの変更要求があった旨の通知をI-Graphicsデコーダ９から受け取り、設定すべき値を状態制御部２３が決定した上でPSRセット１６に設定するという間接指定のもの(ii)がある。状態変化時における、設定値の決定手順は、Procedure when playback condition is changedと呼ばれる。変更要求時における設定値の決定処理手順は、Procedure when change is requestedと呼ばれる。PSR11(カレントページ)、PSR10(カレントボタン)を設定するための処理手順について説明する。
【０１４３】
図３８（ａ）は、PSR11についてのProcedure when playback condition is changedを示すフローチャートである。Procedure when playback condition is changedは、ICSにおける最初のページ情報をPSR11を設定するというものである(ステップＳ９９)。
図３８（ｂ）は、PSR11についてのProcedure when change is requestedを示すフローチャートである。ここでユーザから要求されたページ番号をXとすると、Procedure when change is requestedは、XがValidであるか否かを判定し(ステップＳ１００)、もしValidであれば、このXをPSR11に設定し(ステップＳ１０１)、もしInvalidであるなら、このPSR11を維持するというものである(ステップＳ１０２)。
【０１４４】
以上がPSR11の状態遷移である。続いてPSR10のProcedure when playback condition is changed、Procedure when change is requestedについて説明する。
図３９（ａ）は、PSR10のProcedure when playback condition is changedを示すフローチャートである。
ステップＳ１１１は、カレントページにおけるデフォルトセレクテッドボタンが有効であるか否かの判定である。もしステップＳ１１１がYesであるなら、default_selected_button_id_refに記述されたボタン番号をPSR10に設定する(ステップＳ１１２)。
【０１４５】
ステップＳ１１３は、デフォルトセレクテッドボタンがInvalidである場合にPSR10が有効かどうかの判定を行う判定ステップである。もしPSR10がValidであるなら、PSR10の値を維持し(ステップＳ１１４)、PSR10がInvalidであるなら、カレントページの最初のボタン情報を特定するbutton_id_refをPSR10に設定する(ステップＳ１１５)。
図３９（ｂ）は、PSR10のProcedure when change is requestedを示すフローチャートである。ここでユーザから要求されたボタン番号をXとすると、本フローチャートにおけるステップＳ１１６は、XがValidなButton_idであるか否かを判定し、もしValidであるならXをPSR10に設定する(ステップＳ１１８)。もしXがInvalidであるなら、PSR10の設定値を維持する(ステップＳ１１７)。こうした処理により、PSR10、PSR11の内容は、常に保証されることになる。以上が再生装置の内部構成である。
【０１４６】
＜I-Graphicsデコーダ９の内部構成＞
続いて図４０を参照しながら、I-Graphicsデコーダ９の内部構成について説明する。図４０に示すようにI-Graphicsデコーダ９は、Coded Data Buffer３３、Stream Graphics Processor３４、Object Buffer３５、Composition Buffer３６、Graphics Controller３７から構成される。
【０１４７】
Coded Data Buffer３３は、ICS、PDS、ODSがDTS、PTSと共に一時的に格納されるバッファである。
Stream Graphics Processor３４は、ODSをデコードして、デコードにより得られた非圧縮グラフィクスをObject Buffer３５に書き込む。
Object Buffer３５は、Stream Graphics Processor３４のデコードにより得られた非圧縮のグラフィクスオブジェクト(図中の四角枠)が多数配置されるバッファである。
【０１４８】
Composition Buffer３６は、ICSが配置されるメモリであり、ここに格納されたICSにおける複数のページ情報及び各ページ情報内に存在するボタン情報を、Graphics Controller３７に供する。
Graphics Controller３７は、Composition Buffer３６に配置されたICSを解読して、解読結果に基づき、画面構成を行う。この画面構成において各ボタンは、PSR11により指定されているもの(カレントページ情報)の各ボタン情報において、normal_state_infoのnormal_start_object_id_ref,normal_end_object_id_refにより指定されているグラフィクスオブジェクトをObject Buffer３５から読み出し、Interactive Graphicsプレーン１０に書き込むことで描画される。カレントページ情報内のボタン情報のうち、PSR10により指定されているものについては、selected_state_infoのselected_start_object_id_ref,selected_end_object_id_refにより指定されているグラフィクスをObject Buffer３５から読み出し、Interactive Graphicsプレーン１０に書き込むことで描画される。図中の矢印bg1,2,3,4は、以上のGraphics Controller３７による描画を象徴的に示している。かかる描画により、ボタン0-A〜ボタン0-Dが配されたページがInteractive Graphicsプレーン１０に現れ、動画に合成されることになる。
【０１４９】
以上はGraphics Controller３７が行うべき処理の概要であり、Graphics Controller３７は、PSRセット１６におけるPSR10、PSR11の数値変化、User_TimeOutタイマ１８〜Effect_durationタイマ２１におけるタイムアウト、操作受付部２２が受け付けたユーザ操作に応じて、上述した描画内容を変化するという処理を行う。Graphics Controller３７が行うべき処理の詳細は、図４１〜図４７に示したものとなる。
【０１５０】
図４１は、Graphics Controller３７の処理のうち、メインルーチンにあたる処理を示すフローチャートである。本フローチャートは、メインルーチンにあたる処理であり、ステップＳ１〜ステップＳ６からなるループ処理を実行する。このループ処理は、ステップＳ１〜ステップＳ４の何れかの事象が成立しているかという判定処理と、アニメーションによるMulti-Pageメニュー表示の更新処理(ステップＳ５)と、ユーザ操作に応じた処理(UO(UserOperation処理):ステップＳ６)とを繰り返し実行するというものである。ステップＳ１〜ステップＳ４のうち、どれかの事象が成立すれば、該当する処理を実行してメインルーチンにリターンする。
【０１５１】
ステップＳ１は、現在の再生時点が、PTS(DSn[ICS])に到達したか否かを判定するステップである。このステップＳ１がYesになれば、上述したProcedure when playback condition is changedを実行し、1stPageであるPage[0]をカレントページを設定した上で(ステップＳ７)、User_TimeOutタイマ１８、Selection_TimeOutタイマ１９、Composition_TimeOutタイマ２０をリセットし(ステップＳ８)、このカレントページを表示して(ステップＳ９)、ステップＳ１〜ステップＳ６からなるループ処理に戻る。
【０１５２】
ステップＳ２は、User_TimeOutタイマ１８がタイムアウトしたかどうかの判定である。ステップＳ２がYesになれば、ステップＳ１１〜ステップＳ１４からなるループ処理を実行する。このループ処理は、Multi-Pageメニューにおける任意のpage(j)を消去して(ステップＳ１３)、page(j).Out_effectを実行する(ステップＳ１４)という処理を、ICSにおけるpage[0]以降の全てのページについて繰り返すというものである(ステップＳ１１、Ｓ１２)。
【０１５３】
ステップＳ３は、Selection_TimeOutタイマ１９がタイムアウトしたかどうかの判定である。Selection_TimeOutタイマ１９がタイムアウトしたなら、カレントページにおけるボタンを自動的にアクティブ状態に設定した上で(オートアクィベート:ステップＳ１０)、ステップＳ１〜ステップＳ６からなるループに戻る。
ステップＳ４は、Composition_TimeOutタイマ２０がタイムアウトしたかどうかの判定である。Composition_TimeOutタイマ２０がタイムアウトしたなら、1stPageたるPage[0]を消去して(ステップＳ１５)、Page[0].Out_effectを再生し(ステップＳ１６)、その後、ステップＳ１〜ステップＳ６からなるループに戻る。
【０１５４】
以上のメインルーチンにおいて、ページの最初の表示がどのように行われるかについて説明する。ページの最初の表示は、上述したProcedure when playback condition is changedを状態制御部２３に実行させ、カレントページをPage[0]に設定した上で、図４２のステップＳ１５〜ステップＳ２３を実行することによりなされる。図４２は、最初の表示の処理手順を示すフローチャートである。ステップＳ２４は、カレントページのIn_effectに規定された表示効果の実行であり、これを実行した後、カレントボタンの設定処理を行う(ステップＳ２５)。カレントボタンは、PSR10に規定されており、このPSR10についてのProcedure when playback condition is changedの実行が、このステップＳ２５の処理である。かかるステップＳ２５によりカレントボタンが決定されれば、ステップＳ１７〜ステップＳ２２に移行する。
【０１５５】
ステップＳ１７〜ステップＳ２２は、カレントページにおける各ボタン情報について繰り返されるループ処理を形成している(ステップＳ１７、ステップＳ１８)。本ループ処理において処理対象になるべきボタン情報をボタン情報(p)という。
ステップＳ１９では、button情報(p)がカレントボタンに対応するbutton情報であるか否かを判定する。もしそうであれば、ステップＳ２０に、異なるならステッステップＳ２１に移行する。
【０１５６】
ステップＳ２１では、button情報(p)のnormal_state_infoに指定されているnormal_start_object_id_refのグラフィクスオブジェクトを、グラフィクスオブジェクト(p)としてObject Buffer３５から特定する。
ステップＳ２０では、button情報(p)のselected_state_infoに指定されているselected_start_object_id_refのグラフィクスオブジェクトを、グラフィクスオブジェクト(p)として特定する。
【０１５７】
ステップＳ２０、ステップＳ２１を経ることでグラフィクスオブジェクト(p)が特定されれば、button情報(p)のbutton_horizontal_position,button_vertical_positionに示されるInteractive Graphicsプレーン１０上の位置に、グラフィクスオブジェクト(p)を書き込む(ステップＳ２２)。かかる処理をカレントページにおける各ボタン情報について繰り返せば、各ボタンの状態を表す複数グラフィクスオブジェクトのうち、最初のグラフィクスオブジェクトがInteractive Graphicsプレーン１０上に書き込まれることになる。以上の繰り返しを経た後、カレントページにおけるPallet_id_refに示されるパレットデータで表示を行うよう、CLUT部１５を設定して(ステップＳ２３)、本フローチャートの処理を終える。
【０１５８】
図４３は、In_effectを再生するにあたっての処理手順を示すフローチャートである。本フローチャートにおいて変数tは、Effect_Sequenceにおける任意のEffect画像を示す変数であり、変数uは、effect(t)におけるComposition_Objectのうち、任意のComposition_Objectを指示する変数である。本フローチャートは、変数t、変数uを0に初期化して(ステップＳ３０)、effect(t).effect_durationをEffect_durationタイマ２１にセットし(ステップＳ３１)、effect(t).pallet_id_refで示されるパレットデータで表示を行うようCLUT部１４、１５に設定した上で(ステップＳ３２)、ステップＳ３３〜ステップＳ４０とからなるループ処理を実行するというものである。このループ処理は、二重ループであり、一重目のループ(ステップＳ３３〜ステップＳ３７)は、変数uを制御変数にしており、二重目のループ(ステップＳ３３〜ステップＳ４０)は、変数tを制御変数にしている。
【０１５９】
一重目のループは、effect(t).Composition_Object(u).object_cropped_flagが0であるか否かを判定し(ステップＳ３３)、0ならeffect(t).Composition_Object(u)においてグラフィクスオブジェクトを非表示にする(ステップＳ３５)。1なら、effect(t).Composition_Object(u)のobject_cropping_horizontal_position,object_cropping_vertical_position,cropping_width,cropping_heightに基づき、グラフィクスオブジェクトに対するクロップを行い、そしてクロップで得られたグラフィクスオブジェクトの一部分を、effect(t).Composition_Object(u)のwindow_id_refに示されるウィンドゥにおいて、effect(t).Composition_Object(u)のcompositin_object_horizontal_position、compositin_object_vertical_positionに示される位置に書き込んで(ステップＳ３４)、変数uをインクリメントする(ステップＳ３６)という処理を、変数uがnumber_of_Composition_Objectになるまで、繰り返すというものである。
【０１６０】
２重目のループは、ステップＳ３３〜ステップＳ３７のループが一巡する度に、effect_durationの経過を待った上で(ステップＳ３８)、変数tのインクリメントと、変数uの初期化(u←0)とを行う(ステップＳ３９)という処理を、変数tがnumber_of_effect(t)になるまで繰り返すというものである(ステップＳ４０)。以上がIn_Effectを再生する際の処理手順である。尚、Out_effectを再生するにあたっても、原則同様の処理を行えばよいので、Out_Effect再生時の処理については説明を省略する。
【０１６１】
こうしてIn_effectの表示がなされた後、カレントページを表示して、最初の表示をアニメーション的に更新してゆく。ここで最初の表示は、各button情報のnormal_state_infoにおけるnormal_start_object_id_ref、selected_state_infoにおけるselected_start_object_id_refで指定されているグラフィクスオブジェクトを、Interactive Graphicsプレーン１０に書き込まれることにより実現した。アニメーション的な更新は、メインルーチンのループ処理が一巡する度に、各ボタンにおける任意のコマ(qコマ目にあるグラフィクスオブジェクト)をこのInteractive Graphicsプレーン１０に上書することである。つまりこの更新は、button情報のnormal_state_info、selected_state_infoで指定されているグラフィクスオブジェクトを、一枚ずつInteractive Graphicsプレーン１０に書き込んでメインルーチンにリターンすることでなされる。ここで変数qとは、各ボタン情報のbutton情報のnormal_state_info、selected_state_infoで指定されている個々のグラフィクスオブジェクトを指定するための変数である。
【０１６２】
このアニメーション的な表示更新を実現するための処理を、図４４を参照しながら説明する。
ステップＳ４１は最初の表示が済んでいるか否かの判定であり、もし済んでいなけれ何の処理も行わずにメインルーチンにリターンする。もし済んでいればステップＳ４２〜ステップＳ５３の処理を実行する。ステップＳ４１〜ステップＳ５５は、ICSにおける各button情報について、ステップＳ４４〜ステップＳ５５の処理を繰り返すというループ処理を構成している(ステップＳ４２、ステップＳ４３)。
【０１６３】
ステップＳ４４は、button情報(p)に対応する変数animation(p)を変数qに設定する。こうして、変数qは、button情報(p)に対応する、現在のコマ数を示すことになる。
ステップＳ４５は、button情報(p)が、現在セレクテッド状態にあるボタン(カレントボタン)に対応するbutton情報であるか否かの判定である。
カレントボタン以外のボタンならば、button情報(p).normal_state_infoにおけるnormal_start_object_id_refに変数qを足した識別子をID(q)とする(ステップＳ４６)。
【０１６４】
カレントボタンに対応するボタンであれば、ステップＳ４７の判定を行う。
ステップＳ４７は、カレントボタンがアクティブ状態であるかの判定であり、もしそうであれば、ステップＳ５４においてbutton情報(p).actioned_state_infoにおけるactivated_start_object_id_refに変数qを足した識別子をID(q)とする。そしてbutton情報(p)に含まれるナビゲーションコマンドのうち、1つを実行する(ステップＳ５５)。
【０１６５】
カレントボタンがアクティブ状態でなければ、button情報(p).selected_state_infoにおけるselected_start_object_id_refに変数qを足した識別子をID(q)とする(ステップＳ４８)。
こうしてID(q)が決まれば、Object Buffer３５に存在する、ID(q)を有するグラフィクスオブジェクト(q)を、button情報(p)のbutton_horizontal_position,button_vertical_positionに示されるInteractive Graphicsプレーン１０上の位置に書き込む(ステップＳ４９)。
【０１６６】
以上のループ処理により、カレントボタンのセレクテッド状態(若しくはアクティブ状態)及びその他のボタンのノーマル状態を構成する複数グラフィクスオブジェクトのうち、q枚目のものがInteractive Graphicsプレーン１０に書き込まれることになる。
ステップＳ５０は、normal_start_object_id_ref＋qがnormal_end_object_id_refに達したか否かの判定であり、もし達しないなら変数qをインクリメントし、インクリメントされた値を変数animation(p)に設定する(ステップＳ５１)。もし達したなら、selected_repeat_flagが1であるか否かを判定し(ステップＳ５２)、もし1であるなら、変数animation(p)を0に初期化する(ステップＳ５３)。以上の処理は、ICSにおける全てのbutton情報について繰り返される(ステップＳ４２、ステップＳ４３)。全てのbutton情報について、処理がなされれば、メインルーチンにリターンする。
【０１６７】
以上のステップＳ４１〜ステップＳ５３により対話画面における各ボタンの絵柄は、メインルーチンが一巡する度に新たなグラフィクスオブジェクトに更新される。メインルーチンが何度も反復されれば、いわゆるアニメーションが可能になる。アニメーションにあたって、グラフィクスオブジェクト一コマの表示間隔は、animation_frame_rate_codeに示される値になるようにGraphics Controller３７は時間調整を行う。以上がアニメーション的な更新処理である。
【０１６８】
上述したフローチャートのステップＳ４７において1つのボタンがアクティブ状態になっていると、このボタンに対応するボタン情報のナビコマンドを、ステップＳ５５において実行せねばならない。図４５は、ナビゲーションコマンド実行時における処理手順を示すフローチャートである。ステップＳ５６はナビゲーションコマンドがSetButtonPageCommandであるか否かの判定である。もしSetButtonPageCommandでないなら、ステップＳ５７においてナビゲーションコマンドをそのまま実行する。もしSetButtonPageCommandであるなら、ナビコマンドのオペランドから特定される切換先ページをXにし、ナビコマンドのオペランドから特定されるbutton番号をPSR10に格納するよう状態制御部２３に指示した上で(ステップＳ５８)、PSR11についてのProcedure when change is requestedを状態制御部２３に実行させる(ステップＳ５９)。ここでPSR11は、現在表示されているページを示すものであり、これについてのProcedure when change is requestedを実行することで、カレントページが定まる。その後、PSR(10)についてのProcedure when playback condition is changedを状態制御部２３に実行させて(ステップＳ６０)、図４５のフローチャートの処理を終える。
【０１６９】
以上でナビコマンド実行処理についての説明を終わる。ナビコマンドは、対応するボタンがアクティブ状態であった際実行された。ボタン状態の変化は、ユーザ操作(UO)に従って、図４６の処理手順を実行することによりなされる。図４６は、UO処理の処理手順を示すフローチャートである。本フローチャートは、ステップＳ６１〜ステップＳ６４の何れかの事象が成立しているかどうかを判定し、もしどれかの事象が成立すれば、該当する処理を実行してメインルーチンにリターンする。ステップＳ６１は、UOmaskTableが"1"に設定されているかどうかの判定であり、もしに設定されていれば、何の処理も行わずに、メインルーチンにリターンする。
【０１７０】
ステップＳ６２は、リモコンにおけるMoveUP/Down/Left/Rightキーが押下されたかどうかの判定であり、もしこれらのキーが押下されれば、User_TimeOutタイマ１８、Selection_TimeOutタイマ１９をリセットする(ステップＳ６５)。そしてカレントボタンを変更して(ステップＳ６６)、カレントボタンのauto_action_flagが1かどうかを判定する(ステップＳ６７)。もし違うならメインルーチンにリターンする。もしそうであるなら、ステップＳ６９に移行して、カレントボタン(i)をアクティブ状態に遷移する。その後、変数animation(i)を0に設定する(ステップＳ７０)。
【０１７１】
ステップＳ６３は、数値入力であるかどうかの判定であり、もし数値入力であれば、User_TimeOutタイマ１８、Selection_TimeOutタイマ１９をリセットした上で(ステップＳ７１)、カレントボタンの変更処理を行い(ステップＳ７２)、メインルーチンにリターンする。
ステップＳ６４は、リモコンにおけるactivatedキーが押下されたかどうかの判定であり、もしそうであれば、User_TimeOutタイマ１８、Selection_TimeOutタイマ１９をリセットした上で(ステップＳ６８)、カレントボタン(i)をアクティブ状態に遷移する(ステップＳ６９)。その後、変数animation(i)を0に設定する(ステップＳ７０)。図４６の処理手順のうち、ステップＳ６６におけるカレントボタンを変化させる処理はサブルーチン化されている。このサブルーチンの処理手順を示したのが図４７である。以降このフローチャートについて説明する。
【０１７２】
図４７は、カレントボタンの変更処理の処理手順を示すフローチャートである。先ず初めに、カレントボタンのneighbor_infoにおけるupper_button_id_ref,lower_button_id_ref,left_button_id_ref,right_button_id_refのうち、押下されたキーに対応するものを特定する(ステップＳ７５)。
そしてカレントボタンをボタンYとし、upper_button_id_ref,lower_button_id_ref,left_button_id_ref,right_button_id_refにより特定されるボタンをボタンXとする(ステップＳ７６)。XをPSR10に設定するため、状態制御部２３にProcedure when change is requestedを実行させる(ステップＳ７７)。
【０１７３】
設定後、変数animation(X),変数animation(Y)を0に設定した上でメインルーチンにリターンする(ステップＳ７８)。
UO処理では、ユーザの操作に伴ってボタンをアクティブ状態に設定したが、アクティブ状態へ設定は、selection_time_out_ptsのタイムアウトでも実現することができる。selection_time_out_ptsタイムアウトによる自動確定(オートアクティベート)の処理手順を、図４８を参照しながら説明する。図４８は、ボタンのオートアクティベートの処理手順を示すフローチャートである。先ずdefault_activated_button_id_refが0であるか,FFであるかどうかを判定し(ステップＳ９１)、00であれば何の処理も行わずメインルーチンにリターンする。FFであれば、カレントボタンiをアクティブ状態に遷移する(ステップＳ９３)。そしてカレントボタン(i)に対応する変数animation(i)を0に設定してメインルーチンにリターンする(ステップＳ９４)。
【０１７４】
00でも、FFでもなければ、default_activated_button_id_refで指定されるボタンをカレントボタンiとし(ステップＳ９２)、カレントボタン(i)をアクティブ状態に遷移させ(ステップＳ９３)、カレントボタン(i)に対応する変数animation(i)を0に設定してメインルーチンにリターンする(ステップＳ９４)。
以上の処理により、セレクテッド状態のボタンは、所定時間の経過時においてアクティブ状態に遷移させられることになる。以上が、図４８のフローチャートの全容である。
【０１７５】
＜PopupU/Iにおけるターンオン、ターンオフ処理＞
以上は、user_interface_modelがAlways-onを示している場合のI-Graphicsデコーダ９の処理手順である。Interactive_compositionのuser_interface_modelがPopupU/Iを示している場合、I-Graphicsデコーダ９は、user_interface_modelがAlways-onを示している場合と同様のデコード処理を行う。これにより、Object Buffer３５にはグラフィックオブジェクトが得られる。そして、Object Buffer３５上に得られたグラフィクスオブジェクトをPTS(DSn[ICS])までにInteractive Graphicsプレーン１０に書き込んでゆく。そうすることで、メインページの最初の表示を構成するグラフィクスがInteractive Graphicsプレーン１０に得られることになる。以上の処理は、Always-onU/Iと同じであるが、これ以降の処理が異なる。つまり、Graphicsコントローラ３７は、Interactive Graphicsプレーン１０に格納されたページを、動画像に合成せず、ページを表示しないのである。このようにInteractive Graphicsプレーン１０の格納内容をCLUT部１５に出力せず、ページを表示しない状態を”ターンオフ”という。こうしたターンオフの状態のまま、Graphicsコントローラ３７はPop-up_On操作がユーザによりなされるのを待つ。ユーザによりPop-up_On操作がなされれば、Interactive Graphicsプレーン１０に格納されたページをCLUT部１５に出力して動画像に合成させる。このようにターンオフされているInteractive Graphicsプレーン１０の格納内容を、CLUT部１５に出力して動画像に合成させる制御を”ターンオン”という。以上のターンオフ、ターンオン制御によりポップアップ表示がなされる。
【０１７６】
以降の処理はAlways-onU/Iと同じであり、メインページの表示時において、ユーザが何れかのボタンに対し、確定操作を行えば、そのボタンに対応するナビゲーションコマンドを実行する。Selection_TimeOutタイマ１９がタイムアウトすれば、メインページにおけるカレントボタンを自動的にアクティベートさせて、サブページを表示させる。
そしてPop-up_Offがなされれば、Graphicsコントローラ３７はターンオフを行い、全てのページを消去する。
【０１７７】
ユーザ操作がない状態が継続した場合でも、User_TimeOutタイマ１８は、カウントダウンを続ける。こうしてカウントダウンが継続してから、ユーザタイムアウトタイマがタイムアウトすれば、ターンオフを行い、全てのページを消去する。以上の処理は、図１２（ａ）に示された状態状態遷移に基づく。
以上のようなターンオン・ターンオフを実行することにより、Pop-upU/Iは実現されることになる。
【０１７８】
以上のように本実施形態によれば、第１実施形態〜第５実施形態に示したようなデータ構造に対応した再生装置を、工業的に生産することができ、第１実施形態〜第５実施形態に示したBD-ROMの普及に貢献することができる。
(第７実施形態)
本実施形態は、BD-ROMの製造工程に関する実施形態である。図４９は、第１実施形態〜第５実施形態に示したBD-ROMを作成するための製造工程を示す図である。
【０１７９】
BD-ROMの制作工程は、動画収録、音声収録等の素材作成を行う素材制作工程Ｓ２０１、オーサリング装置を用いて、アプリケーションフォーマットを生成するオーサリング工程Ｓ２０２、BD-ROMの原盤を作成し、プレス・貼り合わせを行って、BD-ROMを完成させるプレス工程Ｓ２０３を含む。
これらの工程のうち、BD-ROMを対象としたオーサリング工程は、以下のステップＳ２０４〜ステップＳ２１３を含む。
【０１８０】
以降ステップＳ２０４〜ステップＳ２１３について説明する。ステップＳ２０４において制御情報、パレット定義情報、グラフィクスを記述し、ステップＳ２０５において、制御情報、パレット定義情報、グラフィクスを機能セグメントに変換する。ステップＳ２０６では、同期したいピクチャが出現するタイミングに基づき、ICSのPTSを設定する。そしてステップＳ２０７では、PTS[ICS]の値に基づき、DTS[ODS],PTS[ODS]を設定し、ステップＳ２０８においてDTS[ODS]の値に基づき、DTS[ICS],PTS[PDS]を設定する。
【０１８１】
ステップＳ２０９では、プレーヤモデルにおける各バッファの占有量の時間的遷移をグラフ化する。ステップＳ２１０では、グラフ化された時間的遷移がプレーヤモデルの制約を満たすか否かを判定し、もし満たさないなら、ステップＳ２１１において各機能セグメントのDTS、PTSを書き換える。もし満たすならステップＳ２１２においてグラフィクスストリームを生成し、ステップＳ２１３においてグラフィクスストリームを別途生成されたビデオストリーム、オーディオストリームと多重してAVClipを得る。以降、AVClipをBD-ROMのフォーマットに適合させることにより、アプリケーションフォーマットが完成する。
(備考)
以上の説明は、本発明の全ての実施行為の形態を示している訳ではない。下記(A)(B)(C)(D)・・・・・の変更を施した実施行為の形態によっても、本発明の実施は可能となる。本願の請求項に係る各発明は、以上に記載した複数の実施形態及びそれらの変形形態を拡張した記載、ないし、一般化した記載としている。拡張ないし一般化の程度は、本発明の技術分野の、出願当時の技術水準の特性に基づく。
【０１８２】
(A)全ての実施形態では、本発明に係る記録媒体をBD-ROMとして実施したが、本発明の記録媒体は、記録されるグラフィクスストリームに特徴があり、この特徴は、BD-ROMの物理的性質に依存するものではない。グラフィクスストリームを記録しうる記録媒体なら、どのような記録媒体であってもよい。例えば、DVD-ROM,DVD-RAM,DVD-RW,DVD-R,DVD+RW,DVD+R,CD-R,CD-RW等の光ディスク、PD,MO等の光磁気ディスクであってもよい。また、コンパクトフラッシュ（登録商標）カード、スマートメディア、メモリスティック、マルチメディアカード、PCM-CIAカード等の半導体メモリカードであってもよい。フレキシブルディスク、SuperDisk,Zip,Clik!等の磁気記録ディスク(i)、ORB,Jaz,SparQ,SyJet,EZFley,マイクロドライブ等のリムーバブルハードディスクドライブ(ii)であってもよい。更に、機器内蔵型のハードディスクであってもよい。
【０１８３】
(B)全ての実施形態における再生装置は、BD-ROMに記録されたAVClipをデコードした上でTVに出力していたが、再生装置をBD-ROMドライブのみとし、これ以外の構成要素をTVに具備させてもい、この場合、再生装置と、TVとをIEEE1394で接続されたホームネットワークに組み入れることができる。また、実施形態における再生装置は、テレビと接続して利用されるタイプであったが、ディスプレィと一体型となった再生装置であってもよい。更に、各実施形態の再生装置において、処理の本質的部分をなすシステムLSI(集積回路)のみを、実施としてもよい。これらの再生装置及び集積回路は、何れも本願明細書に記載された発明であるから、これらの何れの態様であろうとも、第６実施形態に示した再生装置の内部構成を元に、再生装置を製造する行為は、本願の明細書に記載された発明の実施行為になる。第１実施形態に示した再生装置の有償・無償による譲渡(有償の場合は販売、無償の場合は贈与になる)、貸与、輸入する行為も、本発明の実施行為である。店頭展示、カタログ勧誘、パンフレット配布により、これらの譲渡や貸渡を、一般ユーザに申し出る行為も本再生装置の実施行為である。
【０１８４】
(C)各フローチャートに示したプログラムによる情報処理は、ハードウェア資源を用いて具体的に実現されていることから、上記フローチャートに処理手順を示したプログラムは、単体で発明として成立する。全ての実施形態は、再生装置に組み込まれた態様で、本発明に係るプログラムの実施行為についての実施形態を示したが、再生装置から分離して、第１実施形態に示したプログラム単体を実施してもよい。プログラム単体の実施行為には、これらのプログラムを生産する行為(1)や、有償・無償によりプログラムを譲渡する行為(2)、貸与する行為(3)、輸入する行為(4)、双方向の電子通信回線を介して公衆に提供する行為(5)、店頭、カタログ勧誘、パンフレット配布により、プログラムの譲渡や貸渡を、一般ユーザに申し出る行為(6)がある。
【０１８５】
(D)各フロ−チャ−トにおいて時系列に実行される各ステップの「時」の要素を、発明を特定するための必須の事項と考える。そうすると、これらのフロ−チャ−トによる処理手順は、再生方法の使用形態を開示していることがわかる。各ステップの処理を、時系列に行うことで、本発明の本来の目的を達成し、作用及び効果を奏するよう、これらのフロ−チャ−トの処理を行うのであれば、本発明に係る記録方法の実施行為に該当することはいうまでもない。
【０１８６】
(E)BD-ROMに記録するにあたって、AVClipを構成する各TSパケットには、拡張ヘッダを付与しておくことが望ましい。拡張ヘッダは、TP_extra_headerと呼ばれ、『Arrival_Time_Stamp』と、『copy_permission_indicator』とを含み4バイトのデータ長を有する。TP_extra_header付きTSパケット(以下EX付きTSパケットと略す)は、32個毎にグループ化されて、3つのセクタに書き込まれる。32個のEX付きTSパケットからなるグループは、6144バイト(=32×192)であり、これは3個のセクタサイズ6144バイト(=2048×3)と一致する。3個のセクタに収められた32個のEX付きTSパケットを”Aligned Unit”という。
【０１８７】
IEEE1394を介して接続されたホームネットワークでの利用時において、再生装置は、以下のような送信処理にてAligned Unitの送信を行う。つまり送り手側の機器は、Aligned Unitに含まれる32個のEX付きTSパケットのそれぞれからTP_extra_headerを取り外し、TSパケット本体をDTCP規格に基づき暗号化して出力する。TSパケットの出力にあたっては、TSパケット間の随所に、isochronousパケットを挿入する。この挿入箇所は、TP_extra_headerのArribval_Time_Stampに示される時刻に基づいた位置である。TSパケットの出力に伴い、再生装置はDTCP_Descriptorを出力する。DTCP_Descriptorは、TP_extra_headerにおけるコピー許否設定を示す。ここで「コピー禁止」を示すようDTCP_Descriptorを記述しておけば、IEEE1394を介して接続されたホームネットワークでの利用時においてTSパケットは、他の機器に記録されることはない。
(F)各実施形態におけるデジタルストリームは、BD-ROM規格のAVClipであったが、DVD-Video規格、DVD-Video Recording規格のVOB(Video Object)であってもよい。VOBは、ビデオストリーム、オーディオストリームを多重化することにより得られたISO/IEC13818-1規格準拠のプログラムストリームである。またAVClipにおけるビデオストリームは、MPEG4やWMV方式であってもよい。更にオーディオストリームは、Linear-PCM方式、Dolby-AC3方式、MP3方式、MPEG-AAC方式、dts方式であってもよい。
【０１８８】
(G)各実施形態における映画作品は、アナログ放送で放送されたアナログ映像信号をエンコードすることにより得られたものでもよい。デジタル放送で放送されたトランスポートストリームから構成されるストリームデータであってもよい。
またビデオテープに記録されているアナログ／デジタルの映像信号をエンコードしてコンテンツを得ても良い。更にビデオカメラから直接取り込んだアナログ／デジタルの映像信号をエンコードしてコンテンツを得ても良い。他にも、配信サーバにより配信されるデジタル著作物でもよい。
【０１８９】
(H)各実施形態に示したグラフィックスオブジェクトは、ランレングス符号化されたラスタデータである。グラフィックスオブジェクトの圧縮・符号化方式にランレングス符号方式を採用したのは、ランレングス符号化は字幕の圧縮・伸長に最も適しているためである。字幕には、同じ画素値の水平方向の連続長が比較的長くなるという特性があり、ランレングス符号化による圧縮を行えば、高い圧縮率を得ることができる。また伸長のための負荷も軽く、復号処理のソフトウェア化に向いている。デコードを実現する装置構成を、字幕−グラフィックスオブジェクト間で共通化する目的で、字幕と同じ圧縮・伸長方式をグラフィックスオブジェクトに採用している。しかし、グラフィックスオブジェクトにランレングス符号化方式を採用したというのは、本発明の必須事項ではなく、グラフィックスオブジェクトはPNGデータであってもよい。またラスタデータではなくベクタデータであってもよい、更に透明な絵柄であってもよい。
【０１９０】
(I)グラフィックスプレーンクリア及び再描画が垂直帰線期間に完遂するよう、Rcを定めても良い。垂直帰線期間は1/29.93秒の25%と仮定すると、Rcは1Gbpsになる。Rcをこのように設定することでグラフィクス表示はスムーズになされるので、実用上の効果は大きい。
また垂直帰線期間での書き込みに加え、ラインスキャンに同期した書き込みを併用してもよい。これにより、Rc=256Mbpsの転送レートであっても、スムーズな表示の実現が可能になる。
【０１９１】
(J)各実施形態において再生装置には、グラフィックスプレーンを実装したが、このグラフィックスプレーンに代えて、一ライン分の非圧縮画素を格納するラインバッファを具備してもよい。映像信号への変換は水平行(ライン)毎に行われるので、このラインバッファさえ具備していれば、この映像信号への変換は行なえるからである。
(K)複数再生経路の合流点においてデフォルトセレクテッドボタンが変わるようなケースでは、複数再生経路のそれぞれの経由時に、固有の値を再生装置側のレジスタに設定するよう、動的シナリオにおいて再生制御を記述しておくことが望ましい。そして、そのレジスタの設定値に応じたボタンをセレクテッド状態に設定するよう再生手順を記述しておけば、どの再生経路を経由するかによって、セレクテッド状態とすべきボタンを変化させることができる。
【０１９２】
(L)第６実施形態におけるグラフィックスプレーンは、ダブルバッファとして構成することが望ましい。グラフィックスプレーンをダブルバッファで構成すれば数フレームをかけて大きなサイズのグラフィクスをグラフィックスプレーンに書き込む場合でも、瞬時に画面切り換えを実現することができるので、画面一杯にメニューを表示する場合に有意義である。
【産業上の利用可能性】
【０１９３】
本発明に係る再生装置は、ホームシアターシステムでの利用のように、個人的な用途で利用されることがありうる。しかし本発明は上記実施形態に内部構成が開示されており、この内部構成に基づき量産することが明らかなので、資質において工業上利用することができる。このことから本発明に係る再生装置は、産業上の利用可能性を有する。
【図面の簡単な説明】
【０１９４】
【図１】本発明に係る記録媒体の、使用行為についての形態を示す図である。
【図２】BD-ROMの構成を示す図である。
【図３】AVClipがどのように構成されているかを模式的に示す図である。
【図４】（ａ）インタラクティブグラフィクスストリームの構成を示す図である。
【０１９５】
（ｂ）機能セグメントを変換することで得られるPESパケットを示す図である。
【図５】様々な種別の機能セグメントにて構成される論理構造を示す図である。
【図６】DSnが割り当てられた、AVClipの再生時間軸を示す図である。
【図７】（ａ）（ｂ）ICSとInteractive_compositionとの対応関係を示す図である。
【図８】ICSの内部構成を示す図である。
【図９】Stream_modelがMultiplexedである場合のICSの取り扱いを示す図である。
【図１０】Stream_modelがプリロードである場合のコンポジションバッファの移り変わりを示す図である。
【図１１】DSnがEpoch Startである場合(n=1)、DSnに帰属するICSにおいて、selection_time_out_pts及びcomposition_time_out_ptsがどのような意味合いを持つかを示す図である。
【図１２】（ａ）Pop-upU/IにおけるMulti-Pageメニューの状態遷移を示す図である。
【０１９６】
（ｂ）Always-onU/IにおけるMulti-Pageメニューの挙動を示す図である。
【図１３】Multi-Pageメニューを導入した画面演出を示す図である。
【図１４】（ａ）〜（ｃ）selection_time_out_pts設定の一例を示す図である。
【図１５】（ａ）〜（ｄ）user_time_out_dutration設定の具体例を示す図である。
【図１６】複数ページのうち、任意のもの(x枚目のページ)についてのページ情報の内部構成を示す図である。
【図１７】ボタン0-A〜ボタン0-Dの状態遷移を示す図である。
【図１８】図１７の状態遷移を実現する場合のボタン情報の記述例を示す図である。
【図１９】ODS11〜19の絵柄を示す図である。
【図２０】Effect_Sequenceの内部構成を示す図である。
【図２１】（ａ）effect_durationの設定をどのように行うかという設定の概念を示す図である。
【０１９７】
（ｂ）effect_durationを算出するための算出式を示す図である。
【図２２】In_Effectの具体例を示す図である。
【図２３】window_width、window_height、effect_durationの調整により再生されるOut_effectを示す図である。
【図２４】任意のcomposition_object(i)の内部構成をクローズアップした図である。
【図２５】右ScrollによりIn_Effectを実現するという具体例を示す図である。
【図２６】図２５のDS0におけるcomposition_objectの記述例を示す図である。
【図２７】図２５のDS1におけるcomposition_objectの記述例を示す図である。
【図２８】図２５のDS2におけるcomposition_objectの記述例を示す図である。
【図２９】図２５のDS3におけるcomposition_objectの記述例を示す図である。
【図３０】DSnにおけるODS配列を示す図である。
【図３１】default_selected_button_id_refが”=00”である場合と、”＝ボタンB”である場合とでS-ODSsにおいてODSの並びがどのように変わるかを示す図である。
【図３２】（ａ）デフォルトセレクテッドボタンが静的に確定している場合のLASTODSPTSを示す。
【０１９８】
（ｂ）デフォルトセレクテッドボタンが動的に変化する場合のLASTODSPTSを示す。
【図３３】（ａ）セレクテッド状態に属するODSが存在しない場合のLASTODSPTSを示す。 （ｂ）Normal StateODSグループに属するODSが存在しない場合のLASTODSPTSを示す。 （ｃ）Display SetにおいてODSが存在しない場合のLASTODSPTSを示す。
【図３４】（ａ）LASTODSPTS(DSn)-DTS(DSn[ICS])及びPLANECLEARTIMEからDECODEDURATIONを導き出すためのアルゴリズムを示す。
【０１９９】
（ｂ）（ｃ）DECODEDURATIONの算出例を示す図である。
【図３５】（ａ）EFFECTTD(DSn)の算出式を示す。 （ｂ）In_Effectが存在せず、デフォルトセレクテッドボタンが静的に確定している場合の、PAGEDEFAULTTDの算出式を示す図である。
【０２００】
（ｃ）In_Effectが存在せず、デフォルトセレクテッドボタンが動的に変化する場合の、PAGEDEFAULTTDの算出式を示す図である。
【図３６】EFFECTTD、PAGEDEFAULTTD、PAGENODEFAULTTDから1つをえらんでTRANSFERDURATIONにするというアルゴリズムを示す。
【図３７】本発明に係る再生装置の内部構成を示す図である。
【図３８】（ａ）PSR11についてのProcedure when playback condition is changedを示すフローチャートである。
【０２０１】
（ｂ）PSR11についてのProcedure when change is requestedを示すフローチャートである。
【図３９】（ａ）PSR10のProcedure when playback condition is changedを示すフローチャートである。
【０２０２】
（ｂ）PSR10のProcedure when change is requestedを示すフローチャートである。
【図４０】I-Graphicsデコーダ９の内部構成を示す図である。
【図４１】Graphics Controller３７の処理のうち、メインルーチンにあたる処理を示すフローチャートである。
【図４２】最初の表示の処理手順を示すフローチャートである。
【図４３】In_effectを再生するにあたっての処理手順を示すフローチャートである。
【図４４】ボタン表示をアニメーション的に更新するための処理手順を示すフローチャートである。
【図４５】ナビゲーションコマンド実行時における処理手順を示すフローチャートである。
【図４６】UO処理の処理手順を示すフローチャートである。
【図４７】カレントボタンの変更処理の処理手順を示すフローチャートである。
【図４８】ボタンのオートアクティベートの処理手順を示すフローチャートである。
【図４９】第１実施形態〜第５実施形態に示したBD-ROMを作成するための製造工程を示す図である。
【符号の説明】
【０２０３】
１ BDドライブ
２ リードバッファ
３ デマルチプレクサ(De-MUX)
４ ビデオデコーダ
５ ビデオプレーン
６ P-Graphicsデコーダ
７ Presentation Graphicsプレーン
８ 合成部
９ I-Graphicsデコーダ
１０ Interactive Graphicsプレーン
１１ 合成部
１３ オーディオデコーダ
１４ CLUT部
１５ CLUT部
１６ PSRセット
１７ システムクロック
１８ User_TimeOutタイマ
１９ Selection_TimeOutタイマ
２０ Composition_TimeOutタイマ
２１ Effect_durationタイマ
２２ 操作受付部
２３ 状態制御部

Claims (7)

1. グラフィクスストリーム及び動画ストリームが記録されている記録媒体であって、
   グラフィクスストリームは、1つ以上の対話制御セグメントと、グラフィクスオブジェクトを定義するオブジェクト定義セグメントとを含み、
   対話制御セグメントは、複数のページ情報と、時間情報とを含み、
   複数のページ情報は、マルチページメニューの画面構成を規定する情報であり、各ページ情報は、1つ以上のボタン情報を含み、各ボタン情報は、グラフィクスオブジェクトをボタン部材の一状態として表示させることにより、マルチページメニューを構成する各ページ上で対話的な画面構成を実現する情報であり、
   前記マルチページメニューの表示状態には、
   ノーメニュー状態、ファーストページオンリーの状態、マルチページが存在する状態の3つがあり、
   前記時間情報は、タイムアウト情報を含み、
   前記タイムアウト情報は、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを自動的にアクティベートさせることで、ファーストページオンリーの状態からマルチページ状態への遷移を行わせる時刻を示す
   ことを特徴とする請求項１記載の記録媒体。
2. 前記対話制御セグメントは、ユーザインターフェイスモデル情報を含み、
   前記ユーザインターフェイスモデル情報が、Always-Onモデルを示している場合、ノーメニュー状態からファーストページオンリーの状態への遷移は、対話制御セグメントを格納したパケットのタイムスタンプにて示される時点になされ、
   ユーザインターフェイスモデルが、Pop-upモデルを示している場合、
   ノーメニュー状態からファーストページオンリーの状態への遷移、及び、少なくとも1つのページを表示している状態からノーメニュー状態への遷移は、ユーザによる操作でなされる
   ことを特徴とする請求項１記載の記録媒体。
3. 動画ストリーム及びグラフィクスストリームを再生する再生装置であって、
   動画ストリームをデコードして、動画像を得るビデオデコーダと、
   グラフィクスストリームをデコードして、ファーストページ及びセカンドページを得るグラフィクスデコーダとを含み、
   グラフィクスストリームは、1つ以上の対話制御セグメントと、グラフィクスオブジェクトを定義するオブジェクト定義セグメントとを含み、
   対話制御セグメントは、複数のページ情報と、時間情報とを含み、
   複数のページ情報は、マルチページメニューの画面構成を規定する情報であり、各ページ情報は、1つ以上のボタン情報を含み、各ボタン情報は、グラフィクスオブジェクトをボタン部材の一状態として表示させることにより、マルチページメニューを構成する各ページ上で対話的な画面構成を実現する情報であり、
   前記時間情報は、タイムアウト情報を含み、
   前記タイムアウト情報は、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを自動的にアクティベートさせることで、ファーストページオンリーの状態からマルチページ状態への遷移を行わせる時刻を示し、
   前記マルチページメニューの表示状態には、
   ノーメニュー状態、ファーストページオンリーの状態、マルチページが存在する状態の3つがあり、
   前記グラフィクスデコーダは、マルチページメニューの状態を遷移させる制御を、前記時間情報に基づき実行するものであり、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを、前記タイムアウト情報に示される時刻に従って自動的にアクティベートすることで、ファーストページオンリーの状態からマルチページ 状態へと遷移させる
   ことを特徴とする再生装置。
4. ユーザインターフェイスモデル情報が、Always-Onモデルを示している場合、前記グラフィクスデコーダは、対話制御セグメントを格納したパケットのタイムスタンプにて示される時点に、ノーメニュー状態からファーストページオンリーの状態への遷移を行い、
   ユーザインターフェイスモデルが、Pop-upモデルを示している場合、前記グラフィクスデコーダは、ユーザによる操作に従って、ノーメニュー状態からファーストページオンリーの状態への遷移、及び、ファーストページオンリーの状態からノーメニュー状態への遷移を行う
   ことを特徴とする請求項３記載の再生装置。
5. 記録媒体の記録方法であって、
   動画ストリーム及びグラフィクスストリームを含むアプリケーションデータを作成するステップと、
   作成したデータを記録媒体に記録するステップとを有し、
   前記作成ステップは、
   動画像素材をエンコードして、前記動画ストリームを得る第１のサブステップと、
   1 つ以上の対話制御セグメントと、グラフィクスオブジェクトを定義するオブジェクト定義セグメントとを作成して、前記グラフィクスストリームを得る第２のサブステップとを含み、
   マルチページメニューの画面構成を実現する場合、前記第２のサブステップでは、対話制御セグメントの内部に、複数のページ情報と、時間情報とを記述し、
   前記ページ情報は、1つ以上のボタン情報を含み、各ボタン情報は、グラフィクスオブジェクトをボタン部材の一状態として表示させることにより、マルチページメニューを構成する各ページ上で対話的な画面構成を実現する情報であり、
   前記マルチページメニューの表示状態には、
   ノーメニュー状態、ファーストページオンリーの状態、マルチページが存在する状態の3つがあり、
   マルチページメニューの画面構成を実現する場合、前記第２のサブステップは、動画ストリームの再生時間軸のうち、マルチページメニューの表示状態を遷移させるべき時点を時間情報に定義しておくという手順を含み、
   前記第２のサブステップにより定義される時間情報は、タイムアウト情報を含み、
   前記タイムアウト情報は、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを自動的にアクティベートさせることで、ファーストページオンリーの状態からマルチページ状態への遷移を行わせる時刻を示す
   ことを特徴とする記録方法。
6. 動画ストリーム及びグラフィクスストリームの再生をコンピュータに実行させるプログラムであって、
   動画ストリームをデコードして、動画像を得るステップと、
   グラフィクスストリームをデコードして、動画像にマルチページメニューを合成するステップとを含み、
   グラフィクスストリームをデコードして、ファーストページ及びセカンドページを得るステップとを含み、
   グラフィクスストリームは、1つ以上の対話制御セグメントと、グラフィクスオブジェクトを定義するオブジェクト定義セグメントとを含み、
   対話制御セグメントは、複数のページ情報と、時間情報とを含み、
   複数のページ情報は、マルチページメニューの画面構成を規定する情報であり、各ページ情報は、1つ以上のボタン情報を含み、各ボタン情報は、グラフィクスオブジェクトをボタン部材の一状態として表示させることにより、マルチページメニューを構成する各ページ上で対話的な画面構成を実現する情報であり、
   前記時間情報は、タイムアウト情報を含み、
   前記タイムアウト情報は、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを自動的にアクティベートさせることで、ファーストページオンリーの状態からマルチページ状態への遷移を行わせる時刻を示し、
   前記マルチページメニューの表示状態には、
   ノーメニュー状態、ファーストページオンリーの状態、マルチページが存在する状態の3つがあり、
   前記グラフィクスをデコードするステップは、マルチページメニューの状態を遷移させる制御を、前記時間情報に基づきコンピュータに実行させるものであり、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを、前記タイムアウト情報に示される時刻に従って自動的にアクティベートすることで、ファーストページオンリーの状態からマルチページ状態へと遷移させることを特徴とするプログラム。
7. 動画ストリーム及びグラフィクスストリームの再生をコンピュータに実行させる再生方法であって、
   動画ストリームをデコードして、動画像を得るステップと、
   グラフィクスストリームをデコードして、ファーストページ及びセカンドページを得るステップとを含み、
   グラフィクスストリームは、対話制御情報と、マルチページメニューにおける個々のページを構成するグラフィクスデータとを含み、
   グラフィクスストリームは、1つ以上の対話制御セグメントと、グラフィクスオブジェクトを定義するオブジェクト定義セグメントとを含み、
   対話制御セグメントは、複数のページ情報と、時間情報とを含み、
   複数のページ情報は、マルチページメニューの画面構成を規定する情報であり、各ページ情報は、1つ以上のボタン情報を含み、各ボタン情報は、グラフィクスオブジェクトをボタン部材の一状態として表示させることにより、マルチページメニューを構成する各ページ上で対話的な画面構成を実現する情報であり、
   前記時間情報は、タイムアウト情報を含み、
   前記タイムアウト情報は、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを自動的にアクティベートさせることで、ファーストページオンリーの状態からマルチページ状態への遷移を行わせる時刻を示し、
   前記マルチページメニューの表示状態には、
   ノーメニュー状態、ファーストページオンリーの状態、マルチページが存在する状態の3つがあり、
   前記グラフィクスをデコードするステップは、マルチページメニューの状態を遷移させる制御を、前記時間情報に基づき実行するものであり、ファーストページ内に存在するボタン部材のうち、セレクテッド状態になっているものを、前記タイムアウト情報に示される時刻に従って自動的にアクティベートすることで、ファーストページオンリーの状態からマルチページ状態へと遷移させる
   ことを特徴とするプログラム。

Images