JP4821456B2 - 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体 - Google Patents

情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体 Download PDF

Info

Publication number
JP4821456B2
JP4821456B2 JP2006173678A JP2006173678A JP4821456B2 JP 4821456 B2 JP4821456 B2 JP 4821456B2 JP 2006173678 A JP2006173678 A JP 2006173678A JP 2006173678 A JP2006173678 A JP 2006173678A JP 4821456 B2 JP4821456 B2 JP 4821456B2
Authority
JP
Japan
Prior art keywords
stream
image
data
audio
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006173678A
Other languages
English (en)
Other versions
JP2008005289A (ja
JP2008005289A5 (ja
Inventor
綾子 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006173678A priority Critical patent/JP4821456B2/ja
Publication of JP2008005289A publication Critical patent/JP2008005289A/ja
Publication of JP2008005289A5 publication Critical patent/JP2008005289A5/ja
Application granted granted Critical
Publication of JP4821456B2 publication Critical patent/JP4821456B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体に関し、特に、複数のビデオストリームが合成されて表示可能なようになされている場合に用いて好適な、情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体に関する。
DVD（Digital Versatile Disc）ビデオの規格においては、記録媒体に記録されている映画などのＡＶ（Audio Visual）コンテンツを再生する場合、ユーザに、音声切り替えや字幕切り替えというインタラクティブな操作を提供している（例えば、非特許文献１参照）。具体的には、図１の表示装置１に表示されているＡＶコンテンツに対して、ユーザは、リモートコントローラ２の音声切り替えボタン１１や字幕切り替えボタン１２を操作することで、音声の切り替えや字幕を切り替える。例えば、音声１が初期状態として設定されており、ユーザによりリモートコントローラ２の音声切り替えボタン１１が操作された場合、図２に示されるように、音声１が音声２に切り替えられる。
DVDビデオ上のＡＶコンテンツは、MPEG（Moving Picture Experts Group）２プログラムストリームの形式で記録されている。このMPEG２プログラムストリームには、図３に示されるように、ビデオストリーム（図３のビデオ）、複数のオーディオストリーム（図３のオーディオ１，２，３）、および複数のサブピクチャストリーム（図３のサブピクチャ１，２，３）が、ビデオストリームにＡＶ同期して再生されるように多重化されている。サブピクチャストリーム（サブピクチャ１，２，３）は、ビットマップ画像がランレングス符号化されたストリームであり、主に字幕用途に用いられる。
一般に、複数のオーディオストリームは、異なる言語の音声を記録するために用いられ、複数のサブピクチャストリームは、異なる言語の字幕を記録するために用いられる。ユーザは、ビデオが再生されている場合、インタラクティブに所望の言語の音声や字幕を、リモートコントローラ２を用いて選択することができる。
DVD Specifications for Read-Only Disc Part 3;Version1.1
また、追加して記録された音声（例えば、いわゆるアフレコと称される音声）を再生するために、Sub pathが用いられている技術がある（例えば、特許文献１）。
特開２０００−１５８９７２号公報
特許文献１に記載の技術では、たしかに、追加して記録された音声（例えば、いわゆるアフレコと称される音声）を再生するために、Sub pathが用いられているが、２つの同一の種類のストリーム、すなわち、２つのオーディオストリームや２つのビデオストリームを合成して再生するための構成についてはなんら開示されていない。
したがって、例えば、２つのビデオストリームが合成して再生される場合などにおいて、メインのストリームに合成されるストリームとしてどのようなものが再生可能であるか、または、メインのストリームに合成されて再生されるストリームが再生時間軸上においてどの位置で合成されるのかなどを把握するための技術や、メインのストリームではなく、メインのストリームに合成されて再生されるストリームを指定して再生させる技術はなかった。
本発明はこのような状況に鑑みてなされたものであり、複数のビデオストリームが合成して再生される場合であっても、メインのストリームではなく、メインのストリームに合成されて再生されるストリームを容易に把握することができるようにするものである。
本発明第１の側面の情報処理装置は、ストリームの再生を制御する情報処理装置であって、記録媒体から前記ストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータを取得する情報取得手段と、前記情報取得手段により取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示を制御する表示制御手段と、前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面を含むメイン画面の画像として再生するように、前記ストリームの再生を制御する再生制御手段とを備え、前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である。
前記ユーザの操作入力を受ける操作入力取得手段と、前記ストリームの再生を制御する再生制御コマンドの発生を制御するコマンド発生手段とを更に備え、前記操作入力取得手段により、前記ユーザにより前記副のストリームに対応する情報のうちのいずれかが選択されたことを示す操作入力が取得された場合、前記コマンド発生手段は、選択された前記情報に対応する前記副のストリームの画像を前記サブ画面の画像として再生し、その副のストリームに対応する主のストリームの画像を前記メイン画面の画像として再生するように、前記ストリームの再生を制御する前記再生制御コマンドを発生し、前記再生制御手段は、前記再生制御コマンドに基づいて前記ストリームの再生を制御することができる。
前記ストリームの再生に関する設定情報を保持する保持手段を更に備え、前記コマンド発生手段は、前記再生制御コマンドとして、前記保持手段により保持される前記設定情報を設定するためのコマンドを発生した後、前記ストリームの再生を開始させるコマンドを発生し、前記再生制御手段は、前記ストリームの再生を開始させるコマンドに応じて、前記保持手段に保持されている前記設定情報に基づいて前記ストリームの再生を制御することができる。
前記表示画面には、前記再生制御コマンドが対応付けられるようにすることができる。
前記ストリームの再生に関する設定情報を保持する保持手段を更に備え、前記コマンド発生手段は、前記再生制御コマンドとして、前記保持手段により保持される前記設定情報を設定するためのコマンドを発生した後、前記ストリームの再生を開始させるコマンドを発生し、前記再生制御手段は、前記ストリームの再生を開始させるコマンドに応じて、前記保持手段に保持されている前記設定情報に基づいて前記ストリームの再生を制御することができる。
前記表示画面は、前記主のストリームの画像のうちの少なくとも一部も含むようにすることができる。
前記情報取得手段により取得された前記表示画面を表示させるためのデータを基に、前記表示画面の画像データを生成する処理を実行する表示画面データ生成手段を更に備え、前記表示画面を表示させるためのデータは、前記表示画面の画像を描画する処理を実行させるプログラムであり、前記表示画面データ生成手段は、前記プログラムを実行することにより、前記表示画面の画像データを生成し、前記表示制御手段は、前記表示画面の画像データを基に前記表示画面の表示を制御することができる。
本発明の第１の側面の情報処理方法は、ストリームの再生を制御する情報処理装置の情報処理方法において、前記情報処理装置が、記録媒体から前記ストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータを取得し、前記情報処理装置が、取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示を制御し、前記情報処理装置が、前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面を含むメイン画面の画像として再生するように、前記ストリームの再生を制御するステップを含み、前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である情報処理方法である。
前記情報処理装置は、前記ユーザの操作入力を受ける操作入力取得手段を備え、前記情報処理方法は、前記情報処理装置が、前記ストリームの再生を制御する再生制御コマンドの発生を制御するコマンド発生ステップをさらに含み、前記操作入力取得手段により、前記ユーザにより前記副のストリームに対応する情報のうちのいずれかが選択されたことを示す操作入力が取得された場合、前記コマンド発生ステップでは、前記情報処理装置が、選択された前記情報に対応する前記副のストリームの画像を前記サブ画面の画像として再生し、その副のストリームに対応する主のストリームの画像を前記メイン画面の画像として再生するように、前記ストリームの再生を制御する前記再生制御コマンドを発生し、前記再生制御ステップでは、前記情報処理装置が、前記再生制御コマンドに基づいて前記ストリームの再生を制御し、前記表示画面には、前記再生制御コマンドが対応付けられているようにすることができる。
本発明の第１の側面のプログラムは、ストリームの再生を制御する情報処理装置を制御するコンピュータに、記録媒体から前記ストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータを取得し、取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示を制御し、前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面を含むメイン画面の画像として再生するように、前記ストリームの再生を制御するステップを含む処理を実行させるためのプログラムであり、前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である。
前記情報処理装置は、前記ユーザの操作入力を受ける操作入力取得手段を備え、前記処理は、前記ストリームの再生を制御する再生制御コマンドの発生を制御するコマンド発生ステップをさらに含み、前記操作入力取得手段により、前記ユーザにより前記副のストリームに対応する情報のうちのいずれかが選択されたことを示す操作入力が取得された場合、前記コマンド発生ステップでは、選択された前記情報に対応する前記副のストリームの画像を前記サブ画面の画像として再生し、その副のストリームに対応する主のストリームの画像を前記メイン画面の画像として再生するように、前記ストリームの再生を制御する前記再生制御コマンドを発生し、前記再生制御ステップでは、前記再生制御コマンドに基づいて前記ストリームの再生を制御し、前記表示画面には、前記再生制御コマンドが対応付けられているようにすることができる。
本発明の第１の側面の情報処理装置、情報処理方法またはプログラムにおいては、記録媒体からストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータが取得され、取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示が制御され、前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面を含むメイン画面の画像として再生するように、前記ストリームの再生が制御される。なお、前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である。
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
再生装置は、独立した装置であっても良いし、記録再生装置や情報処理装置の再生処理を行うブロックであっても良い。
以上のように、本発明の第１の側面によれば、ユーザの操作のための補助となる表示画面を表示することができ、特に、その表示画面には、ピクチャインピクチャ表示状態を示すサムネイル画像を含ませることができる。
また、本発明の第２の側面によれば、ユーザの操作のための補助となる表示画面を再生装置において表示させるためのデータをユーザに提供することができ、特に、その表示画面には、ピクチャインピクチャ表示状態を示すサムネイル画像を含ませることができる。
本発明の第３の側面によれば、ユーザの操作のための補助となる表示画面を表示することができ、特に、その表示画面のうちの副のストリームに対応する情報には、対応する副のストリームを子画面として表示したピクチャインピクチャ表示による再生処理を実行させるためのコマンドを対応付けることができる。
本発明の第４の側面によれば、ユーザの操作のための補助となる表示画面を再生装置において表示させるためのデータをユーザに提供することができ、特に、その表示画面のうちの副のストリームに対応する情報には、対応する副のストリームを子画面として表示したピクチャインピクチャ表示による再生処理を実行させるためのコマンドを対応付けることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の情報処理装置は、ストリームの再生を制御する情報処理装置（例えば、再生装置１）であって、記録媒体から前記ストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータ（例えば、ＰＧ，ＩＧ，または、プログラム）を取得する情報取得手段（例えば、図３４のＧＵＩデータ読み出し制御部３５２）と、前記情報取得手段により取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示を制御する表示制御手段（例えば、図３４のＧＵＩ表示制御部３５９）と、前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面（子画面）を含むメイン画面（親画面）の画像として再生するように、前記ストリームの再生を制御する再生制御手段とを備え、前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である。
前記ユーザの操作入力を受ける操作入力取得手段（例えば、図３４の操作入力取得部３５６）と、前記ストリームの再生を制御する再生制御コマンドの発生を制御するコマンド発生手段と（例えば、図３４のコマンド発生部３４０）を更に備え、前記操作入力取得手段により、前記ユーザにより前記副のストリームに対応する情報のうちのいずれかが選択されたことを示す操作入力が取得された場合、前記コマンド発生手段は、選択された前記情報に対応する前記副のストリームの画像を前記サブ画面（子画面）の画像として再生し、その副のストリームに対応する主のストリームの画像を前記メイン画面（親画面）の画像として再生するように、前記ストリームの再生を制御する前記再生制御コマンドを発生し、前記再生制御手段は、前記再生制御コマンドに基づいて前記ストリームの再生を制御することができる。
前記ストリームの再生に関する設定情報を保持する保持手段（例えば、図２９のメモリ２３のレジスタ）を更に備え、前記コマンド発生手段は、前記再生制御コマンドとして、前記保持手段により保持される前記設定情報を設定するためのコマンド（例えばSetSecondaryStream）を発生した後、前記ストリームの再生を開始させるコマンドを発生し、前記再生制御手段は、前記ストリームの再生を開始させるコマンド（例えば、Link MK）に応じて、前記保持手段に保持されている前記設定情報に基づいて前記ストリームの再生を制御することができる。
前記情報取得手段により取得された前記表示画面を表示させるためのデータを基に、前記表示画面の画像データを生成する処理を実行する表示画面データ生成手段（例えば、図３４のGUI描画制御部３５４、GUI描画制御部３５４により制御されるプログラム処理部１０３、または、プログラマブルグラフィックスプレーン生成部１０４）を更に備え、前記表示画面を表示させるためのデータは、前記表示画面の画像を描画する処理を実行させるプログラム（例えば、BDJOフォルダに含まれるプログラムファイル）であり、前記表示画面データ生成手段は、前記プログラムを実行することにより、前記表示画面の画像データを生成し、前記表示制御手段は、前記表示画面の画像データを基に前記表示画面の表示を制御することができる。
本発明の第１の側面の情報処理方法は、情報処理装置が、記録媒体からストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータ（例えば、ＰＧ，ＩＧ，または、プログラム）を取得し（例えば、図４３のステップＳ２の処理）、前記情報処理装置が、取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示を制御し（例えば、図４３のステップＳ１２の処理）、前記情報処理装置が、前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面（子画面）の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面を含むメイン画面（親画面）の画像として再生するように、前記ストリームの再生を制御するステップを含み、前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である。
以下、図を参照して、本発明の実施の形態について説明する。
図４は、本発明を適用した再生装置（図２９を参照して後述する）のローカルストレージ(例えば、ハードディスクやメモリなど)上の、または、装着される記録媒体上のアプリケーションフォーマットの例を示す図である。記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよい。
アプリケーションフォーマットは、ＡＶ（Audio Visual）ストリームの管理のために、PlayListとClipの２つのレイヤを有している。ここでは、ＡＶストリームとそれに付随する情報であるクリップインフォメーション（Clip Information）のペアを１つのオブジェクトと考え、それらをまとめてClipと称する。以下、ＡＶストリームをＡＶストリームファイルとも称する。なお、AVストリームファイルには、音声データや映像データ以外にも、これらのデータとともに再生される各種のストリームファイルが含まれていてもよい。また、ClipインフォメーションをClipインフォメーションファイルとも称する。
一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、ＡＶストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、ＡＶストリームの管理のためのレイヤである。
Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、Clip Informationファイルは、タイムスタンプから、ＡＶストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。
PlayListは、ＡＶストリームの再生区間の集まりである。あるＡＶストリーム中の１つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のＩＮ点（再生開始点）とOUT点（再生終了点）のペアで表される。従って、PlayListは、図４に示されるように１つ、または複数のPlayItemにより構成される。
図４において、左から１番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームの前半部分と後半部分がそれぞれ参照されている。また、左から２番目のPlayListは１つのPlayItemから構成され、それにより、右側のClipに含まれるＡＶストリーム全体が参照されている。さらに、左から３番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームのある部分と、右側のClipに含まれるＡＶストリームのある部分がそれぞれ参照されている。
例えば、図４のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から１番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるＡＶストリームの前半部分の再生が行われる。このように、PlayListは、ＡＶストリームファイルの再生を管理するための再生管理情報として用いられる。
ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、PlayList再生に関する処理以外に、例えば、メインのストリームに合成されるストリームとしてどのようなものが再生可能であるか、または、メインのストリームに合成されて再生されるストリームが再生時間軸上においてどの位置で合成されるのかなどをユーザに把握させるためのメニュー画面（GUI表示画面）や、メインのストリームの再生位置を指定して再生させたり、メインのストリームに合成されて再生されるストリームを指定して再生させるなどの、各種の再生の実行をユーザが指示するためのメニュー画面（GUI表示画面）を表示する機能などを有するプログラムを、ディスクナビゲーションプログラム以外に提供するものとしても良い。また、これらの機能をディスクナビゲーションプログラムに含ませるようにしても良い。
このディスクナビゲーションプログラムおよびその他のプログラムは、例えば、Java（登録商標）などのプログラミング言語で記述され、記録媒体上に用意されたり、または、例えば、ネットワークもしくは他の記録媒体を介して、再生装置１に供給される。これらのプログラムが、ネットワークまたは他の記録媒体を介して、再生装置１に供給される場合、これらのプログラムは、所定の記録媒体を再生する場合に利用されるプログラムとして（例えば、記録媒体を特定する情報を含んで）、再生装置１に供給され、記憶される。
本実施の形態では、PlayListの中で、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに並行（並列）して、１つ以上のSub Pathの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られる再生パスをサブパス（Sub Path）と称する。すなわち、再生装置（図２９を参照して後述する）内部のローカルストレージ上の、または、装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて（合わせて）再生されるサブパス(Sub Path)をPlayListの中に持つことが可能である。
図５は、メインパスとサブパスの構造を説明する図である。PlayListは、１つのメインパスと１つ以上のサブパスを持つことができる。１つのメインパスは、１つ以上のPlayItemの並びによって作られ、１つのサブパスは、１つ以上のSubPlayItemの並びによって作られる。
図５の例の場合、PlayListは、３つのPlayItemの並びにより作られる１つのメインパスと、３つのサブパスを有している。メインパスを構成するPlayItemには、先頭から順番にそれぞれＩＤ（Identification）が付されている。具体的には、メインパスは、PlayItem_id＝０、PlayItem_id＝１、およびPlayItem_id＝２のPlayItemからなる。また、サブパスにも先頭から順番にSubpath_id＝０、Subpath_id＝１、およびSubpath_id＝２、とそれぞれＩＤが付されている。Subpath_id＝０のサブパスには、１つのSubPlayItemが含まれ、Subpath_id＝１のサブパスには、２つのSubPlayItemが含まれ、Subpath_id＝２のサブパスには、１つのSubPlayItemが含まれる。
Subpath_id＝０のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、Mainpathにより参照されるＡＶストリームファイルのオーディオストリームに替えて再生される場合が考えられる。また、Subpath_id＝１のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画のディレクターズカットと想定され、Main Pathにより参照されるＡＶストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合が考えられる。
１つのPlayItemが参照するClip ＡＶストリームファイルには、少なくともビデオストリームデータ（メイン画像データ）が含まれる。また、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリーム（メイン画像データ）と同じタイミングで（同期して）再生されるオーディオストリームが１つ以上含まれてもよいし、含まれなくてもよい。さらに、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリーム（Presentation Graphic stream）が１つ以上含まれてもよいし、含まれなくてもよい。また、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが１つ以上含まれてもよいし、含まれなくてもよい。そして、Clip ＡＶストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。すなわち、１つのPlayItemが参照するClip ＡＶストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される０個以上のオーディオストリーム、０個以上のビットマップ字幕ストリームデータ、および０個以上のインタラクティブグラフィックスストリームデータとが多重化されている。
すなわち、１つのPlayItemが参照するClip ＡＶストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリームファイル、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。
また、１つのSubPlayItemは、PlayItemが参照するClip ＡＶストリームファイルとは異なるストリーム（別ストリーム）の、ビデオストリーム、オーディオストリーム、または、字幕データなどを参照する。
メインパスのみを有するPlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中から音声や字幕を選択することのみが可能である。これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClip ＡＶストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリーム、または、サブパスのストリームとして用意された所定のメニューのデータ（GUI表示画面データ）を選択して再生させることができる。
このように、１つのPlayListの中にSubPathを複数含め、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いＡＶストリームを実現することができる。すなわち、MainPathで参照されるClip ＡＶストリームに加えて、後で、SubPlayItemを追加できる構成とすることができる。
図６は、メインパスとサブパスの例を説明する図である。図６においては、メインパスと同じタイミングで（ＡＶ同期して）再生されるオーディオの再生パスを、サブパスを使用して表している。
図６のPlayListには、メインパスとして、PlayItem_id＝０である１つのPlayItemと、サブパスとして１つのSubPlayItemが含まれている。メインパスのPlayItem_id＝０である１つのPlayItem()は、メインClipＡＶストリームを参照している。SubPlayItem()には、以下に示すデータが含まれる。まず、SubPlayItem ()には、PlayListの中のSub Path（サブパス）が参照するClipを指定するためのClip_Information_file_nameが含まれる。図６の例の場合、SubPlayItemによって、SubClip_entry_id＝０のAuxiliary audio stream（オーディオストリーム）が参照されている。また、SubPlayItem ()には、Clip（ここでは、Auxiliary audio stream）の中のSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeとが含まれる。さらに、SubPlayItem()には、Main pathの時間軸上でSub Pathが再生開始する時刻を指定するためのsync_PlayItem_idとsync_start_PTS_of_PlayItemとが含まれる。図６の例の場合、sync_PlayItem_id＝０とされ、sync_start_PTS_of_PlayItem＝ｔ１とされている。これにより、メインパスのPlayItem_id＝０の時間軸上でSub Pathが再生を開始する時刻ｔ１を指定することができる。すなわち、図６の例の場合では、メインパスの再生開始時刻ｔ１とサブパスの開始時刻ｔ１が同時刻であることを示している。
ここで、Sub Pathに参照されるオーディオのClip AVストリームは、STC不連続点（システムタイムベースの不連続点）を含んではならない。
また、SubPlayItem（）に含まれる情報（Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報）に基づいて、メインパスが参照するClip ＡＶストリーム（主に再生されるメインＡＶストリーム）とは異なるClip ＡＶストリームのオーディオストリームを参照して、再生することができる。
このように、PlayItemとSubPlayItemは、Clip ＡＶストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClip ＡＶストリームファイル（メインＡＶストリーム）とSubPlayItemが管理するClip ＡＶストリームファイルは同一のファイルに多重化されていても良いし、異なるファイルとしてもよい。
なお、図６の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。
図７は、メインパスとサブパスの別の例を説明する図である。図７においては、メインパスと同じタイミングで（ＡＶ同期して）再生されるオーディオの再生パスを、サブパスを使用して表している。ここで、メインパスのPlayItemが参照するメインClipＡＶストリームファイルは、図６と同様であるので省略している。
例えば、メインパスにより参照されるClipＡＶストリームを１つの映画のコンテンツ（ＡＶコンテンツ）とし、サブパスのオーディオパスにより参照されるAuxiliary audio stream（Clip）をその映画に対する監督のコメントとし、メインパスで参照されるClipＡＶストリームのオーディオストリームにサブパスのオーディオパスで参照されるAuxiliary audio streamをミキシング（重ねて）再生するような場合に、このような構成が利用される。すなわち、図7に示されるメインパスとサブパスの構成は、ユーザが、映画を見ながら、その映画に対する監督のコメントを合わせて聞く指令を再生装置（プレーヤ）へ入力した場合、換言すれば、メインパスで参照されるClipＡＶストリームの音声と、サブパスのオーディオパスで参照されるAuxiliary audio streamとを、ミキシングして再生させる場合に利用される。
図７においては、メインパスに３つのPlayItemがPlayItem_id＝０，１，２と配置され、サブパス（Subpath_id＝０）に２つのSubPlayItemが配置されている。そして、Subpath_id＝０のSubPath（図２６にて後述する）で呼び出すSubPlayItem（図２８にて後述する）は、Auxiliary audio stream（SubClip_entry_id＝０の英語のAuxiliary audio streamのクリップ及びSubClip_entry_id＝１の日本語のAuxiliary audio streamのクリップ）のSubpathの再生区間を指定するための、SubPlayItem_IN_timeと、SubPlayItem_out_timeを含む。
図７と図６とを比較するに、図７においては、SubPlayItemによって、SubClip_entry_id＝０，１のAuxiliary audio stream（英語または日本語のオーディオストリーム）を参照することができる。すなわち、SubPlayItemを用いて、複数のオーディオストリームファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のオーディオストリームファイルからオーディオストリームファイルが選ばれて再生される。図７の例の場合、英語のオーディオストリームファイルと日本語のオーディオストリームファイルのうち、１つのオーディオストリームファイルが選ばれて再生される。具体的には、subClip_entry_id＝０，１の中から（例えば、ユーザの指令に基づいて）１つが選択され、そのＩＤが参照するAuxiliary audio streamが再生される。また、これに加えて、さらにメインパスにより参照されるオーディオストリームとの組み合わせによる再生が選択された場合、メインパスで参照される１stオーディオストリームと、サブパスのオーディオパスで参照される２ndオーディオストリームファイルとが、ミキシングされて再生される。なお、２つのサブパスで参照される２つのオーディオストリームが、ミキシングされて再生されるようにすることも可能であるが、これについては後述する。
次に、図５乃至図７を用いて説明したメインパスとサブパスの構造を具体的に実現するためのデータ構造（シンタクス）を説明する。
図８は、再生装置において再生可能なデータファイルのファイルシステムの例を示す図である。図８には、一例として、再生装置において再生可能なデータファイルが光ディスクなどの記録媒体によって供給されている場合を示しており、このファイルシステムはディレクトリ構造を有している。
このファイルシステムにおいて、「root」の下には「BDMV」の名前が設定されたディレクトリが用意され、そのディレクトリに、「Index.bdmv」の名前が設定されたファイルと、「NavigationObject.bdmv」の名前が設定されたファイルが格納されている。以下、適宜、これらのファイルをそれぞれIndexファイル、NavigationObjectファイルと称する。また、適宜、各ファイルについては、「ファイル名」に「ファイル」を付加した形で、または、各ディレクトリについては、「ディレクトリ名」に「ディレクトリ」を付加した形で称する。
Indexファイルは、インデックステーブルが記載されたファイルであり、再生装置において再生可能なデータファイルを再生するメニューに関する情報を含む。再生装置は、例えば、再生装置において再生可能なデータファイルに含まれるコンテンツを全て再生する、特定のチャプタのみ再生する、繰り返し再生する、初期メニューを表示するなどの内容の項目を含む再生メニュー画面をIndexファイルに基づいて、表示装置に表示させる。Indexファイルのインデックステーブルには各項目が選択されたときに実行するNavigationObjectを設定することができ、ユーザにより再生メニュー画面から１つの項目が選択された場合、再生装置はIndexファイルのインデックステーブルに設定されているNavigationObjectのコマンドを実行する。
NavigationObjectファイルは、NavigationObjectを含むファイルである。NavigationObjectは、再生装置において再生可能なデータファイルに含まれているPlayListの再生を制御するコマンドなどの、比較的簡単なコマンドを含み、例えば、再生装置のコントローラは、このファイルシステムに含まれているNavigationObjectの中から１つを選択して、実行することにより、コンテンツを再生させることができる。
BDMVディレクトリにはまた、「BACKUP」の名前が設定されたディレクトリ（BACKUPディレクトリ）、「PLAYLIST」の名前が設定されたディレクトリ（PLAYLISTディレクトリ）、「BDJO」の名前が設定されたディレクトリ（BDJOディレクトリ）、「CLIPINF」の名前が設定されたディレクトリ（CLIPINFディレクトリ）、「STREAM」の名前が設定されたディレクトリ（STREAMディレクトリ）、「AUXDATA」の名前が設定されたディレクトリ（AUXDATAディレクトリ）が設けられている。
BACKUPディレクトリには、再生装置において再生可能なファイルやデータをバックアップするためのファイルやデータが記録される。
PLAYLISTディレクトリには、PlayListファイルが格納される。各PlayListファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.mpls」を付加した名称が命名される。
BDJOディレクトリには、例えば、所定のGUI表示画面データの生成(描画)など、再生装置において実行可能なプログラムが記載されたプログラムファイルが格納されている。これらのプログラムファイルには、所定のファイル名に、例えば、拡張子「.bdjo」を付加した名称(例えば、「××××.bdjo」)が命名される。
CLIPINFディレクトリには、Clip Informationファイルが格納される。各Clip Informationファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.clpi」を付加した名称が命名される。
STREAMディレクトリには、Clip ＡＶストリームファイルやサブストリームファイルが格納される。各ストリームファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.m2ts」を付加した名称が命名される。
AUXDATAディレクトリには、Clip ＡＶストリームファイルやサブストリームファイルに含まれずに、Clip ＡＶストリームファイルやサブストリームファイルから参照されるデータや、Clip ＡＶストリームファイルやサブストリームファイルとは独立して利用されるデータなどのファイルが格納される。図８の例においては、AUXDATAディレクトリには、「11111.otf」の名前がつけられている字幕のフォントのファイル、「sound.bdmv」の名前が設定された効果音などのサウンドデータが格納されている。
以下、主に再生出力される音声データをプライマリオーディオストリーム(Primary audio stream)と称し、例えば、ユーザの操作入力に対応して発生するクリック音や効果音など、上述したAUXDATAディレクトリにsound.bdmvとして記載されている音声データをサウンドデータと称するものとする。サウンドデータはプライマリオーディオストリームに合成可能である。また、プライマリオーディオストリームとは別のストリームであって、例えば、副音声など、プライマリオーディオストリームに合成可能な音声データをセカンダリオーディオストリームと称するものとする。なお、プライマリオーディオストリームとは別のストリームであって、プライマリオーディオストリームに合成可能な音声データはであるセカンダリオーディオストリームは複数存在してもよく、その場合、例えば、異なるIDを用いて、それぞれ、区別可能なようにすればよい。
また、再生装置において再生可能なデータファイルが光ディスクによって配布されている場合、例えば、製作会社や映画の配給会社など、このコンテンツ製作元や、または、この記録媒体の供給元であるタイトルオーサを識別するために各タイトルオーサに割り当てられた識別子であるauthor_id、および、author_idに示されるタイトルオーサにおいて製作された光ディスクの種類を識別するために割り当てられた識別子であるdisc_idが、ユーザなどにより書き換えることができないセキュアな電子データとして、または、物理的にピットによって記録されている。
また、再生装置において再生可能なデータファイルが光ディスク以外のリムーバブルな記録媒体に記録されている場合や、ネットワークを介してダウンロードされている場合も、author_id、および、author_idに相当するidが割り当てられてそれぞれ区別可能なようになされ、図８に示す場合と同様のディレクトリ構造を有していると好適である。また、再生装置において再生可能なデータファイルには、author_id、および、author_idに相当するidが割り当てられていないとしても、図８を用いて説明した場合と同様に、「Index.bdmv」の名前が設定されたファイル、「NavigationObject.bdmv」の名前が設定されたファイルが含まれており、「BACKUP」の名前が設定されたファイル群、「PLAYLIST」の名前が設定されたファイル群、BDJOディレクトリに格納されるプログラムファイルに対応するプログラムファイル群、「CLIPINF」の名前が設定されたファイル群、「STREAM」の名前が設定されたファイル群、「AUXDATA」の名前が設定されたファイル群のうち、適宜必要なファイル群が含まれている。
Indexファイル（Index.bdmv）のシンタクスを図９に示す。
Type_indicatorは、ＩＳＯ６４６に基づいて符号化された"ＩＮＤＸ"の値が記述されるフィールドである。
version_numberは、Index.bdmvのバージョンナンバを示す４文字の文字列であり、ＩＳＯ６４６に基づいて符号化された"００８９"の値が記述される。
Indexes_start_addressは、Indexes（）ブロックのスタートアドレスが記載されるフィールドである。
AppInfoBDMV（）には、このIndexファイルを含むデータファイルの供給元を示す、個別の識別子などが記載されている。
Indexes（）には、例えば、メニューを読み出したり、タイトルを検索したり、所定のタイトルにジャンプしたり、または、このIndexファイルを含むデータファイルが記録されている光ディスクなどの記録媒体が再生装置に装着された場合に自動的に起動する処理を実行するアプリケーション（NavigationObject）とのリンクが記載されている。Indexes（）のシンタクスについては、図１０を用いて後述する。
Padding_wordは、Index.bdmvのシンタクスに基づいて挿入されるものであり、０または正の整数で表される。
Indexes（）のシンタクスの例を、図１０に示す。
lengthは、Indexes（）に何バイトの情報が記載されているかを表すフィールドである。
FirstPlaybackは、このファイルシステムのデータが再生される場合に最初に実行されるNavigationObjectに関する情報が含まれているデータブロックである。具体的には、このファイルシステムのデータが記録された光ディスクなどの記録媒体が再生装置に装着されたときに最初に自動的に実行されるNavigationObjectに関する情報が含まれているデータブロックである。
FirstPlayback_mobj_id_refは、最初に実行されるNavigationObjectのmobj_idの値を指定するためのフィールドである。mobj_idは、NavigationObjectがそれぞれ固有に与えられているＩＤである。また、再生開始時に自動的に実行されるNavigationObjectが設定されない場合、すなわち、再生開始時にはアプリケーションはいずれも実行されず、ユーザによる指令を受けて、いずれかのアプリケーションが実行されるようになされている場合、このフィールドには、"0Xffff"が記載される。
TopMenu（）は、ユーザがメニュー画面を表示させる場合などに呼び出されるTopMenuのNavigationObjectに関する情報が含まれているデータブロックである。
TopMenu_mobj_id_refは、TopMenuのNavigationObjectのmobj_idの値を指定するためのフィールドである。TopMenuが設定されない場合、このフィールドには、"0xFFFF"が記載される。
number_of_Titlesは、Indexes（）に記載されているタイトルの数を表すフィールドである。
Title[title_id]（）は、title_idによって固有に区別されているそれぞれのタイトルに関する情報が記載されるブロックである。title_idは０から割り当てられる。
Title_playback_type[title_id]は、そのtitle_idによって指定されるタイトルの再生タイプを示す情報であり、例えば、再生される動画と音声による一般的なコンテンツであるMovie Titleか、ユーザの操作入力によって再生される動画や音声が変更されるなどの双方向のやり取りが可能なコンテンツであるInteractive Titleなどのタイプが示される。例えば、そのタイトルがMovie Titleである場合、PlayListに基づいた再生処理が実行される。
Title_access_type[title_id]は、そのtitle_idによって指定されるタイトルが、Title_Searchを用いて再生することが許可されているか否かを示す情報である。
reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている２９ビットのフィールドである。
Title_mobj_id_ref[title_id]は、そのtitle_idによって指定されるタイトルがエントリーされているNavigationObjectのmobj_idの値を指定するためのフィールドである。
図１１に、PlayListファイルのデータ構造を示す。PlayListファイルは、再生装置に装着された記録媒体、または、再生装置内部の記憶部（例えば、ハードディスクなどからなるローカルストレージ）において、PLAYLISTディレクトリに格納される、拡張子「.mpls」を有するデータファイルである。
type_indicatorは、このファイルの種類を示す情報が記載されているものである。すなわち、このフィールドには、このファイルの種類が映像の再生を管理する再生管理情報であるPlayList（MoviePlayList）であることを示す情報が記載される。
version_numberは、このxxxx.mpls（MoviePlayList）のバージョンナンバを示す４個のキャラクター文字を示すものである。
PlayList_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayList()の先頭アドレスを示すものである。
PlayListMark_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayListMark()の先頭アドレスを示すものである。
ExtensionData_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、ExtensionData()の先頭アドレスを示すものである。
AppInfoPlayList()には、例えば、再生制限など、PlayListの再生コントロールに関するパラメータが格納されている。AppInfoPlayList()の詳細は、図１２を用いて後述する。
PlayList()には、PlayListのメインパスやサブパスなどに関するパラメータが格納されている。PlayList()の詳細は、図１３を用いて後述する。
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプなどを指令するユーザオペレーションまたはコマンドなどにおけるジャンプ先（ジャンプポイント）であるマークに関する情報が格納されている。
ExtensionData()には、プライベートデータが挿入できるようになっている。
次に、図１２を参照して、AppInfoPlayList()のシンタクスについて説明する。
lengthは、length以下のシンタクスの長さ、すなわち、このlengthフィールドの直後からreserved_for_future_useの最後までのAppInfoPlayList()のバイト数を示すものである。このlengthの後には、８ビットのreserved_for_future_useが用意される。
PlayList_playback_typeは、連続再生、ランダムアクセス、シャッフルのいずれの再生を行うPlayListであるかを示す情報を記載するフィールドである。
Playback_countは、ランダムアクセス、シャッフルを行うPlayListの場合、再生に用いるPlayItemの数を示す情報を記載するフィールドである。
そして、UO_mask_table()は、一時停止、チャプタサーチ、ジャンプ、早送り、早戻し（後方高速再生）等の特殊再生、または、表示等に関するユーザ操作の制限を決める情報である。
そして、PlayList_random_access_flagは、他のPlayListからのジャンプ再生を制御するためのフラグ情報である。ここでは、PlayList_random_access_flag＝１に設定されている場合、他のPlayListからのジャンプ再生を禁止するものとする。
例えば、再生装置においては、例えば、現在のPlayListにより参照されている再生位置から、他のPlayListにより参照される所定のPlayItemの先頭またはチャプタの位置への再生位置のジャンプを指令するユーザオペレーションなど、装置独自で拡張的なユーザオペレーションを用意することができる。PlayList_random_access_flagは、例えば、これらのユーザオペレーションにより、他のPlayListによって参照されるClip AV Streamのある再生位置から、このPlayListによって参照されるClip AV Streamへのジャンプ（再生位置の移動）が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。
なお、ユーザオペレーションによりジャンプ（再生位置の移動）が指令されるのではなく、ナビゲーションコマンドによりジャンプ（再生位置の移動）が指令された場合、PlayList_random_access_flagは無視される（コマンドは実行され、コマンドの発生に伴って、再生位置が移動される）。
is_MixAppは、このPlayListファイルにより再生されるストリームが音声や効果音の合成を行うか否かのフラグである。すなわち、このis_MixAppは、このPlayListにより参照されるデータに、プライマリオーディオストリームに合成され得るサウンドデータまたはセカンダリオーディオストリームが含まれているか否かを示すフラグとして定義されている。この1つのフラグを確認することのみにより、オーディオデータの合成が行われるか否かを、迅速に認識することが可能となる。
また、Lossless_may_bypass_mixer_flagは、ロスレスの音声の再生に関するフラグである。この後には、１３ビットのreserved_for_future_useが用意される。
次に、図１３は、PlayList()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからPlayListの最後までのバイト数を示すフィールドである。このlengthの後には、１６ビットのreserved_for_future_useが用意される。reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている。number_of_PlayItemsは、PlayListの中にあるPlayItemの数を示す１６ビットのフィールドである。例えば、図５の例の場合PlayItemの数は３個である。PlayItem_idの値は、PlayListの中でPlayItem()が現れる順番に０から割り振られる。例えば、図５に示されるように、PlayItem_id＝０，１，２が割り振られる。
number_of_SubPathsは、PlayListの中にあるSubPathの数（エントリー数）を示す１６ビットのフィールドである。例えば、図５の例の場合、Sub Pathの数は３個である。SubPath_idの値は、PlayListの中でSubPath()が現れる順番に０から割り振られる。例えば、図５に示されるように、Subpath_id＝０，１，２が割り振られる。その後のfor文では、PlayItemの数だけPlayItemが参照され、Sub Pathの数だけ、Sub Pathが参照される。
次に、図１４を参照して、PlayItem()のシンタクスについて説明する。
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す１６ビットの符号なし整数である。Clip_Information_file_ name[0]は、PlayItemが参照するClipを指定するためのフィールドである。図１４の例の場合、Clip_Information_file_ name[0]により、メインClipＡＶストリームファイルが参照される。また、PlayItem()には、Clipのコーディック方式を指定するClip_codec_identifier［0］、将来の拡張に備えるためにデータの記述内容が未設定とされているreserved_for_future_use、マルチアングル再生に対応しているか否かを示すフラグであるis_multi_angle、接続状態に関する情報であるconnection_condition、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id［0］が含まれる。さらに、PlayItem()には、Clipの中のPlayItemの再生区間を指定するためのIN_timeとOUT_timeが含まれる。図１４の例の場合、IN_timeとOUT_timeにより、メインClipＡＶストリームファイルの再生範囲が表される。
また、PlayItem()には、ユーザ入力の受付制限をするUO_mask_table()、他のPlayItemからのジャンプ再生を制御するPlayItem_random_access_flagが含まれる。
図１４に示される、PlayItem()のUO_mask_table()には、このPlayItemを参照してClip AV Streamが再生されているときに操作入力される各種のユーザオペレーションについて、それぞれ許可するか否かが設定されている。
そして、図１４に示される、PlayItem()のPlayItem_random_access_flagは、ユーザオペレーションにより、他のPlayItemによって参照されるClip AV Streamのある再生位置から、このPlayItemによって参照されるClip AV Streamへのジャンプ（再生位置の移動）が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。ここでは、PlayItem_random_access_flag＝１に設定されている場合、他のPlayItemからのジャンプ再生を禁止するものとする。このフラグについての詳細な説明は後述する。
なお、ユーザオペレーションによりジャンプ（再生位置の移動）が指令されるのではなく、ナビゲーションコマンドによりジャンプ（再生位置の移動）が指令された場合、PlayItem_random_access_flagは無視される（コマンドは実行され、コマンドの発生に伴って、再生位置が移動される）。
さらに、PlayItem()には、最後に表示をした映像を静止画として表示をさせるか否かを示すstill_modeが含まれる。なお、is_multi_angleが複数ある場合(is_multi_angle==1)については、本発明と直接的には関係ないのでその説明を省略する。
そして、STN_table()は、対象のPlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、例えば、音声切り替えや字幕切り替え、または、子画面の表示非表示の選択を指令するユーザの操作入力、または、アプリケーションによるコマンドの発生などによって、そのPlayItemが参照するClipとこれらの１つ以上のSubPathが参照するClipの中から、再生されるストリームを選択することができる仕組みを提供するための情報である。
例えば、PlayItem()とそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるビデオストリームをプライマリビデオストリーム(Primary video stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるビデオストリームをセカンダリビデオストリーム(secondary video stream)としたり、または、PlayItemが参照するClip（メインClip）に含まれるビデオストリームのうちの２つのビデオストリームを、それぞれプライマリビデオストリームとセカンダリビデオストリームとして、これらをミキシングして、全画面(プライマリビデオストリーム)と子画面(セカンダリビデオストリーム)で再生することができる仕組みを提供するようにした。このような手法は、ピクチャインピクチャ(Picture in Picture)手法と称される。
また、同様にして、例えば、PlayItem()とそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるオーディオストリームをプライマリオーディオストリーム(Primary audio stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるオーディオストリームをセカンダリオーディオストリーム(secondary audio stream)としたり、または、PlayItemが参照するClip（メインClip）に含まれるオーディオストリームのうちの２つのオーディオストリームを、それぞれプライマリオーディオストリームとセカンダリオーディオストリームとして、これらをミキシングして再生することができる仕組みを提供するようにした。
そして、プライマリビデオストリームと同時に再生され得るストリームとして、ここでは、次の第１乃至第４の種類のストリームが用意される。
第１の種類のストリームとは、STN_tableにおいてPrimary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したプライマリオーディオストリームである。
第２の種類のストリームとは、STN_tableにおいてSecondary_video_stream_idで定義されるビデオストリーム、すなわち、上述したセカンダリビデオストリームである。
第３の種類のストリームとは、STN_tableにおいてSecondary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したセカンダリオーディオストリームである。
第４の種類のストリームとは、サブパスで参照されるテキスト字幕ストリーム(txtST)や、DVDのサブピクチャ、または、所定のGUI表示画面のようなビットマップデータをランレングス符号化したストリーム（PG, Presentation Graphics stream）等であり、STN_tableにおいて、PG_txtST_stream_id、IG_stream_idで定義される。
STN_table()は、これらのストリームの組み合わせを定義する情報である。
次に、図１５および図１６を用いて、STN_table()のシンタクスについて説明する。
このSTN_table()は、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義するにあたって、特に、セカンダリオーディオストリームとプライマリオーディオストリームとの組み合わせ、セカンダリビデオストリームとセカンダリオーディオストリームとの組み合わせ、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のプレゼンテーショングラフィックス（ＰＧ）またはテキスト字幕の組み合わせを定義する。
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す１６ビットの符号なし整数である。lengthの後には、１６ビットのreserved_for_future_useが用意される。
number_of_primary_video_stream_entriesは、STN_table()の中でエントリーされる（登録される）primary_video_stream_idが与えられるストリーム数を示す。primary_video_stream_idは、ビデオストリームを識別するための情報であり、primary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。
number_of_primary_audio_stream_entriesは、STN_table()の中でエントリーされるprimary_audio_stream_idが与えられるストリーム数を示す。primary_audio_stream_idは、オーディオストリームを識別するための情報であり、primary_audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。
number_of_PG_txtST_stream_entriesは、STN_table()の中でエントリーされるPG_txtST_stream_idが与えられるストリーム数を示す。この中では、DVDのサブピクチャ、または、所定のGUI表示画面のようなビットマップデータをランレングス符号化したストリーム（PG, Presentation Graphics stream）とテキスト字幕ファイル(txtST)がエントリーされる。PG_txtST_stream_idは、字幕ストリームを識別するための情報であり、PG_txtST_stream_numberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号（テキストサブタイトルストリームの番号）である。
number_of_IG_stream_entriesは、STN_table()の中でエントリーされる IG_stream_idが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリーム（IG）がエントリーされる。IG_stream_idは、インタラクティブグラフィックスストリームを識別するための情報であり、IG_stream_numberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。
なお、インタラクティブグラフィックスストリームにより再生されるインタラクティブグラフィックメニュー（Interactive graphics presentation menu）は、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムを含ませることができる。インタラクティブグラフィックメニューには、ユーザによるON/OFFの操作入力を基に、インタラクティブグラフィックを表示させたり、表示を取り消したりすることが可能な“Pop-up menu”と、インタラクティブグラフィックが常時表示される“Always-on”の２種類の表示方法が用意されている。
number_of_secondary_audio_stream_entriesは、STN_table()の中でエントリーされる（登録される）secondary_audio_stream_idが与えられるストリーム数を示す。secondary_audio_stream_idは、オーディオストリームを識別するための情報であり、secondary_audio_stream_numberは、オーディオ切り替えに使われる、ユーザから見えるオーディオストリーム番号である。
number_of_secondary_video_stream_entriesは、STN_table()の中でエントリーされる（登録される）secondary_video_stream_idが与えられるストリーム数を示す。secondary_video_stream_idは、ビデオストリームを識別するための情報であり、secondary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。
そして、number_of_PiP_PG_textST_stream_entries_plusは、STN_table()の中でエントリーされる（登録される）ピクチャインピクチャ用の字幕ストリーム（PiP_PG_textST_stream）のストリーム数を示す。
プライマリビデオストリームＩＤ (primary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのビデオエレメンタリストリームに、０からprimary_video_stream_idが与えられる。なお、プライマリビデオストリームＩＤ（primary_video_stream_id）の代わりに、プライマリビデオストリーム番号（primary_video_stream_number）を用いるようにしてもよい。この場合、primary_video_stream_numberは、０ではなく１から与えられる。すなわち、primary_video_stream_idの値に１を加算したものがprimary_video_stream_numberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、１から定義される。
それぞれのforループの中のstream_entry（）については、図１７を用いて後述する。
また、それぞれのforループの中のstream_attribute()は、stream_entry()ごとに特定される１つのエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される１つのエレメンタリストリームのストリーム属性情報が記述されている。stream_attribute（）については、図１８を用いて後述する。
また、同様に、プライマリオーディオストリームＩＤ (primary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からprimary_audio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、プライマリオーディオストリームＩＤ（primary_audio_stream_id）の代わりに、プライマリオーディオストリーム番号（primary_audio_stream_number）を用いるようにしてもよい。この場合、primary_audio_stream_numberは、０ではなく１から与えられる。すなわち、primary_audio_stream_idの値に１を加算したものがprimary_audio_stream_numberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、１から定義される。
同様に、字幕ストリームＩＤ (PG_txtST_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、０からPG_txtST_stream_idが与えられる。また、PiP_ PG_txtST_streamについても、同様にして、連続したIDが与えられる。ビデオストリームの場合と同様に、字幕ストリームＩＤ（PG_txtST_stream_id）の代わりに、字幕ストリーム番号（PG_txtST_stream_number）を用いるようにしてもよい。この場合、PG_txtST_stream_numberは、０ではなく１から与えられる。すなわち、PG_txtST_stream_idの値に１を加算したものがPG_txtST_stream_numberである。字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号（テキストサブタイトルストリームの番号）であるので、１から定義される。
同様に、グラフィックスストリームＩＤ (IG_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのインタラクティブグラフィックスエレメンタリストリームに、０からIG_stream_idが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリームＩＤ（IG_stream_id）の代わりに、グラフィックスストリーム番号（IG_stream_number）を用いるようにしてもよい。この場合、IG_stream_numberは、０ではなく１から与えられる。すなわち、IG_stream_idの値に１を加算したものがIG_stream_numberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、１から定義される。
また、同様に、セカンダリオーディオストリームＩＤ (secondary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からsecondary_audio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、セカンダリオーディオストリームＩＤ（secondary_audio_stream_id）の代わりに、セカンダリオーディオストリーム番号（secondary_audio_stream_number）を用いるようにしてもよい。この場合、secondary_audio_stream_numberは、０ではなく１から与えられる。すなわち、secondary_audio_stream_idの値に１を加算したものがsecondary_audio_stream_numberである。セカンダリオーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリオーディオストリーム番号であるので、１から定義される。
そして、comb_info_Secondary_audio_Primary_audio()のブロックは、セカンダリオーディオとプライマリオーディオの組み合わせを示す。
comb_info_Secondary_audio_Primary_audio()のブロック内において、number_of_primary_audio_stream_ref_entriesの８ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームの数を示す。そして、primary_audio_stream_id_refの８ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームのIDを示す。
また、同様に、セカンダリビデオストリームＩＤ (secondary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からsecondary_video_stream_idが与えられる。なお、ビデオストリームの場合と同様に、セカンダリビデオストリームＩＤ（secondary_video_stream_id）の代わりに、セカンダリビデオストリーム番号（secondary_video_stream_number）を用いるようにしてもよい。この場合、secondary_video_stream_numberは、０ではなく１から与えられる。すなわち、secondary_video_stream_idの値に１を加算したものがsecondary_video_stream_numberである。セカンダリビデオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリビデオストリーム番号であるので、１から定義される。
次に、comb_info_Secondary_video_Secondary_audio()のブロックは、セカンダリビデオストリームとセカンダリオーディオストリームの組み合わせを示す。
comb_info_Secondary_video_Secondary_audio()のブロック内において、number_of_Secondary_audio_stream_ref_entriesの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームの数を示す。そして、Secondary_audio_stream_id_refの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームのIDを示す。
そして、comb_info_Secondary_video_PiP_PG_textST()のブロックは、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームの組み合わせを示す。
comb_info_Secondary_video_PiP_PG_textST()のブロック内において、number_of_PiP_PG_textST_ref_entriesの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るPIPアプリケーション用のPG・テキスト字幕のストリームの数を示す。また、PiP_PG_textST_stream_id_refの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームのIDを示す。
このようなSTN_tableを用いることにより、プライマリビデオストリームと同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリーム（PG TextSTストリーム）の組み合わせに加えて、ピクチャインピクチャアプリケーション用のPG・テキスト字幕ストリーム（PiP PG TextSTストリーム）の組み合わせとして矛盾するような組み合わせを選択することを防ぐようにすることができる。
図１７は、Stream_entry()のシンタクスを示す図である。
type＝１では、PlayItemによって参照されるClip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から１つのエレメンタリストリームを特定するために、１６ビットのパケットID(PID)が指定される。ref_to_stream_PID_of_mainClipが、このPIDを示している。すなわち、type＝１では、メインClipＡＶストリームファイルの中のPIDを指定するだけでストリームが決定される。
type＝２では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される１つのClip(SubClip)の複数のエレメンタリストリームの中から１つのエレメンタリストリームを特定するために、そのSubPathのSubPath_id、Clip id、およびパケットID(PID)が指定される。ref_to_SubPath_idがこのSubPath_idを示し、ref_to_SubClip_entry_idがこのClip idを示し、ref_to_stream_PID_of_SubClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。
このように、type（type１とtype２の２つのtype）を使うことで、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から１つのエレメンタリストリームを特定することができる。なお、type＝１はMain Pathが参照するClip（メインClip）を示しており、type＝２はSub Pathが参照するClip（サブClip）を示している。
そして、ｔｙｐｅ＝３は、対応するPlayItemにおいて、MainClipに含まれ、SubPathによって参照されるエレメンタリストリームを識別するためのものである。
すなわち、type＝３では、SubPathがMainPathと同じClipを参照し、換言すれば、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照している場合に、MainClipの複数のエレメンタリストリームの中から、SubPathによって参照される１つのエレメンタリストリームを再生時に特定するために、ref_to_stream_PID_of_MainClipにより、MainClipのパケットID(PID)が指定される。また、ref_to_SubPath_idによりSubPath_idが示され、このSubPath_idにより図９のPlayList()で定義されたSubPathが特定され、このSubpathから対応するSubPlayItem（図２８）が呼び出されることにより、エレメンタリストリームの再生時間（IN_time, OUT_time）等を把握することができるようになされている。
なお、type＝３、すなわち、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照するのは、図２７を用いて後述するSubPath_typeが、SubPath_type =７である場合である。
このように、type（type１乃至type３の３つのtype）を使うことで、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipが、さらに、SubPathから参照されている場合であっても、Clipの中から１つのエレメンタリストリームを特定することができる。
次に、stream_attribute()のシンタクスについて図１８を参照して説明する。
lengthは、このlengthフィールドの直後からstream_attribute()の最後までのバイト数を示す１６ビットの符号なし整数である。
stream_coding_typeは、図１９に示されるようにエレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、MPEG-2 video stream、HDMV LPCM audio、Dolby AC-3 audio、dts audio、Presentation graphics stream、Interactive graphics stream、およびText subtitle streamが記述される。なお、このstream_coding_typeを拡張し、MPEG−4 AVC、VC−1等の他のコーディックにより圧縮されたビデオストリームを扱えるようにしてもよい。
video_formatは、図２０に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、４８０ｉ、５７６ｉ、４８０ｐ、１０８０ｉ、７２０ｐ、および１０８０ｐが記述される。
frame_rateは、図２１に示されるように、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、２４０００／１００１、２４、２５、３００００／１００１、５０、および６００００／１００１が記述される。
aspect_ratioは、図２２に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、４：３ display aspect ratio、および１６：９ display aspect ratioが記述される。
audio_presentation_typeは、図２３に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、single mono channel、dual mono channel、stereo(2-channel)、およびmulti-channelが記述される。
sampling_frequencyは、図２４に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、４８ｋHz、および９６ｋHzが記述される。
audio_language_codeは、オーディオエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
PG_language_codeは、ビットマップ字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
IG_language_code、インタラクティブグラフィックスエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
textST_language_codeは、テキスト字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
character_codeは、図２５に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、Unicode V1.1(ISO 10646-1)、Shift JIS（Japanese）、KSC 5601-1987 including KSC 5653 for Roman character(Korean)、GB 18030-2000(Chinese)、GB2312(Chinese)、およびBIG５(Chinese)が記述される。
以下に、図１８のstream_attribute()のシンタクスについて、図１８と、図１９乃至図２５を用いて具体的な例を説明する。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がMPEG-2 video stream（図１９）である場合、stream_attribute()には、そのエレメンタリストリームのビデオフォーマット（図２０）、フレームレート（図２１）、およびアスペクト比情報（図２２）が含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がHDMV LPCM audio、Dolby AC-3 audio、またはdts audio（図１９）である場合、stream_attribute()には、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報（図２３）、サンプリング周波数（図２４）、および言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がPresentation graphics stream（図１９）である場合、stream_attribute()には、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がInteractive graphics stream（図１９）である場合、stream_attribute()には、そのインタラクティブグラフィックスエレメンタリストリームの言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がText subtitle stream（図１９）である場合、stream_attribute()には、そのテキスト字幕エレメンタリストリームのキャラクタコード（図２５）、言語コードが含まれる。
なお、これらの属性情報はこれに限定されない。
このように、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から、stream_entry()によって特定されたエレメンタリストリーム（type＝１とtype＝２の場合は１つ、type＝３の場合は２つ）の属性情報をstream_attribute()によって知ることができる。
再生装置は、この属性情報（stream_attribute()）を調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。
例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリームＩＤ (PG_txtST_stream_id)のforループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。
また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。この再生装置に対して、ユーザが副音声（すなわちSecondary audio）への切り替えまたは、主音声と副音声とのミキシング再生を指示した場合、再生装置は、副音声として用意されているオーディオストリームＩＤ (Audio stream id)のforループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。
さらに、例えば、メインパスにより参照される、ビデオストリームとオーディオストリームからなるＡＶストリーム（映画）を再生する場合、再生装置に対して、ユーザが音声の切り替えを指令し、サブパスにより参照されるオーディオストリーム（監督や出演者によるコメント）とのミキシング再生が指令された場合、再生装置は、メインパスにより参照される１stオーディオストリームに、さらに、サブパスにより参照される２ndオーディオストリームをミキシング（重畳）して、ビデオストリームとともに再生する。
また、例えば、ユーザが音声の切り替えを指令し、２つのサブパスにより参照される２つのオーディオストリームのミキシング再生が再生装置に対して指令された場合（図１６と図１７のシンタクスが用いられ、図１７のtypeがともに２とされているオーディオストリームＩＤに対応するオーディオストリームの再生が指令された場合）、再生装置は、２つのサブパスによりそれぞれ参照される２つのオーディオストリームをミキシング（重畳）して、ビデオストリームとともに再生する。
このようにして、PlayItem()の中にSTN_table()を設けることにより、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作により、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から再生されるストリームを選ぶことができる仕組みが提供されるので、再生するＡＶストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。
図２６は、SubPath()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub Path ()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからSubPath()の最後までのバイト数を示すフィールドである。このlengthの後には、８ビットのreserved_for_future_useが用意される。SubPath_typeは、SubPathのアプリケーション種類を示す８ビットのフィールドである。SubPath_typeは、例えば、Sub Pathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。このSubPath_typeの例については、図２７を参照して後述する。
SubPath_typeの後には、１５ビットのreserved_for_future_useが用意される。is_repeat_SubPathは、SubPathの再生方法を指定する１ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を１回だけ行うかを示すものである。例えば、メインＡＶストリームとサブパスが指定するClipに含まれるストリームとの再生タイミングが異なる場合（メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGM(バックグラウンドミュージック)として使う場合など）に利用される。
Is_repeat_SubPathの後には、８ビットのreserved_for_future_useが用意される。number_of_SubPlayItemsは、１つのSubPathの中にあるSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、number_of_SubPlayItemsは、図６のSubPath_id＝０のSubPlayItemは１個であり、SubPath_id＝１のSubPlayItemは２個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。
図２７は、SubPath_type（サブパスのタイプ）の例を説明する図である。
なお、「Out-of-mux」という記述は、サブパスで参照されるＥＳが含まれるＴＳと、メインパスで参照されるＥＳが含まれるＴＳとが異なっている場合のサブパスのタイプ（種類）、即ち、サブパスで参照されるＥＳが、メインパスで参照されるプレイアイテムが含まれるＴＳに多重化されていないサブパスのタイプ（種類）であることを示している。以下、かかる種類を、メインパスＴＳ非多重型のパスと称する。
そして、「In-mux」という記述は、サブパスで参照されるＥＳが含まれるＴＳと、メインパスで参照される１以上のＥＳが含まれるＴＳとが同一の場合のサブパスのタイプ（種類）、即ち、サブパスで参照されるＥＳが、メインパスで参照されるＥＳを含むＴＳに多重化されているサブパスのタイプ（種類）であることを示している。換言すれば、メインクリップに含まれるメインTSに、メインのClip AVストリームと、サブのClip AVストリームとが含まれている状態である。以下、かかる種類を、メインパスＴＳ多重型のパスと称する。
また、メインパスで参照されるＥＳとサブパスで参照されるＥＳとが非同期である場合、そのサブパスのタイプ（種類）を、以下、非同期型のパスと称する。一方、メインパスで参照されるＥＳとサブパスで参照されるＥＳとが同期する場合、そのサブパスのタイプ（種類）を、以下、同期型のパスと称する。
SubPath_type＝０，１は、reservedとされている。
SubPath_type＝２は、Audio presentation path of the Browsable slideshow（プラウザブルスライドショーのオーディオプレゼンテーションパス）とされている。例えば、SubPath_type＝２は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期である（非同期型のパスである）ことを示している。
SubPath_type＝３は、Interactive graphics presentation menu（インタラクティブグラフィックスのプレゼンテーションメニュー）とされている。例えば、SubPath_type＝３は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるインタラクティブグラフィックスのメニューと、プレイアイテムで参照されるメインパスとが非同期（非同期型のパスである）であることを示している。
SubPath_type＝４は、Text subtitle presentation path（テキスト字幕のプレゼンテーションパス）とされている。例えば、SubPath_type＝４は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期している（同期型のパスである）ことを示している。
SubPath_type＝５は、Out-of-mux and AV Synchronized type of one or more elementary streams path(Primary audio/PG/IG/Secondary audio path).Out of mux and AV synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。即ち、SubPath_type＝５は、メインパスＴＳ非多重型、かつ、同期型のパスであって、１本以上のＥＳ(Primary audio/PG/IG/Secondary audio)のパスや、ピクチャインピクチャプレゼンテーションパスとされている。
ここで、ピクチャインピクチャプレゼンテーションパスとは、ピクチャインピクチャ手法において、所定のプライマリビデオストリーム（メインパスで参照されるビデオストリーム）に対応して再生される、プライマリオーディオストリームストリーム、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームのうちの１以上のパス（そのようなサブパスのタイプ）であることをいう。
SubPath_type＝６は、Out-of-mux and AV non-Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。即ち、SubPath_type＝６は、メインパスＴＳ非多重型、かつ、非同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）とされている。
SubPath_type＝７は、In-mux type and AV Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。
即ち、SubPath_type＝７は、メインパスＴＳ多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）とされている。
そして、SubPath_type=8乃至255は予備(reserved)とされている。
図２８は、SubPlayItem(i)のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub playItem ()の最後までのバイト数を示す１６ビットの符号なし整数である。
図２８においては、SubPlayItemが１つのClip を参照する場合と、複数のClip を参照する場合に分けられている。
最初に、SubPlayItemが１つのClipを参照する場合について説明する。
SubPlayItemには、Clipを指定するためのClip_Information_file_ name[0]が含まれる。また、Clipのコーディック方式を指定するClip_codec_identifier［0］、reserved_for_future_use、マルチクリップの登録の有無を示すフラグであるis_multi_Clip_entries、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id［0］を含む。is_multi_Clip_entriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。また、Clipの中にあるSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。さらに、main pathの時間軸上でSub Pathが再生開始する時刻を指定するためsync_PlayItem_id と sync_start_PTS_of_PlayItemを含む。
このsync_PlayItem_id と sync_start_PTS_of_PlayItemは、上述したように、図６と図７の場合（メインＡＶストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが同じである場合）に使用され、メインＡＶストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが異なる場合（例えば、静止画により構成されるスライドショーのBGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合）には使用されない。また、SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。
次に、SubPlayItemが複数のClipを参照する場合（if（is_multi_Clip_entries＝＝１ｂ）である場合、すなわちマルチクリップの登録が行われている場合）について説明する。具体的には、図７に示されるように、SubPlayItemが複数のClip を参照する場合を示す。
num_of_Clip_entriesは、Clipの数を示しており、Clip_Information_file_name[SubClip_entry_id]の数が、Clip_Information_file_ name[0]を除く、Clipsを指定する。すなわち、Clip_Information_file_ name[0]を除く、Clip_Information_file_ name[１]、Clip_Information_file_ name[２]などのClipを指定する。また、SubPlayItemは、Clipのコーディック方式を指定するClip_codec_identifier[SubClip_entry_id]、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id[SubClip_entry_id]、およびreserved_for_future_useを含む。
なお、複数のClipの間で、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは共通して使われる。図７の例の場合、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubClip_entry_id＝０とSubClip_entry_id＝１との間で共通して使用されるものであり、選択されたSubClip_entry_idに対するText based subtitleがこのSubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemに基づいて再生される。
ここで、SubClip_entry_idの値は、SubPlayItemの中にあるClip_Information_file_name[SubClip_entry_id]が現れる順番に１から割り振られる。また、Clip_Information_file_ name[0]のSubClip_entry_idは０である。
次に、図２９は、図８乃至図２８を用いて説明したデータ構造を有するデータ、すなわち、上述したメインパスとサブパスを有するPlayListを再生する再生装置１の構成を示すブロック図である。
コントローラ２１は、予め用意されている制御プログラムを実行するか、または、ストレージドライブ２２を制御して、例えば、光ディスクなどの記録媒体１１に記録されている、または、ローカルストレージ２４に記録されているナビゲーションプログラムを読み出し、メモリ２３に展開して実行することで、再生装置１の全体の動作を制御する。例えば、コントローラ２１は、記録媒体１１が装着されたとき、または、所定の操作入力を受けた場合、所定のメニュー画面（ＧＵＩ表示画面）を外部の表示装置に表示させることができる。
すなわち、コントローラ２１は、光ディスクなどの記録媒体１１、または、ローカルストレージ２４に記録されているコンテンツ(PlayListおよびAVストリームなどで構成されたコンテンツ)に含まれる、PG（プレゼンテーショングラフィックス）またはIG（インタラクティブグラフィックス）を用いて、所定のメニュー画面（ＧＵＩ表示画面）の外部の表示装置への表示を制御することができ、更に、記録媒体１１、または、ローカルストレージ２４に記録されているコンテンツのデータとともに記録されている所定のプログラムファイル(上述したBDJOディレクトリに格納されているプログラムファイル)に記載されているプログラムを実行することにより、GUI表示画面に対応する画像データを描画して、外部の表示装置に表示させることも可能である。GUI表示画面の例については、図３５乃至図３８を用いて後述する。
ストレージドライブ２２は、コントローラ２１による制御に従って記録媒体１１からデータを読み出し、読み出したデータを、コントローラ２１、メモリ２３、または、ＡＶデコーダ部２６に出力する。記録媒体１１から読み出された情報が、ナビゲーションプログラムやPlayListなどであった場合、ストレージドライブ２２により読み出された情報は、コントローラ２１、または、メモリ２３に出力される。記録媒体１１から読み出された情報が、ＡＶストリームやテキストデータ、または、上述したBDJOディレクトリに格納されているプログラムファイル（そのうちの、少なくとも、GUI表示画面の描画に関するプログラム）であった場合、ストレージドライブ２２により読み出された情報は、ＡＶデコーダ部２６に出力される。
メモリ２３は、コントローラ２１が各種の処理を実行する上において必要なデータなどを適宜記憶する。さらに、メモリ２３の記憶領域の一部には、再生装置１の再生処理において必要な情報が設定される各種のレジスタが設けられている。レジスタのうち、例えば、PG TextSTやピクチャインピクチャに関する情報が設定されるレジスタの詳細例については、図３２および図３３を用いて後述する。ローカルストレージ２４は、例えば、HDD(Hard Disk Drive)などより構成される。
インターネットインタフェース２５は、有線または無線によりネットワーク２に接続されており、コントローラ２１からの制御に従って、ネットワーク２を介して、サーバ３との間で通信を行い、サーバ３からダウンロードされたデータをローカルストレージ２４に供給する。サーバ３からは、例えば、そのとき再生装置１に装着されている記録媒体１１に記録されている、図４を用いて説明したデータをアップデートさせるデータがコンテンツとしてダウンロードされる。ローカルストレージ２４は、サーバ３からネットワーク２経由でダウンロードしたコンテンツを記録することができる。
ＡＶデコーダ部２６は、ストレージドライブ２２、または、ローカルストレージ２４から供給されるＡＶストリーム、または、テキストデータをデコードするとともに、上述したBDJOディレクトリに格納されているプログラムファイルに記載のプログラムを実行することができ、得られたビデオ信号およびオーディオ信号を外部の表示装置に出力する。
表示装置においては、ＡＶデコーダ部２６によりデコードされた信号に基づいて、例えば、記録媒体１１に記録されているコンテンツの出力（映像の表示、音声の出力）が行われる。
操作入力部２９は、例えば、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成され、ユーザの操作入力を取得し、コントローラ２１に供給する。
また、コントローラ２１には、必要に応じてドライブ２７も接続されており、ドライブ２７には、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVDを含む）、光磁気ディスク（ＭＤ（登録商標）（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２８が装着される。
最初に、コントローラ２１がストレージドライブ２２を介して、HDD、Blu−ray Disc（商標）、またはDVDなどの記録媒体１１から、または、ローカルストレージ２４から、必要に応じて、GUI表示画面に関連するデータ（ストリームやプログラムなど）を読み出すとともに、PlayListファイルを読み出し、PlayListファイルの情報に基づいて、ストレージドライブ２２を介して、HDD、Blu−ray Disc（商標）、またはDVDなどの記録媒体１１から、または、ローカルストレージ２４から、ＡＶストリームやＡＶデータを読み出す。ユーザは、操作入力部２９を用いて、コントローラ２１に対し、音声や字幕などの切り替えの指令や、GUI表示画面の表示の指令などを行うことができる。また、コントローラ２１は、メモリ２３のレジスタに登録されている、例えば、再生装置１の言語設定の初期情報などの各種設定情報を読み込む。
PlayListファイルには、Main Path、Sub Pathの情報の他、上述したSTN_table()が含まれている。コントローラ２１は、PlayListファイルに含まれるPlayItemが参照するメインClip AVストリームファイル、SubPlayItemが参照するサブClip AVストリームファイル、およびSubPlayItemが参照するテキストサブタイトルデータを、ストレージドライブ２２を介して記録媒体１１から、または、ローカルストレージ２４から読み出す。ここで、PlayItemが参照するメインClip AVストリームファイルとSubPlayItemが参照するサブClip AVストリームファイルとが、異なる記録媒体に記録されていてもよい。例えば、メインClip AVストリームファイルが記録媒体１１に記録されており、対応するサブClip AVストリームファイルは図示せぬネットワーク２を介して供給され、HDDなどのローカルストレージ２４に記憶されたものであってもよい。また、逆に、メインClip AVストリームファイルがHDDなどのローカルストレージ２４に記憶されたものであり、サブClip AVストリームファイルが記録媒体１１に記録されていてもよい。
また、コントローラ２１は、メモリ２３のレジスタに登録されている各種設定情報を参照して、自分自身（再生装置１）の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置１の言語設定の初期情報に対応するエレメンタリストリームを選択し、再生するよう制御する。
図３０は、図２９の再生装置１のＡＶデコーダ部２６の構成例を示すブロック図である。
ＡＶデコーダ部２６には、スイッチ３２、バッファ５１乃至５４、PIDフィルタ５５、PIDフィルタ５６、スイッチ５７乃至５９、PIDフィルタ６０、バックグラウンドデコーダ７１、１ｓｔビデオデコーダ７２−１、２ndビデオデコーダ７２−２、プレゼンテーショングラフィックスデコーダ７３、インタラクティブグラフィックスデコーダ７４、１stオーディオデコーダ７５−１、２ndオーディオデコーダ７５−２、Text-STコンポジション７６、スイッチ７７、プリロードバッファ８１、バックグラウンドプレーン生成部９１、１ｓｔビデオプレーン生成部９２−１、２ndビデオプレーン生成部９２−２、プレゼンテーショングラフィックスプレーン生成部９３、インタラクティブグラフィックスプレーン生成部９４、バッファ９５、ビデオデータ処理部９６、ミキシング処理部９７、ミキシング処理部１０１、バッファ１０２、プログラム処理部１０３、および、プログラマブルグラフィックプレーン生成部１０４が設けられている。
１ｓｔビデオデコーダ７２−１と２ndビデオデコーダ７２−２は、ともにビデオストリームをデコードする。基本的には、STN_table()において、primary_video_stream_idで与えられるビデオストリームをデコードするためのものが１stビデオデコーダ７２−１であり、Secondary_video_stream_idで与えられるビデオストリームをデコードするためのものが２ndビデオデコーダ７２−２である。すなわち、再生装置１は、２つのビデオストリームをデコードするために、２つのビデオデコーダ（１stビデオデコーダ７２−１、２ndビデオデコーダ７２−２）を有している。また、１stビデオデコーダ７２−１は、２ndビデオデコーダ７２−２よりも優先的に使用されるビデオデコーダであるものとすることもできる。すなわち、デコードするビデオストリームが１つしかない場合、そのビデオストリームがメインClip AVストリームファイルに含まれるビデオストリームであっても、サブClip AVストリームファイルに含まれるビデオストリームであっても、１stビデオデコーダ７２−１でデコードされるようにしてもよい。なお、以下において、１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２とを個々に区別しない場合、ビデオデコーダ７２と称する。
また、１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２も、ともにオーディオストリームをデコードする。基本的には、STN_table()において、primary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが１stオーディオデコーダ７５−１であり、Secondary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが２ndオーディオデコーダ７５−２である。すなわち、再生装置１は、２つのオーディオストリームをデコードするために、２つのオーディオデコーダ（１stオーディオデコーダ７５−１、２ndオーディオデコーダ７５−２）を有している。また、１stオーディオデコーダ７５−１は、２ndオーディオデコーダ７５−２よりも優先的に使用されるオーディオデコーダであるものとすることもできる。すなわち、デコードするオーディオストリームが１つしかない場合、そのオーディオストリームがメインClip AVストリームファイルに含まれるオーディオストリームであっても、サブClip AVストリームファイルに含まれるオーディオストリームであっても、１stオーディオデコーダ７５−１でデコードされるようにしてもよい。なお、以下において、１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２とを個々に区別しない場合、オーディオデコーダ７５と称する。
コントローラ２１により読み出されたファイルデータは、図示せぬ復調、ＥＣＣ復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ３２は、復調され、誤り訂正が施されたデータを、コントローラ２１からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ５１乃至５４、および、バッファ１０２に供給する。具体的には、スイッチ３２は、コントローラ２１からの制御に基づいて、バックグラウンドイメージデータをバッファ５１に供給し、メインClip AVストリームファイルのデータをバッファ５２に供給し、サブClipのデータをバッファ５３に供給し、Text-STのデータをバッファ５４に供給し、図８を用いて説明したBDJOディレクトリに含まれているプログラムファイルをバッファ１０２に供給するようスイッチ３２を切り替える。
バッファ５１は、バックグラウンドイメージデータをバッファリングし、バッファ５２は、メインClip AVストリームファイルのデータをバッファリングし、バッファ５３は、サブClip AVストリームファイルのデータをバッファリングし、バッファ５４は、Text-STデータをバッファリングし、バッファ１０２は、図８を用いて説明したBDJOディレクトリに含まれているプログラムファイルをバッファリングする。
メインClip AVストリームファイルは、ビデオとオーディオとビットマップデータ(Presentation Graphics stream)とインタラクティブグラフィックスのうち、ビデオに加えて１つ以上のストリームを多重化したストリーム（例えばトランスポートストリーム）である。サブClip AVストリームファイルは、ビデオとオーディオとビットマップデータ(Presentation Graphics stream)とインタラクティブグラフィックスとのうち、１つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイル（Text-ST）のデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。
また、メインClip AVストリームファイル、サブClip AVストリームファイル、テキストサブタイトルデータ、または、BDJOディレクトリに含まれているプログラムファイルを、ストレージドライブ２２を介して記録媒体１１から、または、ローカルストレージ２４から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、メインClipを読み出す前に、サブClip AVストリームファイル、テキストサブタイトルデータ、または、BDJOディレクトリに含まれているプログラムファイルを予め読み出しておき、先行してバッファ(バッファ５３、バッファ５４、または、バッファ１０２)へプリロードしてもよい。
そして、メインClip AVストリームファイル用リードバッファであるバッファ５２から読み出されたストリームデータは、所定のタイミングで、後段のPID（パケットＩＤ）フィルタ５５へ出力される。このPIDフィルタ５５は、入力されたメインClip AVストリームファイルをPID（パケットＩＤ）に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ５５は、ビデオストリームを１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２への供給元となるPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームを１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２への供給元となるスイッチ５９に供給する。
なお、プレゼンテーショングラフィックスストリームのデータは、上述したように、例えば、ビットマップの字幕データやGUI表示画面データであり、テキストサブタイトルデータは、上述したように、例えば、テキスト字幕データである。そして、インタラクティブグラフィックストリームのデータには、上述したように、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムを含ませることができる。これらのボタンやアイコン、または、サムネイルなどのアイテムには、所定のコマンドを対応付けることができ、ユーザが、これらのアイテムを選択決定する操作入力を行うことにより、対応するコマンドが発行される。
サブClip AVストリームファイル用リードバッファであるバッファ５３から読み出されたストリームデータは、所定のタイミングで、後段のPID（パケットＩＤ）フィルタ５６へ出力される。このPIDフィルタ５６は、入力されたサブClip AVストリームファイルをPID（パケットＩＤ）に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ５６は、ビデオストリームを１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２への供給元となるPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームを１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２への供給元となるスイッチ５９に供給する。
また、PIDフィルタ６０には、メインClip AV Streamのビデオストリーム、または、サブClip AV Streamのビデオストリームが、PIDフィルタ５５またはPIDフィルタ５６を介して入力されてくる。そこで、PIDフィルタ６０は、入力されたビデオストリームを、そのPID（パケットID)に応じて、後段の1stビデオデコーダ７２−１または2ndビデオデコーダ７２−２に振り分けて出力する。即ち、PIDフィルタ６０は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ７２−１に供給する。これに対して、PIDフィルタ６０は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ７２−２に供給する。
なお、ここでは、プライマリビデオストリームとして、メインClip AV Streamのビデオストリームのみが利用され、サブClip AV Streamのビデオストリームは利用されないとされている。ただし、将来、サブClip AV Streamのビデオストリームもプライマリビデオストリームとして利用され得ることも考慮して、PIDフィルタ５６から供給されたサブClip AV Streamのビデオストリームも１stビデオデコーダ７２に供給され得るように、PIDフィルタ６０が構成されている。すなわち、Subpathにより指定されたサブClipに含まれるビデオストリームのみを再生し、ビデオストリームの再生にメインClipを使わず、オーディオストリームの再生は、サブClip、もしくは、メインClipを用いる場合である。
バックグラウンドイメージデータをバッファリングするバッファ５１から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ７１に供給される。バックグラウンドデコーダ７１は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部９１に供給する。
１stビデオデコーダ７２−１は、ビデオストリームをデコードし、デコードしたビデオデータを１stビデオプレーン生成部９２−１へ出力する。2ndビデオデコーダ７２−２は、ビデオストリームをデコードし、デコードしたビデオデータを2ndビデオプレーン生成部９２−２へ出力する。
スイッチ５７は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームのうちのいずれか１つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ７３に供給する。プレゼンテーショングラフィックスデコーダ７３は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部９３への供給元となるスイッチ７７に供給する。
また、スイッチ５８は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームのうちのいずれか１つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ７４に供給する。インタラクティブグラフィックスデコーダ７４は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、プリロードバッファ８１に供給する。
プリロード用バッファ８１は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームを一時記憶する。例えば、再生装置１が、一度に２つのＴＳ(Transport stream)しか読み出せないという制限が課せられている場合などにおいて、再生装置１は、インタラクティブグラフィックスストリームを予め取得しておくことで（プリロードしておくことで）、ビデオストリームやオーディオストリームを再生するときに、プリロードしておいたインタラクティブグラフィックスストリームも同時再生することができる、といった機能を有している。かかる機能を実現するために、即ち、プリロードされたインタラクティブグラフィックスストリームを、ビデオストリームやオーディオストリームが再生されるタイミングまで保存しておくために、プリロード用バッファ８１が設けられているのである。
プリロード用バッファ８１に蓄積されたデコード済みのインタラクティブグラフィックスストリームは、所定のタイミングでインタラクティブグラフィックスプレーン生成部９４に供給される。
さらに、スイッチ５９は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるオーディオストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるオーディオストリームを、後段の１stオーディオデコーダ７５−１、または、２ndオーディオデコーダ７５−２に供給する。具体的には、スイッチ５９は、stream_entry()のtypeの値によって、その選択を切り替える。
１stオーディオデコーダ７５−１は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部１０１に供給する。また、２ndオーディオデコーダ７５−２は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部１０１に供給する。
ここで、２つのオーディオストリームを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたオーディオストリームとが、ミキシング処理部１０１に供給される。
例えば、メインパスで参照される１stオーディオストリームとサブパスで参照される２ndオーディオストリームとを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたメインClip AVストリームファイルのオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部１０１に供給される。
また、例えば、サブパスで参照される２本のオーディオストリームを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたサブClip AVストリームファイルのオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部１０１に供給される。
ミキシング処理部１０１は、１stオーディオデコーダ７５−１からのオーディオデータと、２ndオーディオデコーダ７５−２からのオーディオデータとをミキシング（重畳）し、後段のミキシング処理部９７に出力する。なお、本実施の形態においては、１stオーディオデコーダ７５−１から出力されるオーディオデータと２ndオーディオデコーダ７５−２から出力されるオーディオデータとをミキシング（重畳）することを、合成するとも称する。すなわち、合成とは、２つのオーディオデータを、ミキシングすることも示すものとする。
また、スイッチ３２により選択されたサウンドデータは、バッファ９５に供給され、バッファリングされる。バッファ９５は、所定のタイミングでサウンドデータをミキシング処理部９７に供給する。サウンドデータは、例えば、メニュー選択などによる効果音のデータなどである。ミキシング処理部９７は、ミキシング処理部１０１によりミキシングされたオーディオデータ（１stオーディオデコーダ７５−１から出力されたオーディオデータと２ndオーディオデコーダ７５−２から出力されたオーディオデータとがミキシングされたオーディオデータ）と、バッファ９５から供給されてきたサウンドデータをミキシング（重畳、または合成）し、音声信号として出力する。
テキストサブタイトル用リードバッファであるバッファ５４から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジション（デコーダ）７６へ出力される。テキストサブタイトルコンポジション７６は、Text-STデータをデコードし、スイッチ７７に供給する。
スイッチ７７は、プレゼンテーショングラフィックスデコーダ７３によりデコードされたプレゼンテーショングラフィックスストリームと、Text-ST（テキストサブタイトルデータ）のうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部９３に供給する。すなわち、プレゼンテーショングラフィックスプレーン生成部９３へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ７３またはテキストサブタイトル（Text-ST）コンポジション７６のうちのいずれかの出力である。また、プレゼンテーショングラフィックスデコーダ７３へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClip AVストリームファイルまたはサブClip AVストリームファイルのいずれかから分離されたストリームである。したがって、プレゼンテーショングラフィックスプレーン生成部９３へ同時に出力される字幕画像は、メインClip AVストリームファイルからのプレゼンテーショングラフィックスストリーム、またはサブClip AVストリームファイルからのからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。
図８を用いて説明したBDJOディレクトリに含まれているプログラムファイル用のリードバッファであるバッファ１０２から読み出されたプログラムファイルのデータは、所定のタイミングで、後段のプログラム処理部１０３に供給される。
プログラム処理部１０３は、バッファ１０２から読み出されたプログラムファイルのプログラムを実行することにより、後述するGUI表示画面データを生成し、生成された描画データをプログラマブルグラフィックスプレーン生成部１０４に供給する。具体的には、プログラム処理部１０３は、後述するGUI表示画面に対応する画像データの描画処理とともに、画像に含まれているアイコンやサムネイル、または、ボタンなどの各種アイテムがユーザにより選択決定された場合にコマンドが発行されるように、コマンドを各種アイテムに対応付ける(リンクする)。
ここでは、例えば、再生装置１のネイティブなシステムを直接制御可能なコマンドを、GUI表示画像データに埋め込むようにしても良いし、再生装置１のネイティブなシステムを直接制御可能なコマンドを直接データに含ませるのではなく、所定のコマンドライブラリに定義されているコマンドをGUI表示画像データに埋め込むことにより、画像に含まれているアイコンやサムネイル、または、ボタンなどの各種アイテムがユーザにより選択決定された場合にコマンドが発行されるようにしてもよい。
バックグラウンドプレーン生成部９１は、バックグラウンドデコーダ７１から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合や、ストリーム再生中以外に後述するGUI表示画面を表示する場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部９６に供給する。
１ｓｔビデオプレーン生成部９２−１は、１ｓｔビデオデコーダ７２−１から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部９６に供給する。２ｎｄビデオプレーン生成部９２−２は、２ｎｄビデオデコーダ７２−２から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部９６に供給する。
プレゼンテーショングラフィックスプレーン生成部９３は、スイッチ７７により選択され、供給されたデータ（プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータ）に基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。
インタラクティブグラフィックスプレーン生成部９４は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。
プログラマブルグラフィックスプレーン生成部１０４は、プログラム処理部１０３から供給された、描画されて生成されたGUI表示画面データに基づいて、プログラマブルグラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。
ビデオデータ処理部９６は、バックグラウンドプレーン生成部９１からのバックグラウンドプレーン、１ｓｔビデオプレーン生成部９２−１からのビデオプレーン、２ｎｄビデオプレーン生成部９２−２からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部９３からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部９４からのインタラクティブグラフィックスプレーンを合成するとともに、必要に応じて、更に、プログラマブルグラフィックスプレーン生成部１０４からのプログラマブルグラフィックスプレーンを合成し、ビデオ信号として出力する。
また、図８を用いて説明したBDJOディレクトリに含まれているプログラムファイルに記載されているプログラムがプログラム処理部１０３により実行されることによって生成されるGUI表示画面データのみが表示される場合、ビデオデータ処理部９６は、合成処理を行わず、プログラマブルグラフィックスプレーン生成部１０４からのプログラマブルグラフィックスプレーンのみを出力することも可能であるのは言うまでもない。
なお、ビデオデータ処理部９６は、ピクチャインピクチャ表示が行われる場合、すなわち、１ｓｔビデオプレーン生成部９２−１からのビデオプレーン、および、２ｎｄビデオプレーン生成部９２−２からのビデオプレーンの両方の入力を受けるとき、メイン画面（親画面）の中に、サブ画面（子画面）を有するピクチャインピクチャ表示画面（図３１を用いて後述する）を生成する。
また、これらのスイッチ５７乃至５９、並びにスイッチ７７は、操作入力部２９を介するユーザからの選択に基づいて、または、対象となるデータが含まれるファイルが供給される側に、スイッチを切り替える。例えば、サブClip ＡＶストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ５９はサブClip ＡＶストリームファイルを供給する側（ＰＩＤフィルタ５６の出力）にスイッチを切り替える。
次に、再生装置１における再生処理について説明する。
まず、再生装置１に記録媒体１１が装着された場合、コントローラ２１は、記録媒体１１に、図８を用いて説明したBDJOディレクトリに含まれているプログラムファイルが記録されているか否かを検出し、BDJOディレクトリに含まれているプログラムファイルが記録されていた場合、ストレージドライブ２２を介して、記録媒体１１からこれを読み出し、ＡＶデコーダ部２６に供給する。また、再生装置１に記録媒体１１が装着された場合、コントローラ２１は、HDD(Hard Disk Drive)などで構成されるローカルストレージ２４に、記録媒体１１に対応付けて、BDJOディレクトリに含まれているプログラムファイルと同様の形式（拡張子bdjoを有する）のプログラムファイルが記録されているか否かを検出し、このようなプログラムファイルが記録されていた場合、ローカルストレージ２４からこれを読み出し、ＡＶデコーダ部２６に供給する。
ＡＶデコーダ部２６のスイッチ３２は、供給されたプログラムファイルをバッファ１０２に供給し、バッファ１０２は、供給されたプログラムファイルをバッファリングするとともに、所定のタイミングで、プログラム処理部１０３に供給する。
そして、操作入力部２９を用いてユーザにより所定のＡＶストリームの再生が指令されたとき、コントローラ２１は、ストレージドライブ２２を介して記録媒体１１から、または、HDD(Hard Disk Drive)などで構成されるローカルストレージ２４から、PlayListファイルに含まれるPlayList（PlayListに含まれるPlayItemおよびSubPlayItem）に基づいて、メインClip AVストリーム、サブClip AVストリーム、およびテキストサブタイトルデータ（Text-STデータ）を読み出して、ＡＶデコーダ部２６に供給する。
コントローラ２１は、バックグラウンドイメージデータをバッファ５１に供給し、メインClip AVストリームのデータをバッファ５２に供給し、サブClip AVストリームのデータをバッファ５３に供給し、Text-STのデータをバッファ５４に供給するようスイッチ３２を切り替える。
そして、スイッチ３２が切り替えられて、バックグラウンドイメージデータはバッファ５１に供給され、メインClip AVストリームのデータはバッファ５２に供給され、サブClip AVストリームのデータはバッファ５３に供給され、テキストサブタイトルデータはバッファ５４に供給され、各バッファ５１乃至５４は、供給されたデータをそれぞれバッファリングする。
そして、バッファ５１は、バックグラウンドイメージデータをバックグラウンドデコーダ７１に出力し、バッファ５２はメインClip AVストリームのストリームデータをPIDフィルタ５５に出力し、バッファ５４は、テキストサブタイトルデータをテキストサブタイトルコンポジション７６に出力し、バッファ５３は、サブClip AVストリームのストリームデータをPIDフィルタ５６に出力する。
PIDフィルタ５５は、ビデオストリームをPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームをスイッチ５９に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。
そして、PIDフィルタ５６は、ビデオストリームをPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームをスイッチ５９に供給する。
PIDフィルタ６０は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ７２−１に供給する。これに対して、PIDフィルタ６０は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ７２−２に供給する。
そして、PIDフィルタ５５およびPIDフィルタ５６の後段のスイッチ５７、および、スイッチ５８は、コントローラ２１からの制御に基づいて、メインClipとサブClipのいずれかを選択する。すなわち、スイッチ５７は、PIDフィルタ５５から供給されたメインClip AVストリームまたはサブClip AVストリームのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ７３に供給する。また、スイッチ５８は、PIDフィルタ５５から供給されたメインClip AVストリームまたはサブClip AVストリームのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフィックスストリームデコーダ７４に供給する。
さらに、スイッチ５９は、オーディオの合成が行われない場合、PIDフィルタ５５から供給されたメインClip AVストリーム、または、PIDフィルタ５６から供給されたサブClip AVストリームのオーディオストリームのうちのいずれかを選択し、後段の１stオーディオデコーダ７５−１に供給する。なお、音声を切り替えるような指令や、音声を合成するような指令がユーザにより行われた場合には、スイッチ５９は、メインClip AVストリームのオーディオストリームを２ndオーディオデコーダ７５−２に供給したり、サブClip AVストリームのオーディオストリームを１stオーディオデコーダ７５−１や２ndオーディオデコーダ７５−２に供給する。
そして、バックグラウンドデコーダ７１は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部９１に出力し、１ｓｔビデオデコーダ７２−１および２ｎｄビデオデコーダ７２−２は、ビデオストリームをデコードし、これを、それぞれ、１ｓｔビデオプレーン生成部９２−１および２ｎｄビデオプレーン生成部９２−２に出力し、プレゼンテーショングラフィックスデコーダ７３は、スイッチ５７により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ７７に出力し、インタラクティブグラフィックスデコーダ７４は、スイッチ５８により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部９４に出力し、Text-STコンポジション７６は、テキストサブタイトルデータをデコードし、これを後段のスイッチ７７に出力する。
そして、１stオーディオデコーダ７５−１は、スイッチ５９により選択され、供給されたオーティオストリーム（プライマリオーディオストリーム）をデコードし、これを後段のミキシング処理部１０１に出力する。例えば、音声の切り替えがユーザにより指示されていない状態における再生処理では、２ndオーディオデコーダ７５−２からオーディオデータが出力されることはないので、ミキシング処理部１０１は、１stオーディオデコーダ７５−１から出力されたオーディオデータを、そのまま後段のミキシング処理部９７に供給する。また、音声の合成がユーザにより指令されている状態においては、２ndオーディオデコーダ７５−２は、スイッチ５９により選択され、供給されたオーティオストリームをデコードし、これを後段のミキシング処理部１０１に出力する。ミキシング処理部１０１は、１stオーディオデコーダ７５−１から出力されたオーディオデータと２ndオーディオデコーダ７５−２から出力されたオーディオデータとを合成(ミキシング)し、後段のミキシング処理部９７に供給する。
スイッチ７７は、プレゼンテーショングラフィックスデコーダ７３またはText-STコンポジション７６からのデータのいずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部９３に供給する。
バックグラウンドプレーン生成部９１は、バックグラウンドデコーダ７１から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成し、ビデオプレーン生成部９２は、ビデオデコーダ７２から供給されたビデオデータに基づいて、ビデオプレーンを生成し、プレゼンテーショングラフィックスプレーン生成部９３は、スイッチ７７により選択され、供給されたプレゼンテーショングラフィックスデコーダ７３からのデータまたはText-STコンポジション７６からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成し、インタラクティブグラフィックスプレーン生成部９４は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成する。
そして、ユーザにより、GUI表示画面の表示が指令された場合、コントローラ２１は、AVデコーダ部２６を制御して、GUI表示画面を表示させる。
GUI表示画面に対応するデータは、プレゼンテーショングラフィックスまたはインタラクティブグラフィックスとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして、コンテンツデータに含まれて、ユーザに提供される。
表示が指令されたGUI表示画面がプレゼンテーショングラフィックスまたはインタラクティブグラフィックスである場合、GUI表示画面に対応するプレゼンテーショングラフィックスまたはインタラクティブグラフィックスは、メインパス非同期のサブパスである場合と、メインパス同期型のサブパスである場合とのいずれも存在する。
表示が指令されたGUI表示画面がプレゼンテーショングラフィックスである場合、対応するプレゼンテーショングラフィックスストリームがストレージドライブ２２を介して記録媒体１１から、または、ローカルストレージ２４から読み出されて、上述したようにして、プレゼンテーショングラフィックスデコーダ７３に供給されてデコードされ、プレゼンテーショングラフィックスプレーン生成部９３に供給されて、生成されたプレゼンテーショングラフィックスプレーンがビデオデータ処理部９６に供給される。
また、表示が指令されたGUI表示画面がインタラクティブグラフィックスであり、既にプリロードされてデコードされ、プリロード用バッファ８１に蓄積されている場合、対応するインタラクティブグラフィックスデータがプリロード用バッファ８１から読み出され、インタラクティブグラフィックスプレーン生成部９４に供給されて、生成されたインタラクティブグラフィックスプレーンがビデオデータ処理部９６に供給される。また、表示が指令されたGUI表示画面がインタラクティブグラフィックスであり、プリロードされていない場合、対応するインタラクティブグラフィックスストリームがストレージドライブ２２を介して記録媒体１１から、または、ローカルストレージ２４から読み出されて、上述したようにして、インタラクティブグラフィックスデコーダ７４に供給されてデコードされ、プリロード用バッファ８１を介して、インタラクティブグラフィックスプレーン生成部９４に供給されて、生成されたインタラクティブグラフィックスプレーンがビデオデータ処理部９６に供給される。
また、表示が指令されたGUI表示画面が、プログラム処理部１０３の処理により生成される画像データとして提供される場合、プログラム処理部１０３は、バッファ１０２から取得したプログラムファイルを基に、所定のプログラムを実行して、後述するGUI表示画面に対応する画像データを描画して、GUI表示画面データを生成し、生成された描画データをプログラマブルグラフィックスプレーン生成部１０４に供給する。具体的には、プログラム処理部１０３は、後述するGUI表示画面に対応する画像データの描画処理とともに、画像に含まれているアイコンやサムネイル、または、ボタンなどの各種アイテムがユーザにより選択決定された場合に発光されるコマンドを、各種アイテムに対応付ける(リンクする)。プログラマブルグラフィックプレーン生成部１０４は、プログラム処理部１０３から供給された、描画されて生成されたGUI表示画面データに基づいて、プログラマブルグラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。
なお、プログラム処理部１０３においては、ストリームの再生とは関係しないタイミングで、GUI表示画面データを生成するためのプログラムが実行され、ユーザによりGUI表示画面の表示が指令される前に、対応する画像データが予め生成されていても良いし、ユーザによりGUI表示画面の表示が指令された場合に、対応する画像データを生成するためのプログラムの実行が開始されるものとしても良い。
そして、ビデオデータ処理部９６は、各プレーンのデータを合成し、ビデオデータとして出力する。すなわち、ビデオデータ処理部９６により合成されて生成されたビデオデータには、GUI表示画面が合成されている場合と、合成されていない場合がある。
また、バッファ９５は、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部９７に供給する。ミキシング処理部９７は、オーディオデータ（ミキシング処理部１０１から出力されたオーディオデータ）とサウンドデータをミキシング（合成）し、出力する。
このような処理により、PlayListに含まれるメインパスとサブパスによりメインClip AVストリーム、サブClip AVストリーム、およびテキストサブタイトルデータが参照され、再生される。PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClip ＡＶストリームファイルとは異なるClip AVストリームである、サブClip AVストリームを指定可能な構成としたので、メインパスのPlayItemが指すメインClipとは異なるClipであるサブClipに含まれるデータとメインClipに含まれるデータとを一緒に（同じタイミングで）再生することができる。
なお、ここでは、プログラム処理部１０３において、GUI表示画面データを生成するためのプログラムが実行され、GUI表示画面データが生成されるものとして説明したが、これらのプログラムの実行は、AVデコーダ部２６内部のプログラム処理部１０３ではなく、コントローラ２１において実行されるものとしても良いことはいうまでもない。
ところで、上述したように、本発明の再生装置１に装着される記録媒体１１上、または、再生装置１のローカルストレージ２４に記録されるデータのアプリケーションフォーマットは、PlayListとClipの２つのレイヤを有している。そして、PlayListは、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られるメインパス(Main Path)と、そのMain Pathに並行（並列）して、１つ以上のSubPlayItemの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られるサブパス（Sub Path）を1以上含むことができる。
このような構成を有するデータを、図２９および図３０を用いて説明した再生装置１において再生することにより、図３１に示されるように、全画面（親画面）３０１と子画面３０２のそれぞれに別々のコンテンツを同時再生させる、といったピクチャインピクチャ手法を適用することが可能になる。
例えば、図３１に示されるように、１画面のうちの、全画面３０１に、メインパスで参照されるＡＶストリーム（図３１中、Primary Videoと記述されているビデオストリーム３１１、および、Primary Audioと記述されているオーディオストリーム３１２）に対応する映画本編等のコンテンツを再生させるとともに、全画面３０１に配置される子画面３０２に、サブパスで参照されるＡＶストリーム（図３１中、Secondary Videoと記述されているビデオストリーム３１３、および、Secondary Audioと記述されているオーディオストリーム３１４）に対応する映画の監督のコメンタリー等、メインパスで参照されるＡＶストリームとは別のコンテンツを再生させる、といった手法を適用することが可能になる。
具体的には、ピクチャインピクチャは、例えば映画本編(Primary Video, Primary Audio)を全画面３０１に表示しているときに、監督のコメンタリー(Secondary Video, Secondary Audio)を子画面３０２に入れ子画面にして、必要に応じて、音声を合成し、同時に表示出力されるように再生するアプリケーションである。
なお、サブタイトルストリームの再生位置（字幕等の表示位置）は、特に子画面内である必要は無く、全画面のうちの何れの位置でもよい。このため、図３１の例では、サブタイトルストリーム３１５は、子画面３０２からはみ出すように描画されている。
ユーザがピクチャインピクチャアプリケーションに関して許されているユーザオペレーションは、セカンダリビデオを表示するか否か、換言すれば、ピクチャインピクチャアプリケーションのon/offを指令するためのユーザオペレーションと、一つの区間に複数のセカンダリビデオが用意されている場合に、現在表示されているセカンダリビデオを他のセカンダリビデオに切り替えるユーザオペレーションである。また、セカンダリビデオが表示されている場合には、セカンダリオーディオのon/offおよび再生されるセカンダリオーディオの変更、並びに、ピクチャインピクチャ用の字幕のon/offおよび字幕の変更を指令するユーザオペレーションも許されている。
ピクチャインピクチャにおいて、子画面３０２として表示可能なSecondary Videoは、１つのPlayList中に複数定義することができる。例えば、１つのPlayList中に子画面３０２として表示可能なSecondary Videoを２５５個含めることができるようになされているなど、多数のピクチャインピクチャアプリケーションがPlayList中に定義されていた場合、ユーザが、そのコンテンツにおいて再生可能なピクチャインピクチャアプリケーションを把握することは困難である。
また、例えば、全画面３０１に表示されるPrimary Videoに対しては、従来行われてきたように、チャプタなどを用いて、特定のシーンを呼び出して再生させることなどができる。しかしながら、これに対して、全画面３０１に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能なようになされているかをユーザが把握したり、Secondary Videoの特定のシーンを選択して再生させるようにすることは困難である。
すなわち、全画面３０１に表示されるPrimary Videoとともにどのような子画面３０２が表示可能なようになされているかをユーザが把握したり、全画面３０１に表示されるPrimary Videoとともに子画面３０２に表示されるSecondary Videoの特定のシーン、例えば、ある俳優のコメンタリーがピクチャインピクチャ表示されている再生シーンを呼び出す方法は提供されていない。
また、Secondary VideoおよびSecondary Audioは、Primary Videoの全ての再生区間に対して用意されているとは限らず、また、同一の再生区間に、複数のSecondary VideoおよびSecondary Audioが用意されている場合もある。また、Secondary Videoと、それに対応するSecondary Audioは、全てが所定のタイミングで再生されるのではなく、ユーザの所望のタイミングで再生される（非同期）のものも存在する。このため、例えば、再生開始時刻を指定することにより、Secondary Videoと、それに対応するSecondary Audioの特定のシーンを任意に呼び出すのは困難であった。
そこで、再生装置１においては、ユーザが、Secondary Videoとそれに対応するSecondary Audioを容易に認識したり、Secondary Videoとそれに対応するSecondary Audioの特定のシーンを任意に呼び出すことができるようなGUI表示画面を表示する機能を有する。このGUI表示画面は、上述したように、プレゼンテーショングラフィックスまたはインタラクティブグラフィックスとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして提供される。
具体的には、再生装置１においては、例えば、全画面３０１に表示されるPrimary Videoに対応付けて子画面３０２として再生可能なようになされているSecondary Videoに対応する情報を一覧表示するGUI表示画面や、Primary VideoとSecondary Videoとをユーザが明確に区別することなく、Primary VideoとSecondary Videoとのいずれかの特定のシーンを選択することができるようなGUI表示画面、または、全画面３０１に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能なようになされているかをユーザが把握することができるようなGUI表示画面などを生成して表示する機能を有するものとする。
ユーザは、このGUI表示画面を参照することにより、全画面３０１に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能なようになされているかを把握したり、Secondary Videoと、それに対応するSecondary Audioの特定のシーンを効率的に選択することが可能となる。
また、再生装置１においては、再生装置１のメモリ２３の書き換え可能なメモリ領域のうちの一部に、複数のレジスタが設けられ、このレジスタに設定される値を基に、再生処理が実行される。
レジスタのうち、例えば、再生装置１がセカンダリオーディオストリームを再生することが可能か否かが設定されているレジスタの値など、再生装置１固有の機能について設定されているものは、その値が変更されることはない。これに対して、レジスタのうちの所定のものの設定は、例えば、ユーザから所定の操作入力を受けた場合、または、プログラムにより発生されるコマンドにより変更される。
なお、これらのコマンドは、ストリームデータとは個別に記録媒体や内部のハードディスク等に記録され、再生装置１によってプリロードされ、コントローラ２１に供給されるようになされていてもよいし、ストリームデータに埋め込まれて記録媒体や内部のハードディスク等に記録され、再生装置１によってストリームデータが再生されるのに伴ってロードされ、コントローラ２１に供給されるようになされていてもよい。
レジスタには、再生装置１における再生処理に必要な各種設定を示す値が保持されている。レジスタに格納される値により、例えば、再生装置１が再生するサブタイトルストリーム（PG TextSTストリーム）が設定され、再生装置１が再生するピクチャインピクチャアプリケーション用のPG・テキスト字幕ストリーム（PiP PG TextSTストリーム）が設定され、ピクチャインピクチャアプリケーションによって再生されるセカンダリビデオストリームが設定され、セカンダリビデオストリームが再生される子画面の大きさが設定され、再生装置１が再生可能なサブタイトルストリーム（PG TextSTストリーム）の言語コード番号（またはＩＤ）が設定され、初期設定されている言語が設定され、再生装置１が再生可能なサブタイトルストリーム（PG TextSTストリーム）に対応する国のコード番号（またはＩＤ）が設定されるようにすることができる。
図３２を用いて、メモリ２３に設けられているレジスタの一例である第１のレジスタについて説明する。第１のレジスタには、サブタイトルストリーム（PG TextSTとPiP PG TextST）の表示についての設定を示す情報が格納されており、disp_s_flag、PiP_PG_textST_valid_flag、PG TextST stream number、および、PG TextST stream numberの情報が格納されている。
disp_s_flagは、サブタイトルストリーム（PG TextSTとPiP PG TextST）を表示するか否かを示すデータが格納されるレジスタ領域であり、例えば、disp_s_flag＝0のとき、PG TextSTとPiP PG TextSTの表示は無効とされ、disp_s_flag＝1のとき、PG TextSTとPiP PG TextSTの表示は有効とされる。
PiP_PG_textST_valid_flagは、ピクチャインピクチャ表示が行われているときに、サブタイトルストリームとして、PG TextSTとPiP PG TextSTとのいずれを表示するかを示すデータが格納されるレジスタ領域であり、例えば、PiP_PG_textST_valid_flag＝0のとき、Secondary Videoが表示されていれば、第１のレジスタのPG TextST stream numberに登録されている値を参照して、PG TextST streamを読み出して再生することができ、また、これに対して、PiP_PG_textST_valid_flag＝1のとき、Secondary Videoが表示されていれば、第１のレジスタのPiP PG TextST stream numberに登録されている値を参照して、PiP PG TextST streamを読み出して再生することができる。
なお、PiP_PG_textST_valid_flagは、Secondary Videoが表示されていない場合には意味をなさない。すなわち、PiP_PG_textST_valid_flag にいずれの値が格納されていても、Secondary Videoが表示されていない場合においては、格納された値に対応するPG TextST stream number、または、PiP PG TextST stream numberにより特定されるサブタイトルストリームが読み出されて表示されるとは限らない。Secondary Videoが表示されていない状態で表示可能なサブタイトルストリームは、PG TextST stream numberに示される。
PG TextST stream numberには、サブタイトルストリームとして表示可能なPG TextST stream numberが格納される。そして、PiP PG TextST stream numberには、サブタイトルストリームとして表示可能なPiP PG TextST stream numberが格納される。
現在のPlayItemの再生においてSecondary Videoが表示されていない場合(例えば、後述する第２のレジスタのdisp_v_flagが0に設定されている場合、または、Secondary video streamがユーザ操作などにより現在のPlayItemに対応つけて表示されていない場合など)、PG Text stream numberの設定において、次の２つのルールが適用される。すなわち、第１のルールは、現在のPlayItemのSTN_tableに登録されているPG TextST streamの中から、表示されるべき PG Text stream numberが、第１のレジスタのPG Text stream numberに示されることであり、第２のルールは、第１のレジスタのPGText stream numberの設定は、所定のセレクションモデルによってコントロールされることである。
所定のセレクションモデルとは、例えば、表示されるPG Text streamがユーザまたはコマンドにより設定されている場合は、再生装置の表示能力があれば、そのストリームが優先されて選択され、設定されていない場合、例えば、再生装置１において表示できる言語、または、表示できない言語を表す値が設定されているレジスタが参照されて、再生装置１が表示能力を有する言語が優先して選択され、次に、再生装置１に設定されている言語コードと同等のものが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
そして、現在のPlayItemの再生においてSecondary Videoが表示されていて（例えば、後述する第２のレジスタのdisp_v_flagが1に設定されていて、現在のPlayItem再生において第２のレジスタに定義されたSecondary Video streamが表示されている場合)、かつ第１のレジスタのPiP_PG_textST_valid_flagに1が設定されている場合、次の2つのルールが適用される。すなわち、第３のルールは、現在のPlayItemのSTN_tableに登録されているPiP PG TextST streamの中から、表示されるべき PiP PG Text stream numberが、第１のレジスタのPiP PG Text stream number に示されることであり、第４のルールは、第１のレジスタのPiP PG Text stream numberの設定は、所定のセレクションモデルによってコントロールされることである。
所定のセレクションモデルとは、例えば、表示されるPiP PG Text streamがユーザまたはコマンドにより設定されている場合は、再生装置の表示能力があれば、そのストリームが優先され、設定されていない場合、例えば、再生装置１において表示できる言語、または、表示できない言語を表す値が設定されているレジスタが参照されて、再生装置１が表示能力を有する言語が優先して選択され、次に、再生装置１に設定されている言語コードと同等のものが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
次に、図３３を用いて、メモリ２３に設けられているレジスタの一例である第２のレジスタについて説明する。第２のレジスタには、セカンダリビデオおよびセカンダリオーディオの再生についての設定を示す情報が格納されており、disp_v_flag、disp_a_flag、Secondary Video size、Secondary video stream number、および、Secondary audio stream numberの情報が格納されている。
disp_v_flagは、Secondary Videoの再生が有効であるか無効であるかを示すフラグであり、disp_v_flag＝0のとき、Secondary Videoの再生は無効であり、disp_v_flag＝1のとき、Secondary Videoの再生は有効である。
disp_a_flagは、Secondary Audioの再生が有効であるか無効であるかを示すフラグであり、disp_a_flag＝0のとき、Secondary Audioの再生は無効であり、disp_a_flag＝1のとき、Secondary Audioの再生は有効である。
Secondary Video sizeには、セカンダリビデオが表示される場合の表示の大きさに関する設定値が格納され、例えば、Secondary Video size＝0x0である場合、Secondary videoのサイズは、PlayItem中のpip_metadataのpip_scale[i]の値によってスケールされ、Secondary Video size＝0xFである場合、Secondary videoのサイズは、PlayItem中のpip_metadataのpip_scale[i]の値に関係なく、フルスクリーンとしてスケールされる。
Secondary video stream numberは、現在のPlayItemのSTN_tableに登録されているプライマリオーディオストリームの中で、再生されるプライマリオーディオストリームに対応するSecondary video stream numberが設定されているレジスタである。そして、Secondary audio stream numberは、現在のPlayItemのSTN_tableに登録されているセカンダリオーディオストリームの中で、再生されるセカンダリオーディオストリームに対応するSecondary audio stream numberが設定されているレジスタである。
このように、第２のレジスタには、現在のPlayItemのSTN_tableに登録されているSecondary Audio stream のうちの、再生されるべきSecondary audio stream numberが示されている。第２のレジスタのSecondary audio stream numberの設定は、所定のセレクションモデルによってコントロールされる。
所定のセレクションモデルとは、例えば、表示されるSecondary audio stream numberがユーザまたはコマンドにより設定されている場合、そのストリームが優先され、設定されていない場合、再生装置１に設定されているか、または、現在再生されているPrimary audio streamと同じ言語コードが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
そして、第２のレジスタには、現在のPlayItemのSTN_tableに登録されているSecondary Video streamのうちの、再生されるべきSecondary video stream numberも示されている。第２のレジスタのSecondary video stream numberの設定は、所定のセレクションモデルによってコントロールされる。
所定のセレクションモデルとは、ここでも、例えば、表示されるSecondary video stream numberがユーザまたはコマンドにより設定されている場合、そのストリームが優先され、設定されていない場合、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
GUI表示画面が、インタラクティブグラフィックスとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして提供され、インタラクティブグラフィックストリームまたはプログラム処理部１０３の処理により生成される画像データに、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムが含まれ、これらのボタンやアイコン、または、サムネイルなどのアイテムに、所定のコマンドが対応付けられていた場合、ユーザが、これらのアイテムを選択決定する操作入力を行うことにより、対応するコマンドが発行される。
そして、ユーザが、これらのアイテムを選択決定する操作入力を行うことにより、上述した第１のレジスタおよび第２のレジスタのうちの必要な部分が設定・更新されるコマンドが発行され、更に、ストリームの再生を指令するコマンドが発行されるようになされている場合、ユーザが所望するピクチャインピクチャアプリケーション実行状態から、ストリームの再生処理を開始させることができる。
コマンドは、GUI表示画面のユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムに対応つけて、直接、記載されていても良いが、例えば、再生装置１が実行可能なコマンドがライブラリで与えられているような場合、それぞれのアイテムが選択されたとき、アイテムに対応するコマンドが、ライブラリから取得されて実行されるようにしても良い。
図３４に、コントローラ２１が有する機能のうち、このようなGUI表示画面を生成して表示する機能について説明するための機能ブロック図を示す。
なお、コントローラ２１は、例えば、GUI表示画面を表示する機能や、装着された記録媒体１１またはローカルストレージ２４に記録されているデータを再生する処理以外にも、さまざまな機能を有するものとしてもよいが、図３４においては、GUI表示画面の表示の制御、並びに、ストリームデータの再生の制御以外の機能については、省略する。
PlayList読み出し制御部３５１は、PlayListファイルを取得する。PlayList読み出し制御部３５１は、例えば、通常再生時においては、取得したPlayListファイルに含まれるPlayItemおよびSubPlayItemに基づいて、対応するClipのClip_Information_file_nameを検出し、ストリームデータ読み出し制御部３５７に供給する。また、PlayList読み出し制御部３５１は、例えば、上述したようなGUI表示画面が表示される場合、取得したPlayListファイルを、GUIデータ読み出し制御部３５２に供給する。
GUIデータ読み出し制御部３５２は、GUI表示画面が表示される場合、記録媒体１１またはローカルストレージ２４からの、GUI表示画面に関するデータの読み出しを制御する。具体的には、GUIデータ読み出し制御部３５２は、GUI表示画面のデータが、PGまたはIGによって提供される場合、供給されたPlayListファイルに基づいて、対応するPGまたはIGの読み出しと、ＡＶデコーダ部２６における対応するバッファ(バッファ５２またはバッファ５３)への供給を制御する。また、GUIデータ読み出し制御部３５２は、GUI表示画面のデータが、プログラム処理部１０３の処理により生成される画像データとして提供される場合、BDJOフォルダに格納されている対応するプログラムファイルの読み出しと、ＡＶデコーダ部２６における対応するバッファ(バッファ１０２)への供給を制御する。
GUIデータ描画制御部３５３は、GUI表示画面のデータが、プログラム処理部１０３の処理により生成される画像データとして提供される場合、バッファ１０２に格納された対応するプログラムファイルのプログラム処理部１０３への供給と、プログラム処理部１０３におけるプログラムの実行、すなわち、GUI表示画面に対応する画像データの描画を制御する。
GUIデータ再生制御部３５４は、GUI表示画面のデータが、PGまたはIGによって提供される場合、PlayListファイルに基づいて読み出された、GUI表示画面に対応するPGまたはIGのストリームデータのデコードを制御する。
コマンド情報取得部３５５は、GUI表示画面上のボタンやアイコン、または、サムネイルなどのアイテムに対応付けられたコマンドが、ライブラリとして用意されている場合、コマンド発生部３４０によって発生される対応するコマンドをライブラリから取得する。すなわち、コマンド情報取得部３５５は、GUI表示画面が、IGとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして提供され、インタラクティブグラフィックストリームまたはプログラム処理部１０３の処理により生成される画像データに、上述したように、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムが含まれ、これらのアイテムに、ユーザが、これらのアイテムを選択決定する操作入力を行うことにより発行される所定のコマンドが対応付けられて、これらのコマンドが、ライブラリとして用意されている場合、コマンド発生部３４０によって発生される対応するコマンドをライブラリから取得する。
操作入力取得部３５６は、操作入力部２９から供給されるユーザの操作入力を取得し、GUIデータ描画制御部３５３、GUIデータ再生制御部３５４、ストリームデータ読み出し制御部３５７、GUI表示制御部３５９、または、コマンド発生部３４０に供給する。
ストリームデータ読み出し制御部３５７は、PlayList読み出し制御部３５１から供給されたClip_Information_file_nameを基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。またストリームデータ読み出し制御部３５７は、操作入力取得部３５６から供給された、GUI表示画面を参照したユーザの操作入力を基に、コマンド発生部３４０の処理により発生されたコマンドにより設定が変更された、上述したレジスタに設定された値を参照し、ユーザが所望したストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。
再生制御部３５８は、ストリームデータ読み出し制御部３５７の制御に基づいて、AVデコーダ部２６へ供給されたデータのデコードおよび再生出力を制御する。
GUI表示制御部３５９は、操作入力取得部３５６から供給されるユーザの操作入力に基づいて、GUI描画制御部３５３により描画された、または、GUIデータ再生制御部３５４の処理により再生が制御されたGUI表示画面データの表示、すなわち、プログラマブルグラフィックスプレーン生成部１０４により生成されたプログラマブルグラフィックスプレーン、または、プレゼンテーショングラフィックスプレーン生成部９３により生成されたプレゼンテーショングラフィックスプレーン、もしくは、インタラクティブグラフィックスプレーン生成部９４により生成されたインタラクティブグラフィックスプレーンの表示を制御するとともに、これらの表示の取り消しを制御する。
コマンド発生部３４０は、GUI表示画面のボタンやアイコン、または、サムネイルなどのアイテムに対応付けられている所定のコマンドを発行する。なお、再生装置１が実行可能なコマンドが、ライブラリとして用意されている場合、実際に実行されるコマンドは、コマンド情報取得部３５５によりライブラリから取得されて実行される。
図３４に示されるような機能を有するコントローラ２１は、再生装置１に記録媒体１１が装着されるなどにより、記録媒体１１またはローカルストレージ２４に記録されているコンテンツの再生が可能な状態となったとき、コンテンツとともに提供されたデータ(BDJOフォルダ、もしくは、PGまたはIG)を基にGUI表示画面を表示させることができる。
すなわち、このGUI表示画面は、コンテンツの供給元、または、記録媒体１１の販売者など、いわゆる、コンテンツオーサが、設計し、デザインして、ユーザに提供することができるものであるとともに、それぞれのアイテムに対応付けてコマンドを設定することが可能である。これにより、コンテンツオーサは、コンテンツの内容や、提供するピクチャインピクチャアプリケーションの内容に応じて、ユーザが効率よくピクチャインピクチャアプリケーションにより再生可能なセカンダリビデオまたはセカンダリオーディオを把握することができたり、所望のピクチャインピクチャアプリケーションの再生状態からの、コンテンツの再生を指令することができるようなGUI表示画面をユーザに提供することができる。
次に、図３５乃至図３８を用いて、GUI表示画面の例について説明する。
図３５を参照して、GUI表示画面の第１の例であるGUI表示画面３８１について説明する。
図３５に示されるように、GUI表示画面の第１の例であるGUI表示画面３８１においては、メインパスにより再生されるプライマリビデオに対応する複数のサムネイル画像３９１(図３５においては、サムネイル画像３９１-１乃至サムネイル画像３９１−５)が表示されるとともに、メインパスにより再生されるプライマリビデオデータの画像を背景として、ピクチャインピクチャ表示されるセカンダリビデオデータの画像４０２が表示されている状態を示す複数のサムネイル画像４０１(図３５においては、サムネイル画像４０１-１乃至４０１−３)が表示される。
図３５のGUI表示画面３８１においては、メインパスにより再生されるプライマリビデオに対応する複数のサムネイル画像３９１と、メインパスにより再生されるプライマリビデオデータの画像を背景として、ピクチャインピクチャ表示されるセカンダリビデオデータの画像４０２が表示されている状態を示す複数のサムネイル画像４０１とのそれぞれの表示位置は、メインパスの再生時刻に対応付けられている。すなわち、サムネイル画像３９１-１乃至サムネイル画像３９１−５は、メインパスの再生時刻に対応付けられて、GUI表示画面３８１の画面上、左から右に並べられ、サムネイル画像４０１-１乃至４０１−３は、それぞれが含むセカンダリビデオデータの画像４０２−１乃至画像４０２−３の再生時刻を基に、サムネイル画像３９１-１乃至サムネイル画像３９１−５の再生時刻と対応付けられて、GUI表示画面３８１の画面の適する位置に表示されるようになされている。
なお、非同期のSecondary VideoおよびSecondary Audioが存在する場合、非同期のSecondary Videoに対応する画像４０２を含むサムネイル画像４０１は、例えば、MainPath先頭位置からのPrimary Videoを背景画像として、GUI表示画面３８１の表示画面内のMainPath先頭位置に対応する位置に表示させるようにしても良い。
また、メインパスの同一時刻に複数のSecondary Videoが表示可能なようになされている場合、表示時刻が同一であることがユーザに認識可能なように、対応するSecondary Videoを示す画像４０２を含むサムネイル画像４０１を、GUI表示画面３８１の表示画面内で縦に並べて配置するものとすればよい。
これにより、ユーザは、ピクチャインピクチャ表示状態の表示画面のサムネイル画像４０１を参照して、いかなるシーンにおいてピクチャインピクチャ表示が実行されるかを把握することができる。すなわち、メインパスにより再生されるプライマリビデオに対応するサムネイル画像３９１のみ、または、Secondary Videoに対応する画像４０２のみが表示される場合と比較して、このようなピクチャインピクチャ表示状態の表示画面のサムネイル画像４０１を表示させるようにすることにより、ユーザは、コンテンツのどのようなシーンにおいてどのようなピクチャインピクチャアプリケーションが実行可能であるかを、容易に、確実に認識することができる。
また、GUI表示画面３８１においては、メインパスにより決められる再生時刻に対応つけて、メインパスにより再生されるプライマリビデオに対応する複数のサムネイル画像３９１とピクチャインピクチャ表示状態の表示画面のサムネイル画像４０１との表示位置が決まるようにしたので、ユーザは、GUI表示画面３８１を参照することにより、コンテンツ全体のうち、いずれのタイミングでどのようなセカンダリビデオがピクチャインピクチャ表示可能かを容易に把握することができる。
また、GUI表示画面３８１が、インタラクティブグラフィックスとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして提供されている場合、インタラクティブグラフィックストリームまたはプログラム処理部１０３の処理により生成される画像データのサムネイル画像４０１-１乃至４０１−３のそれぞれには、所定のコマンドを対応付けることができる。そして、サムネイル画像４０１-１乃至４０１−３のうちのユーザが所望するものが選択決定されることにより、それぞれの再生時刻に対応する再生位置から、ピクチャインピクチャ表示状態で再生が開始されるようなコマンドが発行されるようにすることができる。上述したように、GUI表示画面３８１のデータに直接コマンドが記載されるものとしても良いし、所定のコマンドライブラリから、対応するコマンドが呼び出されるようにしても良い。
このようにすることにより、ユーザは、GUI表示画面３８１を参照して、所望のセカンダリビデオがピクチャインピクチャアプリケーションとして表示されている状態からの再生開始を、容易に指令することが可能となる。
次に、図３６を参照して、GUI表示画面の第２の例であるGUI表示画面４２１について説明する。
すなわち、再生装置１においては、例えば、図３６に示されるように、ピクチャインピクチャアプリケーション（Secondary VideoおよびSecondary Audio）とMainMovie（Primary VideoおよびPrimary Audio）とを詳細に区別する必要なくユーザが認識することができるようなGUI表示画面４２１を表示するようにすることも可能である。
図３６のGUI表示画面４２１には、例えば、MainMovieのプライマリビデオストリームのいずれかのフレーム(例えば、先頭フレーム)に対応するサムネイル画像４１１に加えて、ピクチャインピクチャ表示時に子画面に表示されるセカンダリビデオストリームのそれぞれのいずれかのフレーム(例えば、それぞれのセカンダリビデオストリームの再生開始位置に対応するフレーム)に対応するサムネイル画像４４２（図３６においては、サムネイル画像４４２-１乃至４４２-６）が表示される。
なお、MainPathのPrimary VideoおよびPrimary Audioが再生されているときに、図３６を用いて説明したGUI表示画面４２１の表示が指令された場合、例えば、Primary Videoに字幕などが合成された画像に対して、GUI表示画面４２１が合成されて表示される。MainPathのPrimary VideoおよびPrimary Audioを再生していないときに、GUI表示画面４２１の表示が指令された場合、バックグラウンドプレーン、すなわち、いわゆる背景画像に対して、GUI表示画面４２１が合成されて表示される。
このようなGUI表示画面４２１を参照することにより、ユーザは、対象となるコンテンツにどのようなビデオストリームが含まれているかを、大まかに把握することが可能となる。
また、GUI表示画面４２１が、インタラクティブグラフィックスとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして提供されている場合、インタラクティブグラフィックストリームまたはプログラム処理部１０３の処理により生成される画像データのサムネイル画像４１１およびサムネイル画像４４２（図３６においては、サムネイル画像４４２-１乃至４４２-６）のそれぞれには、所定のコマンドを対応付けることができる。そして、ユーザが所望するサムネイル画像が選択されることにより、MainMovieを再生させるためのコマンドが発行されるか、または、選択されたピクチャインピクチャの再生時刻に対応する再生位置から、ピクチャインピクチャ表示状態で再生を開始させるためのコマンドが発行されるようにすることができる。ここでも、上述したように、画像データに直接コマンドが記載されるものとしても良いし、所定のコマンドライブラリから、対応するコマンドが呼び出されるようにしても良い。
このようなGUI表示画面４２１を参照したユーザは、ピクチャインピクチャアプリケーションがMainMovieに対して同期しているか否か、同期されている場合にはPlayList中でどの再生位置となるように定義されているかなどの詳細を知ることなく、所望のピクチャインピクチャアプリケーションの再生を指令することが可能となる。
この場合において、ピクチャインピクチャのそれぞれに対応するサムネイル画像４４２が選択された場合、ユーザが所望するSecondary Videoが、必要に応じてSecondary Audioを伴って、MainPathのPrimary VideoおよびPrimary Audioとともに再生されるが、非同期のSecondary VideoまたはSecondary Audioに対応する、ピクチャインピクチャのそれぞれに対応するサムネイル画像４４２が選択された場合、例えば、MainPath先頭位置からのPrimary VideoおよびPrimary Audioとともに、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが再生されるものとすることができる。
また、更に、例えば、図３７に示されるように、映画本編などが表示されている画面４５１の一部に、Primary Videoの再生区間に対して、いずれの区間に、いくつのSecondary Videoが子画面３０２として再生可能なようになされているかをユーザが把握することができるようなGUI表示画面４６１が表示されるようにすることができる。
GUI表示画面４６１について、図３８を参照して説明する。
GUI表示画面４６１には、例えば、MainMovie、すなわち、Primary Videoの再生区間全体に対応するメインタイムライン４７１と、メインタイムライン４７１上に、現在のPrimary Videoの再生位置を示すスライダ４７２が表示され、メインタイムライン４７１に対応付けて、Primary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能であり、Secondary Audioが対応して再生されるかが分かるように、このPlayListファイルによって再生されるストリームに含まれるSecondary VideoまたはSecondary Audioに応じたサブタイムライン４７３(図３８においては、サブタイムライン４７３−１乃至サブタイムライン４７３−５)が表示される。
そして、サブタイムライン４７３に対応付けられて、そのサブタイムライン４７３が対応付けられているストリームが、Secondary VideoまたはSecondary Audioのいずれであるかを示すためのアイコン４７４(図３８においては、アイコン４７４-１乃至アイコン４７４-５)が表示されている。
また、例えばアイコン４７４のうち、ビデオストリームに対応するアイコン４７４を、いわゆるサムネイル画像としてもよい。
また、ユーザの所望のタイミングで再生される（非同期の）Secondary VideoまたはSecondary Audioに対応するサブタイムライン４７３は、ユーザの所望のタイミングで再生される（非同期)であることがユーザに認識可能なように表示されると好適である。このようなサブタイムライン４７３は、例えば、メインタイムライン４７１に対して、再生先頭位置に対応するように表示されても良いし、メインタイムライン４７１に対応しない異なる位置に表示されるようにしても良い。
なお、GUI表示画面４６１がPGまたはIGである場合、メインタイムライン４７１のスライダ４７２の表示位置を、現在再生中のメインムービーに対応付けるためには、GUI表示画面に対応するプレゼンテーショングラフィックストリームまたはインタラクティブグラフィックストリームは、メインパス同期型のサブパスであると好適である。すなわち、メインパスの再生時刻と対応付けてスライダ４７２の表示位置が異なるようなプレゼンテーショングラフィックストリームまたはインタラクティブグラフィックストリームを用意することにより、これらのストリームが再生されて、フレームが切り替わることにより、スライダ４７２の表示位置がメインパスの再生位置に対応付けられて変更されて表示されるようにすることができるので、好適である。
このようなGUI表示画面４６１を表示させることにより、ユーザは、全画面３０１において、現在本編のどこが再生されているかを認識することができるとともに、いずれの再生位置において、ピクチャインピクチャアプリケーションが何通り存在するか、または、非同期のピクチャインピクチャアプリケーションが何通り存在するかを、視覚的に容易に把握することが可能になる。
したがって、ユーザは、GUI表示画面４６１を参照することにより、複数のピクチャインピクチャアプリケーションが存在しているか否かも容易に認識できるので、ピクチャインピクチャアプリケーションのon/offを指令するユーザオペレーションや、いずれのピクチャインピクチャアプリケーションが再生されるかを切り替えるユーザオペレーションを容易に効率的に入力することができる。更に、GUI表示画面４６１は、ユーザによるForward Play/Backward Play操作にも役立つと考えられる。
また、Secondary Videoに対応するサムネイル画像の基となる画像データ（例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど）をサムネイル画像としてサブタイムライン４７３とともに表示した場合、ユーザは、ピクチャインピクチャアプリケーションの内容を容易に認識することが可能となる。
なお、MainPathのPrimary VideoおよびPrimary Audioを再生していないときに、GUI表示画面４６１の表示が指令された場合、バックグラウンドプレーン、すなわち、いわゆる背景画像に対してGUI表示画面４６１が合成されて表示される。
また、GUI表示画面４６１が、インタラクティブグラフィックスとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして提供されている場合、インタラクティブグラフィックストリームまたはプログラム処理部１０３の処理により生成される画像データのサブタイムライン４７３またはアイコン４７４のそれぞれには、所定のコマンドを対応付けることができる。そして、ユーザが所望するピクチャインピクチャアプリケーションに対応するサブタイムライン４７３またはアイコン４７４が選択されることにより、選択されたピクチャインピクチャの再生時刻に対応する再生位置から、ピクチャインピクチャ表示状態で再生を開始させるためのコマンドが発行されるようにすることができる。ここでも、上述したように、画像データに直接コマンドが記載されるものとしても良いし、所定のコマンドライブラリから、対応するコマンドが呼び出されるようにしても良い。
なお、非同期のSecondary VideoまたはSecondary Audioに対応するサブタイムライン４７３またはアイコン４７４が選択された場合、例えば、MainPath先頭位置からのPrimary VideoおよびPrimary Audioとともに、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが再生されるものとすることができる。
上述したようなGUI表示画面が、インタラクティブグラフィックスとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして提供されている場合、インタラクティブグラフィックストリームまたはプログラム処理部１０３の処理により生成される画像データの、サムネイル画像などのアイテムには、ピクチャインピクチャアプリケーションの再生のための各種設定を指令するための、または、ピクチャインピクチャアプリケーションの再生を指令するためのコマンドを対応付けることができる。
次に、図３９乃至図４２を用いて、サムネイル画像などのアイテムに対応付けられるコマンドの例について説明する。
サムネイル画像などのアイテムには、例えば、図３９に示されるようなコマンドを対応付けることができる。
このコマンドは、Secondary video, Secondary audio、PiP PG TextST のうちのいずれか、もしくはこれらの全部のうち、表示されるべきものを設定するためのコマンドである。以下、このコマンドを、SetSecondaryStreamコマンドと称する。
SetSecondaryStreamコマンドのOperation Codeには、例えば、Operation Code１乃至４の4つのコードを用意することができ、Operation code 1は、Secondary video, Secondary audioおよびPiP PG TextSTを第３のレジスタ（GPR：General Purpose Register)に保持されている値によって定義するOperation codeであり、Operation code 2は、Secondary videoを、コマンド内によって指定する値によって定義するOperation codeであり、Operation code 3は、Secondary audioおよびPiP PG TextSTをコマンド内によって指定する値によって定義するOperation codeであり、Operation code 4は、Secondary video, Secondary audioおよびPiP PG TextSTをコマンド内によって指定する値によって定義するOperation codeである。
図３９のSetSecondaryStreamコマンドのうちのSecondary videoについて、図４０を用いて説明する。
Secondary_Video_flagが1である場合、第２のレジスタのSecondary Video Stream Numberは新しい値に設定される。Secondary_Video_flagが0の場合、第２のレジスタのSecondary Video Stream Numberは変更されない。
そして、disp_v_flagが１である場合、第２のレジスタのdisp_v_flagが1に設定される。disp_v_flagが０である場合、第２のレジスタのdisp_v_flagが0に設定される。
Secondary_Video_size_flagが１である場合、第２のレジスタのSecondary Video Sizeは新しい値に設定される。Secondary_Video_size_flagが０である場合、第２のレジスタのSecondary Video Sizeは変更されない。
そして、Secondary_Video_sizeは、第２のレジスタの Secondary Video Sizeの意味に同じである。
また、Secondary video stream number or GPR numberは、第２のレジスタのSecondary Video stream numberに設定される値であり、直接指定されるか、第３のレジスタであるGPRにて指定されるかのうちのいずれかとなる。
次に、図３９のSetSecondaryStreamコマンドのうちのSecondary audio & PiP PG TextSTについて、図４１を用いて説明する。
Secondary_Audio_flagが1である場合、第２のレジスタのSecondary Audio Stream Numberを新しい値に設定される。Secondary_Audio_flagが０である場合、第２のレジスタのSecondary Audio Stream Numberは変更されない。
disp_a_flagが1である場合、第２のレジスタのdisp_a_flagが1に設定される。disp_a_flagが０である場合、２のレジスタのdisp_a_flagが0に設定される。
そして、Secondary audio stream number or GPR numberは、第２のレジスタのSecondary Audio stream numberに設定される値であり、直接指定されるか、第３のレジスタGPRにて指定されるかのうちのいずれかである。
PiP_PG_textST_flagが1である場合、第１のレジスタのPiP PG TextST Stream Numberが新しい値に設定される。PiP_PG_textST_flagが０である場合、第１のレジスタのPiP PG TextST Stream Numberは変更されない。
disp_s_flagが1である場合、第１のレジスタのdisp_s_flagが1に設定される。disp_s_flagが０である場合、第１のレジスタのdisp_s_flagが0に設定される。
そして、PiP_PG_textST_valid_flagの値が1である場合、第１のレジスタのPiP_PG_textST_valid_flagが1に設定される。PiP_PG_textST_valid_flagの値が1である場合、第１のレジスタのPiP_PG_textST_valid_flagが0に設定される。
また、PiP PG TextST stream number or GPR numberは、第１のレジスタのPiP PG TextST stream numberに設定される値であり、直接指定されるか、第３のレジスタGPRにて指定されるかのうちのいずれかである。
次に、SetSecondaryStreamコマンドの具体的な使用例について、図４２を用いて説明する。
例えば、図４２に示されるように、SetSecondaryStreamコマンドのうちのSecondary videoについて、Secondary_Video_flagが1、disp_v_flagが１、Secondary_Video_size_flagが０、Secondary_Video_sizeが０、そして、Secondary video stream numberを１とし、さらに、SetSecondaryStreamコマンドのうちのSecondary audio & PiP PG TextSTについて、Secondary_Audio_flagが1、disp_a_flagが1、Secondary audio stream numberが１、PiP_PG_textST_flagが1、disp_s_flagが1、PiP_PG_textST_valid_flagの値が1、そして、PiP PG TextST stream numberの値を１としたSetSecondaryStreamのコマンドを用いて、それぞれのレジスタが設定され、その後、再生開始コマンド（以下、Link Markコマンド（Link MK）と称する。また、再生位置を変更するコマンドも、ここでは、再生開始コマンドと称する）が発行されて、再生処理がスタートされる場合、ピクチャインピクチャ再生が実行されるとともに、ピクチャインピクチャ用のSecondary videoのサイズの変更はなく、Secondary Audio、PiP PGのstream numberは、値が直接指定される。
このようなコマンドを発行することが可能なようにすることにより、ユーザが所望するピクチャインピクチャ表示における再生開始を指令することが可能となる。
具体的には、図３５を用いて説明したGUI表示画面３８１、図３６を用いて説明したGUI表示画面４２１、または、図３７および図３８を用いて説明したGUI表示画面４６１を含むビデオデータがＡＶデコーダ部２６から出力されて表示されているときに、ユーザにより、サムネイル画像３９１、サムネイル画像４０１、サムネイル画像４４２、サブタイムライン４７３、または、アイコン４７４などのいずれかのアイテムを選択する操作入力を受けた場合、操作入力取得部３５６は、いずれのアイテムが選択されたかを示す情報をコマンド発生部３４０に供給する。
コマンド発生部３４０は、操作入力取得部３５６から、いずれのアイテムが選択されたかを示す情報を得るとともに、コマンド情報取得部３５５により取得される選択されたアイテムに対応付けられているコマンドを示す情報に基づいて、ユーザが所望するPrimary VideoまたはPrimary Audio、もしくは、Secondary VideoまたはSecondary Audioの少なくともいずれかに対応するアイテムに対応付けられた、SetSecondaryStreamコマンドを発生するとともに、再生開始を指令するLink MKコマンドを発行する。
発行されたSetSecondaryStreamコマンドに応じて、アイテムに対応するSecondary Video、Secondary Audio、PG txtST/PiP PG txtSTのストリーム番号が、再生装置１のメモリ２３の対応するレジスタの値として設定される。
そして、ストリームデータ読み出し制御部３５７は、Link MKコマンドを受け、発生されたSetSecondaryStreamコマンドによりレジスタに設定されたそれぞれの設定値を基に、対応するClipに含まれるPrimary VideoおよびPrimary Audio、並びに、Secondary Video、および、必要に応じてSecondary Audio、PG txtST/PiP PG txtSTのストリームデータの読み出しを制御するとともに、読み出したストリームデータのAVデコーダ部２６への供給を制御する。
再生制御部３５８は、ストリームデータ読み出し制御部３５７の制御に基づいて、AVデコーダ部２６へ供給されたデータのデコード、合成、および再生出力を制御する。そして、ピクチャインピクチャ表示で、ユーザが指定した箇所から、コンテンツの再生が開始される。
これにより、メインパスのAVストリームのみならず、ユーザにより選択されたアイテムに対応する子画面が表示された状態、すなわち、ピクチャインピクチャアプリケーションの実行状態から、再生が開始される。
すなわち、このようにすることにより、例えば、ユーザが所望の再生開始時刻を設定し、メインムービーの再生を開始させる操作入力を行うとともに、ピクチャインピクチャ表示の実行を指令する操作入力を行うような複雑な操作を行うことなく、ユーザが直感的に認識しやすいようにして、ユーザの所望の再生開始位置から、ピクチャインピクチャ表示が実行された状態でのコンテンツの再生を指令することが可能となる。
次に、図４３のフローチャートを参照して、再生装置１において実行される再生処理について説明する。
なお、図４３のフローチャートにおいては、このGUI表示画面を表示させるために必要な、プレゼンテーショングラフィックスストリームまたはインタラクティブグラフィックスストリーム、もしくは、プログラム処理部１０３により処理されるプログラムは、ストリームの再生とは関係しないタイミングで、予め取得されるものとして説明する。
ステップＳ１において、PlayList読み出し制御部３５１は、記録媒体１１が装着されたか否かを判断する。ステップＳ１において、記録媒体１１が装着されたと判断されなかった場合、記録媒体１１が装着されたと判断されるまで、ステップＳ１の処理が繰り返される。
ステップＳ１において、記録媒体１１が装着されたと判断された場合、ステップＳ２において、GUIデータ読み出し制御部３５２は、記録媒体１１またはローカルストレージ２４から、このGUI表示画面を表示させるために必要な、プレゼンテーショングラフィックスストリームまたはインタラクティブグラフィックスストリーム、もしくは、プログラム処理部１０３により処理されるプログラムを取得する。
ステップＳ３において、操作入力取得部３５６は、ストリームの再生を指令する操作入力を取得したか否かを判断する。ステップＳ３において、ストリームの再生を指令する操作入力は取得されていないと判断された場合、処理は、後述するステップＳ６に進む。
ステップＳ３において、ストリームの再生を指令する操作入力を取得したと判断された場合、ステップＳ４において、PlayList読み出し制御部３５１は、装着された記録媒体１１からPlayListファイルを読み出し、取得したPlayListファイルに含まれるPlayItemおよびSubPlayItemに基づいて、対応するClipのClip_Information_file_nameを検出し、ストリームデータ読み出し制御部３５７に供給する。
ステップＳ５において、ストリームデータ読み出し制御部３５７は、PlayList読み出し制御部３５１から供給されたPlayListのClip_Information_file_nameを基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。再生制御部３５８は、AVデコーダ部２６へ供給されたデータのデコードおよび再生出力を制御する。
ステップＳ３において、ストリームの再生を指令する操作入力は取得されていないと判断された場合、または、ステップＳ５の処理の終了後、ステップＳ６において、操作入力取得部３５６は、GUI表示が指令されたか否かを判断する。ステップＳ６において、GUI表示が指令されていないと判断された場合、処理は、後述するステップＳ１３に進む。
ステップＳ６において、GUI表示が指令されたと判断された場合、ステップＳ７において、GUIデータ再生制御部３５３またはGUI描画制御部３５４、およびGUI表示制御部３５９は、例えば、図３５乃至図３８を用いて説明したようなGUI表示画面の表示を制御する。
具体的には、GUIデータ描画制御部３５３は、GUI表示画面のデータが、プログラム処理部１０３の処理により生成される画像データとして提供される場合、バッファ１０２に格納された対応するプログラムファイルのプログラム処理部１０３への供給と、プログラム処理部１０３におけるプログラムの実行、すなわち、GUI表示画面に対応する画像データの描画を制御する。また、GUIデータ再生制御部３５４は、GUI表示画面のデータが、PGまたはIGによって提供される場合、PlayListファイルに基づいて読み出された、GUI表示画面に対応するPGまたはIGのストリームデータのデコードを制御する。そして、GUI表示制御部３５９は、操作入力取得部３５６から供給されるユーザの操作入力に基づいて、GUI描画制御部３５３により描画が制御された、または、GUIデータ再生制御部３５４の処理により再生が制御されたGUI表示画面データの表示、すなわち、プログラマブルグラフィックスプレーン生成部１０４により生成されたプログラマブルグラフィックスプレーン、または、プレゼンテーショングラフィックスプレーン生成部９３により生成されたプレゼンテーショングラフィックスプレーンもしくはインタラクティブグラフィックスプレーン生成部９４により生成されたインタラクティブグラフィックスプレーンの表示を制御する。
ステップＳ８において、操作入力取得部３５６は、いずれかのSubPlayItemに対応するサムネイル等（いずれかのサムネイル画像４０１、サムネイル画像４４２、サブタイムライン４７３、または、アイコン４７４）を選択する操作入力を受けたか否かを判断する。ステップＳ８において、いずれかを選択する操作入力を受けたと判断された場合、処理は、後述するステップＳ１１に進む。
ステップＳ８において、いずれかを選択する操作入力を受けていないと判断された場合、ステップＳ９において、操作入力取得部３５６は、GUIの表示の終了が指令されたか否かを判断する。ステップＳ９において、GUIの表示の終了が指令されていないと判断された場合、処理は、ステップＳ６に戻り、それ以降の処理が繰り返される。
ステップＳ９において、GUIの表示の終了が指令されたと判断された場合、ステップＳ１０において、GUI表示制御部３５９は、ステップＳ６において表示されたGUIの表示を終了し、処理は、後述するステップＳ１３に進む。
ステップＳ８において、いずれかを選択する操作入力を受けたと判断された場合、ステップＳ１１において、図４４を用いて後述するコマンド取得処理が実行される。
そして、ステップＳ１２において、ストリームデータ読み出し制御部３５７は、コマンド取得処理により取得されたコマンドに基づいて、所定の再生開始位置からの、プライマリビデオおよびプライマリオーディオ、並びに、セカンダリビデオおよびセカンダリオーディオの読み出しを制御し、再生制御部３５８は、ピクチャインピクチャアプリケーション実行状態でのストリームの再生を制御する。
ステップＳ１０またはステップＳ１２の処理の終了後、ステップＳ１３において、操作入力取得部３５６は、処理の終了が指令されたか否かを判断する。ステップＳ１３において、処理の終了が指令されていないと判断された場合、処理は、ステップＳ６に戻り、それ以降の処理が繰り返される。ステップＳ１３において、処理の終了が指令されたと判断された場合、処理が終了される。
このような処理により、ＧＵＩ表示画面が表示されるので、ユーザは、複数のピクチャインピクチャアプリケーションの内容やメインストリームに対する再生位置などを、容易に明確に認識することができる。そして、ＧＵＩ表示画面を参照したユーザの操作入力を基に、ユーザが所望するピクチャインピクチャ表示状態でのストリームの再生を開始させることが可能となる。
次に、図４４のフローチャートを参照して、図４３のステップＳ１１において実行される、コマンド取得処理について説明する。
ステップＳ４１において、コマンド情報取得部３５５は、ユーザにより選択されたアイテムに対応するSetSecondaryStreamコマンドを取得し、コマンド発行部３４０は、対応するコマンドを発行する。
ステップＳ４２において、取得して発行されたSetSecondaryStreamコマンドに対応して、上述したレジスタの値が設定される。
ステップＳ４３において、コマンド情報取得部３５５は、再生開始コマンド（Link MK）を取得し、コマンド発行部３４０は、対応するコマンドを発行し、処理は、図４３のステップＳ１１に戻り、ステップＳ１２に進む。
このような処理により、ユーザが選択したアイテムに対応するコマンドが発行される。
以上説明したようにして、複数のビデオストリームが合成して再生される場合であっても、メインのストリームではなく、メインのストリームに合成されて再生されるストリームを容易に把握することができるようなGUI表示画面をユーザに提供することが可能となる。
特に、例えば、ピクチャインピクチャ表示の子画面に対応するサムネイルを単独で表示させるのみならず、メインムービー（プライマリビデオ）の映像を背景として共に表示したサムネイルを表示させたり、ピクチャインピクチャ表示の子画面に対応するサムネイルをメインムービーのサムネイルと対応させて表示するようにしたので、ユーザは、それぞれの子画面の映像が、メインムービー（プライマリビデオ）のいずれのシーンに対応しているかを、容易に明確に把握することが出来る。
また、GUI表示画面が、インタラクティブグラフィックスとして、もしくは、プログラム処理部１０３の処理により生成される画像データとして提供されている場合、インタラクティブグラフィックストリームまたはプログラム処理部１０３の処理により生成される画像データのアイコン、ボタン、サムネイル画像などのアイテムのそれぞれには、所定のコマンドを対応付けることができる。そして、これらのアイテムのうちのユーザが所望するものが選択されることにより、それぞれの再生時刻に対応する再生位置から、ピクチャインピクチャ表示状態で再生が開始されるようなコマンドが発行されるようにすることができる。
上述したように、画像データに直接コマンドが記載されるものとしても良いし、所定のコマンドライブラリから、対応するコマンドが呼び出されるようにしても良い。
いずれかのアイテムが選択された場合、再生装置１の各種設定を定義するレジスタの値が必要において変更、または、設定される。
したがって、ユーザは、所望のピクチャインピクチャアプリケーションを示すサムネイル画像などを選択決定するのみで、所望のピクチャインピクチャアプリケーションが実行された状態の再生を指令することができる。
すなわち、このGUI表示画面は、コンテンツの供給元、または、記録媒体の販売者など、いわゆる、コンテンツオーサが、設計し、デザインして、ユーザに提供することができるものであるとともに、ユーザが所望するアイテムに対応付けてコマンドを設定することが可能である。これにより、コンテンツオーサは、コンテンツの内容や、提供するピクチャインピクチャアプリケーションの内容に応じて、ユーザが効率よくピクチャインピクチャアプリケーションにより再生可能なセカンダリビデオまたはセカンダリオーディオを把握することができたり、所望のピクチャインピクチャアプリケーションの再生状態から、コンテンツの再生を指令することができるようなGUI表示画面をユーザに提供することができる。
次に、図４５および図４６を参照して、再生装置１において再生可能なデータが記録された記録媒体１１の製造方法について、記録媒体１１がディスク状の記録媒体だった場合を例として説明する。
即ち、図４５に示すように、例えばガラスなどよりなる原盤が用意され、その上に、例えばフォトレジストなどよりなる記録材料が塗布される。これにより、記録用原盤が製作される。
そして、図４６に示すように、ソフト製作処理部において、符号化装置（ビデオエンコーダ）で符号化された、再生装置１において再生可能な形式のビデオデータが、一時バッファに記憶され、オーディオエンコーダで符号化されたオーディオデータが、一時バッファに記憶されるとともに、更に、データエンコーダで符号化された、ストリーム以外のデータ（例えば、Indexes、PlayList、PlayItemなど）が一時バッファに記憶される。それぞれのバッファに記憶されたビデオデータ、オーディオデータ、および、ストリーム以外のデータは、多重化器（ＭＰＸ）で同期信号と共に多重化され、誤り訂正符号回路（ＥＣＣ）でエラー訂正用のコードが付加される。そして、変調回路（ＭＯＤ）で所定の変調がかけられ、所定のフォーマットにしたがって、例えば磁気テープなどに一旦記録され、再生装置１において再生可能な記録媒体１１に記録されるソフトウェアが製作される。
このソフトウェアを必要に応じて編集（プリマスタリング）し、光ディスクに記録すべきフォーマットの信号が生成される。そして、この記録信号に対応して、レーザビームが変調されて、このレーザビームが原盤上のフォトレジスト上に照射される。これにより、原盤上のフォトレジストが記録信号に対応して露光される。
その後、この原盤を現像し、原盤上にピットを出現させる。このようにして用意された原盤に、例えば電鋳等の処理を施し、ガラス原盤上のピットを転写した金属原盤を製作する。この金属原盤から、さらに金属スタンパを製作し、これを成形用金型とする。
この成形用金型に、例えばインジェクションなどによりＰＭＭＡ（アクリル）またはＰＣ（ポリカーボネート）などの材料を注入し、固定化させる。あるいは、金属スタンパ上に２Ｐ（紫外線硬化樹脂）などを塗布した後、紫外線を照射して硬化させる。これにより、金属スタンパ上のピットを、樹脂よりなるレプリカ上に転写することができる。
このようにして生成されたレプリカ上に、反射膜が、蒸着あるいはスパッタリングなどにより形成される。あるいはまた、生成されたレプリカ上に、反射膜が、スピンコートにより形成される。
その後、このディスクに対して内外径の加工が施され、２枚のディスクを張り合わせるなどの必要な処置が施される。さらに、ラベルを貼り付けたり、ハブが取り付けられて、カートリッジに挿入される。このようにして再生装置１によって再生可能なデータが記録された記録媒体１１が完成する。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図４７に示されるようなパーソナルコンピュータ５００により実行される。
図４７において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム格納媒体からインストールされる。
このプログラム格納媒体は、図４７に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、ドライブ５１０は、装着されたリムーバブルメディア５２１に記録されたデータを読み出すことができるのみならず、装着されたリムーバブルメディア５２１にデータを記録することができる。そして、パーソナルコンピュータ５００が、図４６を用いて説明したソフト製作処理部と同様の機能を有する（例えば、ＣＰＵ５０１を用いて、ソフト製作処理部と同様の機能を実現するためのプログラムを実行する）ことが可能であるのは言うまでもない。
すなわち、パーソナルコンピュータ５００は、図４６を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、ＣＰＵ５０１の処理により生成するか、または、外部の装置で生成された図４６を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、通信部５０９またはドライブ５１０に装着されたリムーバブルメディア５２１を介して取得することができる。そして、パーソナルコンピュータ５００は、生成または取得された図４６を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、ドライブ５１０に装着されたリムーバブルメディア５２１に記録する記録装置としての機能を実現することができる。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
従来の音声切り替えを説明する図である。 従来の音声切り替えを説明する図である。 MPEG２プログラムストリームの構成を説明する図である。 本発明を適用した再生装置に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。 メインパスとサブパスの構造を説明する図である。 メインパスとサブパスの例を説明する図である。 メインパスとサブパスの別の例を説明する図である。 再生装置で再生可能なデータのデータ構成例を説明する図である。 index.bdmvのシンタクスを示す図である。 indexesシンタクスを示す図である。 PlayListファイルのデータ構造ついて説明するための図である。 AppInfoPlayList()のシンタクスについて説明するための図である。 PlayList()のシンタクスを示す図である。 PlayItem()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 stream_entry()のシンタクスを示す図である。 stream_attribute()のシンタクスを示す図である。 stream_cording_typeを説明する図である。 video_formatを説明する図である。 frame_rateを説明する図である。 aspect_ratioを説明する図である。 audio_presentation_typeを説明する図である。 sampling_frequencyを説明する図である。 Character codeを説明する図である。 SubPath()のシンタクスを示す図である。 SubPath_typeを説明する図である。 SubPlayItem(i)のシンタクスを示す図である。 再生装置の構成を示すブロック図である。 図２９の再生装置のＡＶデコーダ部の構成を示すブロック図である。 ピクチャインピクチャ表示について説明するための図である。 第1のレジスタについて説明するための図である。 第２のレジスタについて説明するための図である。 図２９の再生装置のコントローラが有する機能を示す機能ブロック図である。 GUI表示画面について説明するための図である。 GUI表示画面について説明するための図である。 GUI表示画面について説明するための図である。 GUI表示画面について説明するための図である。 コマンドについて説明するための図である。 コマンドについて説明するための図である。 コマンドについて説明するための図である。 コマンドについて説明するための図である。 再生処理について説明するフローチャートである。 コマンド取得処理について説明するフローチャートである。 再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。 再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。 パーソナルコンピュータの構成を示す図である。
符号の説明
１ 再生装置， １１ 記録媒体， ２１ コントローラ， ２６ AVデコーダ部， ３０ OSD， ３２ スイッチ， ３３ ＡＶデコーダ部， ３４ コントローラ， ５１乃至５４ バッファ， ５５，５６ PIDフィルタ， ５７乃至５９ スイッチ， ７１ バックグラウンドデコーダ， ７２ ビデオデコーダ， ７３ プレゼンテーショングラフィックスデコーダ， ７４ インタラクティブグラフィックスデコーダ， ７５ オーディオデコーダ， ７６ Text-STコンポジション， ７７ スイッチ， ９１ バックグラウンドプレーン生成部， ９２ ビデオプレーン生成部， ９３ プレゼンテーショングラフィックスプレーン生成部， ９４ インタラクティブグラフィックスプレーン生成部， ９５ バッファ ９６ ビデオデータ処理部， ９７ ミキシング処理部， １０１ ミキシング処理部， １０２ バッファ， １０３ プログラム処理部， １０４ プログラマブルグラフィックスプレーン生成部， ３５１ PlayList読み出し制御部， ３５２ GUIデータ読み出し制御部， ３５３ GUIデータ描画制御部， ３５４ GUIデータ再生制御部３５８ コマンド情報取得部， ３５６ 操作入力取得部３５６， ３５７ ストリームデータ読み出し制御部， ３５８ 再生制御部， ３５９ GUI表示制御部， ３４０ コマンド発生部， ３８１ GUI表示画面，３９１，４０１ サムネイル画像， ４０２ サムネイル画像内子画面， ４２１ GUI表示画面， ４４１，４４２ サムネイル画像， ４６１ GUI表示画面， ４７１ メインタイムライン， ４７２ スライダ， ４７３ サブタイムライン， ４７４ アイコン

Claims (11)

  1. ストリームの再生を制御する情報処理装置において、
    記録媒体から前記ストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータを取得する情報取得手段と、
    前記情報取得手段により取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示を制御する表示制御手段と、
    前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面を含むメイン画面の画像として再生するように、前記ストリームの再生を制御する再生制御手段と
    を備え、
    前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である
    情報処理装置。
  2. 前記ユーザの操作入力を受ける操作入力取得手段と、
    前記ストリームの再生を制御する再生制御コマンドの発生を制御するコマンド発生手段と
    を更に備え、
    前記操作入力取得手段により、前記ユーザにより前記副のストリームに対応する情報のうちのいずれかが選択されたことを示す操作入力が取得された場合、前記コマンド発生手段は、選択された前記情報に対応する前記副のストリームの画像を前記サブ画面の画像として再生し、その副のストリームに対応する主のストリームの画像を前記メイン画面の画像として再生するように、前記ストリームの再生を制御する前記再生制御コマンドを発生し、
    前記再生制御手段は、前記再生制御コマンドに基づいて前記ストリームの再生を制御する
    請求項１に記載の情報処理装置。
  3. 前記ストリームの再生に関する設定情報を保持する保持手段を更に備え、
    前記コマンド発生手段は、前記再生制御コマンドとして、前記保持手段により保持される前記設定情報を設定するためのコマンドを発生した後、前記ストリームの再生を開始させるコマンドを発生し、
    前記再生制御手段は、前記ストリームの再生を開始させるコマンドに応じて、前記保持手段に保持されている前記設定情報に基づいて前記ストリームの再生を制御する
    請求項２に記載の情報処理装置。
  4. 前記表示画面には、前記再生制御コマンドが対応付けられる
    請求項２に記載の情報処理装置。
  5. 前記ストリームの再生に関する設定情報を保持する保持手段を更に備え、
    前記コマンド発生手段は、前記再生制御コマンドとして、前記保持手段により保持される前記設定情報を設定するためのコマンドを発生した後、前記ストリームの再生を開始させるコマンドを発生し、
    前記再生制御手段は、前記ストリームの再生を開始させるコマンドに応じて、前記保持手段に保持されている前記設定情報に基づいて前記ストリームの再生を制御する
    請求項４に記載の情報処理装置。
  6. 前記表示画面は、前記主のストリームの画像のうちの少なくとも一部も含む
    請求項１に記載の情報処理装置。
  7. 前記情報取得手段により取得された前記表示画面を表示させるためのデータを基に、前記表示画面の画像データを生成する処理を実行する表示画面データ生成手段を更に備え、
    前記表示画面を表示させるためのデータは、前記表示画面の画像を描画する処理を実行させるプログラムであり、
    前記表示画面データ生成手段は、前記プログラムを実行することにより、前記表示画面の画像データを生成し、
    前記表示制御手段は、前記表示画面の画像データを基に前記表示画面の表示を制御する
    請求項１に記載の情報処理装置。
  8. ストリームの再生を制御する情報処理装置の情報処理方法において、
    前記情報処理装置が、記録媒体から前記ストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータを取得し、
    前記情報処理装置が、取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示を制御し、
    前記情報処理装置が、前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面を含むメイン画面の画像として再生するように、前記ストリームの再生を制御する
    ステップを含み、
    前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である
    情報処理方法。
  9. 前記情報処理装置は、前記ユーザの操作入力を受ける操作入力取得手段を備え、
    前記情報処理方法は、
    前記情報処理装置が、前記ストリームの再生を制御する再生制御コマンドの発生を制御するコマンド発生ステップ
    をさらに含み、
    前記操作入力取得手段により、前記ユーザにより前記副のストリームに対応する情報のうちのいずれかが選択されたことを示す操作入力が取得された場合、前記コマンド発生ステップでは、前記情報処理装置が、選択された前記情報に対応する前記副のストリームの画像を前記サブ画面の画像として再生し、その副のストリームに対応する主のストリームの画像を前記メイン画面の画像として再生するように、前記ストリームの再生を制御する前記再生制御コマンドを発生し、
    前記再生制御ステップでは、前記情報処理装置が、前記再生制御コマンドに基づいて前記ストリームの再生を制御し、
    前記表示画面には、前記再生制御コマンドが対応付けられている
    請求項８に記載の情報処理方法。
  10. ストリームの再生を制御する情報処理装置を制御するコンピュータに、
    記録媒体から前記ストリームの主の再生パスとは異なる１つまたは複数の副の再生パスに基づいて再生可能な副のストリームをユーザが把握するための補助となる表示画面を表示させるためのデータを取得し、
    取得された前記データを基に、前記副のストリームに対応する情報を含む前記表示画面の表示を制御し、
    前記表示画面に含まれる前記情報のうちの前記ユーザにより選択された情報に対応する前記副のストリームの画像をサブ画面の画像として再生し、その副のストリームに対応する前記主の再生パスにより再生される主のストリームの画像を、前記サブ画面を含むメイン画面の画像として再生するように、前記ストリームの再生を制御する
    ステップを含む処理を実行させるためのプログラムであり、
    前記副のストリームに対応する情報は、その副のストリームの画像を前記サブ画面とし、その副のストリームに対応する主のストリームの画像を前記メイン画面とした画像を縮小したサムネイル画像である
    プログラム。
  11. 前記情報処理装置は、前記ユーザの操作入力を受ける操作入力取得手段を備え、
    前記処理は、
    前記ストリームの再生を制御する再生制御コマンドの発生を制御するコマンド発生ステップ
    をさらに含み、
    前記操作入力取得手段により、前記ユーザにより前記副のストリームに対応する情報のうちのいずれかが選択されたことを示す操作入力が取得された場合、前記コマンド発生ステップでは、選択された前記情報に対応する前記副のストリームの画像を前記サブ画面の画像として再生し、その副のストリームに対応する主のストリームの画像を前記メイン画面の画像として再生するように、前記ストリームの再生を制御する前記再生制御コマンドを発生し、
    前記再生制御ステップでは、前記再生制御コマンドに基づいて前記ストリームの再生を制御し、
    前記表示画面には、前記再生制御コマンドが対応付けられている
    請求項１０に記載のプログラム。
JP2006173678A 2006-06-23 2006-06-23 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体 Expired - Fee Related JP4821456B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006173678A JP4821456B2 (ja) 2006-06-23 2006-06-23 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006173678A JP4821456B2 (ja) 2006-06-23 2006-06-23 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2008005289A JP2008005289A (ja) 2008-01-10
JP2008005289A5 JP2008005289A5 (ja) 2009-08-06
JP4821456B2 true JP4821456B2 (ja) 2011-11-24

Family

ID=39009303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006173678A Expired - Fee Related JP4821456B2 (ja) 2006-06-23 2006-06-23 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4821456B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3717880B2 (ja) * 2002-10-01 2005-11-16 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
WO2005011273A1 (ja) * 2003-06-18 2005-02-03 Matsushita Electric Industrial Co., Ltd. 再生装置、記録媒体、プログラム、再生方法
US7609947B2 (en) * 2004-09-10 2009-10-27 Panasonic Corporation Method and apparatus for coordinating playback from multiple video sources

Also Published As

Publication number Publication date
JP2008005289A (ja) 2008-01-10

Similar Documents

Publication Publication Date Title
JP4770601B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
KR101244148B1 (ko) 데이터 생성 방법, 기록 장치, 기록 방법, 저장 매체, 재생 장치 및 재생 방법
JP4923751B2 (ja) 再生装置、並びに記録媒体及びその製造方法
JP4968506B2 (ja) 再生装置、再生方法、およびプログラム
JP4251298B2 (ja) 再生装置および再生方法、プログラム、プログラム格納媒体、データ、記録媒体、記録装置、および、記録媒体の製造方法
JP4822081B2 (ja) 再生装置、再生方法、および記録媒体
JP4849343B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP4720676B2 (ja) 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
JP4821456B2 (ja) 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体
JP4968562B2 (ja) 再生装置、再生方法、および記録方法
JP2008193604A (ja) 再生装置および方法、並びにプログラム
JP2008052836A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP5234144B2 (ja) 再生装置、並びに記録媒体及びその製造方法
JP4900708B2 (ja) 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP5201428B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110822

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees