JP4720676B2 - 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体 - Google Patents

情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体 Download PDF

Info

Publication number
JP4720676B2
JP4720676B2 JP2006228737A JP2006228737A JP4720676B2 JP 4720676 B2 JP4720676 B2 JP 4720676B2 JP 2006228737 A JP2006228737 A JP 2006228737A JP 2006228737 A JP2006228737 A JP 2006228737A JP 4720676 B2 JP4720676 B2 JP 4720676B2
Authority
JP
Japan
Prior art keywords
stream
path
reproduction
display
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006228737A
Other languages
English (en)
Other versions
JP2008054081A (ja
Inventor
しのぶ 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006228737A priority Critical patent/JP4720676B2/ja
Publication of JP2008054081A publication Critical patent/JP2008054081A/ja
Application granted granted Critical
Publication of JP4720676B2 publication Critical patent/JP4720676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明は、情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体に関し、特に、複数のビデオストリームが合成されて表示可能なようになされている場合に用いて好適な、情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体に関する。
DVD（Digital Versatile Disc）ビデオの規格においては、記録媒体に記録されている映画などのＡＶ（Audio Visual）コンテンツを再生する場合、ユーザに、音声切り替えや字幕切り替えというインタラクティブな操作を提供している（例えば、非特許文献１参照）。具体的には、図１の表示装置１に表示されているＡＶコンテンツに対して、ユーザは、リモートコントローラ２の音声切り替えボタン１１や字幕切り替えボタン１２を操作することで、音声の切り替えや字幕を切り替える。例えば、音声１が初期状態として設定されており、ユーザによりリモートコントローラ２の音声切り替えボタン１１が操作された場合、図２に示されるように、音声１が音声２に切り替えられる。
DVDビデオ上のＡＶコンテンツは、MPEG（Moving Picture Experts Group）２プログラムストリームの形式で記録されている。このMPEG２プログラムストリームには、図３に示されるように、ビデオストリーム（図３のビデオ）、複数のオーディオストリーム（図３のオーディオ１，２，３）、および複数のサブピクチャストリーム（図３のサブピクチャ１，２，３）が、ビデオストリームにＡＶ同期して再生されるように多重化されている。サブピクチャストリーム（サブピクチャ１，２，３）は、ビットマップ画像がランレングス符号化されたストリームであり、主に字幕用途に用いられる。
一般に、複数のオーディオストリームは、異なる言語の音声を記録するために用いられ、複数のサブピクチャストリームは、異なる言語の字幕を記録するために用いられる。ユーザは、ビデオが再生されている場合、インタラクティブに所望の言語の音声や字幕を、リモートコントローラ２を用いて選択することができる。
DVD Specifications for Read-Only Disc Part 3;Version1.1
また、追加して記録された音声（例えば、いわゆるアフレコと称される音声）を再生するために、Sub pathが用いられている技術がある（例えば、特許文献１）。
特開２０００−１５８９７２号公報
また、ＤＶＤに設けられているアングルブロックを再生させるにあたって、ディスクの再生処理の開始前に、このディスクに存在するアングルブロックごとにセルの選択を行えるようにされている技術がある（例えば、特許文献２）。
特許３５０３８２０号公報
特許文献１に記載の技術では、たしかに、追加して記録された音声（例えば、いわゆるアフレコと称される音声）を再生するために、Sub pathが用いられているが、２つの同一の種類のストリーム、すなわち、２つのオーディオストリームや２つのビデオストリームを合成して再生するための構成についてはなんら開示されていない。
また、特許文献２に記載の技術では、確かに、再生されるアングルブロックのセルの設定をディスクの再生前に行われるようになされているが、２つの同一の種類のストリーム、すなわち、２つのオーディオストリームや２つのビデオストリームを合成して再生する場合については考慮されていなかった。
すなわち、従来の技術においては、複数のビデオストリームが合成して再生される場合に、ユーザが、メインのストリームに合成されて再生可能なストリームが複数存在する場合、そこから、再生されるストリームを容易に指令することはできなかった。
本発明はこのような状況に鑑みてなされたものであり、複数のビデオストリームが合成して再生される場合であっても、メインのストリームに合成されて再生可能なストリームの再生を容易に指令することができるようにするものである。
本発明第１の側面の情報処理装置は、ストリームの再生を制御する情報処理装置であって、前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パスと、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報を表示させるために必要な情報を取得する情報取得手段と、前記表示情報の表示を制御する情報表示制御手段と、前記ユーザの操作入力を受ける操作入力取得手段と、前記操作入力取得手段により取得された前記ユーザの操作入力を基に、前記主の再生パスに対応するストリームの再生を制御するとともに、必要に応じて、前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を制御するストリーム再生制御手段とを備え、前記情報表示制御手段は、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報の表示を制御し、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合、前記情報表示制御手段は、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報の表示を制御し、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力を取得した場合、前記ストリーム再生制御手段は、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御する。
前記表示情報の表示を制御する所定のコマンドを発生するコマンド発生手段を更に備えさせるようにすることができ、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合、前記コマンド発生手段には、前記情報表示制御手段に前記第２の表示情報の表示を制御させるためのコマンドを発生させるようにすることができる。
前記ストリームの再生を制御する所定のコマンドを発生するコマンド発生手段を更に備えさせるようにすることができ、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力を取得した場合、前記コマンド発生手段には、前記ストリーム再生制御手段に前記第２の副の再生パスに対応するストリームの再生を制御させるためのコマンドを発生させるようにすることができる。
前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合、前記ストリーム再生制御手段には、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生を制御させるようにすることができる。
前記ストリームの再生を制御する所定のコマンドを発生するコマンド発生手段を更に備えさせるようにすることができ、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合、前記コマンド発生手段には、前記ストリーム再生制御手段に、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生を制御させるためのコマンドを発生させるようにすることができる。
前記情報表示制御手段には、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生が予定されていることを示す第３の表示情報の表示を更に制御させるようにすることができる。
前記ストリーム再生制御手段により、前記主の再生パスとともに前記副の再生パスに対応するストリームの再生が制御されるとき、前記情報表示制御手段には、前記ユーザが前記主の再生パスとともに再生可能な他の前記副の再生パスに対応するストリームの再生を指令する操作を入力するための補助となる第３の表示情報の表示を更に制御させるようにすることができ、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第３の表示情報を参照した前記ユーザによる他の前記副の再生パスを選択決定する操作入力を取得した場合、前記ストリーム再生制御手段には、前記ユーザにより選択された他の前記副の再生パスに対応するストリームの再生を制御させるようにすることができる。
本発明の第１の側面の情報処理方法は、ストリームの再生を制御する情報処理装置の情報処理方法であって、前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パスと、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとの２種類の副の再生パスとのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報を表示させるために必要な情報を取得し、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報の表示を制御し、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力が取得された場合、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報の表示を制御し、前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力が取得された場合、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御するステップを含む。
本発明の第１の側面のプログラムは、ストリームの再生を制御する処理をコンピュータに実行させるためのプログラムであって、前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パスと、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとの２種類の副の再生パスとのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報を表示させるために必要な情報の取得を制御し、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報の表示を制御し、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力が取得された場合、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報の表示を制御し、前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力が取得された場合、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御するステップを含む処理をコンピュータに実行させる。
本発明の第１の側面においては、ストリームの主の再生パスとともに再生可能な主の再生パスとは異なる１つまたは複数の副の再生パスであって、主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パスと、主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとの２種類の副の再生パスとのうち、所望の第１の副の再生パスまたは第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報を表示させるために必要な情報が取得され、取得された表示情報を表示させるために必要な情報を基に、ユーザが、第１の副の再生パスおよび第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報が表示され、第１の表示情報を参照したユーザによる第２の副の再生パスを選択決定する操作入力が取得された場合、取得された表示情報を表示させるために必要な情報を基に、ユーザが、選択決定された第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報が表示され、第２の表示情報を参照したユーザによる第２の副の再生パスに対応するストリームの再生開始を指令する操作入力が取得された場合、ユーザにより選択された第２の副の再生パスに対応するストリームが再生される。
本発明の第２の側面のデータ構造は、再生装置において再生可能なストリームを含むデータ構造であって、前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報と、前記主の再生パスに基づいて再生可能な主のストリームと、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとに基づいて再生可能な副のストリームと、ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報を表示させるために必要な第１の情報と、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報を表示させるために必要な第２の情報とを含む。
前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生が予定されていることを示す第３の表示情報を表示させるために必要な第３の情報を更に含ませるようにすることができる。
前記主の再生パスに対応するストリームとともに前記副の再生パスに対応するストリームの再生が制御されるときに表示させる表示情報であって、前記ユーザが前記主の再生パスに対応するストリームとともに再生可能な他の前記副の再生パスに対応するストリームの再生を指令する操作を入力するための補助となる第３の表示情報を表示させるために必要な第３の情報を更に含ませるようにすることができる。
本発明の第２の側面の記録媒体は、再生装置において再生可能なストリームを含むデータが記録された記録媒体であって、前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報と、前記主の再生パスに基づいて再生可能な主のストリームと、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとに基づいて再生可能な副のストリームと、ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報を表示させるために必要な第１の情報と、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報を表示させるために必要な第２の情報とを含むデータが記録されている。
本発明の第２の側面の記録媒体の製造方法は、再生装置において再生可能なストリームを含むデータが記録された記録媒体の製造方法であって、前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報と、前記主の再生パスに基づいて再生可能な主のストリームと、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとに基づいて再生可能な副のストリームと、ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報を表示させるために必要な第１の情報と、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報を表示させるために必要な第２の情報とを含むデータ構造を有するデータを生成し、生成されたデータを記録媒体に記録するステップを含む。
本発明の第２の側面においては、ストリームの主の再生パスと、主の再生パスとは異なる１つまたは複数の副の再生パスとを用いてストリームの再生を管理する再生管理情報と、主の再生パスに基づいて再生可能な主のストリームと、主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス、または、主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとに基づいて再生可能な副のストリームと、ユーザが、第１の副の再生パスまたは第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報を表示させるために必要な第１の情報と、第１の表示情報を参照したユーザによる第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、ユーザが、選択決定された第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報を表示させるために必要な第２の情報とを含むデータがユーザに提供される。
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
再生装置は、独立した装置であっても良いし、記録再生装置や情報処理装置の再生処理を行うブロックであっても良い。
以上のように、本発明の第１の側面によれば、主の再生パスおよび副の再生パスを基にストリームを再生させることができ、特に、ユーザが、複数の副の再生パスのうちの所望の副の再生パスを選択し、選択された副の再生パスが主の再生パスに足して非同期であった場合、その再生開始を指令する操作を入力するための補助となる表示情報を表示させることができるので、ユーザが所望する非同期の副の再生パスをユーザの所望のタイミングで再生させることができる。
また、第２の側面によれば、再生装置において再生可能なストリームを含むデータをユーザに提供することができ、特に、ユーザが、複数の副の再生パスのうちの所望の副の再生パスを選択し、選択された副の再生パスが主の再生パスに足して非同期であった場合、その再生開始を指令する操作を入力するための補助となる表示情報を表示させるためのデータをユーザに提供することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の情報処理装置は、ストリームの再生を制御する情報処理装置（例えば、再生装置１）であって、前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス（例えば、同期型ＰｉＰ）と、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パス（例えば、非同期型ＰｉＰ）とのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報（例えば、図３５のPiPメニュー画面２６１または図３６のストリーム選択ウィンドウ２８１、もしくは、各種ボタン、サムネイル、アイコンなど）を表示させるために必要な情報（例えば、ＰＧ，ＩＧ，または、プログラム）を取得する情報取得手段（例えば、図４６のＧＵＩデータ読み出し制御部３５２）と、前記表示情報の表示を制御する情報表示制御手段（例えば、図４６のＧＵＩ表示制御部３５９）と、前記ユーザの操作入力を受ける操作入力取得手段（例えば、図４６の操作入力取得部３５６）と、前記操作入力取得手段により取得された前記ユーザの操作入力を基に、前記主の再生パスに対応するストリームの再生を制御するとともに、必要に応じて、前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を制御するストリーム再生制御手段（例えば、図４６の再生制御部３５８）とを備え、前記情報表示制御手段は、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報（例えば、ストリーム選択ウィンドウ２８１）の表示を制御し、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合、前記情報表示制御手段は、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報（例えば、表示開始ボタン３０３）の表示を制御し、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力を取得した場合、前記ストリーム再生制御手段は、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御する。
前記表示情報の表示を制御する所定のコマンドを発生するコマンド発生手段（例えば、図４６のコマンド発生部３４０）を更に備えることができ、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合、前記コマンド発生手段は、前記情報表示制御手段に前記第２の表示情報の表示を制御させるためのコマンドを発生することができる。
前記ストリームの再生を制御する所定のコマンドを発生するコマンド発生手段（例えば、図４６のコマンド発生部３４０）を更に備えることができ、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力を取得した場合、前記コマンド発生手段は、前記ストリーム再生制御手段に前記第２の副の再生パスに対応するストリームの再生を制御させるためのコマンドを発生することができる。
前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合、前記ストリーム再生制御手段は、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生を制御することができる。
前記ストリームの再生を制御する所定のコマンドを発生するコマンド発生手段（例えば、図４６のコマンド発生部３４０）を更に備えることができ、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合、前記コマンド発生手段は、前記ストリーム再生制御手段に、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生を制御させるためのコマンドを発生することができる。
前記情報表示制御手段は、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生が予定されていることを示す第３の表示情報（例えば、図３５のアイコン３０２）の表示を更に制御することができる。
前記ストリーム再生制御手段により、前記主の再生パスとともに前記副の再生パスに対応するストリームの再生が制御されるとき、前記情報表示制御手段は、前記ユーザが前記主の再生パスとともに再生可能な他の前記副の再生パスに対応するストリームの再生を指令する操作を入力するための補助となる第３の表示情報（例えば、図４１または図４２の再生開始ボタン３１１乃至３１３）の表示を更に制御することができ、前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第３の表示情報を参照した前記ユーザによる他の前記副の再生パスを選択決定する操作入力を取得した場合、前記ストリーム再生制御手段は、前記ユーザにより選択された他の前記副の再生パスに対応するストリームの再生を制御することができる。
本発明の第１の側面の情報処理方法は、ストリームの再生を制御する情報処理装置（例えば、再生装置１）の情報処理方法であって、前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス（例えば、同期型ＰｉＰ）と、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パス（例えば、非同期型ＰｉＰ）との２種類の副の再生パスとのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報（例えば、図３５のPiPメニュー画面２６１または図３６のストリーム選択ウィンドウ２８１、もしくは、各種ボタン、サムネイル、アイコンなど）を表示させるために必要な情報（例えば、ＰＧ，ＩＧ，または、プログラム）を取得し（例えば、図５１のステップＳ２の処理）、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報（例えば、ストリーム選択ウィンドウ２８１）の表示を制御し（例えば、図５１のステップＳ４または図５２のステップＳ２２の処理）、
前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力が取得された場合、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報（例えば、表示開始ボタン３０３）の表示を制御し（例えば、図５２のステップＳ１６の処理）、前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力が取得された場合、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御する（例えば、図５２のステップＳ１９の処理）ステップを含む。
本発明の第１の側面のプログラムは、ストリームの再生を制御する処理をコンピュータに実行させるためのプログラムであって、前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス（例えば、同期型ＰｉＰ）と、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パス（例えば、非同期型ＰｉＰ）との２種類の副の再生パスとのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報（例えば、図３５のPiPメニュー画面２６１または図３６のストリーム選択ウィンドウ２８１、もしくは、各種ボタン、サムネイル、アイコンなど）を表示させるために必要な情報（例えば、ＰＧ，ＩＧ，または、プログラム）の取得を制御し（例えば、図５１のステップＳ２の処理）、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報（例えば、ストリーム選択ウィンドウ２８１）の表示を制御し（例えば、図５１のステップＳ４または図５２のステップＳ２２の処理）、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力が取得された場合、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報（例えば、表示開始ボタン３０３）の表示を制御し（例えば、図５２のステップＳ１６の処理）、前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力が取得された場合、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御する（例えば、図５２のステップＳ１９の処理）ステップを含む処理をコンピュータに実行させる。
本発明の第２の側面のデータ構造は、再生装置において再生可能なストリームを含むデータ構造であって、前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報（例えば、PlayList）と、前記主の再生パスに基づいて再生可能な主のストリームと、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス（例えば、同期型ＰｉＰ）、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パス（例えば、非同期型ＰｉＰ）とに基づいて再生可能な副のストリームと、ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報（例えば、ストリーム選択ウィンドウ２８１）を表示させるために必要な第１の情報（例えば、ＩＧ，または、プログラム）と、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報（例えば、表示開始ボタン３０３）を表示させるために必要な第２の情報（例えば、メインパスに多重化されているＩＧ）とを含む。
前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生が予定されていることを示す第３の表示情報（例えば、図３８のアイコン３０２）を表示させるために必要な第３の情報（例えば、ＰＧまたはＩＧ）を更に含むことができる。
前記主の再生パスに対応するストリームとともに前記副の再生パスに対応するストリームの再生が制御されるときに表示させる表示情報であって、前記ユーザが前記主の再生パスに対応するストリームとともに再生可能な他の前記副の再生パスに対応するストリームの再生を指令する操作を入力するための補助となる第３の表示情報（例えば、図４１または図４２の再生開始ボタン３１１乃至３１３）を表示させるために必要な第３の情報（例えば、サブパスに多重化されているＩＧ）を更に含むことができる。
本発明の第２の側面の記録媒体は、再生装置において再生可能なストリームを含むデータが記録された記録媒体であって、前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報（例えば、PlayList）と、前記主の再生パスに基づいて再生可能な主のストリームと、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス（例えば、同期型ＰｉＰ）、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パス（例えば、非同期型ＰｉＰ）とに基づいて再生可能な副のストリームと、ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報（例えば、ストリーム選択ウィンドウ２８１）を表示させるために必要な第１の情報（例えば、ＩＧ，または、プログラム）と、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報（例えば、表示開始ボタン３０３）を表示させるために必要な第２の情報（例えば、メインパスに多重化されているＩＧ）とを含むデータが記録されている。
本発明の第２の側面の記録媒体の製造方法は、再生装置において再生可能なストリームを含むデータが記録された記録媒体の製造方法であって、前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報（例えば、PlayList）と、前記主の再生パスに基づいて再生可能な主のストリームと、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス（例えば、同期型ＰｉＰ）、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パス（例えば、非同期型ＰｉＰ）とに基づいて再生可能な副のストリームと、ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報（例えば、ストリーム選択ウィンドウ２８１）を表示させるために必要な第１の情報（例えば、ＩＧ，または、プログラム）と、前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報（例えば、表示開始ボタン３０３）を表示させるために必要な第２の情報（例えば、メインパスに多重化されているＩＧ）とを含むデータ構造を有するデータを生成し、生成されたデータを記録媒体に記録するステップを含む。
以下、図を参照して、本発明の実施の形態について説明する。
図４は、本発明を適用した再生装置（図２９を参照して後述する）のローカルストレージ(例えば、ハードディスクやメモリなど)上の、または、装着される記録媒体上のアプリケーションフォーマットの例を示す図である。記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよい。
アプリケーションフォーマットは、ＡＶ（Audio Visual）ストリームの管理のために、PlayListとClipの２つのレイヤを有している。ここでは、ＡＶストリームとそれに付随する情報であるクリップインフォメーション（Clip Information）のペアを１つのオブジェクトと考え、それらをまとめてClipと称する。以下、ＡＶストリームをＡＶストリームファイルとも称する。なお、AVストリームファイルには、音声データや映像データ以外にも、これらのデータとともに再生される各種のストリームファイルが含まれていてもよい。また、ClipインフォメーションをClipインフォメーションファイルとも称する。
一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、ＡＶストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、ＡＶストリームの管理のためのレイヤである。
Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、Clip Informationファイルは、タイムスタンプから、ＡＶストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。
PlayListは、ＡＶストリームの再生区間の集まりである。あるＡＶストリーム中の１つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のＩＮ点（再生開始点）とOUT点（再生終了点）のペアで表される。従って、PlayListは、図４に示されるように１つ、または複数のPlayItemにより構成される。
図４において、左から１番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームの前半部分と後半部分がそれぞれ参照されている。また、左から２番目のPlayListは１つのPlayItemから構成され、それにより、右側のClipに含まれるＡＶストリーム全体が参照されている。さらに、左から３番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームのある部分と、右側のClipに含まれるＡＶストリームのある部分がそれぞれ参照されている。
例えば、図４のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から１番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるＡＶストリームの前半部分の再生が行われる。このように、PlayListは、ＡＶストリームファイルの再生を管理するための再生管理情報として用いられる。
ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、ディスクナビゲーションプログラムは、PlayList再生に関する処理以外に、例えば、後述するピクチャインピクチャ（ＰｉＰ）表示画面の表示をユーザが設定するためのメニュー画面（GUI表示画面）などを表示する機能を提供することができるようにしても良い。
このディスクナビゲーションプログラムは、例えば、Java（登録商標）などのプログラミング言語で記述され、記録媒体上に用意されたり、または、例えば、ネットワークもしくは他の記録媒体を介して、再生装置に供給される。これらのプログラムが、ネットワークまたは他の記録媒体を介して、再生装置に供給される場合、これらのプログラムは、所定の記録媒体を再生する場合に利用されるプログラムとして（例えば、記録媒体を特定する情報を含んで）、再生装置に供給され、記憶される。
本実施の形態では、PlayListの中で、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに並行（並列）して、１つ以上のSub Pathの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られる再生パスをサブパス（Sub Path）と称する。すなわち、再生装置（図２９を参照して後述する）内部のローカルストレージ上の、または、装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて（合わせて）再生されるサブパス(Sub Path)をPlayListの中に持つことが可能である。
図５は、メインパスとサブパスの構造を説明する図である。PlayListは、１つのメインパスと１つ以上のサブパスを持つことができる。１つのメインパスは、１つ以上のPlayItemの並びによって作られ、１つのサブパスは、１つ以上のSubPlayItemの並びによって作られる。
図５の例の場合、PlayListは、３つのPlayItemの並びにより作られる１つのメインパスと、３つのサブパスを有している。メインパスを構成するPlayItemには、先頭から順番にそれぞれＩＤ（Identification）が付されている。具体的には、メインパスは、PlayItem_id＝０、PlayItem_id＝１、およびPlayItem_id＝２のPlayItemからなる。また、サブパスにも先頭から順番にSubpath_id＝０、Subpath_id＝１、およびSubpath_id＝２、とそれぞれＩＤが付されている。Subpath_id＝０のサブパスには、１つのSubPlayItemが含まれ、Subpath_id＝１のサブパスには、２つのSubPlayItemが含まれ、Subpath_id＝２のサブパスには、１つのSubPlayItemが含まれる。
Subpath_id＝０のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、Mainpathにより参照されるＡＶストリームファイルのオーディオストリームに替えて再生される場合が考えられる。また、Subpath_id＝１のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画のディレクターズカットと想定され、Main Pathにより参照されるＡＶストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合が考えられる。
１つのPlayItemが参照するClip ＡＶストリームファイルには、少なくともビデオストリームデータ（メイン画像データ）が含まれる。また、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリーム（メイン画像データ）と同じタイミングで（同期して）再生されるオーディオストリームが１つ以上含まれてもよいし、含まれなくてもよい。さらに、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリーム（Presentation Graphic stream）が１つ以上含まれてもよいし、含まれなくてもよい。また、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが１つ以上含まれてもよいし、含まれなくてもよい。そして、Clip ＡＶストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。すなわち、１つのPlayItemが参照するClip ＡＶストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される０個以上のオーディオストリーム、０個以上のビットマップ字幕ストリームデータ、および０個以上のインタラクティブグラフィックスストリームデータとが多重化されている。
すなわち、１つのPlayItemが参照するClip ＡＶストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリームファイル、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。
また、１つのSubPlayItemは、PlayItemが参照するClip ＡＶストリームファイルとは異なるストリーム（別ストリーム）の、ビデオストリーム、オーディオストリーム、または、字幕データなどを参照する。
メインパスのみを有するPlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中から音声や字幕を選択することのみが可能である。これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClip ＡＶストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリーム、または、サブパスのストリームとして用意された所定のメニューのデータ（GUI表示画面データ）を選択して再生させることができる。
このように、１つのPlayListの中にSubPathを複数含め、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いＡＶストリームを実現することができる。すなわち、MainPathで参照されるClip ＡＶストリームに加えて、後で、SubPlayItemを追加できる構成とすることができる。
図６は、メインパスとサブパスの例を説明する図である。図６においては、メインパスと同じタイミングで（ＡＶ同期して）再生されるオーディオの再生パスを、サブパスを使用して表している。
図６のPlayListには、メインパスとして、PlayItem_id＝０である１つのPlayItemと、サブパスとして１つのSubPlayItemが含まれている。メインパスのPlayItem_id＝０である１つのPlayItem()は、メインClipＡＶストリームを参照している。SubPlayItem()には、以下に示すデータが含まれる。まず、SubPlayItem ()には、PlayListの中のSub Path（サブパス）が参照するClipを指定するためのClip_Information_file_nameが含まれる。図６の例の場合、SubPlayItemによって、SubClip_entry_id＝０のAuxiliary audio stream（オーディオストリーム）が参照されている。また、SubPlayItem ()には、Clip（ここでは、Auxiliary audio stream）の中のSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeとが含まれる。さらに、SubPlayItem()には、Main pathの時間軸上でSub Pathが再生開始する時刻を指定するためのsync_PlayItem_idとsync_start_PTS_of_PlayItemとが含まれる。図６の例の場合、sync_PlayItem_id＝０とされ、sync_start_PTS_of_PlayItem＝ｔ１とされている。これにより、メインパスのPlayItem_id＝０の時間軸上でSub Pathが再生を開始する時刻ｔ１を指定することができる。すなわち、図６の例の場合では、メインパスの再生開始時刻ｔ１とサブパスの開始時刻ｔ１が同時刻であることを示している。
ここで、Sub Pathに参照されるオーディオのClip AVストリームは、STC不連続点（システムタイムベースの不連続点）を含んではならない。
また、SubPlayItem（）に含まれる情報（Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報）に基づいて、メインパスが参照するClip ＡＶストリーム（主に再生されるメインＡＶストリーム）とは異なるClip ＡＶストリームのオーディオストリームを参照して、再生することができる。
このように、PlayItemとSubPlayItemは、Clip ＡＶストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClip ＡＶストリームファイル（メインＡＶストリーム）とSubPlayItemが管理するClip ＡＶストリームファイルは同一のファイルに多重化されていても良いし、異なるファイルとしてもよい。
なお、図６の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。
図７は、メインパスとサブパスの別の例を説明する図である。図７においては、メインパスと同じタイミングで（ＡＶ同期して）再生されるオーディオの再生パスを、サブパスを使用して表している。ここで、メインパスのPlayItemが参照するメインClipＡＶストリームファイルは、図６と同様であるので省略している。
例えば、メインパスにより参照されるClipＡＶストリームを１つの映画のコンテンツ（ＡＶコンテンツ）とし、サブパスのオーディオパスにより参照されるAuxiliary audio stream（Clip）をその映画に対する監督のコメントとし、メインパスで参照されるClipＡＶストリームのオーディオストリームにサブパスのオーディオパスで参照されるAuxiliary audio streamをミキシング（重ねて）再生するような場合に、このような構成が利用される。すなわち、図7に示されるメインパスとサブパスの構成は、ユーザが、映画を見ながら、その映画に対する監督のコメントを合わせて聞く指令を再生装置（プレーヤ）へ入力した場合、換言すれば、メインパスで参照されるClipＡＶストリームの音声と、サブパスのオーディオパスで参照されるAuxiliary audio streamとを、ミキシングして再生させる場合に利用される。
図７においては、メインパスに３つのPlayItemがPlayItem_id＝０，１，２と配置され、サブパス（Subpath_id＝０）に２つのSubPlayItemが配置されている。そして、Subpath_id＝０のSubPath（図２６にて後述する）で呼び出すSubPlayItem（図２８にて後述する）は、Auxiliary audio stream（SubClip_entry_id＝０の英語のAuxiliary audio streamのクリップ及びSubClip_entry_id＝１の日本語のAuxiliary audio streamのクリップ）のSubPathの再生区間を指定するための、SubPlayItem_IN_timeと、SubPlayItem_out_timeを含む。
図７と図６とを比較するに、図７においては、SubPlayItemによって、SubClip_entry_id＝０，１のAuxiliary audio stream（英語または日本語のオーディオストリーム）を参照することができる。すなわち、SubPlayItemを用いて、複数のオーディオストリームファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のオーディオストリームファイルからオーディオストリームファイルが選ばれて再生される。図７の例の場合、英語のオーディオストリームファイルと日本語のオーディオストリームファイルのうち、１つのオーディオストリームファイルが選ばれて再生される。具体的には、subClip_entry_id＝０，１の中から（例えば、ユーザの指令に基づいて）１つが選択され、そのＩＤが参照するAuxiliary audio streamが再生される。また、これに加えて、さらにメインパスにより参照されるオーディオストリームとの組み合わせによる再生が選択された場合、メインパスで参照される１stオーディオストリームと、サブパスのオーディオパスで参照される２ndオーディオストリームファイルとが、ミキシングされて再生される。なお、２つのサブパスで参照される２つのオーディオストリームが、ミキシングされて再生されるようにすることも可能であるが、これについては後述する。
次に、図５乃至図７を用いて説明したメインパスとサブパスの構造を具体的に実現するためのデータ構造（シンタクス）を説明する。
図８は、再生装置において再生可能なデータファイルのファイルシステムの例を示す図である。図８には、一例として、再生装置において再生可能なデータファイルが光ディスクなどの記録媒体によって供給されている場合を示しており、このファイルシステムはディレクトリ構造を有している。
このファイルシステムにおいて、「root」の下には「BDMV」の名前が設定されたディレクトリが用意され、そのディレクトリに、「Index.bdmv」の名前が設定されたファイルと、「NavigationObject.bdmv」の名前が設定されたファイルが格納されている。以下、適宜、これらのファイルをそれぞれIndexファイル、NavigationObjectファイルと称する。また、適宜、各ファイルについては、「ファイル名」に「ファイル」を付加した形で、または、各ディレクトリについては、「ディレクトリ名」に「ディレクトリ」を付加した形で称する。
Indexファイルは、インデックステーブルが記載されたファイルであり、再生装置において再生可能なデータファイルを再生するメニューに関する情報を含む。再生装置は、例えば、再生装置において再生可能なデータファイルに含まれるコンテンツを全て再生する、特定のチャプタのみ再生する、繰り返し再生する、初期メニューを表示するなどの内容の項目を含む再生メニュー画面をIndexファイルに基づいて、表示装置に表示させる。Indexファイルのインデックステーブルには各項目が選択されたときに実行するNavigationObjectを設定することができ、ユーザにより再生メニュー画面から１つの項目が選択された場合、再生装置はIndexファイルのインデックステーブルに設定されているNavigationObjectのコマンドを実行する。
NavigationObjectファイルは、NavigationObjectを含むファイルである。NavigationObjectは、再生装置において再生可能なデータファイルに含まれているPlayListの再生を制御するコマンドを含み、例えば、再生装置は、このファイルシステムに含まれているNavigationObjectの中から１つを選択して、実行することにより、コンテンツを再生させることができる。
BDMVディレクトリにはまた、「BACKUP」の名前が設定されたディレクトリ（BACKUPディレクトリ）、「PLAYLIST」の名前が設定されたディレクトリ（PLAYLISTディレクトリ）、「CLIPINF」の名前が設定されたディレクトリ（CLIPINFディレクトリ）、「STREAM」の名前が設定されたディレクトリ（STREAMディレクトリ）、「AUXDATA」の名前が設定されたディレクトリ（AUXDATAディレクトリ）が設けられている。
BACKUPディレクトリには、再生装置において再生可能なファイルやデータをバックアップするためのファイルやデータが記録される。
PLAYLISTディレクトリには、PlayListファイルが格納される。各PlayListファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.mpls」を付加した名称が命名される。
CLIPINFディレクトリには、Clip Informationファイルが格納される。各Clip Informationファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.clpi」を付加した名称が命名される。
STREAMディレクトリには、Clip ＡＶストリームファイルやサブストリームファイルが格納される。各ストリームファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.m2ts」を付加した名称が命名される。
AUXDATAディレクトリには、Clip ＡＶストリームファイルやサブストリームファイルに含まれずに、Clip ＡＶストリームファイルやサブストリームファイルから参照されるデータや、Clip ＡＶストリームファイルやサブストリームファイルとは独立して利用されるデータなどのファイルが格納される。図８の例においては、AUXDATAディレクトリには、「11111.otf」の名前がつけられている字幕のフォントのファイル、「sound.bdmv」の名前が設定された効果音などのサウンドデータが格納されている。
以下、主に再生出力される音声データをプライマリオーディオストリーム(Primary audio stream)と称し、例えば、ユーザの操作入力に対応して発生するクリック音や効果音など、上述したAUXDATAディレクトリにsound.bdmvとして記載されている音声データをサウンドデータと称するものとする。サウンドデータはプライマリオーディオストリームに合成可能である。また、プライマリオーディオストリームとは別のストリームであって、例えば、副音声など、プライマリオーディオストリームに合成可能な音声データをセカンダリオーディオストリームと称するものとする。なお、プライマリオーディオストリームとは別のストリームであって、プライマリオーディオストリームに合成可能な音声データはであるセカンダリオーディオストリームは複数存在してもよく、その場合、例えば、異なるIDを用いて、それぞれ、区別可能なようにすればよい。
また、再生装置において再生可能なデータファイルが光ディスクによって配布されている場合、例えば、製作会社や映画の配給会社など、このコンテンツ製作元や、または、この記録媒体の供給元であるタイトルオーサを識別するために各タイトルオーサに割り当てられた識別子であるauthor_id、および、author_idに示されるタイトルオーサにおいて製作された光ディスクの種類を識別するために割り当てられた識別子であるdisc_idが、ユーザなどにより書き換えることができないセキュアな電子データとして、または、物理的にピットによって記録されている。
また、再生装置において再生可能なデータファイルが光ディスク以外のリムーバブルな記録媒体に記録されている場合や、ネットワークを介してダウンロードされている場合も、author_id、および、author_idに相当するidが割り当てられてそれぞれ区別可能なようになされ、図８に示す場合と同様のディレクトリ構造を有していると好適である。また、再生装置において再生可能なデータファイルには、author_id、および、author_idに相当するidが割り当てられていないとしても、図８を用いて説明した場合と同様に、「Index.bdmv」の名前が設定されたファイル、「NavigationObject.bdmv」の名前が設定されたファイルが含まれており、「BACKUP」の名前が設定されたファイル群、「PLAYLIST」の名前が設定されたファイル群、「CLIPINF」の名前が設定されたファイル群、「STREAM」の名前が設定されたファイル群、「AUXDATA」の名前が設定されたファイル群のうち、適宜必要なファイル群が含まれている。
Indexファイル（Index.bdmv）のシンタクスを図９に示す。
Type_indicatorは、ＩＳＯ６４６に基づいて符号化された"ＩＮＤＸ"の値が記述されるフィールドである。
version_numberは、Index.bdmvのバージョンナンバを示す４文字の文字列であり、ＩＳＯ６４６に基づいて符号化された"００８９"の値が記述される。
Indexes_start_addressは、Indexes（）ブロックのスタートアドレスが記載されるフィールドである。
AppInfoBDMV（）には、このIndexファイルを含むデータファイルの供給元を示す、個別の識別子などが記載されている。
Indexes（）には、例えば、メニューを読み出したり、タイトルを検索したり、所定のタイトルにジャンプしたり、または、このIndexファイルを含むデータファイルが記録されている光ディスクなどの記録媒体が再生装置に装着された場合に自動的に起動する処理を実行するアプリケーション（NavigationObject）とのリンクが記載されている。Indexes（）のシンタクスについては、図１０を用いて後述する。
Padding_wordは、Index.bdmvのシンタクスに基づいて挿入されるものであり、０または正の整数で表される。
Indexes（）のシンタクスの例を、図１０に示す。
lengthは、Indexes（）に何バイトの情報が記載されているかを表すフィールドである。
FirstPlaybackは、このファイルシステムのデータが再生される場合に最初に実行されるNavigationObjectに関する情報が含まれているデータブロックである。具体的には、このファイルシステムのデータが記録された光ディスクなどの記録媒体が再生装置に装着されたときに最初に自動的に実行されるNavigationObjectに関する情報が含まれているデータブロックである。
FirstPlayback_mobj_id_refは、最初に実行されるNavigationObjectのmobj_idの値を指定するためのフィールドである。mobj_idは、NavigationObjectがそれぞれ固有に与えられているＩＤである。また、再生開始時に自動的に実行されるNavigationObjectが設定されない場合、すなわち、再生開始時にはアプリケーションはいずれも実行されず、ユーザによる指令を受けて、いずれかのアプリケーションが実行されるようになされている場合、このフィールドには、"0Xffff"が記載される。
TopMenu（）は、ユーザがメニュー画面を表示させる場合などに呼び出されるTopMenuのNavigationObjectに関する情報が含まれているデータブロックである。
TopMenu_mobj_id_refは、TopMenuのNavigationObjectのmobj_idの値を指定するためのフィールドである。TopMenuが設定されない場合、このフィールドには、"0xFFFF"が記載される。
number_of_Titlesは、Indexes（）に記載されているタイトルの数を表すフィールドである。
Title[title_id]（）は、title_idによって固有に区別されているそれぞれのタイトルに関する情報が記載されるブロックである。title_idは０から割り当てられる。
Title_playback_type[title_id]は、そのtitle_idによって指定されるタイトルの再生タイプを示す情報であり、例えば、再生される動画と音声による一般的なコンテンツであるMovie Titleか、ユーザの操作入力によって再生される動画や音声が変更されるなどの双方向のやり取りが可能なコンテンツであるInteractive Titleなどのタイプが示される。例えば、そのタイトルがMovie Titleである場合、PlayListに基づいた再生処理が実行される。
Title_access_type[title_id]は、そのtitle_idによって指定されるタイトルが、Title_Searchを用いて再生することが許可されているか否かを示す情報である。
reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている２９ビットのフィールドである。
Title_mobj_id_ref[title_id]は、そのtitle_idによって指定されるタイトルがエントリーされているNavigationObjectのmobj_idの値を指定するためのフィールドである。
図１１に、PlayListファイルのデータ構造を示す。PlayListファイルは、再生装置に装着された記録媒体、または、再生装置内部の記憶部（例えば、ハードディスクなどからなるローカルストレージ）において、PLAYLISTディレクトリに格納される、拡張子「.mpls」を有するデータファイルである。
type_indicatorは、このファイルの種類を示す情報が記載されているものである。すなわち、このフィールドには、このファイルの種類が映像の再生を管理する再生管理情報であるPlayList（MoviePlayList）であることを示す情報が記載される。
version_numberは、このxxxx.mpls（MoviePlayList）のバージョンナンバを示す４個のキャラクター文字を示すものである。
PlayList_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayList()の先頭アドレスを示すものである。
PlayListMark_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayListMark()の先頭アドレスを示すものである。
ExtensionData_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、ExtensionData()の先頭アドレスを示すものである。
AppInfoPlayList()には、例えば、再生制限など、PlayListの再生コントロールに関するパラメータが格納されている。AppInfoPlayList()の詳細は、図１２を用いて後述する。
PlayList()には、PlayListのメインパスやサブパスなどに関するパラメータが格納されている。PlayList()の詳細は、図１３を用いて後述する。
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプなどを指令するユーザオペレーションまたはコマンドなどにおけるジャンプ先（ジャンプポイント）であるマークに関する情報が格納されている。
ExtensionData()には、プライベートデータが挿入できるようになっている。
次に、図１２を参照して、AppInfoPlayList()のシンタクスについて説明する。
lengthは、length以下のシンタクスの長さ、すなわち、このlengthフィールドの直後からreserved_for_future_useの最後までのAppInfoPlayList()のバイト数を示すものである。このlengthの後には、８ビットのreserved_for_future_useが用意される。
PlayList_playback_typeは、連続再生、ランダムアクセス、シャッフルのいずれの再生を行うPlayListであるかを示す情報を記載するフィールドである。
Playback_countは、ランダムアクセス、シャッフルを行うPlayListの場合、再生に用いるPlayItemの数を示す情報を記載するフィールドである。
そして、UO_mask_table()は、一時停止、チャプタサーチ、ジャンプ、早送り、早戻し（後方高速再生）等の特殊再生、または、表示等に関するユーザ操作の制限を決める情報である。
そして、PlayList_random_access_flagは、他のPlayListからのジャンプ再生を制御するためのフラグ情報である。ここでは、PlayList_random_access_flag＝１に設定されている場合、他のPlayListからのジャンプ再生を禁止するものとする。
例えば、再生装置においては、例えば、現在のPlayListにより参照されている再生位置から、他のPlayListにより参照される所定のPlayItemの先頭またはチャプタの位置への再生位置のジャンプを指令するユーザオペレーションなど、装置独自で拡張的なユーザオペレーションを用意することができる。PlayList_random_access_flagは、例えば、これらのユーザオペレーションにより、他のPlayListによって参照されるClip AV Streamのある再生位置から、このPlayListによって参照されるClip AV Streamへのジャンプ（再生位置の移動）が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。
なお、ユーザオペレーションによりジャンプ（再生位置の移動）が指令されるのではなく、ナビゲーションコマンドによりジャンプ（再生位置の移動）が指令された場合、PlayList_random_access_flagは無視される（コマンドは実行され、コマンドの発生に伴って、再生位置が移動される）。
is_MixAppは、このPlayListファイルにより再生されるストリームが音声や効果音の合成を行うか否かのフラグである。すなわち、このis_MixAppは、このPlayListにより参照されるデータに、プライマリオーディオストリームに合成され得るサウンドデータまたはセカンダリオーディオストリームが含まれているか否かを示すフラグとして定義されている。この1つのフラグを確認することのみにより、オーディオデータの合成が行われるか否かを、迅速に認識することが可能となる。
また、Lossless_may_bypass_mixer_flagは、ロスレスの音声の再生に関するフラグである。この後には、１３ビットのreserved_for_future_useが用意される。
次に、図１３は、PlayList()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからPlayListの最後までのバイト数を示すフィールドである。このlengthの後には、１６ビットのreserved_for_future_useが用意される。reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている。number_of_PlayItemsは、PlayListの中にあるPlayItemの数を示す１６ビットのフィールドである。例えば、図５の例の場合PlayItemの数は３個である。PlayItem_idの値は、PlayListの中でPlayItem()が現れる順番に０から割り振られる。例えば、図５に示されるように、PlayItem_id＝０，１，２が割り振られる。
number_of_SubPathsは、PlayListの中にあるSubPathの数（エントリー数）を示す１６ビットのフィールドである。例えば、図５の例の場合、Sub Pathの数は３個である。SubPath_idの値は、PlayListの中でSubPath()が現れる順番に０から割り振られる。例えば、図５に示されるように、Subpath_id＝０，１，２が割り振られる。その後のfor文では、PlayItemの数だけPlayItemが参照され、Sub Pathの数だけ、Sub Pathが参照される。
次に、図１４を参照して、PlayItem()のシンタクスについて説明する。
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す１６ビットの符号なし整数である。Clip_Information_file_ name[0]は、PlayItemが参照するClipを指定するためのフィールドである。図１４の例の場合、Clip_Information_file_ name[0]により、メインClipＡＶストリームファイルが参照される。また、PlayItem()には、Clipのコーディック方式を指定するClip_codec_identifier［0］、将来の拡張に備えるためにデータの記述内容が未設定とされているreserved_for_future_use、マルチアングル再生に対応しているか否かを示すフラグであるis_multi_angle、接続状態に関する情報であるconnection_condition、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id［0］が含まれる。さらに、PlayItem()には、Clipの中のPlayItemの再生区間を指定するためのIN_timeとOUT_timeが含まれる。図１４の例の場合、IN_timeとOUT_timeにより、メインClipＡＶストリームファイルの再生範囲が表される。
また、PlayItem()には、ユーザ入力の受付制限をするUO_mask_table()、他のPlayItemからのジャンプ再生を制御するPlayItem_random_access_flagが含まれる。
図１４に示される、PlayItem()のUO_mask_table()には、このPlayItemを参照してClip AV Streamが再生されているときに操作入力される各種のユーザオペレーションについて、それぞれ許可するか否かが設定されている。
そして、図１４に示される、PlayItem()のPlayItem_random_access_flagは、ユーザオペレーションにより、他のPlayItemによって参照されるClip AV Streamのある再生位置から、このPlayItemによって参照されるClip AV Streamへのジャンプ（再生位置の移動）が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。ここでは、PlayItem_random_access_flag＝１に設定されている場合、他のPlayItemからのジャンプ再生を禁止するものとする。このフラグについての詳細な説明は後述する。
なお、ユーザオペレーションによりジャンプ（再生位置の移動）が指令されるのではなく、ナビゲーションコマンドによりジャンプ（再生位置の移動）が指令された場合、PlayItem_random_access_flagは無視される（コマンドは実行され、コマンドの発生に伴って、再生位置が移動される）。
さらに、PlayItem()には、最後に表示をした映像を静止画として表示をさせるか否かを示すstill_modeが含まれる。なお、is_multi_angleが複数ある場合(is_multi_angle==1)については、本発明と直接的には関係ないのでその説明を省略する。
そして、STN_table()は、対象のPlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、例えば、音声切り替えや字幕切り替え、または、子画面の表示非表示の選択を指令するユーザの操作入力、または、アプリケーションによるコマンドの発生などによって、そのPlayItemが参照するClipとこれらの１つ以上のSubPathが参照するClipの中から、再生されるストリームを選択することができる仕組みを提供するための情報である。
例えば、PlayItem()とそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるビデオストリームをプライマリビデオストリーム(Primary video stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるビデオストリームをセカンダリビデオストリーム(secondary video stream)としたり、または、PlayItemが参照するClip（メインClip）に含まれるビデオストリームのうちの２つのビデオストリームを、それぞれプライマリビデオストリームとセカンダリビデオストリームとして、これらをミキシングして、全画面(プライマリビデオストリーム)と子画面(セカンダリビデオストリーム)で再生することができる仕組みを提供するようにした。このような手法は、ピクチャインピクチャ(Picture in Picture)手法と称される。
また、同様にして、例えば、PlayItem()とそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるオーディオストリームをプライマリオーディオストリーム(Primary audio stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるオーディオストリームをセカンダリオーディオストリーム(secondary audio stream)としたり、または、PlayItemが参照するClip（メインClip）に含まれるオーディオストリームのうちの２つのオーディオストリームを、それぞれプライマリオーディオストリームとセカンダリオーディオストリームとして、これらをミキシングして再生することができる仕組みを提供するようにした。
そして、プライマリビデオストリームと同時に再生され得るストリームとして、ここでは、次の第１乃至第４の種類のストリームが用意される。
第１の種類のストリームとは、STN_tableにおいてPrimary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したプライマリオーディオストリームである。
第２の種類のストリームとは、STN_tableにおいてSecondary_video_stream_idで定義されるビデオストリーム、すなわち、上述したセカンダリビデオストリームである。
第３の種類のストリームとは、STN_tableにおいてSecondary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したセカンダリオーディオストリームである。
第４の種類のストリームとは、サブパスで参照されるテキスト字幕ストリーム(txtST)や、DVDのサブピクチャ、または、所定のGUI表示画面のようなビットマップ字幕をランレングス符号化したストリーム（PG, Presentation Graphics stream）等であり、STN_tableにおいて、PG_txtST_stream_id、IG_stream_idで定義される。
STN_table()は、これらのストリームの組み合わせを定義する情報である。
次に、図１５および図１６を用いて、STN_table()のシンタクスについて説明する。
このSTN_table()は、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義するにあたって、特に、セカンダリオーディオストリームとプライマリオーディオストリームとの組み合わせ、セカンダリビデオストリームとセカンダリオーディオストリームとの組み合わせ、セカンダリビデオストリームとピクチャインピクチャ（ＰｉＰ）アプリケーション用のプレゼンテーショングラフィックス（ＰＧ）またはテキスト字幕の組み合わせを定義する。
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す１６ビットの符号なし整数である。lengthの後には、１６ビットのreserved_for_future_useが用意される。
number_of_primary_video_stream_entriesは、STN_table()の中でエントリーされる（登録される）primary_video_stream_idが与えられるストリーム数を示す。primary_video_stream_idは、ビデオストリームを識別するための情報であり、primary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。
number_of_primary_audio_stream_entriesは、STN_table()の中でエントリーされるprimary_audio_stream_idが与えられるストリーム数を示す。primary_audio_stream_idは、オーディオストリームを識別するための情報であり、primary_audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。
number_of_PG_txtST_stream_entriesは、STN_table()の中でエントリーされるPG_txtST_stream_idが与えられるストリーム数を示す。この中では、DVDのサブピクチャ、または、所定のGUI表示画面のようなビットマップ字幕をランレングス符号化したストリーム（PG, Presentation Graphics stream）とテキスト字幕ファイル(txtST)がエントリーされる。PG_txtST_stream_idは、字幕ストリームを識別するための情報であり、PG_txtST_stream_numberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号（テキストサブタイトルストリームの番号）である。
number_of_IG_stream_entriesは、STN_table()の中でエントリーされる IG_stream_idが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリームがエントリーされる。IG_stream_idは、インタラクティブグラフィックスストリームを識別するための情報であり、IG_stream_numberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。
なお、インタラクティブグラフィックスストリームにより再生されるインタラクティブグラフィックメニュー（Interactive graphics presentation menu）は、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムを含ませることができる。インタラクティブグラフィックメニューには、ユーザによるON/OFFの操作入力を基に、インタラクティブグラフィックを表示させたり、表示を取り消したりすることが可能な“Pop-up menu”と、インタラクティブグラフィックが常時表示される“Always-on”の２種類の表示方法が用意されている。
number_of_secondary_audio_stream_entriesは、STN_table()の中でエントリーされる（登録される）secondary_audio_stream_idが与えられるストリーム数を示す。secondary_audio_stream_idは、オーディオストリームを識別するための情報であり、secondary_audio_stream_numberは、オーディオ切り替えに使われる、ユーザから見えるオーディオストリーム番号である。
number_of_secondary_video_stream_entriesは、STN_table()の中でエントリーされる（登録される）secondary_video_stream_idが与えられるストリーム数を示す。secondary_video_stream_idは、ビデオストリームを識別するための情報であり、secondary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。
そして、number_of_PiP_PG_textST_stream_entries_plusは、STN_table()の中でエントリーされる（登録される）ピクチャインピクチャ用の字幕ストリーム（PiP_PG_textST_stream）のストリーム数を示す。
プライマリビデオストリームＩＤ (primary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのビデオエレメンタリストリームに、０からprimary_video_stream_idが与えられる。なお、プライマリビデオストリームＩＤ（primary_video_stream_id）の代わりに、プライマリビデオストリーム番号（primary_video_stream_number）を用いるようにしてもよい。この場合、primary_video_stream_numberは、０ではなく１から与えられる。すなわち、primary_video_stream_idの値に１を加算したものがprimary_video_stream_numberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、１から定義される。
それぞれのforループの中のstream_entry（）については、図１７を用いて後述する。
また、それぞれのforループの中のstream_attribute()は、stream_entry()ごとに特定される１つのエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される１つのエレメンタリストリームのストリーム属性情報が記述されている。stream_attribute（）については、図１８を用いて後述する。
また、同様に、プライマリオーディオストリームＩＤ (primary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からprimary_audio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、プライマリオーディオストリームＩＤ（primary_audio_stream_id）の代わりに、プライマリオーディオストリーム番号（primary_audio_stream_number）を用いるようにしてもよい。この場合、primary_audio_stream_numberは、０ではなく１から与えられる。すなわち、primary_audio_stream_idの値に１を加算したものがprimary_audio_stream_numberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、１から定義される。
同様に、字幕ストリームＩＤ (PG_txtST_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、０からPG_txtST_stream_idが与えられる。また、PiP_ PG_txtST_streamについても、同様にして、連続したIDが与えられる。ビデオストリームの場合と同様に、字幕ストリームＩＤ（PG_txtST_stream_id）の代わりに、字幕ストリーム番号（PG_txtST_stream_number）を用いるようにしてもよい。この場合、PG_txtST_stream_numberは、０ではなく１から与えられる。すなわち、PG_txtST_stream_idの値に１を加算したものがPG_txtST_stream_numberである。字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号（テキストサブタイトルストリームの番号）であるので、１から定義される。
同様に、グラフィックスストリームＩＤ (IG_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのインタラクティブグラフィックスエレメンタリストリームに、０からIG_stream_idが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリームＩＤ（IG_stream_id）の代わりに、グラフィックスストリーム番号（IG_stream_number）を用いるようにしてもよい。この場合、IG_stream_numberは、０ではなく１から与えられる。すなわち、IG_stream_idの値に１を加算したものがIG_stream_numberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、１から定義される。
また、同様に、セカンダリオーディオストリームＩＤ (secondary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からsecondary_audio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、セカンダリオーディオストリームＩＤ（secondary_audio_stream_id）の代わりに、セカンダリオーディオストリーム番号（secondary_audio_stream_number）を用いるようにしてもよい。この場合、secondary_audio_stream_numberは、０ではなく１から与えられる。すなわち、secondary_audio_stream_idの値に１を加算したものがsecondary_audio_stream_numberである。セカンダリオーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリオーディオストリーム番号であるので、１から定義される。
そして、comb_info_Secondary_audio_Primary_audio()のブロックは、セカンダリオーディオとプライマリオーディオの組み合わせを示す。
comb_info_Secondary_audio_Primary_audio()のブロック内において、number_of_primary_audio_stream_ref_entriesの８ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームの数を示す。そして、primary_audio_stream_id_refの８ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームのIDを示す。
また、同様に、セカンダリビデオストリームＩＤ (secondary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からsecondary_video_stream_idが与えられる。なお、ビデオストリームの場合と同様に、セカンダリビデオストリームＩＤ（secondary_video_stream_id）の代わりに、セカンダリビデオストリーム番号（secondary_video_stream_number）を用いるようにしてもよい。この場合、secondary_video_stream_numberは、０ではなく１から与えられる。すなわち、secondary_video_stream_idの値に１を加算したものがsecondary_video_stream_numberである。セカンダリビデオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリビデオストリーム番号であるので、１から定義される。
次に、comb_info_Secondary_video_Secondary_audio()のブロックは、セカンダリビデオストリームとセカンダリオーディオストリームの組み合わせを示す。
comb_info_Secondary_video_Secondary_audio()のブロック内において、number_of_Secondary_audio_stream_ref_entriesの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームの数を示す。そして、Secondary_audio_stream_id_refの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームのIDを示す。
そして、comb_info_Secondary_video_PiP_PG_textST()のブロックは、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームの組み合わせを示す。
comb_info_Secondary_video_PiP_PG_textST()のブロック内において、number_of_PiP_PG_textST_ref_entriesの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るPIPアプリケーション用のPG・テキスト字幕のストリームの数を示す。また、PiP_PG_textST_stream_id_refの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームのIDを示す。
このようなSTN_tableを用いることにより、プライマリビデオストリームと同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリーム（PG TextSTストリーム）の組み合わせに加えて、ピクチャインピクチャアプリケーション用のPG・テキスト字幕ストリーム（PiP PG TextSTストリーム）の組み合わせとして矛盾するような組み合わせを選択することを防ぐようにすることができる。
図１７は、Stream_entry()のシンタクスを示す図である。
type＝１では、PlayItemによって参照されるClip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から１つのエレメンタリストリームを特定するために、１６ビットのパケットID(PID)が指定される。ref_to_stream_PID_of_mainClipが、このPIDを示している。すなわち、type＝１では、メインClipＡＶストリームファイルの中のPIDを指定するだけでストリームが決定される。
type＝２では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される１つのClip(SubClip)の複数のエレメンタリストリームの中から１つのエレメンタリストリームを特定するために、そのSubPathのSubPath_id、Clip id、およびパケットID(PID)が指定される。ref_to_SubPath_idがこのSubPath_idを示し、ref_to_SubClip_entry_idがこのClip idを示し、ref_to_stream_PID_of_SubClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。
このように、type（type１とtype２の２つのtype）を使うことで、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から１つのエレメンタリストリームを特定することができる。なお、type＝１はMain Pathが参照するClip（メインClip）を示しており、type＝２はSub Pathが参照するClip（サブClip）を示している。
そして、ｔｙｐｅ＝３は、対応するPlayItemにおいて、MainClipに含まれ、SubPathによって参照されるエレメンタリストリームを識別するためのものである。
すなわち、type＝３では、SubPathがMainPathと同じClipを参照し、換言すれば、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照している場合に、MainClipの複数のエレメンタリストリームの中から、SubPathによって参照される１つのエレメンタリストリームを再生時に特定するために、ref_to_stream_PID_of_MainClipにより、MainClipのパケットID(PID)が指定される。また、ref_to_SubPath_idによりSubPath_idが示され、このSubPath_idにより図９のPlayList()で定義されたSubPathが特定され、このSubPathから対応するSubPlayItem（図２８）が呼び出されることにより、エレメンタリストリームの再生時間（IN_time, OUT_time）等を把握することができるようになされている。
なお、type＝３、すなわち、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照するのは、図２７を用いて後述するSubPath_typeが、SubPath_type =７である場合である。
このように、type（type１乃至type３の３つのtype）を使うことで、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipが、さらに、SubPathから参照されている場合であっても、Clipの中から１つのエレメンタリストリームを特定することができる。
次に、stream_attribute()のシンタクスについて図１８を参照して説明する。
lengthは、このlengthフィールドの直後からstream_attribute()の最後までのバイト数を示す１６ビットの符号なし整数である。
stream_coding_typeは、図１９に示されるようにエレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、MPEG-2 video stream、HDMV LPCM audio、Dolby AC-3 audio、dts audio、Presentation graphics stream、Interactive graphics stream、およびText subtitle streamが記述される。なお、このstream_coding_typeを拡張し、MPEG−4 AVC、VC−1等の他のコーディックにより圧縮されたビデオストリームを扱えるようにしてもよい。
video_formatは、図２０に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、４８０ｉ、５７６ｉ、４８０ｐ、１０８０ｉ、７２０ｐ、および１０８０ｐが記述される。
frame_rateは、図２１に示されるように、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、２４０００／１００１、２４、２５、３００００／１００１、５０、および６００００／１００１が記述される。
aspect_ratioは、図２２に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、４：３ display aspect ratio、および１６：９ display aspect ratioが記述される。
audio_presentation_typeは、図２３に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、single mono channel、dual mono channel、stereo(2-channel)、およびmulti-channelが記述される。
sampling_frequencyは、図２４に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、４８ｋHz、および９６ｋHzが記述される。
audio_language_codeは、オーディオエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
PG_language_codeは、ビットマップ字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
IG_language_code、インタラクティブグラフィックスエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
textST_language_codeは、テキスト字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
character_codeは、図２５に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、Unicode V1.1(ISO 10646-1)、Shift JIS（Japanese）、KSC 5601-1987 including KSC 5653 for Roman character(Korean)、GB 18030-2000(Chinese)、GB2312(Chinese)、およびBIG５(Chinese)が記述される。
以下に、図１８のstream_attribute()のシンタクスについて、図１８と、図１９乃至図２５を用いて具体的な例を説明する。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がMPEG-2 video stream（図１９）である場合、stream_attribute()には、そのエレメンタリストリームのビデオフォーマット（図２０）、フレームレート（図２１）、およびアスペクト比情報（図２２）が含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がHDMV LPCM audio、Dolby AC-3 audio、またはdts audio（図１９）である場合、stream_attribute()には、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報（図２３）、サンプリング周波数（図２４）、および言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がPresentation graphics stream（図１９）である場合、stream_attribute()には、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がInteractive graphics stream（図１９）である場合、stream_attribute()には、そのインタラクティブグラフィックスエレメンタリストリームの言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がText subtitle stream（図１９）である場合、stream_attribute()には、そのテキスト字幕エレメンタリストリームのキャラクタコード（図２５）、言語コードが含まれる。
なお、これらの属性情報はこれに限定されない。
このように、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から、stream_entry()によって特定されたエレメンタリストリーム（type＝１とtype＝２の場合は１つ、type＝３の場合は２つ）の属性情報をstream_attribute()によって知ることができる。
再生装置は、この属性情報（stream_attribute()）を調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。
例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリームＩＤ (PG_txtST_stream_id)のforループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。
また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。この再生装置に対して、ユーザが副音声（すなわちSecondary audio）への切り替えまたは、主音声と副音声とのミキシング再生を指示した場合、再生装置は、副音声として用意されているオーディオストリームＩＤ (Audio stream id)のforループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。
さらに、例えば、メインパスにより参照される、ビデオストリームとオーディオストリームからなるＡＶストリーム（映画）を再生する場合、再生装置に対して、ユーザが音声の切り替えを指令し、サブパスにより参照されるオーディオストリーム（監督や出演者によるコメント）とのミキシング再生が指令された場合、再生装置は、メインパスにより参照される１stオーディオストリームに、さらに、サブパスにより参照される２ndオーディオストリームをミキシング（重畳）して、ビデオストリームとともに再生する。
また、例えば、ユーザが音声の切り替えを指令し、２つのサブパスにより参照される２つのオーディオストリームのミキシング再生が再生装置に対して指令された場合（図１６と図１７のシンタクスが用いられ、図１７のtypeがともに２とされているオーディオストリームＩＤに対応するオーディオストリームの再生が指令された場合）、再生装置は、２つのサブパスによりそれぞれ参照される２つのオーディオストリームをミキシング（重畳）して、ビデオストリームとともに再生する。
このようにして、PlayItem()の中にSTN_table()を設けることにより、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作により、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から再生されるストリームを選ぶことができる仕組みが提供されるので、再生するＡＶストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。
図２６は、SubPath()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub Path ()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからSubPath()の最後までのバイト数を示すフィールドである。このlengthの後には、８ビットのreserved_for_future_useが用意される。SubPath_typeは、SubPathのアプリケーション種類を示す８ビットのフィールドである。SubPath_typeは、例えば、Sub Pathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。このSubPath_typeの例については、図２７を参照して後述する。
SubPath_typeの後には、１５ビットのreserved_for_future_useが用意される。is_repeat_SubPathは、SubPathの再生方法を指定する１ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を１回だけ行うかを示すものである。例えば、メインＡＶストリームとサブパスが指定するClipに含まれるストリームとの再生タイミングが異なる場合（メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGM(バックグラウンドミュージック)として使う場合など）に利用される。
Is_repeat_SubPathの後には、８ビットのreserved_for_future_useが用意される。number_of_SubPlayItemsは、１つのSubPathの中にあるSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、number_of_SubPlayItemsは、図６のSubPath_id＝０のSubPlayItemは１個であり、SubPath_id＝１のSubPlayItemは２個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。
図２７は、SubPath_type（サブパスのタイプ）の例を説明する図である。
なお、「Out-of-mux」という記述は、サブパスで参照されるＥＳが含まれるＴＳと、メインパスで参照されるＥＳが含まれるＴＳとが異なっている場合のサブパスのタイプ（種類）、即ち、サブパスで参照されるＥＳが、メインパスで参照されるプレイアイテムが含まれるＴＳに多重化されていないサブパスのタイプ（種類）であることを示している。以下、かかる種類を、メインパスＴＳ非多重型のパスと称する。
そして、「In-mux」という記述は、サブパスで参照されるＥＳが含まれるＴＳと、メインパスで参照される１以上のＥＳが含まれるＴＳとが同一の場合のサブパスのタイプ（種類）、即ち、サブパスで参照されるＥＳが、メインパスで参照されるＥＳを含むＴＳに多重化されているサブパスのタイプ（種類）であることを示している。換言すれば、メインクリップに含まれるメインTSに、メインのClip AVストリームと、サブのClip AVストリームとが含まれている状態である。以下、かかる種類を、メインパスＴＳ多重型のパスと称する。
また、メインパスで参照されるＥＳとサブパスで参照されるＥＳとが非同期である場合、そのサブパスのタイプ（種類）を、以下、非同期型のパスと称する。一方、メインパスで参照されるＥＳとサブパスで参照されるＥＳとが同期する場合、そのサブパスのタイプ（種類）を、以下、同期型のパスと称する。
SubPath_type＝０，１は、reservedとされている。
SubPath_type＝２は、Audio presentation path of the Browsable slideshow（プラウザブルスライドショーのオーディオプレゼンテーションパス）とされている。例えば、SubPath_type＝２は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期である（非同期型のパスである）ことを示している。
SubPath_type＝３は、Interactive graphics presentation menu（インタラクティブグラフィックスのプレゼンテーションメニュー）とされている。例えば、SubPath_type＝３は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるインタラクティブグラフィックスのメニューと、プレイアイテムで参照されるメインパスとが非同期（非同期型のパスである）であることを示している。
SubPath_type＝４は、Text subtitle presentation path（テキスト字幕のプレゼンテーションパス）とされている。例えば、SubPath_type＝４は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期している（同期型のパスである）ことを示している。
SubPath_type＝５は、Out-of-mux and AV Synchronized type of one or more elementary streams path(Primary audio/PG/IG/Secondary audio path).Out of mux and AV synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。即ち、SubPath_type＝５は、メインパスＴＳ非多重型、かつ、同期型のパスであって、１本以上のＥＳ(Primary audio/PG/IG/Secondary audio)のパスや、ピクチャインピクチャプレゼンテーションパスとされている。
ここで、ピクチャインピクチャプレゼンテーションパスとは、ピクチャインピクチャ手法において、所定のプライマリビデオストリーム（メインパスで参照されるビデオストリーム）に対応して再生される、プライマリオーディオストリームストリーム、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームのうちの１以上のパス（そのようなサブパスのタイプ）であることをいう。
SubPath_type＝６は、Out-of-mux and AV non-Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。即ち、SubPath_type＝６は、メインパスＴＳ非多重型、かつ、非同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）とされている。
SubPath_type＝７は、In-mux type and AV Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。
即ち、SubPath_type＝７は、メインパスＴＳ多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）とされている。
そして、SubPath_type=8乃至255は予備(reserved)とされている。
図２８は、SubPlayItem(i)のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub playItem ()の最後までのバイト数を示す１６ビットの符号なし整数である。
図２８においては、SubPlayItemが１つのClip を参照する場合と、複数のClip を参照する場合に分けられている。
最初に、SubPlayItemが１つのClipを参照する場合について説明する。
SubPlayItemには、Clipを指定するためのClip_Information_file_ name[0]が含まれる。また、Clipのコーディック方式を指定するClip_codec_identifier［0］、reserved_for_future_use、マルチクリップの登録の有無を示すフラグであるis_multi_Clip_entries、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id［0］を含む。is_multi_Clip_entriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。また、Clipの中にあるSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。さらに、main pathの時間軸上でSub Pathが再生開始する時刻を指定するためsync_PlayItem_id と sync_start_PTS_of_PlayItemを含む。
このsync_PlayItem_id と sync_start_PTS_of_PlayItemは、上述したように、図６と図７の場合（メインＡＶストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが同じである場合）に使用され、メインＡＶストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが異なる場合（例えば、静止画により構成されるスライドショーのBGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合）には使用されない。また、SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。
次に、SubPlayItemが複数のClipを参照する場合（if（is_multi_Clip_entries＝＝１ｂ）である場合、すなわちマルチクリップの登録が行われている場合）について説明する。具体的には、図７に示されるように、SubPlayItemが複数のClip を参照する場合を示す。
num_of_Clip_entriesは、Clipの数を示しており、Clip_Information_file_name[SubClip_entry_id]の数が、Clip_Information_file_ name[0]を除く、Clipsを指定する。すなわち、Clip_Information_file_ name[0]を除く、Clip_Information_file_ name[１]、Clip_Information_file_ name[２]などのClipを指定する。また、SubPlayItemは、Clipのコーディック方式を指定するClip_codec_identifier[SubClip_entry_id]、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id[SubClip_entry_id]、およびreserved_for_future_useを含む。
なお、複数のClipの間で、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは共通して使われる。図７の例の場合、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubClip_entry_id＝０とSubClip_entry_id＝１との間で共通して使用されるものであり、選択されたSubClip_entry_idに対するText based subtitleがこのSubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemに基づいて再生される。
ここで、SubClip_entry_idの値は、SubPlayItemの中にあるClip_Information_file_name[SubClip_entry_id]が現れる順番に１から割り振られる。また、Clip_Information_file_ name[0]のSubClip_entry_idは０である。
次に、図２９は、図８乃至図２８を用いて説明したデータ構造を有するデータ、すなわち、上述したメインパスとサブパスを有するPlayListを再生する再生装置１の構成を示すブロック図である。
コントローラ２１は、予め用意されている制御プログラムを実行するか、または、ストレージドライブ２２を制御して、例えば、光ディスクなどの記録媒体１１に記録されているナビゲーションプログラムを読み出すか、または、ローカルストレージ２４に記録されているナビゲーションプログラムを読み出し、メモリ２３に展開して実行することで、再生装置１の全体の動作を制御する。例えば、コントローラ２１は、記録媒体１１が装着されたとき、または、所定の操作入力を受けた場合、所定のメニュー画面（ＧＵＩ表示画面）を外部の表示装置に表示させることができる。
すなわち、コントローラ２１は、ディスクナビゲーションプログラムを実行することにより、または、光ディスクなどの記録媒体１１、または、ローカルストレージ２４に記録されているコンテンツ(PlayListおよびAVストリームなどで構成されたコンテンツ)に含まれる、IG（インタラクティブグラフィックス）またはＰＧ（プレゼンテーショングラフィック）を用いて、所定のメニュー画面（ＧＵＩ表示画面）や、ボタン、アイコン、サムネイルなどの外部の表示装置への表示を制御することができる。
具体的には、コントローラ２１は、ディスクナビゲーションプログラムを実行することにより、または、光ディスクなどの記録媒体１１、または、ローカルストレージ２４に記録されているコンテンツに含まれるIGを用いて、ユーザの操作入力を受けるためのボタンなどを含む所定のメニュー画面（ＧＵＩ表示画面）や、ユーザの操作入力を受けるためのボタンやアイコン、または、サムネイルの外部の表示装置への表示を制御することができ、更に、IGまたはPGを用いて、ユーザに現在の設定状態を認識させるためのアイコンやサムネイルなどの、外部の表示装置への表示を制御することができる。GUI表示画面、または、ボタンやアイコンなどの例については、図３５乃至図３８を用いて後述する。
ストレージドライブ２２は、コントローラ２１による制御に従って記録媒体１１からデータを読み出し、読み出したデータを、コントローラ２１、メモリ２３、または、ＡＶデコーダ部２６に出力する。記録媒体１１から読み出された情報が、ナビゲーションプログラムやPlayListなどであった場合、ストレージドライブ２２により読み出された情報は、コントローラ２１、または、メモリ２３に出力される。記録媒体１１から読み出された情報が、ＡＶストリームやテキストデータであった場合、ストレージドライブ２２により読み出された情報は、ＡＶデコーダ部２６に出力される。
メモリ２３は、コントローラ２１が各種の処理を実行する上において必要なデータなどを適宜記憶する。さらに、メモリ２３の記憶領域の一部には、再生装置１の再生処理において必要な情報が設定される各種のレジスタが設けられている。レジスタのうち、例えば、PG TextSTやピクチャインピクチャに関する情報が設定されるレジスタの詳細例については、図３２乃至図３４を用いて後述する。
ローカルストレージ２４は、例えば、HDD(Hard Disk Drive)などより構成され、上述したようなＡＶストリームなどのデータ、または、それらを再生させるために必要なデータを記憶する。
インターネットインタフェース２５は、有線または無線によりネットワーク２に接続されており、コントローラ２１からの制御に従って、ネットワーク２を介して、サーバ３との間で通信を行い、サーバ３からダウンロードされたデータをローカルストレージ２４に供給する。サーバ３からは、例えば、そのとき再生装置１に装着されている記録媒体１１に記録されている、図４を用いて説明したデータをアップデートさせるデータがコンテンツとしてダウンロードされる。ローカルストレージ２４は、サーバ３からネットワーク２経由でダウンロードしたコンテンツを記録することができる。
ＡＶデコーダ部２６は、ストレージドライブ２２、または、ローカルストレージ２４から供給されるＡＶストリーム、または、テキストデータをデコードすることができ、得られたビデオ信号およびオーディオ信号を外部の表示装置に出力する。
表示装置においては、ＡＶデコーダ部２６によりデコードされた信号に基づいて、例えば、記録媒体１１に記録されているコンテンツの出力（映像の表示、音声の出力）が行われる。
操作入力部２９は、例えば、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成され、ユーザの操作入力を取得し、コントローラ２１に供給する。
また、コントローラ２１には、必要に応じてドライブ２７も接続されており、ドライブ２７には、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVDを含む）、光磁気ディスク（ＭＤ（登録商標）（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２８が装着される。
最初に、コントローラ２１がストレージドライブ２２を介して、HDD、Blu−ray Disc（商標）、またはDVDなどの記録媒体１１から、または、ローカルストレージ２４から、必要に応じて、GUI表示画面、または、ボタンやアイコンなどの表示に関連するデータ（ディスクナビゲーションプログラム、または、ＩＧストリームやＰＧストリーム）を読み出すとともに、PlayListファイルを読み出し、PlayListファイルの情報に基づいて、ストレージドライブ２２を介して、HDD、Blu−ray Disc（商標）、またはDVDなどの記録媒体１１から、または、ローカルストレージ２４から、ＡＶストリームやＡＶデータを読み出す。また、コントローラ２１は、メモリ２３のレジスタに登録されている、例えば、再生装置１の言語設定の初期情報などの各種設定情報を読み込む。
ユーザは、操作入力部２９を用いて、コントローラ２１に対し、音声や字幕などの切り替えの指令、GUI表示画面の表示の指令、または、ボタンなどに対する選択決定などの各種操作入力を行うことができる。
PlayListファイルには、Main Path、Sub Pathの情報の他、上述したSTN_table()が含まれている。コントローラ２１は、PlayListファイルに含まれるPlayItemが参照するメインClip AVストリームファイル、SubPlayItemが参照するサブClip AVストリームファイル、およびSubPlayItemが参照するテキストサブタイトルデータを、ストレージドライブ２２を介して記録媒体１１から、または、ローカルストレージ２４から読み出す。ここで、PlayItemが参照するメインClip AVストリームファイルとSubPlayItemが参照するサブClip AVストリームファイルとが、異なる記録媒体に記録されていてもよい。例えば、メインClip AVストリームファイルが記録媒体１１に記録されており、対応するサブClip AVストリームファイルは図示せぬネットワーク２を介して供給され、HDDなどのローカルストレージ２４に記憶されたものであってもよい。また、逆に、メインClip AVストリームファイルがHDDなどのローカルストレージ２４に記憶されたものであり、サブClip AVストリームファイルが記録媒体１１に記録されていてもよい。
また、コントローラ２１は、メモリ２３のレジスタに登録されている各種設定情報を参照して、自分自身（再生装置１）の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置１の言語設定の初期情報に対応するエレメンタリストリームを選択し、再生するよう制御する。
図３０は、図２９の再生装置１のＡＶデコーダ部２６の構成例を示すブロック図である。
ＡＶデコーダ部２６には、スイッチ３２、バッファ５１乃至５４、PIDフィルタ５５、PIDフィルタ５６、スイッチ５７乃至５９、PIDフィルタ６０、バックグラウンドデコーダ７１、１ｓｔビデオデコーダ７２−１、２ndビデオデコーダ７２−２、プレゼンテーショングラフィックスデコーダ７３、インタラクティブグラフィックスデコーダ７４、１stオーディオデコーダ７５−１、２ndオーディオデコーダ７５−２、Text-STコンポジション７６、スイッチ７７、プリロードバッファ８１、バックグラウンドプレーン生成部９１、１ｓｔビデオプレーン生成部９２−１、２ndビデオプレーン生成部９２−２、プレゼンテーショングラフィックスプレーン生成部９３、インタラクティブグラフィックスプレーン生成部９４、バッファ９５、ビデオデータ処理部９６、ミキシング処理部９７、およびミキシング処理部１０１が設けられている。
１ｓｔビデオデコーダ７２−１と２ndビデオデコーダ７２−２は、ともにビデオストリームをデコードする。基本的には、STN_table()において、primary_video_stream_idで与えられるビデオストリームをデコードするためのものが１stビデオデコーダ７２−１であり、Secondary_video_stream_idで与えられるビデオストリームをデコードするためのものが２ndビデオデコーダ７２−２である。すなわち、再生装置１は、２つのビデオストリームをデコードするために、２つのビデオデコーダ（１stビデオデコーダ７２−１、２ndビデオデコーダ７２−２）を有している。また、１stビデオデコーダ７２−１は、２ndビデオデコーダ７２−２よりも優先的に使用されるビデオデコーダであるものとすることもできる。すなわち、デコードするビデオストリームが１つしかない場合、そのビデオストリームがメインClip AVストリームファイルに含まれるビデオストリームであっても、サブClip AVストリームファイルに含まれるビデオストリームであっても、１stビデオデコーダ７２−１でデコードされるようにしてもよい。なお、以下において、１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２とを個々に区別しない場合、ビデオデコーダ７２と称する。
また、１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２も、ともにオーディオストリームをデコードする。基本的には、STN_table()において、primary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが１stオーディオデコーダ７５−１であり、Secondary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが２ndオーディオデコーダ７５−２である。すなわち、再生装置１は、２つのオーディオストリームをデコードするために、２つのオーディオデコーダ（１stオーディオデコーダ７５−１、２ndオーディオデコーダ７５−２）を有している。また、１stオーディオデコーダ７５−１は、２ndオーディオデコーダ７５−２よりも優先的に使用されるオーディオデコーダであるものとすることもできる。すなわち、デコードするオーディオストリームが１つしかない場合、そのオーディオストリームがメインClip AVストリームファイルに含まれるオーディオストリームであっても、サブClip AVストリームファイルに含まれるオーディオストリームであっても、１stオーディオデコーダ７５−１でデコードされるようにしてもよい。なお、以下において、１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２とを個々に区別しない場合、オーディオデコーダ７５と称する。
コントローラ２１により読み出されたファイルデータは、図示せぬ復調、ＥＣＣ復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ３２は、復調され、誤り訂正が施されたデータを、コントローラ２１からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ５１乃至５４に供給する。具体的には、スイッチ３２は、コントローラ２１からの制御に基づいて、バックグラウンドイメージデータをバッファ５１に供給し、メインClip AVストリームファイルのデータをバッファ５２に供給し、サブClipのデータをバッファ５３に供給し、Text-STのデータをバッファ５４に供給するようスイッチ３２を切り替える。
バッファ５１は、バックグラウンドイメージデータをバッファリングし、バッファ５２は、メインClip AVストリームファイルのデータをバッファリングし、バッファ５３は、サブClip AVストリームファイルのデータをバッファリングし、バッファ５４は、Text-STデータをバッファリングする。
メインClip AVストリームファイルは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスのうち、ビデオに加えて１つ以上のストリームを多重化したストリーム（例えばトランスポートストリーム）である。サブClip AVストリームファイルは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスとのうち、１つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイル（Text-ST）のデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。
また、メインClip AVストリームファイルとサブClip AVストリームファイルおよびテキストサブタイトルデータを、ストレージドライブ２２（記録媒体１１）またはローカルストレージ２４から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、メインClipを読み出す前に、サブClip AVストリームファイルやテキストサブタイトルデータを予め読み出しておき、先行してバッファ(バッファ５３またはバッファ５４)へプリロードしてもよい。
そして、メインClip AVストリームファイル用リードバッファであるバッファ５２から読み出されたストリームデータは、所定のタイミングで、後段のPID（パケットＩＤ）フィルタ５５へ出力される。このPIDフィルタ５５は、入力されたメインClip AVストリームファイルをPID（パケットＩＤ）に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ５５は、ビデオストリームを１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２への供給元となるPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームを１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２への供給元となるスイッチ５９に供給する。
なお、プレゼンテーショングラフィックスストリームは、上述したように、例えば、ビットマップの字幕データや、アイコン、または、サムネイルなどに対応するデータであり、テキストサブタイトルデータは、上述したように、例えば、テキスト字幕データである。そして、インタラクティブグラフィックストリームは、上述したように、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテム、または、これらのアイテムを含むGUI表示画面に対応するデータであるとすることができる。これらのボタンやアイコン、または、サムネイルなどのアイテムには、所定のコマンドを対応付けることができ、ユーザが、これらのアイテムを選択決定する操作入力を行うことにより、対応するコマンドが発行される。
サブClip AVストリームファイル用リードバッファであるバッファ５３から読み出されたストリームデータは、所定のタイミングで、後段のPID（パケットＩＤ）フィルタ５６へ出力される。このPIDフィルタ５６は、入力されたサブClip AVストリームファイルをPID（パケットＩＤ）に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ５６は、ビデオストリームを１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２への供給元となるPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームを１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２への供給元となるスイッチ５９に供給する。
また、PIDフィルタ６０には、メインClip AV Streamのビデオストリーム、または、サブClip AV Streamのビデオストリームが、PIDフィルタ５５またはPIDフィルタ５６を介して入力されてくる。そこで、PIDフィルタ６０は、入力されたビデオストリームを、そのPID（パケットID)に応じて、後段の1stビデオデコーダ７２−１または2ndビデオデコーダ７２−２に振り分けて出力する。即ち、PIDフィルタ６０は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ７２−１に供給する。これに対して、PIDフィルタ６０は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ７２−２に供給する。
なお、ここでは、プライマリビデオストリームとして、メインClip AV Streamのビデオストリームのみが利用され、サブClip AV Streamのビデオストリームは利用されないとされている。ただし、将来、サブClip AV Streamのビデオストリームもプライマリビデオストリームとして利用され得ることも考慮して、PIDフィルタ５６から供給されたサブClip AV Streamのビデオストリームも１stビデオデコーダ７２に供給され得るように、PIDフィルタ６０が構成されている。すなわち、SubPathにより指定されたサブClipに含まれるビデオストリームのみを再生し、ビデオストリームの再生にメインClipを使わず、オーディオストリームの再生は、サブClip、もしくは、メインClipを用いる場合である。
バックグラウンドイメージデータをバッファリングするバッファ５１から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ７１に供給される。バックグラウンドデコーダ７１は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部９１に供給する。
１stビデオデコーダ７２−１は、ビデオストリームをデコードし、デコードしたビデオデータを１stビデオプレーン生成部９２−１へ出力する。2ndビデオデコーダ７２−２は、ビデオストリームをデコードし、デコードしたビデオデータを2ndビデオプレーン生成部９２−２へ出力する。
スイッチ５７は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームのうちのいずれか１つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ７３に供給する。プレゼンテーショングラフィックスデコーダ７３は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部９３への供給元となるスイッチ７７に供給する。
また、スイッチ５８は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームのうちのいずれか１つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ７４に供給する。インタラクティブグラフィックスデコーダ７４は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、プリロードバッファ８１に供給する。
プリロード用バッファ８１は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームを一時記憶する。例えば、再生装置１が、一度に２つのＴＳ(Transport stream)しか読み出せないという制限が課せられている場合などにおいて、再生装置１は、インタラクティブグラフィックスストリームを予め取得しておくことで（プリロードしておくことで）、ビデオストリームやオーディオストリームを再生するときに、プリロードしておいたインタラクティブグラフィックスストリームも同時再生することができる、といった機能を有している。かかる機能を実現するために、即ち、プリロードされたインタラクティブグラフィックスストリームを、ビデオストリームやオーディオストリームが再生されるタイミングまで保存しておくために、プリロード用バッファ８１が設けられているのである。
プリロード用バッファ８１に蓄積されたデコード済みのインタラクティブグラフィックスストリームは、所定のタイミングでインタラクティブグラフィックスプレーン生成部９４に供給される。
さらに、スイッチ５９は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるオーディオストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるオーディオストリームを、後段の１stオーディオデコーダ７５−１、または、２ndオーディオデコーダ７５−２に供給する。具体的には、スイッチ５９は、stream_entry()のtypeの値によって、その選択を切り替える。
１stオーディオデコーダ７５−１は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部１０１に供給する。また、２ndオーディオデコーダ７５−２は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部１０１に供給する。
ここで、２つのオーディオストリームを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたオーディオストリームとが、ミキシング処理部１０１に供給される。
例えば、メインパスで参照される１stオーディオストリームとサブパスで参照される２ndオーディオストリームとを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたメインClip AVストリームファイルのオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部１０１に供給される。
また、例えば、サブパスで参照される２本のオーディオストリームを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたサブClip AVストリームファイルのオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部１０１に供給される。
ミキシング処理部１０１は、１stオーディオデコーダ７５−１からのオーディオデータと、２ndオーディオデコーダ７５−２からのオーディオデータとをミキシング（重畳）し、後段のミキシング処理部９７に出力する。なお、本実施の形態においては、１stオーディオデコーダ７５−１から出力されるオーディオデータと２ndオーディオデコーダ７５−２から出力されるオーディオデータとをミキシング（重畳）することを、合成するとも称する。すなわち、合成とは、２つのオーディオデータを、ミキシングすることも示すものとする。
また、スイッチ３２により選択されたサウンドデータは、バッファ９５に供給され、バッファリングされる。バッファ９５は、所定のタイミングでサウンドデータをミキシング処理部９７に供給する。サウンドデータは、例えば、メニュー選択などによる効果音のデータなどである。ミキシング処理部９７は、ミキシング処理部１０１によりミキシングされたオーディオデータ（１stオーディオデコーダ７５−１から出力されたオーディオデータと２ndオーディオデコーダ７５−２から出力されたオーディオデータとがミキシングされたオーディオデータ）と、バッファ９５から供給されてきたサウンドデータをミキシング（重畳、または合成）し、音声信号として出力する。
テキストサブタイトル用リードバッファであるバッファ５４から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジション（デコーダ）７６へ出力される。テキストサブタイトルコンポジション７６は、Text-STデータをデコードし、スイッチ７７に供給する。
スイッチ７７は、プレゼンテーショングラフィックスデコーダ７３によりデコードされたプレゼンテーショングラフィックスストリームと、Text-ST（テキストサブタイトルデータ）のうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部９３に供給する。すなわち、プレゼンテーショングラフィックスプレーン生成部９３へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ７３またはテキストサブタイトル（Text-ST）コンポジション７６のうちのいずれかの出力である。また、プレゼンテーショングラフィックスデコーダ７３へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClip AVストリームファイルまたはサブClip AVストリームファイルのいずれかから分離されたストリームである。したがって、プレゼンテーショングラフィックスプレーン生成部９３へ同時に出力される字幕画像は、メインClip AVストリームファイルからのプレゼンテーショングラフィックスストリーム、またはサブClip AVストリームファイルからのからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。
バックグラウンドプレーン生成部９１は、バックグラウンドデコーダ７１から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合や、ストリーム再生中以外に後述するGUI表示画面を表示する場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部９６に供給する。
１ｓｔビデオプレーン生成部９２−１は、１ｓｔビデオデコーダ７２−１から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部９６に供給する。２ｎｄビデオプレーン生成部９２−２は、２ｎｄビデオデコーダ７２−２から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部９６に供給する。
プレゼンテーショングラフィックスプレーン生成部９３は、スイッチ７７により選択され、供給されたデータ（プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータ）に基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。
インタラクティブグラフィックスプレーン生成部９４は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。
ビデオデータ処理部９６は、バックグラウンドプレーン生成部９１からのバックグラウンドプレーン、１ｓｔビデオプレーン生成部９２−１からのビデオプレーン、２ｎｄビデオプレーン生成部９２−２からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部９３からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部９４からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。
なお、ビデオデータ処理部９６は、ピクチャインピクチャ表示が行われる場合、すなわち、１ｓｔビデオプレーン生成部９２−１からのビデオプレーン、および、２ｎｄビデオプレーン生成部９２−２からのビデオプレーンの両方の入力を受けるとき、メイン画面（親画面）の中に、サブ画面（子画面）を有するピクチャインピクチャ表示画面（図３１を用いて後述する）を生成する。
また、これらのスイッチ５７乃至５９、並びにスイッチ７７は、操作入力部２９を介するユーザからの選択に基づいて、または、対象となるデータが含まれるファイルが供給される側に、スイッチを切り替える。例えば、サブClip ＡＶストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ５９はサブClip ＡＶストリームファイルを供給する側（ＰＩＤフィルタ５６の出力）にスイッチを切り替える。
次に、再生装置１における再生処理について説明する。操作入力部２９を用いてユーザにより所定のＡＶストリームの再生が指令されたとき、コントローラ２１は、ストレージドライブ２２を介して記録媒体１１から、または、HDD(Hard Disk Drive)などで構成されるローカルストレージ２４から、PlayListファイルに含まれるPlayList（PlayListに含まれるPlayItemおよびSubPlayItem）に基づいて、メインClip AVストリーム、サブClip AVストリーム、およびテキストサブタイトルデータ（Text-STデータ）を読み出して、ＡＶデコーダ部２６に供給する。
コントローラ２１は、バックグラウンドイメージデータをバッファ５１に供給し、メインClip AVストリームのデータをバッファ５２に供給し、サブClip AVストリームのデータをバッファ５３に供給し、Text-STのデータをバッファ５４に供給するようスイッチ３２を切り替える。
そして、スイッチ３２が切り替えられて、バックグラウンドイメージデータはバッファ５１に供給され、メインClip AVストリームのデータはバッファ５２に供給され、サブClip AVストリームのデータはバッファ５３に供給され、テキストサブタイトルデータはバッファ５４に供給され、各バッファ５１乃至５４は、供給されたデータをそれぞれバッファリングする。
そして、バッファ５１は、バックグラウンドイメージデータをバックグラウンドデコーダ７１に出力し、バッファ５２はメインClip AVストリームのストリームデータをPIDフィルタ５５に出力し、バッファ５４は、テキストサブタイトルデータをテキストサブタイトルコンポジション７６に出力し、バッファ５３は、サブClip AVストリームのストリームデータをPIDフィルタ５６に出力する。
PIDフィルタ５５は、ビデオストリームをPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームをスイッチ５９に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。
そして、PIDフィルタ５６は、ビデオストリームをPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームをスイッチ５９に供給する。
PIDフィルタ６０は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ７２−１に供給する。これに対して、PIDフィルタ６０は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ７２−２に供給する。
そして、PIDフィルタ５５およびPIDフィルタ５６の後段のスイッチ５７、および、スイッチ５８は、コントローラ２１からの制御に基づいて、メインClipとサブClipのいずれかを選択する。すなわち、スイッチ５７は、PIDフィルタ５５から供給されたメインClip AVストリームまたはサブClip AVストリームのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ７３に供給する。また、スイッチ５８は、PIDフィルタ５５から供給されたメインClip AVストリームまたはサブClip AVストリームのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフィックスストリームデコーダ７４に供給する。
さらに、スイッチ５９は、オーディオの合成が行われない場合、PIDフィルタ５５から供給されたメインClip AVストリーム、または、PIDフィルタ５６から供給されたサブClip AVストリームのオーディオストリームのうちのいずれかを選択し、後段の１stオーディオデコーダ７５−１に供給する。なお、音声を切り替えるような指令や、音声を合成するような指令がユーザにより行われた場合には、スイッチ５９は、メインClip AVストリームのオーディオストリームを２ndオーディオデコーダ７５−２に供給したり、サブClip AVストリームのオーディオストリームを１stオーディオデコーダ７５−１や２ndオーディオデコーダ７５−２に供給する。
そして、バックグラウンドデコーダ７１は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部９１に出力し、１ｓｔビデオデコーダ７２−１および２ｎｄビデオデコーダ７２−２は、ビデオストリームをデコードし、これを、それぞれ、１ｓｔビデオプレーン生成部９２−１および２ｎｄビデオプレーン生成部９２−２に出力し、プレゼンテーショングラフィックスデコーダ７３は、スイッチ５７により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ７７に出力し、インタラクティブグラフィックスデコーダ７４は、スイッチ５８により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部９４に出力し、Text-STコンポジション７６は、テキストサブタイトルデータをデコードし、これを後段のスイッチ７７に出力する。
そして、１stオーディオデコーダ７５−１は、スイッチ５９により選択され、供給されたオーティオストリーム（プライマリオーディオストリーム）をデコードし、これを後段のミキシング処理部１０１に出力する。例えば、音声の切り替えがユーザにより指示されていない状態における再生処理では、２ndオーディオデコーダ７５−２からオーディオデータが出力されることはないので、ミキシング処理部１０１は、１stオーディオデコーダ７５−１から出力されたオーディオデータを、そのまま後段のミキシング処理部９７に供給する。また、音声の合成がユーザにより指令されている状態においては、２ndオーディオデコーダ７５−２は、スイッチ５９により選択され、供給されたオーティオストリームをデコードし、これを後段のミキシング処理部１０１に出力する。ミキシング処理部１０１は、１stオーディオデコーダ７５−１から出力されたオーディオデータと２ndオーディオデコーダ７５−２から出力されたオーディオデータとを合成(ミキシング)し、後段のミキシング処理部９７に供給する。
スイッチ７７は、プレゼンテーショングラフィックスデコーダ７３またはText-STコンポジション７６からのデータのいずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部９３に供給する。
バックグラウンドプレーン生成部９１は、バックグラウンドデコーダ７１から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成し、ビデオプレーン生成部９２は、ビデオデコーダ７２から供給されたビデオデータに基づいて、ビデオプレーンを生成し、プレゼンテーショングラフィックスプレーン生成部９３は、スイッチ７７により選択され、供給されたプレゼンテーショングラフィックスデコーダ７３からのデータまたはText-STコンポジション７６からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成し、インタラクティブグラフィックスプレーン生成部９４は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成する。
そして、ユーザにより、メニュー画面などのGUI表示画面の表示が指令された場合、コントローラ２１は、AVデコーダ部２６を制御して、GUI表示画面を表示させる。また、ユーザの操作入力に基づいて所定のコマンドが発行されることにより、コントローラ２１は、AVデコーダ部２６を制御して、ユーザが操作入力を行うことが可能なボタンやサムネイル、または、ユーザに現状の設定状態を通知するためのアイコンやサムネイルなどを表示させる。
メニュー画面などのGUI表示画面に対応するデータは、ナビゲーションプログラムによって生成されるか、または、インタラクティブグラフィックスストリームとしてコンテンツデータに含まれて、ユーザに提供される。ユーザが操作入力を行うことが可能なボタンやサムネイルは、インタラクティブグラフィックスストリームとしてコンテンツデータに含まれて、ユーザに提供される。ユーザに現状の設定状態を通知するためのアイコンやサムネイルなどは、プレゼンテーショングラフィックスストリーム、または、インタラクティブグラフィックスストリームとしてコンテンツデータに含まれて、ユーザに提供される。
メニュー画面などのGUI表示画面がインタラクティブグラフィックスストリームにより提供される場合、GUI表示画面は、ユーザによるON/OFFの操作入力を基に、インタラクティブグラフィックを表示させたり、表示を取り消したりすることが可能な“Pop-up menu”として提供することが可能である。
表示されるGUI表示画面、または、ボタン、サムネイル、アイコンなどに対応するインタラクティブグラフィックが、既にプリロードされてデコードされ、プリロード用バッファ８１に蓄積されている場合、対応するインタラクティブグラフィックスデータがプリロード用バッファ８１から読み出され、インタラクティブグラフィックスプレーン生成部９４に供給されて、生成されたインタラクティブグラフィックスプレーンがビデオデータ処理部９６に供給される。また、表示が指令されたGUI表示画面、または、ボタン、サムネイル、アイコンなどに対応するインタラクティブグラフィックスがプリロードされていない場合、対応するインタラクティブグラフィックスストリームがストレージドライブ２２を介して記録媒体１１から、または、ローカルストレージ２４から読み出されて、上述したようにして、インタラクティブグラフィックスデコーダ７４に供給されてデコードされ、プリロード用バッファ８１を介して、インタラクティブグラフィックスプレーン生成部９４に供給されて、生成されたインタラクティブグラフィックスプレーンがビデオデータ処理部９６に供給される。
そして、ビデオデータ処理部９６は、各プレーンのデータを合成し、ビデオデータとして出力する。すなわち、ビデオデータ処理部９６により合成されて生成されたビデオデータには、GUI表示画面、または、ボタン、サムネイル、アイコンなどが合成されている場合と、合成されていない場合がある。
また、バッファ９５は、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部９７に供給する。ミキシング処理部９７は、オーディオデータ（ミキシング処理部１０１から出力されたオーディオデータ）とサウンドデータをミキシング（合成）し、出力する。
このような処理により、PlayListに含まれるメインパスとサブパスによりメインClip AVストリーム、サブClip AVストリーム、およびテキストサブタイトルデータが参照され、再生される。PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClip ＡＶストリームファイルとは異なるClip AVストリームである、サブClip AVストリームを指定可能な構成としたので、メインパスのPlayItemが指すメインClipとは異なるClipであるサブClipに含まれるデータとメインClipに含まれるデータとを一緒に（同じタイミングで）再生することができる。
ところで、上述したように、本発明の再生装置１に装着される記録媒体１１上、または、再生装置１のローカルストレージ２４に記録されるデータのアプリケーションフォーマットは、PlayListとClipの２つのレイヤを有している。そして、PlayListは、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られるメインパス(Main Path)と、そのMain Pathに並行（並列）して、１つ以上のSubPlayItemの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られるサブパス（Sub Path）を1以上含むことができる。
このような構成を有するデータを、図２９および図３０を用いて説明した再生装置１において再生することにより、図３１に示されるように、全画面（親画面）２０１と子画面２０２のそれぞれに別々のコンテンツを同時再生させる、といったピクチャインピクチャ手法を適用することが可能になる。
例えば、図３１に示されるように、１画面のうちの、全画面２０１に、メインパスで参照されるＡＶストリーム（図３１中、Primary Videoと記述されているビデオストリーム２１１、および、Primary Audioと記述されているオーディオストリーム２１２）に対応する映画本編等のコンテンツを再生させるとともに、全画面２０１に配置される子画面２０２に、サブパスで参照されるＡＶストリーム（図３１中、Secondary Videoと記述されているビデオストリーム２１３、および、Secondary Audioと記述されているオーディオストリーム２１４）に対応する映画の監督のコメンタリ等、メインパスで参照されるＡＶストリームとは別のコンテンツを再生させる、といった手法を適用することが可能になる。
具体的には、ピクチャインピクチャは、例えば映画本編(Primary Video, Primary Audio)を全画面２０１に表示しているときに、監督のコメンタリ(Secondary Video, Secondary Audio)を子画面２０２に入れ子画面にして、必要に応じて、音声を合成し、同時に表示出力されるように再生するアプリケーションである。
なお、サブタイトルストリームの再生位置（字幕等の表示位置）は、特に子画面内である必要は無く、全画面のうちの何れの位置でもよい。このため、図３１の例では、サブタイトルストリーム２１５は、子画面２０２からはみ出すように描画されている。
ユーザがピクチャインピクチャアプリケーションに関して許されているユーザオペレーションは、セカンダリビデオを表示するか否か、換言すれば、ピクチャインピクチャアプリケーションのon/offを指令するためのユーザオペレーションと、一つの区間に複数のセカンダリビデオが用意されている場合に、現在表示されているセカンダリビデオを他のセカンダリビデオに切り替えるユーザオペレーションである。また、セカンダリビデオが表示されている場合には、セカンダリオーディオのon/offおよび再生されるセカンダリオーディオの変更、並びに、ピクチャインピクチャ用の字幕のon/offおよび字幕の変更を指令するユーザオペレーションも許されている。
また、再生装置１においては、再生装置１のメモリ２３の書き換え可能なメモリ領域のうちの一部に、複数のレジスタが設けられ、このレジスタに設定される値を基に、再生処理が実行される。
レジスタのうち、例えば、再生装置１がセカンダリオーディオストリームを再生することが可能か否かが設定されているレジスタの値など、再生装置１固有の機能について設定されているものは、その値が変更されることはない。これに対して、レジスタのうちの所定のものの設定は、例えば、ユーザから所定の操作入力を受けた場合、または、プログラムにより発生されるコマンドにより変更される。
なお、これらのコマンドは、ストリームデータとは個別に記録媒体や内部のハードディスク等に記録され、再生装置１によってプリロードされ、コントローラ２１に供給されるようになされていてもよいし、ストリームデータに埋め込まれて記録媒体や内部のハードディスク等に記録され、再生装置１によってストリームデータが再生されるのに伴ってロードされ、コントローラ２１に供給されるようになされていてもよい。
レジスタには、再生装置１における再生処理に必要な各種設定を示す値が保持されている。レジスタに格納される値により、例えば、再生装置１が再生するサブタイトルストリーム（PG TextSTストリーム）が設定され、再生装置１が再生するピクチャインピクチャアプリケーション用のPG・テキスト字幕ストリーム（PiP PG TextSTストリーム）が設定され、ピクチャインピクチャアプリケーションによって再生されるセカンダリビデオストリームが設定され、セカンダリビデオストリームが再生される子画面の大きさが設定され、再生装置１が再生可能なサブタイトルストリーム（PG TextSTストリーム）の言語コード番号（またはＩＤ）が設定され、初期設定されている言語が設定され、再生装置１が再生可能なサブタイトルストリーム（PG TextSTストリーム）に対応する国のコード番号（またはＩＤ）が設定されるようにすることができる。
図３２を用いて、メモリ２３に設けられているレジスタの一例である第１のレジスタについて説明する。第１のレジスタには、サブタイトルストリーム（PG TextSTとPiP PG TextST）の表示についての設定を示す情報が格納されており、disp_s_flag、PiP_PG_textST_valid_flag、PG TextST stream number、および、PG TextST stream numberの情報が格納されている。
disp_s_flagは、サブタイトルストリーム（PG TextSTとPiP PG TextST）を表示するか否かを示すデータが格納されるレジスタ領域であり、例えば、disp_s_flag＝0のとき、PG TextSTとPiP PG TextSTの表示は無効とされ、disp_s_flag＝1のとき、PG TextSTとPiP PG TextSTの表示は有効とされる。
PiP_PG_textST_valid_flagは、ピクチャインピクチャ表示が行われているときに、サブタイトルストリームとして、PG TextSTとPiP PG TextSTとのいずれを表示するかを示すデータが格納されるレジスタ領域であり、例えば、PiP_PG_textST_valid_flag＝0のとき、Secondary Videoが表示されていれば、第１のレジスタのPG TextST stream numberに登録されている値を参照して、PG TextST streamを読み出して再生することができ、また、これに対して、PiP_PG_textST_valid_flag＝1のとき、Secondary Videoが表示されていれば、第１のレジスタのPiP PG TextST stream numberに登録されている値を参照して、PiP PG TextST streamを読み出して再生することができる。
なお、PiP_PG_textST_valid_flagは、Secondary Videoが表示されていない場合には意味をなさない。すなわち、PiP_PG_textST_valid_flag にいずれの値が格納されていても、Secondary Videoが表示されていない場合においては、格納された値に対応するPG TextST stream number、または、PiP PG TextST stream numberにより特定されるサブタイトルストリームが読み出されて表示されるとは限らない。Secondary Videoが表示されていない状態で表示可能なサブタイトルストリームは、PG TextST stream numberに示される。
PG TextST stream numberには、サブタイトルストリームとして表示可能なPG TextST stream numberが格納される。そして、PiP PG TextST stream numberには、サブタイトルストリームとして表示可能なPiP PG TextST stream numberが格納される。
現在のPlayItemの再生においてSecondary Videoが表示されていない場合(例えば、後述する第２のレジスタのdisp_v_flagが0に設定されている場合、または、Secondary video streamがユーザ操作などにより現在のPlayItemに対応つけて表示されていない場合など)、PG Text stream numberの設定において、次の２つのルールが適用される。すなわち、第１のルールは、現在のPlayItemのSTN_tableに登録されているPG TextST streamの中から、表示されるべき PG Text stream numberが、第１のレジスタのPG Text stream numberに示されることであり、第２のルールは、第１のレジスタのPGText stream numberの設定は、所定のセレクションモデルによってコントロールされることである。
所定のセレクションモデルとは、例えば、表示されるPG Text streamがユーザまたはコマンドにより設定されている場合は、再生装置の表示能力があれば、そのストリームが優先されて選択され、設定されていない場合、例えば、再生装置１において表示できる言語、または、表示できない言語を表す値が設定されているレジスタが参照されて、再生装置１が表示能力を有する言語が優先して選択され、次に、再生装置１に設定されている言語コードと同等のものが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
そして、現在のPlayItemの再生においてSecondary Videoが表示されていて（例えば、後述する第２のレジスタのdisp_v_flagが1に設定されていて、現在のPlayItem再生において第２のレジスタに定義されたSecondary Video streamが表示されている場合)、かつ第１のレジスタのPiP_PG_textST_valid_flagに1が設定されている場合、次の2つのルールが適用される。すなわち、第３のルールは、現在のPlayItemのSTN_tableに登録されているPiP PG TextST streamの中から、表示されるべき PiP PG Text stream numberが、第１のレジスタのPiP PG Text stream number に示されることであり、第４のルールは、第１のレジスタのPiP PG Text stream numberの設定は、所定のセレクションモデルによってコントロールされることである。
所定のセレクションモデルとは、例えば、表示されるPiP PG Text streamがユーザまたはコマンドにより設定されている場合は、再生装置の表示能力があれば、そのストリームが優先され、設定されていない場合、例えば、再生装置１において表示できる言語、または、表示できない言語を表す値が設定されているレジスタが参照されて、再生装置１が表示能力を有する言語が優先して選択され、次に、再生装置１に設定されている言語コードと同等のものが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
次に、図３３を用いて、メモリ２３に設けられているレジスタの一例である第２のレジスタについて説明する。第２のレジスタには、セカンダリビデオおよびセカンダリオーディオの再生についての設定を示す情報が格納されており、disp_v_flag、disp_a_flag、Secondary Video size、Secondary video stream number、および、Secondary audio stream numberの情報が格納されている。
disp_v_flagは、Secondary Videoの再生が有効であるか無効であるかを示すフラグであり、disp_v_flag＝0のとき、Secondary Videoの再生は無効であり、disp_v_flag＝1のとき、Secondary Videoの再生は有効である。
disp_a_flagは、Secondary Audioの再生が有効であるか無効であるかを示すフラグであり、disp_a_flag＝0のとき、Secondary Audioの再生は無効であり、disp_a_flag＝1のとき、Secondary Audioの再生は有効である。
Secondary Video sizeには、セカンダリビデオが表示される場合の表示の大きさに関する設定値が格納され、例えば、Secondary Video size＝0x0である場合、Secondary videoのサイズは、PlayItem中のpip_metadataのpip_scale[i]の値によってスケールされ、Secondary Video size＝0xFである場合、Secondary videoのサイズは、PlayItem中のpip_metadataのpip_scale[i]の値に関係なく、フルスクリーンとしてスケールされる。
Secondary video stream numberは、現在のPlayItemのSTN_tableに登録されているプライマリオーディオストリームの中で、再生されるプライマリオーディオストリームに対応するSecondary video stream numberが設定されているレジスタである。そして、Secondary audio stream numberは、現在のPlayItemのSTN_tableに登録されているセカンダリオーディオストリームの中で、再生されるセカンダリオーディオストリームに対応するSecondary audio stream numberが設定されているレジスタである。
このように、第２のレジスタには、現在のPlayItemのSTN_tableに登録されているSecondary Audio stream のうちの、再生されるべきSecondary audio stream numberが示されている。第２のレジスタのSecondary audio stream numberの設定は、所定のセレクションモデルによってコントロールされる。
所定のセレクションモデルとは、例えば、表示されるSecondary audio stream numberがユーザまたはコマンドにより設定されている場合、そのストリームが優先され、設定されていない場合、再生装置１に設定されているか、または、現在再生されているPrimary audio streamと同じ言語コードが優先され、そして、次に、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
そして、第２のレジスタには、現在のPlayItemのSTN_tableに登録されているSecondary Video streamのうちの、再生されるべきSecondary video stream numberも示されている。第２のレジスタのSecondary video stream numberの設定は、所定のセレクションモデルによってコントロールされる。
所定のセレクションモデルとは、ここでも、例えば、表示されるSecondary video stream numberがユーザまたはコマンドにより設定されている場合、そのストリームが優先され、設定されていない場合、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
図３４を用いて、メモリ２３に設けられているレジスタの一例である第３のレジスタについて説明する。第３のレジスタには、ＩＧの再生についての設定を示す情報が格納されている。
第３のレジスタには、再生されるＩＧのストリームナンバーを示す、Interactive Graphics stream numberの情報が格納される。すなわち、ＩＧの再生についての設定を示す情報が格納されている第３のレジスタには、第１のレジスタにおけるdisp_s_flag、または、PiP_PG_textST_valid_flagや、第２のレジスタにおけるdisp_v_flag、または、disp_a_flagなどのように、表示を操作できるフラグ情報が存在しない。
すなわち、第３のレジスタに設定されるＩＧには、メインパスにより参照されるＩＧであるか、サブパスにより参照されるＩＧであるかの区別はなく、第３のレジスタにいずれかのInteractive Graphics stream numberが設定された場合、対応するＩＧが即座に再生開始される。
第３のレジスタのInteractive Graphics stream numberの設定は、所定のセレクションモデルによってコントロールされる。
所定のセレクションモデルとは、例えば、表示されるIG streamがユーザまたはコマンドにより設定されている場合は、再生装置の表示能力があれば、そのストリームが優先されて選択され、設定されていない場合、STN_table()に登録されている順番で番号が若いものから順番に優先して選択されるといったような、ストリームの選択モデルである。
そして、ピクチャインピクチャとして子画面２０２に表示可能なSecondary Videoは、１つのPlayList中に複数定義することができる。例えば、１つのPlayList中に子画面２０２として表示可能なSecondary Videoを２５５個含めることができる。なお、メインストリームとともに再生可能なサブストリーム、すなわち、Secondary Videoと、必要に応じて、Secondary Audio、PiP PG、IGを含むSub Play Itemにより参照されるサブストリームは１つのみとされ、再生されるそれぞれのサブストリームのストリームナンバーが、上述した３つのレジスタにそれぞれ設定される。
また、ピクチャインピクチャ表示されるサブストリームは、Primary Videoの全ての再生区間に対して用意されているとは限らず、また、同一の再生区間に、複数のSecondary VideoおよびSecondary Audioが用意されている場合もある。また、Secondary Videoと、それに対応するSecondary Audioは、全てが所定のタイミングで再生されるのではなく、ユーザの所望のタイミングで再生される（非同期）のものも存在する。
このように、１つのタイトルに、同期型と非同期型の複数のサブストリームを用意することができるので、ユーザが、容易に、これらのサブストリームのうちの所望のものを選択して表示を指令するための仕組みが必要である。
そこで、再生装置１は、ユーザが、表示可能な複数のピクチャインピクチャの子画面２０２のうちの所望のものを再生させるための指令が容易に行えるようなメニュー画面（GUI表示画面）や表示開始ボタン、または、現在の設定状況をユーザに通知するために用いられるアイコンなどを表示する機能を有する。このメニュー画面（GUI表示画面）は、上述したように、ディスクナビゲーションプログラムとして、または、ＩＧとして、記録媒体１１に格納されて提供される。また、表示開始ボタンは、ＩＧとして、記録媒体１１に格納されて提供されるか、または、ローカルストレージ２４に記録されて提供される。その他、必要に応じて現在の設定状況をユーザに通知するために用いられるアイコンやサムネイルなどは、ＩＧとして、または、ＰＧとして、記録媒体１１に格納されて提供されるか、または、ローカルストレージ２４に記録されて提供される。
具体的には、再生装置１においては、例えば、全画面２０１に表示されるPrimary Videoに対応付けて子画面２０２として再生可能なようになされている複数のSecondary Videoのうちのいずれを表示させるかを選択するためのＧＵＩ表示画面が表示され、必要に応じて、現在のピクチャインピクチャ表示に関する設定状況をユーザに通知するためのアイコンやサムネイルなどが表示され、表示させるピクチャインピクチャとして、非同期型のものが選択されている場合に、ユーザが所望のタイミングでピクチャインピクチャ表示の開始を指令することができるような表示開始ボタンなどを表示する機能を有するものとする。
ユーザは、このGUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどを参照することにより、表示させることか可能なサブストリーム、すなわち、ピクチャインピクチャ表示可能なストリームの種類や、現在のピクチャインピクチャ表示に関する設定状況を認識することができ、GUI表示画面に備えられているボタンなどのアイテムや表示開始ボタンなどに対して必要な操作を入力することにより、表示させるサブストリームの選択や、ピクチャインピクチャの表示開始を指令することが可能となる。
GUI表示画面に備えられている、例えば、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムには、所定のコマンドが対応付けられており、ユーザが、これらのアイテムを選択決定する操作入力を行うことにより、対応するコマンドが発行される。また、ＩＧにより表示されるボタンやサムネイルなどにも、所定のコマンドを対応付けることができ、ユーザが、これらのボタンを選択決定する操作入力を行うことにより、対応するコマンドが発行される。
そして、ユーザが、これらのアイテムを選択決定する操作入力を行うことにより、上述した第１のレジスタ乃至第３のレジスタのうちの必要な部分が設定・更新されるコマンドが発行され、ユーザが所望するピクチャインピクチャアプリケーションを再生させることができる。
コマンドは、GUI表示画面のユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムに対応つけて、直接、記載されていても良いが、例えば、再生装置１が実行可能なコマンドがライブラリで与えられているような場合、それぞれのアイテムが選択されたとき、アイテムに対応するコマンドが、ライブラリから取得されて実行されるようにしても良い。
次に、図３５乃至図４５を参照して、GUI表示画面、表示開始ボタン、および、現在の設定状況をユーザに通知するために用いられるアイコンなどの表示と、ユーザの操作入力によって実行される処理、および、メインパスに対するサブパスの配置について説明する。
例えば、図示しないリモコンに、PiP On/Offボタンを設け、ユーザにより、PiP On/Offボタンが押下された場合、または、所定のメニュー画面からPiP メニュー画面の表示を指令可能なようにし、ユーザにより、PiP メニュー画面の表示が指令された場合、図３５に示されるように、ユーザの操作入力を促すためのＧＵＩ表示画面として、PiP メニュー画面２６１がポップアップ表示される。PiP メニュー画面２６１は、メインストリームの再生中であっても、再生開始前であっても、表示可能である。PiP メニュー画面２６１には、いずれか一方のみ選択可能なＯＮボタン２７１とＯＦＦボタン２７２とが設けられ、ユーザは、ＯＮボタン２７１とＯＦＦボタン２７２のいずれかを選択する。
ユーザにより、ＯＦＦボタン２７２が選択された場合、再度PiP メニュー画面２６１が表示されてＯＮボタン２７１が選択されるまで、ピクチャインピクチャ表示は実行されない。
一方、ユーザにより、ＯＮボタン２７１が選択された場合、ピクチャインピクチャ表示が実行される。現在再生されているタイトル、または、再生予定のタイトル、すなわち、再生装置１に装着されている記録媒体１１に対応するタイトルにおいて、複数のPiP表示が可能なようになされている場合、図３６に示されるように、再生可能なサブストリームが一覧され、ユーザが、そのうちの所望のサブストリームを選択決定することができるようになされている、ストリーム選択ウィンドウ２８１が表示され、ユーザにより、所望のサブストリームが選択可能なようになされている。
ここでは、３つのサブストリームが選択可能なようになされており、第１のPiP選択ボタン２９１は、同期型のPiPの再生指令に対応付けられ、第２のPiP選択ボタン２９２および第３のPiP選択ボタン２９３は、非同期型のPiPの再生指令に対応付けられているものとする。
ここでは、ストリーム選択ウィンドウ２８１に第１のPiP選択ボタン２９１、第２のPiP選択ボタン２９２、および、第３のPiP選択ボタン２９３が表示され、ユーザにより選択可能なようになされているものとして説明したが、ストリーム選択ウィンドウ２８１に表示されるのは、ボタン以外であってもよく、例えば、アイコンやサムネイル画像など、表示可能なPiPのそれぞれに対応するものであって、ユーザにより選択決定される他のアイテムであってもかまわない。また、例えば、これらの再生開始ボタンに、それぞれ対応付けられているPiPの内容をユーザが認識可能な文字や画像など（例えば、「監督のコメンタリ」などの文字や、「俳優Aのコメンタリ」のPiPに対する俳優Aに対応する画像など）を表示させるものとしても良いし、再生開始ボタン内に、表示されるPiPのいずれかのフレームに対応するサムネイル画像を表示させるようにしても良い。
また、PiPメニュー画面２６１がメインストリームの再生中に表示される場合、ストリーム選択ウィンドウ２８１には、現在のメインストリームの再生位置以降に表示可能な同期型のサブストリームおよび非同期型のサブストリームを選択可能なように、PiP選択ボタンが表示されるようにすることができる。
すなわち、PiP メニュー画面２６１を、メインストリームの再生中に表示されるメインパスに多重化されている、または、メインパス同期型のIGとして用意し、ストリーム選択ウィンドウ２８１に、現在のメインストリームの再生位置以降に表示可能な同期型のサブストリームおよび非同期型のサブストリームを選択可能なように、PiP選択ボタンが表示されるようなストリームを生成してIGとして提供すると、メインストリームの再生中に、既に再生タイミングが過ぎてしまった同期型のサブストリームがPiP表示されるものとして誤って選択されてしまうことを防止することができ、好適である。
上述したように、PiP表示されるサブストリームには、同期型と非同期型とが存在するので、ユーザからのサブストリームの表示開始指令方法は、同期型と非同期型とで区別されている。
予め定められている所定のタイミングに表示が開始される、すなわち、表示タイミングが定められている同期型PiPに対応するSub Pathに多重化されているストリームを表示させる場合、ユーザにより表示が指令されたSecondary Videoと、必要に応じて、対応するSecondary Audio、PiP PGを含むサブストリームのそれぞれのストリームナンバーが、第１のレジスタ、または、第２のレジスタの適切な位置に設定されていれば、予め定められている所定の時間に、ナビゲーションプログラムによって発生されるコマンドによって、第１のレジスタにおけるdisp_s_flag、または、PiP_PG_textST_valid_flagや、第２のレジスタにおけるdisp_v_flag、または、disp_a_flagの値が設定変更されるようになされており、コンテンツオーサにより定められた所定のタイミングで、ピクチャインピクチャ表示が開始される。
例えば、図３６のストリーム選択ウィンドウ２８１に表示されている第１のPiP選択ボタン２９１、第２のPiP選択ボタン２９２、および、第３のPiP選択ボタン２９３のうち、第１のPiP選択ボタン２９１が選択決定された場合、ユーザにより選択決定された第１のPiP選択ボタン２９１に対応付けられているSecondary Videoと、必要に応じて、対応するSecondary Audio、PiP PGを含むサブストリームのそれぞれのストリームナンバーが、第１のレジスタ、または、第２のレジスタの適切な位置に設定されるよう、ナビゲーションコマンドであるSetSecondaryStreamが発行されて、レジスタの設定が実行される。
このように、ボタンの選択決定により発行されるナビゲーションコマンドを、ボタンナビゲーションコマンド（Button Navigation Command）と称するものとする。また、SetSecondaryStreamの詳細については、図４７乃至図５０を用いて後述する。
そして、メインストリームの再生中、予め定められている所定のタイミングにおいて、ナビゲーションプログラムによって発生されるコマンドによって、第１のレジスタにおけるdisp_s_flag、または、PiP_PG_textST_valid_flagや、第２のレジスタにおけるdisp_v_flag、または、disp_a_flagの値が設定変更されるとともに、必要に応じて第３のレジスタの設定値が変更されるので、図３７に示されるように、全画面２０１に子画面２０２が表示され、子画面２０２において、第１のPiP選択ボタン２９１に対応付けられているサブストリームが表示される。
なお、図３６のストリーム選択ウィンドウ２８１において、同期型のPiPに対応付けられている第１のPiP選択ボタン２９１が選択された場合、メインストリームの再生中に、予め定められている所定のタイミングまでの間、PiP表示は行われないので、ユーザは、何の表示もなされないと、PiPの表示設定が正しく行われたか否かを容易に確認することができない。そこで、例えば、図３８に示されるようにして、全画面２０１のいずれかの位置に、現在のピクチャインピクチャ表示に関する設定状況、例えば、いずれかの同期型PiPの表示開始待ちであることを示したり、または、表示開始待ちの同期型PiPの内容を示す、アイコン３０２が表示されるようにしても良い。
アイコン３０２は、現在表示されていない同期型PiPの表示設定がなされていることをユーザが認識可能なように表示されるものであるので、アイコン３０２を選択決定することにより対応するPiPの表示が開始されるものではない。換言すれば、アイコン３０２には、いずれのコマンドも対応付けられていない。
アイコン３０２は、表示されている場合には、いずれかの同期型PiPの表示開始待ちであることを示し、表示されていない場合には、いずれの同期型PiPの表示開始待ちでもないことを示すものであってもよい。また、アイコン３０２に、表示設定されているPiPの内容をユーザが認識可能な文字や画像など（例えば、「監督のコメンタリ」などの文字や、「俳優Aのコメンタリ」のPiPに対する俳優Aに対応する画像など）を表示させるものとしても良いし、アイコン３０２に代わって、表示されるPiPのいずれかのフレームに対応するサムネイル画像を表示させるものとしても良い。
これに対して、非同期でピクチャインピクチャ表示されるSub Pathに多重化されているストリームは、再生開始タイミングが規定されていないので、非同期PiPを表示させる場合、意図するSecondary Videoと、必要に応じて、Secondary Audio、PiP PG、IGを含むSub Play Itemにより参照されるサブストリームのそれぞれのストリームナンバーを、第１のレジスタ、または、第２のレジスタの適切な位置に設定すると、即座に、ピクチャインピクチャ表示が開始されるようになされている。
そこで、図３６のストリーム選択ウィンドウ２８１に表示されている第１のPiP選択ボタン２９１、第２のPiP選択ボタン２９２、および、第３のPiP選択ボタン２９３のうち、例えば、第３のPiP選択ボタン２９３が選択決定された場合、図３９に示されるように、メインストリームが再生されている全画面２０１に、ユーザにより選択決定された第３のPiP選択ボタン２９３に対応付けられている非同期のPiPの表示開始をユーザが指令するときに押下される再生開始ボタン３０３が表示されるものとする。
再生開始ボタン３０３は、メインパスのIGとして用意されており、ユーザにより指定された非同期PiPに対応するSecondary Videoと、必要に応じて、Secondary Audio、PiP PG、IGを含むSub Play Itemにより参照されるサブストリームのそれぞれのストリームナンバーを、第１のレジスタ乃至第３のレジスタの適切な位置に設定させるためのコマンド、すなわち、ユーザにより指定された非同期PiPの再生開始を指令するためのコマンドが対応付けられているものである。
例えば、再生開始ボタン３０３に、第３のPiP選択ボタン２９３に対応付けられている非同期のPiPの内容をユーザが認識可能な文字や画像など（例えば、「監督のコメンタリ」などの文字や、「俳優Aのコメンタリ」のPiPに対する俳優Aに対応する画像など）を表示させるものとしても良いし、再生開始ボタン３０３内に、表示されるPiPのいずれかのフレームに対応するサムネイル画像を表示させるようにしても良い。
図４０を用いて、非同期PiPが設定される場合のユーザオペレーションとコマンドの発生、および、再生されるストリームについて説明する。
例えば、メインストリームの再生前、または、再生中のある時点αにおいて、PiP メニュー画面２６１が表示されてＯＮボタン２７１が選択され、ストリーム選択ウィンドウ２８１において、第３のPiP選択ボタン２９３が選択決定されて非同期のPiPの表示が指令された場合、第３のPiP選択ボタン２９３の選択決定により、ナビゲーションコマンドとして、第３のレジスタに、再生開始ボタン３０３に対応するIGであるIG＃０をセットするためのコマンドが発行される。
再生されるIGを指定するための第３のレジスタには、第１のレジスタにおけるdisp_s_flag、または、PiP_PG_textST_valid_flagや、第２のレジスタにおけるdisp_v_flag、または、disp_a_flagなどのように、表示を操作できるフラグ情報が存在しないので、第３のレジスタにいずれかのInteractive Graphics stream numberが設定された場合、対応するＩＧが即座に再生開始される。
すなわち、ここでは、第３のレジスタに、再生開始ボタン３０３に対応するIGであるIG＃0をセットするためのコマンドのみが発行されて、第１のレジスタおよび第２のレジスタにおいて、PiPを表示させるための設定は実行されない。第１のレジスタおよび第２のレジスタにおいて、PiPを表示させるためのコマンドは、再生開始ボタン３０３に対応付けられている。
そして、ユーザの所望のタイミングβにおいて、再生開始ボタン３０３が押下された場合、ボタンナビゲーションコマンドとして、第１のレジスタおよび第２のレジスタにおいて、PiPを表示させるための設定を実行することを指令するためのコマンドであるSetSecondaryStreamが発行される。
すなわち、ストリーム選択ウィンドウ２８１に設けられる複数のPiP選択ボタンのうち、同期型のPiPに対応するボタン（例えば、第１のPiP選択ボタン２９１）には、ボタンナビゲーションコマンドとして、第１のレジスタおよび第２のレジスタにおいて、対応するPiPを表示させるための設定を指令するためのコマンドであるSetSecondaryStreamが対応付けられているが、非同期型のPiPに対応するボタン（例えば、第３のPiP選択ボタン２９３）には、ボタンナビゲーションコマンドとして、第３のレジスタに、再生開始ボタン３０３に対応するIGであるIG＃0をセットするためのコマンドが対応付けられている。そして、再生開始ボタン３０３に、対応する非同期PiPを再生開始させるためのレジスタの設定を指令するコマンドであるSetSecondaryStreamが対応付けられている。
再生開始ボタン３０３の押下によってSetSecondaryStreamが発行されることにより、ユーザの所望のタイミングで、第１のレジスタおよび第２のレジスタにおいてPiPを表示させるための設定が実行されるので、非同期型のPiPをユーザの所望のタイミングで表示開始させるようにすることができる。
また、上述したように、ユーザがピクチャインピクチャアプリケーションに関して許されているユーザオペレーションには、セカンダリビデオを表示するか否か、換言すれば、ピクチャインピクチャアプリケーションのon/offを指令するためのユーザオペレーションと、一つの区間に複数のセカンダリビデオが用意されている場合に、現在表示されているセカンダリビデオを他のセカンダリビデオに切り替えるユーザオペレーションがある。ここで、PiPの再生開始を、上述した方法で行うようにする場合、例えば、上述したUO_maskの設定を行うことなどにより、ピクチャインピクチャアプリケーションのon/offを指令するユーザオペレーションの受付を制限し、ナビゲーションコマンド、または、ボタンナビゲーションコマンドによってのみ、ピクチャインピクチャアプリケーションのon/offを指令することができるようにする必要がある。
また、子画面２０２が表示されている状態で、再びPiPメニュー画面２６１メニュー画面を表示させることなく他のPiPを表示させるために、PiP表示画面中に、IGによる各種ボタン等を設けるものとしてもよい。
例えば、３つのサブストリームのうちのいずれかをPiPとして表示可能な状態において、図４１に示されるように、全画面２０１内に表示される子画面２０２に第１のサブストリームが再生されている場合、第２のサブストリームの再生を指令する再生開始ボタン３１１、および、第３のサブストリームの再生を指令する再生開始ボタン３１２を、子画面２０２内に設けるようにすることができる。子画面２０２が表示されている状態において、２つ以上の他のサブストリームが再生可能であれば、更に多くの再生開始ボタンが子画面２０２に表示されることは言うまでもない。また、これらの再生開始ボタンは、非同期のPiPが再生されている場合であっても、同期型のPiPが再生されている場合であっても、子画面２０２内に設けることができる。
例えば、これらの再生開始ボタンに、それぞれ対応付けられているPiPの内容をユーザが認識可能な文字や画像など（例えば、「監督のコメンタリ」などの文字や、「俳優Aのコメンタリ」のPiPに対する俳優Aに対応する画像など）を表示させるものとしても良いし、再生開始ボタン内に、表示されるPiPのいずれかのフレームに対応するサムネイル画像を表示させるようにしても良い。
子画面２０２内に表示される再生開始ボタン３１１および再生開始ボタン３１２は、サブパスにより参照されるサブストリームに多重化されているIGとして提供される。すなわち、コンテンツオーサは、サブパスにより参照されるサブストリームにIGを多重化してユーザに提供することにより、子画面２０２に再生開始ボタンを表示させるようにすることができる。これにより、ユーザは、子画面２０２が表示されている状態で、再びPiP メニュー画面２６１メニュー画面を表示させることなく他のPiPの表示を指令することができる。再生開始ボタン３１１および再生開始ボタン３１２には、それぞれ、対応するサブストリームを再生開始させるための設定を指令するコマンドであるSetSecondaryStreamが対応付けられている。
子画面２０２内に表示される再生開始ボタン３１１および再生開始ボタン３１２のうち、例えば、第３のサブストリームの再生を指令する再生開始ボタン３１２がユーザにより選択決定された場合、第３のサブストリームを子画面２０２において再生開始させるための設定を指令するコマンドであるSetSecondaryStreamが発行されて、第３のサブストリームが再生開始される。図４２に示されるように、第３のサブストリームに対応するPiPには、第２のサブストリームの再生を指令する再生開始ボタン３１２と、第１のサブストリームの再生を指令する再生開始ボタン３１３を表示させるようにすることができる。また、第３のサブストリームが同期型サブストリームである場合、第３のサブストリームは、メインパスの再生位置に対応する再生位置から再生が開始され、第３のサブストリームが非同期型サブストリームである場合、第３のサブストリームは、先頭から再生開始される。
これにより、ユーザは、例えば、出演者A/B/Cのコメントが、それぞれPiPとして作成されているような場合に、それぞれのPiPを再生中に他の出演者のコメントに容易に切り替えることが可能となり、より簡単に所望のPiPを再生させて楽しむことが可能となる。
また、上述したように、再生されるIGのストリームナンバーが設定される第３のレジスタにおいては、第１のレジスタにおけるdisp_s_flag、または、PiP_PG_textST_valid_flagや、第２のレジスタにおけるdisp_v_flag、または、disp_a_flagなどのように、表示を操作できるフラグ情報が存在しない。
すなわち、第３のレジスタに設定されるＩＧには、メインパスにより参照されるＩＧであるか、サブパスにより参照されるＩＧであるかの区別はなく、第３のレジスタにいずれかのInteractive Graphics stream numberが設定された場合、対応するＩＧが即座に再生開始される。
したがって、非同期のSub Pathに多重化されているＩＧの再生開始のタイミングの制御を単独で行うことは非常に困難であった。すなわち、再生中のメインパスにIGが多重化されていない状態において、このメインパスと同時に再生可能な非同期のSub Pathに多重化されているＩＧが存在した場合、ユーザが非同期のピクチャインピクチャ表示の開始を指令するタイミングにかかわらず、上述した所定のセレクションモデルによって、自動的に第３のレジスタへ、Sub Pathに多重化されているＩＧに対応するInteractive Graphics stream numberが設定されてしまう。このため、非同期のPiPと、対応するIGとの表示開始のタイミングを一致させることが困難であった。
しかしながら、このようなユーザインタフェイス構成とすることにより、再生中のメインパスには表示開始ボタン３０３に対応するIGが多重化されるので、非同期PiPに対応付けられているＩＧが表示開始される直前まで、メインパスにより参照されるPlayItemに多重化されているIG（例えば、図３９の表示開始ボタン３０３に対応するIG）、または、サブパスが参照するSubPlayItemに多重化されているIG（例えば、図４１または図４２のそれぞれの表示開始ボタンに対応するIG）が第３のレジスタに設定される。これにより、ユーザが非同期のピクチャインピクチャ表示の開始を指令するよりも早く、対応するIGのストリームナンバーが上述したセレクションモデルによって自動的に第３のレジスタに設定されてしまうことはないので、非同期のPiPと、対応するIGとの表示開始のタイミングを容易に一致させることができる。
具体的には、非同期PiPの表示が選択された場合、図４３に示されるように、メインタイトルが再生されている間は、メインパスにより参照されるPlayItemに多重化されているIG#0のストリームナンバーが第３のレジスタに設定されて、図３９の表示開始ボタン３０３が表示され、表示開始ボタン３０３が選択決定された場合、対応するPiPが表示されるとともに、PiPに対応するサブパスが参照するSubPlayItemに多重化されているIG#1のストリームナンバーが第３のレジスタに設定されて、図４１を用いて説明したような表示開始ボタンが子画面２０２内に表示される。そして、ユーザにより子画面２０２内に表示されているいずれかの表示開始ボタンが選択決定された場合、対応するPiPが表示されるとともに、PiPに対応するサブパスが参照するSubPlayItemに多重化されているIG#２のストリームナンバーが第３のレジスタに設定されて、同様にして、図４２を用いて説明したような表示開始ボタンが子画面２０２内に表示される。
また、子画面２０２内には、再生開始ボタン以外にも、例えば、PiP表示の終了を指令する場合に押下されるボタンを設けるようにしてもよい。例えば、３つのサブストリームのうちのいずれかをPiPとして表示可能な状態において、図４４に示されるように、全画面２０１内に表示される子画面２０２に第１のサブストリームが再生されている場合、第２のサブストリームの再生を指令する再生開始ボタン３２１、および、第３のサブストリームの再生を指令する再生開始ボタン３２２に加えて、PiP表示の終了を指令する場合に押下されるOFFボタン３２３を設けるようにしてもよい。
OFFボタン３２３も、サブパスにより参照されるサブストリームに多重化されているIGとして提供される。OFFボタン３２３には、それぞれ、対応するサブストリームを再生終了させるためにレジスタの設定を変更させるためのコマンドが対応付けられている。
更に、同期型のPiPが表示されている場合の子画面２０２内の再生開始ボタンによって再生開始されたPiPの再生が終了した場合、その前に表示されていた同期型のPiPの表示区間が終了されていなければ、メインパスの再生位置に合わせて、その前に表示されていた同期型のPiPの表示を実行するようにしても良い。
具体的には、例えば、図４５に示されるように、メインタイトルの再生中の所定のタイミングで、同期型の第１のPiP（図中、SubPlayItem for PiP（１）と記載されている）の表示が開始され、第１のPiPのセカンダリビデオおよびセカンダリオーディオとともにサブストリームに多重化されているIG#1のストリームナンバーが第３のレジスタに設定されて、図４１または図４２を用いて説明したような表示開始ボタンが子画面２０２内に表示される。そして、ユーザにより子画面２０２内に表示されているいずれかの表示開始ボタンが選択決定された場合、選択された表示開始ボタンに対応する第２のPiP（図中、SubPlayItem for PiP（３）と記載されている）が表示されるとともに、PiPに対応するサブパスが参照するSubPlayItemに多重化されているIG#２のストリームナンバーが第３のレジスタに設定されて、同様にして、図４１または図４２を用いて説明したような表示開始ボタンが子画面２０２内に表示される。
そして、第２のPiP（図中、SubPlayItem for PiP（３）と記載されている）の再生が終了したとき、第１のPiPの表示区間が終了されていないなら、第２のPiPに続いて、再び、第１のPiPをメインパスと同期して再生させる。
次に、コントローラ２１が有する機能のうち、GUI表示画面、すなわちPiP メニュー画面２６１、および、表示開始ボタン、または、アイコンやサムネイルなどの表示を制御する機能について説明するための機能ブロック図を図４６に示す。ここでは、GUI表示画面が、ＩＧとして提供され、表示開始ボタン、または、アイコンやサムネイルなどが、ＩＧまたはＰＧとして提供される場合を例として説明する。
なお、コントローラ２１は、例えば、GUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどを表示する機能や、装着された記録媒体１１またはローカルストレージ２４に記録されているデータを再生する処理以外にも、さまざまな機能を有するものとしてもよいが、図４６においては、GUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどの表示の制御、並びに、ストリームデータの再生の制御以外の機能については、省略する。
PlayList読み出し制御部３５１は、PlayListファイルを取得する。PlayList読み出し制御部３５１は、例えば、通常再生時においては、取得したPlayListファイルに含まれるPlayItemおよびSubPlayItemに基づいて、対応するClipのClip_Information_file_nameを検出し、ストリームデータ読み出し制御部３５７に供給する。また、PlayList読み出し制御部３５１は、例えば、上述したようなGUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどが表示される場合、取得したPlayListファイルを、GUIデータ読み出し制御部３５２に供給する。
GUIデータ読み出し制御部３５２は、GUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどが表示される場合、記録媒体１１またはローカルストレージ２４からの、表示開始ボタン、または、アイコンやサムネイルなどに関するデータの読み出しを制御する。具体的には、GUIデータ読み出し制御部３５２は、供給されたPlayListファイルに基づいて、GUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどに対応するIGまたはPGの読み出しと、ＡＶデコーダ部２６における対応するバッファ(バッファ５２またはバッファ５３)への供給を制御する。
GUIデータ再生制御部３５３は、GUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどに対応するデータが、IGまたはPGによって提供される場合、PlayListファイルに基づいて読み出された、GUI表示画面に対応するIGまたはPGのストリームデータのデコードを制御する。
コマンド情報取得部３５５は、GUI表示画面上のボタンやアイコン、または、サムネイルなどのアイテム、もしくは、表示開始ボタンなどに対応付けられたコマンドが、ライブラリとして用意されている場合、コマンド発生部３４０によって発生される対応するコマンドをライブラリから取得する。すなわち、コマンド情報取得部３５５は、ユーザの操作入力を受けることが可能なボタンやアイコン、または、サムネイルなどのアイテムに、これらのアイテムを選択決定する操作入力を行うことにより発行される所定のコマンドが対応付けられており、これらのコマンドが、ライブラリとして用意されている場合、コマンド発生部３４０によって発生される対応するコマンドをライブラリから取得する。
操作入力取得部３５６は、操作入力部２９から供給されるユーザの操作入力を取得し、GUIデータ再生制御部３５３、ストリームデータ読み出し制御部３５７、GUI表示制御部３５９、または、コマンド発生部３４０に供給する。
ストリームデータ読み出し制御部３５７は、PlayList読み出し制御部３５１から供給されたClip_Information_file_nameを基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。またストリームデータ読み出し制御部３５７は、操作入力取得部３５６から供給された、GUI表示画面を参照したユーザの操作入力を基に、コマンド発生部３４０の処理により発生されたコマンドにより設定が変更された、上述したレジスタに設定された値を参照し、ユーザが所望したストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。
再生制御部３５８は、ストリームデータ読み出し制御部３５７の制御に基づいて、AVデコーダ部２６へ供給されたデータのデコードおよび再生出力を制御する。
GUI表示制御部３５９は、操作入力取得部３５６から供給されるユーザの操作入力に基づいて、GUIデータ再生制御部３５３の処理により再生が制御されたGUI表示画面、すなわちPiP メニュー画面２６１、および、表示開始ボタン、または、アイコンやサムネイルなどの表示、すなわち、インタラクティブグラフィックスプレーン生成部９４により生成されたインタラクティブグラフィックスプレーン、または、プレゼンテーショングラフィックスプレーン生成部９３により生成されたプレゼンテーショングラフィックスプレーンの表示を制御するとともに、これらの表示の取り消しを制御する。
コマンド発生部３４０は、GUI表示画面のボタンやアイコン、または、サムネイルなどのアイテム、もしくは、表示開始ボタンなどに対応付けられている所定のコマンドを発行する。なお、再生装置１が実行可能なコマンドが、ライブラリとして用意されている場合、実際に実行されるコマンドは、コマンド情報取得部３５５によりライブラリから取得されて実行される。
図４６に示されるような機能を有するコントローラ２１は、再生装置１に記録媒体１１が装着されることなどにより、記録媒体１１またはローカルストレージ２４に記録されているコンテンツの再生が可能な状態となったとき、コンテンツの再生前にGUI表示画面、すなわちPiP メニュー画面２６１を表示させることができるとともに、コンテンツとともにGUI表示画面、すなわちPiP メニュー画面２６１、および、表示開始ボタン、または、アイコンやサムネイルなどを表示させることができる。
すなわち、このGUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどは、コンテンツの供給元、または、記録媒体１１の販売者など、いわゆる、コンテンツオーサが、設計し、デザインして、ユーザに提供することができるものであるとともに、それぞれのアイテムに対応付けてコマンドを設定することが可能である。これにより、コンテンツオーサは、コンテンツの内容や、提供するピクチャインピクチャアプリケーションの内容に応じて、ユーザが効率よくピクチャインピクチャアプリケーションにより再生可能なセカンダリビデオまたはセカンダリオーディオを選択したり、再生開始を指令することができるようなGUI表示画面、表示開始ボタン、または、アイコンやサムネイルなどをユーザに提供することができる。
次に、図４７乃至図５０を用いて、各種のボタンやサムネイル画像などのアイテムに対応付けられるコマンドの例について説明する。
各種のボタンやサムネイル画像などのアイテムには、例えば、図４７に示されるようなコマンドを対応付けることができる。
このコマンドは、Secondary video, Secondary audio、PiP PG TextST のうちのいずれか、もしくはこれらの全部のうち、表示されるべきものを設定するためのコマンドである。以下、このコマンドを、SetSecondaryStreamコマンドと称する。
SetSecondaryStreamコマンドのOperation Codeには、例えば、Operation Code１乃至４の4つのコードを用意することができ、Operation code 1は、Secondary video, Secondary audioおよびPiP PG TextSTを、上述した第１乃至第３のレジスタとは異なる第４のレジスタ（GPR：General Purpose Register)に保持されている値によって定義するOperation codeであり、Operation code 2は、Secondary videoを、コマンド内によって指定する値によって定義するOperation codeであり、Operation code 3は、Secondary audioおよびPiP PG TextSTをコマンド内によって指定する値によって定義するOperation codeであり、Operation code 4は、Secondary video, Secondary audioおよびPiP PG TextSTをコマンド内によって指定する値によって定義するOperation codeである。
図４７のSetSecondaryStreamコマンドのうちのSecondary videoについて、図４８を用いて説明する。
Secondary_Video_flagが1である場合、第２のレジスタのSecondary Video Stream Numberは新しい値に設定される。Secondary_Video_flagが0の場合、第２のレジスタのSecondary Video Stream Numberは変更されない。
そして、disp_v_flagが１である場合、第２のレジスタのdisp_v_flagが1に設定される。disp_v_flagが０である場合、第２のレジスタのdisp_v_flagが0に設定される。
Secondary_Video_size_flagが１である場合、第２のレジスタのSecondary Video Sizeは新しい値に設定される。Secondary_Video_size_flagが０である場合、第２のレジスタのSecondary Video Sizeは変更されない。
そして、Secondary_Video_sizeは、第２のレジスタの Secondary Video Sizeの意味に同じである。
また、Secondary video stream number or GPR numberは、第２のレジスタのSecondary Video stream numberに設定される値であり、直接指定されるか、第４のレジスタであるGPRにて指定されるかのうちのいずれかとなる。
次に、図４７のSetSecondaryStreamコマンドのうちのSecondary audio & PiP PG TextSTについて、図４９を用いて説明する。
Secondary_Audio_flagが1である場合、第２のレジスタのSecondary Audio Stream Numberを新しい値に設定される。Secondary_Audio_flagが０である場合、第２のレジスタのSecondary Audio Stream Numberは変更されない。
disp_a_flagが1である場合、第２のレジスタのdisp_a_flagが1に設定される。disp_a_flagが０である場合、２のレジスタのdisp_a_flagが0に設定される。
そして、Secondary audio stream number or GPR numberは、第２のレジスタのSecondary Audio stream numberに設定される値であり、直接指定されるか、第４のレジスタGPRにて指定されるかのうちのいずれかである。
PiP_PG_textST_flagが1である場合、第１のレジスタのPiP PG TextST Stream Numberが新しい値に設定される。PiP_PG_textST_flagが０である場合、第１のレジスタのPiP PG TextST Stream Numberは変更されない。
disp_s_flagが1である場合、第１のレジスタのdisp_s_flagが1に設定される。disp_s_flagが０である場合、第１のレジスタのdisp_s_flagが0に設定される。
そして、PiP_PG_textST_valid_flagの値が1である場合、第１のレジスタのPiP_PG_textST_valid_flagが1に設定される。PiP_PG_textST_valid_flagの値が1である場合、第１のレジスタのPiP_PG_textST_valid_flagが0に設定される。
また、PiP PG TextST stream number or GPR numberは、第１のレジスタのPiP PG TextST stream numberに設定される値であり、直接指定されるか、第４のレジスタGPRにて指定されるかのうちのいずれかである。
次に、SetSecondaryStreamコマンドの具体的な使用例について、図５０を用いて説明する。
例えば、図５０に示されるように、SetSecondaryStreamコマンドのうちのSecondary videoについて、Secondary_Video_flagが1、disp_v_flagが１、Secondary_Video_size_flagが０、Secondary_Video_sizeが０、そして、Secondary video stream numberを１とし、さらに、SetSecondaryStreamコマンドのうちのSecondary audio & PiP PG TextSTについて、Secondary_Audio_flagが1、disp_a_flagが1、Secondary audio stream numberが１、PiP_PG_textST_flagが1、disp_s_flagが1、PiP_PG_textST_valid_flagの値が1、そして、PiP PG TextST stream numberの値を１としたSetSecondaryStreamのコマンドを用いて、それぞれのレジスタが設定され、その後、所定のタイミングで再生開始コマンド（以下、Link Markコマンド（Link MK）と称する。また、再生位置を変更するコマンドも、ここでは、再生開始コマンドと称する）が発行されて、再生処理がスタートされる場合、ピクチャインピクチャ再生が実行されるとともに、ピクチャインピクチャ用のSecondary videoのサイズの変更はなく、Secondary Audio、PiP PGのstream numberは、値が直接指定される。
このようなコマンドを発行することが可能なようにすることにより、ユーザが所望するピクチャインピクチャ表示における再生開始を指令することが可能となる。
具体的には、ユーザにより、図３６を用いて説明したストリーム選択ウィンドウ２８１において、同期型のPiPに対応付けられている第１のPiP選択ボタン２９１が選択された場合、図３９を用いて説明した表示開始ボタン３０３が選択された場合、または、図４１もしくは図４２を用いて説明した表示開始ボタン３１１，３１２，３１３が選択された場合、操作入力取得部３５６は、いずれのアイテムが選択されたかを示す情報をコマンド発生部３４０に供給する。
コマンド発生部３４０は、操作入力取得部３５６から、いずれのアイテムが選択されたかを示す情報を得るとともに、コマンド情報取得部３５５により取得される選択されたアイテムに対応付けられているコマンドを示す情報に基づいて、ユーザが所望するPrimary VideoまたはPrimary Audio、もしくは、Secondary VideoまたはSecondary Audioの少なくともいずれかに対応するアイテムに対応付けられた、SetSecondaryStreamコマンドを発生する。
発行されたSetSecondaryStreamコマンドに応じて、アイテムに対応するSecondary Video、Secondary Audio、PG txtST/PiP PG txtSTのストリーム番号が、再生装置１のメモリ２３の対応するレジスタの値として設定される。
そして、ストリームデータ読み出し制御部３５７は、Link MKコマンドを受けたとき、発生されたSetSecondaryStreamコマンドによりレジスタに設定されたそれぞれの設定値を基に、対応するClipに含まれるPrimary VideoおよびPrimary Audio、並びに、Secondary Video、および、必要に応じてSecondary Audio、PG txtST/PiP PG txtSTのストリームデータの読み出しを制御するとともに、読み出したストリームデータのAVデコーダ部２６への供給を制御する。
再生制御部３５８は、ストリームデータ読み出し制御部３５７の制御に基づいて、AVデコーダ部２６へ供給されたデータのデコード、合成、および再生出力を制御する。そして、ピクチャインピクチャ表示で、ユーザが指定した箇所から、コンテンツの再生が開始される。
これにより、ユーザは、表示可能な複数のピクチャインピクチャのうちの所望のものを再生させるための指令を容易うことができる。
すなわち、コンテンツとともに、ユーザが、表示可能な複数のピクチャインピクチャの子画面２０２のうちの所望のものを再生させるための指令が容易に行えるようなGUI表示画面や表示開始ボタン、または、現在の設定状況をユーザに通知するために用いられるアイコンなどを表示させるためのナビゲーションプログラム、IGストリーム、または、PGストリームなどが供給され、再生装置１により再生表示される。そして、ユーザにより、コマンドが対応付けられたアイテムが選択された場合、所定のコマンドが発行されて、表示可能な複数のピクチャインピクチャのうちの所望のものが再生される。このようにすることにより、ユーザが複雑な操作を行うことなく、ユーザが直感的に認識しやすいようにして、ユーザの所望するピクチャインピクチャ表示を指令することが可能となる。
次に、図５１および図５２のフローチャートを参照して、再生処理について説明する。
なお、ここでは、GUI表示画面、または、表示開始ボタン、アイコンなどを表示させるために必要な、プレゼンテーショングラフィックスストリームまたはインタラクティブグラフィックスストリーム、もしくは、ナビゲーションプログラムは、ストリームの再生とは関係しないタイミングで、予め取得されるものとして説明する。
ステップＳ１において、PlayList読み出し制御部３５１は、記録媒体１１が装着されたか否かを判断する。ステップＳ１において、記録媒体１１が装着されたと判断されなかった場合、記録媒体１１が装着されたと判断されるまで、ステップＳ１の処理が繰り返される。
ステップＳ１において、記録媒体１１が装着されたと判断された場合、ステップＳ２において、GUIデータ読み出し制御部３５２は、記録媒体１１またはローカルストレージ２４から、GUI表示画面２６１または、各種の表示開始ボタン、アイコンなどを表示させるために必要な、プレゼンテーショングラフィックスストリームまたはインタラクティブグラフィックスストリーム、もしくは、ナビゲーションプログラムを取得する。
ステップＳ３において、操作入力取得部３５６は、ＧＵＩ表示画面、すなわち、PiP メニュー画面２６１の再生を指令する操作入力を取得したか否かを判断する。ステップＳ３において、ＧＵＩ表示画面２６１の再生を指令する操作入力は取得されていないと判断された場合、処理は、後述するステップＳ７に進む。
ステップＳ３において、GUI表示が指令されたと判断された場合、ステップＳ４において、GUIデータ再生制御部３５３およびGUI表示制御部３５９は、GUI表示画面として、例えば、図３５を用いて説明したようなPiPメニュー画面２６１の表示を制御する。
例えば、PiPメニュー画面２６１に対応するデータがIGとして提供されている場合、GUIデータ再生制御部３５４は、PlayListファイルに基づいて読み出された、PiP メニュー画面２６１に対応するIGのストリームデータのデコードを制御する。そして、GUI表示制御部３５９は、GUIデータ再生制御部３５４の処理により再生が制御されたGUI表示画面データの表示、すなわち、インタラクティブグラフィックスプレーン生成部９４により生成されたインタラクティブグラフィックスプレーンの表示を制御する。
ステップＳ５において、操作入力取得部３５６は、図３６を用いて説明したようなPiPメニュー画面２６１のストリーム選択ウィンドウ２８１において、再生させるＰｉＰの選択を受けたか否かを判断する。ステップＳ５において、再生させるＰｉＰの選択を受けていないと判断された場合、処理は、後述するステップＳ７に進む。
ステップＳ５において、再生させるＰｉＰの選択を受けたと判断された場合、ステップＳ６において、操作入力取得部３５６は、再生させるＰｉＰの選択の内容を、コマンド発生部３４０に供給する。コマンド発生部３４０は、ユーザによる再生されるＰｉＰの選択結果を一時保持する。
ステップＳ３において、ＧＵＩ表示画面２６１の再生を指令する操作入力は取得されていないと判断された場合、ステップＳ５において、再生させるＰｉＰの選択を受けていないと判断された場合、または、ステップＳ６の処理の終了後、ステップＳ７において、操作入力取得部３５６は、ストリームの再生を指令する操作入力を取得したか否かを判断する。ステップＳ３において、ストリームの再生を指令する操作入力は取得されていないと判断された場合、処理は、ステップＳ３に戻り、それ以降の処理が繰り返される。
ステップＳ７において、ストリームの再生を指令する操作入力を取得したと判断された場合、ステップＳ８において、PlayList読み出し制御部３５１は、装着された記録媒体１１からPlayListファイルを読み出し、取得したPlayListファイルに含まれるPlayItemおよびSubPlayItemに基づいて、対応するClipのClip_Information_file_nameを検出し、ストリームデータ読み出し制御部３５７に供給する。ストリームデータ読み出し制御部３５７は、PlayList読み出し制御部３５１から供給されたPlayListのClip_Information_file_nameを基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。再生制御部３５８は、AVデコーダ部２６へ供給されたデータのデコードおよび再生出力を制御する。
ステップＳ９において、コマンド発生部３４０は、再生されるＰｉＰは選択されているか否かを判断する。ステップＳ９において、再生されるＰｉＰは選択されていないと判断された場合、処理は、後述するステップＳ２１に進む。
ステップＳ９において、再生されるＰｉＰは選択されていると判断された場合、ステップＳ１０において、コマンド発生部３４０は、選択されたＰｉＰは同期型であるか否かを判断する。ステップＳ１０において、選択されたＰｉＰは同期型ではない、すなわち、非同期型であると判断された場合、処理は、後述するステップＳ１６に進む。
ステップＳ１０において、選択されたＰｉＰは同期型であると判断された場合、ステップＳ１１において、コマンド発生部３４０は、ＰｉＰの選択時にユーザの操作入力により選択決定されたボタン、例えば、図３６を用いて説明したようなPiPメニュー画面２６１のストリーム選択ウィンドウ２８１に備えられている第１のPiP選択ボタン２９１に対応付けられているコマンドを発行して実行させる。このボタンナビゲーションコマンドが実行されることにより、第１のレジスタおよび第２のレジスタに、選択されたＰｉＰを表示させるためのストリームナンバーなどが設定される。
ステップＳ１２において、コマンド発生部３４０は、同期型ＰｉＰの表示開始時刻か否かを判断する。
ステップＳ１２において、同期型ＰｉＰの表示開始時刻ではないと判断された場合、ステップＳ１３において、ＧＵＩデータ生成制御部３５３およびＧＵＩ表示制御部３５９は、図３８に示されるようにして、全画面２０１のいずれかの位置に、現在のピクチャインピクチャ表示に関する設定状況、例えば、いずれかの同期型PiPの表示開始待ちであることを示したり、または、表示開始待ちの同期型PiPの内容を示すアイコン３０２などを表示させ、処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。
ステップＳ１２において、同期型ＰｉＰの表示開始時刻であると判断された場合、ステップＳ１４において、コマンド発生部３４０は、ナビゲーションコマンドを発生して、第１のレジスタにおけるdisp_s_flag、または、PiP_PG_textST_valid_flagや、第２のレジスタにおけるdisp_v_flag、または、disp_a_flagを設定し、ストリームデータ読み出し制御部３５７は、レジスタの設定に基づいて、対応するストリームデータを読み出し、再生制御部３５８は、読み出されたストリームデータのデコードなどを制御して、同期型ＰｉＰを表示させる。
ステップＳ１５において、ストリームデータ読み出し制御部３５７および再生制御部３５８は、ＰｉＰの表示が終了されたか否かを判断する。ステップＳ１５において、ＰｉＰの表示が終了されていないと判断された場合、処理は、ステップＳ１４に戻り、それ以降の処理が繰り返される。ステップＳ１５において、ＰｉＰの表示が終了されたと判断された場合、処理は、後述するステップＳ２１に進む。
ステップＳ１０において、選択されたＰｉＰは同期型ではない、すなわち、非同期型であると判断された場合、ステップＳ１６において、ＧＵＩデータ生成制御部３５３およびＧＵＩ表示制御部３５９は、メインストリームに多重化されているＩＧによって、ユーザにより選択決定された選択ボタン（例えば、図３６のストリーム選択ウィンドウ２８１に表示されている第３のPiP選択ボタン２９３）に対応付けられているコマンドが発行されて、メインストリームに多重化されているＩＧのストリームナンバーが第３のレジスタに設定される。そして、図３９に示されるように、メインストリームが再生されている全画面２０１に、非同期のPiPの表示開始をユーザが指令するときに押下される再生開始ボタン３０３が表示される。
ステップＳ１７において、操作入力取得部３５６は、ユーザにより、再生開始ボタン３０３が選択されたか否かを判断する。ステップＳ１７において、再生開始ボタン３０３が選択されていないと判断された場合、選択されたと判断されるまで、ステップＳ１７の処理が繰り返される。
ステップＳ１７において、再生開始ボタン３０３が選択されたと判断された場合、ステップＳ１８において、操作入力取得部３５６は、ユーザにより再生開始ボタン３０３が選択されたことを、コマンド発生部３４０に通知する。コマンド発生部３４０は、再生開始ボタン３０３に対応付けられたコマンドを実行する。このボタンナビゲーションコマンドが実行されることにより、第１のレジスタおよび第２のレジスタに、選択されたＰｉＰを表示させるためのストリームナンバーなどが設定される。
ステップＳ１９において、ストリームデータ読み出し制御部３５７は、レジスタの設定に基づいて、対応するストリームデータを読み出し、再生制御部３５８は、読み出されたストリームデータのデコードなどを制御して、非同期型ＰｉＰを表示させる。
ステップＳ２０において、ストリームデータ読み出し制御部３５７および再生制御部３５８は、ＰｉＰの表示が終了されたか否かを判断する。ステップＳ２０において、ＰｉＰの表示が終了されていないと判断された場合、処理は、ステップＳ１９に戻り、それ以降の処理が繰り返される。
ステップＳ１５において、ＰｉＰの表示が終了されたと判断された場合、または、ステップＳ２０において、ＰｉＰの表示が終了されたと判断された場合、ステップＳ２１において、操作入力取得部３５６は、ＧＵＩ表示画面、すなわち、PiPメニュー画面２６１の再生を指令する操作入力を取得したか否かを判断する。ステップＳ２１において、ＧＵＩ表示画面２６１の再生を指令する操作入力は取得されていないと判断された場合、処理は、後述するステップＳ２４に進む。
ステップＳ２１において、GUI表示が指令されたと判断された場合、ステップＳ２２において、GUIデータ再生制御部３５３およびGUI表示制御部３５９は、GUI表示画面として、例えば、図３５を用いて説明したようなPiPメニュー画面２６１の表示を制御する。
例えば、PiPメニュー画面２６１に対応するデータがIGとして提供されている場合、GUIデータ再生制御部３５４は、PlayListファイルに基づいて読み出された、PiP メニュー画面２６１に対応するIGのストリームデータのデコードを制御する。そして、GUI表示制御部３５９は、GUIデータ再生制御部３５４の処理により再生が制御されたGUI表示画面データの表示、すなわち、インタラクティブグラフィックスプレーン生成部９４により生成されたインタラクティブグラフィックスプレーンの表示を制御する。
ステップＳ２３において、操作入力取得部３５６は、図３６を用いて説明したようなPiPメニュー画面２６１のストリーム選択ウィンドウ２８１において、再生させるＰｉＰの選択を受けたか否かを判断する。ステップＳ２３において、再生させるＰｉＰの選択を受けたと判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。
ステップＳ２３において、再生させるＰｉＰの選択を受けていないと判断された場合、ステップＳ２４において、ストリームデータ読み出し制御部３５７および再生制御部３５８は、ストリームの再生が終了されるか否かを判断する。
ステップＳ２４において、ストリームの再生が終了されないと判断された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２４において、ストリームの再生が終了されたと判断された場合、処理は終了される。
このような処理により、メインストリームとともに再生されるＰｉＰを選択するためのＧＵＩ表示画面であるPiPメニュー画面２６１をはじめとして、ユーザが容易に直感的にＰｉＰの表示開始を指令することができるようなボタン、アイコン、サムネイルなどが表示される。そして、ユーザの操作入力に基づいて、対応するコマンドが発行され、レジスタの設定が行われて、ユーザが所望するＰｉＰが再生表示される。
なお、表示されるＰｉＰには、サブパスに参照されるサブストリームに多重化されたＩＧにより表示されるボタンなどが含まれている場合と、含まれていない場合がある。
次に、図５３のフローチャートを参照して、ＰｉＰ表示処理について説明する。
ステップＳ５１において、操作入力取得部３５６は、例えば、図３６のストリーム選択ウィンドウ２８１に表示されている第１のPiP選択ボタン２９１、図３９に示される再生開始ボタン３０３、または、図４１および図４２を用いて説明した子画面２０２内に表示される再生開始ボタン３１１乃至再生開始ボタン３１３、もしくは、図４４を用いて説明した再生開始ボタン３２１もしくは再生開始ボタン３２２などの操作入力、すなわち、ＰｉＰの表示の指令を受け、ユーザの操作入力をコマンド発生部３４０に通知する。コマンド発生部３４０は、再生開始ボタン３０３に対応付けられたコマンドを実行する。このボタンナビゲーションコマンドが実行されることにより、第１のレジスタおよび第２のレジスタに、選択されたＰｉＰを表示させるためのストリームナンバーなどが設定される。
ステップＳ５２において、ストリームデータ読み出し制御部３５７は、レジスタの設定に基づいて、対応するストリームデータを読み出し、表示されるＰｉＰには、ＰｉＰ ＩＧが対応付けられているか否かを判断する。ステップＳ５２において、表示されるＰｉＰには、ＰｉＰ ＩＧが対応付けられていないと判断された場合、処理は、後述するステップＳ５９に進む。
ステップＳ５２において、表示されるＰｉＰには、ＰｉＰ ＩＧが対応付けられていると判断された場合、ステップＳ５３において、ストリームデータ読み出し制御部３５７および再生制御部３５８は、図５１のステップＳ１４または図５２のステップＳ１９に対応する処理を実行し、ＰｉＰ ＩＧを含んだＰｉＰを表示させる。
ステップＳ５４において、操作入力取得部３５６は、ＰｉＰ ＩＧを含んだＰｉＰのうちのいずれかのボタン、例えば、および図４２を用いて説明した子画面２０２内に表示される再生開始ボタン３１１乃至再生開始ボタン３１３、図４４を用いて説明した再生開始ボタン３２１もしくは再生開始ボタン３２２、または、ＯＦＦボタン３２３のうちのいずれかが選択決定されたか否かを判断する。
ステップＳ５４において、いずれのボタンも選択決定されていないと判断された場合、ステップＳ５５において、ストリームデータ読み出し制御部３５７および再生制御部３５８は、ＰｉＰの表示が終了されたか否かを判断する。ステップＳ５５において、ＰｉＰの表示が終了されていないと判断された場合、処理は、ステップＳ５４に戻り、それ以降の処理が繰り返される。ステップＳ５５において、ＰｉＰの表示が終了されたと判断された場合、処理は、後述するステップＳ６１に進む。
ステップＳ５４において、いずれかのボタンが選択決定されたと判断された場合、ステップＳ５６において、操作入力取得部３５６は、ユーザにより選択されたボタンなどについての情報を、コマンド発生部３４０に通知する。コマンド発生部３４０は、ボタンに対応付けられたコマンドを実行する。
ステップＳ５７において、コマンド発生部３４０は、実行されたコマンドにより、これまでと異なるＰｉＰが表示されるか否かを判断する。ステップＳ５７において、これまでと異なるＰｉＰが表示されると判断された場合、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返される。
ユーザにより選択決定されたのが、例えば、図４４を用いて説明したＯＦＦボタン３２３であった場合など、ステップＳ５７において、これまでと異なるＰｉＰが表示されないと判断された場合、ステップＳ５８において、コマンド発生部３４０は、選択されたボタンなどに対応付けられたコマンドを発生するので、コマンドに対応する処理が実行されて、処理が終了される。
ステップＳ５２において、表示されるＰｉＰには、ＰｉＰ ＩＧが対応付けられていないと判断された場合、ステップＳ５９において、ストリームデータ読み出し制御部３５７および再生制御部３５８は、図５１のステップＳ１４または図５２のステップＳ１９に対応する処理を実行し、ＰｉＰ ＩＧを含まないＰｉＰを表示させる。
ステップＳ６０において、ストリームデータ読み出し制御部３５７および再生制御部３５８は、ＰｉＰの表示が終了されたか否かを判断する。ステップＳ６０において、ＰｉＰの表示が終了されていないと判断された場合、処理は、ステップＳ５９に戻り、それ以降の処理が繰り返される。
ステップＳ５５、または、ステップＳ６０において、ＰｉＰの表示が終了されたと判断された場合、ステップＳ６１において、コマンド発生部３４０は、表示が終了されたＰｉＰは、同期型ＰｉＰに含まれているＩＧにより発行されたコマンドにより表示されたか否かを判断する。ステップＳ６１において、表示が終了されたＰｉＰは、同期型ＰｉＰに含まれているＩＧにより発行されたコマンドにより表示されていないと判断された場合、処理は終了される。
ステップＳ６１において、表示が終了されたＰｉＰは、同期型ＰｉＰに含まれているＩＧにより発行されたコマンドにより表示されたと判断された場合、ステップＳ６２において、コマンド発生部３４０は、表示が終了されたＰｉＰは、同期型ＰｉＰに含まれているＩＧにより発行されたコマンドにより表示されたことをストリームデータ読み出し制御部３７５に供給する。ストリームデータ読み出し制御部３７５は、PlayList読み出し制御部３５１から供給されたPlayListに基づいて、その同期型ＰｉＰの表示区間は終了したか否かを判断する。ステップＳ６２において、その同期型ＰｉＰの表示区間は終了したと判断された場合、処理は終了される。
ステップＳ６２において、その同期型ＰｉＰの表示区間は終了していないと判断された場合、ステップＳ６３において、ストリームデータ読み出し制御部３５７および再生制御部３５８は、対応する同期型ＰｉＰを、メインパスの表示時間軸に合わせて表示させ、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返される。
このような処理により、サブパスに参照されるサブストリームに多重化されたＩＧにより表示されるボタンなどが含まれているPiPと、含まれていないPiPとが、それぞれ表示される。PiP表示画面中に、IGによる各種ボタン等が設けられている場合、子画面２０２が表示されている状態から、再びPiP メニュー画面２６１メニュー画面を表示させることなく他のPiPを表示させることが可能となるので、ユーザは、複雑な操作入力を行うことなく、所望のPiP表示を指令することができる。
すなわち、上述したGUI表示画面、各種ボタン、サムネイル、または、アイコンなどは、コンテンツの供給元、または、記録媒体の販売者など、いわゆる、コンテンツオーサが、設計し、デザインして、ユーザに提供することができるものであるとともに、ユーザが所望するアイテムに対応付けてコマンドを設定することが可能である。これにより、コンテンツオーサは、コンテンツの内容や、提供するピクチャインピクチャアプリケーションの内容に応じて、ユーザが効率よくピクチャインピクチャアプリケーションにより再生可能なセカンダリビデオまたはセカンダリオーディオを選択することができたり、非同期のピクチャインピクチャアプリケーションの再生開始を指令することができるようユーザインタフェイスをユーザに提供することができる。
次に、図５４および図５５を参照して、再生装置１において再生可能なデータが記録された記録媒体１１の製造方法について、記録媒体１１がディスク状の記録媒体だった場合を例として説明する。
即ち、図５４に示すように、例えばガラスなどよりなる原盤が用意され、その上に、例えばフォトレジストなどよりなる記録材料が塗布される。これにより、記録用原盤が製作される。
そして、図５５に示すように、ソフト製作処理部において、符号化装置（ビデオエンコーダ）で符号化された、再生装置１において再生可能な形式のビデオデータが、一時バッファに記憶され、オーディオエンコーダで符号化されたオーディオデータが、一時バッファに記憶されるとともに、更に、データエンコーダで符号化された、ストリーム以外のデータ（例えば、Indexes、PlayList、PlayItemなど）が一時バッファに記憶される。それぞれのバッファに記憶されたビデオデータ、オーディオデータ、および、ストリーム以外のデータは、多重化器（ＭＰＸ）で同期信号と共に多重化され、誤り訂正符号回路（ＥＣＣ）でエラー訂正用のコードが付加される。そして、変調回路（ＭＯＤ）で所定の変調がかけられ、所定のフォーマットにしたがって、例えば磁気テープなどに一旦記録され、再生装置１において再生可能な記録媒体１１に記録されるソフトウェアが製作される。
このソフトウェアを必要に応じて編集（プリマスタリング）し、光ディスクに記録すべきフォーマットの信号が生成される。そして、この記録信号に対応して、レーザビームが変調されて、このレーザビームが原盤上のフォトレジスト上に照射される。これにより、原盤上のフォトレジストが記録信号に対応して露光される。
その後、この原盤を現像し、原盤上にピットを出現させる。このようにして用意された原盤に、例えば電鋳等の処理を施し、ガラス原盤上のピットを転写した金属原盤を製作する。この金属原盤から、さらに金属スタンパを製作し、これを成形用金型とする。
この成形用金型に、例えばインジェクションなどによりＰＭＭＡ（アクリル）またはＰＣ（ポリカーボネート）などの材料を注入し、固定化させる。あるいは、金属スタンパ上に２Ｐ（紫外線硬化樹脂）などを塗布した後、紫外線を照射して硬化させる。これにより、金属スタンパ上のピットを、樹脂よりなるレプリカ上に転写することができる。
このようにして生成されたレプリカ上に、反射膜が、蒸着あるいはスパッタリングなどにより形成される。あるいはまた、生成されたレプリカ上に、反射膜が、スピンコートにより形成される。
その後、このディスクに対して内外径の加工が施され、２枚のディスクを張り合わせるなどの必要な処置が施される。さらに、ラベルを貼り付けたり、ハブが取り付けられて、カートリッジに挿入される。このようにして再生装置１によって再生可能なデータが記録された記録媒体１１が完成する。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図５６に示されるようなパーソナルコンピュータ５００により実行される。
図５６において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム格納媒体からインストールされる。
このプログラム格納媒体は、図５６に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、ドライブ５１０は、装着されたリムーバブルメディア５２１に記録されたデータを読み出すことができるのみならず、装着されたリムーバブルメディア５２１にデータを記録することができる。そして、パーソナルコンピュータ５００が、図５５を用いて説明したソフト製作処理部と同様の機能を有する（例えば、ＣＰＵ５０１を用いて、ソフト製作処理部と同様の機能を実現するためのプログラムを実行する）ことが可能であるのは言うまでもない。
すなわち、パーソナルコンピュータ５００は、図５５を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、ＣＰＵ５０１の処理により生成するか、または、外部の装置で生成された図５５を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、通信部５０９またはドライブ５１０に装着されたリムーバブルメディア５２１を介して取得することができる。そして、パーソナルコンピュータ５００は、生成または取得された図５５を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、ドライブ５１０に装着されたリムーバブルメディア５２１に記録する記録装置としての機能を実現することができる。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
従来の音声切り替えを説明する図である。 従来の音声切り替えを説明する図である。 MPEG２プログラムストリームの構成を説明する図である。 本発明を適用した再生装置に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。 メインパスとサブパスの構造を説明する図である。 メインパスとサブパスの例を説明する図である。 メインパスとサブパスの別の例を説明する図である。 再生装置で再生可能なデータのデータ構成例を説明する図である。 index.bdmvのシンタクスを示す図である。 indexesシンタクスを示す図である。 PlayListファイルのデータ構造ついて説明するための図である。 AppInfoPlayList()のシンタクスについて説明するための図である。 PlayList()のシンタクスを示す図である。 PlayItem()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 stream_entry()のシンタクスを示す図である。 stream_attribute()のシンタクスを示す図である。 stream_cording_typeを説明する図である。 video_formatを説明する図である。 frame_rateを説明する図である。 aspect_ratioを説明する図である。 audio_presentation_typeを説明する図である。 sampling_frequencyを説明する図である。 Character codeを説明する図である。 SubPath()のシンタクスを示す図である。 SubPath_typeを説明する図である。 SubPlayItem(i)のシンタクスを示す図である。 再生装置の構成を示すブロック図である。 図２９の再生装置のＡＶデコーダ部の構成を示すブロック図である。 ピクチャインピクチャ表示について説明するための図である。 第1のレジスタについて説明するための図である。 第２のレジスタについて説明するための図である。 第２３のレジスタについて説明するための図である。 表示画面について説明するための図である。 表示画面について説明するための図である。 表示画面について説明するための図である。 表示画面について説明するための図である。 表示画面について説明するための図である。 このような表示画面を表示させるためのデータ構造について説明するための図である。 表示画面について説明するための図である。 このような表示画面を表示させるためのデータ構造について説明するための図である。 表示画面について説明するための図である。 表示画面について説明するための図である。 PiP表示終了後に、その前に表示されていた同期型PiPが表示される場合のデータ構造について説明するための図である。 図２９の再生装置のコントローラが有する機能を示す機能ブロック図である。 コマンドについて説明するための図である。 コマンドについて説明するための図である。 コマンドについて説明するための図である。 コマンドについて説明するための図である。 再生処理について説明するフローチャートである。 再生処理について説明するフローチャートである。 PiP表示処理について説明するフローチャートである。 再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。 再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。 パーソナルコンピュータの構成を示す図である。
符号の説明
１ 再生装置， １１ 記録媒体， ２１ コントローラ， ２６ AVデコーダ部， ３０ OSD， ３２ スイッチ， ５１乃至５４ バッファ， ５５，５６ PIDフィルタ， ５７乃至５９ スイッチ， ７１ バックグラウンドデコーダ， ７２ ビデオデコーダ， ７３ プレゼンテーショングラフィックスデコーダ， ７４ インタラクティブグラフィックスデコーダ， ７５ オーディオデコーダ， ７６ Text-STコンポジション， ７７ スイッチ， ９１ バックグラウンドプレーン生成部， ９２ ビデオプレーン生成部， ９３ プレゼンテーショングラフィックスプレーン生成部， ９４ インタラクティブグラフィックスプレーン生成部， ９５ バッファ ９６ ビデオデータ処理部， ９７ ミキシング処理部， １０１ ミキシング処理部， １０２ バッファ， ２６１ PiPメニュー画面， ２８１ ストリーム選択ウィンドウ， ２９１，２９２，２９３ PiP選択ボタン， ３０２ アイコン， ３０３ 再生開始ボタン， ３１１，３１２，３１３，３２１，３２２ 再生開始ボタン， ３２３ OFFボタン， ３５１ PlayList読み出し制御部， ３５２ GUIデータ読み出し制御部， ３５３ GUIデータ再生制御部， ３５６ 操作入力取得部３５６， ３５７ ストリームデータ読み出し制御部， ３５８ コマンド情報取得部

Claims (15)

  1. ストリームの再生を制御する情報処理装置において、
    前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パスと、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報を表示させるために必要な情報を取得する情報取得手段と、
    前記表示情報の表示を制御する情報表示制御手段と、
    前記ユーザの操作入力を受ける操作入力取得手段と、
    前記操作入力取得手段により取得された前記ユーザの操作入力を基に、前記主の再生パスに対応するストリームの再生を制御するとともに、必要に応じて、前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を制御するストリーム再生制御手段と
    を備え、
    前記情報表示制御手段は、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報の表示を制御し、
    前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合、前記情報表示制御手段は、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報の表示を制御し、
    前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力を取得した場合、前記ストリーム再生制御手段は、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御する
    情報処理装置。
  2. 前記表示情報の表示を制御する所定のコマンドを発生するコマンド発生手段を更に備え、
    前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合、前記コマンド発生手段は、前記情報表示制御手段に前記第２の表示情報の表示を制御させるためのコマンドを発生する
    請求項１に記載の情報処理装置。
  3. 前記ストリームの再生を制御する所定のコマンドを発生するコマンド発生手段を更に備え、
    前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力を取得した場合、前記コマンド発生手段は、前記ストリーム再生制御手段に前記第２の副の再生パスに対応するストリームの再生を制御させるためのコマンドを発生する
    請求項１に記載の情報処理装置。
  4. 前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合、前記ストリーム再生制御手段は、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生を制御する
    請求項１に記載の情報処理装置。
  5. 前記ストリームの再生を制御する所定のコマンドを発生するコマンド発生手段を更に備え、
    前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合、前記コマンド発生手段は、前記ストリーム再生制御手段に、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生を制御させるためのコマンドを発生する
    請求項４に記載の情報処理装置。
  6. 前記情報表示制御手段は、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生が予定されていることを示す第３の表示情報の表示を更に制御する
    請求項４に記載の情報処理装置。
  7. 前記ストリーム再生制御手段により、前記主の再生パスとともに前記副の再生パスに対応するストリームの再生が制御されるとき、前記情報表示制御手段は、前記ユーザが前記主の再生パスとともに再生可能な他の前記副の再生パスに対応するストリームの再生を指令する操作を入力するための補助となる第３の表示情報の表示を更に制御し、
    前記操作入力取得手段が、前記情報表示制御手段により表示が制御された前記第３の表示情報を参照した前記ユーザによる他の前記副の再生パスを選択決定する操作入力を取得した場合、前記ストリーム再生制御手段は、前記ユーザにより選択された他の前記副の再生パスに対応するストリームの再生を制御する
    請求項１に記載の情報処理装置。
  8. ストリームの再生を制御する情報処理装置の情報処理方法において、
    前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パスと、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとの２種類の副の再生パスとのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報を表示させるために必要な情報を取得し、
    取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報の表示を制御し、
    前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力が取得された場合、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報の表示を制御し、
    前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力が取得された場合、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御する
    ステップを含む情報処理方法。
  9. ストリームの再生を制御する処理をコンピュータに実行させるためのプログラムであって、
    前記ストリームの主の再生パスとともに再生可能な前記主の再生パスとは異なる１つまたは複数の副の再生パスであって、前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パスと、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとの２種類の副の再生パスとのうち、所望の前記第１の副の再生パスまたは前記第２の副の再生パスに対応するストリームの再生を指令するためのユーザの操作入力の補助となる表示情報を表示させるために必要な情報の取得を制御し、
    取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、前記第１の副の再生パスおよび前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報の表示を制御し、
    前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力が取得された場合、取得された前記表示情報を表示させるために必要な情報を基に、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報の表示を制御し、
    前記第２の表示情報を参照した前記ユーザによる前記第２の副の再生パスに対応するストリームの再生開始を指令する操作入力が取得された場合、前記ユーザにより選択された前記第２の副の再生パスに対応するストリームの再生を制御する
    ステップを含む処理をコンピュータに実行させるプログラム。
  10. 請求項９に記載のプログラムが格納されているプログラム格納媒体。
  11. 再生装置において再生可能なストリームを含むデータ構造であって、
    前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報と、
    前記主の再生パスに基づいて再生可能な主のストリームと、
    前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとに基づいて再生可能な副のストリームと、
    ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報を表示させるために必要な第１の情報と、
    前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報を表示させるために必要な第２の情報と
    を含むデータ構造。
  12. 前記第１の表示情報を参照した前記ユーザによる前記第１の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記主の再生パスに対して予め定められたタイミングで前記ユーザにより選択された前記第１の副の再生パスに対応するストリームの再生が予定されていることを示す第３の表示情報を表示させるために必要な第３の情報
    を更に含む請求項１１に記載のデータ構造。
  13. 前記主の再生パスに対応するストリームとともに前記副の再生パスに対応するストリームの再生が制御されるときに表示させる表示情報であって、前記ユーザが前記主の再生パスに対応するストリームとともに再生可能な他の前記副の再生パスに対応するストリームの再生を指令する操作を入力するための補助となる第３の表示情報を表示させるために必要な第３の情報
    を更に含む請求項１１に記載のデータ構造。
  14. 再生装置において再生可能なストリームを含むデータが記録された記録媒体であって、
    前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報と、
    前記主の再生パスに基づいて再生可能な主のストリームと、
    前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとに基づいて再生可能な副のストリームと、
    ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報を表示させるために必要な第１の情報と、
    前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報を表示させるために必要な第２の情報と
    を含むデータが記録された記録媒体。
  15. 再生装置において再生可能なストリームを含むデータが記録された記録媒体の製造方法において、
    前記ストリームの主の再生パスと、前記主の再生パスとは異なる１つまたは複数の副の再生パスとを用いて前記ストリームの再生を管理する再生管理情報と、
    前記主の再生パスに基づいて再生可能な主のストリームと、
    前記主の再生パスに対して予め定められたタイミングで表示が制御される第１の副の再生パス、または、前記主の再生パスに対して表示が制御されるタイミングが定められていない第２の副の再生パスとに基づいて再生可能な副のストリームと、
    ユーザが、前記第１の副の再生パスまたは前記第２の副の再生パスのうちの所望の副の再生パスを選択決定する操作を入力するための補助となる第１の表示情報を表示させるために必要な第１の情報と、
    前記第１の表示情報を参照した前記ユーザによる前記第２の副の再生パスを選択決定する操作入力を取得した場合に表示させる表示情報であって、前記ユーザが、選択決定された前記第２の副の再生パスに対応するストリームの再生開始を指令する操作を入力するための補助となる第２の表示情報を表示させるために必要な第２の情報と
    を含むデータ構造を有するデータを生成し、
    生成されたデータを記録媒体に記録する
    ステップを含む記録媒体の製造方法。
JP2006228737A 2006-08-25 2006-08-25 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体 Expired - Fee Related JP4720676B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006228737A JP4720676B2 (ja) 2006-08-25 2006-08-25 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006228737A JP4720676B2 (ja) 2006-08-25 2006-08-25 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体

Publications (2)

Publication Number Publication Date
JP2008054081A JP2008054081A (ja) 2008-03-06
JP4720676B2 true JP4720676B2 (ja) 2011-07-13

Family

ID=39237675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006228737A Expired - Fee Related JP4720676B2 (ja) 2006-08-25 2006-08-25 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体

Country Status (1)

Country Link
JP (1) JP4720676B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087223A (zh) * 2011-01-07 2017-08-22 夏普株式会社 再生装置及其控制方法、以及生成装置及其控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
JP2005191826A (ja) * 2003-12-25 2005-07-14 Matsushita Electric Ind Co Ltd 映像編集装置、映像再生装置、アングル映像表示用データ及びそのアングル映像表示用データを記録した記録媒体、映像編集方法、映像再生方法

Also Published As

Publication number Publication date
JP2008054081A (ja) 2008-03-06

Similar Documents

Publication Publication Date Title
JP4770601B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
TWI479892B (zh) Reproducing apparatus and reproducing method, program, program storage medium, data structure, manufacturing method of recording medium
JP4968506B2 (ja) 再生装置、再生方法、およびプログラム
JP4923751B2 (ja) 再生装置、並びに記録媒体及びその製造方法
JP4251298B2 (ja) 再生装置および再生方法、プログラム、プログラム格納媒体、データ、記録媒体、記録装置、および、記録媒体の製造方法
JP4822081B2 (ja) 再生装置、再生方法、および記録媒体
JP4720676B2 (ja) 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
JP4968564B2 (ja) 再生装置、再生方法、および記録方法
JP2008193604A (ja) 再生装置および方法、並びにプログラム
JP4821456B2 (ja) 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体
JP2008052836A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP5218872B2 (ja) 再生装置、並びに記録媒体及びその製造方法
JP5201428B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP4900708B2 (ja) 再生装置および再生方法、プログラム、並びにプログラム格納媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110107

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees