WO2007023728A1

WO2007023728A1 - 再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、並びに、記録媒体の製造方法

Info

Publication number: WO2007023728A1
Application number: PCT/JP2006/316177
Authority: WO
Inventors: Ayako Iwase; Motoki Kato; Shinobu Hattori
Original assignee: Sony Corporation
Priority date: 2005-08-25
Filing date: 2006-08-17
Publication date: 2007-03-01
Also published as: CN102572454A; CN101091385A; ES2517418T3; EP1919210A1; KR101320793B1; EP1919210A4; TWI346506B; CN102855901B; JP2007104615A; CN102855902A; CN102855901A; CN102572454B; EP1919210B1; US8340496B2; US20080267588A1; CN101091385B; KR101244148B1; KR20130007672A; KR20080040617A; JP4081772B2

Abstract

本発明は、ピクチャインピクチャの表示を設定することができる再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、並びに記録媒体の製造方法に関する。pip_metadataには、ピクチャインピクチャ表示に必要な情報が記載される。pip_horizotal_positionは、プライマリビデオのフレーム上のセカンダリビデオが表示される副表示画面の左上隅のX座標を示し、pip_vertical_positionは、プライマリビデオのフレーム上のセカンダリビデオが表示される副表示画面の左上隅のY座標を示す。pip_scaleは、セカンダリビデオが表示される副表示画面の大きさを示す情報が記載され、例えば、プライマリビデオに対するセカンダリビデオの大きさの比率、セカンダリビデオのオリジナルの画像に対する縮小率、または副表示画面を構成する画素が縦横それぞれ何画素で構成されるかを示す情報などが記載される。本発明は、再生装置に適用できる。

Description

明細書

再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、並びに、記録媒体の製造方法

技術分野

[0001] 本発明は、再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、並びに、記録媒体の製造方法に関し、特に、ストリームデータを再生する場合に用いて好適な、再生装置および再生方法、プログラム、プログラム格納媒体、データ構造、並びに、記録媒体の製造方法に関する。

背景技術

[0002] 異なったコンテンツを同時視聴するために、複数のコンテンツの映像データをデコードした後、非圧縮の画像データを合成して、その後、 DZA変換を実行し、映像出力端子へ出力して、外部の表示装置に表示させる技術がある（例えば、特許文献 1) 特許文献 1：特開 2005— 20242号公報

発明の開示

発明が解決しょうとする課題

[0003] 上述したように、複数のコンテンツの映像データを合成して表示させる場合のみならず、 1つのコンテンツが、複数の映像データを含む場合などにおいても、複数の映像データを合成して出力させることが求められている。

[0004] 複数の映像データが合成されて出力される場合、主な表示画面に対する副となる表示画面の表示方法を、再生装置に依存させるのではなぐ例えば、コンテンツごとに、または、コンテンツの所定の再生箇所ごとに、コンテンツの作成元またはコンテンッの配給元などが設定することは困難であった。

[0005] 本発明はこのような状況に鑑みてなされたものであり、主な表示画面に対する副となる表示画面の表示方法を指定することができるようにするものである。

課題を解決するための手段

[0006] 本発明の第 1の側面の再生装置は、少なくとも 1つのストリームを含むメインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1の情報と、前記メインストリームファイルとは異なるサブストリームファイルの副の再生パスを含む第 2の情報により構成される再生管理情報を取得する取得手段と、前記取得手段により取得された前記再生管理情報を基に、再生される前記メインストリームファイルおよび前記サブストリームファイルを読み出す読み出し手段と、前記取得手段により取得された前記再生管理情報を基に、前記読み出し手段により読み出された前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成する映像合成手段とを備え、前記再生管理情報には、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報が含まれており、前記映像合成手段は、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成する。

[0007] 前記表示状態に関する情報には、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示位置に関する情報を含ませるようにすることができる。

[0008] 前記表示状態に関する情報には、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示の大きさに関する情報を含ませるようにすることができる。

[0009] 前記表示状態に関する情報には、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示色に関する情報を含ませるようにすることができる。

[0010] 前記表示状態に関する情報には、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の、原映像に対する合成後の回転角度に関する情報を含ませるようにすることができる。

[0011] 前記表示状態に関する情報は、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の明るさを示す情報に基づヽて実行される、前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成する処理に関する情報を含むようにすることができる。

[0012] 前記サブストリームファイルの映像の明るさを示す情報は、透過処理を行うべき明るさを示す情報の少なくとも 1つの閾値であり、前記サブストリームファイルの映像の明るさが、前記閾値以上または以下となる映像部分に対して透過処理を行うようにすることができる。

[0013] ユーザの操作入力を受ける操作入力手段をさらに備えさせるようにすることができ、前記取得手段により取得される前記再生管理情報には、前記メインストリームフアイルに対して前記サブストリームファイルが必ず同時に再生される力、前記ユーザから指令されたときのみ前記メインストリームファイルに対して前記サブストリームファイルが同時に再生されるかを示す情報が記載されるようにすることができ、前記映像合成手段には、前記ユーザカゝら指令されたときのみ前記メインストリームファイルに対して前記サブストリームファイルが同時に再生されることを示す情報が前記再生管理情報に記載されている場合、前記操作入力手段により入力される前記ユーザの操作入力に基づ!/、て、前記ユーザ力前記サブストリームファイルの再生が指令されたときのみ、前記メインストリームファイルの映像と前記サブストリームファイルの映像とを合成させるよう〖こすることがでさる。

[0014] 前記メインストリームファイルに対応して再生される音声と、前記サブストリームフアイルに対応して再生される音声とを合成する音声合成手段をさらに備えさせるようにすることができ、前記音声合成手段には、前記映像合成手段により前記メインストリームファイルの映像と、前記サブストリームファイルの映像とが合成される場合、前記メインストリームファイルに対応して再生される音声と、前記サブストリームファイルに対応して再生される音声とを合成させるようにすることができる。

[0015] 前記再生管理情報には、前記表示状態に関する情報を含むことを示す情報を含ませるよう〖こすることがでさる。

[0016] 本発明の第 1の側面の再生方法およびプログラムは、少なくとも 1つのストリームを含む前記メインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1 の情報と、前記メインストリームファイルとは異なる前記サブストリームファイルの副の再生パスを含む第 2の情報により構成される再生管理情報を読み出し、読み出された前記再生管理情報を基に、再生される前記メインストリームファイルおよび前記サブストリームファイルを読み出し、前記再生管理情報に含まれる、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報を基に、読み出された前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成するステップを含む。

[0017] 本発明の第 1の側面においては、少なくとも 1つのストリームを含む前記メインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1の情報と、前記メインストリームファイルとは異なる前記サブストリームファイルの副の再生パスを含む第 2の情報により構成される再生管理情報が読み出され、読み出された前記再生管理情報を基に、再生される前記メインストリームファイルおよび前記サブストリームファイルが読み出され、前記再生管理情報に含まれる前記サブストリームファイルの映像の表示状態に関する情報を基に、読み出された前記メインストリームファイルの映像と、前記サブストリームファイルの映像とが合成される。

[0018] 本発明の第 2の側面のデータ構造は、少なくとも 1つのストリームを含むメインストリームファイルの再生を管理する情報である再生管理情報を含むデータ構造であって、前記再生管理情報には、前記メインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1の情報と、前記メインストリームファイルとは異なるサブストリームファイルの副の再生パスを含む第 2の情報と、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報とが含まれている。

[0019] 本発明の第 2の側面の記録媒体の製造方法は、再生装置において再生可能なデータが記録される記録媒体の製造方法であって、少なくとも 1つのストリームを含むメインストリームファイルの再生を管理する情報である再生管理情報を含み、前記再生管理情報に、前記メインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1の情報と、前記メインストリームファイルとは異なるサブストリームファイルの副の再生パスを含む第 2の情報と、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報とを含むデータ構造を有するデータを生成し、生成された前記データを前記記録媒体に記録するステップを含む。

[0020] 本発明の第 2の側面の記録媒体の製造方法においては、少なくとも 1つのストリームを含むメインストリームファイルの再生を管理する情報である再生管理情報を含み、前記再生管理情報に、前記メインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1の情報と、前記メインストリームファイルとは異なるサブストリームファイルの副の再生パスを含む第 2の情報と、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報とを含むデータ構造を有するデータが生成され、生成された前記データが前記記録媒体に記録される。

[0021] ネットワークとは、少なくとも 2つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、 1つの装置を構成している内部ブロックどうしであっても良い。

[0022] また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、すなわち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置力ある装置への通信が無線通信で行われるようなものであつても良い。

[0023] なお、記録装置は、独立した装置であっても良、し、記録再生装置の記録処理を行うブロックであっても良い。

発明の効果

[0024] 以上のように、本発明の第 1の側面によれば、メインストリームファイルの映像と、サブストリームファイルの映像とを合成することができ、特に、再生管理情報に含まれるサブストリームファイルの映像の表示状態に関する情報を基に、メインストリームフアイルの映像と、サブストリームファイルの映像とを合成することができるので、例えば、ピクチャインピクチャ表示における副表示画面の大きさと表示位置は、再生装置の仕様に依存することなぐコンテンツの製作者、または、コンテンツの配給元が、適宜定めることがでさる。

[0025] また、本発明の第 2の側面によれば、少なくとも 1つのストリームを含むメインストリームファイルの再生を管理する情報である再生管理情報を含むデータ構造を有するデータを提供することができ、特に、再生管理情報に、メインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1の情報と、メインストリームファイルとは異なるサブストリームファイルの副の再生パスを含む第 2の情報と、メインストリームファイルの映像と合成されるサブストリームファイルの映像の表示状態に関する情報とを含むデータ構造を有するデータを提供することができるので、例えば、ピクチャインピクチャ表示における副表示画面の大きさと表示位置は、再生装置の仕様に依存することなぐコンテンツの製作者、または、コンテンツの配給元が、適宜定めることができる。図面の簡単な説明

[図 1]本発明を適用した再生装置に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。

[図 2]メインパスとサブパスの構造を説明する図である。

[図 3]メインパスとサブパスの例を説明する図である。

[図 4]メインパスとサブパスの別の例を説明する図である。

[図 5]主表示画面と副表示画面について説明する図である。

[図 6]再生可能なデータファイルのファイルシステムの例を示す図である。

[図 7]PLAYLISTディレクトリに格納される、拡張子「.mpls」を有する PlayListファイルのデータ構造を示す図である。

[図 8]PlayListExtensionDataOのシンタクスを示す図である。

[図 9]data_blockに記載される pipjnetadataのシンタクスの第 1の例を説明する図である。

[図 10]図 9の pip_metadata_typeの値とその意味を説明する図である。

[図 l l]data_blockに記載される pipjnetadataのシンタクスの第 2の例を説明する図である。

[図 12]data_blockに記載される pipjnetadataのシンタクスの第 3の例を説明する図である。

[図 13]図 12の pip_scaleの値とその意味を説明する図である。

[図 14]図 12の pip_timeline_typeの値とその意味を説明する図である。

[図 15]図 12の pip_timeline_type =1のときの pip_metadata_time_stampの意味を説明する図である。

[図 16]図 12の pip_timeline_type =2のときの pip_metadata_time_stampの意味を説明する図である。

[図 17]図 12の pip_timeline_type =3のときの pip_metadata_time_stampの意味を説明する図である。

[図 18]PlayListOのシンタクスを示す図である。

[図 19]SubPathOのシンタクスを示す図である。

[図 20]SubPath_typeを説明する図である。

[図 21]SubPlayItem(i)のシンタクスを示す図である。

[図 22]PlayItemOのシンタクスを示す図である。

[図 23]STN_tableOのシンタクスを示す図である。

[図 24]stream_entry()のシンタクスを示す図である。

[図 25]stream_attribute()のシンタクスを示す図である。

[図 26]stream_cording_typeを説明する図である。

[図 27]video_formatを説明する図である。

[図 28]frame_rateを説明する図である。

[図 29]aspect_ratioを説明する図である。

[図 30]audio_presentation_typeを説明する図である。

[図 31]sampling_frequencyを説明する図である。

[図 32]Character codeを説明する図である。

[図 33]STN_tableOのシンタクスを示す図である。

[図 34]STN_tableOのシンタクスを示す図である。

圆 35]本発明を適用した再生装置の構成例を示すブロック図である。

[図 36]図 35の再生装置における再生処理を説明するフローチャートである。

[図 37]プライマリビデオ再生処理を説明するフローチャートである。

[図 38]プライマリビデオ再生処理を説明するフローチャートである。

[図 39]プライマリビデオ再生処理を説明するフローチャートである。

[図 40]プライマリおよびセカンダリビデオ再生処理を説明するフローチャートである。 [図 41]プライマリおよびセカンダリビデオ再生処理を説明するフローチャートである。

[図 42]プライマリおよびセカンダリビデオ再生処理を説明するフローチャートである。

[図 43]ポジショニングとスケーリングを説明する図である。

[図 44]luma_keying合成を説明する図である。

[図 45]luma_keying合成を説明する図である。

[図 46]再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。

[図 47]再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。

[図 48]パーソナルコンピュータの構成を示す図である。

符号の説明

[0027] 1 主表示画面， 2 副表示画面， 20 再生装置， 31 ストレージドライブ， 32 スィッチ， 33 AVデコーダ部， 34 コントローラ， 51乃至 54 バッファ， 55, 56 PIDフィルタ， 57乃至 59 スィッチ， 71 バックグラウンドデコーダ， 72—1 1stビデオデコーダ， 72— 2 2ndビデオデコーダ， 73 プレゼンテーショングラフィックスデコーダ， 74 インタラクティブグラフィックスデコーダ， 75 オーディオデコーダ， 76 Text- STコンポジション， 77 スィッチ， 91 バックグラウンドプレーン生成部， 92 ビデオプレーン生成部， 93 プレゼンテーショングラフィックスプレーン生成部， 94 インタラクティブグラフィックスプレーン生成部， 95 バッファ 9 6 ビデオデータ処理部， 97 ミキシング処理部， 101 ミキシング

発明を実施するための最良の形態

[0028] 以下、図を参照して、本発明の実施の形態について説明する。

[0029] 図 1は、本発明を適用した再生装置 20 (図 35を参照して後述する）に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよ、。

[0030] アプリケーションフォーマットは、 AV (Audio Visual)ストリームの管理のために、 Play List (プレイリスト)と Clip (クリップ)の 2つのレイヤを有している。ここでは、 1つの AVストリームとそれに付随する情報である Clipインフォメーションのペアを 1つのオブジェクトと考え、それらをまとめて Clipと称する。以下、 AVストリームを AVストリームファイルとも称する。また、 Clipインフォメーションを Clipインフォメーションファイルとも称する。

[0031] 一般的に、コンピュータなどで用いられるファイルはバイト列として扱われる力 AV ストリームファイルのコンテンツは時間軸上に展開され、 Clipのアクセスポイントは、主に、タイムスタンプで PlayListにより指定される。すなわち、 PlayListと Clipは、 AVストリームの管理のためのレイヤである。

[0032] Clip中のアクセスポイントがタイムスタンプで PlayListにより示されている場合、 Clip I nformationファイルは、タイムスタンプから、 AVストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。

[0033] PlayListは、 AVストリームの再生区間の集まりである。ある AVストリーム中の 1つの再生区間は Playltemと呼ばれ、それは、時間軸上の再生区間の IN点（再生開始点）と OUT点（再生終了点）のペアで表される。従って、 PlayListは、図 1に示されるように 1つ、または複数の Playltemにより構成される。

[0034] 図 1において、左から 1番目の PlayListは 2つの Playltemから構成され、その 2つの P1 ayltemにより、左側の Clipに含まれる AVストリームの前半部分と後半部分がそれぞれ参照されている。また、左から 2番目の PlayListは 1つの Playltemから構成され、それにより、右側の Clipに含まれる AVストリーム全体が参照されている。さらに、左から 3 番目の PlayListは 2つの Playltemから構成され、その 2つの Playltemにより、左側の Cli pに含まれる AVストリームのある部分と、右側の Clipに含まれる AVストリームのある部分がそれぞれ参照されて!ヽる。

[0035] 例えば、図 1のディスクナビゲーシヨンプログラムにより、そのときの再生位置を表す情報として、左から 1番目の PlayListに含まれる左側の Playltemが指定された場合、その Playltemが参照する、左側の Clipに含まれる AVストリームの前半部分の再生が行われる。このように、 PlayListは、 AVストリームファイルの再生を管理するための再生管理情報として用いられる。

[0036] ディスクナビゲーシヨンプログラムは、 PlayListの再生の順序や、 PlayListのインタラクティブな再生をコントロールする機能を有する。また、ディスクナビゲーシヨンプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。このディスクナビゲーシヨンプログラムは、例えば、 Java (登録商標）などのプログラミング言語で記述され、記録媒体上に用意される。

[0037] 本実施の形態では、 PlayListの中で、 1つ以上の Playltemの並びによつて（連続する Playltemにより）作られる再生パスをメインパス (Main Path)と称し、 PlayListの中で、 Ma in Pathに平行（並列）して、 1つ以上の Sub Pathの並びによつて（非連続でもよいし、連続してもよ、SubPlayItemにより）作られる再生パスをサブパス（Sub Path)と称する。すなわち、再生装置 20 (図 35を参照して後述する）に装着される記録媒体上のアブリケーシヨンフォーマットは、メインパスに関連付けられて (合わせて)再生されるサブパス (Sub Path)を PlayListの中に持つ。

[0038] 図 2は、メインパスとサブパスの構造を説明する図である。 PlayListは、 1つのメインパスと 1つ以上のサブパスを持つことができる。 1つのメインパスは、 1つ以上の Playlte mの並びによつて作られ、 1つのサブパスは、 1つ以上の SubPlayltemの並びによつて作られる。

[0039] 図 2の例の場合、 PlayListは、 3つの Playltemの並びにより作られる 1つのメインパスと、 3つのサブパスを有している。メインパスを構成する Playltemには、先頭力も順番にそれぞれ ID (Identification)が付されている。具体的には、メインパスは、 Playltemj d = 0、 Playltem_id= l、および Playltem_id = 2の Playltemからなる。また、サブパスにも先頭から順番に Subpath_id=0、 Subpath_id= 1、および Subpath_id= 2、とそれぞれ IDが付されている。 Subpathjd=0のサブパスには、 1つの SubPlayltemが含まれ、 Sub path_id= lのサブパスには、 2つの SubPlayltemが含まれ、 Subpath_id= 2のサブパスには、 1つの SubPlayltemが含まれる。

[0040] Subpath_id = 0のサブパスに含まれる SubPlayltemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、 Mainpathにより参照される AVストリームフアイルのオーディオストリームに替えて再生される場合が考えられる。また、 Subpathj d= lのサブパスに含まれる SubPlayltemが参照するストリームは、例えば、映画のディレクターズカットと想定され、 Main Pathにより参照される AVストリームファイルの所定の部分にのみ、映画監督などのコメントが入って、る場合が考えられる。

[0041] 1つの Playltemが参照する ClipAVストリームファイルには、少なくともビデオストリームデータ (メイン画像データ）が含まれる。また、 ClipAVストリームファイルには、 ClipA Vストリームファイルに含まれるビデオストリーム (メイン画像データ）と同じタイミングで (同期して)再生されるオーディオストリーム力^つ以上含まれてもよいし、含まれなくてもよい。さらに、 ClipAVストリームファイルには、 ClipAVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリームが 1つ以上含まれてもよいし、含まれなくてもよい。また、 ClipAVストリームファイルには、 ClipAV ストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラタティブグラフィックスストリームが 1つ以上含まれてもよいし、含まれなくてもよい。そして、 ClipAVストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。すなわち、 1つの Pla yltemが参照する ClipAVストリームファイルには、ビデオストリームデータと、そのビデォストリームに合わせて再生される 0個以上のオーディオストリーム、 0個以上のビットマップ字幕ストリームデータ、および 0個以上のインタラクティブグラフィックスストリームデータとが多重化されて!/ヽる。

[0042] すなわち、 1つの Playltemが参照する ClipAVストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリームファイル、または、インタラタティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。

[0043] また、 1つの SubPlayltemは、 Playltemが参照する ClipAVストリームファイルとは異なるストリーム (別ストリーム）のオーディオストリームデータや字幕データを参照する。

[0044] メインパスのみを有する PlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えと、う操作は、そのメインパスが参照する Clipに多重化されて、るオーディォストリームとサブピクチャストリームの中からしか音声や字幕を選択することができない。これに対し、メインパスとサブパスを持つ PlayListを再生する場合、そのメインパスが参照する ClipAVストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、 SubPlayltemが参照する Clipのオーディオストリームゃサブピクチャストリームを参照することができる。

[0045] このように、 1つの PlayListの中に SubPathを複数含め、それぞれの SubPathがそれぞれ SubPlayltemを参照する構成としたので、拡張性の高い、また、自由度の高い A Vストリームを実現することができる。すなわち、 MainPathで参照される ClipAVストリームに加えて、後で、 SubPlayltemを追加できる構成とすることができる。

[0046] 図 3は、メインパスとサブパスの例を説明する図である。図 3においては、メインパスと同じタイミングで (AV同期して)再生されるオーディオの再生パスを、サブパスを使用して表している。

[0047] 図 3の PlayListには、メインパスとして、 PlayItem_id = 0である 1つの Playltemと、サブパスとして 1つの SubPlayltemが含まれて!/、る。メインパスの Playltemjd = 0である 1つの PlayltemOは、図 3のメイン AVストリームを参照している。 SubPlayltemOには、以下に示すデータが含まれる。まず、 SubPlayltem 0には、 PlayListの中の Sub Path (サブパス）が参照する Clipを指定するための Clip_Information_file_nameが含まれる。図 3の例の場合、 SubPlayltemによって、 SubClip— entry— id = 0の Auxiliary audio stream (ォーディォストリーム）が参照されている。また、 SubPlayltem 0には、 Clip (ここでは、 Auxili ary audio stream)の中の Sub Pathの再生区間を指定するための SubPlayItem_IN_time と SubPlayItem_OUT_timeとが含まれる。さらに、 SubPlayltemOには、 Main pathの時間軸 (再生時間軸)上で Sub Pathが再生開始する時刻を指定するための sync_PlayItem_i dと sync_start_PTS_of_PlayItemとが含まれる。図 3の例の場合、 sync.Playltemjd = 0とされ、 sync_start_PTS_of_PlayItem = tlとされている。これにより、メインパスの Playltem_ id = 0の時間軸 (再生時間軸)上で Sub Pathが再生を開始する時刻 tlを指定することができる。すなわち、図 3の例の場合では、メインパスの再生開始時刻 tlとサブノスの開始時刻 1が同時刻であることを示して、る。

[0048] ここで、 Sub Pathに参照されるオーディオの Clip AVストリームは、 STC不連続点（システムタイムベースの不連続点）を含んではならない。サブパスに使われる Clipのォ一ディオサンプルのクロックは、メインパスのオーディオサンプルのクロックにロックされている。

[0049] 換言すると、 SubPlayltem ()には、 Sub Pathが参照する Clipを指定する情報、 Sub Pa thの再生区間を指定する情報、および Main pathの時間軸上で Sub Pathが再生を開始する時刻を指定する情報が含まれている。 Sub Pathに使われる Clip AVストリームが STCを含まないため、 SubPlayltem Oに含まれる情報（Sub Pathが参照する Clipを指定する情報、 Sub Pathの再生区間を指定する情報、および Main pathの時間軸上で S ub Pathが再生を開始する時刻を指定する情報）に基づいて、メインパスが参照する C lipAVストリーム（メイン AVストリーム）とは異なる ClipAVストリームのオーディオストリームを参照して、再生することができる。

[0050] このように、 Playltemと SubPlayltemは、 ClipAVストリームファイルをそれぞれ管理するものであり、ここでは、 Playltemが管理する ClipAVストリームファイル (メイン AVストリーム）と SubPlayltemが管理する ClipAVストリームファイルは異なるファイルとなる。

[0051] なお、図 3の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。

[0052] 図 4は、メインパスとサブパスの別の例を説明する図である。図 4においては、メインパスと同じタイミングで (AV同期して)再生されるビデオとオーディオの再生パスを、サブパスを使用して表してヽる。

[0053] メインパスの Playltem— 1が参照するストリームファイルは、 Clip— 0のプライマリ（pri mary)ビデオストリームおよびプライマリオーディオストリーム、並びに、 PG (Presentati on Graphics)ストリームおよび IG (Intaractive Graphics)ストリームの前半部分であり、 Playltem— 2が参照するメイン AVストリームファイルは、 Clip— 0のプライマリ（primary )ビデオストリームおよびプライマリオーディオストリーム、並びに、 PGストリームおよび IGストリームの後半である。

[0054] そして、サブパスの SubPlayltemが参照するストリームファイルは、 Clip-1のセカンダリ（2ndary)ビデオストリームと、セカンダリオーディオストリームである。

[0055] 例えば、メインノスにより参照されるプライマリ（primary)ビデオストリームおよびブライマリオ一ディォストリーム、並びに、 PGストリームおよび IGストリームを 1つの映画のコンテンツ (AVコンテンツ）とし、サブパスにより参照されるセカンダリビデオストリームと、セカンダリオーディオストリームをその映画に対して監督力コメントして、るボーナストラックとし、メインパスで参照されるビデオおよびオーディオのストリームにサブパスで参照されるビデオおよびオーディオのストリームをミキシング (重ねて)再生するような場合に、このような構成が利用される。 [0056] また、セカンダリストリームがプライマリのストリームと同期（必ず同時に再生されるようなプレイリストの設定）していない場合であっても、ユーザが、映画を見ながら、ボーナストラックを合成させて表示させる指令を再生装置 (プレーヤ)へ入力した場合に、メインパスで参照されるプライマリストリームの映像および音声と、サブパスで参照されるセカンダリストリームの映像および音声とがミキシングされて再生される場合には、同様にこのような構成が用いられる。

[0057] 図 4においては、メインパスに 2つの Playltemが PlayItem_id=0, 1と配置され、サブパス（Subpath_id=0)に 1つの SubPlayltemが配置されている。そして、 SubPath (図 19 にて後述する）で呼び出す SubPlayltem (図 21にて後述する）は、 Subpathの再生区間を指定するための、 SubPlayItem_IN_timeと、 SubPlayItem_out_timeを含む。

[0058] 図 4を用いて説明したプライマリビデオ、プライマリオーディオに対して、セカンダリビデオ、セカンダリオーディオが重畳されて再生出力される場合、音声は、合成されて出力され、映像は、図 5に示されるように、プライマリビデオが表示される主表示画面 1に対して、セカンダリビデオが、所定の位置で所定の大きさの副表示画面 2によつて重ねあわされて表示される。

[0059] なお、図 4においては、メインパスによって参照されたものがプライマリストリームであり、サブノスによって参照されたものがセカンダリストリームである力プライマリストリームおよびセカンダリストリームは、それぞれ、メインパスによって参照されていても、サブパスによって参照されていてもよい。例えば、プライマリストリームおよびセカンダリストリームが、ずれもメインパスによって参照されて、てもよ、し、プライマリストリームおよびセカンダリストリームが!/、ずれもサブパスによって参照されて、てもよ！/、。

[0060] すなわち、このような構成は、図 5に示されるように、プライマリビデオストリームを主画面として表示させ、主画面の中に、セカンダリストリームを子画面として合成して表示させる、、わゆる PinP (ピクチャインピクチャ： Picture- in- Picture)表示を行う場合に禾 IJ用することがでさる。

[0061] 図 6は、再生装置 20 (図 35を参照して後述する）において再生可能なデータフアイルのファイルシステムの例を示す図である。図 6には、一例として、再生装置 20にお V、て再生可能なデータファイルが光ディスクなどの記録媒体によって供給されて!、る場合を示しており、このファイルシステムはディレクトリ構造を有している。なお、再生装置 20において再生可能なデータファイルが光ディスク以外の記録媒体に記録されて供給されてヽる場合や、内部の記録媒体に記録され再生される場合などにぉヽても、再生装置 20において再生可能なデータファイルは、図 6に示されるようなファイルシステムを有すると好適である。

[0062] このファイルシステムにおいて、「root」の下には「BDMV」の名前が設定されたディレクトリが用意され、そのディレクトリに、「Index.bdmv」の名前が設定されたファイルと、「NavigationObject.bdmv」の名前が設定されたファイルが格納されている。以下、適宜、これらのファイルをそれぞれ Indexファイル、 NavigationObjectファイルと称する。また、適宜、各ファイルについては、「ファイル名」に「ファイル」を付カロした形で、または、各ディレクトリについては、「ディレクトリ名」に「ディレクトリ」を付加した形で称する

[0063] Indexファイルは、上述したインデックステーブルが記載されたファイルであり、再生装置 20において再生可能なデータファイルを再生するメニューに関する情報を含む。再生装置 20は、例えば、再生装置 20において再生可能なデータファイルに含まれるコンテンツを全て再生する、特定のチヤプタのみ再生する、繰り返し再生する、初期メニューを表示するなどの内容の項目を含む再生メニュー画面を Indexファイルに基づいて、表示装置に表示させる。 Indexファイルのインデックステーブルには各項目が選択されたときに実行する NavigationObjectを設定することができ、ユーザにより再生メニュー画面から 1つの項目が選択された場合、再生装置 20は Indexファイルのィンデッタステーブルに設定されている NavigationObjectのコマンドを実行する。

[0064] NavigationObjectファイルは、 NavigationObjectを含むファイルである。 NavigationO bjectは、再生装置 20にお!/、て再生可能なデータファイルに含まれて、る PlayListの再生を制御するコマンドを含み、例えば、再生装置 20は、このファイルシステムに含まれている NavigationObjectの中から 1つを選択して、実行することにより、コンテンツを再生させることができる。

[0065] BDMVディレクトリにはまた、「BACKUP」の名前が設定されたディレクトリ (BACKUP ディレクトリ）、「PLAYLIST」の名前が設定されたディレクトリ（PLAYLISTディレクトリ）、 rCLIPINFjの名前が設定されたディレクトリ（CLIPINFディレクトリ）、「STREAM」の名前が設定されたディレクトリ（STREAMディレクトリ）、「AUXDATA」の名前が設定されたディレクトリ（AUXDATAディレクトリ）が設けられている。

[0066] BACKUPディレクトリには、再生装置 20において再生可能なファイルやデータをバックアップするためのファイルやデータが記録される。

[0067] PLAYLISTディレクトリには、 PlayListファイルが格納される。各 PlayListファイルには、図内に示されるように 5桁の数字力もなるファイル名に拡張子「.mpls」を付加した名称が命名される。 PlayListファイルについては、図 7を用いて後述する。

[0068] CLIPINFディレクトリには、 Clip Informationファイルが格納される。各 Clip Informatio nファイルには、図内に示されるように 5桁の数字力もなるファイル名に拡張子「.clpi」を付加した名称が命名される。

[0069] STREAMディレクトリには、 Clip AVストリームファイルやサブストリームファイルが格納される。各ストリームファイルには、図内に示されるように 5桁の数字力もなるフアイル名に拡張子「- m2ts」を付加した名称が命名される。

[0070] AUXDATAディレクトリには、 Clip AVストリームファイルやサブストリームファイルに含まれずに、 Clip AVストリームファイルやサブストリームファイルから参照されるデータゃ、 Clip AVストリームファイルやサブストリームファイルとは独立して利用されるデータなどのファイルが格納される。図 6の例においては、 AUXDATAディレクトリには、「11111.otf」の名前がつけられて!/、る字幕のフォントのファイル、「sound.bdmv」の名前が設定された効果音などのサウンドデータが格納されている。

[0071] また、再生装置 20において再生可能なデータファイルが光ディスクによって配布されている場合、例えば、製作会社や映画の配給会社など、このコンテンツ製作元や、または、この記録媒体の供給元であるタイトルオーサを識別するために各タイトルォーサに割り当てられた識別子である author_id、および、 authorjdに示されるタイトルォーサにおいて製作された光ディスクの種類を識別するために割り当てられた識別子である discjdが、ユーザなどにより書き換えることができないセキュアな電子データとして、または、物理的にピットによって記録されている。

[0072] また、再生装置 20において再生可能なデータファイルが光ディスク以外のリムーバブルな記録媒体に記録されている場合や、ネットワークを介してダウンロードされ、再生装置内部の記録媒体に記録されていたり、内部の記憶部に記憶されている場合も

、 authorjd,および、 authorjdに相当する idが割り当てられてそれぞれ区別可能なようになされ、図 6に示す場合と同様のディレクトリ構造を有していると好適である。また、再生装置 20において再生可能なデータファイルには、 author_id、および、 authorjd に相当する idが割り当てられていないとしても、図 6を用いて説明した場合と同様に、「Index.bdmv」の名前が設定されたファイル、「NavigationObject.bdmv」の名前が設定されたファイルが含まれており、「BACKUP」の名前が設定されたファイル群、「PLAYL 1ST」の名前が設定されたファイル群、 rCLIPINFjの名前が設定されたファイル群、「S TREAMJの名前が設定されたファイル群、「AUXDATA」の名前が設定されたファイル群のうち、適宜必要なファイル群が含まれている。

[0073] 次に、図 2乃至図 4を用いて説明したメインパスとサブパスの構造を具体的に実現するための、図 6を用いて説明したそれぞれのファイルのデータ構造 (シンタクス）を説明する。

[0074] 図 7に、 PLAYLISTディレクトリに格納される、拡張子「.mpls」を有する PlayListフアイルのデータ構造を示す。

[0075] typejndicatorは、このファイルの種類を示す情報が記載されているものであり、このフィールドには、 IS0646に従って、 "MPLS"と符号化されなくてはならない。

[0076] version_numberは、この xxxx.mplsのバージョンナンパを示す 4個のキャラクタ一文字を示すものであり、 vesrion_numberは ISO"0089"と符号化されなければならな!/ヽ。

[0077] PlayList_start_addressは、 PlayListファイルの先頭のバイトからの相対バイト数を単位として、 PlayListOの先頭アドレスを示すものである。

[0078] PlayListMark_start_addressは、 PlayListファイルの先頭のバイトからの相対バイト数を単位として、 PlayListMarkOの先頭アドレスを示すものである。

[0079] PlayListEntsnsionData_start_addressは、 PlayListファイルの先頭のバイトからの相対バイト数を単位として、 PlayListEntsnsionDataOの先頭アドレスを示すものである。

[0080] AppInfoPlayListOには、 PlayListの再生コントロールに関するパラメータが格納されている。 [0081] PlayListOには、 PlayListのメインパスやサブパスなどに関するパラメータが格納されている。 PlayListOの詳細は、図 18を用いて後述する。

[0082] PlayListMarkOには、 PlayListのマーク情報が格納されている。また、 PlayListExtens ionDataOの中には、プライベートデータが挿入できるようになって!/、る。

[0083] 図 8に、 PlayListExtensionDataOのシンタクスを示す。

[0084] Lengthは、この lengthフィールドの直後から PlayListExtensionDataOの最後までの P1 ayListExtensionDataOのバイト数を示すものである。

[0085] data_blocks_start_addressは、 PlayListExtensionDataOの先頭のバイトからの相対ノイト数を単位として、最初の data_block()の先頭アドレスを示すものである。

[0086] number_of_PL_ext_data_entriesは、 PlayListExtensionDataOの中に含まれて、る Play

ListExtensionDataのエントリー数を示すものである。 PlayListExtensionDataO内には、同じ IDが 2個以上存在してはならない。

[0087] ID1/ID2には、この PlayListExtensionDataOの data_blockに記載される情報の種類を識別することができる情報 (識別子など）が記載される。

[0088] PL_ext_data_start_addressは、その PlayListExtensionDataが開始される data_blockの番号を示すものである。 PlayListExtensionDataの先頭データは、 data_blockの先頭にァラインされなければならな、。

[0089] PL_ext_data_lengthは、バイト単位で PlayListExtensionDataの大きさを示すものである。

[0090] data_blockは、 PlayListExtensionDataが格納される領域であり、 PlayListExtensionD ata()内の全ての data_blockは、同じサイズでなければならな!/、。

[0091] そして、 data_blockには、図 5を用いて説明したセカンダリビデオが表示される副表示画面 2の表示位置や大きさを示す情報を記載することができる。 data_blockには、ピクチャインピクチャ（Picture-in-Picture)の表示設定を示すメタデータを記載することができる。

[0092] 図 9に、 data_blockに記載される pipjnetadata (Picture- in- Pictureの表示設定を示すメタデータ）のシンタクスの第 1の例を示す。

[0093] lengthは、この lengthフィーノレドの直後から pip_metadata0の最後までの pipjnetadata ()のバイト数を示すものである。

[0094] pip_metadata_typeのフィールドは、 pipjnetadataの種類を示すものである。図 10に示されるように、 pip_metadata_type=0x01の場合、この pipjnetadataOによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームは同期型、すなわち、 Main Path の Playltemの時間軸 (再生時間軸)に同期して再生されるので、プライマリストリームに対して、セカンダリストリームが同期して常に再生出力される。また、 pip_metadata_typ e=0x02の場合、この pipjnetadataOによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームは非同期型、すなわち、 Sub Pathの SubPlayltemの時間軸に同期して再生される力 Main Pathの Playltemの時間軸には同期しなくてもよいので、ュ一ザの操作入力により、セカンダリストリームの表示が指令された場合のみ、セカンダリストリームが再生出力されるようになされて、る。

[0095] すなわち、 pip_metadata_type = 0x02で、「SubPlayItemに同期する」とは、この pip_me tadataOによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームは、 m ain pathの時間軸とは非同期であるが、 Sub Pathの時間軸には同期しているという意味である。すなわち、 pip_metadata_type = 0x02である場合の pipjnetadataOは、ユーザのアクション (操作入力）によってセカンダリビデオの表示がスタートした瞬間を基準に考えた場合の SubPlayltem再生中の副表示画面 2の表示位置および大きさを示すものである。

[0096] ref— to— Playltem I SubPath— idは、 pip— metadataが適応される Playltemの Playltem— idの値を示す力、または、 pipjnetadataが適応される SubPlayltemの SubPathjdの値を示すものである。すなわち、この pipjnetadataOによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームが Main Pathと同期する場合（pip_metadata_type=0x01である場合）、 reむ o_PlayItmとなり、この pipjnetadataOによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームが Sub Pathと同期する場合（pip_metadata_type= 0x02である場合）、 ref_to_SubPath_idとなる。

[0097] pip_metadata_time_stampは、 pipjnetadataが適応される Playltemのタイムスタンプであり、 pip_metadata_time_stampに示されるタイミングで pipjnetadataOにより旨疋される表示位置および大きさで、セカンダリビデオストリームの映像が副表示画面 2に表示される。

[0098] すなわち、 pip_metadata_time_stampは、 reむ o_PlayItem/SubPath_idで参照される Pla yltemの In_time/Out_timeの間にある presentation-timeを指す必要がある。そして、この pipjnetadataOによりピクチャインピクチャ表示が指定されるセカンダリビデオストリームが Sub Pathと同期の場合（すなわち、 pip_metadata_type=0x02のとき）には、 SubPl ayltemの時間軸のなかで pip_metadata_time_stampに示されるタイミングで pipjnetadat a0により指定される表示位置および大きさで、セカンダリビデオストリームの映像が副表示画面 2に表示される。

[0099] pip_entry_video_PIDは、ピクチャインピクチャ表示に用いられるセカンダリビデオの PI Dの値を示すものである。

[0100] pip_horizotal_positionは、プライマリビデオのフレーム（図 5の主表示画面 1)上にお V、て、セカンダリビデオが表示される副表示画面 2の左上隅の X座標を示すものである。また、 pip_vertical_positionは、プライマリビデオのフレーム（図 5の主表示画面 1) 上において、セカンダリビデオが表示される副表示画面 2の左上隅の Y座標を示すものである。

[0101] なお、例えば、副表示画面 2の右下隅の X座標および Y座標の指定や、あらかじめ定められた複数の表示位置のうちの、ずれかを指定するなど、 pip_horizotal_position および pip_vertical_positionによる副表示画面 2の左上隅の X座標および Y座標の指定以外の方法によって、セカンダリビデオが表示される副表示画面 2の表示位置を指定するようにしてもょ、ことはもちろんである。

[0102] pip_scaleは、セカンダリビデオが表示される副表示画面 2の大きさを示す情報が記載されるフィールドであり、例えば、プライマリビデオに対するセカンダリビデオの大きさの比率、セカンダリビデオのオリジナルの画像の大きさに対する縮小率、または、副表示画面 2を構成する画素が、縦横それぞれ何画素で構成されて!ヽるかを示す情報などが記載される。

[0103] 図 10に、図 9の pip_metadata_typeの値とその意味を示す。

[0104] pip_metadata_type=0x00は、将来の拡張のために意味が未設定とされて、る値である。 pip_metadata_type=0x01の場合、この pip_metadata()は同期型、すなわち、 Main Path の Playltemの時間軸に同期しているので、プライマリストリームに対して、セカンダリストリームが同期して常に再生出力されるものであり、 pip_metadata_type=0x02の場合、この pipjnetadataOは非同期型、すなわち、 Sub Pathの SubPlayltemの時間軸に同期するようになされているので、ユーザの操作入力により、セカンダリストリームの表示が指令された場合のみ、セカンダリビデオストリームの映像が副表示画面 2に再生出力されるようになされているものである。また、 pip_metadata_typeの上述した 3つの値以外は、将来の拡張のために意味が未設定とされている。

[0105] 図 11に、 data_blockに記載される pipjnetadataのシンタクスの、図 9における場合と異なる第 2の例を示す。なお、図 9における場合と同一名称で同一定義のデータフィ一ルドに関する説明は適宜省略する。

[0106] number_of_pip_entriesは、ピクチャインピクチヤのアプリケーション数を示すフィールドである。

[0107] Synchronous_PIP_metadata_flagは、ピクチャインピクチヤのアプリケーション（すなわち、セカンダリビデオストリーム）がどのパスに同期するかを示すものである。すなわち、 Synchronous_PIP_metadata_flagの値が 0'の場合、このピクチャインピクチャのアプリケーシヨンは、 SubPathに同期するものであり、 ref_to_PlayItem / SubPathjdでは、 ref_ to_SubPath_idが登録される。これに対して、 Synchronous_PIP_metadata _flagの値が 1 ' の場合、このピクチャインピクチャのアプリケーションは、 MainPathに同期するものであり、 ref_to_PlayItem / SubPathjdでは、 reむ o_PlayItemが登録される。

[0108] すなわち、図 11の Synchronous_PIP_metadata_flagは、図 9を用いて説明した pipjnet adataにおける pip_metadata_type (図 10)とほぼ同一の内容を定義するための情報である。

[0109] number— of— pip— metadata— entries【ま、 ref— to— Playltem/ref— to— SubPath— idの Videoストリームのための PinP Metadataの総数を示すフィールドである。

[0110] pip_metadata_typeは、このピクチャインピクチャのメタデータの種類を示すものであり、例えば、セカンダリビデオストリームが表示される副表示画面 2の位置と大きさを示す情報以外に、例えば、セカンダリビデオストリームの原映像に対して表示される映像の回転や色の指定などに関する情報を記載することができるものである。

[0111] すなわち、図 11の pip_metadata_typeは、図 9を用いて説明した pip_metadataにおける pip_metadata_typeとは定義の異なる情報である。

[0112] また、図 12に、 data_blockに記載される pip_metadataのシンタクスの、図 9および図 1

1における場合と異なる第 3の例を示す。

[0113] Lengthは、この lengthフィーノレドの直後から pipjnetadataOの最後までの pipjnetadat aOのバイト数を示す情報が記載されるフィールドである。

[0114] number— of— metadata— block— entries【ま、 pip— metadataOの中に 3.まれ V、る metadata b lockのエントリー数を示す情報が記載されるフィールドである。

[0115] metadata_block_header[k]0には、 metadata blockに関連するヘッダー情報を含む情報が記載される。

[0116] ref_to_PlayItem_id[k]は、 pipjnetadataが適用される Playltemの Playltemjdの値を示す情報が記載されるフィールドである。

[0117] ref to_secondary_video_stream_id[k]は、 pipjnetadataが適用されるセ力ンダリビデオの idで、 reむ o_PlayItem_idによって参照される Playltem内の STN_table (図 22にて後述する）で定義されて、る secondary_video_stream_idの値を示す情報が記載されるフィ一ルドである。

[0118] pip_timeline_type[k]は、 pip_metadata_time_stampが参照する時間軸のタイプを表す情報が記載されるフィールドである。なお、 pip_timeline_type[k]の値とその意味については後述する。

[0119] is_luma_keyは、このフラグが 1にセットされて!/、る場合は、 luma- keyingが lower_limit_l uma_keyと upper_limit_luma_keyの値に従って、セカンダリビデオストリームに適用される。

[0120] lower_limit_luma_keyは、 luma keyingのためのセカンダリビデオの輝度値の下限を示す情報が記載されるフィールドである。

[0121] upper_limit_luma_keyは、 luma keyingのためのセカンダリビデオの輝度値の上限を示す情報が記載されるフィールドである。

[0122] ここで luma keyingとは、明るさ (輝度値)の成分差を利用して不要な部分を切り抜ヽた画像を、映像に重ねて合成することを意味する。すなわち、 is_luma_keyのフラグが 1 に設定されている場合には、 lower_limit_luma_keyと upper_limit_luma_keyで定義された、輝度値の下限カゝら上限までの範囲で指定された輝度値を持つ画像を透明に設定することにより、この明るさ情報で指定された範囲の画像が取り除かれたセカンダリビデォがプライマリビデオに重ねて合成される。

[0123] これにより、必要最小限のセカンダリビデオを表示することで、セカンダリビデオの不要な部分によって、プライマリビデオが見にくくなるのを防止することができるのに加え、セカンダリビデオとプライマリビデオの合成をより柔軟に行うことができる。

[0124] また、この実施例では、 lower_limit_luma_keyと upper_limit_luma_keyとの 2つの閾値を用いることにより、透明に設定できるとして説明したが、本発明はそれに限らず、閾値をどちらか一方にすることにより、輝度値が、例えば、 upper_limit_luma_key以下または lower_limit_luma_key以上となる部分のみを透明に設定するなどとしてもよ！/、。

[0125] metadata_block_data_start_address[k]は、 pipjnetadataOの先頭のバイトからの相対バイト数を単位として、最初の metadata_block_data[k]0の先頭アドレスを示す情報が記載されるフィールドである。なお、 pipjnetadataO内にエントリーされている metadata_ block_data_start_address[k]は、アドレス値の照準で登録されて!、なければならな!/、。

[0126] padding— wordには、 metadata— block— data— start— adaress[k]の値によって、 padding wor dが挿入される。

[0127] metadata_block_data[k]0には、 metadata blockのデータ情報を含む情報が記載される。

[0128] number— pip— metadata— entries [k]i¾、 metadata— block— dataiこめ opip— metadataの総数を示す情報が記載されるフィールドである。

[0129] pip_metadata_time_stamp[i]は、 pipjnetadataが適用される時間を表す、例えば、 45k

Hzのタイムスタンプを含む情報が記載されるフィールドである。なお、連続する 2つの pip— metadata— time— stampの最 /J、間 feは 1禾少である。なお、 pip— timeline— typeの値に J心し

7こ pip— metadata— time— stampの 7g、味にっ、ては、後する。

[0130] pip_composition_metadataOは、プライマリビデオのフレームの大きさや位置などに関する情報が記載されるフィールドである。 [0131] pip_horizontal_position[i]は、プライマリビデオのフレーム（図 5の主表示画面 1)上にお、て、セカンダリビデオが表示される副表示画面 2の左上隅の X座標を示すものである。 pip_vertical_position[i]は、プライマリビデオのフレーム（図 5の主表示画面 1)上にお、て、セカンダリビデオが表示される副表示画面 2の左上隅の Y座標を示すものである。

[0132] pip_scale[i]は、図 13に示すように、セカンダリビデオのオリジナルの画像の大きさに対する縮小率を、 1倍、 1Z2倍、 1Z4倍、 1. 5倍、または foil Screen (セカンダリビデォが図 5の主表示画面 1の全画面に表示される)にする情報が記載されるフィールドである。

[0133] なお、 pip— metadata— time— stampLi]の pip— composition— metadataOは、 pip— metadata— tim e—stamp[i]力ら pip— metadata— time— stamp[i+l]の intervalの間、 5¾Jになる。ただし、最後の pip— compositoin— metadataの有効 intervalは、最後の pip— metadata— time— stamp力ら、 ref— to— secondary— video— stream— id[k]によって不れる SuDPathの presentation end tim eまでとなる。

[0134] 次に、図 14を参照して pip_timeline_typeの値とその意味を説明し、図 15乃至図 17 参照し飞 pip— timeline— typeの値〖こ J心した ΡΦ— metadata— time— stampの, s味を詈兄明する

[0135] pip_timeline_type=0は、将来の拡張のために意味が未設定とされている値である。

[0136] pip_timeline_type=lは、ピクチャインピクチャプレゼンテーションパスは同期型のタイプであることを意味する。このとき ref_to_secondary_video_streamjdで指し示されて!/、る Subpathのタイプは、 5または 7でなければならない（Subpathのタイプの詳細は、図 20 にて後述する）。

[0137] pip_metadata_time_stampはこのとき、図 15に示すように、 ref_to_PlayItem_idの Playlte mの時間軸を参照し、関連付けられた SubPlayltemの再生区間を示している。すなわち SubPlayltemの再生区間は reむ o_PlayItemjd[k]で参照される Playltemの時間軸に投景される。 pip_metadata_time_stamp[0]は、 SubPath内の SubPlayItem[0]の再生区間の先頭を示している。

[0138] pip_timeline_type=2は、ピクチャインピクチャプレゼンテーションパスは非同期型のタイプであることを意味する。このとき ref_to_secondary_video_streamjdで指し示されて

V、る Subpathのタイプは、 6でなければならな、。この場合 SubPath_type=6の SubPath には 1つの SubPlayltemしか含まれて!/、な!/ヽ。

[0139] pip_metadata_time_stampはこのとき、図 16に示すように、 Subpathの時間軸を参照し、 ref— to— secondary— video— stream— id[k]によって不れる SuDPathの ¾UDPlayItemの再生区間を示して、る。 pip_metadata_time_stamp[0]は、 SubPlayltemの再生区間の先頭を示している。

[0140] pip_timeline_type=3は、ピクチャインピクチャプレゼンテーションパスは非同期型のタイプであることを意味する。このとき ref_to_secondary_video_streamjdで指し示されて

V、る Subpathのタイプは、 6でなければならな!/、。

[0141] pip_metadata_time_stampはこのとき、図 17に示すように、 ref_to_PlayItem_idの Playlte mの時間軸を参照し、 reむ o_PlayItem_id[k]の Playltemの再生区間を示して!/、る。 pip_m etadata_time_stamp[0]は、 ref_to_PlayItem_id[k]の Playltemの再生区間の先頭を示している。

[0142] 図 18は、 PlayListOのシンタクスを示す図である。

[0143] lengthは、この lengthフィールドの直後から PlayListOの最後までのバイト数を示す 3 2ビットの符号なし整数である。すなわち、 reserved_forjUture_useから Playlistの最後までのバイト数を示すフィールドである。この lengthの後には、 16ビットの reserved_for_ foture_useが用意される。 number_of_PlayItemsは、 PlayListの中にある Playltemの数を示す 16ビットのフィールドである。例えば、図 2の例の場合 Playltemの数は 3個である。 Playltemjdの値は、 PlayListの中で PlayltemOが現れる順番に 0から割り振られる。例えば、図 2および図 4に示されるように、 Playltem jd = 0, 1, 2が割り振られる。

[0144] number_of_SubPathsは、 PlayListの中にある SubPathの数（エントリー数）を示す 16ビットのフィールドである。例えば、図 2の例の場合、 Sub Pathの数は 3個である。 SubPat hjdの値は、 PlayListの中で SubPathOが現れる順番に 0から割り振られる。例えば、図 2に示されるように、 Subpath_id=0, 1, 2が割り振られる。その後の for文では、 Playlte mの数だけ Playltemが参照され、 Sub Pathの数だけ、 Sub Pathが参照される。

[0145] 図 19は、 SubPathOのシンタクスを示す図である。 [0146] lengthは、この lengthフィールドの直後力 Sub Path ()の最後までのバイト数を示す 32ビットの符号なし整数である。すなわち、 reserved_forjUture_useから Playlistの最後までのバイト数を示すフィールドである。この lengthの後には、 16ビットの reserved_for_ foture_useが用意される。 SubPath_typeは、 SubPathのアプリケーション種類を示す 8ビットのフィールドである。 SubPath_typeは、例えば、 Sub Pathがオーディオである力ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。この SubPath_typeについては、図 20を参照して後述する。 SubPath_typeの後には、 1 5ビットの reserved_for_foture_useが用意される。 is_repeat_SubPathは、 SubPathの再生方法を指定する 1ビットのフィールドであり、メインパスの再生の間に SubPathの再生を繰り返し行うか、または SubPathの再生を 1回だけ行うかを示すものである。例えば、メイン AVストリームとサブパスが指定する Clipの再生タイミングが異なる場合 (メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスの BGM (バックグラウンドミュージック)として使う場合など）に利用される。 Is_repeat_SubPathの後には、 8ヒットの reserved— for— future— usez)、用意れる。 number— of— SubPlayltemsは、 1つの SubPathの中にある SubPlayltemの数（エントリー数）を示す 8ビットのフィールドである。例えば、 number_of_SubPlayItemsは、図 2の SubPath_id = 0の SubPlayltemは 1個であり、 SubPath jd= lの SubPlayltemは 2個である。その後の for文では、 SubPlayltemの数だけ、 SubPlayltemが参照される。

[0147] 図 20は、 SubPath.type (サブパスのタイプ）の例を説明する図である。すなわち、 Sub Pathの種類は、例えば、図 20に示されるように定義されている。

[0148] また、それぞれのサブパスタイプのうち、「Out-of-mux' · -type Jと!、う記述は、サブパスで参照される ES (エレメンタリストリーム）が含まれる TS (トランスポートストリーム）、すなわち、 Clipと、メインパスで参照されるプレイアイテム（1以上の ES)が含まれる T S(Clip)とが異なっている場合のサブパスのタイプ (種類）、すなわち、サブパスで参照される ES力メインパスで参照されるプレイアイテムが含まれる TS(Clip)に多重化されていないサブパスのタイプ (種類)であることを示している。以下、力かる種類を、メインパス非多重型のパスと称する。

[0149] 図 20において、 SubPath tvpe = 0, 1は、 reservedとされている。 SubPath_type = 2は、 Audio presentation path of the Brows able slideshow (プラウザブノレスライドショ ~~のオーディオプレゼンテーションパス）とされている。例えば、 SubPath_type= 2は、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期であることを示している。

[0150] Sub Path— type = dは、 Interactive graphics presentation menu (インタフクアイブグフノイツタスのプレゼンテーションメニュー）とされている。例えば、 SubPath_type = 3は、プレイリストの中にお、て、サブパスで参照されるインタラクティブグラフィックスのメ-ュ一と、プレイアイテムで参照されるメインパスとが非同期であることを示している。

[0151] SubPath_type = 4は、 Text subtitle presentation path (テキスト字幕のプレゼンテーシヨンパス）とされている。例えば、 SubPath_type=4は、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期して、ることを示して！/、る。

[0152] ここで、 SubPath_type = 2, 3のように、メインパスで参照される ESとサブパスで参照される ESとが非同期である場合、そのサブパスのタイプ (種類)を、以下、非同期型のパスと称する。一方、 SubPath_type=4のように、メインパスで参照される ESとサブパスで参照される ESとが同期する場合、そのサブパスのタイプ (種類)を、以下、同期型のパスと称する。

[0153] SubPath—type = 5i^、 Out— of— mux ana AV Synchronized type of one or more eleme ntary streams path(Primary audio/PG/IG/ Secondary audio path). Out of mux and A V synchronized type of Picture— in— Picture presentation path which contains one or more elementary streams pathsとされている。すなわち、 SubPath—type = 5 、メインパス TS非多重型、かつ、同期型のパスであって、 1本以上の ES(Primary audio/PG/ IG/Secondary audio)のパスや、ピクチャインピクチャプレゼンテーションパスとされている。

[0154] ここで、ピクチャインピクチャプレゼンテーションパスとは、上述したピクチャインピクチヤの手法において、所定のプライマリビデオストリーム (メインパスで参照されるビデォストリーム）についての、プライマリオーディオストリームストリーム、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトノレストリームのうちの 1 以上のパス（そのようなサブパスのタイプ)であることを、う。

[0155] SubPath—type=6 、 Out- of- mux ana AV non- synchronized type of Picture- in- Pi cture presentation path which contains one or more elementary streams pathsと (^れている。すなわち、 SubPath_type = 6は、メインパス TS非多重型、かつ、非同期型のノスであって、ピクチャインピクチャプレゼンテーションパス（1以上の ESのパス）とされている。

[0156] SubPath— type= /は、 In- mux type ana AV Synchronized type of Picture- in- Picture presentation path which contains one or more elementary streams pathsとされている。

[0157] ここで、「In-mux typej t\、う記述は、サブパスで参照される ESが含まれる TS(Clip) と、メインノスで参照されるプレイアイテム（1以上の ES)が含まれる TS(Clip)とが同一の場合のサブパスのタイプ (種類）、すなわち、サブパスで参照される ESが、メインパスで参照されるプレイアイテムが含まれる TS(Clip)に多重化されているサブパスのタィプ (種類)であることを示している。以下、力かる種類を、メインパス多重型のパスと称する。

[0158] すなわち、 SubPath_type = 7は、メインパス TS多重型、かつ、同期型のパスであって

、ピクチャインピクチャプレゼンテーションパス（1以上の ESのパス）とされている。

[0159] SubPath_type = 8乃至 255は、 reservedとされている。

[0160] 図 21は、 SubPlayltem(i)のシンタクスを示す図である。

[0161] lengthは、この lengthフィールドの直後から Sub playltem ()の最後までのバイト数を示す 16ビットの符号なし整数である。

[0162] 図 21においては、 SubPlayltemが 1つの Clipを参照する場合と、複数の Clipを参照する場合に分けられている。

[0163] 最初に、 SubPlayltemが 1つの Clipを参照する場合について説明する。

[0164] SubPlayltemには、 Clipを指定するための Clip_Information_file— name[0]が含まれる。

3;た、し lipのコ ~~ァッグ方式を旨定するし lip— codec— identifier [0]、 reserved— for— lUture—u se、マルチクリップの登録の有無を示すフラグである is_multi_Clip_entries、 STC不連続点（システムタイムベースの不連続点）に関する情報である reむ o_STC_id[0]を含む。 i s_multi_Clip_entriesのフラグが立っている場合、 SubPlayltemが複数の Clipを参照する場合のシンタクスが参照される。また、 Clipの中にある Sub Pathの再生区間を指定するための SubPlayItem_IN_timeと SubPlayItem_OUT_timeを含む。さらに、 main pathの時間軸上で Sub Pathが再生開始する時刻を指定するため sync_PlayItemjdと sync_star t_PTS_of_PlayItemを含む。この sync_PlayItem_idと sync_start_PTS_of_PlayItemは、上述したように、図 3と図 4の場合 (メイン AVストリームとサブパスにより示されるファイルの再生タイミングが同じである場合）に使用され、メイン AVストリームとサブパスにより示されるファイルの再生タイミングが異なる場合 (例えば、静止画により構成されるスライドショーの BGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合）には使用されない。また、 SubPlayItem_IN_time 、 SubPlayltem— OUT— time、 sync— Piayltem— ια、 sync— start— PTS— of— Playltemiま、 SubPlaylt emが参照する Clipにお、て共通に使用される。

[0165] 次に、 SubPlayltemが複数の Clipを参照する場合（if (is_multi_Clip_entries = = lb)である場合、すなわちマルチクリップの登録が行われている場合）について説明する。具体的には、図 4に示されるように、 SubPlayltemが複数の Clipを参照する場合を示す。

[0166] num— of— Clip— entries【ま、し lipの数をしており、し lip— Information— file— name[SubCiip—e ntryjd]の数が、 Clip_Information_file_ name[0]を除ぐ Clipsを指定する。すなわち、 Cli p— Information— file— name[0]を除く、し lip— Information— file— name[l]、し lip— Information— fil e_ name[2]などの Clipを指定する。また、 SubPlayltemは、 Clipのコーデック方式を指定する Clip_codec_identifier[SubClip_entry_id]、 STC不連続点（システムタイムベースの不連続点）に関する情報である reむ o_STC_id[SubClip_entry_id]、および reserved_fo r— future— use ¾τ む。

[0167] なお、複数の Clipの間で、 SubPlayltem— IN— time, SubPlayltem— OUT— time、 sync— Playl tem_id、および sync_start_PTS_of_PlayItemは共通して使われる。図 4の例の場合、 Sub Piayltem— IN— time, SubPlayltem— OUT— time、 sync— Piayltem— id、および sync— start— PTS—o LPlayltemは、 SubClip_entry_id = 0と SubClip_entry_id = 1との間で共通して使用されるものであり、選択された SubClip_entryjdに対する Text based subtitleがこの SubPlaylte m— IN— time, SubPlayltem— OUT— time、 sync— Playltem— id、および sync— start— PTS— of— Play It emに基づ!/、て再生される。

[0168] ここで、 SubClip_entryjdの値は、 SubPlayltemの中にある Clip_Information_file_name[

SubClip_entryjd]が現れる順番に 1から割り振られる。また、 Clip_Information_file_ nam e[0]の SubClip_entry_idは 0である。

[0169] 図 22は、 PlayltemOのシンタクスを示す図である。

[0170] lengthは、この lengthフィールドの直後から PlayltemOの最後までのバイト数を示す 1 6ビットの符号なし整数である。 Clip_Information_file_ name[0]は、 Playltemが参照する Clipを指定するためのフィールドである。図 3の例の場合、 Clip_Information_file_ name [0]により、メイン AVストリームが参照される。また、 Clipのコーデック方式を指定する C lip— codec— identiner[0」、 reserved— for— future— use、 is— multi— angle、 connection— condition 、 STC不連続点（システムタイムベースの不連続点）に関する情報である reむ o_STCjd [0]を含む。さらに、 Clipの中の Playltemの再生区間を指定するための IN_timeと OU T_timeを含む。図 3の例の場合、 IN.timeと OUT_timeにより、メイン ClipAVストリームフアイノレの再生範囲が表される。また、 UO_mask_table0、 PlayItem_random_access_mo de、 stilLmodeを含む。 is_multi_angleが複数ある場合については、本発明と直接的には関係なヽのでその説明を省略する。

[0171] PlayltemOの中の STN_table()は、対象の Playltemとそれに関連付けられて再生される 1つ以上の SubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作力その Playltemが参照する Clipとこれらの 1つ以上の SubPathが参照する Clipsの中力も選ぶことができる仕組みを提供するものである。また、 STN_table( )は、 2つのオーディオストリームのミキシング再生を選ぶことができる仕組みを提供するものである。

[0172] 図 23は、 STN_table0のシンタクスの第 1の例を示す図である。 STN_table0は、 Playlt emの属性として設定されて、る。

[0173] lengthは、この lengthフィールドの直後から STN_table0の最後までのバイト数を示す 16ビットの符号なし整数である。 lengthの後には、 16ビットの reserved_for_foture_use が用意される。 number_of_video_stream_entriesは、 STN_table0の中でエントリーされる (登録される） video_stream_idが与えられるストリーム数を示す。 video_stream_idは、ビデォストリームを識別するための情報であり、 video_stream_numberは、ビデオ切り替えに使われる、ユーザ力見えるビデオストリーム番号である。

[0174] number— of— audio— stream— entriesは、 STN— tableOの中でエントリーされる audio— stream— idが与えられる 1番目のオーディオストリームのストリーム数を示す。 audio_stream_idは、オーディオストリームを識別するための情報であり、 audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。 number.of audio _stream2_entriesは、 STN_tableOの中でエントリーされる audio_streamjd2が与えられる 2番目のオーディオストリームのストリーム数を示す。 audio_streamjd2は、オーディオストリームを識別するための情報であり、 audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。具体的には、 STN.tableO でエントリーされる number_of_audio_stream_entriesのオーディオストリームは、後述する図 35の再生装置 20の 1stオーディオデコーダ 75— 1でデコードされるオーディオストリームであり、 STN—tableOでエントリーされる number— of— audio— stream2— entriesのォーディォストリームは、後述する図 35の再生装置 20の 2ndオーディオデコーダ 75— 2でデコードされるオーディオストリームである。このように、図 23、並びに、後述する図 3 3および図 34の STN_tableOでは、 2つのオーディオデコーダのそれぞれにデコードさせるオーディオストリームをエントリーすることができる。

[0175] なお、以下において、図 35の再生装置 20の 1stオーディオデコーダ 75— 1でデコードされる number_of_audio_stream_entriesのオーディオストリーム、すなわち、プライマリオーディオストリームをオーディオストリーム # 1と称し、図 35の再生装置 20の 2ndォ一ティォテコーグ 75― 2でアコードれる number— of— audio— stream2— entriesのォーティォストリーム、すなわち、セカンダリオーディオストリームをオーディオストリーム # 2と称する。また、オーディオストリーム # 1は、オーディオストリーム # 2よりも優先されるオーディオストリームであるものとする。

[0176] number_of_PG_txtST_stream_entriesは、 STN_tableOの中でエントリーされる PG_txtST _stream_idが与えられるストリーム数を示す。この中では、 DVDのサブピクチヤのようなビットマップ字幕をランレングス符号化したストリーム（PG, Presentation Graphics stre am)とテキスト字幕ファイル (txtST)がエントリーされる。 PG_txtST_stream_idは、字幕ストリームを識別するための情報であり、 PG_txtST_stream_numberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号 (テキストサブタイトルストリームの番号 )である。

[0177] number_of_IG_stream_entriesは、 STN_tableOの中でエントリーされる IG_streamjdが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリームがエントリーされる。 IG_stream_idは、インタラクティブグラフィックスストリームを識別するための情報であり、 IG_stream_numberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。

[0178] ここで、 stream_entryOのシンタクスについて図 24を参照して説明する。

[0179] lengthは、この lengthフィールドの直後から stream_entry 0の最後までのバイト数を示す 8ビットの符号なし整数である。 typeは、上述したストリーム番号が与えられるストリームを一意に特定するために必要な情報の種類を示す 8ビットのフィールドである。

[0180] type = 1では、 Playltemによって参照される Clip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から 1つのエレメンタリストリームを特定するために、 16ビットのパケット ID(PID)が指定される。 reむ o_stream_PID_of_mainClipが、この PIDを示している。すなわち、 type= lでは、メイン ClipAVストリームファイルの中の PIDを指定するだけでストリームが決定される。

[0181] type = 2では、 SubPathがー度に複数個の Clipsを参照し、それぞれの Clipが複数のエレメンタリストリームを多重化する場合に、 SubPathによって参照される 1つの Clip(Su bClip)の複数のエレメンタリストリームの中から 1つのエレメンタリストリームを特定するために、その SubPathの SubPath_id、 Clip id、およびパケット ID(PID)が指定される。 ref_ to_SubPath_idがこの SubPathjdを示し、 ref_to_SubClip_entry_idがこの Clip idを示し、 ref _to_stream_PID_of_SubClipがこの PIDを示して!/、る。 SubPlayltemの中で複数の Clipが参照され、さらにこの Clipに複数のエレメンタリストリームが参照されている場合に用いられる。

[0182] このように、 type (type = 1と type = 2の 2つの type)を使うことで、 Playltemとそれに関連付けられて再生される 1つ以上の SubPathが用意されている場合に、この Playltem が参照する Clipと 1つ以上の SubPathが参照する Clipの中から 1つのエレメンタリストリームを特定することができる。なお、 type= lは Main Pathが参照する Clip (メイン Clip) を示しており、 type = 2は Sub Pathが参照する Clip (サブ Clip)を示している。

[0183] 図 23の STN_tableOの説明に戻って、ビデオストリーム ID(video_stream_id)の forループの中で、順番に stream_entryOごとに特定される 1つのビデオエレメンタリストリームに、 0から video_stream_idが与えられる。なお、ビデオストリーム ID (video_streamjd)の代わりに、ビデオストリーム番号 (video_stream_number)を用いるようにしてもょ、。この場合、 video_stream_numberは、 0ではなく 1から与えられる。すなわち、 video.strea m_idの値に 1を力卩算したものが video_stream_numberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、 1から定義される。

[0184] 同様に、オーディオストリーム ID(audio_stream_id)の forループの中で、順番に strea m_entry0ごとに特定される 1つのオーディオエレメンタリストリームに、 0から audio_stre amjdが与えられる。なお、ビデオストリームの場合と同様に、オーディオストリーム ID ( audio— stream— id)の代わり【こ、ォーティォストリーム番号 (audio— stream— number)を用ヽるようにしてもよい。この場合、 audio_stream_numberは、 0ではなく 1から与えられる。すなわち、 audio_stream_idの値に 1を力卩算したものが audio_stream_numberである。ォ一ディォストリーム番号は、音声切り替えに使われる、ユーザ力見えるオーディオストリーム番号であるので、 1から定義される。

[0185] 同様に、オーディオストリーム ID2(audio_stream_id2)の forループの中で、順番に str eam_entry0ごとに特定される 1つのオーディオエレメンタリストリームに、 0から audio_st ream_id2が与えられる。なお、ビデオストリームの場合と同様に、オーディオストリーム I D2 (audio— stream— id2)の代わりに、オーディオストリーム番号 2 (audio— stream— number 2)を用いるようにしてもよい。この場合、 audio_stream_number2は、 0ではなく 1から与えられる。すなわち、 audio_stream_id2の値に 1を力卩算したものが audio_stream_number 2である。オーディオストリーム番号 2は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号 2であるので、 1から定義される。

[0186] すなわち、図 23の STN_table0にお、ては、 number_of_audio_stream_entries (オーディォストリーム # 1)のオーディオストリームと、 number— of— audio— stream2— entries (ォーディォストリーム # 2)のオーディオストリームとが定義される。換言すれば、 STN_table( )を用いて、オーディオストリーム # 1とオーディオストリーム # 2とをエントリーすることができるので、ユーザは、同期して再生するオーディオストリームを 2本選択することができる。

[0187] 同様に、字幕ストリーム ID(PG_txtST_stream_id)の forループの中で、順番に stream_e ntryOごとに特定される 1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、 0から PG_txtST_stream_idが与えられる。なお、ビデオストリームの場合と同様に、字幕ストリーム ID (PG_txtST_stream_id)の代わりに、字幕ストリーム番号（PG_txtST_s treamjiumber)を用いるようにしてもよい。この場合、 PG_txtST_stream_numberは、 0ではなく 1から与えられる。すなわち、 PG_txtST_streamjdの値に 1をカ卩算したものが PG_ txtST_stream_numberである。字幕ストリーム番号は、字幕切り替えに使われるユーザ力も見える字幕ストリーム番号 (テキストサブタイトルストリームの番号)であるので、 1 から定義される。

[0188] 同様に、グラフィックスストリーム ID(IG_stream_id)の forループの中で、順番に stream _entry0ごとに特定される 1つのインタラクティブグラフィックスエレメンタリストリームに、 0から IG_streamjdが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリーム ID (lG_stream_id)の代わりに、グラフィックスストリーム番号（IG_stream_nu mber)を用いるようにしてもよい。この場合、 IG_stream_numberは、 0ではなく 1から与えられる。すなわち、 IG_stream_idの値に 1を力卩算したもの力 lG_stream_numberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザ力見えるグラフィックスストリーム番号であるので、 1から定義される。

[0189] 次に、図 23の STN_table0の stream_attribute()について説明する。

[0190] reserved— for— future— useの後の for文で ii、 video streamの分た ίナ video stream 参照され、ディスク製造者が、オーディオストリームに対して Main Pathおよび Sub Pathを設定した分だけ audio streamが参照され、 PG textST streamの分だけ PG textST stream が参照され、 IG streamの分だけ IG streamが参照される。

[0191] ビデオストリーム ID(video_stream_id)の forノレープの中の stream_attribute0は、 stream _entryOごとに特定される 1つのビデオエレメンタリストリームのストリーム属性情報を与える。すなわち、この stream_attribute()には、 stream_entryOごとに特定される 1つのビデォエレメンタリストリームのストリーム属性情報が記述されている。

[0192] 同様に、オーディオストリーム ID(audio_stream_id)の forループの中の stream_attribut e0は、 stream_entryOごとに特定される 1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、この stream_attributeOには、 stream_entryOごとに特定される 1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。例えば、図 24の stream_entry()の type= lまたは type= 2で特定されるオーディォエレメンタリストリームは 1つであるので、 stream_attributeOは、その 1つのオーディォエレメンタリストリームのストリーム属性情報を与える。

[0193] 同様に、オーディオストリーム ID2(audio_stream_id2)の forループの中の stream_attri buteOは、 stream_entry()ごとに特定される 1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、この stream_attribute0には、 stream_entry()ごとに特定される 1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。例えば、図24の31： &1^6 ()の 6= 1または 6 = 2で特定されるォーディォエレメンタリストリームは 1つであるので、 stream_attribute()は、その 1つのオーディォエレメンタリストリームのストリーム属性情報を与える。

[0194] 同様に、字幕ストリーム ID(PG_txtST_stream_id)の forループの中の stream_attribute( )は、 stream_entry0ごとに特定される 1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕エレメンタリストリームのストリーム属性情報を与える。すなわち、この st ream.attributeOには、 stream_entry0ごとに特定される 1つのビットマップ字幕エレメンタリストリームのストリーム属性情報が記述されている。

[0195] 同様に、グラフィックスストリーム ID(IG_stream_id)の forループの中の stream_attribut e0は、 stream_entry0ごとに特定される 1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報を与える。すなわち、この stream_attribute0には、 strea m_entry0ごとに特定される 1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報が記述されて、る。

[0196] ここで、 stream_attribute0のシンタクスについて図 25を参照して説明する。 [0197] lengthは、この lengthフィールドの直後から stream_attributeOの最後までのバイト数を示す 16ビットの符号なし整数である。

[0198] stream_coding_typeは、図 26に示されるようにエレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、 MPEG- 2 video stream, HDM

V LPCM audio ^ Dolby Aし— 3 audio ^ dts audio ^ Presentation graphics stream、 Intera ctive graphics stream ^および Text subtitle stream力じ述され。

[0199] video_formatは、図 27に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、 480i、 576i

、 480p、 1080i、 720p、および 1080p力記述される。

[0200] frame_rateは、図 28〖こ示されるよう〖こ、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、 24000Z1001、 24

、 25、 30000/1001, 50、および 60000,1001力記述される。

[0201] aspect_ratioは、図 29に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、 4 : 3 display aspe ct ratio ^および 16 : 9 display aspect rations己述れる。

[0202] audio_presentation_typeは、図 30に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼン y ~~ンヨンタプ' 報とし飞、 single mono channel、 dual mono channel、 stereo(2— ch annel)、および multi— channel力 S記述れる。

[0203] sampling_frequencyは、図 31に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、 48kHz、および 96kHzが記述される。

[0204] audio_language_codeは、オーディオエレメンタリストリームの言語コード（日本語、韓国語、中国語など)を示す。

[0205] PG_language_codeは、ビットマップ字幕エレメンタリストリームの言語コード（日本語、韓国語、中国語など)を示す。

[0206] IG_language_code、インタラクティブグラフィックスエレメンタリストリームの言語コード（日本語、韓国語、中国語など)を示す。 [0207] textST_language_codeは、テキスト字幕エレメンタリストリームの言語コード、（日本語、韓国語、中国語など)を示す。

[0208] character_codeは、図 32に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、 Unic ode Vl. KlSO 10646—1)、 Shift JIS (Japanese)、 KSC 5601—1987 including KSC 5653 f or Roman character(Korean)、 GB 18030- 2000(Chinese)ゝ GB2312(Chinese)ゝおよび B

IG5(Chinese)が記述される。

[0209] 以下に、図 25の stream_attribute0のシンタクスについて、図 25と、図 26乃至図 32 を用いて具体的に説明する。

[0210] エレメンタリストリームの符号化タイプ（図 25の stream_coding_type)力 MPEG- 2 video stream (図 26)である場合、 stream_attribute0には、そのエレメンタリストリームのビデォフォーマット（図 27)、フレームレート（図 28)、およびアスペクト比情報（図 29)が含まれる。

[0211] エレメンタリストリームの符号化タイプ（図 25の stream_coding_type)が HDMV LPCM audio ^ Dolby Aし— 3 audio ^ 3;た ίま dts audio (図 2oノである場合、 stream— attnbuteOには、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報（図 30)、サンプリング周波数（図 31)、および言語コードが含まれる。

[0212] エレメンタリストリームの符号化タイプ（図 25の stream_coding_type)が Presentation g raphics stream (図 26)である場合、 stream_attribute0には、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。

[0213] エレメンタリストリームの符号化タイプ（図 25の stream_coding_type)力 interactive gra phics stream (図 26)である場合、 stream_attribute0には、そのインタラクティブグラフイツタスエレメンタリストリームの言語コードが含まれる。

[0214] エレメンタリストリームの符号化タイプ（図 25の stream_coding_type)が Text subtitle s tream (図 26)である場合、 stream_attribute0には、そのテキスト字幕エレメンタリストリームのキャラクタコード（図 32)、言語コードが含まれる。

[0215] なお、これらの属性情報はこれに限定されない。

[0216] このように、 Playltemとそれに関連付けられて再生される 1つ以上の SubPathが用意されている場合に、この Playltemが参照する Clipと 1つ以上の SubPathが参照する Clip の中から、 stream_entry()によって特定された 1つのエレメンタリストリームの属性情報を stream_attributeOによって知ることができる。

[0217] 再生装置は、この属性情報（stream_attributeO)を調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持って、る力否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。

[0218] 例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリーム ID (PG_txtST_stream_id)の forループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。

[0219] また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。

この再生装置に対して、ユーザが音声切り替えを指示した場合、再生装置は、ォーディォストリーム ID (Audio stream id)の forループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。

[0220] さらに、例えば、メインパスにより参照される、ビデオストリームとオーディオストリーム力なる AVストリーム（例えば、映画)を再生する場合、再生装置に対して、ユーザが音声の切り替えを指令し、オーディオストリーム # 1 (通常の映画で出力される音声）と、オーディオストリーム # 2 (監督や出演者によるコメント）とを、再生する音声として指定 (選択)した場合、再生装置は、オーディオストリーム # 1とオーディオストリーム # 2 とをミキシング (重畳）して、ビデオストリームとともに再生する。

[0221] なお、オーディオストリーム # 1とオーディオストリーム # 2とは、図 23の STN— tableO を参照しても分力るように、両方ともメインノスにより参照される Clipに含まれるオーディォストリームとしてもよい。また、オーディオストリーム # 1とオーディオストリーム # 2 のうちの、一方をメインパスにより参照される Clipに含まれるオーディオストリームとし、他方をサブパスにより参照される Clipに含まれるオーディオストリームとしてもよい。このように、メインノスにより参照されるメイン AVストリームに重畳された複数のオーディォストリームを 2つ選択して、ミキシングして再生することも可能である。

[0222] このようにして、 PlayltemOの中の STN_table()は、この Playltemとそれに関連付けられて再生される 1つ以上の SubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作力この Playltemが参照する Clipと 1つ以上の SubPathが参照する Clipの中力選ぶことができる仕組みを提供するようにしたので、メイン AV ストリームが記録されている、再生する AVストリームとは異なるストリームやデータファィルに対しても、インタラクティブな操作を行うことができる。

[0223] また、 1つの PlayListの中に SubPathを複数使用し、それぞれの SubPathがそれぞれ SubPlayltemを参照する構成としたので、拡張性の高い、また、自由度の高い AVストリームを実現することができる。すなわち、後で、 SubPlayltemを追加できる構成とすることができる。例えば、 Main Pathが参照する ClipAVストリームファイルとこれに対応付けられる PlayListがあり、この PlayListが新たな Sub Pathを追加した PlayListに書き換えられた場合、新たな PlayListに基づいて、 Main Pathが参照する ClipAVストリームファィルとともに、 Main Pathが参照する ClipAVストリームファイルとは異なる ClipAVストリームファイルを参照して、再生を行うことができる。このように、拡張性を有する構成とすることができる。

[0224] さらに、 PlayltemOの中の STN_tableOは、後述する図 35の再生装置 20の 1stオーディォデコーダ 75— 1でデコードされるオーディオストリーム # 1と、 2ndオーディオデコーダ 75— 2でデコードされるオーディオストリーム # 2とをミキシングして再生することができる仕組みを提供するようにした。例えば、 PlayltemOとそれに関連付けられて再生される 1つ以上の SubPathが用意されている場合に、 Playltemが参照する Clipのォ一ディォストリームをオーディオストリーム # 1とし、 SubPathが参照する Clipのオーディォストリームをオーディオストリーム # 2とし、これらををミキシングして再生することができる仕組みを提供するようにした。また、例えば、 Playltemが参照する Clip (メイン Cli p)に含まれる 2つのオーディオストリームを、それぞれオーディオストリーム # 1とォーディォストリーム # 2とし、これらをミキシングして再生することができる仕組みを提供するようにした。これにより、メイン AVストリームが記録されている、再生するメインのオーディオストリームとは異なるオーディオストリーム (例えば、監督のコメントのストリーム）の重畳再生を行うことができる。また、メイン AVストリームに重畳されている 2つのオーディオストリーム # 1とオーディオストリーム # 2とを重畳 (ミキシング)して再生することができる。

[0225] また、 STN_tableOによって、プライマリビデオストリームと組み合わせて同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義することができる。図 3 3および図 34は、 STN_table()のシンタクスの第 2の例を示す図である。

[0226] 図 33と図 34とは、プライマリビデオストリームと組み合わせて同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義する場合の STN_tableOのシンタクスの例を示す図である。なお、図中、図 23と同一の部分については、繰り返しになるのでその説明は省略する。

[0227] 図 33と図 34の例では、プライマリビデオストリームと組み合わせて同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせは、次のように定義される。すなわち、最初に、プライマリビデオストリームと組み合わせて同時再生されるセカンダリビデォストリームが 1以上定義される。そして、 1以上のセカンダリビデオストリームのそれぞれに対して、同時に再生されるオーディオストリーム (プライマリオーディオストリ一ムとセカンダリオーディオストリーム）とサブタイトルストリームとが定義される。

[0228] 具体的には、図 33において、 number_of_video_stream2_entriesは、 STN_tableOの中でエントリーされる（登録される） _vid_eo_stream_id2が与えられるストリーム数を示す。 video_streamjd2は、セカンダリビデオストリームを識別するための情報であり、 video_s tream_number2は、ビデオ切り替えに使われる、ユーザから見えるセカンダリビデオストリーム番号である。

[0229] 図 34にお!/、て、ビデオストリーム ID2(video_stream_id2)の forループの中で、順番に stream_entryOごとに特定される 1つのビデオエレメンタリストリーム (セカンダリビデオストリームとなるビデオエレメンタリストリーム)に、 0から video_stream_id2が与えられる。

[0230] このとき、 video— stream— id2に对して、 number— of— Audio— combinations— for— viaeo2;o与えられ、その後の for文では、 number_of_Audio_combinations_for_video2の数だけ、 audi stream— idと audio— stream— id2 与りれ o。 number— of— Audio— combinations— for— video 2とその後の for文とは、セカンダリビデオストリームと同時再生されるオーディオストリームの組み合わせ、すなわち、 audio_stream_idで特定されるプライマリオーディオストリームと、 audio_stream_id2で特定されるセカンダリオーディオストリームとの組み合わせを定義する情報である。 video_stream_id2で特定されるセカンダリビデオストリームと組み合わせ可能なオーディオストリームの組 (プライマリオーディオストリームとセカンダリオーディオストリームとの糸且）の数が、 number— of— Audio— combinations— for— video2とされる。そして、 video_streamjd2で特定されるセカンダリビデオストリームと組み合わせ可能なオーディオストリームの組として、プライマリオーディオストリームを特定する a udio_stream_idと、セカンダリオーディオストリームを特定する audio_stream_id2と力 nu mber_of_Audio_combinations_for_video2の後の for文でそれぞれ定義される。

[0231] ま 7こ、同し video— stream— id2に对して、 number— of— Subtitle— combinations— for— viaeo2力 ²¹ 与えられ、その後の for文では、 number_of_Subtitle_combinations_for_video2の数だけ、 Ptj—textST— stream— id 与られる。 number— of— Subtitle— combinations— for— video2と" irの後の for文とは、セカンダリビデオストリームと同時再生されるサブタイトルストリームの組み合わせ、すなわち、 PG_textST_streamjdで特定されるサブタイトルストリームの組み合わせを定義する情報である。 video_streamjd2で特定されるセカンダリビデオストリームと組み合わせ可能なサブタイトルストリームの数が、 number_of_Subtitle_combina tions_for_video2とされる。そして、 video_stream_id2で特定されるセカンダリビデオストリームと組み合わせ可能なサブタイトルストリームを特定する PG_textST_stream_idが、 n umber_of_Subtitle_combinations_for_video2の後の for文で定義される。

[0232] なお、図 23を参照して説明した場合と同様に、各 IDの代わりに各番号、例えば、 au dio— stream— idの代わりに、オーディオストリーム番号（audio— stream— number)を用いたり、 audio_stream_id2の代わりに、オーディオストリーム番号 2 (audio_stream_number2)を用いるようにしてもょ、。ビデオストリームやサブタイトルストリームにつ!/ヽても同様である。

[0233] 図 33と図 34によれば、 video_stream_id2を用いて、プライマリビデオストリームと同時再生されるセカンダリビデオストリームを定義することができ、さらに、 video_stream_id2 、および、 audio— stream— ia、 audio— stream— id2、並び【こ、 PG— text¾ i'— stream— idを用ヽて、そのセカンダリビデオストリームと同時再生される、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義することができる。すなわち、プライマリビデオストリームと同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義することができる。

[0234] 従って、プライマリビデオストリームと同時再生される、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトノレストリームの組み合わせとして、矛盾するような組み合わせを定義せずに済むので、ユーザは、プライマリビデオストリームと同時再生可能なストリームの組み合わせの再生を容易に選択することができる。

[0235] また、 PlayltemOの中の STN_tableOは、この Playltemとそれに関連付けられて再生される 1つ以上の SubPathが用意されている場合に、この Subpathの Subpath_typeを 5乃至 7、すなわちピクチャインピクチャプレゼンテーションパス（セカンダリビデオストリーム、セカンダリオーディオストリーム、および、プレゼンテーショングラフィックストリームのうちの 1以上のパス）と定義することにより、図 5を用いて説明したようにして、主に再生表示されるプライマリビデオストリームに対して、セカンダリビデオストリームを表示することにより、ピクチャインピクチャ表示を行うことができるようになる。

[0236] また、ピクチャインピクチヤの表示設定を、図 9、図 11、または図 12を用いて説明したようにして、 pipjnetadataに記載するようにしたので、図 5を用いて説明した副表示画面 2の大きさや表示位置は、再生装置に依存することなぐコンテンツの作成元またはコンテンツの提供元などが任意に設定することができる。また、ピクチャインピクチヤの表示設定は、ピクチャインピクチャ表示されるビデオストリーム (セカンダリビデォストリーム）のデータ自体に記載されるのではなぐ図 9、図 11、または図 12を用いて説明した pipjnetadataに記載される。すなわち、図 5を用いて説明した副表示画面 2の大きさや表示位置を変更したヽ場合は、ピクチャインピクチャ表示されるビデオストリーム（セカンダリビデオストリーム）を修正する必要はなぐ pipjnetadataの記載を修正するようにすればよい。

[0237] また、ピクチャインピクチヤの表示設定を、図 9、図 11、または図 12を用いて説明したようにして、 pipjnetadataに記載するようにしたことにより、図 5を用いて説明した副表示画面 2に表示される映像の大きさは、セカンダリビデオストリームの元となる画像の大きさにも依存することなぐコンテンツの作成元またはコンテンツの提供元などが任意に設定することができる。

[0238] 次に、本発明を適用した再生装置について説明する。図 35は、本発明を適用した再生装置 20の構成例を示すブロック図である。この再生装置 20は、上述したメインパスとサブパスを有する PlayListを再生する再生装置 20である。

[0239] 再生装置 20には、ストレージドライブ 31、スィッチ 32、 AVデコーダ部 33、およびコントローラ 34が設けられて!/、る。

[0240] 図 35の例の場合、最初に、コントローラ 34がストレージドライブ 31を介して PlayList ファイルを読み出し、 PlayListファイルの情報に基づいて、ストレージドライブ 31を介して HDD、ブルーレイディスク、または DVDなどの記録媒体から AVストリームや AVデータを読み出す。ユーザは、ユーザインターフェースを用いて、コントローラ 34に対し、音声や字幕などの切り替えの指令を行うことができる。また、コントローラ 34には、再生装置 20の言語設定の初期情報が図示せぬ記憶部など力供給される。

[0241] PlayListファイルには、 Main Path, Sub Pathの情報の他、 STN_tableOが含まれてヽる。コントローラ 34は、 PlayListファイルに含まれる Playltemが参照するメイン Clip AV ストリームファイル（以下、メイン Clipと称する）、 SubPlayltemが参照するサブ Clip AVストリームファイル（以下、サブ Clipと称する）、および SubPlayltemが参照するテキストサブタイトルデータを、ストレージドライブ 31を介して記録媒体など力も読み出す。ここで、 Playltemが参照するメイン Clipと SubPlayltemが参照するサブ Clipと力異なる記録媒体に記録されていてもよい。例えば、メイン Clipが記録媒体に記録されており、対応するサブ Clipは図示せぬネットワークを介して供給され、 HDDに記憶されたものであってもよい。また、コントローラ 34は、自分自身 (再生装置 20)の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置 20の言語設定の初期情報に対応するエレメンタリストリームだけを選択し、再生するよう制御する。

[0242] また、コントローラ 34は、 PlayListファイルの PlayListExtensionDataOの ID1/ID2に記載されて、る情報（または識別子）を参照し、この PlayListExtensionDataOの data_bloc kに、ピクチャインピクチャ表示に関する情報 (pip_metadata)が記載されていることを検出した場合、図 9または図 11を用いて説明した pipjnetadataを参照して、図 5を用 V、て説明した副表示画面 2に表示されるセカンダリビデオの表示設定を取得し、 AV デコーダ部 33のビデオプレーン生成部 92によるプライマリビデオストリームとセカンダリビデオストリームの映像の合成を制御する。

[0243] AVデコーダ部 33には、バッファ 51乃至 54、 PIDフィルタ 55、 PIDフィルタ 56、スィツチ 57乃至 59、 PIDフィルタ 60、バックグラウンドデコーダ 71、 1stビデオデコーダ 72 1、 2ndビデオデコーダ 72— 2、プレゼンテーショングラフィックスデコーダ 73、インタラタティブグラフィックスデコーダ 74、 1stオーディオデコーダ 75— 1、 2ndオーディォデコーダ 75— 2、 Text-STコンポジション 76、スィッチ 77、バックグラウンドプレーン生成部 91、ビデオプレーン生成部 92、プレゼンテーショングラフィックスプレーン生成部 93、インタラクティブグラフィックスプレーン生成部 94、ノッファ 95、ビデオデータ処理部 96、ミキシング処理部 97、およびミキシング処理部 98が設けられている。

[0244] 1stビデオデコーダ 72— 1は、プライマリビデオストリームをデコードするためのものであり、 2ndビデオデコーダ 72— 2は、セカンダリビデオストリームをデコードするためのものである。また、 1stオーディオデコーダ 75— 1は、オーディオストリーム # 1 (プラィマリオーディオストリーム）をデコードするためのものであり、 2ndオーディオデコーダ 75— 2は、オーディオストリーム # 2 (セカンダリオーディオストリーム）をデコードするためのものである。具体的には、図 23、並びに、図 33および図 34の STN_tableOにお V、て、 video_streamjdで与えられるビデオストリームをデコードするためのものが 1stビデォデコーダ 72— 1であり、 video_stream_id2で与えられるビデオストリームをデコードするためのものが 2ndビデオデコーダ 72— 2であり、 audio_stream_idで与えられるォーディォストリームをデコードするためのものが 1stオーディオデコーダ 75— 1であり、 au dio_stream_id2で与えられるオーディオストリームをデコードするためのものが 2ndォーディォデコーダ 75— 2である。 [0245] このように、再生装置 20は、 2つのビデオストリームをデコードするために 2つのビデォデコーダ（1stビデオデコーダ 72—1、 2ndビデオデコーダ 72— 2)を有し、 2つのォ一ディォストリームをデコードするために、 2つのオーディオデコーダ（1stオーディオデコーダ 75— 1、 2ndオーディオデコーダ 75— 2)を有している。なお、以下において、 1stビデオデコーダ 72—1と 2ndビデオデコーダ 72— 2とを個々に区別しない場合、ビデオデコーダ 72と称し、 1stオーディオデコーダ 75— 1と 2ndオーディオデコーダ 75 2とを個々に区別しない場合、オーディオデコーダ 75と称する。

[0246] コントローラ 34により読み出されたファイルデータは、図示せぬ復調、 ECC復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スィッチ 32は、復調され、誤り訂正が施されたデータを、コントローラ 34からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ 51乃至 54に供給する。具体的には、スイッチ 32は、コントローラ 34からの制御に基づいて、バックグラウンドイメージデータをバッファ 51に供給し、メイン Clipのデータをバッファ 52に供給し、サブ Clipのデータをバッファ 53に供給し、 Text- STのデータをバッファ 54に供給するようスィッチ 32を切り替える。ノッファ 51は、バックグラウンドイメージデータをバッファリングし、バッファ 52は、メイン Clipのデータをバッファリングし、バッファ 53は、サブ Clipのデータをバッファリングし、ノッファ 54は、 Text- STデータをバッファリングする。

[0247] メイン Clipは、ビデオとオーディオとビットマップ字幕 (Presentation Graphics stream) とインタラクティブグラフィックスのうち、ビデオに加えて 1つ以上のストリームを多重化したストリーム（例えばトランスポートストリーム）である。サブ Clipは、ビデオとビットマツプ字幕とインタラクティブグラフィックスとオーディオのうち、 1つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイル（Text-ST)のデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。

[0248] また、メイン Clipとサブ Clipおよびテキストサブタイトルデータを、ストレージドライブ 3 1 (記録媒体)から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、サブ Clipやテキストサブタイトルデータをメイン Clip力も読み出す前に、すべてバッファ (バッファ 53またはバッファ 54)へプリロードしてもよい。 [0249] 再生装置 20は、これらのファイルのデータを、ストレージドライブ 31を介して記録媒体力も読み出し、ビデオ、ビットマップ字幕、インタラクティブグラフィックス、およびォ一ディォを再生する。

[0250] 具体的には、メイン Clip用リードバッファであるバッファ 52から読み出されたストリームデータは、所定のタイミングで、後段の PID (パケット ID)フィルタ 55へ出力される。この PIDフィルタ 55は、入力されたメイン Clipを PID (パケット ID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、 PIDフィルタ 55は、ビデオストリームを 1stビデオデコーダ 72— 1または 2ndビデオデコーダ 72— 2の!ヽずれかに供給するための PIDフィルタ 60に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ 73への供給元となるスィッチ 57 に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ 74への供給元となるスィッチ 58に供給し、オーディオストリームを 1stオーディオデコーダ 75— 1と 2ndオーディオデコーダ 75— 2への供給元となるスィッチ 59に供給する。

[0251] プレゼンテーショングラフィックスストリームは、例えば、ビットマップの字幕データであり、テキストサブタイトルデータは、例えば、テキスト字幕データである。

[0252] サブ Clip用リードバッファであるバッファ 53から読み出されたストリームデータは、所定のタイミングで、後段の PID (パケット ID)フィルタ 56へ出力される。この PIDフィルタ 56は、入力されたサブ Clipを PID (パケット ID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、 PIDフィルタ 56は、供給されたビデォストリームを 1stビデオデコーダ 72— 1または 2ndビデオデコーダ 72— 2のいずれかに供給するための PIDフィルタ 60へ供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ 73への供給元となるスィッチ 57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ 74 への供給元となるスィッチ 58に供給し、オーディオストリームを 1stオーディオデコーダ 75— 1と 2ndオーディオデコーダ 75— 2への供給元となるスィッチ 59に供給する。

[0253] ノックグラウンドイメージデータをバッファリングするバッファ 51から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ 71に供給される。ノックグラウンドデコーダ 71は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部 91に供給する。

[0254] スィッチ 57は、 PIDフィルタ 55から供給されたメイン Clipに含まれるプレゼンテーショングラフィックスストリームと、サブ Clipに含まれるプレゼンテーショングラフィックスストリームのうちのいずれ力 1つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ 73に供給する。プレゼンテーシヨングラフィックスデコーダ 73は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーシヨングラフィックスプレーン生成部 93への供給元となるスィッチ 77に供給する。

[0255] また、スィッチ 58は、 PIDフィルタ 55から供給されたメイン Clipに含まれるインタラタティブグラフィックスストリームと、サブ Clipに含まれるインタラクティブグラフィックスストリームのうちのヽずれか 1つを選択し、選択したインタラクティブグラフィックスストリ一ムを、後段のインタラクティブグラフィックスストリームデコーダ 74に供給する。すなわち、インタラクティブグラフィックスデコーダ 74へ同時に入力されるインタラクティブグラフイツクスストリームは、メイン Clipまたはサブ Clipのどちら力から分離されたストリームである。インタラクティブグラフィックスデコーダ 74は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、インタラクティブグラフィックスプレーン生成部 94に供給する。

[0256] さらに、スィッチ 59は、 PIDフィルタ 55から供給されたメイン Clipに含まれるオーディォストリームと、サブ Clipに含まれるオーディオストリームのうちのいずれか 1つを選択し、選択したオーディオストリームを、後段の 1stオーディオデコーダ 75— 1または、 2n dオーディオデコーダ 75— 2に供給する。ここで、 1stオーディオデコーダ 75— 1へ同時に入力されるオーディオストリームは、メイン Clipまたはサブ Clipのどちら力から分離されたストリームである。また、同様に、 2ndオーディオデコーダ 75— 2へ同時に入力されるオーディオストリームも、メイン Clipまたはサブ Clipのどちら力から分離されたストリームである。例えば、メイン Clipにオーディオストリーム # 1とオーディオストリーム # 2とが含まれていた場合、 PIDフィルタ 55は、オーディオストリームの PIDに基づいて、オーディオストリーム # 1とオーディオストリーム # 2とをフィルタリングし、スィッチ 59に供給する。

[0257] スィッチ 59は、例えば、 PIDフィルタ 55から供給されたオーディオストリーム # 1を、 1 stオーディオデコーダ 75 - 1に供給するようスィッチを選択し、 PIDフィルタ 55から供給されたオーディオストリーム # 2を、 2ndオーディオデコーダ 75— 2に供給するようスイッチを選択する。

[0258] PIDフィルタ 60は、 PIDフィルタ 55力供給されたメイン Clipに含まれて!/、たビデオストリーム、または、 PIDフィルタ 56から供給されたサブ Clipに含まれていたビデオストリームの入力を受け、コントローラ 34の制御に基づいて、プライマリビデオストリームであるか、セカンダリビデオストリームであるかを判別し、プライマリビデオストリームを 1st ビデオデコーダ 72— 1に供給し、セカンダリビデオストリームを 2ndビデオデコーダ 72 2に供給する。

[0259] PIDフィルタ 60により振り分けられたビデオストリームは、後段の 1stビデオデコーダ 7 2— 1または 2ndビデオデコーダ 72— 2に供給される。 1stビデオデコーダ 72— 1または 2ndビデオデコーダ 72— 2は、供給されたビデオストリームをデコードし、デコードしたビデオデータをビデオプレーン生成部 92へ出力する。

[0260] ビデオプレーン生成部 92は、 1stビデオデコーダ 72— 1および 2ndビデオデコーダ 72 - 2からビデオデータが供給された場合、 pipjnetadataを参照したコントローラ 34 の制御に基づいて、供給されたビデオデータを合成して、図 5を用いて説明したような、主表示画面 1および副表示画面 2により構成されるビデオプレーンを生成し、これをビデオデータ処理部 96に供給する。また、ビデオプレーン生成部 92は、 1stビデォデコーダ 72— 1のみ力もビデオデータが供給された場合、供給されたビデオデータを用いてビデオプレーンを生成し、これをビデオデータ処理部 96に供給する。なお、 2つのビデオデータを合成することは、例えば、ミキシングする、重畳するとも称される。

[0261] 1stオーディオデコーダ 75— 1は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部 101に供給する。また、 2ndオーディォデコーダ 75— 2は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部 101に供給する。 [0262] ここで、オーディオストリーム # 1とオーディオストリーム # 2とを重畳して再生するような場合 (ユーザにより再生するオーディオストリームとして、 2つのオーディオストリームが選択された場合）、 1stオーディオデコーダ 75— 1によりデコードされたオーディォストリーム # 1と、 2ndオーディオデコーダ 75— 2によりデコードされたオーディオストリーム # 2とが、ミキシング処理部 101に供給される。

[0263] ミキシング処理部 101は、 1stオーディオデコーダ 75— 1からのオーディオデータと、 2ndオーディオデコーダ 75— 2からのオーディオデータとをミキシング (重畳）し、後段のミキシング処理部 97に出力する。なお、本実施の形態においては、 1stオーディォデコーダ 75— 1から出力されるオーディオデータと 2ndオーディオデコーダ 75— 2 力も出力されるオーディオデータとをミキシング (重畳)することを、合成するとも称する。すなわち、合成とは、 2つのオーディオデータを、ミキシングすることも示すものとする。

[0264] また、スィッチ 32により選択されたサウンドデータは、ノッファ 95に供給され、ノッファリングされる。ノッファ 95は、所定のタイミングでサウンドデータをミキシング処理部 97に供給する。サウンドデータは、この場合、メニュー選択などによる効果音のデータである。ミキシング処理部 97は、ミキシング処理部 101によりミキシングされたォーディォデータ（1stオーディオデコーダ 75— 1から出力されたオーディオデータと 2nd オーディオデコーダ 75— 2から出力されたオーディオデータとがミキシングされたォ一ディォデータ）と、ノッファ 95から供給されてきたサウンドデータをミキシング (重畳、または合成)し、音声信号として出力する。

[0265] テキストサブタイトル用リードバッファであるバッファ 54から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジション (デコーダ） 76へ出力される。テキストサブタイトルコンポジション 76は、 Text- STデータをデコードし、スイツチ 77に供給する。

[0266] スィッチ 77は、プレゼンテーショングラフィックスデコーダ 73によりデコードされたプレゼンテーシヨングラフィックスストリームと、 Text-ST (テキストサブタイトルデータ）のうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部 93に供給する。すなわち、プレゼンテーショングラフィックスプレーン 93へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ 73またはテキストサブタイトル（Text-ST)コンポジション 76のうちのいずれかの出力である。また、プレゼンテーシヨングラフィックスデコーダ 73へ同時に入力されるプレゼンテーショングラフイツクスストリームは、メイン Clipまたはサブ Clipの!、ずれ力から分離されたストリームである (スィッチ 57により選択される）。したがって、プレゼンテーショングラフィックスプレーン 93へ同時に出力される字幕画像は、メイン Clipからのプレゼンテーショングラフイツクスストリーム、またはサブ Clipからの力ものプレゼンテーショングラフイツクスストリーム、またはテキストサブタイトルデータのデコード出力である。

[0267] ノックグラウンドプレーン生成部 91は、バックグラウンドデコーダ 71から供給されたノックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部 96に供給する。

[0268] プレゼンテーショングラフィックスプレーン生成部 93は、スィッチ 77により選択され、供給されたデータ (プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータ）に基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部 96に供給する。インタラクティブグラフィックスプレーン生成部 94は、インタラクティブグラフィックスデコーダ 74から供給されたインタラクティブグラフィックスストリームのデータに基づ、て、インタラタティブグラフィックスプレーンを生成し、これをビデオデータ処理部 96に供給する。

[0269] ビデオデータ処理部 96は、バックグラウンドプレーン生成部 91からのバックグラウンドプレーン、ビデオプレーン生成部 92からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部 93からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部 94からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。また、ミキシング処理部 97は、ミキシング処理部 101からのオーディオデータ（1stオーディオデコーダ 75— 1によりデコードされたオーディオデータと 2ndオーディオデコーダ 75— 2によりデコードされたォーディォデータとがミキシングされたオーディオデータ）と、バッファ 95からのサウンドデータをミキシング (合成または重畳)し、音声信号として出力する。 [0270] これらのスィッチ 57乃至 59、並びにスィッチ 77は、ユーザインターフェースを介するユーザからの選択、または、対象となるデータが含まれるファイル側に基づいて、スイッチを切り替える。例えば、サブ Clip AVストリームファイルのみにしか、オーディオストリームが含まれていない場合、スィッチ 59はサブ側にスィッチを切り替える。

[0271] 次に、図 35の再生装置 20における再生処理を、図 36のフローチャートを参照して説明する。なお、この処理は、ユーザによりユーザインターフェースを介して、所定の AVストリームの再生が指令されたとき開始される。

[0272] ステップ S1において、コントローラ 34は、ストレージドライブ 31を介して、記録媒体や図示せぬ HDD(Hard Disk Drive)に記録されている PlayListファイルを読み出す。例えば、図 7を用いて説明した PlayListファイル（X X X X X .mpls)が読み出される。

[0273] ステップ S2において、コントローラ 34は、読み出した PlayListファイルを基に、再生するストリームにセカンダリビデオが存在する力否かを判断する。

[0274] 具体的には、コントローラ 34は、読み出した PlayListファイルの中の Playltemの中の、例えば、図 33および図 34を用いて説明した STN_tableOのセカンダリビデオループ (video_streamjd2の forループ）を実行することにより、再生するストリームにセカンダリビデオが存在するか否かを判断する。

[0275] ステップ S2にお、て、セカンダリビデオが存在しな、と判断された場合、ステップ S 3において、図 37乃至図 39を用いて後述するプライマリビデオ再生処理が実行される。

[0276] ステップ S4において、コントローラ 34は、読み出された PlayListファイルに対応するストリームの再生は終了であるか否かを判断する。ステップ S4において、ストリームの再生は終了ではないと判断された場合、処理は、ステップ S3に戻り、それ以降の処理が繰り返され、ストリームの再生は終了であると判断された場合、処理が終了される

[0277] ステップ S2におヽて、セカンダリビデオが存在すると判断された場合、ステップ S5 において、コントローラ 34は、 pipjnetadataを読み出す。なお、上記の通りセカンダリビデオが含まれることを確認してから、 Playltemに関連する pipjnetadataだけをメモリに保持するようにしても良いし、また、図 7乃至図 9で説明したように pipjnetadataは、 Playlistの一部であるため、ステップ S Iの PlayListファイル読み出し時に pipjnetadata も同時に読み出すようにしても良ヽ。

[0278] 具体的には、コントローラ 34は、例えば、現在の Playltemjdおよび STN_tableOにより半 (J另¹』5れる secondary— video— stream— idに基づいて、対象となる pip— metadataを特疋し、 PlayListファイルから特定した pipjnetadataを読み出す。

[0279] ステップ S6において、コントローラ 34は、読み出した pipjnetadataの記載を基に、セカンダリストリームは、プライマリストリームに同期している（すなわち、メインパスの Play Itemの時間軸に同期している）か否かを判断する。

[0280] 具体的には、例えば、 pipjnetadataのデータ構造力図 9を用いて説明したものであった場合、コントローラ 34は、図 10を用いて説明した pip_metadata_typeの値を基に、セカンダリストリームは、プライマリストリームに同期しているか否かを判断し、 pip.met adataのデータ構造力図 11を用いて説明したものであった場合、コントローラ 34は、 Synchronous_PIP_metadata_flagを参照し、セカンダリストリームは、プライマリストリームに同期している力否かを判断することができる。

[0281] また、例えば、 pipjnetadataのデータ構造が、図 12を用いて説明したものであった場合、コントローラ 34は、 Subpathj peによって、セカンダリストリームは、プライマリストリームと同期している力否かを判断することができる。

[0282] なお、 pipjnetadataのデータ構造力図 9または図 11を用いて説明したものであつた場合、セカンダリストリームがプライマリストリームに同期しているか否かは、 pipjneta data以外にも、図 12の pipjnetadataのデータ構造と同様に、 Subpath_typeによって判断することもできる。すなわち、コントローラ 34は、 Subpathj peにより、セカンダリストリームがプライマリストリームに同期しているか否かを判断することができる。

[0283] ステップ S6において、セカンダリストリームは、プライマリストリームに同期していると判断された場合、ステップ S7に進み、コントローラ 34は、図 17を参照して説明したように、プライマリストリームの表示時刻力セカンダリストリームの再生区間の先頭を示す SubPlayItem_IN_timeとなっているか否かを判断する。

[0284] ステップ S7において、プライマリストリームの表示時刻力 SubPlayItem_IN_timeでないと判断された場合、ステップ S8において、図 37乃至図 39を用いて後述するプライマリビデオ再生処理が実行される。

[0285] 一方、ステップ S7にお!/、て、プライマリストリームの表示時刻力 SubPlayltemJN.tim eであると判断された場合、ステップ S9において、図 40乃至図 42を用いて後述するプライマリおよびセカンダリビデオ再生処理が実行される。

[0286] ステップ S10において、コントローラ 34は、プライマリストリームの表示時刻力セカンダリストリームの再生区間の終了を示す SubPlayItem_OUT_timeであるか否かを判断する。ステップ S 10において、 SubPlayItem_OUT_timeでないと判断された場合、ステップ S9に戻り、それ以降の処理が繰り返され、 SubPlayItem_OUT_timeであると判断された場合、ステップ S 11〖こおいて、コントローラ 34は、読み出された PlayListファイルに対応するストリームの再生は終了であるか否かを判断する。

[0287] ステップ S11において、ストリームの再生は終了ではないと判断された場合、処理は、ステップ S7に戻り、それ以降の処理が繰り返され、ストリームの再生は終了であると判断された場合、処理が終了される。

[0288] 一方、ステップ S6において、セカンダリストリームは、プライマリストリームに同期して Vヽなヽ（すなわち、サブパスの SubPlayltemの時間軸に同期して!/、る）と判断された場合、ユーザ力セカンダリビデオストリームの表示が指示されるまで、プライマリビデオストリームのみが表示されるので、ステップ S12において、図 37乃至図 39を用いて後述するプライマリビデオ再生処理が実行される。

[0289] ステップ S 13において、コントローラ 34は、ユーザから、セカンダリビデオストリームの表示の指示を受けた力否かを判断する。

[0290] ステップ S 13において、セカンダリストリームの表示の指示を受けていないと判断された場合、ステップ S 14において、コントローラ 34は、読み出された PlayListファイルに対応するストリームの再生は終了であるか否かを判断する。ステップ S14において、ストリームの再生は終了ではないと判断された場合、処理は、ステップ S12に戻り、それ以降の処理が繰り返され、ストリームの再生は終了であると判断された場合、処理が終了される。

[0291] 一方、ステップ S 13において、セカンダリビデオストリームの表示の指示を受けたと判断された場合、ステップ S15において、図 40乃至図 42を用いて後述するプライマリおよびセカンダリビデオ再生処理が実行される。

[0292] ステップ S16において、コントローラ 34は、ユーザから、セカンダリビデオストリームの表示終了の指令を受けた力否かを判断する。ステップ S16において、セカンダリストリームの表示終了の指令を受けたと判断された場合、処理は、ステップ S12に戻り、それ以降の処理が繰り返される。

[0293] ステップ S16において、セカンダリビデオストリームの表示終了の指令を受けていないと判断された場合、ステップ S17において、コントローラ 34は、読み出された PlayLi stファイルに対応するストリームの再生は終了であるか否かを判断する。ステップ S 17 において、ストリームの再生は終了ではないと判断された場合、処理は、ステップ S1 5に戻り、それ以降の処理が繰り返され、ストリームの再生は終了であると判断された場合、処理が終了される。

[0294] このような処理により、読み出された PlayListファイルに対応するストリームの再生において、セカンダリストリームが存在するか否カゝ、存在する場合は、プライマリストリーム (メインパス）に同期している力否かを基に、セカンダリストリームをプライマリストリームに重畳させて常に表示させる力否かが決まり、プライマリストリーム (メインパス）に同期していない場合は、ユーザ力セカンダリストリームの表示が指令された力、または、セカンダリストリームの表示終了が指令されたかに基づいて、セカンダリストリームをプライマリストリームに重畳させる力否かが決まる。

[0295] 次に、図 37乃至図 39のフローチャートを参照して、図 36のステップ S3、ステップ S 8、またはステップ S12において実行される、プライマリビデオ再生処理について説明する。

[0296] ステップ S41において、コントローラ 34は、メイン Clip、サブ Clip、およびテキストサブタイトルデータ (Text-STデータ）を読み出す。具体的には、コントローラ 34は、図 18 を用いて説明した PlayListに含まれる、図 22を用いて説明した Playltemに基づ!/、て、メイン Clipを読み出す。また、コントローラ 34は、 PlayListに含まれる SubPathで参照される、図 21を用いて説明した SubPlayltemに基づいて、サブ Clipと、テキストサブタイトルデータを読み出す。

[0297] ステップ S42において、コントローラ 34は、読み出したデータ（メイン Clip、サブ Clip 、およびテキストサブタイトルデータ）を対応するバッファ 51乃至 54に供給するようスイッチ 32を制御する。具体的には、コントローラ 34は、ノックグラウンドイメージデータをバッファ 51に供給し、メイン Clipのデータをバッファ 52に供給し、サブ Clipのデータをバッファ 53に供給し、 Text- STのデータをバッファ 54に供給するようスィッチ 32を切り替える。

[0298] ステップ S43において、スィッチ 32はコントローラ 34からの制御に基づいて、スイツチ 32を切り替える。これにより、ノックグラウンドイメージデータはノッファ 51に供給され、メイン Clipのデータはバッファ 52に供給され、サブ Clipのデータはバッファ 53に供給され、テキストサブタイトルデータはバッファ 54に供給される。

[0299] ステップ S44において、各バッファ 51乃至 54は、供給されたデータをそれぞれバッファリングする。具体的には、ノッファ 51は、ノックグラウンドイメージデータをバッファリングし、バッファ 52は、メイン Clipのデータをバッファリングし、バッファ 53は、サブ Cli pのデータをバッファリングし、ノッファ 54は、 Text- STデータをバッファリングする。

[0300] ステップ S45において、ノッファ 51は、バックグラウンドイメージデータをバックグラゥンドデコーダ 71に出力する。

[0301] ステップ S46において、バッファ 52はメイン Clipのストリームデータを PIDフィルタ 55 に出力する。

[0302] ステップ S47において、 PIDフィルタ 55は、メイン Clip AVストリームファイルを構成する TSパケットに付されている PIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、 PIDフィルタ 55は、ビデオストリームを PIDフィルタ 60を介して 1stビデオデコーダ 72— 1に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーシヨングラフィックスデコーダ 73への供給元となるスィッチ 57に供給し、ィンタラタティブグラフィックスストリームをインタラクティブグラフィックスデコーダ 74への供給元となるスィッチ 58に供給し、オーディオストリームを 1stオーディオデコーダ 75 —1への供給元となるスィッチ 59に供給する。すなわち、ビデオストリーム、プレゼンテーシヨングラフイツクスストリーム、インタラクティブグラフィックスストリーム、およびォ一ディォストリームには、それぞれ異なる PIDが付されている。

[0303] ステップ S48において、バッファ 53は、サブ Clipのストリームデータを PIDフィルタ 56 に出力する。

[0304] ステップ S49において、 PIDフィルタ 56は、 PIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、 PIDフィルタ 56は、供給されたビデオストリームを PIDフィルタ 60を介して 1stビデオデコーダ 72— 1へ供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ 73への供給元となるスィッチ 57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ 74への供給元となるスィッチ 58に供給し、オーディオストリームを 1stオーディオデコーダ 75— 1と 2ndオーディオデコーダ 75— 2への供給元となるスイッチ 59に供給する。

[0305] ステップ S50において、 PIDフィルタ 55および PIDフィルタ 56の後段のスィッチ 57乃至 59および PIDフィルタ 60は、ユーザインターフェースを介するコントローラ 34からの制御に基づいて、メイン Clipとサブ Clipのいずれかを選択する。具体的には、スイツチ 57は、 PIDフィルタ 55から供給されたメイン Clipまたはサブ Clipのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ 73に供給する。また、スィッチ 58は、 PIDフィルタ 55から供給されたメイン Clipまたはサブ Clipのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフイツクスストリームデコーダ 74に供給する。さらに、スィッチ 59は、 PIDフィルタ 55 力供給されたメイン Clip、または、 PIDフィルタ 56から供給されたサブ Clipのオーディォストリーム（ここでは、音声が切り替えられる前であるので、オーディオストリーム # 1 )を選択し、後段の 1stオーディオデコーダ 75— 1に供給する。なお、音声を切り替えるような指令がユーザにより行われた場合には、スィッチ 59は、メイン Clipのオーディォストリームを 2ndオーディオデコーダ 75— 2に供給したり、サブ Clipのオーディオストリームを 1stオーディオデコーダ 75— 1や 2ndオーディオデコーダ 75— 2に供給したりもするが、ここでは、音声が切り替えられる前の再生処理について説明しているので、その説明は省略している。

[0306] ステップ S51において、ノッファ 54は、テキストサブタイトルデータをテキストサブタィトルコンポジション 76に出力する。

[0307] ステップ S52において、バックグラウンドデコーダ 71は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部 91に出力する。

[0308] ステップ S53において、 1stビデオデコーダ 72— 1は、ビデオストリーム（すなわち、供給されたプライマリビデオストリーム）をデコードし、これをビデオプレーン生成部 92 に出力する。

[0309] ステップ S54において、プレゼンテーショングラフィックスデコーダ 73は、スィッチ 57 により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスィッチ 77に出力する。

[0310] ステップ S55において、インタラクティブグラフィックスデコーダ 74は、スィッチ 58により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部 94に出力する。

[0311] ステップ S56において、 1stオーディオデコーダ 75— 1は、スィッチ 59により選択され、供給されたォーティォストリーム (オーディオストリーム # 1)をデコードし、これを後段のミキシング処理部 101に出力する。音声の切り替えがユーザにより指示されて Vヽな、状態における再生処理では、 2ndオーディオデコーダ 75— 2からオーディオデータが出力されることはないので、ミキシング処理部 101は、 1stオーディオデコーダ 7 5— 1から出力されたオーディオデータを、そのまま後段のミキシング処理部 97に供給する。

[0312] ステップ S57において、 Text-STコンポジション 76は、テキストサブタイトルデータをデコードし、これを後段のスィッチ 77に出力する。

[0313] ステップ S58において、スィッチ 77は、プレゼンテーショングラフィックスデコーダ 73 または Text-STコンポジション 76からのデータの!/、ずれかを選択する。具体的には、スィッチ 77は、プレゼンテーショングラフィックスデコーダ 73によりデコードされたプレゼンテーシヨングラフイツクスストリームと、 Text- ST (テキストサブタイトルデータ）のうち、いずれ力 1つを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部 93に供給する。

[0314] ステップ S59において、バックグラウンドプレーン生成部 91は、ノックグラウンドデコーダ 71から供給されたバックグラウンドイメージデータに基づ、て、ノックグラウンドプレーンを生成する。 [0315] ステップ S60において、ビデオプレーン生成部 92は 1stビデオデコーダ 72— 1から供給されたビデオデータに基づ!/ヽて、ビデオプレーンを生成する。

[0316] ステップ S61において、プレゼンテーショングラフィックスプレーン生成部 93は、ステツプ S58の処理でスィッチ 77により選択され、供給されたプレゼンテーショングラフイツタスデコーダ 73からのデータまたは Text-STコンポジション 76からのデータに基づ、て、プレゼンテーショングラフィックスプレーンを生成する。

[0317] ステップ S62において、インタラクティブグラフィックスプレーン生成部 94は、インタラタティブグラフィックスデコーダ 74から供給されたインタラクティブグラフィックスストリームのデータに基づ、て、インタラクティブグラフィックスプレーンを生成する。

[0318] ステップ S63において、バッファ 95は、ステップ S43の処理で選択され、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部 97に供給する。

[0319] ステップ S64において、ビデオデータ処理部 96は、各プレーンのデータを合成し、出力する。具体的には、ノックグラウンドプレーン生成部 91、ビデオプレーン生成部 92、プレゼンテーショングラフィックスプレーン生成部 93、およびインタラクティブグラフィックスプレーン生成部 94からのデータを合成し、ビデオデータとして出力する。

[0320] ステップ S65にお!/、て、ミキシング処理部 97は、オーディオデータ（ミキシング処理部 101から出力されたオーディオデータ）とサウンドデータをミキシング (合成）し、出力して、処理は、図 36のステップ S3〖こ戻り、ステップ S4に進むか、または、図 36のステツプ S8に戻り、ステップ S7に itむ力図 30のステップ S12に戻り、ステップ S13に進む。

[0321] 図 37乃至図 39を用いて説明した処理により、 PlayListに含まれるメインパスとサブノスによりメイン Clip、サブ Clip、およびテキストサブタイトルデータが参照され、再生される。ここで、表示される映像は、プライマリビデオストリームの映像のみであり、図 5 を用いて説明した副表示画面 2は表示されなヽ。 PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定する Clip AVストリームファイルとは異なる Clipを指定可能な構成としたので、メインパスの Playltemが指すメイン Clipとは異なる Clipであるサブ Clipのデータとメイン Clipのデータを一緒に（同じタイミングで)再生することがでさる。

[0322] なお、図 37乃至図 39において、ステップ S45,ステップ S46の処理は、その順番が逆であってもよいし、平行して実行されてもよい。また、ステップ S47、ステップ S49の処理も、その順番が逆であってもよいし、平行して実行されてもよい。さらに、ステップ S52乃至ステップ S57の処理も、その順番が逆であってもよいし、平行して実行されてもよい。また、ステップ S59乃至ステップ S62の処理も、その順番が逆であってもよいし、平行して実行されてもよい。さらに、ステップ S64,ステップ S65の処理も、その順番が逆であってもよいし、平行して実行されてもよい。すなわち、図 35において、縦に同じ階層のバッファ 51乃至 54の処理、スィッチ 57乃至 59の処理、デコーダ 71 乃至 76の処理、プレーン生成部 91乃至 94の処理、ビデオデータ処理部 96およびミキシング処理部 97の処理は、それぞれ、平行して実行されてもよいし、その順番は問わない。

[0323] 次に、図 40乃至図 42のフローチャートを参照して、図 36のステップ S9またはステツプ S 15において実行される、プライマリおよびセカンダリビデオ再生処理について説明する。

[0324] ステップ S101乃至ステップ S106において、図 37および図 38を用いて説明したステツプ S41乃至ステップ S46と基本的に同様の処理が実行される。

[0325] すなわち、コントローラ 34により、メイン Clip、サブ Clip、およびテキストサブタイトルデータ（Text- STデータ）が読み出され、読み出したデータ (メイン Clip、サブ Clip、およびテキストサブタイトルデータ）を対応するバッファ 51乃至 54に供給するようスイツチ 32が制御される。スィッチ 32により、コントローラ 34からの制御に基づいて、ノックグラウンドイメージデータはバッファ 51に供給され、メイン Clipのデータはバッファ 52 に供給され、サブ Clipのデータはバッファ 53に供給され、テキストサブタイトルデータはバッファ 54に供給され、バッファ 51乃至 54にバッファリングされる。バッファ 51は、バックグラウンドイメージデータをバックグラウンドデコーダ 71に出力する。ノッファ 52 はメイン Clipのストリームデータを PIDフィルタ 55に出力する。

[0326] ステップ S107において、 PIDフィルタ 55は、メイン Clip AVストリームファイルを構成する TSパケットに付されている PIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、 PIDフィルタ 55は、ビデオストリームを PIDフィルタ 60に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ 73への供給元となるスィッチ 57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ 74への供給元となるスィッチ 58に供給し、オーディオストリームを 1stオーディオデコーダ 75— 1への供給元となるスィッチ 5 9に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なる PIDが付されている。 PIDフィルタ 60は、コントローラ 34の制御に基づいて、プライマリビデオストリームを 1stビデオデコーダ 72— 1に供給し、セカンダリビデオストリームを 2ndビデオデコーダ 72— 2に供給する。

[0327] ステップ S108において、バッファ 53は、サブ Clipのストリームデータを PIDフィルタ 5 6に出力する。

[0328] ステップ S109において、 PIDフィルタ 56は、 PIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、 PIDフィルタ 56は、供給されたビデオストリームを PIDフィルタ 60へ供給し、プレゼンテーショングラフィックスストリームをプレゼンテーシヨングラフィックスデコーダ 73への供給元となるスィッチ 57に供給し、インタラタティブグラフィックスストリームをインタラクティブグラフィックスデコーダ 74への供給元となるスィッチ 58に供給し、オーディオストリームを 1stオーディオデコーダ 75— 1と 2n dオーディオデコーダ 75— 2への供給元となるスィッチ 59に供給する。 PIDフィルタ 6 0は、コントローラ 34の制御に基づいて、プライマリビデオストリームを 1stビデオデコーダ 72— 1に供給し、セカンダリビデオストリームを 2ndビデオデコーダ 72— 2に供給する。

[0329] そして、ステップ S110乃至ステップ S112において、図 37および図 38を用いて説明したステップ S50乃至ステップ S52と基本的に同様の処理が実行される。

[0330] すなわち、スィッチ 57乃至 59および PIDフィルタ 60は、コントローラ 34からの制御に基づいて、メイン Clipとサブ Clipのいずれかを選択する。ノッファ 54は、テキストサブタイトルデータをテキストサブタイトルコンポジション 76に出力する。バックグラウンドデコーダ 71は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部 91に出力する。

[0331] そして、ステップ S113において、 1stビデオデコーダ 72— 1は、供給されたプライマリビデオストリームをデコードし、これをビデオプレーン生成部 92に出力する。

[0332] ステップ S114にお!/、て、 2ndビデオデコーダ 72— 2は、供給されたセカンダリビデォストリームをデコードし、これをビデオプレーン生成部 92に出力する。

[0333] ステップ S115において、プレゼンテーショングラフィックスデコーダ 73は、スィッチ 5

7により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし

、これを後段のスィッチ 77に出力する。

[0334] ステップ S116において、インタラクティブグラフィックスデコーダ 74は、スィッチ 58 により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部 94に出力する。

[0335] ステップ S117において、 1stオーディオデコーダ 75— 1は、スィッチ 59により選択され、供給されたプライマリオ一ティォストリームをデコードし、これを後段のミキシング処理部 101に出力する。

[0336] ステップ S118において、 2ndオーディオデコーダ 75— 2は、スィッチ 59により選択され、供給されたセカンダリオ一ティォストリームをデコードし、これを後段のミキシング処理部 101に出力する。

[0337] ステップ S119において、 Text-STコンポジション 76は、プライマリまたはセカンダリのうち、表示されるテキストサブタイトルデータをデコードし、これを後段のスィッチ 77 に出力する。

[0338] ステップ S120において、スィッチ 77は、プレゼンテーショングラフィックスデコーダ 7 3または Text-STコンポジション 76からのデータの!/、ずれかを選択する。具体的には、スィッチ 77は、プレゼンテーショングラフィックスデコーダ 73によりデコードされたプレゼンテーシヨングラフィックスストリームと、 Text-ST (テキストサブタイトルデータ）のうち、いずれ力 1つを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部 93に供給する。

[0339] ステップ S121において、バックグラウンドプレーン生成部 91は、バックグラウンドデコーダ 71から供給されたバックグラウンドイメージデータに基づ、て、ノックグラウンドプレーンを生成する。

[0340] ステップ S122において、ビデオプレーン生成部 92は、 pip_metadataを参照したコントローラ 34の制御に基づいて、 1stビデオデコーダ 72— 1および 2ndビデオデコーダ 7 2— 2から供給されたビデオデータを合成して、図 5を用いて説明したような、主表示画面 1および副表示画面 2により構成されるビデオプレーンを生成し、これをビデオデータ処理部 96に供給する。

[0341] 具体的には、ビデオプレーン生成部 92は、例えば、図 9、図 11、または図 12を用 V、て説明した pipjnetadataを参照したコントローラ 34の制御に基づ!/、て、ポジショニング、スケーリングしたセカンダリビデ才ストリームをプライマリビデ才ストリームに合成して、図 5を用いて説明したような、主表示画面 1および副表示画面 2により構成されるビデオプレーンを生成し、これをビデオデータ処理部 96に供給する。

[0342] ここで、図 43を参照して、ポジショニングとスケーリングの詳細について説明する。

[0343] 図 9、図 11、または図 12を用いて説明した pipjnetadataに示したように、 pip.horizot aLpositionは、例えば、図 5の主表示画面 1上において、セカンダリビデオが表示される副表示画面 2の左上隅の X座標を示し、 pip_vertical_positionは、例えば、図 5の主表示画面 1上において、セカンダリビデオが表示される副表示画面 2の左上隅の Y座標を示す。また、 pip_scaleは、セカンダリビデオが表示される副表示画面 2の大きさに関する情報を示す。

[0344] すなわち、図 43に示すように、 Primary Video plane (プライマリビデオプレーン）上において、 pip_scaleに基づいて所定の大きさに調節されたスケーリングセカンダリビデォ（Scaled Secondary Video)は、プライマリビデオプレーンの左上隅から、 X軸方向に pip— horizotal—position、 Y軸カ冋に pip— vertical—positionとなる ¼ ;^、スケーリングセカンダリビデオの左上隅となるように配置されることになる。

[0345] また、このとき、図 12を用いて説明した pipjnetadataにおいて、 "is_luma_key=l"である場合、ビデオプレーン生成部 92は、プライマリビデオストリームとセカンダリビデオストリームとを luma_keying合成して、ビデオプレーンを生成し、これをビデオデータ処理部 96に供給する。

[0346] ここで、 luma_keying合成とは、図 12の pipjnetadataにより説明したように、明るさ（輝度値)の成分差を利用して不要な部分を切り抜いた画像を、映像に重ねて合成する手法である。次に、図 44および図 45を参照して、 luma_keying合成の詳細について説明する。

[0347] 図 44は、 luma— keying合成前の Primary Video (プライマリビデオ）と Secondary Video

(セカンダリビデオ)を示す図である。

[0348] 図中右側のプライマリビデオと、左側のセカンダリビデオとを luma_keying合成する場合、図 12の pip_metadataを用いて説明したように、 lower_limit_luma_keyにより示される輝度値の下限から、 upper_limit_luma_keyにより示される輝度値の上限までの範囲に含まれる、セカンダリビデオの輝度値を透明にし、そのセカンダリビデオをプライマリビデオに合成する。

[0349] すなわち、 lower_limit_luma_keyと upper_limit_luma_keyで定義された輝度値の下限と上限の範囲が取り除かれたセカンダリビデオがプライマリビデオに重ねて合成される。具体的には、図 44で示されるように、左側のセカンダリビデオの平行四辺形と円以外のノ、ツチングされた領域は、輝度値の下限と上限の範囲内の輝度値となるので透明となり、そのように処理された左側のセカンダリビデオ力右側のプライマリビデオに重ねて合成される。

[0350] 図 45は、 luma_keying合成後のプライマリビデオとセカンダリビデオを示す図である

[0351] luma_keying合成後のプライマリビデオとセカンダリビデオは、図 45に示すように、セカンダリビデオの平行四辺形と円以外の領域は透明となっているので、セカンダリビデォの領域のうち、平行四辺形と円の領域のみ力プライマリビデオと合成されることになる。

[0352] なお、図 45では、説明を分力り易くするために、セカンダリビデオの領域を点線によつて表現している力実際には、この点線が表示されることはない。

[0353] 図 42のフローチャートに戻り、ステップ S 123において、プレゼンテーショングラフィックスプレーン生成部 93は、ステップ S58の処理でスィッチ 77により選択され、供給されたプレゼンテーショングラフィックスデコーダ 73からのデータまたは Text-STコンポジション 76からのデータに基づ!/、て、プレゼンテーショングラフィックスプレーンを生成する。

[0354] ステップ S124において、インタラクティブグラフィックスプレーン生成部 94は、インタラタティブグラフィックスデコーダ 74から供給されたインタラクティブグラフィックスストリームのデータに基づ、て、インタラクティブグラフィックスプレーンを生成する。

[0355] ステップ S125において、バッファ 95は、ステップ S43の処理で選択され、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部 97に供給する。

[0356] ステップ S126において、ビデオデータ処理部 96は、各プレーンのデータを合成し、出力する。具体的には、ノックグラウンドプレーン生成部 91、ビデオプレーン生成部 92、プレゼンテーショングラフィックスプレーン生成部 93、およびインタラクティブグラフィックスプレーン生成部 94からのデータを合成し、ビデオデータとして出力する。

[0357] ステップ S127において、ミキシング処理部 101は、 1stオーディオデコーダ 75— 1 力も出力されたプライマリオーディオデータ、および、 2ndオーディオデコーダ 75— 2 カゝら出力されたセカンダリオーディオデータを合成し、ミキシング処理部 97に供給する。

[0358] ステップ S128において、ミキシング処理部 97は、ミキシング処理部 101から出力された、合成されたオーディオデータとサウンドデータをミキシング (合成）し、出力して、処理は、図 36のステップ S9に戻り、ステップ S10に進む力、または、図 36のステツプ S 15【こ戻り、ステップ S 16【こ進む。

[0359] 図 40乃至図 42を用いて説明した処理により、 PlayListに含まれるメインパスとサブノスによりメイン Clip、サブ Clip、およびテキストサブタイトルデータが参照され、再生される。 PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定する ClipAVストリームファイルとは異なる Clipを指定可能な構成とし、プライマリビデォストリームの表示画像にセカンダリビデオストリームの表示画像を重畳させることができる。

[0360] このとき、セカンダリビデオストリームの表示画像の大きさと表示位置を設定することができるようにしたので、副表示画面の表示位置や表示の大きさが再生装置に依存してあら力じめ定められている場合と比較して、コンテンツによって、または、表示されるタイミングによって、プライマリビデオストリームの表示の邪魔とならない位置や大きさでセカンダリビデオストリームを表示させるようにしたり、または、セカンダリビデオストリームの内容に応じて、例えば、重要な内容であれば、目立つ位置に大きく表示させたり、重要でない内容であれば、主表示画面 1の端に小さく表示させるようにすることなどが可能である。

[0361] また、セカンダリビデオストリームの表示画像の大きさと表示位置は、コンテンツの製作者、または、コンテンツの配給元が、適宜定めることができる。

[0362] なお、図 40乃至図 42において、ステップ S105,ステップ S106の処理は、その順番が逆であってもよいし、平行して実行されてもよい。また、ステップ S 107、ステップ S 109の処理も、その順番が逆であってもよいし、平行して実行されてもよい。

さら〖こ、ステップ S112乃至ステップ S119の処理も、その順番が逆であってもよいし、平行して実行されてもよい。また、ステップ S 121乃至ステップ S 124の処理も、その順番が逆であってもよいし、平行して実行されてもよい。さらに、ステップ S126の処理と、ステップ S127およびステップ S128の処理も、その順番が逆であってもよいし、平行して実行されてもよい。すなわち、図 35において、縦に同じ階層のバッファ 51乃至 54の処理、スィッチ 57乃至 59の処理、デコーダ 71乃至 76の処理、プレーン生成部 91乃至 94の処理、ビデオデータ処理部 96およびミキシング処理部 97の処理は、それぞれ、平行して実行されてもよいし、その順番は問わない。

[0363] 以上の処理をまとめると、以下のようになる。

[0364] 再生装置 20は、少なくとも 1つのストリームを含むメイン ClipAVストリームファイルの位置を示す主の再生パスであるメインパスと、メイン ClipAVストリームファイルとは異なる再生パスで再生されるサブ ClipAVストリームファイルの再生パスであるサブパスの情報を含んで構成される再生管理情報としての PlayListを取得する。そして、再生装置 20は、 PlayListに含まれる再生するストリームを選択するための STN_tableOに基づいて、再生するストリームの選択を受け付ける。 STN_tableOは、メイン ClipAVストリームファイルの所定の種類のストリーム（例えば、プライマリビデオストリーム）と、そのストリームの再生のタイミングに合わせて、または、非同期で再生される他のストリームファイルを選択するための情報であるので、この STN_table()に基づいて、再生するストリームの選択を受け付けることができる。

[0365] また、 PlayList Subpathj peが In- Muxのものであれば、メインパスとサブパスが同一 Clipを参照することができ、さらにサブノスを追加することができるので、ストリームに拡張性を持たせることができる。また、 1つの Sub Pathで複数のファイルを参照可能な構成としたので (例えば、図 4)、複数の異なるストリームの中力ユーザが選択することがでさる。

[0366] さらに、 Main Pathの Playltemの中に、 Main Pathにより参照される AVストリームフアイルに多重化されている (含まれる)付属データ（例えば、オーディオストリーム）と、 Sub Pathにより参照される付属データとを定義するテーブルとして、図 23、並びに、図 33 および図 34の STN_tableOを設けるようにしたので、より、拡張性の高いストリームを実現することができる。また、 STN_tableOにエントリーすれば、 Sub Pathを容易に拡張することがでさる。

[0367] また、 STN_tableOにストリームの属性情報である図 25の stream_attributeOを設けるようにしたので、再生装置 20側で、選択されたストリームを再生可能か否かを判定することができる。さら〖こ、 stream_attribute()を参照することで、再生機能を有するストリームだけを選択して再生することができる。

[0368] さらに、 STN_tableO (図 23、並びに、図 33および図 34)において、 2つの同じ種類のストリームファイル（ここでは、プライマリビデオストリームファイルとセカンダリビデオストリームファイル、または、プライマリオーディオストリームファイルとセカンダリオーディォストリームファイル）を定義するようにした。さらに、図 35の再生装置 20に 2つのビデォデコーダ（1stビデオデコーダ 72— 1と 2ndビデオデコーダ 72— 2)および 2つのオーディオデコーダ（1stオーディオデコーダ 75— 1と 2ndオーディオデコーダ 75— 2) を設けた。そして、 2つのビデオデコーダによりデコードされたプライマリビデオデータとセカンダリビデオデータを合成 (ミキシング)するビデオプレーン生成部 92を設け、 2つのオーディオデコーダによりデコードされたオーディオデータを合成するミキシング処理部 101を設けるようにした。これにより、 2つの同じ種類のストリームを組み合わせて同時に再生することができる。

[0369] すなわち、本発明を適用した再生装置においては、図 5に示されるように、プライマリビデオストリームを主画面に表示させ、主画面の中に、セカンダリストリームを子画面として合成して表示させる、いわゆる PinP (ピクチャインピクチヤ）表示が可能である

[0370] また、このとき、 pipjnetadataによって、ピクチャインピクチャ表示におけるセカンダリビデオストリームの表示画像の大きさと表示位置を設定することができるようにした。これにより、副表示画面の表示位置や表示の大きさが再生装置に依存してあらかじめ定められている場合と比較して、コンテンツによって、または、表示されるタイミングによって、プライマリビデオストリームの表示の邪魔とならな、位置や大きさでセカンダリビデオストリームを表示させるようにしたり、または、セカンダリビデオストリームの内容に応じて、例えば、重要な内容であれば、目立つ位置に大きく表示させたり、重要でない内容であれば、主表示画面 1の端に小さく表示させるようにすることなどが可能である。

[0371] また、セカンダリビデオストリームの表示画像の大きさと表示位置は、コンテンツの製作者、または、コンテンツの配給元が、適宜定めることができる。

[0372] また、 pipjnetadataには、セカンダリビデオストリームの表示画像の大きさと表示位置以外に、このピクチャインピクチャの表示の設定を示す情報を記載することができる。セカンダリビデオストリームが表示される副表示画面 2の位置と大きさを示す情報以外に、例えば、セカンダリビデオストリームの原映像に対して表示される映像の回転や色の指定などに関する情報を記載することができる。

[0373] ここで、セカンダリビデオストリームの表示画像の大きさと表示位置をはじめとする表示に関する情報は、セカンダリビデオストリームには記載されず、セカンダリビデオストリームの再生を制御するためのプレイリストに記載される。すなわち、セカンダリビデォストリームを変更することなぐその表示形式のみを変更したい場合 (例えば、セカンダリビデオストリームの表示位置のみを変更したり、表示の大きさを変更した、場合など）、再生装置の設定や、セカンダリビデオストリーム自体に手を加えることなぐプレイリストの pipjnetadataの記載のみを更新するようにすればよ!、。

[0374] また、第 1のコンテンツと第 2のコンテンツにおいて、同一のセカンダリビデオストリームを、異なる表示方法で表示させること（例えば、同一のセカンダリビデオストリームを、第 1のコンテンツでは大きぐ第 2のコンテンツでは小さく表示させることなど）が非常に容易である。すなわち、セカンダリビデオストリーム自体のデータをそれぞれ変更することなく、第 1のコンテンツと第 2のコンテンツのそれぞれにおいて、プレイリストの pip .metadata^,所望する表示形式を示す情報を記載することにより、第 1のコンテンツと第 2のコンテンツにおいて、同一のセカンダリビデオストリームを、コンテンツ作成者またはコンテンツ配給元が所望する異なる表示方法で表示させることが可能となる。

[0375] また、セカンダリビデオストリームの表示画像の大きさと表示位置をはじめとする表示に関する情報が、時間情報をはじめとする詳細な再生管理情報を有するプレイリストに記載されるので、セカンダリビデオの表示を詳細に設定することが可能となる。

[0376] また、 Sub Pathには、図 20〖こ示されるよう〖こ、 Sub Pathのタイプ（オーディオやテキスト字幕とヽつた種類と、メインパスと同期してヽるか否かを示すタイプ)を示す SubPath_ type, Sub Pathが参照するサブ Clipの名を示す図 21の Clip_Information_file_name、および Sub Pathが参照する Clipのイン点を示す図 21の SubPlayItem_IN_timeとアウト点を示す図 21の SubPlayItem_OUT_timeを含むようにしたので、 Sub Pathが参照するデータを的確に特定することができる。

[0377] なお、図 35のストレージドライブ 31が読み出すデータは、 DVD (Digital Versatile Di sc)などの記録媒体に記録されて!、るデータであってもよ、し、ハードディスクに記録されて!/、るデータであってもよ!/、し、図示せぬネットワークを介してダウンロードしたデータであってもよいし、これらが組み合わされたデータでもよい。例えば、ダウンロードされ、ハードディスクに記録された PlayListおよびサブ Clipと、 DVDに記録されたメイン ClipAVストリームファイルに基づいて、再生されてもよい。また、例えば、 DVDに記録された ClipAVストリームファイルをサブ Clipとするような PlayListとメイン Clipがハードディスクに記録されて、る場合に、ハードディスクに記録されて、る PlayListに基づヽて、メイン Clipとサブ Clipがそれぞれ、ハードディスクと DVD力読み出され再生されてもよい。

[0378] なお、セカンダリビデオの位置、大きさなどが再生装置 20 (プレーヤ）の機能で変更するようにすることもできるが、この場合、ォーサが意図した大きさなどにならないとき力 Sある。一方、本願発明のように管理情報である Playlistで大きさ、位置などを管理すれば、例えば ROMディスクの取得後に位置などを変更させたい場合であっても、実際の Clipに変更を加えなくても、サイズが比較的小さ!、プレイリストを取得するだけで

、ォーサが意図したとおりにセカンダリビデオの位置などを変更することができる。

[0379] 次に、図 46および図 47を参照して、再生装置 20において再生可能なデータが記録された記録媒体 21の製造方法について、記録媒体 21がディスク状の記録媒体だつた場合を例として説明する。

[0380] すなわち、図 46に示すように、例えばガラスなどよりなる原盤が用意され、その上に

、例えばフォトレジストなどよりなる記録材料が塗布される。これにより、記録用原盤が製作される。

[0381] そして、図 47に示すように、ソフト製作処理部において、符号化装置 (ビデオェンコーダ)で符号ィ匕された、再生装置 20において再生可能な形式のビデオデータ力一時バッファに記憶され、オーディオエンコーダで符号ィ匕されたオーディオデータが、一時バッファに記憶されるとともに、更に、データエンコーダで符号ィ匕された、ストリーム以外のデータ（例えば、 Indexes、 Playlist, Playltemなど）がー時バッファに記憶される。それぞれのバッファに記憶されたビデオデータ、オーディオデータ、および、ストリーム以外のデータは、多重化器 (MPX)で同期信号と共に多重化され、誤り訂正符号回路 (ECC)でエラー訂正用のコードが付加される。そして、変調回路 (MOD)で所定の変調がかけられ、所定のフォーマットにしたがって、例えば磁気テープなどにー且記録され、再生装置 20にお、て再生可能な記録媒体 21に記録されるソフトゥェァが製作される。

[0382] このソフトウェアを必要に応じて編集（プリマスタリング）し、光ディスクに記録すべきフォーマットの信号が生成される。そして、図 46に示すように、この記録信号に対応して、レーザビームが変調されて、このレーザビームが原盤上のフォトレジスト上に照射される。これにより、原盤上のフォトレジストが記録信号に対応して露光される。

[0383] その後、この原盤を現像し、原盤上にピットを出現させる。このようにして用意された原盤に、例えば電铸などの処理を施し、ガラス原盤上のピットを転写した金属原盤を製作する。この金属原盤から、さらに金属スタンパを製作し、これを成形用金型とする [0384] この成形用金型に、例えばインジェクションなどにより PMMA (アクリル）または PC ( ポリカーボネート）などの材料を注入し、固定化させる。あるいは、金属スタンパ上に 2 P (紫外線硬化榭脂)などを塗布した後、紫外線を照射して硬化させる。これにより、金属スタンパ上のピットを、榭脂よりなるレプリカ上に転写することができる。

[0385] このようにして生成されたレプリカ上に、反射膜が、蒸着あるいはスパッタリングなどにより形成される。あるいはまた、生成されたレプリカ上に、反射膜が、スピンコートにより形成される。

[0386] その後、このディスクに対して内外径の加工が施され、 2枚のディスクを張り合わせるなどの必要な処置が施される。さらに、ラベルを貼り付けたり、ハブが取り付けられて、カートリッジに挿入される。このようにして再生装置 20によって再生可能なデータが記録された記録媒体 21が完成する。

[0387] 上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図 48に示されるようなパ一ソナルコンピュータ 500により実行される。

[0388] 図 48において、 CPU (Central Processing Unit) 501は、 ROM(Read Only Memory) 502に記憶されているプログラム、または、記憶部 508から RAM(Random Access Me mory)503にロードされたプログラムに従って各種の処理を実行する。 RAM503にはまた、 CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。

[0389] CPU501、 ROM502、および RAM503は、内部バス 504を介して相互に接続されている。この内部バス 504にはまた、入出力インターフェース 505も接続されている。

[0390] 入出力インターフェース 505には、キーボード、マウスなどよりなる入力部 506、 CR T (Cathode Ray Tube) , LCD (Liquid Crystal Display)などよりなるディスプレイ、スピ一力などよりなる出力部 507、ハードディスクなどより構成される記憶部 508、並びに、モデム、ターミナルアダプタなどより構成される通信部 509が接続されている。通信部 509は、電話回線や CATVを含む各種のネットワークを介しての通信処理を行う。

[0391] 入出力インターフェース 505にはまた、必要に応じてドライブ 510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーパブルメディア 521が適宜装着され、それから読み出されたコンピュータプログラム力必要に応じて記憶部 508にインストールされる。

[0392] 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラム力ネットワークやプログラム格納媒体からインストールされる。

[0393] このプログラム格納媒体は、図 48に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア 521よりなるパッケージメディアにより構成されるだけでなぐ装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されて、る ROM502や記憶部 508が含まれるハードディスクなどで構成される。

[0394] なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなぐ本発明の要旨を逸脱しな、範囲にぉ、て種々の変更が可能である。

Claims

請求の範囲

[1] 少なくとも 1つのストリームを含むメインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1の情報と、前記メインストリームファイルとは異なるサブストリームファイルの副の再生パスを含む第 2の情報により構成される再生管理情報を取得する取得手段と、

前記取得手段により取得された前記再生管理情報を基に、再生される前記メインストリームファイルおよび前記サブストリームファイルを読み出す読み出し手段と、前記取得手段により取得された前記再生管理情報を基に、前記読み出し手段により読み出された前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成する映像合成手段と

を備え、

前記再生管理情報には、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報が含まれており、

前記映像合成手段は、前記再生管理情報に含まれる前記表示状態に関する情報を基に、前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成する

再生装置。

[2] 前記表示状態に関する情報は、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示位置に関する情報を含む

請求項 1に記載の再生装置。

[3] 前記表示状態に関する情報は、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示の大きさに関する情報を含む

請求項 1に記載の再生装置。

[4] 前記表示状態に関する情報は、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示色に関する情報を含む

請求項 1に記載の再生装置。

[5] 前記表示状態に関する情報は、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の、原映像に対する合成後の回転角度に関する情報を含む請求項 1に記載の再生装置。

[6] 前記表示状態に関する情報は、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の明るさを示す情報に基づヽて実行される、前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成する処理に関する情報を含む

請求項 1に記載の再生装置。

[7] 前記サブストリームファイルの映像の明るさを示す情報は、透過処理を行うべき明るさを示す情報の少なくとも 1つの閾値であり、前記サブストリームファイルの映像の明るさが、前記閾値以上または以下となる映像部分に対して透過処理を行う

請求項 6に記載の再生装置

[8] ユーザの操作入力を受ける操作入力手段をさらに備え、

前記取得手段により取得される前記再生管理情報には、前記メインストリームフアイルに対して前記サブストリームファイルが必ず同時に再生される力、前記ユーザから指令されたときのみ前記メインストリームファイルに対して前記サブストリームファイルが同時に再生されるかを示す情報が記載され、

前記映像合成手段は、前記ユーザカゝら指令されたときのみ前記メインストリームファィルに対して前記サブストリームファイルが同時に再生されることを示す情報が前記再生管理情報に記載されている場合、前記操作入力手段により入力される前記ユーザの操作入力に基づ、て、前記ユーザ力前記サブストリームファイルの再生が指令されたときのみ、前記メインストリームファイルの映像と前記サブストリームファイルの映像とを合成する請求項 1に記載の再生装置。

[9] 前記メインストリームファイルに対応して再生される音声と、前記サブストリームフアイルに対応して再生される音声とを合成する音声合成手段をさらに備え、

前記音声合成手段は、前記映像合成手段により前記メインストリームファイルの映像と、前記サブストリームファイルの映像とが合成される場合、前記メインストリームフアイルに対応して再生される音声と、前記サブストリームファイルに対応して再生される音声とを合成する

請求項 1に記載の再生装置。

[10] 前記再生管理情報には、前記表示状態に関する情報を含むことを示す情報が含まれる

請求項 1に記載の再生装置。

[11] メインストリームファイルおよびサブストリームファイルを再生する再生装置の再生方法において、

少なくとも 1つのストリームを含む前記メインストリームファイルの時間軸上の位置を示す主の再生パスを含む第 1の情報と、前記メインストリームファイルとは異なる前記サブストリームファイルの副の再生パスを含む第 2の情報により構成される再生管理情報を読み出し、

読み出された前記再生管理情報を基に、再生される前記メインストリームファイルおよび前記サブストリームファイルを読み出し、

前記再生管理情報に含まれる、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報を基に、読み出された前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成するステップを含む再生方法。

[12] メインストリームファイルおよびサブストリームファイルを再生する処理をコンピュータに実行させるためのプログラムであって、

前記再生管理情報に含まれる、前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報を基に、読み出された前記メインストリームファイルの映像と、前記サブストリームファイルの映像とを合成するステップを含む処理をコンピュータに実行させるプログラム。

[13] 請求項 12に記載のプログラムが記録されて、るプログラム格納媒体。

[14] 少なくとも 1つのストリームを含むメインストリームファイルの再生を管理する情報である再生管理情報を含むデータ構造であって、

前記再生管理情報には、

前記メインストリームファイルの時間軸上の位置を示す主の再生ノスを含む第 1の情報と、

前記メインストリームファイルとは異なるサブストリームファイルの副の再生パスを含む第 2の情報と、

前記メインストリームファイルの映像と合成される前記サブストリームファイルの映像の表示状態に関する情報と

が含まれているデータ構造。

[15] 再生装置において再生可能なデータが記録される記録媒体の製造方法であって、少なくとも 1つのストリームを含むメインストリームファイルの再生を管理する情報である再生管理情報を含み、

前記再生管理情報に、

を含むデータ構造を有するデータを生成し、

生成された前記データを前記記録媒体に記録する

ステップを含む記録媒体の記録方法。