JP4288613B2 - 再生装置および再生方法、プログラム、記録媒体、並びにデータ構造 - Google Patents

再生装置および再生方法、プログラム、記録媒体、並びにデータ構造 Download PDF

Info

Publication number
JP4288613B2
JP4288613B2 JP2005518019A JP2005518019A JP4288613B2 JP 4288613 B2 JP4288613 B2 JP 4288613B2 JP 2005518019 A JP2005518019 A JP 2005518019A JP 2005518019 A JP2005518019 A JP 2005518019A JP 4288613 B2 JP4288613 B2 JP 4288613B2
Authority
JP
Japan
Prior art keywords
stream
data
sub
path
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005518019A
Other languages
English (en)
Other versions
JPWO2005078727A1 (ja
Inventor
元樹 加藤
俊也 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2005078727A1 publication Critical patent/JPWO2005078727A1/ja
Application granted granted Critical
Publication of JP4288613B2 publication Critical patent/JP4288613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、再生装置および再生方法、プログラム、記録媒体、並びにデータ構造に関し、特に、AVコンテンツを再生する場合に、インタラクティブな操作を可能とする再生装置および再生方法、プログラム、記録媒体、並びにデータ構造に関する。
DVD(Digital Versatile Disc)ビデオの規格においては、記録媒体に記録されている映画などのAV(Audio Visual)コンテンツを再生する場合、ユーザに、音声切り替えや字幕切り替えというインタラクティブな操作を提供している(例えば、非特許文献1参照)。具体的には、図1の表示装置1に表示されているAVコンテンツに対して、ユーザは、リモートコントローラ2の音声切り替えボタン11や字幕切り替えボタン12を操作することで、音声の切り替えや字幕を切り替える。例えば、音声1が初期状態として設定されており、ユーザによりリモートコントローラ2の音声切り替えボタン11が操作された場合、図2に示されるように、音声1が音声2に切り替えられる。
DVDビデオ上のAVコンテンツは、MPEG(Moving Picture Experts Group)2プログラムストリームの形式で記録されている。このMPEG2プログラムストリームには、図3に示されるように、ビデオストリーム(図3のVideo)、複数のオーディオストリーム(図3のオーディオ1,2,3)、および複数のサブピクチャストリーム(図3のサブピクチャ1,2,3)が、ビデオストリームにAV同期して再生されるように多重化されている。サブピクチャストリーム(サブピクチャ1,2,3)は、ビットマップ画像がランレングス符号化されたストリームであり、主に字幕用途に用いられる。
一般に、複数のオーディオストリームは、異なる言語の音声を記録するために用いられ、複数のサブピクチャストリームは、異なる言語の字幕を記録するために用いられる。ユーザは、ビデオが再生されている場合、インタラクティブに所望の言語の音声や字幕を、リモートコントローラ2を用いて選択することができる。
また、DVDビデオは、プログラムストリームの中の複数のオーディオストリーム(オーディオ1,2,3)と複数のサブピクチャストリーム(サブピクチャ1,2,3)に対して、ユーザに提供する音声番号と字幕番号の関係を表すテーブル構造を定義している。
図4は、ユーザに提供する音声信号と字幕信号の関係を表すストリームナンバーテーブルを説明する図である。ここでは、音声番号をA_SN(Audio Stream Number)と称し、字幕番号をS_SN(SubPicture Stream Number)と称する。図4においては、MPEG2プログラムストリームの複数のオーディオストリームのそれぞれにA_SNが与えられているとともに、MPEG2プログラムストリームの複数のサブピクチャストリームのそれぞれに、S_SNが与えられている。A_SN=1:オーディオ2であり、A_SN=2:オーディオ1であり、A_SN=3:オーディオ3である。また、S_SN=1:サブピクチャ3であり、S_SN=2:サブピクチャ1であり、S_SN=3:サブピクチャ2である。ここでは、A_SNやS_SNの番号が小さい程、ユーザに提供される音声信号として優先度が高い。すなわち、A_SN=1はデフォルトで再生されるオーディオストリームであり、S_SN=1はデフォルトで再生されるサブピクチャストリームである。
具体的には、図1の初期状態で再生される音声1は、A_SN=1であるオーディオ2(図4)に対応しており、音声が切り替えられた後、図2で再生される音声2は、A_SN=2であるオーディオ1(図4)に対応している。
DVD Specifications for Read-Only Disc Part 3;Version1.1
しかしながら、DVDビデオでは、プログラムストリームのビデオを再生している場合に、ユーザによる音声切り替えや字幕切り替えという操作は、再生しているプログラムストリームに多重化されているオーディオストリームとサブピクチャストリームの中からしか、選ぶことができなかった。すなわち、図3に示されるようなMPEG2プログラムストリームを再生している場合に、音声の切り替えを行う場合、選択肢はオーディオ1乃至3のいずれか1つとなる。
そのため、再生しているプログラムストリームとは別の他のストリームでオーディオストリームと字幕を用意した場合、ユーザは、音声の切り替えや字幕切り替えの操作が、他のストリームから選択することができないため、拡張性がないという課題があった。
本発明は、このような状況に鑑みてなされたものであり、メインのAVストリームとは異なる他のストリームやデータファイルで音声や字幕などを用意した場合に、ユーザによる音声切り替えや字幕切り替えという操作が、メインのAVストリームの他に、異なる他のストリームやデータファイルの中から選択できるようにするものである。
本発明の再生装置は、記録媒体に記録されているAVストリームファイルの位置を示す主の再生パスを含む第1の情報と、AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスを含む第2の情報により構成される再生管理情報を取得する取得手段と、主の再生パスにより参照されるAVストリームファイルに含まれるメイン画像データのタイミングに合わせて再生される付属データ、および、副の再生パスにより参照されるサブファイルに含まれる付属データの中から、ユーザの指令に基づいて、再生する付属データを選択する選択手段と、選択手段により選択された付属データが、副の再生パスにより参照されるサブファイルに含まれる場合、主の再生パスにより参照されるAVストリームファイルとともに副の再生パスにより参照されるサブファイルを読み出す読み出し手段と、読み出し手段により読み出されたAVストリームファイルに含まれるメイン画像データ、および選択手段により選択され、読み出し手段により読み出されたサブファイルに含まれる付属データを再生する再生手段とを備えることを特徴とする。
第1の情報は、主の再生パスにより参照されるAVストリームファイルに含まれる付属データと、副の再生パスにより参照される付属データを定義するテーブルを含み、選択手段は、テーブルに定義されている付属データの中から、ユーザの指令に基づいて、再生する付属データを選択するものとすることができる。
選択手段により選択された付属データを、自分自身が再生する機能を有するか否かを判定する判定手段をさらに備え、読み出し手段は、判定手段により付属データを再生する機能を有すると判定された場合であって、その付属データが副の再生パスにより参照されるサブファイルに含まれるとき、主の再生パスにより参照されるAVストリームファイルとともに副の再生パスにより参照されるサブファイルを読み出し、再生手段は、読み出し手段により読み出されたAVストリームファイルに含まれるメイン画像データ、および選択手段により選択され、読み出し手段により読み出されたサブファイルに含まれる付属データを再生するものとすることができる。
選択手段により選択された付属データを、自分自身が再生する機能を有するか否かを判定する判定手段をさらに備え、読み出し手段は、判定手段により付属データを再生する機能を有すると判定された場合であって、その付属データが副の再生パスにより参照されるサブファイルに含まれるとき、主の再生パスにより参照されるAVストリームファイルとともに副の再生パスにより参照されるサブファイルを読み出し、再生手段は、読み出し手段により読み出されたAVストリームファイルに含まれるメイン画像データ、および選択手段により選択され、読み出し手段により読み出されたサブファイルに含まれる付属データを再生するものとすることができる。
テーブルは、付属データの付属情報をさらに定義し、判定手段は、テーブルに定義されている付属データの属性情報に基づいて、付属データを自分自身が再生する機能を有するか否かを判定するものとすることができる。
第2の情報は、副の再生パスのタイプを表すタイプ情報と、副の再生パスが参照するサブファイルのファイル名と、副の再生パスが参照するサブファイルのイン点とアウト点とを含むものとすることができる。
第2の情報は、副の再生パスと主の再生パスが同じタイミングで再生されるための、主の再生パスにより参照されるAVストリームファイルを指定する指定情報と、イン点が、主の再生パスの時間軸上で同期してスタートするための、主の再生パス上の時刻とをさらに含むものとすることができる。
本発明の再生方法は、記録媒体に記録されているAVストリームファイルの位置を示す主の再生パスを含む第1の情報と、AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスを含む第2の情報により構成される再生管理情報を取得する取得ステップと、主の再生パスにより参照されるAVストリームファイルに含まれるメイン画像データのタイミングに合わせて再生される付属データ、および、副の再生パスにより参照されるサブファイルに含まれる付属データの中から、ユーザの指令に基づいて、再生する付属データを選択する選択ステップと、選択ステップの処理により選択された付属データが、副の再生パスにより参照されるサブファイルに含まれる場合、主の再生パスにより参照されるAVストリームファイルとともに副の再生パスにより参照されるサブファイルを読み出す読み出しステップと、読み出しステップの処理により読み出されたAVストリームファイルに含まれるメイン画像データ、および選択ステップの処理により選択され、読み出しステップの処理により読み出されたサブファイルに含まれる付属データを再生する再生ステップとを含むことを特徴とする。
本発明のプログラムは、記録媒体に記録されているAVストリームファイルの位置を示す主の再生パスを含む第1の情報と、AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスを含む第2の情報により構成される再生管理情報を取得する取得ステップと、主の再生パスにより参照されるAVストリームファイルに含まれるメイン画像データのタイミングに合わせて再生される付属データ、および、副の再生パスにより参照されるサブファイルに含まれる付属データの中から、ユーザの指令に基づいて、再生する付属データを選択する選択ステップと、選択ステップの処理により選択された付属データが、副の再生パスにより参照されるサブファイルに含まれる場合、主の再生パスにより参照されるAVストリームファイルとともに副の再生パスにより参照されるサブファイルを読み出す読み出しステップと、読み出しステップの処理により読み出されたAVストリームファイルに含まれるメイン画像データ、および選択ステップの処理により選択され、読み出しステップの処理により読み出されたサブファイルに含まれる付属データを再生する再生ステップとを含む処理をコンピュータに実行させることを特徴とする。
第1の本発明においては、記録媒体に記録されているAVストリームファイルの位置を示す主の再生パスを含む第1の情報と、AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスを含む第2の情報により構成される再生管理情報が取得され、主の再生パスにより参照されるAVストリームファイルに含まれるメイン画像データのタイミングに合わせて再生される付属データ、および、副の再生パスにより参照されるサブファイルに含まれる付属データの中から、ユーザの指令に基づいて、再生する付属データが選択され、選択された付属データが、副の再生パスにより参照されるサブファイルに含まれる場合、主の再生パスにより参照されるAVストリームファイルとともに副の再生パスにより参照されるサブファイルが読み出され、読み出されたAVストリームファイルに含まれるメイン画像データ、および選択され、読み出されたサブファイルに含まれる付属データが再生される。
本発明の第1の記録媒体に記録されている関連データは、付属データが、AVストリームファイルの位置を示す主の再生パスにより使用されるクリップに含まれるか、または、AVストリームファイルの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスにより使用されるクリップに含まれるかを示し、関連データが、付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスにより使用されるクリップに含まれることを示す場合、関連データには、再生すべき副の再生パスを特定するIDと、副の再生パスにより使用されるクリップを特定するIDと、クリップにより再生されるエレメンタリストリームを特定するIDとのうち、少なくとも再生すべき副の再生パスを特定するIDが含まれていることを特徴とする。
第2の本発明においては、関連データは、付属データが、AVストリームファイルの位置を示す主の再生パスにより使用されるクリップに含まれるか、または、AVストリームファイルの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスにより使用されるクリップに含まれるかを示し、関連データが、付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスにより使用されるクリップに含まれることを示す場合、関連データには、再生すべき副の再生パスを特定するIDと、副の再生パスにより使用されるクリップを特定するIDと、クリップにより再生されるエレメンタリストリームを特定するIDとのうち、少なくとも再生すべき副の再生パスを特定するIDが含まれていることを特徴とする。
本発明の第2の記録媒体に記録されている再生制御ファイルは、AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルの位置を示す副の再生パスを含み、主の再生パスは、主の再生パスを再生中に選択しうるエレメンタリストリームの一覧を定義するテーブルを有し、テーブルは、選択しうるエレメンタリストリームが、主の再生パスにより選択されるAVストリームファイルに含まれているか、副の再生パスにより選択されるサブファイルに含まれているかを示すデータを有することを特徴とする。
本発明のデータ構造は、再生制御ファイルは、AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルの位置を示す副の再生パスを含み、主の再生パスは、主の再生パスを再生中に選択しうるエレメンタリストリームの一覧を定義するテーブルを有し、テーブルは、選択しうるエレメンタリストリームが、主の再生パスにより選択されるAVストリームファイルに含まれているか、副の再生パスにより選択されるサブファイルに含まれているかを示すデータを有することを特徴とする。
第3の本発明においては、再生制御ファイルに、AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルの位置を示す副の再生パスが含まれ、主の再生パスに、主の再生パスを再生中に選択しうるエレメンタリストリームの一覧を定義するテーブルが有され、テーブルに、選択しうるエレメンタリストリームが、主の再生パスにより選択されるAVストリームファイルに含まれているか、副の再生パスにより選択されるサブファイルに含まれているかを示すデータが有される。
本発明によれば、AVストリームファイルの再生に対して、インタラクティブな操作を行うことができる。特に、本発明によれば、主の再生パスにより参照されるAVストリームファイルとは異なる、副の再生パスにより参照されるサブファイルに対しても、インタラクティブな操作を行うことができる。
従来の音声切り替えを説明する図である。 従来の音声切り替えを説明する図である。 MPEG2プログラムストリームの構成を説明する図である。 ユーザに提供する音声信号と字幕信号の関係を表すストリームナンバーテーブルを説明する図である。 本発明を適用した再生装置に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。 メインパスとサブパスの構造を説明する図である。 メインパスとサブパスの例を説明する図である。 メインパスとサブパスの別の例を説明する図である。 メインパスとサブパスのさらに別の例を説明する図である。 メインパスとサブパスの別の例を説明する図である。 PlayList()のシンタクスを示す図である。 SubPath()のシンタクスを示す図である。 SubPlayItem(i)のシンタクスを示す図である。 PlayItem()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 stream_entry()のシンタクスの例を示す図である。 stream_attribute()のシンタクスを示す図である。 stream_cording_typeを説明する図である。 video_formatを説明する図である。 frame_rateを説明する図である。 aspect_ratioを説明する図である。 audio_presentation_typeを説明する図である。 sampling_frequencyを説明する図である。 Character codeを説明する図である。 本発明を適用した再生装置の構成例を示すブロック図である。 図25の再生装置における再生処理を説明するフローチャートである。 図25の再生装置における再生処理を説明するフローチャートである。 図25の再生装置における再生処理を説明するフローチャートである。 ユーザにより音声の切り替えが指示される場合の処理を説明するフローチャートである。 ユーザにより字幕の切り替えが指示される場合の処理を説明するフローチャートである。 パーソナルコンピュータの構成を示す図である。 PlayList()のシンタクスの別の例を示す図である。 PlayList()のシンタクスの別の例を示す図である。 STN_table()のシンタクスの他の例を示す図である。 図33のSTN_table()におけるtypeを説明する図である。
符号の説明
20 再生装置, 31 ストレージドライブ, 32 スイッチ, 33 AVデコ
ーダ部, 34 コントローラ, 51乃至54 バッファ, 55,56 PIDフィル
タ, 57乃至59 スイッチ, 71 バックグラウンドデコーダ, 72 MPEG2ビ
デオデコーダ, 73 プレゼンテーショングラフィックスデコーダ, 74 インタラ
クティブグラフィックスデコーダ, 75 オーディオデコーダ, 76 Text-STコン
ポジション, 77 スイッチ, 91 バックグラウンドプレーン生成部, 92 ビ
デオプレーン生成部, 93 プレゼンテーショングラフィックスプレーン生成部, 9
4 インタラクティブグラフィックスプレーン生成部, 95 バッファ 96 ビデオ
データ処理部, 97 オーディオデータ処理部
以下、図を参照して、本発明の実施の形態について説明する。
図5は、本発明を適用した再生装置20(図25を参照して後述する)に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよい。
アプリケーションフォーマットは、AV(Audio Visual)ストリームの管理のために、PlayListとClipの2つのレイヤを有している。ここでは、1つのAVストリームとそれに付随する情報であるClipインフォメーションのペアを1つのオブジェクトと考え、それらをまとめてClipと称する。以下、AVストリームをAVストリームファイルとも称する。また、ClipインフォメーションをClipインフォメーションファイルとも称する。
一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、AVストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、AVストリームの管理のためのレイヤである。
Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、Clip Informationファイルは、タイムスタンプから、AVストリームファイル中のデコードを開始すべきアドレス情報を見つけるために役立つ。
PlayListは、AVストリームの再生区間の集まりである。あるAVストリーム中の1つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のIN点(再生開始点)とOUT点(再生終了点)のペアで表される。従って、PlayListは、図5に示されるように1つ、または複数のPlayItemにより構成される。
図5において、左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照されている。また、左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照されている。さらに、左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照されている。
例えば、図5のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から1番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。
ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、ディスクナビゲーションプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。このディスクナビゲーションプログラムは、例えば、Java(登録商標)などのプログラミング言語で記述され、記録媒体上に用意される。
本実施の形態では、PlayListの中で、1つ以上のPlayItemの並びによって(連続するPlayItemにより)作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに平行(並列)して、1つ以上のSub Pathの並びによって(非連続でもよいし、連続してもよいSubPlayItemにより)作られる再生パスをサブパス(Sub Path)と称する。すなわち、再生装置20(図25を参照して後述する)に装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて(合わせて)再生されるサブパス(Sub Path)をPlayListの中に持つ。
図6は、メインパスとサブパスの構造を説明する図である。PlayListは、1つのメインパスと1つ以上のサブパスを持つことができる。1つのサブパスは、1つ以上のSubPlayItemの並びによって作られる。
図6の例の場合、PlayListは、3つのPlayItemの並びにより作られる1つのメインパスと、3つのサブパスを有している。メインパスを構成するPlayItemには、先頭から順番にそれぞれID(Identification)が付されている。具体的には、メインパスは、PlayItem_id=0、PlayItem_id=1、およびPlayItem_id=2のPlayItemからなる。また、サブパスにも先頭から順番にSubpath_id=0、Subpath_id=1、およびSubpath_id=2、とそれぞれIDが付されている。Subpath_id=0のサブパスには、1つのSubPlayItemが含まれ、Subpath_id=1のサブパスには、2つのSubPlayItemが含まれ、Subpath_id=2のサブパスには、1つのSubPlayItemが含まれる。
例えば、Subpath_id=1のサブパスは、映画のディレクターズカットなどに適用され、所定のAVストリームの部分にのみ、映画監督などのコメントが入っている場合が考えられる。
1つのPlayItemが参照するClip AVストリームファイルには、少なくともビデオストリームデータ(メイン画像データ)が含まれる。また、Clip AVストリームファイルに含まれるビデオストリーム(メイン画像データ)と同じタイミングで(同期して)再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。さらに、Clip AVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリームが1つ以上含まれてもよいし、含まれなくてもよい。また、Clip AVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが1つ以上含まれてもよいし、含まれなくてもよい。そして、Clip AVストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームが多重化されている。すなわち、1つのPlayItemが参照するClip AVストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される0個以上のオーディオストリーム、0個以上のビットマップ字幕ストリームデータ、および0個以上のインタラクティブグラフィックスストリームデータが多重化されている。
また、1つのSubPlayItemは、PlayItemが参照するClip AVストリームファイルとは異なるストリーム(別ストリーム)のオーディオストリームデータや字幕データを参照する。
メインパスのみを有するPlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中からしか音声や字幕を選択することができない。これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClip AVストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリームを参照することができる。
このように、1つのPlayListの中にSubPathを複数使用し、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、後で、SubPlayItemを追加できる構成とすることができる。
図7は、メインパスとサブパスの例を説明する図である。図7においては、メインパスと同じタイミングで(AV同期して)再生されるオーディオの再生パスを、サブパスを使用して表している。
図7のPlayListには、メインパスとして、PlayItem_id=0である1つのPlayItemと、サブパスとして1つのSubPlayItemが含まれている。SubPlayItem()は、次に示すデータが含まれている。まず、PlayListの中のSub Path(サブパス)が参照するClipを指定するためのClip_Information_file_nameを含む。図7の例の場合、SubPlayItemによって、SubClip_entry_id=0のAuxiliary audio stream(オーディオストリーム)が参照されている。また、Clip(ここでは、Auxiliary audio stream)の中のSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。さらに、Main pathの時間軸上でSub Pathが再生開始する時刻を指定するためのsync_PlayItem_idとsync_start_PTS_of_PlayItemを含む。図7の例の場合、sync_PlayItem_id=0とされ、sync_start_PTS_of_PlayItem=t1とされている。これにより、メインパスのPlayItem_id=0の時間軸上でSub Pathが再生を開始する時刻t1を指定することができる。すなわち、図7の例の場合では、メインパスの再生開始時刻t1とサブパスの開始時刻t1が同時刻であることを示している。
ここで、Sub Pathに参照されるオーディオのClip AVストリームは、STC不連続点(システムタイムベースの不連続点)を含んではならない。サブパスに使われるClipのオーディオサンプルのクロックは、メインパスのオーディオサンプルのクロックにロックされている。
換言すると、SubPlayItem()には、Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報が含まれている。Sub Pathに使われるClip AVストリームがSTCを含まないため、SubPlayItem()に含まれる情報(Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報)に基づいて、メインパスが参照するClip AVストリームとは異なるClip AVストリームのオーディオストリームを参照して、再生することができる。
このように、PlayItemとSubPlayItemは、Clip AVストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClip AVストリームファイルとSubPlayItemが管理するClip AVストリームファイルは異なるファイルとなる。
なお、図7の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。
図8は、メインパスとサブパスの別の例を説明する図である。図8においては、メインパスが、異なるタイミングで再生されるオーディオの再生パスを、サブパスを使用して表している。ここで、メインパスのPlayItemが参照するメインAVストリームファイルは、図7と同様であるので省略している。
例えば、メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGM(バックグラウンドミュージック)として使う場合に、このような構成が利用される。すなわち、ユーザが、スライドショーの画像更新を再生装置(プレーヤ)へ指令したときに、BGMを途切れさせないで再生させる場合に利用される。
図8においては、メインパスにPlayItem_id=0,1,2が配置され、サブパスに1つのSubPlayItemが配置されている。そして、Sub Pathが、Clip(Auxiliary audio stream)の中のSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。図8の例の場合、SubPlayItemによって、Clip(Auxiliary audio stream)が参照されている。図8と図7を比較するに、図8では、SubPlayItemにsync_PlayItem_idとsync_start_PTS_of_PlayItemを含まない。このことは、メインパスが参照するAVストリームの(ビデオデータの)タイミングとオーディオの再生タイミングは関係ないため、Main pathの時間軸上でSub Pathが再生を開始する時刻を指定する必要がないからである。すなわち、単にMain Pathが参照するAVストリームとSub Pathが参照するオーディオストリームを合わせて再生する、という情報だけあればよい。
なお、ここで、AVストリームに含まれるビデオストリームのデータとサブパスにより参照されるオーディオストリームのデータの再生のタイミングが異なると記載しているが、より詳細には、AVストリームに含まれるビデオストリームの再生のタイミングと、オーディオストリームの再生タイミングは合ってはいる(すなわち、ビデオストリームにオーディオストリームが関連付けられている)が、ビデオストリームの中の所定のフレームを再生中に、対応する音が再生される、という具体的な対応付けまでは行われていないことを示している。すなわち、図7の例では、ビデオストリームの再生タイミングと、オーディオストリームの再生タイミングが合っている上に、ビデオストリームの中の所定のフレームを再生中に、対応する音が再生される、という具体的な対応付けまで行われているが、図8の例では、ビデオストリームの再生タイミングと、オーディオストリームの再生タイミングが合っているが、具体的な対応付けまでは行われおらず、ビデオストリームの中の所定フレームを再生中に、対応する音が再生されるということではない。


図9は、メインパスとサブパスの別の例を説明する図である。図9においては、メインパスと同じタイミングで再生されるテキスト字幕(Interactive graphics stream)の再生パスを、サブパスを使用して表している。ここで、メインパスのPlayItemが参照するメインAVストリームファイルは、図7と同様であるので省略している。
この場合、テキスト字幕はMPEG−2システムの多重化ストリーム、あるいは、多重化ストリームではないデータファイルとして定義される。このデータファイルは、メインパスのビデオに同期して再生される台詞のテキストデータ(文字コードの並び)と、そのアトリビュートをまとめたファイルである。アトリビュートは、テキストデータをレンダリングするときに使うフォント種類、フォントの大きさ、文字の色などの情報である。
図9と図7を比較するに、図9においては、SubPlayItemによって、SubClip_entry_id=0,1,・・・,NのText based subtitle(テキスト字幕)を参照することができる。すなわち、1つのSubPlayItemで、同じタイミングで複数のテキスト字幕ファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のテキスト字幕ファイルから1つのテキスト字幕ファイルが選ばれて再生される。例えば、複数の言語のテキスト字幕ファイルの中から、1つのテキスト字幕ファイルが選ばれて再生される。具体的には、SubClip_entry_id=0乃至Nの中から(ユーザの指令に基づいて)1つが選択され、そのIDが参照するText based subtitleが再生される。
なお、テキスト字幕ファイルに限らず、ビットマップ字幕ストリームファイル、トランスポートストリームファイル、各種のデータファイルなどについても同様に適用することができる。また、キャラクタのコードやそれをレンダリングする情報を含むデータファイルであっても、同様に適用することができる。
図10は、メインパスとサブパスの別の例を説明する図である。図10においては、メインパスが、異なるタイミングで再生されるインタラクティブグラフィックスストリーム(Interactive graphics stream)の再生パスを、サブパスを使用して表している。
図10と図8を比較するに、図10においては、SubPlayItemによって、SubClip_entry_id=0,1,・・・,NのInteractive graphics stream(インタラクティブグラフィックスストリーム)を参照することができる。すなわち、1つのSubPlayItemで、同じタイミングで複数のインタラクティブグラフィックスストリームファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のインタラクティブグラフィックスストリームファイルから1つのインタラクティブグラフィックスストリームファイルが選ばれて再生される。具体的には、SubClip_entry_id=0乃至Nの中から(ユーザの指令に基づいて)1つが選択され、そのIDが参照するInteractive graphics streamが再生される。例えば、ユーザからの指令に基づいて、インタラクティブグラフィックスストリームの言語のうちの1つが選択され、選択された言語のインタラクティブグラフィックスストリームが再生される。
次に、図6乃至図10を用いて説明したメインパスとサブパスの構造を具体的に実現するためのデータ構造(シンタクス)を説明する。
図11は、PlayList()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す32ビットの符号なし整数である。lengthの後には、16ビットのreserved_for_future_useが用意される。number_of_PlayItemsは、PlayListの中にあるPlayItemの数を示す16ビットのフィールドである。例えば、図6の例の場合PlayItemの数は3個である。PlayItem_idの値は、PlayListの中でPlayItem()が現れる順番に0から割り振られる。例えば、図6、図8、または図10に示されるように、PlayItem_id=0,1,2が割り振られる。
number_of_SubPathsは、PlayListの中にあるSubPathの数(エントリー数)を示す16ビットのフィールドである。例えば、図6の例の場合、Sub Pathの数は3個である。SubPath_idの値は、PlayListの中でSubPath()が現れる順番に0から割り振られる。例えば、図6に示されるように、Subpath_id=0,1,2が割り振られる。その後のfor文では、PlayItemの数だけPlayItemが参照され、Sub Pathの数だけ、Sub Pathが参照される。
図11の別案として、図32に示すSyntaxも考えられる。図11では、SubPathの情報を格納したデータ構造SubPath()をPlayList()の中に設けたが、図32ではPlayList()とは独立したデータ構造としている。図32AのPlayList()には、Main pathのPlayItemだけが記述され、図32BのSubPaths()には、Sub Path,SubPlayItemが記述される。図32のようなデータ構造にしておくと、SubPaths()をPlayList()が格納されるファイルとは別のファイルに格納することができる。例えば、SubPath()が格納されたファイルとSubPathによって参照されている字幕ストリームファイルあるいはオーディオストリームファイル等をネットワークからダウンロードして、記録媒体に格納されているMain pathと同時に再生するという用途が考えられる。すなわち、SubPathの拡張がより容易に実現できる。PlayList()が格納されるファイルとSubPaths()が格納されるファイルとの関連付けは、例えばファイル名の一部を一致させることによって実現できる。
図12は、SubPath()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub Path ()の最後までのバイト数を示す32ビットの符号なし整数である。lengthの後には、16ビットのreserved_for_future_useが用意される。SubPath_typeは、SubPathのアプリケーション種類を示す8ビットのフィールドである。SubPath_typeは、例えば、Sub Pathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。すなわち、図7乃至図10で上述したようなSub pathの種類を示す。SubPath_typeの後には、15ビットのreserved_for_future_useが用意される。is_repeat_SubPathは、SubPathの再生方法を指定する1ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を1回だけ行うかを示すものである。例えば、図8や図10に示されるようなメインAVストリームとサブパスが指定するClipの再生タイミングが異なる場合などに利用される。Is_repeat_SubPathの後には、8ビットのreserved_for_future_useが用意される。number_of_SubPlayItemsは、1つのSubPathの中にあるSubPlayItemの数(エントリー数)を示す8ビットのフィールドである。例えば、number_of_SubPlayItemsは、図6のSubPath_id=0のSubPlayItemは1個であり、SubPath_id=1のSubPlayItemは2個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。
図13は、SubPlayItem(i)のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub playItem ()の最後までのバイト数を示す16ビットの符号なし整数である。
図13においては、SubPlayItemが1つのClip を参照する場合と、複数のClip を参照する場合に分けられている。
最初に、SubPlayItemが1つのClipを参照する場合について説明する。
SubPlayItemには、Clipを指定するためのClip_Information_file_ name[0]が含まれる。また、Clipのコーデック方式を指定するClip_codec_identifier[0]、reserved_for_future_use、マルチクリップの登録の有無を示すフラグであるis_multi_Clip_entries、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[0]を含む。is_multi_Clip_entriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。また、Clipの中にあるSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。さらに、main pathの時間軸上でSub Pathが再生開始する時刻を指定するためsync_PlayItem_id と sync_start_PTS_of_PlayItemを含む。このsync_PlayItem_id と sync_start_PTS_of_PlayItemは、上述したように、図7と図9の場合(メインAVストリームとサブパスにより示されるファイルの再生タイミングが同じである場合)に使用され、図8と図10の場合(メインAVストリームとサブパスにより示されるファイルの再生タイミングが異なる場合)には使用されない。また、SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。
次に、SubPlayItemが複数のClipを参照する場合(if(is_multi_Clip_entries==1b)である場合、すなわちマルチクリップの登録が行われている場合)について説明する。具体的には、図9や図10に示されるように、SubPlayItemが複数のClip を参照する場合を示す。
num_of_Clip_entriesは、Clipの数を示しており、Clip_Information_file_name[subclip_entry_id]の数が、Clip_Information_file_ name[0]を除く、Clipsを指定する。すなわち、Clip_Information_file_ name[0]を除く、Clip_Information_file_ name[1]、Clip_Information_file_ name[2]などのClipを指定する。また、SubPlayItemは、Clipのコーデック方式を指定するClip_codec_identifier[subclip_entry_id]、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[subclip_entry_id]、およびreserved_for_future_useを含む。
なお、複数のClipの間で、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは共通して使われる。図9の例の場合、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubClip_entry_id=0乃至Nの間で共通して使用されるものであり、選択されたSubClip_entry_idに対するText based subtitleがこのSubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemに基づいて再生される。
ここで、subclip_entry_idの値は、SubPlayItemの中にあるClip_Information_file_name[subclip_entry_id]が現れる順番に1から割り振られる。また、Clip_Information_file_ name[0]のsubclip_entry_idは0である。
図14は、PlayItem()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す16ビットの符号なし整数である。Clip_Information_file_ name[0]は、PlayItemが参照するClipを指定するためのフィールドである。図7の例の場合、Clip_Information_file_ name[0]により、メインAVストリームが参照される。また、Clipのコーデック方式を指定するClip_codec_identifier[0]、reserved_for_future_use、is_multi_angle、connection_condition、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[0]を含む。さらに、Clipの中のPlayItemの再生区間を指定するためのIN_time と OUT_timeを含む。図7の例の場合、IN_time と OUT_timeにより、メインClipAVストリームファイルの再生範囲が表される。また、UO_mask_table()、PlayItem_random_access_mode、still_modeを含む。is_multi_angleが複数ある場合については、本発明と直接的には関係ないのでその説明を省略する。
PlayItem()の中のSTN_table()は、対象のPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作が、そのPlayItemが参照するClipとこれらの1つ以上のSubPathが参照する参照するClipsの中から選ぶことができる仕組みを提供するものである。
図15は、STN_table()のシンタクスを示す図である。STN_table()は、PlayItemの属性として設定されている。
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す16ビットの符号なし整数である。lengthの後には、16ビットのreserved_for_future_useが用意される。num_of_video_stream_entriesは、STN_table()の中でエントリーされる(登録される)video_stream_idが与えられるストリーム数を示す。video_stream_idは、ビデオストリームを識別するための情報であり、video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。num_of_audio_stream_entriesは、STN_table()の中でエントリーされるaudio_stream_idが与えられるストリーム数を示す。audio_stream_idは、オーディオストリームを識別するための情報であり、audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。
num_of_PG_txtST_stream_entriesは、STN_table()の中でエントリーされるPG_txtST_stream_idが与えられるストリーム数を示す。この中では、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリーム(PG, Presentation Graphics stream)とテキスト字幕ファイル(txtST)がエントリーされる。PG_txtST_stream_idは、字幕ストリームを識別するための情報であり、PG_txtST_stream_numberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号(テキストサブタイトルストリームの番号)である。
num_of_IG_stream_entriesは、STN_table()の中でエントリーされる IG_stream_idが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリームがエントリーされる。IG_stream_idは、インタラクティブグラフィックスストリームを識別するための情報であり、IG_stream_numberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。
ここで、stream_entry()のシンタクスについて図16を参照して説明する。
typeは、上述したストリーム番号が与えられるストリームを一意に特定するために必要な情報の種類を示す8ビットのフィールドである。
type=1では、PlayItemによって参照されるClip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、パケットID(PID)が指定される。ref_to_stream_PID_of_mainClipが、このPIDを示している。すなわち、type=1では、メインClipAVストリームファイルの中のPIDを指定するだけでストリームが決定される。
type=2では、SubPathが一度にただ1つのエレメンタリストリームだけを多重化する1つのClipを参照する場合に、この1つのエレメンタリストリームを特定するために、そのSubPathのSubPath_idが指定される。ref_to_SubPath_idがこのSubPath_idを示している。type=2は、例えば、図8に示されるように、Sub Pathによって、1つのオーディオストリームしか参照されない場合、すなわち、SubPlayItemの中にClipが1つしかない場合に用いられる。
type=3では、SubPathが一度に複数個のClipsを参照し、それぞれのClipがただ1つのエレメンタリストリームだけを多重化する場合に、SubPathによって参照される1つのClip(Sub Clip)の1つのエレメンタリストリームを特定するために、そのSubPathのSubPath_idとClip idが指定される。ref_to_SubPath_idがこのSubPath_idを示し、ref_to_subClip_entry_idがこのClip idを示している。Type=3は、例えば、図9に示されるように、1つのSub Pathで複数のClip (Text based Subtitle)を参照しているような場合、すなわち、SubPlayItemの中にClipが複数ある場合に用いられる。
type=4では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される1つのClip(Sub Clip)の複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、そのSubPathのSubPath_id、Clip id、およびパケットID(PID)が指定される。ref_to_SubPath_idがこのSubPath_idを示し、ref_to_subClip_entry_idがこのClip idを示し、ref_to_stream_PID_of_subClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。
このように、type(1乃至4のtype)を使うことで、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から1つのエレメンタリストリームを特定することができる。なお、type=1はMain Pathが参照するClip(メインClip)を示しており、type=2乃至4はSub Pathが参照するClip(サブClip)を示している。なお、図16において、エレメンタリストリームを特定するために、4つのtypeを設けたが、メインClipの中に多重化されているエレメンタリストリームを特定するためのtype(図16ではtype=1に相当)と、図16における、type2乃至4までとをまとめて、サブパス(Subpath)により使用されるクリップのエレメンタリストリームを特定するためのtypeとして、2つのtypeに分けてもよい。この場合のstream_entry()のシンタクスを、図33を参照して説明する。
図33において、typeは、上述したストリーム番号が与えられるストリームを一意に特定するために必要な情報の種類を示す8ビットのフィールドである。すなわち、typeの8ビットのフィールドは、stream_entry()のstream numberにより参照されるエレメンタリストリームを特定するためのデータベースのtypeを指定するためのものである。図33の例の場合、typeは、図34に示されるように2つのtypeに分けられる。図34において、type=1は、メインクリップの中に多重化されているエレメンタリストリームを特定するためのtype(図16ではtype=1に相当)であり、type=2は、図16のtype2乃至4までをまとめたものであり、サブパス(Subpath)により使用されるクリップのエレメンタリストリームを特定するためのtypeである。
図33のtype=1は、PlayItemにより使用されるClip(Main Clip)のエレメンタリストリームを特定するためのものである。すなわち、type=1では、PlayItemによって参照されるClip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、パケットID(PID)が指定される。ref_to_stream_PID_of_mainClipが、このPIDを示している。換言すれば、type=1では、メインClipAVストリームファイルの中のPIDを指定するだけでストリームが決定される。
また、図33のtype=2は、PlayItemに付随するSubpathにより使用されるClipのエレメンタリストリームを特定するためのものである。type=2では、例えば、SubPathが一度にただ1つのエレメンタリストリームだけを多重化する1つのClipを参照する場合(図16におけるtype=2)、SubPathが一度に複数個のClipsを参照し、それぞれのClipがただ1つのエレメンタリストリームだけを多重化する場合(図16におけるtype=3)、または、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合(図16におけるtype=4)に、エレメンタリストリームを特定するために、SubPath_id、Clip id、およびパケットID(PID)が指定される。
なお、図33においては、type=2である場合、SubPath_id、Clip id、およびパケットID(PID)の3つが指定されるものとして説明するが、SubPath_id、Clip id、およびパケットID(PID)の3つ全てが指定されなくともよい。例えば、SubPathが一度にただ1つのエレメンタリストリームだけを多重化する1つのClipを参照する場合(図16のtype=2に対応する場合)、この1つのエレメンタリストリームを特定するために、そのSubPathのSubPath_idが指定されればよい。また、例えば、SubPathが一度に複数個のClipsを参照し、それぞれのClipがただ1つのエレメンタリストリームだけを多重化する場合(図16のtype=3に対応する場合)、SubPathによって参照される1つのClip(Sub Clip)の1つのエレメンタリストリームを特定するために、そのSubPathのSubPath_idとClip idとが指定されればよい。また、例えば、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合(図16のtype=4に対応する場合)、SubPathによって参照される1つのClip(Sub Clip)の複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、そのSubPathのSubPath_id、Clip id、およびパケットID(PID)が指定されればよい。すなわち、図33および図34のtype=2の場合、SubPath_id、Clip id、およびパケットID(PID)のうち、少なくともSubpath_idが指定されればよい。
図33と図34に示されるように、type(1と2のtype)を使う場合においても、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から1つのエレメンタリストリームを特定することができる。
図15のSTN_table()の説明に戻って、ビデオストリームID (video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのビデオエレメンタリストリームに、0からvideo_stream_idが与えられる。なお、ビデオストリームID(video_stream_id)の代わりに、ビデオストリーム番号(video_stream_number)を用いるようにしてもよい。この場合、video_stream_numberは、0ではなく1から与えられる。すなわち、video_stream_idの値に1を加算したものがvideo_stream_numberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、1から定義される。
同様に、オーディオストリームID (audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのオーディオエレメンタリストリームに、0からaudio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、オーディオストリームID(audio_stream_id)の代わりに、オーディオストリーム番号(audio_stream_number)を用いるようにしてもよい。この場合、audio_stream_numberは、0ではなく1から与えられる。すなわち、audio_stream_idの値に1を加算したものがaudio_stream_numberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、1から定義される。
同様に、字幕ストリームID (PG_txtST_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、0からPG_txtST_stream_idが与えられる。なお、ビデオストリームの場合と同様に、字幕ストリームID(PG_txtST_stream_id)の代わりに、字幕ストリーム番号(PG_txtST_stream_number)を用いるようにしてもよい。この場合、PG_txtST_stream_numberは、0ではなく1から与えられる。すなわち、PG_txtST_stream_idの値に1を加算したものがPG_txtST_stream_numberである。字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号(テキストサブタイトルストリームの番号)であるので、1から定義される。
同様に、グラフィックスストリームID (IG_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームに、0からIG_stream_idが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリームID(IG_stream_id)の代わりに、グラフィックスストリーム番号(IG_stream_number)を用いるようにしてもよい。この場合、IG_stream_numberは、0ではなく1から与えられる。すなわち、IG_stream_idの値に1を加算したものがIG_stream_numberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、1から定義される。
次に、図15のSTN_table()のstream_attribute()について説明する。
ビデオストリームID (video_stream_id)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報が記述されている。
同様に、オーディオストリームID(audio_stream_id)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。
同様に、字幕ストリームID(PG_txtST_stream_id)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕エレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのビットマップ字幕エレメンタリストリームのストリーム属性情報が記述されている。
同様に、グラフィックスストリームID(IG_stream_id)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報が記述されている。
ここで、stream_attribute()のシンタクスについて図17を参照して説明する。
lengthは、このlengthフィールドの直後からstream_attribute()の最後までのバイト数を示す16ビットの符号なし整数である。
stream_coding_typeは、図18に示されるようにエレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、MPEG-2 video stream、HDMV LPCM audio、Dolby AC-3 audio、dts audio、Presentation graphics stream、Interactive graphics stream、およびText subtitle streamが記述される。
video_formatは、図19に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、480i、576i、480p、1080i、720p、および1080pが記述される。
frame_rateは、図20に示されるように、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、24000/1001、24、25、30000/1001、50、および60000/1001が記述される。
aspect_ratioは、図21に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、4:3 display aspect ratio、および16:9 display aspect ratioが記述される。
audio_presentation_typeは、図22に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、single mono channel、dual mono channel、stereo(2-channel)、およびmulti-channelが記述される。
sampling_frequencyは、図23に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、48kHz、および96kHzが記述される。
audio_language_codeは、オーディオエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
PG_language_codeは、ビットマップ字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
IG_language_code、インタラクティブグラフィックスエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
textST_language_codeは、テキスト字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
character_codeは、図24に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、Unicode V1.1(ISO 10646-1)、Shift JIS(Japanese)、KSC 5601-1987 including KSC 5653 for Roman character(Korean)、GB 18030-2000(Chinese)、GB2312(Chinese)、およびBIG5(Chinese)が記述される。
以下に、図17のstream_attribute()のシンタクスについて、図17と、図18乃至図24を用いて具体的に説明する。
エレメンタリストリームの符号化タイプ(図17のstream_coding_type)がMPEG-2 video stream(図18)である場合、stream_attribute()には、そのエレメンタリストリームのビデオフォーマット(図19)、フレームレート(図20)、およびアスペクト比情報(図21)が含まれる。
エレメンタリストリームの符号化タイプ(図17のstream_coding_type)がHDMV LPCM audio、Dolby AC-3 audio、またはdts audio(図18)である場合、stream_attribute()には、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報(図22)、サンプリング周波数(図23)、および言語コードが含まれる。
エレメンタリストリームの符号化タイプ(図17のstream_coding_type)がPresentation graphics stream(図18)である場合、stream_attribute()には、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。
エレメンタリストリームの符号化タイプ(図17のstream_coding_type)がInteractive graphics stream(図18)である場合、stream_attribute()には、そのインタラクティブグラフィックスエレメンタリストリームの言語コードが含まれる。
エレメンタリストリームの符号化タイプ(図17のstream_coding_type)がText subtitle stream(図18)である場合、stream_attribute()には、そのテキスト字幕エレメンタリストリームのキャラクタコード(図24)、言語コードが含まれる。
なお、これらの属性情報はこれに限定されない。
このように、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から、stream_entry()によって特定された1つのエレメンタリストリームの属性情報をstream_attribute()によって知ることができる。
再生装置は、この属性情報(stream_attribute())を調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。
例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリームID (PG_txtST_stream_id)のforループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。
また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。この再生装置に対して、ユーザが音声切り替えを指示した場合、再生装置は、オーディオストリームID (Audio stream id)のforループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。
このようにして、PlayItem()の中のSTN_table()は、このPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作が、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から選ぶことができる仕組みを提供するようにしたので、メインAVストリームが記録されている、再生するAVストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。
また、1つのPlayListの中にSubPathを複数使用し、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、後で、SubPlayItemを追加できる構成とすることができる。例えば、Main Pathが参照するClipAVストリームファイルとこれに対応付けられるPlayListがあり、このPlayListが新たなSub Pathを追加したPlayListに書き換えられた場合、新たなPlayListに基づいて、Main Pathが参照するClipAVストリームファイルとともに、Main Pathが参照するClipAVストリームファイルとは異なるClipAVストリームファイルを参照して、再生を行うことができる。このように、拡張性を有する構成とすることができる。
次に、本発明を適用した再生装置について説明する。図25は、本発明を適用した再生装置20の構成例を示すブロック図である。この再生装置20は、上述したメインパスとサブパスを有するPlayListを再生する再生装置20である。
再生装置20には、ストレージドライブ31、スイッチ32、AVデコーダ部33、およびコントローラ34が設けられている。
図25の例の場合、最初に、コントローラ34がストレージドライブ31を介してPlayListファイルを読み出し、PlayListファイルの情報に基づいて、ストレージドライブ31を介してHDD、ブルーレイディスク、またはDVDなどの記録媒体からAVストリームやAVデータを読み出す。ユーザは、ユーザインターフェースを用いて、コントローラ34に対し、音声や字幕などの切り替えの指令を行うことができる。また、コントローラ34には、再生装置20の言語設定の初期情報が図示せぬ記憶部などから供給される。
PlayListファイルには、Main Path、Sub Pathの情報の他、STN_table()が含まれている。コントローラ34は、PlayListファイルに含まれるPlayItemが参照するメインClip AVストリームファイル(以下、メインClipと称する)、SubPlayItemが参照するサブClip AVストリームファイル(以下、サブClipと称する)、およびSubPlayItemが参照するテキストサブタイトルデータを、ストレージドライブ31を介して記録媒体などから読み出す。また、コントローラ34は、自分自身(再生装置20)の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置20の言語設定の初期情報に対応するエレメンタリストリームだけを選択し、再生するよう制御する。
AVデコーダ部33には、バッファ51乃至54、PIDフィルタ55、PIDフィルタ56、スイッチ57乃至59、バックグラウンドデコーダ71、MPEG(Moving Picture Experts Group)2ビデオデコーダ72、プレゼンテーショングラフィックスデコーダ73、インタラクティブグラフィックスデコーダ74、オーディオデコーダ75、Text-STコンポジション76、スイッチ77、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、インタラクティブグラフィックスプレーン生成部94、バッファ95、ビデオデータ処理部96、およびオーディオデータ処理部97が設けられている。
コントローラ34により読み出されたファイルデータは、図示せぬ復調、ECC復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ32は、復調され、誤り訂正が施されたデータを、コントローラ34からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ51乃至54に供給する。具体的には、スイッチ32は、コントローラ34からの制御に基づいて、バックグラウンドイメージデータをバッファ51に供給し、メインClipのデータをバッファ52に供給し、サブClipのデータをバッファ53に供給し、Text-STのデータをバッファ54に供給するようスイッチ32を切り替える。バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClipのデータをバッファリングし、バッファ53は、サブClipのデータをバッファリングし、バッファ54は、Text-STデータをバッファリングする。
メインClipは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスのうち、ビデオに加えて1つ以上のストリームを多重化したストリーム(例えばトランスポートストリーム)である。サブClipは、オーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスとオーディオのうち、1つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイル(Text-ST)のデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。
また、メインClipとサブClipおよびテキストサブタイトルデータを、ストレージドライブ31(記録媒体)から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、サブClipやテキストサブタイトルデータをメインClipから読み出す前に、すべてバッファ(バッファ53またはバッファ54)へプリロードしてもよい。
再生装置20は、これらのファイルのデータを、ストレージドライブ31を介して記録媒体から読み出し、ビデオ、ビットマップ字幕、インタラクティブグラフィックス、およびオーディオを再生する。
具体的には、メインClip用リードバッファであるバッファ52から読み出されたストリームデータは、所定のタイミングで、後段のPID(パケットID)フィルタ55へ出力される。このPIDフィルタ55は、入力されたメインClipをPID(パケットID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ55は、ビデオストリームをMPEG2ビデオデコーダ72に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームをオーディオデコーダ75への供給元となるスイッチ59に供給する。
プレゼンテーショングラフィックスストリームは、例えば、ビットマップの字幕データであり、テキストサブタイトルデータは、例えば、テキスト字幕データである。
サブClip用リードバッファであるバッファ53から読み出されたストリームデータは、所定のタイミングで、後段のPID(パケットID)フィルタ56へ出力される。このPIDフィルタ56は、入力されたサブClipをPID(パケットID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ56は、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームをオーディオデコーダ75への供給元となるスイッチ59に供給する。
バックグラウンドイメージデータをバッファリングするバッファ51から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ71に供給される。バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部91に供給する。
PIDフィルタ55により振り分けられたビデオストリームは、後段のビデオデコーダ72に供給される。ビデオデコーダ72は、ビデオストリームをデコードし、デコードしたビデオデータをビデオプレーン生成部92へ出力する。
スイッチ57は、PIDフィルタ55から供給されたメインClipに含まれるプレゼンテーショングラフィックスストリームと、サブClip に含まれるプレゼンテーショングラフィックスストリームのうちのいずれか1つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ73に供給する。プレゼンテーショングラフィックスデコーダ73は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部93への供給元となるスイッチ77に供給する。
また、スイッチ58は、PIDフィルタ55から供給されたメインClipに含まれるインタラクティブグラフィックスストリームと、サブClip に含まれるインタラクティブグラフィックスストリームのうちのいずれか1つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。すなわち、インタラクティブグラフィックスデコーダ74へ同時に入力されるインタラクティブグラフィックスストリームは、メインClipまたはサブClipのどちらかから分離されたストリームである。インタラクティブグラフィックスデコーダ74は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、インタラクティブグラフィックスプレーン生成部94に供給する。
さらに、スイッチ59は、PIDフィルタ55から供給されたメインClipに含まれるオーディオストリームと、サブClip に含まれるオーディオストリームのうちのいずれか1つを選択し、選択したオーディオストリームを、後段のオーディオデコーダ75に供給する。すなわち、オーディオデコーダ75へ同時に入力されるオーディオストリームは、メインClipまたはサブClipのどちらかから分離されたストリームである。オーディオデコーダ75は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをオーディオデータ処理部97に供給する。
また、スイッチ32により選択されたサウンドデータは、バッファ95に供給され、バッファリングされる。バッファ95は、所定のタイミングでサウンドデータをオーディオデータ処理部97に供給する。サウンドデータは、この場合、メニュー選択などによる効果音のデータである。
テキストサブタイトル用リードバッファであるバッファ54から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジション(デコーダ)76へ出力される。テキストサブタイトルコンポジション76は、Text-STデータをデコードし、スイッチ77に供給する。
スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、Text-ST(テキストサブタイトルデータ)のうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。すなわち、プレゼンテーショングラフィックスプレーン93へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ73またはテキストサブタイトル(Text-ST)コンポジション76のうちのいずれかの出力である。また、プレゼンテーショングラフィックスデコーダ73へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClipまたはサブClipのいずれかから分離されたストリームである(スイッチ57により選択される)。したがって、プレゼンテーショングラフィックスプレーン93へ同時に出力される字幕画像は、メインClipからのプレゼンテーショングラフィックスストリーム、またはサブClipからのからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。
バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部96に供給する。ビデオプレーン生成部92は、MPEG2ビデオデコーダ72から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部96に供給する。プレゼンテーショングラフィックスプレーン生成部93は、スイッチ77により選択され、供給されたデータ(プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータ)に基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。
ビデオデータ処理部96は、バックグラウンドプレーン生成部91からのバックグラウンドプレーン、ビデオプレーン生成部92からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部93からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部94からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。また、オーディオデータ処理部97は、オーディオデコーダ75からのオーディオデータと、バッファ95からのサウンドデータを合成し、音声信号として出力する。
これらのスイッチ57乃至59、並びにスイッチ77は、ユーザインターフェースを介するユーザからの選択、または、対象となるデータが含まれるファイル側に基づいて、スイッチを切り替える。具体的には、サブClip AVストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ59はサブ側にスイッチを切り替える。
次に、図25の再生装置20における再生処理を、図26乃至図28のフローチャートを参照して説明する。なお、この処理は、ユーザによりユーザインターフェースを介して、所定のAVストリームの再生が指令されたとき開始される。
ステップS11において、コントローラ34は、ストレージドライブ31を介して、記録媒体や図示せぬHDD(Hard Disk Drive)に記録されているPlayListファイルを読み出す。例えば、図11を用いて説明したPlayListのファイルが読み出される。
ステップS12において、コントローラ34は、メインClip、サブClip、およびテキストサブタイトルデータ(Text-STデータ)を読み出す。具体的には、コントローラ34は、図11を用いて説明したPlayListに含まれるPlayItemに基づいて、メインClipを読み出す。また、コントローラ34は、PlayListに含まれるSubPathで参照される、図12および図13を用いて説明したSubPlayItemに基づいて、サブClipと、テキストサブタイトルデータを読み出す。
ステップS13において、コントローラ34は、読み出したデータ(メインClip、サブClip、およびテキストサブタイトルデータ)を対応するバッファ51乃至54に供給するようスイッチ32を制御する。具体的には、コントローラ34は、バックグラウンドイメージデータをバッファ51に供給し、メインClipのデータをバッファ52に供給し、サブClipのデータをバッファ53に供給し、Text-STのデータをバッファ54に供給するようスイッチ32を切り替える。
ステップS14において、スイッチ32はコントローラ34からの制御に基づいて、スイッチ32を切り替える。これにより、バックグラウンドイメージデータはバッファ51に供給され、メインClipのデータはバッファ52に供給され、サブClipのデータはバッファ53に供給され、テキストサブタイトルデータはバッファ54に供給される。
ステップS15において、各バッファ51乃至54は、供給されたデータをそれぞれバッファリングする。具体的には、バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClipのデータをバッファリングし、バッファ53は、サブClipのデータをバッファリングし、バッファ54は、Text-STデータをバッファリングする。
ステップS16において、バッファ51は、バックグラウンドイメージデータをバックグラウンドデコーダ71に出力する。
ステップS17において、バッファ52はメインClipのストリームデータをPIDフィルタ55に出力する。
ステップS18において、PIDフィルタ55は、メインClip AVストリームファイルを構成するTSパケットに付されているPIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、PIDフィルタ55は、ビデオストリームをMPEG2ビデオデコーダ72に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームをオーディオデコーダ75への供給元となるスイッチ59に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。
ステップS19において、バッファ53は、サブClipのストリームデータをPIDフィルタ56に出力する。
ステップS20において、PIDフィルタ56は、PIDに基づいて、各エレメンタリストリームのデコーダへ振り分ける。具体的には、PIDフィルタ56は、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームをオーディオデコーダ75への供給元となるスイッチ59に供給する。
ステップS21において、PIDフィルタ55およびPIDフィルタ56の後段のスイッチ57乃至59は、ユーザインターフェースを介するコントローラ34からの制御に基づいて、メインClip とサブClipのいずれかを選択する。具体的には、スイッチ57は、PIDフィルタ55から供給されたメインClipまたはサブClipのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ73に供給する。また、スイッチ58は、PIDフィルタ55から供給されたメインClipまたはサブClipのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。さらに、スイッチ59は、PIDフィルタ55から供給されたメインClipまたはサブClipのオーディオストリームを選択し、後段のオーディオデコーダ75に供給する。
ステップS22において、バッファ54は、テキストサブタイトルデータをテキストサブタイトルコンポジション76に出力する。
ステップS23において、バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部91に出力する。
ステップS24において、MPEG2ビデオデコーダ72は、ビデオストリームをデコードし、これをビデオプレーン生成部92に出力する。
ステップS25において、プレゼンテーショングラフィックスデコーダ73は、スイッチ57により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ77に出力する。
ステップS26において、インタラクティブグラフィックスデコーダ74は、スイッチ58により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部94に出力する。
ステップS27において、オーディオデコーダ75は、スイッチ59により選択され、供給されたオーティオデータをデコードし、これを後段のオーディオデータ処理部97に出力する。
ステップS28において、Text-STコンポジション76は、テキストサブタイトルデータをデコードし、これを後段のスイッチ77に出力する。
ステップS29において、スイッチ77は、プレゼンテーショングラフィックスデコーダ73またはText-STコンポジション76からのデータのいずれかを選択する。具体的には、スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、Text-ST(テキストサブタイトルデータ)のうち、いずれか1つを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。
ステップS30において、バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成する。
ステップS31において、ビデオプレーン生成部92は、MPEG2ビデオデコーダ72から供給されたビデオデータに基づいて、ビデオプレーンを生成する。
ステップS32において、プレゼンテーショングラフィックスプレーン生成部93は、ステップS29の処理でスイッチ77により選択され、供給されたプレゼンテーショングラフィックスデコーダ73からのデータまたはText-STコンポジション76からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成する。
ステップS33において、インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成する。
ステップS34において、バッファ95は、ステップS14の処理で選択され、供給されたサウンドデータをバッファリングし、所定のタイミングでオーディオデータ処理部97に供給する。
ステップS35において、ビデオデータ処理部97は、各プレーンのデータを合成し、出力する。具体的には、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、およびインタラクティブグラフィックスプレーン生成部94からのデータを合成し、ビデオデータとして出力する。
ステップS36において、オーディオデータ処理部97は、オーディオデータとサウンドデータを合成し、出力する。
図26乃至図28の処理により、PlayListに含まれるメインパスとサブパスによりメインClip、サブClip、およびテキストサブタイトルデータが参照され、再生される。メインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClip AVストリームファイルとは異なるClipを指定可能な構成としたので、メインパスのPlayItemが指すメインClipとは異なるClipであるサブClipのデータとメインClipのデータを一緒に(同じタイミングで)再生することができる。
なお、図26乃至図28において、ステップS16,ステップS17の処理は、その順番が逆で合ってもよいし、平行して実行されてもよい。また、ステップS18、ステップS20の処理も、その順番が逆で合ってもよいし、平行して実行されてもよい。さらに、ステップS23乃至ステップS28の処理も、その順番が逆で合ってもよいし、平行して実行されてもよい。また、ステップS30乃至ステップS33の処理も、その順番が逆で合ってもよいし、平行して実行されてもよい。さらに、ステップS35,ステップS36の処理も、その順番が逆で合ってもよいし、平行して実行されてもよい。すなわち、図25において、縦に同じ階層のバッファ51乃至54の処理、スイッチ57乃至59の処理、デコーダ71乃至76の処理、プレーン生成部91乃至94の処理、ビデオデータ処理部96およびオーディオデータ処理部97の処理は、それぞれ、平行して実行されてもよいし、その順番は問わない。
次に、音声や字幕の切り替えが指示された場合の再生装置20における処理を、図29と図30を参照して説明する。
最初に、図29のフローチャートを参照して、ユーザにより音声の切り替えが指示される場合の処理を説明する。なお、この処理は、例えば、図26乃至図28の再生処理の実行中に実行される処理である。
ステップS51において、コントローラ34は、オーディオストリーム番号(IDでもよい)の順番リストを取得する。具体的には、コントローラ34は、図14を用いて説明したPlayItemのSTN_table()を参照し、さらに図15を用いて説明したSTN_table()にエントリーされているオーディオストリーム番号(ID)の順番のリストを取得する。この処理は、図26乃至図28の再生処理が開始されたときに実行される処理である。
ユーザによりユーザインターフェースを介して、音声切り替えの指令が行われた場合、ステップS52において、コントローラ34は、ユーザからの音声切り替えの指令を受け付ける。すなわち、図29において、ステップS51はあらかじめ実行されている処理であり、ユーザにより音声切り替えの指令が行われた場合に、ステップS52以降の処理が行われる。
ステップS53において、コントローラ34は、再生しているオーディオストリーム番号の次のオーディオストリーム番号を取得する。例えば、図9のSubClip_entry_id=0のオーディオストリーム(図9においては、Text based subtitleであるが、ここでは、オーディオストリームファイルに読み替える)が再生されていた場合、次のSubClip_entry_id=1に対応するオーディオストリームファイルの番号が取得される。
ステップS54において、コントローラ34は、取得した番号に対応するオーディオストリームを再生する機能を有するか否かを判定する。具体的には、コントローラ34は、stream_attribute()(図17)に記述されている内容に基づいて、取得した番号に対応するオーディオストリームを自分自身(再生装置20)が再生する機能を有するか否かを判定する。ステップS54において、取得した番号に対応するオーディオストリームを再生する機能を有しないと判定された場合、処理はステップS55に進み、コントローラ34は、現在のストリーム番号の次のストリーム番号を取得する。すなわち、現在のストリーム番号のオーディオストリームを再生する機能を有さない場合には、そのストリーム番号は飛ばされ(再生対象とならず)、次のストリーム番号が取得される。そして、ステップS55の処理の後、処理はステップS54に戻り、それ以降の処理が繰り返される。すなわち、自分自身が再生する機能を有するオーディオストリームの番号が取得されるまで、処理が繰り返される。
ステップS54において、取得した番号に対応するオーディオストリームを再生する機能を有すると判定された場合、処理はステップS56において、コントローラ34は、取得した番号に対応するオーディオストリームがメインClipとサブClipのうちのどちらにあるかを調べる。例えば、図9の例の場合、取得されたSubClip_entry_id=1はSub Pathにより参照されるので、サブClipにあると判断される。
ステップS57において、コントローラ34は、所望のオーディオストリームを特定する。具体的には、取得した番号に対応するストリームの属するメインClipまたはサブClipの中の所望のオーディオストリームを特定する。具体的には、図16を用いて上述したSTN_table()にによりtype=3が特定される。
ステップS58において、コントローラ34は、所望のオーディオストリームが多重化されているClip(メインClipまたはサブClip)を読み出すようストレージドライブ31に指示する。ストレージドライブ31は、この指示に基づいて、対象となるClipを読み出す。
ステップS59において、コントローラ34は、読み出されたClipからオーディオストリームを再生するようAVデコーダ部33に指示する。
ステップS60において、AVデコーダ部33は、オーディオストリームをデコードし、オーディオ出力する。より詳細には、オーディオデコーダ75によりデコードされたオーディオデータと、バッファ95から出力されるサウンドデータが、オーディオデータ処理部97により処理され、オーディオ信号として出力される。
この処理により、図27のステップS21における図25のスイッチ59の選択が決定される。すなわち、図29において対象となるClipがメインClipである場合、スイッチ59は、メイン側、すなわちPIDフィルタ55から供給されたオーディオストリームをオーディオデコーダ75に供給し、対象となるClipがサブClipである場合、スイッチ59は、サブ側、すなわち、PIDフィルタ56から供給されたオーディオストリームをオーディオデコーダ75に供給する。
このように、コントローラ34は、PlayItemのSTN_table()に基づいて、音声(オーディオ)の切り替えを制御することができる。また、コントローラ34は、STN_table()のstream_attributeを参照することで、自分自身が再生機能を有するストリームだけを選んで、再生切り替えの制御をすることができる。
なお、図29の処理では、オーディオストリーム番号に基づいて、オーディオを切り替えるようにしたが、オーディオストリームID(audio_stream_id)に基づいて、オーディオを切り替えるようにしてもよい。この場合、オーディオストリーム番号から1を減算したものが、オーディオストリームIDとなる。
次に、図30のフローチャートを参照して、ユーザにより字幕の切り替えが指示される場合の処理を説明する。なお、この処理は、例えば、図26乃至図28の再生処理の実行中に実行される処理である。
ステップS81において、コントローラ34は、字幕ストリーム番号(IDでもよい)の順番リストを取得する。例えば、図14を用いて説明したPlayItemのSTN_table()を参照し、さらに、図15を用いて説明したSTN_table()にエントリーされている字幕ストリームID(PG_txtST_stream_id)の順番のリストを取得する。この処理は、図26乃至図28の再生処理が開始されたときに実行される処理である。
ユーザによりユーザインターフェースを介して、字幕切り替えの指令が行われた場合、ステップS82において、コントローラ34は、ユーザからの字幕切り替えの指令を受け付ける。すなわち、図30において、ステップS81はあらかじめ実行されている処理であり、ユーザにより字幕切り替えの指令が行われた場合に、ステップS82以降の処理が行われる。
ステップS83において、コントローラ34は、再生している字幕ストリーム番号の次の字幕ストリーム番号を取得する。例えば、図9のSubClip_entry_id=0のText based subtitleが再生されていた場合、次のSubClip_entry_id=1に対応するText based subtitleの番号が取得される。
ステップS84において、コントローラ34は、取得した番号に対応する字幕ストリームを再生する機能を有するか否かを判定する。具体的には、コントローラ34は、stream_attribute()(図17)に記述されている内容に基づいて、取得した番号に対応する字幕ストリームを自分自身が再生する機能を有するか否かを判定する。ステップS84において、取得した番号に対応する字幕ストリームを再生する機能を有しないと判定された場合、処理はステップS85に進み、コントローラ34は、現在のストリーム番号の次のストリーム番号を取得する。すなわち、現在のストリーム番号の字幕ストリームを再生する機能を有さない場合には、そのストリーム番号は飛ばされ(再生対象とならず)、次のストリーム番号が取得される。そして、ステップS85の処理の後、処理はステップS84に戻り、それ以降の処理が繰り返される。すなわち、自分自身が再生する機能を有する字幕ストリームの番号が取得されるまで、処理が繰り返される。
ステップS84において、取得した番号に対応する字幕ストリームを再生する機能を有すると判定された場合、処理はステップS86において、コントローラ34は、取得した番号(再生している字幕ストリームの次の字幕ストリームの番号)に対応するデータがメインClip(メインパス)、サブClip(サブパス)、テキストサブタイトルデータファイル(サブパス)のうちのいずれに格納されているかを調べる。
ステップS87において、コントローラ34は、所望のプレゼンテーショングラフィックスストリームまたはテキスト字幕データを特定する。具体的には、コントローラ34は、メインClipまたはサブClipの中の所望のプレゼンテーショングラフィックスストリームを特定するか、あるいは、テキストサブタイトルファイルの中から、所望のテキストサブタイトルデータを特定する。
ステップS88において、コントローラ34は、所望のプレゼンテーショングラフィックスストリームが多重化されているClip(メインClipまたはサブClip)、または所望のテキストサブタイトルデータ(テキスト字幕データ)を読み出すようにストレージドライブ31に指示する。
ステップS89において、コントローラ34は、読み出されたClipから分離されたプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータを再生するようAVデコーダ部33に指示する。
ステップS90において、AVデコーダ部33は、プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータをデコードし、字幕画像を出力する。より詳細には、デコードされたプレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータがプレゼンテーショングラフィックスプレーン生成部93によりプレーンされ、ビデオデータ処理部96に合成されて、ビデオ出力される。
この処理により、図28のステップS29における図25のスイッチ77の選択が決定される。すなわち、図30のステップS87において対象となるデータが、プレゼンテーショングラフィックスストリームである場合、スイッチ77は、プレゼンテーショングラフィックスデコーダ73から供給されたプレゼンテーショングラフィックスデータをプレゼンテーショングラフィックスプレーン生成部93に供給し、対象となるデータがテキストサブタイトルデータである場合、スイッチ77は、Text-STコンポジション76から供給されたテキストサブタイトルデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。また、コントローラ34は、再生機能を有するストリームだけを選んで、再生切り替えの制御をすることができる。
なお、図30の処理では、字幕ストリーム番号に基づいて、字幕を切り替えるようにしたが、字幕ストリームID(PG_txtST_stream_id)に基づいて、字幕を切り替えるようにしてもよい。この場合、字幕ストリーム番号から1を減算したものが、字幕ストリームIDとなる。
以上により、メインのAVストリームとは別のストリームやデータファイルでオーディオや字幕などを用意する場合に、PlayListの中にメインパスとサブパスを有する構成としたので、ユーザによる音声切り替えや字幕切り替えという操作が、メインAVストリームとは異なる別ストリームや別データファイルの中から選ぶことができる。
また、メインパスのPlayItemの中に、AVストリームファイルに多重化されているデータと、Sub Pathにより参照されるデータのtypeを定義するStream Number Definition Tableを設けるようにしたので、より、拡張性の高いストリームを実現することができる。
さらに、再生装置20は、STN_table()のstream_attributeを参照することで、自分自身が有する機能に対応するストリームだけを順次選択して再生することができる。
以上の処理をまとめると、以下のようになる。
再生装置20は、記録媒体に記録されているAVストリームファイルの位置を示す主の再生パスであるMain Pathと、主の再生パスにより参照されるAVストリームファイルに含まれるメイン画像データ(ビデオストリームデータ)の再生タイミングに合わせて再生される付属データ(例えば、オーディオストリームのデータや、ビットマップ字幕ストリームファイルのデータ)を含むサブClipのそれぞれの位置を示す複数の副の再生パスであるSub Pathにより構成される再生管理情報としてのPlayListを取得する。また、再生装置20は、Main Pathにより参照されるAVストリームファイルに含まれるビデオストリームデータのタイミングに合わせて再生される付属データ(例えば、オーディオストリームファイルのデータ)およびSub Pathにより参照されるサブClipに含まれる付属データ(例えば、オーディオストリームファイルのデータ)の中から、ユーザの指令に基づいて、再生する付属データを選択する。上述した図29、図30の処理では、単に、字幕切り替えや音声切り替えの指令が行われている。そして、再生装置20は、選択された付属データ(例えば、オーディオストリームファイルのデータ)を、自分自身が再生する機能を有するか否かを判定する。コントローラ34はSTN_table()のstream_attributeを参照することで、自分自身(再生装置20)が、付属データを再生することが可能か否かを判定することができる。選択された付属データを再生する機能を有すると判定された場合であって、その付属データ(オーディオストリームファイルのデータ)が、Sub Pathにより参照されるサブClipに含まれるとき、Main Pathにより参照されるメインAVストリームファイル(メインClip)とともに、Sub Pathにより参照されるサブClipが読み出され、合成されて再生される。例えば、再生する付属データとして、Sub Pathが参照するオーディオストリームファイルのデータがユーザにより選択された場合(ユーザにより音声切り替えが指令された場合)、再生装置20は、メインClipAVストリームファイルのうち、MPEG2ビデオストリームファイル、プレゼンテーショングラフィックスストリームファイル、およびインタラクティブグラフィックスストリームファイルと、Sub Pathが参照するオーディオストリームファイルのデータとを合成して再生する。すなわち、このとき再生される音声は、ユーザにより選択されたオーディオストリームファイルがデコードされたものとなる。
このように、PlayListにMain PathとSub Pathを含め、Main PathとSub Pathが異なるClipを参照する構成としたので、ストリームに拡張性を持たせることができる。また、1つのSub Pathで複数のファイルを参照可能な構成としたので(例えば、図9,図10)、複数の異なるストリームの中からユーザが選択することができる。
さらに、Main PathのPlayItemの中に、Main Pathにより参照されるAVストリームファイルに多重化されている(含まれる)付属データと、Sub Pathにより参照される付属データを定義するテーブルとして、図15のSTN_table()を設けるようにしたので、より、拡張性の高いストリームを実現することができる。また、STN_table()にエントリーすれば、Sub Pathを容易に拡張することができる。
また、STN_table()にストリームの属性情報である図17のstream_attribute()を設けるようにしたので、再生装置20側で、選択されたストリームを再生可能か否かを判定することができる。さらに、stream_attribute()を参照することで、再生機能を有するストリームだけを選択して再生することができる。
また、Sub Pathには、図12に示されるように、Sub Pathのタイプ(オーディオやテキスト字幕といったタイプ)を示すSubPath_type、Sub Pathが参照するサブClipの名を示す図13のClip_Information_file_name、およびSub Pathが参照するClipのイン点を示す図13のSubPlayItem_IN_timeとアウト点を示す図13のSubPlayItem_OUT_timeを含むようにしたので、Sub Pathが参照するデータを的確に特定することができる。
さらに、Sub Pathには、Sub PathがMain Pathとを同じタイミングで再生するためのMain Path上のAVストリームファイルを指定する指定情報である図13のsync_PlayItem_id(例えば、図7と図9のsync_PlayItem_id)と、Sub Pathが参照するデータのイン点がMain Pathの時間軸上で同期してスタートするMain Path上の時刻であるsync_start_PTS_of_PlayItem(例えば、図7と図9のsync_start_PTS_of_PlayItem)とをさらに含むため、図7や図9に示されるように、Main Pathが参照するメインClipAVストリームファイルに同期してSub Pathが参照するデータ(ファイル)を再生することができる。
なお、図25のストレージドライブ31が読み出すデータは、DVD(Digital Versatile Disc)などの記録媒体に記録されているデータであってもよいし、ハードディスクに記録されているデータであってもよいし、図示せぬネットワークを介してダウンロードしたデータであってもよいし、これらが組み合わされたデータでもよい。例えば、ダウンロードされ、ハードディスクに記録されたPlayListおよびサブClipと、DVDに記録されたメインClipAVストリームファイルに基づいて、再生されてもよい。また、例えば、DVDに記録されたClipAVストリームファイルをサブClipとするようなPlayListとメインClipがハードディスクに記録されている場合に、ハードディスクに記録されているPlayListに基づいて、メインClipとサブClipがそれぞれ、ハードディスクとDVDから読み出され再生されてもよい。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図31に示されるようなパーソナルコンピュータ500により実行される。
図31において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または、記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェース505も接続されている。
入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRT,LCDなどよりなるディスプレイ、スピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、並びに、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、図31に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

Claims (12)

  1. 記録媒体に記録されているAVストリームファイルの位置を示す主の再生パスを含む第1の情報と、前記AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスを含む第2の情報により構成される再生管理情報を取得する取得手段と、
    前記主の再生パスにより参照される前記AVストリームファイルに含まれる前記メイン画像データのタイミングに合わせて再生される付属データ、および、前記副の再生パスにより参照される前記サブファイルに含まれる前記付属データの中から、ユーザの指令に基づいて、再生する付属データを選択する選択手段と、
    前記選択手段により選択された付属データが、前記副の再生パスにより参照されるサブファイルに含まれる場合、前記主の再生パスにより参照される前記AVストリームファイルとともに前記副の再生パスにより参照されるサブファイルを読み出す読み出し手段と、 前記読み出し手段により読み出されたAVストリームファイルに含まれる前記メイン画像データ、および前記選択手段により選択され、前記読み出し手段により読み出された前記サブファイルに含まれる前記付属データを再生する再生手段と
    を備えることを特徴とする再生装置。
  2. 前記第1の情報は、前記主の再生パスにより参照される前記AVストリームファイルに含まれる前記付属データと、前記副の再生パスにより参照される前記付属データを定義するテーブルを含み、
    前記選択手段は、前記テーブルに定義されている前記付属データの中から、ユーザの指令に基づいて、再生する付属データを選択する
    ことを特徴とする請求項1に記載の再生装置。
  3. 前記選択手段により選択された前記付属データを、自分自身が再生する機能を有するか否かを判定する判定手段をさらに備え、
    前記読み出し手段は、前記判定手段により前記付属データを再生する機能を有すると判定された場合であって、その付属データが前記副の再生パスにより参照されるサブファイルに含まれるとき、前記主の再生パスにより参照される前記AVストリームファイルとともに前記副の再生パスにより参照されるサブファイルを読み出し、
    前記再生手段は、前記読み出し手段により読み出されたAVストリームファイルに含まれる前記メイン画像データ、および前記選択手段により選択され、前記読み出し手段により読み出された前記サブファイルに含まれる前記付属データを再生する
    ことを特徴とする請求項1に記載の再生装置。
  4. 前記選択手段により選択された前記付属データを、自分自身が再生する機能を有するか否かを判定する判定手段をさらに備え、
    前記読み出し手段は、前記判定手段により前記付属データを再生する機能を有すると判定された場合であって、その付属データが前記副の再生パスにより参照されるサブファイルに含まれるとき、前記主の再生パスにより参照される前記AVストリームファイルとともに前記副の再生パスにより参照されるサブファイルを読み出し、
    前記再生手段は、前記読み出し手段により読み出されたAVストリームファイルに含まれる前記メイン画像データ、および前記選択手段により選択され、前記読み出し手段により読み出された前記サブファイルに含まれる前記付属データを再生する
    ことを特徴とする請求項2に記載の再生装置。
  5. 前記テーブルは、前記付属データの属性情報をさらに定義し、
    前記判定手段は、前記テーブルに定義されている前記付属データの属性情報に基づいて、前記付属データを自分自身が再生する機能を有するか否かを判定する
    ことを特徴とする請求項4に記載の再生装置。
  6. 前記第2の情報は、
    前記副の再生パスのタイプを表すタイプ情報と、
    前記副の再生パスが参照する前記サブファイルのファイル名と、
    前記副の再生パスが参照する前記サブファイルのイン点とアウト点と
    を含むことを特徴とする請求項1に記載の再生装置。
  7. 前記第2の情報は、
    前記副の再生パスと前記主の再生パスが同じタイミングで再生されるための、前記主の再生パスにより参照される前記AVストリームファイルを指定する指定情報と、
    前記イン点が、前記主の再生パスの時間軸上で同期してスタートするための、前記主の再生パス上の時刻と
    をさらに含むことを特徴とする請求項6に記載の再生装置。
  8. 記録媒体に記録されているAVストリームファイルの位置を示す主の再生パスを含む第1の情報と、前記AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスを含む第2の情報により構成される再生管理情報を取得する取得ステップと、 前記主の再生パスにより参照される前記AVストリームファイルに含まれる前記メイン画像データのタイミングに合わせて再生される付属データ、および、前記副の再生パスにより参照される前記サブファイルに含まれる前記付属データの中から、ユーザの指令に基づいて、再生する付属データを選択する選択ステップと、
    前記選択ステップの処理により選択された付属データが、前記副の再生パスにより参照されるサブファイルに含まれる場合、前記主の再生パスにより参照される前記AVストリームファイルとともに前記副の再生パスにより参照されるサブファイルを読み出す読み出しステップと、
    前記読み出しステップの処理により読み出されたAVストリームファイルに含まれる前記メイン画像データ、および前記選択ステップの処理により選択され、前記読み出しステップの処理により読み出された前記サブファイルに含まれる前記付属データを再生する再生ステップと
    を含むことを特徴とする再生方法。
  9. 記録媒体に記録されているAVストリームファイルの位置を示す主の再生パスを含む第1の情報と、前記AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスを含む第2の情報により構成される再生管理情報を取得する取得ステップと、 前記主の再生パスにより参照される前記AVストリームファイルに含まれる前記メイン画像データのタイミングに合わせて再生される付属データ、および、前記副の再生パスにより参照される前記サブファイルに含まれる前記付属データの中から、ユーザの指令に基づいて、再生する付属データを選択する選択ステップと、
    前記選択ステップの処理により選択された付属データが、前記副の再生パスにより参照されるサブファイルに含まれる場合、前記主の再生パスにより参照される前記AVストリームファイルとともに前記副の再生パスにより参照されるサブファイルを読み出す読み出しステップと、
    前記読み出しステップの処理により読み出されたAVストリームファイルに含まれる前記メイン画像データ、および前記選択ステップの処理により選択され、前記読み出しステップの処理により読み出された前記サブファイルに含まれる前記付属データを再生する再生ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
  10. クリップに含まれるAVストリームファイルと、AVストリームファイルの再生のタイミングに合わせて再生される付属データとに関する関連データが記録されている記録媒体であって、
    前記関連データは、前記付属データが、前記AVストリームファイルの位置を示す主の再生パスにより使用されるクリップに含まれるか、または、前記AVストリームファイルの再生のタイミングに合わせて再生される前記付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスにより使用されるクリップに含まれるかを示し、
    前記関連データが、前記付属データを含むサブファイルのそれぞれの位置を示す複数の副の再生パスにより使用されるクリップに含まれることを示す場合、
    前記関連データには、
    再生すべき副の再生パスを特定するIDと、
    前記副の再生パスにより使用されるクリップを特定するIDと、
    前記クリップにより再生されるエレメンタリストリームを特定するIDとのうち、少なくとも前記再生すべき副の再生パスを特定するIDが含まれている
    ことを特徴とする関連データが記録されている記録媒体。
  11. クリップに含まれるAVストリームファイルの位置を示す主の再生パスを有する再生制御ファイルを含むデータが記録されている記録媒体であって、
    前記再生制御ファイルは、前記AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルの位置を示す副の再生パスを含み、
    前記主の再生パスは、前記主の再生パスを再生中に選択しうるエレメンタリストリームの一覧を定義するテーブルを有し、
    前記テーブルは、前記選択しうるエレメンタリストリームが、前記主の再生パスにより選択されるAVストリームファイルに含まれているか、前記副の再生パスにより選択されるサブファイルに含まれているかを示すデータを有する
    ことを特徴とするデータが記録されている記録媒体。
  12. クリップに含まれるAVストリームファイルの位置を示す主の再生パスを有する再生制御ファイルを含むデータ構造であって、
    前記再生制御ファイルは、前記AVストリームファイルに含まれるメイン画像データの再生のタイミングに合わせて再生される付属データを含むサブファイルの位置を示す副の再生パスを含み、
    前記主の再生パスは、前記主の再生パスを再生中に選択しうるエレメンタリストリームの一覧を定義するテーブルを有し、
    前記テーブルは、前記選択しうるエレメンタリストリームが、前記主の再生パスにより選択されるAVストリームファイルに含まれているか、前記副の再生パスにより選択されるサブファイルに含まれているかを示すデータを有する
    ことを特徴とするデータ構造。
JP2005518019A 2004-02-16 2005-02-15 再生装置および再生方法、プログラム、記録媒体、並びにデータ構造 Active JP4288613B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2004038574 2004-02-16
JP2004038574 2004-02-16
JP2004108650 2004-04-01
JP2004108650 2004-04-01
PCT/JP2005/002269 WO2005078727A1 (ja) 2004-02-16 2005-02-15 再生装置および再生方法、プログラム、記録媒体、並びにデータ構造

Publications (2)

Publication Number Publication Date
JPWO2005078727A1 JPWO2005078727A1 (ja) 2007-10-18
JP4288613B2 true JP4288613B2 (ja) 2009-07-01

Family

ID=34863472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005518019A Active JP4288613B2 (ja) 2004-02-16 2005-02-15 再生装置および再生方法、プログラム、記録媒体、並びにデータ構造

Country Status (11)

Country Link
US (2) US8737822B2 (ja)
EP (3) EP1717808A4 (ja)
JP (1) JP4288613B2 (ja)
KR (1) KR101104528B1 (ja)
CN (1) CN1906694B (ja)
AU (1) AU2005213036A1 (ja)
BR (1) BRPI0506593A (ja)
EG (1) EG25858A (ja)
MA (1) MA28433B1 (ja)
RU (1) RU2400834C2 (ja)
WO (1) WO2005078727A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050005074A (ko) 2003-07-01 2005-01-13 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
KR20050004339A (ko) 2003-07-02 2005-01-12 엘지전자 주식회사 고밀도 광디스크의 그래픽 데이터 관리방법 및 그에 따른고밀도 광디스크
EP1717808A4 (en) * 2004-02-16 2010-10-06 Sony Corp PLAYING DEVICE, PLAY PROCESS, PROGRAM, RECORDING MEDIA AND DATA STRUCTURE
US7725010B2 (en) 2004-08-17 2010-05-25 Lg Electronics, Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7609945B2 (en) 2004-08-17 2009-10-27 Lg Electronics Inc. Recording medium, and method and apparatus for reproducing data from the recording medium
US7613384B2 (en) 2004-08-17 2009-11-03 Lg Electronics Inc. Method for configuring composite file structure for data reproduction, and method and apparatus for reproducing data using the composite file structure
US7609939B2 (en) 2004-08-17 2009-10-27 Lg Electronics Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US7599611B2 (en) 2004-09-13 2009-10-06 Lg Electronics Co. Recording medium, and method and apparatus of reproducing data recorded on the same
KR20060047549A (ko) 2004-10-12 2006-05-18 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
KR20060065476A (ko) 2004-12-10 2006-06-14 엘지전자 주식회사 기록매체, 기록매체 내의 콘텐츠 서치방법 및 기록매체재생방법과 재생장치
KR20060081323A (ko) 2005-01-07 2006-07-12 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
JP4968506B2 (ja) * 2005-03-04 2012-07-04 ソニー株式会社 再生装置、再生方法、およびプログラム
JP5234144B2 (ja) * 2005-08-30 2013-07-10 ソニー株式会社 再生装置、並びに記録媒体及びその製造方法
JP4923751B2 (ja) * 2005-08-30 2012-04-25 ソニー株式会社 再生装置、並びに記録媒体及びその製造方法
JP4642655B2 (ja) * 2005-12-28 2011-03-02 ソニー株式会社 再生装置および再生方法、プログラム、記録媒体、データ構造、記録媒体の製造方法および記録装置、並びに、データ構造の生成方法および生成装置
JP2009049726A (ja) 2007-08-21 2009-03-05 Sony Corp 情報変換装置、情報変換方法およびプログラム
JP2009093695A (ja) * 2007-10-04 2009-04-30 Funai Electric Co Ltd 情報再生装置
US20090222305A1 (en) * 2008-03-03 2009-09-03 Berg Jr Charles John Shopper Communication with Scaled Emotional State
US20110167345A1 (en) * 2010-01-06 2011-07-07 Jeremy Jones Method and apparatus for selective media download and playback
JP5533162B2 (ja) 2010-04-08 2014-06-25 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
RU2537407C2 (ru) * 2012-09-18 2015-01-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Воронежский государственный технический университет" Способ изготовления диффузионной сваркой стоистой тонкостенной конструкции из титановых листовых материалов

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1152413A3 (en) 1996-04-05 2005-04-06 Matsushita Electric Industrial Co., Ltd. Multimedia optical disc for storing audio data and sub-picture data in a plurality of channels as well as moving picture data and apparatus and method for reproducing the multimedia optical disc
KR100329311B1 (ko) * 1998-03-13 2002-03-25 모리시타 요이찌 데이터 저장매체 및 이로부터 데이터를 재생하는 장치 및방법
US8409564B2 (en) * 1999-10-05 2013-04-02 Universite De Montreal Rhodamine derivatives for photodynamic diagnosis and treatment
US7477833B2 (en) * 2000-04-21 2009-01-13 Sony Corporation Information processing apparatus and method, program, and recorded medium specifying particular picture characteristics
JP4599740B2 (ja) * 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP4356257B2 (ja) * 2001-03-15 2009-11-04 ソニー株式会社 オーディオ再生装置
JP2002290919A (ja) 2001-03-26 2002-10-04 Denon Ltd 光ディスク再生装置
EP1638328B1 (en) * 2003-06-18 2011-10-05 Panasonic Corporation Playback apparatus, program, and playback method
KR20050048848A (ko) * 2003-11-20 2005-05-25 엘지전자 주식회사 고밀도 광디스크의 플레이리스트 생성방법, 관리방법 및재생방법과 기록재생장치
EP1716566A1 (en) * 2004-02-10 2006-11-02 LG Electronic Inc. Recording medium having a data structure for managing font information for text subtitles and recording and reproducing methods and apparatuses
EP1717808A4 (en) * 2004-02-16 2010-10-06 Sony Corp PLAYING DEVICE, PLAY PROCESS, PROGRAM, RECORDING MEDIA AND DATA STRUCTURE
JP4968506B2 (ja) 2005-03-04 2012-07-04 ソニー株式会社 再生装置、再生方法、およびプログラム
JP4613739B2 (ja) 2005-08-01 2011-01-19 ソニー株式会社 情報処理装置、情報処理方法、および情報記録媒体、並びにコンピュータ・プログラム
JP4081772B2 (ja) * 2005-08-25 2008-04-30 ソニー株式会社 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP4923751B2 (ja) * 2005-08-30 2012-04-25 ソニー株式会社 再生装置、並びに記録媒体及びその製造方法
JP4815962B2 (ja) 2005-09-12 2011-11-16 ソニー株式会社 再生装置および再生方法、プログラム、並びに、プログラム格納媒体

Also Published As

Publication number Publication date
US20070127884A1 (en) 2007-06-07
RU2006129624A (ru) 2008-02-20
EP2562758A2 (en) 2013-02-27
JPWO2005078727A1 (ja) 2007-10-18
US20140233911A1 (en) 2014-08-21
US8737822B2 (en) 2014-05-27
EP2562757A3 (en) 2013-03-27
KR101104528B1 (ko) 2012-01-11
EG25858A (en) 2012-09-11
MA28433B1 (fr) 2007-02-01
CN1906694B (zh) 2010-12-22
EP1717808A4 (en) 2010-10-06
CN1906694A (zh) 2007-01-31
BRPI0506593A (pt) 2007-05-02
WO2005078727A1 (ja) 2005-08-25
EP2562757B1 (en) 2018-05-09
AU2005213036A1 (en) 2005-08-25
EP2562758B1 (en) 2018-05-30
US9070414B2 (en) 2015-06-30
KR20060122929A (ko) 2006-11-30
EP1717808A1 (en) 2006-11-02
EP2562758A3 (en) 2013-03-27
RU2400834C2 (ru) 2010-09-27
EP2562757A2 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
JP4288613B2 (ja) 再生装置および再生方法、プログラム、記録媒体、並びにデータ構造
JP4770601B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP4968506B2 (ja) 再生装置、再生方法、およびプログラム
JP4923751B2 (ja) 再生装置、並びに記録媒体及びその製造方法
JP4729983B2 (ja) 再生装置および再生方法、プログラム、並びに、データ構造
JP4968562B2 (ja) 再生装置、再生方法、および記録方法
JP2008193604A (ja) 再生装置および方法、並びにプログラム
AU2012213937B2 (en) Playback apparatus, playback method, program, recording medium, and data structure
JP5234144B2 (ja) 再生装置、並びに記録媒体及びその製造方法
JP2008052836A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP2008054081A (ja) 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
MXPA06007710A (en) Reproduction device, reproduction method, program, recording medium, and data structure

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090305

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090318

R151 Written notification of patent or utility model registration

Ref document number: 4288613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140410

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250