JP4822081B2 - REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING MEDIUM - Google Patents
REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING MEDIUM Download PDFInfo
- Publication number
- JP4822081B2 JP4822081B2 JP2008307618A JP2008307618A JP4822081B2 JP 4822081 B2 JP4822081 B2 JP 4822081B2 JP 2008307618 A JP2008307618 A JP 2008307618A JP 2008307618 A JP2008307618 A JP 2008307618A JP 4822081 B2 JP4822081 B2 JP 4822081B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- stream
- data
- audio stream
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、再生装置、再生方法、および記録媒体に関し、特に、再生される音声データの合成が可能なようになされている場合に用いて好適な再生装置、再生方法、および記録媒体に関する。 The present invention relates to a playback device, a playback method, and a recording medium , and more particularly to a playback device, a playback method, and a recording medium that are suitable for use when audio data to be played back can be synthesized.
異なったコンテンツを同時視聴するために、複数のコンテンツの映像データをデコードした後、非圧縮の画像データを合成して、その後、D/A変換を実行し、映像出力端子へ出力して、外部の表示装置に表示させる技術がある(例えば、特許文献1)。 In order to view different contents simultaneously, after decoding video data of multiple contents, uncompressed image data is synthesized, then D / A conversion is performed and output to the video output terminal. There is a technique for displaying on a display device (for example, Patent Document 1).
上述した特許文献1のように、ビデオデータを合成するためには、圧縮符号化されたビデオデータをそれぞれ復号し、非圧縮のビデオデータを合成する必要がある。これば、ビデオデータのみならず、オーディオデータであっても同様であり、オーディオデータを合成する場合には、非圧縮のオーディオデータを用いなければならない。
As described in
また、出力先の機器が有する機能、または、出力先の機器との接続方法によっては、出力データは、符号化されたデータでなければならない場合がある。 Depending on the function of the output destination device or the connection method with the output destination device, the output data may have to be encoded data.
主に出力される音声データに対して、他の音声データが合成され、出力される音声データは、符号化データである場合の処理について、図1を用いて説明する。 The processing when the other audio data is synthesized with the audio data mainly output and the output audio data is encoded data will be described with reference to FIG.
第1の音声データ取得部11は、例えば、光ディスクから読み出されて供給された圧縮符号化された第1の音声データを取得し、復号部12に供給する。第1の音声データは、そのコンテンツにおいて、常時再生出力される音声データであるものとする。復号部12は、第1の音声データ取得部11から供給された、圧縮符号化された第1の音声データを復号し、非圧縮の第1の音声データを、合成部14に供給する。
The first audio
第2の音声データ取得部13は、非圧縮の第2の音声データを取得し、合成部14に供給する。合成部14は、第2の音声データ取得部13から非圧縮の第2の音声データの供給を受け、第2の音声データを、復号部12から供給された非圧縮の第1の音声データと合成し、合成された音声データを符号化部15に供給する。
The second audio
符号化部15は、供給された音声データを符号化し、デジタルインターフェース16に供給する。デジタルインターフェースは、供給された符号化データを、所定のネットワークを介して、他の装置などに送出する。
The
この非圧縮の第2の音声データは、そのコンテンツに対して用意されている場合と用意されていない場合がある。すなわち、コンテンツによっては、第2の音声データ取得部13が、非圧縮の第2の音声データを取得しないようになされている場合や、コンテンツの所定の部分のみ、第2の音声データが用意され、第2の音声データ取得部13が、所定の部分のみの非圧縮の第2の音声データを取得するようになされている場合などがある。合成部14は、第2の音声データ取得部13から非圧縮の第2の音声データの供給を受けない場合、復号部12から供給された非圧縮の第1の音声データを符号化部15に供給する。
This uncompressed second audio data may or may not be prepared for the content. That is, depending on the content, the second audio
図1を用いて説明した装置において、主に再生出力される第1の音声データに対して、第2の音声データが合成されるコンテンツと合成されないコンテンツの両方を再生出力可能なようになされている場合、または、同一コンテンツの所定の部分のみ、第2の音声データを合成することが可能なようになされている場合、従来では、再生出力する装置において、第2の音声データが合成されるか否か(第2の音声データが存在するか否か)を検出することができなかった。 In the apparatus described with reference to FIG. 1, the first audio data mainly reproduced and output can be reproduced and output both the content synthesized with the second audio data and the content not synthesized. If it is possible to synthesize the second audio data only for a predetermined part of the same content, conventionally, the second audio data is synthesized in the reproduction output device. It was not possible to detect whether or not the second audio data exists.
したがって、第1の音声データは、第2の音声データが合成されないコンテンツ、または、第2の音声データが合成されない部分であっても、第2の音声データが合成される場合と同様に、復号され、再符号化されるようになされていた。そのため、第1の音声データは、常に復号および再符号化のために、音質が劣化してしまう。 Therefore, the first audio data is decoded in the same manner as the case where the second audio data is synthesized even if the content is not synthesized with the second audio data or the portion where the second audio data is not synthesized. And re-encoded. Therefore, the sound quality of the first sound data is always deteriorated due to decoding and re-encoding.
また、例えば、上述した特許文献1のように、ビデオデータを合成する場合であって、符号化データを出力されるようになされている場合にも同様のことが考えられる。すなわち、映像データの合成を行うことが可能な再生装置が、主に出力される映像データに合成する他のデータの有無を検出することができなければ、主に出力される映像データは、常に復号され、再符号化されてしまうため、画質が劣化してしまう。
Further, for example, the same can be considered when video data is synthesized and encoded data is output as in
本発明はこのような状況に鑑みてなされたものであり、必要に応じてデータの合成を実現するとともに、データの劣化をできるだけ防ぐことができるようにするものである。 The present invention has been made in view of such a situation, and is intended to realize data composition as necessary and to prevent data deterioration as much as possible.
本発明の再生装置は、符号化された第1のオーディオストリームと、前記第1のオーディオストリームとの合成に用いられる第2のオーディオストリームおよび効果音のデータである合成用データと、再生区間を示す情報を含む再生制御情報とを取得できる取得手段と、前記第1のオーディオストリームをデコードする第1のデコード手段と、前記第2のオーディオストリームをデコードする第2のデコード手段と、前記第1のデコード手段によるデコードによって得られた第1のオーディオデータと前記第2のデコード手段によるデコードによって得られた第2のオーディオデータとを合成する第1の合成手段と、前記第1の合成手段による合成によって得られた合成データと、前記合成用データとを合成する第2の合成手段と、前記第2のオーディオストリームと前記合成用データとのうちの少なくともいずれかの合成が行われ得るか、行われないかを示すフラグ情報を前記再生制御情報から取得し、前記合成が行われ得ることを前記フラグ情報が示す場合、前記再生区間を示す情報に従って、前記取得手段により取得された前記第1のオーディオストリームを前記第1のデコード手段に供給させ、前記第2のオーディオストリームを前記第2のデコード手段に供給させる制御手段とを備える。 The playback apparatus according to the present invention includes an encoded first audio stream, a second audio stream used for synthesis of the first audio stream and synthesis data that is sound effect data, and a playback section. Obtaining means capable of obtaining reproduction control information including information to indicate, first decoding means for decoding the first audio stream, second decoding means for decoding the second audio stream, and the first First synthesizing means for synthesizing the first audio data obtained by decoding by the decoding means and the second audio data obtained by decoding by the second decoding means; and by the first synthesizing means A second combining means for combining the combined data obtained by combining with the combining data; and Flag information indicating whether or not the composition of at least one of the audio stream and the composition data can be performed is acquired from the reproduction control information and the composition is performed. , The first audio stream acquired by the acquisition unit is supplied to the first decoding unit according to the information indicating the playback section, and the second audio stream is supplied to the second decoding unit. Control means to be supplied.
本発明の再生方法は、符号化された第1のオーディオストリームと、前記第1のオーディオストリームとの合成に用いられる第2のオーディオストリームおよび効果音のデータである合成用データと、再生区間を示す情報を含む再生制御情報とを取得できる取得手段と、前記第1のオーディオストリームをデコードする第1のデコード手段と、前記第2のオーディオストリームをデコードする第2のデコード手段と、前記第1のデコード手段によるデコードによって得られた第1のオーディオデータと前記第2のデコード手段によるデコードによって得られた第2のオーディオデータとを合成する第1の合成手段と、前記第1の合成手段による合成によって得られた合成データと、前記合成用データとを合成する第2の合成手段とを備える再生装置の再生方法において、前記第2のオーディオストリームと前記合成用データとのうちの少なくともいずれかの合成が行われ得るか、行われないかを示すフラグ情報を前記再生制御情報から取得し、前記合成が行われ得ることを前記フラグ情報が示す場合、前記再生区間を示す情報に従って、前記取得手段により取得された前記第1のオーディオストリームを前記第1のデコード手段に供給させ、前記第2のオーディオストリームを前記第2のデコード手段に供給させるステップを含む。 The reproduction method according to the present invention includes an encoded first audio stream, a second audio stream used for synthesizing the first audio stream and synthesis data that is sound effect data, and a reproduction section. Obtaining means capable of obtaining reproduction control information including information to indicate, first decoding means for decoding the first audio stream, second decoding means for decoding the second audio stream, and the first First synthesizing means for synthesizing the first audio data obtained by decoding by the decoding means and the second audio data obtained by decoding by the second decoding means; and by the first synthesizing means A second synthesis means for synthesizing the synthesis data obtained by the synthesis and the synthesis data; In the playback method of the apparatus, flag information indicating whether or not the at least one of the second audio stream and the synthesis data can be combined is acquired from the playback control information, and When the flag information indicates that synthesis can be performed, the first audio stream acquired by the acquisition unit is supplied to the first decoding unit according to the information indicating the playback section, and the second decoding unit is supplied. Supplying an audio stream to the second decoding means.
本発明の記録媒体は、符号化された第1のオーディオストリームと、前記第1のオーディオストリームとの合成に用いられる第2のオーディオストリームおよび効果音のデータである合成用データと、再生区間を示す情報を含む再生制御情報とを取得できる取得手段と、前記第1のオーディオストリームをデコードする第1のデコード手段と、前記第2のオーディオストリームをデコードする第2のデコード手段と、前記第1のデコード手段によるデコードによって得られた第1のオーディオデータと前記第2のデコード手段によるデコードによって得られた第2のオーディオデータとを合成する第1の合成手段と、前記第1の合成手段による合成によって得られた合成データと、前記合成用データとを合成する第2の合成手段とを備える再生装置により再生される記録媒体において、前記第1のオーディオストリームと、前記第2のオーディオストリームと、前記合成用データと、前記第2のオーディオストリームと前記合成用データとのうちの少なくともいずれかの合成が行われ得るか、行われないかを示すフラグ情報であって、前記合成が行われ得ることを前記フラグ情報が示す場合、前記再生装置が、前記再生区間を示す情報に従って、前記取得手段により取得された前記第1のオーディオストリームを前記第1のデコード手段に供給させ、前記第2のオーディオストリームを前記第2のデコード手段に供給させるように用いられる前記フラグ情報を、前記再生区間を示す情報とともに含む前記再生制御情報とからなるデータ構造を有するデータを記録した記録媒体である。 The recording medium of the present invention includes an encoded first audio stream, a second audio stream used for synthesizing the first audio stream and synthesis data that is sound effect data, and a playback section. Obtaining means capable of obtaining reproduction control information including information to indicate, first decoding means for decoding the first audio stream, second decoding means for decoding the second audio stream, and the first First synthesizing means for synthesizing the first audio data obtained by decoding by the decoding means and the second audio data obtained by decoding by the second decoding means; and by the first synthesizing means A second synthesis means for synthesizing the synthesis data obtained by the synthesis and the synthesis data; In a recording medium played back by an apparatus, at least one of the first audio stream, the second audio stream, the synthesis data, the second audio stream, and the synthesis data When the flag information indicates whether or not combining can be performed, and the flag information indicates that the combining can be performed, the playback device performs the acquisition unit according to the information indicating the playback section. The flag information used to supply the first audio stream acquired by the first decoding means to the first decoding means and to supply the second audio stream to the second decoding means, A recording medium on which data having a data structure including the reproduction control information included together with the information to be recorded is recorded
本発明によれば、再生制御情報ファイルに含まれる再生区間を示す情報で示される全ての区間において、符号化された音声データのストリームの復号および再符号化を行うか否かを再生装置が判断することができる。 According to the present invention, the playback device determines whether or not to decode and re-encode the encoded audio data stream in all the sections indicated by the information indicating the playback sections included in the playback control information file. can do.
以下、図を参照して、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図2を用いて、本発明を適用した再生装置について説明する。 A reproducing apparatus to which the present invention is applied will be described with reference to FIG.
再生装置20は、装着された、例えば、光ディスクなどの記録媒体21に記録されている情報、ネットワーク22を介して供給された情報、または、自分自身の内部の記録媒体(例えば、HDDなど)に記録されている情報を再生することができる。再生装置20は、再生されたデータを、有線または無線により接続されている表示・音声出力装置23に供給して、画像を表示させ、音声を出力させることができる。再生装置20はまた、再生されたデータを、ネットワーク22を介して、他の装置に送出することができる。再生装置20は、例えば、リモートコマンダ23のほか、本体に備えられたボタン等の入力デバイスによって、ユーザからの操作入力を受けることができる。
For example, the
記録媒体21は、再生装置20により再生可能な映像および音声を含むデータを所定のフォーマットで記録している。記録媒体21は、光ディスクの他、例えば、磁気ディスクや半導体メモリであってもよい。
The
表示・音声出力装置23が、デジタルの非圧縮データの入力を受けるようになされている場合、再生装置20は、記録媒体21などに記録されている符号化データを復号して、非圧縮データを表示・音声出力装置23に供給するようになされているが、表示・音声出力装置23が、復号機能を有し、圧縮データの入力を受けるようになされている場合、再生装置20は、圧縮データを表示・音声出力装置23に供給するようになされている。また、表示・音声出力装置23が、非圧縮のアナログデータの入力を受けるようになされている場合、再生装置20は、記録媒体21などに記録されている符号化データを復号して、非圧縮データをD/A変換してアナログ信号を生成し、表示・音声出力装置23に供給するようになされている。再生装置20はまた、記録媒体21などに記録されているデータを再生し、圧縮データの状態で、ネットワーク22に送出する。
When the display /
図3は、図2の再生装置20によって再生可能な情報、すなわち、再生装置20に装着される記録媒体21に記録されているデータ、ネットワーク22を介して供給されるデータ、または、再生装置20の内部の記録媒体に記録されているデータのアプリケーションフォーマットの例を示す図である。
3 shows information that can be played back by the
アプリケーションフォーマットは、AV(Audio Visual)ストリームの管理のために、PlayListとClipの2つのレイヤを有している。ここでは、1つのAVストリームとそれに付随する情報であるClipインフォメーションのペアを1つのオブジェクトと考え、それらをまとめてClipと称する。以下、AVストリームをAVストリームファイルとも称する。また、ClipインフォメーションをClipインフォメーションファイルとも称する。 The application format has two layers, PlayList and Clip, for managing AV (Audio Visual) streams. Here, a pair of one AV stream and Clip information as information accompanying the AV stream is considered as one object, and these are collectively referred to as a Clip. Hereinafter, the AV stream is also referred to as an AV stream file. Clip information is also referred to as a Clip information file.
一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、AVストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、AVストリームの管理のためのレイヤである。 In general, a file used in a computer or the like is handled as a byte string, but the content of an AV stream file is expanded on the time axis, and an access point of a clip is mainly designated by a PlayList with a time stamp. That is, PlayList and Clip are layers for AV stream management.
Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、Clip Informationファイルは、タイムスタンプから、AVストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。 When the access point in the Clip is indicated by the PlayList with a time stamp, the Clip Information file is used to find address information to start decoding in the AV stream file from the time stamp.
PlayListは、AVストリームの再生区間の集まりである。あるAVストリーム中の1つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のIN点(再生開始点)とOUT点(再生終了点)のペアで表される。従って、PlayListは、図3に示されるように1つ、または複数のPlayItemにより構成される。 The PlayList is a collection of AV stream playback sections. One playback section in a certain AV stream is called PlayItem, which is represented by a pair of an IN point (playback start point) and an OUT point (playback end point) of the playback section on the time axis. Accordingly, the PlayList is composed of one or a plurality of PlayItems as shown in FIG.
図3において、左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照されている。また、左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照されている。さらに、左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照されている。 In FIG. 3, the first PlayList from the left is composed of two PlayItems, and the two PlayItems refer to the first half and the second half of the AV stream included in the left Clip, respectively. Also, the second PlayList from the left is composed of one PlayItem, whereby the entire AV stream included in the right Clip is referenced. Further, the third PlayList from the left is composed of two PlayItems, and the two PlayItems refer to a portion of the AV stream included in the left Clip and a portion of the AV stream included in the right Clip, respectively. ing.
ナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、ナビゲーションプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。このナビゲーションプログラムは、例えば、Java(登録商標)などのプログラミング言語で記述される。 The navigation program has a function of controlling the playback order of the PlayList and interactive playback of the PlayList. The navigation program also has a function of displaying a menu screen for the user to instruct execution of various reproductions. This navigation program is described in a programming language such as Java (registered trademark).
例えば、図3のナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から1番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。このように、PlayListは、AVストリームファイルの再生を管理するための再生管理情報として用いられる。 For example, when the left PlayItem included in the first PlayList from the left is specified as information representing the playback position at that time by the navigation program of FIG. 3, the AV included in the left Clip referred to by the PlayItem The first half of the stream is played back. Thus, the PlayList is used as playback management information for managing playback of AV stream files.
ナビゲーションプログラムは、インデックステーブル(Index table)と、インデックステーブルにより読み出されるナビゲーションオブジェクト(Navigation Object)により構成される。図4を用いて、インデックステーブルとナビゲーションオブジェクトについて説明する。 The navigation program includes an index table and a navigation object that is read by the index table. The index table and the navigation object will be described with reference to FIG.
インデックステーブルは、コンテンツのタイトルやメニューの定義を行うものであり、各タイトルやメニューのエントリーポイントを保持している。FirstPlaybackには、このデータを記録している記録媒体21が再生装置20に装着されたときなど、インデックステーブルが読み込まれたときに最初に自動的に実行されるNavigationObjectに関する情報が含まれている。TopMenuには、ユーザが、コンテンツを全て再生する、特定のチャプタのみ再生する、繰り返し再生する、初期メニューを表示するなどの内容の項目を含む再生メニュー画面を表示させる場合などに呼び出されるTopMenuのNavigationObjectに関する情報が含まれている。それぞれのTitleは、所定のTitle IDで区別されるタイトルごとに割り当てられて呼び出すことが可能なNavigationObjectに関する情報が含まれている。この図4においては、1つのTitleに付き1つのNavigation Commandが存在している。
The index table defines content titles and menus, and holds entry points for each title and menu. FirstPlayback includes information related to the NavigationObject that is automatically executed first when the index table is read, such as when the
ナビゲーションオブジェクトは、実行可能なコマンドであるNavigation commandから成っている。Navigation Commandは、例えば、PlayListの再生や、他のNavigation Objectの呼び出しなどの各種コマンドを含む。例えば、Navigation Command#3に、PlayList#1を再生するための命令文が含まれる場合、Navigation Command#3を実行すると、PlayList#1が再生される。
The navigation object consists of a navigation command that is an executable command. The Navigation Command includes, for example, various commands such as PlayList playback and calling other Navigation Objects. For example, when
インデックステーブルを含むデータファイルであるIndexファイルについては、図9乃至図11を用いて後述する。 The Index file that is a data file including the index table will be described later with reference to FIGS.
本実施の形態では、PlayListの中で、1つ以上のPlayItemの並びによって(連続するPlayItemにより)作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに並行(並列)して、1つ以上のSub Pathの並びによって(非連続でもよいし、連続してもよいSubPlayItemにより)作られる再生パスをサブパス(Sub Path)と称する。すなわち、再生装置20で再生可能なデータのアプリケーションフォーマットは、メインパスに関連付けられて(合わせて)再生されるサブパス(Sub Path)を、PlayListの中に持つ(関連付けられる)ようになされている。
In the present embodiment, a playback path created by a sequence of one or more PlayItems (by consecutive PlayItems) in the PlayList is referred to as a main path (Main Path). ) And a playback path created by a sequence of one or more sub paths (which may be discontinuous or may be continuous) is referred to as a sub path. In other words, the application format of data that can be played back by the
図5は、メインパスとサブパスの構造を説明する図である。PlayListは、1つのメインパスと1つ以上のサブパスを持つことができる。1つのメインパスは、1つ以上のPlayItemの並びによって作られ、1つのサブパスは、1つ以上のSubPlayItemの並びによって作られる。 FIG. 5 is a diagram for explaining the structure of the main path and the sub path. The PlayList can have one main path and one or more sub paths. One main path is created by a sequence of one or more PlayItems, and one sub-path is created by a sequence of one or more SubPlayItems.
図5の例の場合、PlayListは、3つのPlayItemの並びにより作られる1つのメインパスと、3つのサブパスを有している。メインパスを構成するPlayItemには、先頭から順番にそれぞれID(Identification)が付されている。具体的には、メインパスは、PlayItem_id=0、PlayItem_id=1、およびPlayItem_id=2のPlayItemからなる。また、サブパスにも先頭から順番にSubpath_id=0、Subpath_id=1、およびSubpath_id=2、とそれぞれIDが付されている。Subpath_id=0のサブパスには、1つのSubPlayItemが含まれ、Subpath_id=1のサブパスには、2つのSubPlayItemが含まれ、Subpath_id=2のサブパスには、1つのSubPlayItemが含まれる。 In the case of the example in FIG. 5, the PlayList has one main path made up of a sequence of three PlayItems and three sub paths. Each PlayItem constituting the main path is assigned ID (Identification) in order from the top. Specifically, the main path is made up of PlayItems with PlayItem_id = 0, PlayItem_id = 1, and PlayItem_id = 2. Subpaths are also assigned IDs in order from the top, Subpath_id = 0, Subpath_id = 1, and Subpath_id = 2. A subpath of Subpath_id = 0 includes one SubPlayItem, a subpath of Subpath_id = 1 includes two SubPlayItems, and a subpath of Subpath_id = 2 includes one SubPlayItem.
Subpath_id=0のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、Mainpathにより参照されるAVストリームファイルのオーディオストリームに替えて再生される場合が考えられる。また、Subpath_id=1のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画のディレクターズカットと想定され、Main Pathにより参照されるAVストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合が考えられる。 The stream referred to by the SubPlayItem included in the subpath of Subpath_id = 0 is assumed to be, for example, a Japanese dubbing sound of a movie, and may be played in place of the audio stream of the AV stream file referenced by Mainpath. Also, the stream referred to by SubPlayItem included in the subpath of Subpath_id = 1 is assumed to be a director's cut of a movie, for example, and a comment such as a movie director is included only in a predetermined part of the AV stream file referred to by Main Path. The case is considered.
1つのPlayItemが参照するClip AVストリームファイルには、少なくともビデオストリームデータ(メイン画像データ)が含まれる。また、Clip AVストリームファイルには、Clip AVストリームファイルに含まれるビデオストリーム(メイン画像データ)と同じタイミングで(同期して)再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。さらに、Clip AVストリームファイルには、Clip AVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリームが1つ以上含まれてもよいし、含まれなくてもよい。また、Clip AVストリームファイルには、Clip AVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが1つ以上含まれてもよいし、含まれなくてもよい。そして、Clip AVストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。すなわち、1つのPlayItemが参照するClip AVストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される0個以上のオーディオストリーム、0個以上のビットマップ字幕ストリームデータ、および0個以上のインタラクティブグラフィックスストリームデータとが多重化されている。 A Clip AV stream file referred to by one PlayItem includes at least video stream data (main image data). In addition, the Clip AV stream file may or may include one or more audio streams that are played back at the same timing (synchronously) as the video stream (main image data) included in the Clip AV stream file. It does not have to be. Furthermore, the Clip AV stream file may or may not include one or more bitmap subtitle streams that are played back at the same timing as the video stream included in the Clip AV stream file. The Clip AV stream file may or may not include one or more interactive graphics streams that are played back at the same timing as the video stream included in the Clip AV stream file. The video stream included in the Clip AV stream file and the audio stream, bitmap subtitle stream file, or interactive graphics stream reproduced at the same timing as the video stream are multiplexed. That is, a Clip AV stream file referred to by one PlayItem includes video stream data, zero or more audio streams to be played in accordance with the video stream, zero or more bitmap subtitle stream data, and zero or more. The interactive graphics stream data is multiplexed.
すなわち、1つのPlayItemが参照するClip AVストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリームファイル、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。 That is, a Clip AV stream file referred to by one PlayItem includes a plurality of types of streams such as a video stream, an audio stream, a bitmap subtitle stream file, or an interactive graphics stream.
また、1つのSubPlayItemは、PlayItemが参照するClip AVストリームファイルとは異なるストリーム(別ストリーム)のオーディオストリームデータや字幕データを参照する。 One SubPlayItem refers to audio stream data and subtitle data of a stream (different stream) different from the Clip AV stream file referred to by the PlayItem.
メインパスのみを有するPlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中からしか音声や字幕を選択することができない。これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClip AVストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリームを参照することができる。 When playing a PlayList that has only the main path, the user can select audio and subtitles only from the audio stream and sub-picture stream multiplexed in the clip referenced by the main path. Can not do it. On the other hand, when playing a PlayList having a main path and a sub path, in addition to the audio stream and sub picture stream multiplexed in the Clip AV stream file referenced by the main path, the clip audio stream referenced by the SubPlayItem Or a sub-picture stream.
このように、1つのPlayListの中にSubPathを複数含め、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、MainPathで参照されるClip AVストリームに加えて、後で、SubPlayItemを追加できる構成とすることができる。 In this way, since a plurality of SubPaths are included in one PlayList and each SubPath refers to each SubPlayItem, an AV stream with high expandability and high flexibility can be realized. In other words, in addition to the Clip AV stream referred to by MainPath, a SubPlayItem can be added later.
図6は、メインパスとサブパスの例を説明する図である。図6においては、メインパスと同じタイミングで(AV同期して)再生されるオーディオの再生パスを、サブパスを使用して表している。 FIG. 6 is a diagram illustrating an example of a main path and a sub path. In FIG. 6, an audio playback path that is played back at the same timing as the main path (synchronized with AV) is represented using a sub path.
図6のPlayListには、メインパスとして、PlayItem_id=0である1つのPlayItemと、サブパスとして1つのSubPlayItemが含まれている。メインパスのPlayItem_id=0である1つのPlayItem()は、図6のメインAVストリームを参照している。SubPlayItem()には、以下に示すデータが含まれる。まず、SubPlayItem ()には、PlayListの中のSub Path(サブパス)が参照するClipを指定するためのClip_Information_file_nameが含まれる。図6の例の場合、SubPlayItemによって、SubClip_entry_id=0のAuxiliary audio stream(オーディオストリーム)が参照されている。また、SubPlayItem ()には、指定されたClipに含まれるストリーム(ここでは、Auxiliary audio stream)中のSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeとが含まれる。さらに、SubPlayItem()には、Main pathの時間軸上でSub Pathが再生開始する時刻を指定するためのsync_PlayItem_idとsync_start_PTS_of_PlayItemとが含まれる。図6の例の場合、sync_PlayItem_id=0とされ、sync_start_PTS_of_PlayItem=t1とされている。これにより、メインパスのPlayItem_id=0の時間軸上でSub Pathが再生を開始する時刻t1を指定することができる。すなわち、図6の例の場合では、メインパスの再生開始時刻t1とサブパスの開始時刻t1が同時刻であることを示している。 The PlayList in FIG. 6 includes one PlayItem with PlayItem_id = 0 as a main path and one SubPlayItem as a sub path. One PlayItem () with PlayItem_id = 0 in the main path refers to the main AV stream in FIG. SubPlayItem () includes the following data. First, SubPlayItem () includes Clip_Information_file_name for designating a Clip referred to by a Sub Path in the PlayList. In the example of FIG. 6, an auxiliary audio stream (audio stream) with SubClip_entry_id = 0 is referred to by SubPlayItem. Also, SubPlayItem () includes SubPlayItem_IN_time and SubPlayItem_OUT_time for specifying the playback section of the Sub Path in the stream (Auxiliary audio stream in this case) included in the specified Clip. Further, SubPlayItem () includes sync_PlayItem_id and sync_start_PTS_of_PlayItem for designating the time at which the Sub Path starts to be reproduced on the time axis of the Main path. In the case of the example in FIG. 6, sync_PlayItem_id = 0 and sync_start_PTS_of_PlayItem = t1. As a result, it is possible to specify the time t1 at which the Sub Path starts playback on the time axis of PlayItem_id = 0 of the main path. That is, in the case of the example in FIG. 6, the reproduction start time t1 of the main path and the start time t1 of the sub path are the same time.
ここで、Sub Pathに参照されるオーディオのClip AVストリームは、STC不連続点(システムタイムベースの不連続点)を含んではならない。サブパスに使われるClipに含まれるストリームのオーディオサンプルのクロックは、メインパスに使われるClipに含まれるストリームのオーディオサンプルのクロックにロックされている。 Here, the Clip AV stream of the audio referred to by the Sub Path must not include STC discontinuities (system time base discontinuities). The clock of the audio sample of the stream included in the Clip used for the sub path is locked to the clock of the audio sample of the stream included in the Clip used for the main path.
換言すると、SubPlayItem()には、Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報が含まれている。Sub Pathに使われるClip AVストリームがSTCを含まないため、SubPlayItem()に含まれる情報(Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報)に基づいて、メインパスが参照するClip AVストリーム(メインAVストリーム)とは異なるClip AVストリームのオーディオストリームを参照して、再生することができる。 In other words, in SubPlayItem (), information specifying the Clip referred to by the Sub Path, information specifying the playback section of the Sub Path, and information specifying the time at which the Sub Path starts playback on the time axis of the Main path It is included. Since the Clip AV stream used in Sub Path does not include STC, information included in SubPlayItem () (information specifying Clip referred to by Sub Path, information specifying Sub Path playback section, and time axis of Main path) Based on the above (information specifying the time when the Sub Path starts playback), the audio stream of the Clip AV stream different from the Clip AV stream (main AV stream) referred to by the main path can be referred to and reproduced. it can.
このように、PlayItemとSubPlayItemは、Clip AVストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClip AVストリームファイル(メインAVストリーム)とSubPlayItemが管理するClip AVストリームファイルは異なるファイルとなる。 In this way, PlayItem and SubPlayItem manage Clip AV stream files, respectively, and here, the Clip AV stream file (main AV stream) managed by PlayItem and the Clip AV stream file managed by SubPlayItem are different from each other. Become.
なお、図6の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。 Similar to the example of FIG. 6, a subtitle stream playback path that is played back at the same timing as the main path can be expressed using a sub path.
図7は、メインパスとサブパスの別の例を説明する図である。図7においては、メインパスと同じタイミングで(AV同期して)再生されるオーディオの再生パスを、サブパスを使用して表している。ここで、メインパスのPlayItemが参照するメインAVストリームファイルは、図6と同様であるので省略している。 FIG. 7 is a diagram illustrating another example of the main path and the sub path. In FIG. 7, an audio playback path that is played back at the same timing as the main path (synchronized with AV) is represented using sub-paths. Here, the main AV stream file referred to by PlayItem in the main path is the same as in FIG.
例えば、メインパスにより参照されるClipAVストリームを1つの映画のコンテンツ(AVコンテンツ)とし、サブパスのオーディオパスにより参照されるAuxiliary audio streamをその映画に対する監督のコメントとし、メインパスで参照されるClipAVストリームのオーディオストリームにサブパスのオーディオパスで参照されるAuxiliary audio streamをミキシング(重ねて)再生するような場合に、このような構成が利用される。すなわち、ユーザが、映画を見ながら、その映画に対する監督のコメントを合わせて聞く指令を再生装置(プレーヤ)へ入力した場合、例えば、メインパスで参照されるClipAVストリームの音声と、サブパスのオーディオパスで参照されるAuxiliary audio streamとを、ミキシングして再生させる場合に利用される。 For example, a clip AV stream referred to by the main path is set as one movie content (AV content), an auxiliary audio stream referenced by the sub-path audio path is set as a director's comment for the movie, and a clip AV stream referred to by the main path Such a configuration is used when the auxiliary audio stream referred to in the sub-path audio path is mixed (overlaid) with the audio stream. That is, when the user inputs a command to listen to the director's comment together with the movie while watching the movie, for example, the audio of the Clip AV stream referenced in the main path and the audio path of the sub path This is used when the Auxiliary audio stream referenced in the above is mixed and played back.
図7においては、メインパスに3つのPlayItemがPlayItem_id=0,1,2と配置され、サブパス(Subpath_id=0)に2つのSubPlayItemが配置されている。そして、Subpath_id=0のSubPath(図19にて後述する)で呼び出すSubPlayItem(図21にて後述する)は、Auxiliary audio stream(SubClip_entry_id=0の英語のAuxiliary audio streamのクリップ及びSubClip_entry_id=1の日本語のAuxiliary audio streamのクリップ)のSubpathの再生区間を指定するための、SubPlayItem_IN_timeと、SubPlayItem_out_timeを含む。 In FIG. 7, three PlayItems are arranged in the main path as PlayItem_id = 0, 1, 2, and two SubPlayItems are arranged in the subpath (Subpath_id = 0). A SubPlayItem (described later in FIG. 21) called by SubPath_id = 0 (described later in FIG. 19) is an Auxiliary audio stream (English Auxiliary audio stream clip of SubClip_entry_id = 0 and SubClip_entry_id = 1 Japanese) SubPlayItem_IN_time and SubPlayItem_out_time for specifying the subpath playback section of (Auxiliary audio stream clip).
図7と図6とを比較するに、図7においては、SubPlayItemによって、SubClip_entry_id=0,1のAuxiliary audio stream(英語または日本語のオーディオストリーム)を参照することができる。すなわち、SubPlayItemを用いて、複数のオーディオストリームファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のオーディオストリームファイルから1つのオーディオストリームファイルが選ばれて再生される。図7の例の場合、英語のオーディオストリームファイルと日本語のオーディオストリームファイルのうち、1つのオーディオストリームファイルが選ばれて再生される。具体的には、subClip_entry_id=0,1の中から(ユーザの指令に基づいて)1つが選択され、そのIDが参照するAuxiliary audio streamが再生される。また、これに加えて、さらにメインパスにより参照されるオーディオストリームとのミキシングによる再生が選択された場合(再生するオーディオストリームとして2つのオーディオストリームが選択された場合)、例えば、メインパスで参照されるオーディオストリームファイルと、サブパスのオーディオパスで参照されるオーディオストリームファイルとが、ミキシングされて再生される。 7 is compared with FIG. 6, in FIG. 7, an auxiliary audio stream (English or Japanese audio stream) of SubClip_entry_id = 0, 1 can be referred to by SubPlayItem. That is, it has a structure that refers to a plurality of audio stream files using SubPlayItem, and when reproducing this SubPlayItem, one audio stream file is selected from the plurality of audio stream files and reproduced. In the case of the example in FIG. 7, one audio stream file is selected and reproduced from the English audio stream file and the Japanese audio stream file. Specifically, one of subClip_entry_id = 0 and 1 is selected (based on a user instruction), and an auxiliary audio stream referred to by the ID is reproduced. In addition to this, when playback by mixing with an audio stream referred to by the main path is selected (when two audio streams are selected as audio streams to be played back), for example, the playback is referred to by the main path. The audio stream file to be referred to and the audio stream file referred to by the sub-path audio path are mixed and reproduced.
図8は、再生装置20において再生可能なデータファイルのファイルシステムの例を示す図である。図8には、一例として、再生装置20において再生可能なデータファイルが光ディスクなどの記録媒体21によって供給されている場合を示しており、このファイルシステムはディレクトリ構造を有している。
FIG. 8 is a diagram illustrating an example of a file system of a data file that can be played back by the
このファイルシステムにおいて、「root」の下には「BDMV」の名前が設定されたディレクトリが用意され、そのディレクトリに、「Index.bdmv」の名前が設定されたファイルと、「NavigationObject.bdmv」の名前が設定されたファイルが格納されている。以下、適宜、これらのファイルをそれぞれIndexファイル、NavigationObjectファイルと称する。また、適宜、各ファイルについては、「ファイル名」に「ファイル」を付加した形で、または、各ディレクトリについては、「ディレクトリ名」に「ディレクトリ」を付加した形で称する。 In this file system, a directory with the name “BDMV” is prepared under “root”, and a file with the name “Index.bdmv” and a file “NavigationObject.bdmv” Contains a file with a name. Hereinafter, these files will be referred to as an Index file and a NavigationObject file, respectively, as appropriate. As appropriate, each file is referred to by adding “file” to “file name”, or each directory is referred to by adding “directory” to “directory name”.
Indexファイルは、上述したインデックステーブルが記載されたファイルであり、再生装置20において再生可能なデータファイルを再生するメニューに関する情報を含む。再生装置20は、例えば、再生装置20において再生可能なデータファイルに含まれるコンテンツを全て再生する、特定のチャプタのみ再生する、繰り返し再生する、初期メニューを表示するなどの内容の項目を含む再生メニュー画面をIndexファイルに基づいて、表示装置に表示させる。Indexファイルのインデックステーブルには各項目が選択されたときに実行するNavigationObjectを設定することができ、ユーザにより再生メニュー画面から1つの項目が選択された場合、再生装置20はIndexファイルのインデックステーブルに設定されているNavigationObjectのコマンドを実行する。
The Index file is a file in which the above-described index table is described, and includes information related to a menu for reproducing a data file that can be reproduced by the reproducing
NavigationObjectファイルは、NavigationObjectを含むファイルである。NavigationObjectは、再生装置20において再生可能なデータファイルに含まれているPlayListの再生を制御するコマンドを含み、例えば、再生装置20は、このファイルシステムに含まれているNavigationObjectの中から1つを選択して、実行することにより、コンテンツを再生させることができる。
The NavigationObject file is a file containing NavigationObject. The NavigationObject includes a command for controlling playback of a PlayList included in a data file that can be played back by the
BDMVディレクトリにはまた、「BACKUP」の名前が設定されたディレクトリ(BACKUPディレクトリ)、「PLAYLIST」の名前が設定されたディレクトリ(PLAYLISTディレクトリ)、「CLIPINF」の名前が設定されたディレクトリ(CLIPINFディレクトリ)、「STREAM」の名前が設定されたディレクトリ(STREAMディレクトリ)、「AUXDATA」の名前が設定されたディレクトリ(AUXDATAディレクトリ)が設けられている。 The BDMV directory also includes a directory with the name “BACKUP” (BACKUP directory), a directory with the name “PLAYLIST” (PLAYLIST directory), and a directory with the name “CLIPINF” (CLIPINF directory). , A directory (STREAM directory) in which the name “STREAM” is set, and a directory (AUXDATA directory) in which the name “AUXDATA” is set.
BACKUPディレクトリには、再生装置20において再生可能なファイルやデータをバックアップするためのファイルやデータが記録される。
In the BACKUP directory, files and data for backing up files and data that can be played back by the
PLAYLISTディレクトリには、PlayListファイルが格納される。各PlayListファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子「.mpls」を付加した名称が命名される。 A PlayList file is stored in the PLAYLIST directory. As shown in the figure, each PlayList file is given a name obtained by adding an extension “.mpls” to a file name consisting of a 5-digit number.
CLIPINFディレクトリには、Clip Informationファイルが格納される。各Clip Informationファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子「.clpi」を付加した名称が命名される。 A Clip Information file is stored in the CLIPINF directory. Each Clip Information file is named by adding the extension “.clpi” to a file name consisting of five digits as shown in the figure.
STREAMディレクトリには、Clip AVストリームファイルやサブストリームファイルが格納される。各ストリームファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子「.m2ts」を付加した名称が命名される。 In the STREAM directory, a Clip AV stream file and a substream file are stored. Each stream file is given a name obtained by adding an extension “.m2ts” to a file name consisting of five digits as shown in the figure.
AUXDATAディレクトリには、Clip AVストリームファイルやサブストリームファイルに含まれずに、Clip AVストリームファイルやサブストリームファイルから参照されるデータや、Clip AVストリームファイルやサブストリームファイルとは独立して利用されるデータなどのファイルが格納される。図8の例においては、AUXDATAディレクトリには、「11111.otf」の名前がつけられている字幕のフォントのファイル、「sound.bdmv」の名前が設定された効果音などのサウンドデータが格納されている。 The AUXDATA directory is not included in the Clip AV stream file or substream file, but is referred to from the Clip AV stream file or substream file, or data used independently of the Clip AV stream file or substream file. And other files are stored. In the example of FIG. 8, the AUXDATA directory stores sound data such as subtitle font files with the name “11111.otf” and sound effects with the name “sound.bdmv”. ing.
また、再生装置20において再生可能なデータファイルが光ディスクによって配布されている場合、例えば、製作会社や映画の配給会社など、このコンテンツ製作元や、または、この記録媒体の供給元であるタイトルオーサを識別するために各タイトルオーサに割り当てられた識別子であるauthor_id、および、author_idに示されるタイトルオーサにおいて製作された光ディスクの種類を識別するために割り当てられた識別子であるdisc_idが、ユーザなどにより書き換えることができないセキュアな電子データとして、または、物理的にピットによって記録されている。
Further, when a data file that can be played back by the
また、再生装置20において再生可能なデータファイルが光ディスク以外のリムーバブルな記録媒体に記録されている場合や、ネットワークを介してダウンロードされている場合も、author_id、および、author_idに相当するidが割り当てられてそれぞれ区別可能なようになされ、図8に示す場合と同様のディレクトリ構造を有していると好適である。また、再生装置20において再生可能なデータファイルには、author_id、および、author_idに相当するidが割り当てられていないとしても、図8を用いて説明した場合と同様に、「Index.bdmv」の名前が設定されたファイル、「NavigationObject.bdmv」の名前が設定されたファイルが含まれており、「BACKUP」の名前が設定されたファイル群、「PLAYLIST」の名前が設定されたファイル群、「CLIPINF」の名前が設定されたファイル群、「STREAM」の名前が設定されたファイル群、「AUXDATA」の名前が設定されたファイル群のうち、適宜必要なファイル群が含まれている。
In addition, even when a data file that can be played back by the
ところで、再生装置20は、音声データを非圧縮データとして出力する場合と、圧縮符号化されたデータとして出力する場合とがある。また、再生装置20は、音声データを必要に応じて合成することができる。再生装置20は、例えば、主に再生出力される音声データに対して、効果音を合成する機能を有することができ、また、効果音のみならず、第2の音声(副音声など)を主に再生出力される音声データに合成する機能を有することができる。換言すれば、再生装置20が音声データの合成を行うか否かは、再生されるストリームに、再生装置20が有する機能において合成可能な音声データが含まれているか否かによって決まる。
By the way, the reproducing
以下、主に再生出力される音声データをオーディオストリーム#1と称し、例えば、ユーザの操作入力に対応して発生するクリック音や効果音など、上述したAUXDATAディレクトリにsound.bdmvとして記載されている音声データをサウンドデータと称するものとする。サウンドデータはオーディオストリーム#1に合成可能である。また、オーディオストリーム#1とは別のストリームであって、例えば、副音声など、オーディオストリーム#1に合成可能な音声データをオーディオストリーム#2と称するものとする。なお、オーディオストリーム#1とは別のストリームであって、オーディオストリーム#1に合成可能な音声データは、オーディオストリーム#2以外にも、複数存在してもよく、その場合、例えば、オーディオストリーム#3、オーディオストリーム#4・・・などとして、それぞれ、区別可能なようにすればよい。
Hereinafter, the audio data mainly played back and output is referred to as
オーディオストリーム#1が圧縮符号化データとして出力される場合であっても、オーディオストリーム#2やサウンドデータとの音声合成が行われる場合、オーディオストリーム#1は、一旦復号され、合成処理が行われた後、再エンコードされて出力される。これに対して、オーディオストリーム#1が圧縮符号化データとして出力され、オーディオストリーム#2やサウンドデータとの音声合成が行われない場合、オーディオストリーム#1は、デコードされずにそのまま出力されるほうが、音質が劣化せず、好適である。
Even when
したがって、再生装置20においては、オーディオストリーム#1に対して復号処理を施すか否かを決定するために、出力の形態と、このデータファイルに含まれている音声データの種別(オーディオストリーム#1に合成される他の音声データが含まれているか否か)を認識する必要がある。このため、再生装置20によって再生可能なデータファイルには、サウンドデータが含まれているか否かを示すフラグや、オーディオストリーム#2が含まれているか否かを示すフラグが所定の位置に記載されている。
Therefore, in the
なお、オーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグが記載される位置としては、例えば、Indexファイル、プレイリスト(PlayList)ファイル、プレイアイテム(PlayItem)などがある。これらのフラグがIndexファイルに記載されている場合、図8を用いて説明したデータ構造に含まれる全てのデータの再生において、オーディオストリーム#1に合成される他の音声データが含まれていると扱われるか、含まれていないと扱われるかが規定される。同様に、これらのフラグがプレイリストに記載されている場合、対応するプレイリストを基に再生されるデータに含まれるオーディオストリーム#1に対して合成される他の音声データが含まれていると扱われるか、含まれていないと扱われるかが規定され、これらのフラグがプレイアイテムに記載されている場合、対応するプレイアイテムに対応するクリップにオーディオストリーム#1に対して合成される他の音声データが含まれていると扱われるか、含まれていないと扱われるかが規定される。
Note that the position where the flag indicating whether or not other audio data to be synthesized is included in the
Indexファイル(Index.bdmv)のシンタクスを図9に示す。 FIG. 9 shows the syntax of the Index file (Index.bdmv).
Type_indicatorは、ISO646に基づいて符号化された"INDX"の値が記述されるフィールドである。 Type_indicator is a field in which the value of “INDX” encoded based on ISO646 is described.
version_numberは、Index.bdmvのバージョンナンバーを示す4文字の文字列であり、ISO646に基づいて符号化された"0089"の値が記述される。 The version_number is a 4-character string indicating the version number of Index.bdmv, and a value “0089” encoded based on ISO646 is described.
Indexes_start_addressは、Indexes()ブロックのスタートアドレスが記載されるフィールドである。 Indexes_start_address is a field in which the start address of the Indexes () block is described.
AppInfoBDMV()には、このIndexファイルを含むデータファイルの供給元を示す、個別の識別子などが記載されている。 In AppInfoBDMV (), an individual identifier indicating the supply source of the data file including this Index file is described.
Indexes()には、例えば、メニューを読み出したり、タイトルを検索したり、所定のタイトルにジャンプしたり、または、このIndexファイルを含むデータファイルが記録されている光ディスクなどの記録媒体21が再生装置20に装着された場合に自動的に起動する処理を実行するアプリケーション(NavigationObject)とのリンクが記載されている。Indexes()のシンタクスについては、図10乃至図12を用いて後述する。
Indexes () includes, for example, a
Padding_wordは、Index.bdmvのシンタクスに基づいて挿入されるものであり、0または正の整数で表される。 Padding_word is inserted based on the syntax of Index.bdmv, and is represented by 0 or a positive integer.
Indexes()のシンタクスの第1の例を、図10に示す。図10は、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されていない場合のシンタクスである。
A first example of the syntax of Indexes () is shown in FIG. FIG. 10 shows the syntax when the flag referred to by Indexes () does not contain a flag indicating whether other audio data to be combined with the
lengthは、Indexes()に何バイトの情報が記載されているかを表すフィールドである。 The length is a field indicating how many bytes of information are described in Indexes ().
FirstPlaybackは、このファイルシステムのデータが再生される場合に最初に実行されるNavigationObjectに関する情報が含まれているデータブロックである。具体的には、このファイルシステムのデータが記録された光ディスクなどの記録媒体21が再生装置20に装着されたときに最初に自動的に実行されるNavigationObjectに関する情報が含まれているデータブロックである。
FirstPlayback is a data block that includes information related to a NavigationObject that is executed first when data of this file system is reproduced. Specifically, it is a data block that includes information related to a NavigationObject that is automatically executed first when a
FirstPlayback_mobj_id_refは、最初に実行されるNavigationObjectのmobj_idの値を指定するためのフィールドである。mobj_idは、NavigationObjectがそれぞれ固有に与えられているIDである。また、再生開始時に自動的に実行されるNavigationObjectが設定されない場合、すなわち、再生開始時にはアプリケーションはいずれも実行されず、ユーザによる指令を受けて、いずれかのアプリケーションが実行されるようになされている場合、このフィールドには、"0Xffff"が記載される。 FirstPlayback_mobj_id_ref is a field for designating the value of mobj_id of the NavigationObject that is executed first. mobj_id is an ID to which NavigationObject is uniquely given. Also, if the NavigationObject that is automatically executed at the start of playback is not set, that is, no application is executed at the start of playback, and any application is executed in response to an instruction from the user. In this case, “0Xffff” is described in this field.
TopMenu()は、ユーザがメニュー画面を表示させる場合などに呼び出されるTopMenuのNavigationObjectに関する情報が含まれているデータブロックである。 TopMenu () is a data block that includes information related to NavigationObject of TopMenu that is called when the user displays a menu screen.
TopMenu_mobj_id_refは、TopMenuのNavigationObjectのmobj_idの値を指定するためのフィールドである。TopMenuが設定されない場合、このフィールドには、"0xFFFF"が記載される。 TopMenu_mobj_id_ref is a field for designating the value of mobj_id of NavigationObject of TopMenu. When TopMenu is not set, “0xFFFF” is described in this field.
number_of_Titlesは、Indexes()に記載されているタイトルの数を表すフィールドである。 number_of_Titles is a field representing the number of titles described in Indexes ().
Title[title_id]()は、title_idによって固有に区別されているそれぞれのタイトルに関する情報が記載されるブロックである。title_idは0から割り当てられる。 Title [title_id] () is a block in which information about each title uniquely distinguished by title_id is described. title_id is assigned from 0.
Title_playback_type[title_id]は、そのtitle_idによって指定されるタイトルの再生タイプを示す情報であり、例えば、再生される動画と音声による一般的なコンテンツであるMovie Titleか、ユーザの操作入力によって再生される動画や音声が変更されるなどの双方向のやり取りが可能なコンテンツであるInteractive Titleなどのタイプが示される。例えば、そのタイトルがMovie Titleである場合、PlayListに基づいた再生処理が実行される。 Title_playback_type [title_id] is information indicating the playback type of the title specified by the title_id, for example, a movie title that is a general content with a video to be played and audio, or a video that is played by user operation input And Interactive Title, which is a content that can be interactively exchanged, such as a change in voice or sound. For example, when the title is Movie Title, playback processing based on PlayList is executed.
Title_access_type[title_id]は、そのtitle_idによって指定されるタイトルが、Title_Searchを用いて再生することが許可されているか否かを示す情報である。 Title_access_type [title_id] is information indicating whether or not the title specified by the title_id is permitted to be reproduced using Title_Search.
reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている29ビットのフィールドである。 reserved_for_future_use is a 29-bit field whose data description content is not set in preparation for future expansion.
Title_mobj_id_ref[title_id]は、そのtitle_idによって指定されるタイトルがエントリーされているNavigationObjectのmobj_idの値を指定するためのフィールドである。 Title_mobj_id_ref [title_id] is a field for specifying the value of mobj_id of the NavigationObject in which the title specified by the title_id is entered.
次に、Indexes()のシンタクスの第2の例を、図11に示す。図11の例においては、Indexes()により参照されるデータには、サウンドデータのみ合成される(オーディオストリーム#2は含まれていない)ようになされている場合のものであるから、Index()には、Indexes()により参照されるデータにオーディオストリーム#1に合成されるサウンドデータが含まれているか否かのフラグが記載されている。
Next, FIG. 11 shows a second example of the syntax of Indexes (). In the example of FIG. 11, since the data referred to by Indexes () is synthesized with only sound data (
図11に示されるIndexes()のシンタクスの第2の例においては、Indexes()により参照されるデータにサウンドデータが含まれているか否かを示す1ビットのフラグであるis_MixAppが新たに記載され、reserved_for_future_useが29ビットから28ビットに変更されている以外は、図10を用いて説明したIndexes()のシンタクスの第1の例と同様の構成を有している。なお、このis_MixAppを、Indexes()により参照されるデータに、オーディオストリーム#1に合成され得るサウンドデータまたはオーディオストリーム#2のうちの少なくともいずれかが含まれているか否かを示すフラグとして定義しても良い。この場合には、この1つのフラグを確認することのみにより、オーディオデータの合成が行われるか否か、すなわち、デコード処理の必要性を、迅速に認識することが可能となる。
In the second example of the Indexes () syntax shown in FIG. 11, is_MixApp, which is a 1-bit flag indicating whether or not sound data is included in the data referenced by Indexes (), is newly described. , Except that reserved_for_future_use is changed from 29 bits to 28 bits, it has the same configuration as that of the first example of the syntax of Indexes () described with reference to FIG. Note that this is_MixApp is defined as a flag indicating whether or not the data referred to by Indexes () includes at least one of sound data or
次に、Indexes()のシンタクスの第3の例を、図12に示す。図12の例においては、Index()には、Indexes()により参照されるデータにオーディオストリーム#1に合成されるサウンドデータが含まれているか否かのフラグと、オーディオストリーム#1に合成されるオーディオストリーム#2が含まれているか否かのフラグとの2種類が記載されている。
Next, FIG. 12 shows a third example of the syntax of Indexes (). In the example of FIG. 12, Index () is combined with
図12に示されるIndexes()のシンタクスの第3の例においては、Indexes()により参照されるデータにオーディオストリーム#2が含まれているか否かを示す1ビットのフラグであるis_MixApp_1と、Indexes()により参照されるデータにサウンドデータが含まれているか否かを示す1ビットのフラグであるis_MixApp_2との2種類のフラグが新たに記載され、reserved_for_future_useが29ビットから27ビットに変更されている以外は、図10を用いて説明したIndexes()のシンタクスの第1の例と同様の構成を有している。
In the third example of the Indexes () syntax shown in FIG. 12, is_MixApp_1, which is a 1-bit flag indicating whether or not the
また、オーディオストリーム#1に合成すべきデータ(オーディオストリーム#2、またはサウンドデータのうちの少なくともいずれか)がIndexes()により参照されるデータに含まれているか否かを示すフラグではなく、合成処理が行われ得るか、行われないかを示すフラグを定義するものとしても良い。この場合には、定義されるフラグは、再生順を管理するIndex,PlayList等に基づいて再生を行うときに、合成データがそのPlayListに対して適用され得るか、または、適用されないかを示すフラグとなる。
Also, it is not a flag indicating whether or not the data to be synthesized with the audio stream # 1 (at least one of the
図13に、PlayListファイルのデータ構造を示す。PlayListファイルは、再生装置20に装着された記録媒体、または、再生装置20内部の記憶部(例えば、ハードディスクなどからなるローカルストレージ)において、PLAYLISTディレクトリに格納される、拡張子「.mpls」を有するデータファイルである。
FIG. 13 shows the data structure of the PlayList file. The PlayList file has an extension “.mpls” stored in the PLAYLIST directory in a recording medium attached to the
type_indicatorは、このファイルの種類を示す情報が記載されているものである。すなわち、このフィールドには、このファイルの種類が映像の再生を管理する再生管理情報であるPlayList(MoviePlayList)であることを示す情報が記載される。 type_indicator describes information indicating the type of the file. That is, in this field, information indicating that this file type is PlayList (MoviePlayList) that is playback management information for managing video playback.
version_numberは、このxxxx.mpls(MoviePlayList)のバージョンナンバーを示す4個のキャラクター文字を示すものである。 version_number indicates four character characters indicating the version number of xxxx.mpls (MoviePlayList).
PlayList_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayList()の先頭アドレスを示すものである。 PlayList_start_address indicates the start address of PlayList () with the relative number of bytes from the start byte of the PlayList file as a unit.
PlayListMark_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayListMark()の先頭アドレスを示すものである。 PlayListMark_start_address indicates the head address of PlayListMark () with the relative number of bytes from the head byte of the PlayList file as a unit.
ExtensionData_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、ExtensionData()の先頭アドレスを示すものである。 ExtensionData_start_address indicates the start address of ExtensionData () in units of the relative number of bytes from the start byte of the PlayList file.
AppInfoPlayList()には、例えば、再生制限など、PlayListの再生コントロールに関するパラメータが格納されている。AppInfoPlayList()の詳細については、図14または図15を用いて後述する。 AppInfoPlayList () stores parameters related to playback control of the PlayList, such as playback restrictions. Details of AppInfoPlayList () will be described later with reference to FIG. 14 or FIG.
PlayList()には、PlayListのメインパスやサブパスなどに関するパラメータが格納されている。PlayList()の詳細は、図16乃至図18を用いて後述する。 PlayList () stores parameters related to the main path and sub path of the PlayList. Details of PlayList () will be described later with reference to FIGS. 16 to 18.
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプなどを指令するユーザオペレーションまたはコマンドなどにおけるジャンプ先(ジャンプポイント)であるマークに関する情報が格納されている。 PlayListMark () stores PlayList mark information, that is, information about a mark that is a jump destination (jump point) in a user operation or command that commands chapter jump or the like.
ExtensionData()には、プライベートデータが挿入できるようになっている。 Private data can be inserted into ExtensionData ().
次に、図14を参照して、AppInfoPlayList()の第1の例について説明する。図14のAppInfoPlayList()は、Indexes()が、図10を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されていない場合に適用することができる。
Next, a first example of AppInfoPlayList () will be described with reference to FIG. In the AppInfoPlayList () of FIG. 14, when Indexes () is the one described with reference to FIG. 10, that is, the data referred to by Indexes () includes other audio data synthesized with the
lengthは、length以下のシンタックスの長さ、すなわち、このlengthフィールドの直後からreserved_for_future_useの最後までのAppInfoPlayList()のバイト数を示すものである。このlengthの後には、8ビットのreserved_for_future_useが用意される。 The length indicates a syntax length equal to or less than length, that is, the number of bytes of AppInfoPlayList () from immediately after this length field to the end of reserved_for_future_use. After this length, 8-bit reserved_for_future_use is prepared.
Playlist_playback_typeは、連続再生、ランダムアクセス、シャッフルのいずれの再生を行うPlaylistであるかを示す情報を記載するフィールドである。 Playlist_playback_type is a field that describes information indicating whether the playlist is to be played back continuously, randomly accessed, or shuffled.
Playback_countは、ランダムアクセス、シャッフルを行うPlayListの場合、再生に用いるPlayItemの数を示す情報を記載するフィールドである。 Playback_count is a field that describes information indicating the number of PlayItems used for playback in the case of a PlayList that performs random access and shuffle.
そして、UO_mask_table()は、一時停止、チャプタサーチ、ジャンプ、早送り、早戻し(後方高速再生)等の特殊再生、または、表示等に関するユーザ操作の制限を決める情報である。 UO_mask_table () is information that determines restrictions on user operations related to special playback such as pause, chapter search, jump, fast forward, fast reverse (backward fast playback), or display.
そして、PlayList_random_access_flagは、他のPlayListからのジャンプ再生を制御するためのフラグ情報である。ここでは、PlayList_random_access_flag=1に設定されている場合、他のPlayListからのジャンプ再生を禁止するものとする。 PlayList_random_access_flag is flag information for controlling jump playback from another PlayList. Here, when PlayList_random_access_flag = 1 is set, jump playback from another PlayList is prohibited.
例えば、再生装置20においては、例えば、現在のPlayListにより参照されている再生位置から、他のPlayListにより参照される所定のPlayItemの先頭またはチャプタの位置への再生位置のジャンプを指令するユーザオペレーションなど、装置独自で拡張的なユーザオペレーションを用意することができる。PlayList_random_access_flagは、例えば、これらのユーザオペレーションにより、他のPlayListによって参照されるClip AV Streamのある再生位置から、このPlayListによって参照されるClip AV Streamへのジャンプ(再生位置の移動)が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。
For example, in the
なお、ユーザオペレーションによりジャンプ(再生位置の移動)が指令されるのではなく、ナビゲーションコマンドによりジャンプ(再生位置の移動)が指令された場合、PlayList_random_access_flagは無視される(コマンドは実行され、コマンドの発生に伴って、再生位置が移動される)。 Note that when a jump (movement of the playback position) is commanded by a navigation command rather than a jump (movement of the playback position) commanded by a user operation, the PlayList_random_access_flag is ignored (the command is executed and the command is generated) Accordingly, the playback position is moved).
Is_MixAppは、このPlaylistファイルにより再生されるストリームが音声や効果音の合成を行うか否かのフラグである。すなわち、このis_MixAppは、このPlayListにより参照されるデータに、オーディオストリーム#1に合成され得るサウンドデータおよびオーディオストリーム#2が含まれているか否かを示すフラグとして定義されている。この場合には、この1つのフラグを確認することのみにより、オーディオデータの合成が行われるか否か、すなわち、デコード処理の必要性を、迅速に認識することが可能となる。
Is_MixApp is a flag indicating whether or not the stream reproduced by the Playlist file performs synthesis of sound and sound effects. That is, this is_MixApp is defined as a flag indicating whether or not the data referred to by this PlayList includes sound data that can be synthesized with the
また、Lossless_may_bypass_mixer_flagは、ロスレスの音声の再生に関するフラグである。この後には、13ビットのreserved_for_future_useが用意される。 Lossless_may_bypass_mixer_flag is a flag relating to the reproduction of lossless audio. After this, 13-bit reserved_for_future_use is prepared.
図10に示されるように、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndexes()に記載されていない場合においては、図14を用いて説明したように、AppInfoPlayList()にIs_MixAppを記載し、このPlaylistが音声や効果音の合成を行うか否かを示すようにしてもよいが、例えば、AppInfoPlayList()にIs_MixAppを記載するのではなく、PlayList()またはPlayItemにIs_MixAppを記載するものとしてもよい。
As shown in FIG. 10, in the case where a flag indicating whether or not other audio data to be synthesized with the
次に、図15を参照して、AppInfoPlayList()の第2の例について説明する。 Next, a second example of AppInfoPlayList () will be described with reference to FIG.
図15に示されるAppInfoPlayList()の第2の例は、このPlaylistが音声や効果音の合成を行うか否かのフラグであるIs_MixAppが記載されていないこと以外は、図14を用いて説明したAppInfoPlayList()の第1の例と同様の構成を有している。すなわち、図15のAppInfoPlayList()の第2の例は、Indexes()が、図10を用いて説明したものであるが、Is_MixAppなどのフラグが、後述するPlayList()またはPlayItemに記載されているとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されず、PlayList()またはPlayItemにIs_MixAppが記載される場合、または、Indexes()が、図11または図12を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されている場合に適用される。
The second example of AppInfoPlayList () shown in FIG. 15 has been described with reference to FIG. 14 except that Is_MixApp, which is a flag indicating whether or not this playlist synthesizes sound and sound effects, is not described. It has the same configuration as the first example of AppInfoPlayList (). That is, in the second example of AppInfoPlayList () in FIG. 15, Indexes () is described with reference to FIG. 10, but flags such as Is_MixApp are described in PlayList () or PlayItem described later That is, a flag indicating whether or not other audio data to be synthesized with the
次に、図16は、PlayList()のシンタクスの第1の例を示す図である。図16は、オーディオストリーム#1に合成される他の音声データがこのプレイリストを参照することにより再生されるデータに含まれているか否かのフラグがPlayList()に記載されていない場合のシンタクスである。
Next, FIG. 16 is a diagram illustrating a first example of the syntax of PlayList (). FIG. 16 shows a syntax in the case where a flag indicating whether or not other audio data synthesized with the
すなわち、図16の、PlayList()のシンタクスの第1の例は、Indexes()が、図10を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されていないが、後述するPlayItemに記載されている場合、または、Indexes()が、図11または図12を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されている場合に適用される。
That is, the first example of the syntax of PlayList () in FIG. 16 is that when Indexes () is the one described with reference to FIG. 10, that is,
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す32ビットの符号なし整数である。すなわち、reserved_for_future_useからPlaylistの最後までのバイト数を示すフィールドである。このlengthの後には、16ビットのreserved_for_future_useが用意される。reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている。number_of_PlayItemsは、PlayListの中にあるPlayItemの数を示す16ビットのフィールドである。例えば、図5の例の場合PlayItemの数は3個である。PlayItem_idの値は、PlayListの中でPlayItem()が現れる順番に0から割り振られる。例えば、図5および図7に示されるように、PlayItem_id=0,1,2が割り振られる。 length is a 32-bit unsigned integer indicating the number of bytes from immediately after this length field to the end of PlayList (). That is, this field indicates the number of bytes from reserved_for_future_use to the end of the Playlist. After this length, 16-bit reserved_for_future_use is prepared. In reserved_for_future_use, the description content of the data is not set in preparation for future expansion. number_of_PlayItems is a 16-bit field indicating the number of PlayItems in the PlayList. For example, in the example of FIG. 5, the number of PlayItems is three. The value of PlayItem_id is assigned from 0 in the order in which PlayItem () appears in the PlayList. For example, as shown in FIGS. 5 and 7, PlayItem_id = 0, 1, and 2 are allocated.
number_of_SubPathsは、PlayListの中にあるSubPathの数(エントリー数)を示す16ビットのフィールドである。例えば、図5の例の場合、Sub Pathの数は3個である。SubPath_idの値は、PlayListの中でSubPath()が現れる順番に0から割り振られる。例えば、図5に示されるように、Subpath_id=0,1,2が割り振られる。その後のfor文では、PlayItemの数だけPlayItemが参照され、Sub Pathの数だけ、Sub Pathが参照される。 number_of_SubPaths is a 16-bit field indicating the number of SubPaths (number of entries) in the PlayList. For example, in the example of FIG. 5, the number of Sub Paths is three. The value of SubPath_id is assigned from 0 in the order in which SubPath () appears in the PlayList. For example, as shown in FIG. 5, Subpath_id = 0, 1, and 2 are allocated. In the subsequent for statement, PlayItems are referenced by the number of PlayItems, and Sub Paths are referenced by the number of Sub Paths.
次に、図17は、PlayList()のシンタクスの第2の例を示す図である。図17の例においては、このプレイリストを参照することにより再生されるオーディオストリームは、オーディオストリーム#1のみであり(オーディオストリーム#2は含まれていない)、PlayList()には、PlayList()を参照して再生されるデータにオーディオストリーム#1に合成されるサウンドデータが含まれているか否かのフラグが記載されている。
Next, FIG. 17 is a diagram illustrating a second example of the syntax of PlayList (). In the example of FIG. 17, the audio stream reproduced by referring to this playlist is only the audio stream # 1 (the
すなわち、図17の、PlayList()のシンタクスの第2の例は、Indexes()が、図10を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されておらず、かつ、後述するPlayItemにもフラグが記載されていない場合に適用される。
That is, the second example of the syntax of PlayList () in FIG. 17 is that when Indexes () is the one described with reference to FIG. 10, that is,
図17に示されるPlayList()のシンタクスの第2の例においては、PlayList()により参照されるデータにサウンドデータが含まれているか否かを示す1ビットのフラグであるis_MixAppが新たに記載され、reserved_for_future_useが16ビットから15ビットに変更されている以外は、図16を用いて説明したPlayList()のシンタクスの第1の例と同様の構成を有している。なお、このis_MixAppを、Playlist()により参照されるデータに、オーディオストリーム#1に合成され得るサウンドデータおよびオーディオストリーム#2が含まれているか否かを示すフラグとして定義しても良い。この場合には、この1つのフラグを確認することのみにより、オーディオデータの合成が行われるか否か、すなわち、デコード処理の必要性を、迅速に認識することが可能となる。
In the second example of the syntax of PlayList () shown in FIG. 17, is_MixApp, which is a 1-bit flag indicating whether or not sound data is included in the data referred to by PlayList (), is newly described. , Except that reserved_for_future_use is changed from 16 bits to 15 bits, it has the same configuration as the first example of the syntax of PlayList () described with reference to FIG. Note that this is_MixApp may be defined as a flag indicating whether or not the data referred to by Playlist () includes sound data that can be combined with the
次に、PlayList()のシンタクスの第3の例を、図18に示す。図18の例においては、PlayList()には、PlayList()により参照されるデータにオーディオストリーム#1に合成されるサウンドデータが含まれているか否かのフラグと、オーディオストリーム#1に合成されるオーディオストリーム#2が含まれているか否かのフラグとが記載されている。
Next, a third example of the syntax of PlayList () is shown in FIG. In the example of FIG. 18, PlayList () is combined with
すなわち、図18の、PlayList()のシンタクスの第3の例も、Indexes()が、図10を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されておらず、かつ、後述するPlayItemにもフラグが記載されていない場合に適用される。 That is, in the third example of the syntax of PlayList () in FIG. 18, when Indexes () is the same as that described with reference to FIG. This is applied when a flag indicating whether or not other audio data to be synthesized is included is not described in Index () and a flag is not described in PlayItem described later.
図18に示されるPlayList()のシンタクスの第3の例においては、PlayList()により参照されるデータにオーディオストリーム#2が含まれているか否かを示す1ビットのフラグであるis_MixApp_1と、PlayList()により参照されるデータにサウンドデータが含まれているか否かを示す1ビットのフラグであるis_MixApp_2との2種類のフラグが新たに記載され、reserved_for_future_useが16ビットから14ビットに変更されている以外は、図16を用いて説明したPlayList()のシンタクスの第1の例と同様の構成を有している。
In the third example of the PlayList () syntax shown in FIG. 18, is_MixApp_1 that is a 1-bit flag indicating whether or not the
図19は、SubPath()のシンタクスの例を示す図である。 FIG. 19 is a diagram illustrating an example of the syntax of SubPath ().
lengthは、このlengthフィールドの直後からSub Path ()の最後までのバイト数を示す32ビットの符号なし整数である。すなわち、reserved_for_future_useからPlaylistの最後までのバイト数を示すフィールドである。このlengthの後には、16ビットのreserved_for_future_useが用意される。reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている。SubPath_typeは、SubPathのアプリケーション種類を示す8ビットのフィールドである。SubPath_typeは、例えば、Sub Pathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。このSubPath_typeについては、図20を参照して後述する。SubPath_typeの後には、15ビットのreserved_for_future_useが用意される。is_repeat_SubPathは、SubPathの再生方法を指定する1ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を1回だけ行うかを示すものである。例えば、メインAVストリームとサブパスが指定するClipの再生タイミングが異なる場合(メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGM(バックグラウンドミュージック)として使う場合など)に利用される。Is_repeat_SubPathの後には、8ビットのreserved_for_future_useが用意される。number_of_SubPlayItemsは、1つのSubPathの中にあるSubPlayItemの数(エントリー数)を示す8ビットのフィールドである。例えば、number_of_SubPlayItemsは、図5のSubPath_id=0のSubPlayItemは1個であり、SubPath_id=1のSubPlayItemは2個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。 length is a 32-bit unsigned integer indicating the number of bytes from immediately after this length field to the end of Sub Path (). That is, this field indicates the number of bytes from reserved_for_future_use to the end of the Playlist. After this length, 16-bit reserved_for_future_use is prepared. In reserved_for_future_use, the description content of the data is not set in preparation for future expansion. SubPath_type is an 8-bit field indicating the application type of SubPath. SubPath_type is used, for example, when the type indicates whether the Sub Path is audio, bitmap subtitle, text subtitle, or the like. This SubPath_type will be described later with reference to FIG. 15-bit reserved_for_future_use is prepared after SubPath_type. is_repeat_SubPath is a 1-bit field that designates the SubPath playback method, and indicates whether the SubPath playback is repeated during the main path playback or the SubPath playback is performed only once. For example, it is used when the playback timing of the clip specified by the main AV stream and the sub path is different (for example, when the main path is used as a still image slide show and the sub path audio path is used as the main path BGM). . 8-bit reserved_for_future_use is prepared after Is_repeat_SubPath. number_of_SubPlayItems is an 8-bit field indicating the number of SubPlayItems (number of entries) in one SubPath. For example, number_of_SubPlayItems has one SubPlayItem with SubPath_id = 0 in FIG. 5 and two SubPlayItems with SubPath_id = 1. In subsequent for statements, SubPlayItems are referenced by the number of SubPlayItems.
図20は、SubPath_type(サブパスのタイプ)の例を説明する図である。すなわち、SubPathの種類は、例えば、図20に示されるように定義されている。 FIG. 20 is a diagram illustrating an example of SubPath_type (subpath type). That is, the type of SubPath is defined as shown in FIG. 20, for example.
図20において、SubPath_type=0,1は、reservedとされている。SubPath_type=2は、Audio presentation path of the Browsable slideshow(プラウザブルスライドショーのオーディオプレゼンテーションパス)とされている。例えば、SubPath_type=2は、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期であることを示している。 In FIG. 20, SubPath_type = 0, 1 is reserved. SubPath_type = 2 is an Audio presentation path of the Browsable slideshow. For example, SubPath_type = 2 indicates that in the playlist, the audio presentation path referred to by the sub path and the main path referred to by the play item are asynchronous.
SubPath_type=3は、Interactive graphics presentation menu(インタラクティブグラフィックスのプレゼンテーションメニュー)とされている。例えば、SubPath_type=3は、プレイリストの中において、サブパスで参照されるインタラクティブグラフィックスのメニューと、プレイアイテムで参照されるメインパスとが非同期であることを示している。 SubPath_type = 3 is an interactive graphics presentation menu (interactive graphics presentation menu). For example, SubPath_type = 3 indicates that in the playlist, the interactive graphics menu referenced by the sub path and the main path referenced by the play item are asynchronous.
SubPath_type=4は、Text subtitle presentation path(テキスト字幕のプレゼンテーションパス)とされている。例えば、SubPath_type=4は、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期していることを示している。 SubPath_type = 4 is a Text subtitle presentation path (a text subtitle presentation path). For example, SubPath_type = 4 indicates that in the playlist, the text subtitle presentation path referenced by the sub path and the main path referenced by the play item are synchronized.
SubPath_type=5は、2nd Audio Presentation path(2番目のオーディオプレゼンテーションパス)(2ndオーディオストリームを参照するためのパス)とされている。具体的には、SubPath_type=5は、プレイリストの中において、サブパスで参照される2番目のオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期していることを示している。例えば、このサブパスで参照される(2番目の)オーディオストリームは、映画に対する監督のコメント(音声)である。図7に示されるようなSubpath_idの場合、図19のSubPath_typeは、このSubPath_type=5となる。 SubPath_type = 5 is 2nd Audio Presentation path (second audio presentation path) (path for referring to the 2nd audio stream). Specifically, SubPath_type = 5 indicates that in the playlist, the second audio presentation path referred to by the sub path and the main path referred to by the play item are synchronized. For example, the (second) audio stream referenced in this subpath is a director's comment (voice) on the movie. In the case of Subpath_id as shown in FIG. 7, SubPath_type in FIG. 19 is SubPath_type = 5.
SubPath_type=6は、2nd Video Presentation path(2番目のビデオプレゼンテーションパス)(2ndビデオストリームを参照するためのパス)とされている。具体的には、SubPath_type=6は、プレイリストの中において、サブパスで参照される2番目のビデオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期していることを示している。例えば、このサブパスで参照される(2番目の)ビデオストリームは、映画に対する監督のコメント(動画像)である。 SubPath_type = 6 is 2nd Video Presentation path (second video presentation path) (path for referring to the 2nd video stream). Specifically, SubPath_type = 6 indicates that in the playlist, the second video presentation path referred to by the sub path and the main path referred to by the play item are synchronized. For example, the (second) video stream referred to in this sub-path is a director's comment (moving image) for the movie.
SubPath_type=7乃至255は、reservedとされている。 SubPath_type = 7 to 255 is reserved.
図21は、SubPlayItem(i)のシンタクスを示す図である。 FIG. 21 is a diagram illustrating the syntax of SubPlayItem (i).
lengthは、このlengthフィールドの直後からSub playItem ()の最後までのバイト数を示す16ビットの符号なし整数である。 The length is a 16-bit unsigned integer indicating the number of bytes from immediately after this length field to the end of Sub playItem ().
図21においては、SubPlayItemが1つのClip を参照する場合と、複数のClip を参照する場合に分けられている。 In FIG. 21, SubPlayItem is divided into a case of referring to one Clip and a case of referring to a plurality of Clips.
最初に、SubPlayItemが1つのClipを参照する場合について説明する。 First, a case where SubPlayItem refers to one Clip will be described.
SubPlayItemには、Clipを指定するためのClip_Information_file_name[0]が含まれる。また、Clipのコーデック方式を指定するClip_codec_identifier[0]、reserved_for_future_use、マルチクリップの登録の有無を示すフラグであるis_multi_Clip_entries、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[0]を含む。is_multi_Clip_entriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。また、Clipの中にあるSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。さらに、main pathの時間軸上でSub Pathが再生開始する時刻を指定するためsync_PlayItem_id と sync_start_PTS_of_PlayItemを含む。このsync_PlayItem_id と sync_start_PTS_of_PlayItemは、上述したように、図6と図7の場合(メインAVストリームとサブパスにより示されるファイルの再生タイミングが同じである場合)に使用され、メインAVストリームとサブパスにより示されるファイルの再生タイミングが異なる場合(例えば、静止画により構成されるスライドショーのBGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合)には使用されない。また、SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。 SubPlayItem includes Clip_Information_file_name [0] for designating a Clip. In addition, Clip_codec_identifier [0] that specifies the codec method of Clip, reserved_for_future_use, is_multi_Clip_entries that is a flag indicating the presence or absence of multi-clip registration, and ref_to_STC_id [0] that is information about STC discontinuity points (system time base discontinuity points) including. When the is_multi_Clip_entries flag is set, the syntax when SubPlayItem refers to a plurality of Clips is referenced. In addition, SubPlayItem_IN_time and SubPlayItem_OUT_time for specifying the playback section of the Sub Path in the Clip are included. Furthermore, sync_PlayItem_id and sync_start_PTS_of_PlayItem are included to specify the time when the Sub Path starts to be played on the time axis of the main path. As described above, the sync_PlayItem_id and sync_start_PTS_of_PlayItem are used in the case of FIGS. 6 and 7 (when the playback timing of the file indicated by the main AV stream and the sub path is the same), and the file indicated by the main AV stream and the sub path. Are not used (for example, when the still image referred to by the main path and the audio referred to by the sub path are not synchronized as in the BGM of a slide show composed of still images). Also, SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, and sync_start_PTS_of_PlayItem are used in common in the Clip referred to by SubPlayItem.
次に、SubPlayItemが複数のClipを参照する場合(if(is_multi_Clip_entries==1b)である場合、すなわちマルチクリップの登録が行われている場合)について説明する。具体的には、図7に示されるように、SubPlayItemが複数のClip を参照する場合を示す。 Next, a case where SubPlayItem refers to a plurality of Clips (if (is_multi_Clip_entries == 1b), that is, multi-clip registration is performed) will be described. Specifically, as shown in FIG. 7, a case where SubPlayItem refers to a plurality of Clips is shown.
num_of_Clip_entriesは、Clipの数を示しており、Clip_Information_file_name[SubClip_entry_id]の数が、Clip_Information_file_ name[0]を除く、Clipsを指定する。すなわち、Clip_Information_file_ name[0]を除く、Clip_Information_file_ name[1]、Clip_Information_file_ name[2]などのClipを指定する。また、SubPlayItemは、Clipのコーデック方式を指定するClip_codec_identifier[SubClip_entry_id]、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[SubClip_entry_id]、およびreserved_for_future_useを含む。 num_of_Clip_entries indicates the number of Clips, and Clip_Information_file_name [SubClip_entry_id] specifies Clips excluding Clip_Information_file_name [0]. That is, Clips such as Clip_Information_file_name [1] and Clip_Information_file_name [2] are specified excluding Clip_Information_file_name [0]. Further, SubPlayItem includes Clip_codec_identifier [SubClip_entry_id] that specifies the codec method of Clip, ref_to_STC_id [SubClip_entry_id] that is information on STC discontinuity points (system time base discontinuity points), and reserved_for_future_use.
なお、複数のClipの間で、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは共通して使われる。図7の例の場合、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubClip_entry_id=0とSubClip_entry_id=1との間で共通して使用されるものであり、選択されたSubClip_entry_idに対するText based subtitleがこのSubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemに基づいて再生される。 Note that SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, and sync_start_PTS_of_PlayItem are used in common among a plurality of clips. In the example of FIG. 7, SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, and sync_start_PTS_of_PlayItem are used in common between SubClip_entry_id = 0 and SubClip_entry_id = 1, and the Text based subtitle for the selected SubClip_entry_id is timeSubPlayItem_id Playback is based on SubPlayItem_OUT_time, sync_PlayItem_id, and sync_start_PTS_of_PlayItem.
ここで、SubClip_entry_idの値は、SubPlayItemの中にあるClip_Information_file_name[SubClip_entry_id]が現れる順番に1から割り振られる。また、Clip_Information_file_ name[0]のSubClip_entry_idは0である。 Here, the value of SubClip_entry_id is assigned from 1 in the order in which Clip_Information_file_name [SubClip_entry_id] in SubPlayItem appears. Also, SubClip_entry_id of Clip_Information_file_name [0] is 0.
図22は、PlayItem()のシンタクスの第1の例を示す図である。図22は、オーディオストリーム#1に合成される他の音声データが、このPlayItem()に対応するデータに含まれているか否かのフラグが記載されていない場合のシンタクスである。
FIG. 22 is a diagram illustrating a first example of the syntax of PlayItem (). FIG. 22 shows the syntax in the case where the flag indicating whether or not the other audio data synthesized with the
すなわち、図22の、PlayItem()のシンタクスの第1の例は、Indexes()が、図11または図12を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されているか、AppInfoPlayList()が図14を用いて説明したものであるとき、すなわち、PlayListにより参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがAppInfoPlayList()に記載されているか、もしくは、PlayList()が図17または図18を用いて説明したものであるとき、すなわち、PlayListにより参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグが記載されている場合に適用される。
That is, the first example of the PlayItem () syntax in FIG. 22 is that when Indexes () is the one described with reference to FIG. 11 or FIG. When the flag indicating whether or not other audio data to be synthesized is included in the
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す16ビットの符号なし整数である。Clip_Information_file_ name[0]は、PlayItemが参照するClipを指定するためのフィールドである。図6の例の場合、Clip_Information_file_ name[0]により、メインAVストリームが参照される。また、Clipのコーデック方式を指定するClip_codec_identifier[0]、将来の拡張に備えるためにデータの記述内容が未設定とされている11ビットのreserved_for_future_use、マルチアングル再生に対応しているか否かを示すフラグであるis_multi_angleを含み、更に、connection_conditionや、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[0]を含む。さらに、Clipの中のPlayItemの再生区間を指定するためのIN_time と OUT_timeを含む。図6の例の場合、IN_time と OUT_timeにより、メインClipAVストリームファイルの再生範囲が表される。また、UO_mask_table()、PlayItem_random_access_mode、still_modeを含む。is_multi_angleが複数ある場合については、本発明と直接的には関係ないのでその説明を省略する。 length is a 16-bit unsigned integer indicating the number of bytes from immediately after this length field to the end of PlayItem (). Clip_Information_file_name [0] is a field for designating a Clip referred to by PlayItem. In the example of FIG. 6, the main AV stream is referred to by Clip_Information_file_name [0]. Also, Clip_codec_identifier [0] that specifies the codec format of Clip, 11-bit reserved_for_future_use in which data description contents are not set in preparation for future expansion, and a flag indicating whether or not multi-angle playback is supported Is_multi_angle, and further includes connection_condition and ref_to_STC_id [0] which is information on STC discontinuity (system time base discontinuity). Furthermore, IN_time and OUT_time for specifying the playback section of PlayItem in Clip are included. In the example of FIG. 6, the playback range of the main ClipAV stream file is represented by IN_time and OUT_time. Also, UO_mask_table (), PlayItem_random_access_mode, and still_mode are included. The case where there are a plurality of is_multi_angles is not directly related to the present invention, and the description thereof will be omitted.
PlayItem()の中のSTN_table()は、対象のPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作が、そのPlayItemが参照するClipとこれらの1つ以上のSubPathが参照するClipsの中から選ぶことができる仕組みを提供するものである。また、STN_table()は、2つのオーディオストリームのミキシング再生を選ぶことができる仕組みを提供するものである。 STN_table () in PlayItem () refers to the PlayItem's operations such as audio switching and subtitle switching when the target PlayItem and one or more SubPaths to be played back are prepared. It provides a mechanism that allows the user to select from Clips and Clips referenced by one or more of these SubPaths. STN_table () provides a mechanism that allows selection of mixing reproduction of two audio streams.
次に、図23は、PlayItem()のシンタクスの第2の例を示す図である。図23の例においては、このPlayItem()に対応するデータにオーディオストリーム#2は含まれておらず、PlayItem()には、PlayItem()に対応するデータにオーディオストリーム#1に合成されるサウンドデータが含まれているか否かのフラグが記載されている。
Next, FIG. 23 is a diagram illustrating a second example of the syntax of PlayItem (). In the example of FIG. 23, the
すなわち、図23の、PlayItem()のシンタクスの第2の例は、Indexes()が、図10を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されておらず、AppInfoPlayList()が図15を用いて説明したものであるとき、すなわち、PlayListにより参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがAppInfoPlayList()に記載されておらず、PlayList()が図16を用いて説明したものであるとき、すなわち、PlayListにより参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグが記載されていない場合に適用される。
That is, the second example of the syntax of PlayItem () in FIG. 23 is that when Indexes () is the one described with reference to FIG. 10, that is, the
図23に示されるPlayItem()のシンタクスの第2の例においては、PlayItem()により参照されるデータにサウンドデータが含まれているか否かを示す1ビットのフラグであるis_MixAppが新たに記載され、reserved_for_future_useが11ビットから10ビットに変更されている以外は、図22を用いて説明したPlayItem()のシンタクスの第1の例と同様の構成を有している。なお、このis_MixAppを、PlayItem()により参照されるデータに、オーディオストリーム#1に合成され得るサウンドデータおよびオーディオストリーム#2が含まれているか否かを示すフラグとして定義しても良い。この場合には、この1つのフラグを確認することのみにより、オーディオデータの合成が行われるか否か、すなわち、デコード処理の必要性を、迅速に認識することが可能となる。
In the second example of the PlayItem () syntax shown in FIG. 23, is_MixApp, which is a 1-bit flag indicating whether or not sound data is included in the data referred to by PlayItem (), is newly described. , Except that reserved_for_future_use is changed from 11 bits to 10 bits, it has the same configuration as the first example of the syntax of PlayItem () described with reference to FIG. Note that this is_MixApp may be defined as a flag indicating whether or not the data referred to by PlayItem () includes sound data that can be synthesized with the
次に、PlayItem()のシンタクスの第3の例を、図24に示す。図24の例においては、PlayItem()には、PlayItem()に対応するデータにオーディオストリーム#1に合成されるサウンドデータが含まれているか否かのフラグと、オーディオストリーム#1に合成されるオーディオストリーム#2が含まれているか否かのフラグとが記載されている。
Next, a third example of the PlayItem () syntax is shown in FIG. In the example of FIG. 24, PlayItem () is combined with
すなわち、図24の、PlayItem()のシンタクスの第3の例も、Indexes()が、図10を用いて説明したものであるとき、すなわち、Indexes()により参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがIndex()に記載されておらず、AppInfoPlayList()が図15を用いて説明したものであるとき、すなわち、PlayListにより参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグがAppInfoPlayList()に記載されておらず、PlayList()が図16を用いて説明したものであるとき、すなわち、PlayListにより参照されるデータにオーディオストリーム#1に合成される他の音声データが含まれているか否かのフラグが記載されていない場合に適用される。
That is, in the third example of the PlayItem () syntax in FIG. 24, when Indexes () is the same as that described with reference to FIG. 10, that is, the
図24に示されるPlayItem()のシンタクスの第3の例においては、PlayItem()に対応するデータにオーディオストリーム#2が含まれているか否かを示す1ビットのフラグであるis_MixApp_1と、PlayItem()に対応するデータにサウンドデータが含まれているか否かを示す1ビットのフラグであるis_MixApp_2との2種類のフラグが新たに記載され、reserved_for_future_useが11ビットから9ビットに変更されている以外は、図22を用いて説明したPlayItem()のシンタクスの第1の例と同様の構成を有している。
In the third example of the PlayItem () syntax shown in FIG. 24, is_MixApp_1 which is a 1-bit flag indicating whether or not the
図25は、STN_table()のシンタクスを示す図である。STN_table()は、PlayItemの属性として設定されている。 FIG. 25 is a diagram illustrating the syntax of STN_table (). STN_table () is set as an attribute of PlayItem.
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す16ビットの符号なし整数である。lengthの後には、16ビットのreserved_for_future_useが用意される。number_of_video_stream_entriesは、STN_table()の中でエントリーされる(登録される)video_stream_idが与えられるストリーム数を示す。video_stream_idは、ビデオストリームを識別するための情報であり、video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。 length is a 16-bit unsigned integer indicating the number of bytes from immediately after this length field to the end of STN_table (). 16-bit reserved_for_future_use is prepared after the length. number_of_video_stream_entries indicates the number of streams to which video_stream_id entered (registered) in STN_table () is given. video_stream_id is information for identifying a video stream, and video_stream_number is a video stream number that is used for video switching and is visible to the user.
number_of_audio_stream_entriesは、STN_table()の中でエントリーされるaudio_stream_idが与えられる1番目のオーディオストリームのストリーム数を示す。audio_stream_idは、オーディオストリームを識別するための情報であり、audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。number_of_audio_stream2_entriesは、STN_table()の中でエントリーされるaudio_stream_id2が与えられる2番目のオーディオストリームのストリーム数を示す。audio_stream_id2は、オーディオストリームを識別するための情報であり、audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。具体的には、STN_table()でエントリーされるnumber_of_audio_stream_entriesのオーディオストリームは、後述する図28の再生装置20の1stオーディオデコーダ75−1でデコードされるオーディオストリームであり、STN_table()でエントリーされるnumber_of_audio_stream2_entriesのオーディオストリームは、後述する図28の再生装置20の2ndオーディオデコーダ75−2でデコードされるオーディオストリームである。このように、図25のSTN_table()では、2つのオーディオデコーダのそれぞれにデコードさせるオーディオストリームをエントリーすることができる。
number_of_audio_stream_entries indicates the number of streams of the first audio stream to which audio_stream_id entered in STN_table () is given. The audio_stream_id is information for identifying the audio stream, and the audio_stream_number is an audio stream number that can be seen by the user used for audio switching. number_of_audio_stream2_entries indicates the number of streams of the second audio stream to which audio_stream_id2 entered in STN_table () is given. The audio_stream_id2 is information for identifying an audio stream, and the audio_stream_number is an audio stream number that can be seen by the user used for audio switching. Specifically, the number_of_audio_stream_entries audio stream entered in STN_table () is an audio stream decoded by the 1st audio decoder 75-1 of the
なお、以下において、図28の再生装置20の1stオーディオデコーダ75−1でデコードされるnumber_of_audio_stream_entriesのオーディオストリームをオーディオストリーム#1と称し、図28の再生装置20の2ndオーディオデコーダ75−2でデコードされるnumber_of_audio_stream2_entriesのオーディオストリームをオーディオストリーム#2と称する。また、オーディオストリーム#1は、オーディオストリーム#2よりも優先されるオーディオストリームであるものとする。
In the following, the audio stream of number_of_audio_stream_entries decoded by the 1st audio decoder 75-1 of the
number_of_PG_txtST_stream_entriesは、STN_table()の中でエントリーされるPG_txtST_stream_idが与えられるストリーム数を示す。この中では、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリーム(PG, Presentation Graphics stream)とテキスト字幕ファイル(txtST)がエントリーされる。PG_txtST_stream_idは、字幕ストリームを識別するための情報であり、PG_txtST_stream_numberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号(テキストサブタイトルストリームの番号)である。 number_of_PG_txtST_stream_entries indicates the number of streams to which PG_txtST_stream_id entered in STN_table () is given. In this, a stream (PG, Presentation Graphics stream) obtained by run-length encoding bitmap subtitles such as a DVD sub-picture and a text subtitle file (txtST) are entered. PG_txtST_stream_id is information for identifying a subtitle stream, and PG_txtST_stream_number is a subtitle stream number (text subtitle stream number) that can be seen by the user used for subtitle switching.
number_of_IG_stream_entriesは、STN_table()の中でエントリーされる IG_stream_idが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリームがエントリーされる。IG_stream_idは、インタラクティブグラフィックスストリームを識別するための情報であり、IG_stream_numberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。 number_of_IG_stream_entries indicates the number of streams provided with IG_stream_id entered in STN_table (). In this, an interactive graphics stream is entered. IG_stream_id is information for identifying an interactive graphics stream, and IG_stream_number is a graphics stream number that is visible to the user used for graphics switching.
ここで、stream_entry()のシンタクスについて図26を参照して説明する。 Here, the syntax of stream_entry () will be described with reference to FIG.
lengthは、このlengthフィールドの直後からstream_entry ()の最後までのバイト数を示す8ビットの符号なし整数である。typeは、上述したストリーム番号が与えられるストリームを一意に特定するために必要な情報の種類を示す8ビットのフィールドである。 length is an 8-bit unsigned integer indicating the number of bytes from immediately after this length field to the end of stream_entry (). type is an 8-bit field indicating the type of information necessary to uniquely specify the stream to which the above-described stream number is given.
type=1では、PlayItemによって参照されるClip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、16ビットのパケットID(PID)が指定される。ref_to_stream_PID_of_mainClipが、このPIDを示している。すなわち、type=1では、メインClipAVストリームファイルの中のPIDを指定するだけでストリームが決定される。 In type = 1, a 16-bit packet ID (PID) is used to identify one elementary stream from among a plurality of elementary streams multiplexed in a Clip (Main Clip) referenced by PlayItem. Is specified. ref_to_stream_PID_of_mainClip indicates this PID. That is, with type = 1, the stream is determined simply by specifying the PID in the main ClipAV stream file.
type=2では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される1つのClip(SubClip)の複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、そのSubPathのSubPath_id、Clip id、およびパケットID(PID)が指定される。ref_to_SubPath_idがこのSubPath_idを示し、ref_to_SubClip_entry_idがこのClip idを示し、ref_to_stream_PID_of_SubClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。 In type = 2, when SubPath refers to multiple Clips at a time and each Clip multiplexes multiple elementary streams, multiple elementary streams of one Clip (SubClip) referenced by SubPath SubPath_id, Clip id, and packet ID (PID) of the SubPath are specified in order to identify one elementary stream from the list. ref_to_SubPath_id indicates this SubPath_id, ref_to_SubClip_entry_id indicates this Clip id, and ref_to_stream_PID_of_SubClip indicates this PID. This is used when a plurality of Clips are referred to in SubPlayItem and a plurality of elementary streams are referred to this Clip.
このように、type(type=1とtype=2の2つのtype)を使うことで、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から1つのエレメンタリストリームを特定することができる。なお、type=1はMain Pathが参照するClip(メインClip)を示しており、type=2はSub Pathが参照するClip(サブClip)を示している。 In this way, by using type (two types of type = 1 and type = 2), when PlayItem and one or more SubPaths to be played back are prepared, this PlayItem refers to One elementary stream can be identified from Clips referenced by Clip and one or more SubPaths. Note that type = 1 indicates a clip (main clip) referred to by the main path, and type = 2 indicates a clip (sub clip) referred to by the sub path.
図25のSTN_table()の説明に戻って、ビデオストリームID (video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのビデオエレメンタリストリームに、0からvideo_stream_idが与えられる。なお、ビデオストリームID(video_stream_id)の代わりに、ビデオストリーム番号(video_stream_number)を用いるようにしてもよい。この場合、video_stream_numberは、0ではなく1から与えられる。すなわち、video_stream_idの値に1を加算したものがvideo_stream_numberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、1から定義される。 Returning to the description of STN_table () in FIG. 25, video_stream_id is given from 0 to one video elementary stream that is identified for each stream_entry () in turn in the for loop of the video stream ID (video_stream_id). Note that a video stream number (video_stream_number) may be used instead of the video stream ID (video_stream_id). In this case, video_stream_number is given from 1 instead of 0. That is, video_stream_number is obtained by adding 1 to the value of video_stream_id. The video stream number is defined from 1 since it is a video stream number that is used for video switching and is visible to the user.
同様に、オーディオストリームID (audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのオーディオエレメンタリストリームに、0からaudio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、オーディオストリームID(audio_stream_id)の代わりに、オーディオストリーム番号(audio_stream_number)を用いるようにしてもよい。この場合、audio_stream_numberは、0ではなく1から与えられる。すなわち、audio_stream_idの値に1を加算したものがaudio_stream_numberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、1から定義される。 Similarly, in the for loop of the audio stream ID (audio_stream_id), audio_stream_id is given from 0 to one audio elementary stream that is specified for each stream_entry () in order. As in the case of the video stream, an audio stream number (audio_stream_number) may be used instead of the audio stream ID (audio_stream_id). In this case, audio_stream_number is given from 1 instead of 0. That is, audio_stream_number is obtained by adding 1 to the value of audio_stream_id. The audio stream number is an audio stream number that can be seen by the user and is used for audio switching.
同様に、オーディオストリームID2 (audio_stream_id2)のforループの中で、順番にstream_entry()ごとに特定される1つのオーディオエレメンタリストリームに、0からaudio_stream_id2が与えられる。なお、ビデオストリームの場合と同様に、オーディオストリームID2(audio_stream_id2)の代わりに、オーディオストリーム番号2(audio_stream_number2)を用いるようにしてもよい。この場合、audio_stream_number2は、0ではなく1から与えられる。すなわち、audio_stream_id2の値に1を加算したものがaudio_stream_number2である。オーディオストリーム番号2は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号2であるので、1から定義される。
Similarly, audio_stream_id2 is given from 0 to one audio elementary stream specified for each stream_entry () in order in the for loop of the audio stream ID2 (audio_stream_id2). As in the case of the video stream, audio stream number 2 (audio_stream_number2) may be used instead of audio stream ID2 (audio_stream_id2). In this case, audio_stream_number2 is given from 1 instead of 0. That is, audio_stream_number2 is obtained by adding 1 to the value of audio_stream_id2. The
すなわち、図25のSTN_table()においては、number_of_audio_stream_entries(オーディオストリーム#1)のオーディオストリームと、number_of_audio_stream2_entries(オーディオストリーム#2)のオーディオストリームとが定義される。換言すれば、STN_table()を用いて、オーディオストリーム#1とオーディオストリーム#2とをエントリーすることができるので、ユーザは、同期して再生するオーディオストリームを2本選択することができる。
That is, in STN_table () of FIG. 25, an audio stream of number_of_audio_stream_entries (audio stream # 1) and an audio stream of number_of_audio_stream2_entries (audio stream # 2) are defined. In other words, since the
同様に、字幕ストリームID (PG_txtST_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、0からPG_txtST_stream_idが与えられる。なお、ビデオストリームの場合と同様に、字幕ストリームID(PG_txtST_stream_id)の代わりに、字幕ストリーム番号(PG_txtST_stream_number)を用いるようにしてもよい。この場合、PG_txtST_stream_numberは、0ではなく1から与えられる。すなわち、PG_txtST_stream_idの値に1を加算したものがPG_txtST_stream_numberである。字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号(テキストサブタイトルストリームの番号)であるので、1から定義される。 Similarly, PG_txtST_stream_id is assigned from 0 to one bitmap subtitle elementary stream or text subtitle identified in order for each stream_entry () in the for loop of the subtitle stream ID (PG_txtST_stream_id). As in the case of the video stream, a subtitle stream number (PG_txtST_stream_number) may be used instead of the subtitle stream ID (PG_txtST_stream_id). In this case, PG_txtST_stream_number is given from 1 instead of 0. That is, PG_txtST_stream_number is obtained by adding 1 to the value of PG_txtST_stream_id. The subtitle stream number is a subtitle stream number (text subtitle stream number) that can be seen by the user used for subtitle switching, and is defined from 1.
同様に、グラフィックスストリームID (IG_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームに、0からIG_stream_idが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリームID(IG_stream_id)の代わりに、グラフィックスストリーム番号(IG_stream_number)を用いるようにしてもよい。この場合、IG_stream_numberは、0ではなく1から与えられる。すなわち、IG_stream_idの値に1を加算したものがIG_stream_numberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、1から定義される。 Similarly, in the for loop of the graphics stream ID (IG_stream_id), IG_stream_id is assigned from 0 to one interactive graphics elementary stream that is identified for each stream_entry () in order. As in the case of the video stream, a graphics stream number (IG_stream_number) may be used instead of the graphics stream ID (IG_stream_id). In this case, IG_stream_number is given from 1 instead of 0. That is, IG_stream_number is obtained by adding 1 to the value of IG_stream_id. Since the graphics stream number is a graphics stream number that can be seen by the user used for switching graphics, it is defined from 1.
次に、図25のSTN_table()のstream_attribute()について説明する。 Next, stream_attribute () of STN_table () in FIG. 25 will be described.
reserved_for_future_useの後のfor文では、video streamの分だけvideo streamが参照され、このデータの提供者(例えば、記録媒体21の製造者など)が、オーディオストリームに対してMain PathおよびSub Pathを設定した分だけaudio streamが参照され、PG textST streamの分だけPG textST streamが参照され、IG streamの分だけIG streamが参照される。 In the for statement after reserved_for_future_use, the video stream is referred to as much as the video stream, and the provider of this data (for example, the manufacturer of the recording medium 21) sets the Main Path and Sub Path for the audio stream. The audio stream is referenced by the amount, the PG textST stream is referenced by the amount of the PG textST stream, and the IG stream is referenced by the amount of the IG stream.
ビデオストリームID (video_stream_id)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのビデオエレメンタリストリームのストリーム属性情報が記述されている。 The stream_attribute () in the for loop of the video stream ID (video_stream_id) gives stream attribute information of one video elementary stream specified for each stream_entry (). That is, in this stream_attribute (), stream attribute information of one video elementary stream specified for each stream_entry () is described.
同様に、オーディオストリームID(audio_stream_id)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。例えば、図26のstream_entry()のtype=1またはtype=2で特定されるオーディオエレメンタリストリームは1つであるので、stream_attribute()は、その1つのオーディオエレメンタリストリームのストリーム属性情報を与える。 Similarly, stream_attribute () in the for loop of the audio stream ID (audio_stream_id) gives stream attribute information of one audio elementary stream specified for each stream_entry (). That is, in this stream_attribute (), stream attribute information of one audio elementary stream specified for each stream_entry () is described. For example, since there is one audio elementary stream specified by type = 1 or type = 2 of stream_entry () in FIG. 26, stream_attribute () gives stream attribute information of that one audio elementary stream.
同様に、オーディオストリームID2(audio_stream_id2)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのオーディオエレメンタリストリームのストリーム属性情報が記述されている。例えば、図26のstream_entry()のtype=1またはtype=2で特定されるオーディオエレメンタリストリームは1つであるので、stream_attribute()は、その1つのオーディオエレメンタリストリームのストリーム属性情報を与える。 Similarly, stream_attribute () in the for loop of audio stream ID2 (audio_stream_id2) gives stream attribute information of one audio elementary stream specified for each stream_entry (). That is, in this stream_attribute (), stream attribute information of one audio elementary stream specified for each stream_entry () is described. For example, since there is one audio elementary stream specified by type = 1 or type = 2 of stream_entry () in FIG. 26, stream_attribute () gives stream attribute information of that one audio elementary stream.
同様に、字幕ストリームID(PG_txtST_stream_id)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕エレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのビットマップ字幕エレメンタリストリームのストリーム属性情報が記述されている。 Similarly, stream_attribute () in the for loop of the subtitle stream ID (PG_txtST_stream_id) gives stream attribute information of one bitmap subtitle elementary stream or text subtitle elementary stream specified for each stream_entry (). That is, in this stream_attribute (), stream attribute information of one bitmap subtitle elementary stream specified for each stream_entry () is described.
同様に、グラフィックスストリームID(IG_stream_id)のforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームのストリーム属性情報が記述されている。 Similarly, stream_attribute () in the for loop of the graphics stream ID (IG_stream_id) gives stream attribute information of one interactive graphics elementary stream specified for each stream_entry (). That is, stream attribute information of one interactive graphics elementary stream specified for each stream_entry () is described in the stream_attribute ().
ここで、stream_attribute()のシンタクスについて図27を参照して説明する。 Here, the syntax of stream_attribute () will be described with reference to FIG.
lengthは、このlengthフィールドの直後からstream_attribute()の最後までのバイト数を示す16ビットの符号なし整数である。 The length is a 16-bit unsigned integer indicating the number of bytes from immediately after this length field to the end of stream_attribute ().
stream_coding_typeは、図28に示されるようにエレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、MPEG-2 video stream、HDMV LPCM audio、Dolby AC-3 audio、dts audio、Presentation graphics stream、Interactive graphics stream、およびText subtitle streamが記述される。 As shown in FIG. 28, stream_coding_type indicates the encoding type of the elementary stream. As encoding types of elementary streams, MPEG-2 video stream, HDMV LPCM audio, Dolby AC-3 audio, dts audio, Presentation graphics stream, Interactive graphics stream, and Text subtitle stream are described.
video_formatは、図29に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、480i、576i、480p、1080i、720p、および1080pが記述される。 video_format indicates the video format of the video elementary stream as shown in FIG. 480i, 576i, 480p, 1080i, 720p, and 1080p are described as the video format of the video elementary stream.
frame_rateは、図30に示されるように、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、24000/1001、24、25、30000/1001、50、および60000/1001が記述される。 As shown in FIG. 30, frame_rate indicates the frame rate of the video elementary stream. As frame rates of the video elementary stream, 24000/1001, 24, 25, 30000/1001, 50, and 60000/1001 are described.
aspect_ratioは、図31に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、4:3 display aspect ratio、および16:9 display aspect ratioが記述される。 The aspect_ratio indicates the aspect ratio information of the video elementary stream as shown in FIG. As aspect ratio information of the video elementary stream, 4: 3 display aspect ratio and 16: 9 display aspect ratio are described.
audio_presentation_typeは、図32に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、single mono channel、dual mono channel、stereo(2-channel)、およびmulti-channelが記述される。 audio_presentation_type indicates presentation type information of an audio elementary stream as shown in FIG. As the presentation type information of the audio elementary stream, single mono channel, dual mono channel, stereo (2-channel), and multi-channel are described.
sampling_frequencyは、図33に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、48kHz、および96kHzが記述される。 Sampling_frequency indicates the sampling frequency of the audio elementary stream as shown in FIG. As sampling frequencies of audio elementary streams, 48 kHz and 96 kHz are described.
audio_language_codeは、オーディオエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。 audio_language_code indicates the language code of the audio elementary stream (Japanese, Korean, Chinese, etc.).
PG_language_codeは、ビットマップ字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。 PG_language_code indicates the language code (Japanese, Korean, Chinese, etc.) of the bitmap subtitle elementary stream.
IG_language_code、インタラクティブグラフィックスエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。 IG_language_code, which indicates the language code (Japanese, Korean, Chinese, etc.) of the interactive graphics elementary stream.
textST_language_codeは、テキスト字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。 textST_language_code indicates the language code (Japanese, Korean, Chinese, etc.) of the text subtitle elementary stream.
character_codeは、図34に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、Unicode V1.1(ISO 10646-1)、Shift JIS(Japanese)、KSC 5601-1987 including KSC 5653 for Roman character(Korean)、GB 18030-2000(Chinese)、GB2312(Chinese)、およびBIG5(Chinese)が記述される。
Character_code indicates the character code of the text subtitle elementary stream as shown in FIG. The character code of the text subtitle elementary stream includes Unicode V1.1 (ISO 10646-1), Shift JIS (Japanese), KSC 5601-1987 including
以下に、図27のstream_attribute()のシンタクスについて、図27と、図28乃至図34を用いて具体的に説明する。 Hereinafter, the syntax of the stream_attribute () in FIG. 27 will be specifically described with reference to FIGS. 27 and 28 to 34.
エレメンタリストリームの符号化タイプ(図27のstream_coding_type)がMPEG-2 video stream(図28)である場合、stream_attribute()には、そのエレメンタリストリームのビデオフォーマット(図29)、フレームレート(図30)、およびアスペクト比情報(図31)が含まれる。 When the encoding type of the elementary stream (stream_coding_type in FIG. 27) is an MPEG-2 video stream (FIG. 28), the stream_attribute () includes the video format (FIG. 29) and the frame rate (FIG. 30) of the elementary stream. ), And aspect ratio information (FIG. 31).
エレメンタリストリームの符号化タイプ(図27のstream_coding_type)がHDMV LPCM audio、Dolby AC-3 audio、またはdts audio(図28)である場合、stream_attribute()には、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報(図32)、サンプリング周波数(図33)、および言語コードが含まれる。 When the encoding type of the elementary stream (stream_coding_type in FIG. 27) is HDMV LPCM audio, Dolby AC-3 audio, or dts audio (FIG. 28), the stream_attribute () includes the presentation type information of the audio elementary stream. (FIG. 32), sampling frequency (FIG. 33), and language code are included.
エレメンタリストリームの符号化タイプ(図27のstream_coding_type)がPresentation graphics stream(図28)である場合、stream_attribute()には、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。 When the encoding type of the elementary stream (stream_coding_type in FIG. 27) is a Presentation graphics stream (FIG. 28), stream_attribute () includes the language code of the bitmap subtitle elementary stream.
エレメンタリストリームの符号化タイプ(図27のstream_coding_type)がInteractive graphics stream(図28)である場合、stream_attribute()には、そのインタラクティブグラフィックスエレメンタリストリームの言語コードが含まれる。 When the encoding type of the elementary stream (stream_coding_type in FIG. 27) is Interactive graphics stream (FIG. 28), stream_attribute () includes the language code of the interactive graphics elementary stream.
エレメンタリストリームの符号化タイプ(図27のstream_coding_type)がText subtitle stream(図28)である場合、stream_attribute()には、そのテキスト字幕エレメンタリストリームのキャラクタコード(図34)、言語コードが含まれる。 When the elementary stream encoding type (stream_coding_type in FIG. 27) is a Text subtitle stream (FIG. 28), stream_attribute () includes the character code (FIG. 34) and language code of the text subtitle elementary stream. .
なお、これらの属性情報はこれに限定されない。 Note that the attribute information is not limited to this.
このように、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から、stream_entry()によって特定された1つのエレメンタリストリームの属性情報をstream_attribute()によって知ることができる。 As described above, when a PlayItem and one or more SubPaths to be played back are prepared, a stream_entry () is used to select a Clip referred to by the PlayItem and a Clip referred to by one or more SubPaths. The attribute information of one identified elementary stream can be known by stream_attribute ().
再生装置は、この属性情報(stream_attribute())を調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。 By examining this attribute information (stream_attribute ()), the playback device can check whether or not it has the function of playing back the elementary stream. Further, the playback device can select the elementary stream corresponding to the initial information of the language setting of the playback device by examining the attribute information.
例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリームID (PG_txtST_stream_id)のforループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。 For example, it is assumed that the playback apparatus has only a playback function for a bitmap subtitle elementary stream and does not have a playback function for a text subtitle elementary stream. When the user instructs the playback apparatus to switch the language, the playback apparatus sequentially selects and reproduces only the bitmap subtitle elementary stream from the for loop of the subtitle stream ID (PG_txtST_stream_id).
また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。この再生装置に対して、ユーザが音声切り替えを指示した場合、再生装置は、オーディオストリームID (Audio stream id)のforループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。 Also, for example, assume that the initial information of the language setting of the playback device is Japanese. When the user instructs the playback apparatus to switch the audio, the playback apparatus sequentially selects only the audio elementary stream whose language code is Japanese from the for loop of the audio stream ID (Audio stream id). And play.
さらに、例えば、メインパスにより参照される、ビデオストリームとオーディオストリームからなるAVストリーム(映画)を再生する場合、再生装置に対して、ユーザが音声の切り替えを指令し、オーディオストリーム#1(通常の映画で出力される音声)と、オーディオストリーム#2(監督や出演者によるコメント)とを、再生する音声として指定(選択)した場合、再生装置は、オーディオストリーム#1とオーディオストリーム#2とをミキシング(重畳)して、ビデオストリームとともに再生する。
Further, for example, when playing back an AV stream (movie) made up of a video stream and an audio stream that is referenced by the main path, the user instructs the playback device to switch the audio, and the audio stream # 1 (normal When the audio output in the movie) and the audio stream # 2 (comment by the director or performer) are designated (selected) as the audio to be played back, the playback device selects the
なお、オーディオストリーム#1とオーディオストリーム#2とは、図25および図26のSTN_table()を参照しても分かるように、両方ともメインパスにより参照されるClipに含まれるオーディオストリームとしてもよい。また、オーディオストリーム#1とオーディオストリーム#2のうちの、一方をメインパスにより参照されるClipに含まれるオーディオストリームとし、他方をサブパスにより参照されるClipに含まれるオーディオストリームとしてもよい。このように、メインパスにより参照されるメインAVストリームに重畳された複数のオーディオストリームを2つ選択して、ミキシングして再生することも可能である。
Note that the
このようにして、PlayItem()の中のSTN_table()は、このPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作が、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から選ぶことができる仕組みを提供するようにしたので、メインAVストリームが記録されている、再生するAVストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。 In this way, STN_table () in PlayItem () can be used for operations such as audio switching and subtitle switching by the user when this PlayItem and one or more SubPaths to be played back are prepared. Since a mechanism is provided that allows the user to select from the clip referenced by this PlayItem and the clip referenced by one or more SubPaths, a stream different from the AV stream to be reproduced, Interactive operations can also be performed on data files.
また、1つのPlayListの中にSubPathを複数使用し、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。すなわち、後で、SubPlayItemを追加できる構成とすることができる。例えば、Main Pathが参照するClipAVストリームファイルとこれに対応付けられるPlayListがあり、このPlayListが新たなSub Pathを追加したPlayListに書き換えられた場合、新たなPlayListに基づいて、Main Pathが参照するClipAVストリームファイルとともに、Main Pathが参照するClipAVストリームファイルとは異なるClipAVストリームファイルを参照して、再生を行うことができる。このように、拡張性を有する構成とすることができる。 Also, since a plurality of SubPaths are used in one PlayList and each SubPath refers to a SubPlayItem, an AV stream with high expandability and high flexibility can be realized. That is, it can be configured such that SubPlayItem can be added later. For example, when there is a ClipAV stream file referred to by the Main Path and a PlayList associated with the ClipAV stream file, and this PlayList is rewritten to a PlayList added with a new Sub Path, the ClipAV referenced by the Main Path is based on the new PlayList. Along with the stream file, reproduction can be performed by referring to a ClipAV stream file different from the ClipAV stream file referred to by the Main Path. Thus, it can be set as the structure which has an expandability.
さらに、PlayItem()の中のSTN_table()は、後述する図41の再生装置20−2の1stオーディオデコーダ75−1でデコードされるオーディオストリーム#1と、2ndオーディオデコーダ75−2でデコードされるオーディオストリーム#2とをミキシング(合成)して再生することができる仕組みを提供する。例えば、PlayItem()とそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、PlayItemが参照するClipのオーディオストリームをオーディオストリーム#1とし、SubPathが参照するClipのオーディオストリームをオーディオストリーム#2とし、これらををミキシングして再生することができる仕組みを提供するようにした。また、例えば、PlayItemが参照するClip(メインClip)に含まれる2つのオーディオストリームを、それぞれオーディオストリーム#1とオーディオストリーム#2とし、これらをミキシングして再生することができる仕組みを提供するようにした。これにより、メインAVストリームが記録されている、再生するメインのオーディオストリームとは異なるオーディオストリーム(例えば、監督のコメントのストリーム)の重畳再生を行うことができる。また、メインAVストリームに重畳されている2つのオーディオストリーム#1とオーディオストリーム#2とを重畳(ミキシング)して再生することができる。
Furthermore, STN_table () in PlayItem () is decoded by
具体的な例を、図35を参照して説明する。図35は、ユーザに提供する音声信号と字幕信号の関係を表すストリームナンバーテーブルの例を示す図である。 A specific example will be described with reference to FIG. FIG. 35 is a diagram illustrating an example of a stream number table representing a relationship between an audio signal provided to a user and a caption signal.
図35においては、音声番号をA_SN(Audio Stream Number)、A_SN2と称し、字幕番号をS_SN(SubPicture Stream Number)と称する。図35においては、PlayListのMain Pathを構成するPlayItemのSTN_table()でエントリーされるオーディオストリーム#1(audio_stream_idでエントリーされるオーディオストリーム)のそれぞれにA_SNが与えられ、PlayListのMain Pathを構成するPlayItemのSTN_table()でエントリーされるオーディオストリーム#2(audio_stream_id2でエントリーされるオーディオストリーム)のそれぞれにA_SN2が与えられる。 In FIG. 35, the audio numbers are referred to as A_SN (Audio Stream Number) and A_SN2, and the subtitle numbers are referred to as S_SN (SubPicture Stream Number). In FIG. 35, A_SN is given to each of the audio streams # 1 (audio streams entered with audio_stream_id) entered in STN_table () of PlayItems constituting the Main Path of the PlayList, and PlayItems constituting the Main Path of the PlayList. A_SN2 is given to each of the audio streams # 2 (audio streams entered with audio_stream_id2) entered in STN_table ().
具体的には、A_SN=1にオーディオ2が与えられ、A_SN=2にオーディオ1が与えられ、A_SN=3にオーディオ3が与えられている。また、A_SN2=1にオーディオ4が与えられ、A_SN2=2にオーディオ5が与えられている。ユーザは、A_SNが与えられているオーディオストリームの中から、再生するオーディオストリーム#1を選択し、選択したオーディオストリーム#1とミキシングするオーディオストリーム#2を、A_SN2が与えられているオーディオストリームの中から選択する。例えば、ユーザは、A_SN=2のオーディオ1と、A_SN2=2のオーディオ5とを再生するオーディオストリームとして選択する。
Specifically,
具体的な例としては、A_SN=1のオーディオ2が選択されている場合に、ユーザが、オーディオの切り替えを指令した場合、オーディオはA_SN=2のオーディオ1に切り替えられ、ユーザが、さらにオーディオの切り替えを指令した場合、オーディオは、A_SN=3のオーディオ3に切り替えられる。また、ユーザが、さらにオーディオの切り替えを指令した場合、オーディオは、A_SN=1のオーディオ2に切り替えられる。また、例えば、A_SN2=1のオーディオ4が選択されている場合に、ユーザが、オーディオの切り替えを指令した場合、オーディオはA_SN2=2のオーディオ5に切り替えられ、ユーザが、さらにオーディオの切り替えを指令した場合、オーディオはA_SN2=1のオーディオ4に切り替えられる。このように、オーディオストリーム#1を選択するためのA_SNと、オーディオストリーム#2を選択するためのA_SN2とは、音声の切り替えを独立させている。すなわち、ユーザは、A_SN=1乃至A_SN=3から1つオーディオストリームを選択し、A_SN2=1およびA_SN2=2から1つオーディオストリームを選択することになる。
As a specific example, when the
なお、ここでは、A_SN、A_SN2の番号が小さい程、ユーザに提供される音声信号の優先度が高い。また、A_SNで与えられるストリームの方が、A_SN2で与えられるストリームより優先度が高い。すなわち、A_SN=1はデフォルトで再生されるオーディオストリームである。 Here, the lower the numbers of A_SN and A_SN2, the higher the priority of the audio signal provided to the user. Further, the stream given by A_SN has higher priority than the stream given by A_SN2. That is, A_SN = 1 is an audio stream reproduced by default.
具体的には、再生装置の言語設定の初期情報に基づいて再生される音声は、A_SN=1であるオーディオ2(図35)に対応しており、音声が切り替えられた後、再生される音声は、A_SN=2であるオーディオ1(図35)に対応している。 Specifically, the audio reproduced based on the initial information of the language setting of the reproduction apparatus corresponds to audio 2 (FIG. 35) with A_SN = 1, and the audio reproduced after the audio is switched. Corresponds to audio 1 (FIG. 35) with A_SN = 2.
このようなストリームナンバーテーブルを提供するために、PlayList()で参照されるPlayItem()の中のSTN table()(図25)において、最初に、オーディオストリーム#1にエントリーするためのaudio_stream_id=0(A_SN=1)でオーディオ2を与え、audio_stream_id=1(A_SN=2)でオーディオ1を与え、audio_stream_id=2(A_SN=3)でオーディオ3を与える。次に、STN table()(図25)において、オーディオストリーム#2にエントリーするためのaudio_stream_id2=0(A_SN2=1)でオーディオ4を与え、audio_stream_id2=1(A_SN2=2)でオーディオ5を与える。
In order to provide such a stream number table, in the STN table () (FIG. 25) in PlayItem () referenced by PlayList (), first, audio_stream_id = 0 for entry to
すなわち、再生する2つのオーディオストリーム(オーディオストリーム#1とオーディオストリーム#2)とを別々に定義することで、ユーザは、再生する2つのオーディオストリームを、定義されたものの中から任意に選択することができる。換言すれば、ユーザは、再生する2つのオーディオストリームの選択を自由に(オーディオストリーム#1とオーディオストリーム#2で定義されているものの中から自由に)行うことができるので、組み合わせの自由度の高い選択を行うことができる。例えば、ユーザは、オーディオ2+オーディオ4の組み合わせ(A_SN=1とA_SN2=1の組み合わせ)や、オーディオ2+オーディオ5の組み合わせ(A_SN=1とA_SN2=2の組み合わせ)を選択することができる。
That is, by defining two audio streams to be reproduced (
このように、PlayItem()の中のSTN table()(図25)のstream_entry()(図26)で、2本のオーディオストリームをエントリーすることが可能な構成としたので、2つのオーディオストリームをミキシングして再生することができる。すなわち、複数の種類からなるストリームから、同じ種類(この例の場合、オーディオストリーム)の2本のストリームをミキシング(重畳、または合成)して、同時に再生することができる。また、ユーザは、所望する2本の同じ種類のストリームのミキシング再生を指令することができる。 In this way, since the stream_entry () (FIG. 26) of the STN table () (FIG. 25) in PlayItem () can be entered with two audio streams, the two audio streams are Can be mixed and played back. That is, two streams of the same type (in this example, an audio stream) can be mixed (superimposed or combined) from a plurality of types of streams and simultaneously played back. In addition, the user can instruct mixing reproduction of two desired types of streams.
なお、以上の例では、図41の再生装置20−2の1stオーディオデコーダ75−1でデコードされるオーディオストリーム#1と、2ndオーディオデコーダ75−2でデコードされるオーディオストリーム#2とを、ユーザが別々に選択可能な構成としたが、オーディオストリーム#1とオーディオストリーム#2との組み合わせを定義し、ミキシング再生する場合には、この組み合わせの中からユーザに選択させる構成としてもよい。
In the above example, the
次に、図36を参照して、AUXDATAディレクトリのsound.bdmvのシンタクスについて説明する。 Next, the syntax of sound.bdmv in the AUXDATA directory will be described with reference to FIG.
sound.bdmvは、インタラクティブグラフィックスを用いたストリームに対する1つ又は複数の効果音を含むファイルである。 sound.bdmv is a file containing one or more sound effects for a stream using interactive graphics.
SoundData_start_addressは、SoundData()の先頭アドレスを示す32ビットのフィールドであり、SoundIndex()は、実際の効果音のデータであるSoundData()の効果音の属性(例えば、チャネル数・周波数など)を示す情報である。 SoundData_start_address is a 32-bit field indicating the start address of SoundData (), and SoundIndex () indicates the sound effect attribute (for example, the number of channels, frequency, etc.) of SoundData () that is actual sound effect data. Information.
実際の効果音のデータであるSoundData()は、非圧縮のオーディオデータであり、例えば、サウンドストリームとは別に効果音が用意され、所定の位置で出力されるようになされているコンテンツや、ユーザの操作入力を基に再生するデータを変更することができるようになされているなど、ユーザの操作入力を受けることを前提としているコンテンツや、インタラクティブなコンテンツなどにおけるクリック音などとして用意されるデータである。換言すれば、コンテンツ、または、プレイリストまたはプレイアイテムで指定されるコンテンツの一部の仕様によっては、SoundData()を有していないものもある。SoundData()は、例えば、効果音の再生がコマンドによって指令された場合やユーザの操作入力を受けた場合、オーディオストリームに合成されて出力されるようになされている。 SoundData (), which is actual sound effect data, is uncompressed audio data.For example, a sound effect is prepared separately from a sound stream and output at a predetermined position or a user. This is data prepared as click sound for content that is supposed to receive user's operation input, such as being able to change the data to be played based on the operation input, or interactive content is there. In other words, some specifications of content or content specified by a playlist or play item may not have SoundData (). SoundData () is, for example, synthesized with an audio stream and output when a sound effect reproduction is instructed by a command or a user operation input is received.
次に、上述した構成を有するデータを再生出力する再生装置20の構成例と処理について説明する。
Next, a configuration example and processing of the
図37は、本発明を適用した再生装置の第1の例である再生装置20−1の構成例を示すブロック図である。この再生装置20−1は、上述したメインパスとサブパスを有するPlayListを再生することができる。再生装置20−1は、audio_stream_idで与えられるオーディオストリーム#1のみを再生することが可能であり、audio_stream_id2で与えられるオーディオストリーム#2が存在するかしないかにかかわらず、再生することができない。そして、再生装置20-1は、オーディオストリーム#1に対して、サウンドデータを合成して再生することができる。
FIG. 37 is a block diagram illustrating a configuration example of a playback device 20-1 that is a first example of a playback device to which the present invention has been applied. The playback device 20-1 can play the PlayList having the main path and the sub path described above. The playback device 20-1 can play back only the
再生装置20−1には、再生データ取得部31、スイッチ32、AVデコーダ部33−1、コントローラ34−1、オーディオエンコーダ41、ビデオエンコーダ42、D/A変換部43、D/A変換部44、非圧縮オーディオ信号インターフェース51、圧縮オーディオ信号インターフェース52、非圧縮ビデオ信号インターフェース53、圧縮ビデオ信号インターフェース54、アナログオーディオ信号インターフェース55、および、アナログビデオ信号インターフェース56が設けられている。
The reproduction apparatus 20-1 includes a reproduction
図37の例の場合、最初に、コントローラ34−1が、例えば、装着された記録媒体21からデータを読み込むストレージドライブ、自分自身の内部の記録媒体からデータを読み込むデータドライブ、または、ネットワーク22を介してデータを取得するネットワークインターフェイスなどの再生データ取得部31を介して、Indexファイルを読み出し、発生されるコマンドに基づいて、PlayListファイルを読み出し、PlayListファイルの情報に基づいてPlayItemを読み出し、これに対応するClipを検出し、ClipInfoを基に、対応するAVストリームやAVデータなどを読み出す。ユーザは、上述したリモートコマンダ23などのユーザインターフェースを用いて、コントローラ34−1に対し、音声や字幕などの切り替えの指令を行うことができる。また、コントローラ34−1には、再生装置20−1の言語設定の初期情報が図示せぬ記憶部などから供給される。
In the case of the example of FIG. 37, first, the controller 34-1 selects, for example, a storage drive that reads data from the attached
また、コントローラ34−1は、Indexファイル,PlayListファイル(AppInfoPlayList()、PlayList()、または、PlayItem)のうちのいずれかに記載される、オーディオストリームに合成可能なサウンドデータの有無を示すフラグであるis_MixAppまたはis_MixApp_2の値を基に、スイッチ61を制御する。
The controller 34-1 is a flag indicating the presence or absence of sound data that can be synthesized with the audio stream, which is described in any one of the Index file and the PlayList file (AppInfoPlayList (), PlayList (), or PlayItem). The
PlayListファイルには、Main Path、Sub Pathの情報の他、STN_table()が含まれている。コントローラ34−1は、PlayListファイルに含まれるPlayItemが参照するメインClipに含まれるメインClip AVストリームファイル、サブClipに含まれるSubPlayItemが参照するサブClip AVストリームファイル、およびSubPlayItemが参照するテキストサブタイトルデータを、再生データ取得部31を介して記録媒体21などから読み出す。ここで、PlayItemが参照するメインClipとSubPlayItemが参照するサブClipとが、異なる記録媒体に記録されていてもよい。例えば、メインClipが記録媒体21に記録されており、対応するサブClipは、例えば、ネットワーク22を介して供給され、再生装置20-1に内蔵されている図示しないHDDに記憶されたものであってもよい。また、コントローラ34−1は、自分自身(再生装置20−1)の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置20−1の言語設定の初期情報に対応するエレメンタリストリームだけを選択し、再生するよう制御する。
The PlayList file includes STN_table () in addition to Main Path and Sub Path information. The controller 34-1 receives the main Clip AV stream file included in the main Clip referred to by the PlayItem included in the PlayList file, the sub Clip AV stream file referred to by the SubPlayItem included in the sub Clip, and the text subtitle data referred to by the SubPlayItem. Then, the data is read from the
AVデコーダ部33−1には、バッファ51乃至54、PIDフィルタ55、PIDフィルタ56、スイッチ57乃至59、スイッチ61、バックグラウンドデコーダ71、ビデオデコーダ72、プレゼンテーショングラフィックスデコーダ73、インタラクティブグラフィックスデコーダ74、オーディオデコーダ75、Text-STコンポジション76、スイッチ77、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、インタラクティブグラフィックスプレーン生成部94、バッファ95、ビデオデータ処理部96、および、ミキシング処理部97が設けられている。ここでは、オーディオデコーダとして、オーディオデコーダ75のみが設けられているので、オーディオストリーム#1をデコードすることができるが、オーディオストリーム#2をデコードすることはできない。具体的には、再生装置20-1においては、図25のSTN_table()において、audio_stream_idで与えられるオーディオストリームをデコードすることは可能であるが、audio_stream_id2で与えられるオーディオストリームをデコードすることができない。また、ビデオデコーダ72としては、再生されるストリームに応じて、例えば、MPEG2,MPEG4,H.264/AVCなどの種々のデコーダを採用することができる。
The AV decoder unit 33-1 includes
コントローラ34−1により読み出されたファイルデータは、図示せぬ復調、ECC復号部により復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ32は、復調され、誤り訂正が施されたデータを、コントローラ34−1からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ51乃至54に供給する。具体的には、スイッチ32は、コントローラ34−1からの制御に基づいて、バックグラウンドイメージデータをバッファ51に供給し、メインClip AV Streamのデータをバッファ52に供給し、サブClip AV Streamのデータをバッファ53に供給し、Text-STのデータをバッファ54に供給するようスイッチ32を切り替える。バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClip AV Streamのデータをバッファリングし、バッファ53は、サブClip AV Streamのデータをバッファリングし、バッファ54は、Text-STデータをバッファリングする。
The file data read by the controller 34-1 is demodulated by a demodulation and ECC decoding unit (not shown), and error correction is performed on the demodulated multiplexed stream. The
メインClip AV Streamは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスのうち、ビデオに加えて1つ以上のストリームを多重化したストリーム(例えばトランスポートストリーム)である。サブClipは、オーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスとオーディオのうち、1つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイル(Text-ST)のデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。 The main Clip AV Stream is a stream (for example, a transport stream) obtained by multiplexing one or more streams in addition to video among video, audio, bitmap subtitle (Presentation Graphics stream), and interactive graphics. The sub clip is a stream obtained by multiplexing one or more streams of audio, bitmap subtitle (Presentation Graphics stream), interactive graphics, and audio. Note that the data of the text subtitle data file (Text-ST) may or may not be in the form of a multiplexed stream such as a transport stream.
また、再生データ取得部31は、メインClip AV StreamとサブClip AV Streamおよびテキストサブタイトルデータのそれぞれのファイルを時分割に交互に読み出しても良いし、または、メインClip AV Streamを読み出す前に、サブClip AV Streamやテキストサブタイトルデータを予め読み出しておき、すべてバッファ(バッファ53またはバッファ54)へプリロードしておくようにしてもよい。
Further, the reproduction
そして、メインClip AV Stream用リードバッファであるバッファ52から読み出されたストリームデータは、所定のタイミングで、後段のPID(パケットID)フィルタ55へ出力される。このPIDフィルタ55は、入力されたメインClip AV StreamをPID(パケットID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ55は、ビデオストリームをビデオデコーダ72に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームをオーディオデコーダ75への供給元となるスイッチ59に供給する。
Then, the stream data read from the
プレゼンテーショングラフィックスストリームは、例えば、ビットマップの字幕データであり、テキストサブタイトルデータは、例えば、テキスト字幕データである。 The presentation graphics stream is, for example, bitmap subtitle data, and the text subtitle data is, for example, text subtitle data.
サブClip AV Stream用リードバッファであるバッファ53から読み出されたストリームデータは、所定のタイミングで、後段のPID(パケットID)フィルタ56へ出力される。このPIDフィルタ56は、入力されたサブClip AV StreamをPID(パケットID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ56は、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームをスイッチ61への供給元となるスイッチ59に供給する。
The stream data read from the
バックグラウンドイメージデータをバッファリングするバッファ51から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ71に供給される。バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部91に供給する。
Data read from the
PIDフィルタ55により振り分けられたビデオストリームは、後段のビデオデコーダ72に供給される。ビデオデコーダ72は、ビデオストリームをデコードし、デコードしたビデオデータをビデオプレーン生成部92へ出力する。
The video stream distributed by the
スイッチ57は、PIDフィルタ55から供給されたメインClipに含まれるプレゼンテーショングラフィックスストリームと、サブClip に含まれるプレゼンテーショングラフィックスストリームのうちのいずれか1つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ73に供給する。プレゼンテーショングラフィックスデコーダ73は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部93への供給元となるスイッチ77に供給する。
The
また、スイッチ58は、PIDフィルタ55から供給されたメインClipに含まれるインタラクティブグラフィックスストリームと、サブClip に含まれるインタラクティブグラフィックスストリームのうちのいずれか1つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。すなわち、インタラクティブグラフィックスデコーダ74へ同時に入力されるインタラクティブグラフィックスストリームは、メインClip AV StreamまたはサブClip AV Streamのどちらかから分離されたストリームである。インタラクティブグラフィックスデコーダ74は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、インタラクティブグラフィックスプレーン生成部94に供給する。
Further, the
さらに、スイッチ59は、PIDフィルタ55から供給されたメインClipに含まれるオーディオストリームと、サブClip に含まれるオーディオストリームのうちのいずれか1つを選択し、選択したオーディオストリームを、後段のスイッチ61に供給する。
Further, the
スイッチ61は、コントローラ34−1の制御に基づいて、供給されたオーディオデータをオーディオデコーダ75に供給するか,または、圧縮オーディオ信号インターフェース52に供給する。
The
オーディオデコーダ75は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部97に供給する。
The
また、スイッチ32により選択されたサウンドデータは、バッファ95に供給され、バッファリングされる。バッファ95は、所定のタイミングでサウンドデータをミキシング処理部97に供給する。サウンドデータは、この場合、メニュー選択などによる効果音のデータである。ミキシング処理部97は、オーディオデコーダ75から供給されたオーディオデータと、バッファ95から供給されてきたサウンドデータをミキシング(重畳、または合成)し、音声信号として出力する。
The sound data selected by the
テキストサブタイトル用リードバッファであるバッファ54から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジション(デコーダ)76へ出力される。テキストサブタイトルコンポジション76は、Text-STデータをデコードし、スイッチ77に供給する。
The data read from the
スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、Text-ST(テキストサブタイトルデータ)のうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。すなわち、プレゼンテーショングラフィックスプレーン生成部93へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ73またはテキストサブタイトル(Text-ST)コンポジション76のうちのいずれかの出力である。また、プレゼンテーショングラフィックスデコーダ73へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClip AV StreamまたはサブClip AV Streamのいずれかから分離されたストリームである(スイッチ57により選択される)。したがって、プレゼンテーショングラフィックスプレーン生成部93へ同時に出力される字幕画像は、メインClip AV Streamからのプレゼンテーショングラフィックスストリーム、またはサブClip AV Streamからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。
The
バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部96に供給する。ビデオプレーン生成部92は、ビデオデコーダ72から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部96に供給する。プレゼンテーショングラフィックスプレーン生成部93は、スイッチ77により選択され、供給されたデータ(プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータ)に基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。
Based on the background image data supplied from the
ビデオデータ処理部96は、バックグラウンドプレーン生成部91からのバックグラウンドプレーン、ビデオプレーン生成部92からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部93からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部94からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。
The video
これらのスイッチ57乃至59、並びにスイッチ77は、ユーザインターフェースを介するユーザからの選択、または、対象となるデータが含まれるファイル側に基づいて、スイッチを切り替える。例えば、サブClip AVストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ59はサブ側にスイッチを切り替える。
The
オーディオエンコーダ41は、ミキシング処理部97から供給された非圧縮のオーディオデータをエンコードし、圧縮オーディオ信号インターフェース52に供給する。ビデオエンコーダ42は、ビデオデータ処理部96から供給された非圧縮のビデオ信号をエンコードし、圧縮ビデオ信号インターフェース54に供給する。D/A変換部43は、ミキシング処理部97から供給された非圧縮のオーディオデータをデジタル信号からアナログ信号に変換し、アナログオーディオ信号インターフェース55に供給する。D/A変換部44は、ビデオデータ処理部96から供給された非圧縮のビデオ信号をデジタル信号からアナログ信号に変換し、アナログビデオ信号インターフェース56に供給する。非圧縮オーディオ信号インターフェース51は、ミキシング処理部97から供給された非圧縮のオーディオデータを外部に出力する。圧縮オーディオ信号インターフェース52は、オーディオエンコーダ41またはスイッチ61から供給された圧縮オーディオ信号を外部に出力する。非圧縮ビデオ信号インターフェース53は、ビデオデータ処理部96から供給された非圧縮のビデオ信号を外部に出力する。圧縮ビデオ信号インターフェース54は、ビデオエンコーダ42から供給された圧縮ビデオ信号を外部に出力する。アナログオーディオ信号インターフェース55は、D/A変換部43から供給されたアナログオーディオ信号を外部に出力する。アナログビデオ信号インターフェース56は、D/A変換部44から供給されたアナログビデオ信号を外部に出力する。
The
次に、図38のフローチャートを参照して、オーディオストリーム#1に合成される他の音声データがあるか否かを示すフラグがIndexファイルのIndexes()に記載されているデータを再生装置20-1が再生する場合に実行される、再生処理1について説明する。
Next, referring to the flowchart of FIG. 38, the
ステップS1において、コントローラ34−1は、再生装置20−1から出力されるのは符号化ストリームであるか否かを判断する。ステップS1において、再生装置20−1から出力されるのは符号化ストリームではないと判断された場合、処理は、後述するステップS24に進む。 In step S1, the controller 34-1 determines whether or not it is an encoded stream that is output from the playback device 20-1. If it is determined in step S1 that the output from the playback device 20-1 is not an encoded stream, the process proceeds to step S24 described later.
ステップS1において、再生装置20−1から出力されるのは符号化ストリームであると判断された場合、ステップS2において、コントローラ34−1は、スイッチ32から供給されるIndexファイルを読み取る。
In step S1, when it is determined that the encoded stream is output from the playback device 20-1, the controller 34-1 reads the index file supplied from the
ステップS3において、コントローラ34−1は、indexes()に記載されている、サウンドデータが存在することを示すフラグis_MixAppまたはis_MixApp_2が1となっているか否かを判断する。 In step S3, the controller 34-1 determines whether or not the flag is_MixApp or is_MixApp_2 described in the indexes () indicating that sound data exists is “1”.
audio_stream_idで与えられるオーディオストリーム#1に加えて、audio_stream_id2で与えられるオーディオストリーム#2も存在しているコンテンツには、サウンドデータが存在するか否かを示すフラグであるis_MixApp_2に加えて、オーディオストリーム#2が存在するか否かを示すフラグであるis_MixApp_1が記載されている。しかしながら、再生装置20-1は、audio_stream_id2で与えられるオーディオストリーム#2を再生する機能を有していない。したがって、再生装置20-1は、ステップS3において、is_MixAppまたはis_MixApp_2で示されるフラグの値のみを検出し、読み出したデータの中にis_MixApp_1で示されるフラグが記載されていても、そのフラグは参照しない。すなわち、再生装置20において、フラグis_MixApp_1の値は、スイッチ61の制御に影響を及ぼさない。
In addition to the
ステップS3において、フラグis_MixAppまたはis_MixApp_2が1となっていると判断された場合、処理は、後述するステップS14に進む。 If it is determined in step S3 that the flag is_MixApp or is_MixApp_2 is 1, the process proceeds to step S14 described later.
ステップS3において、フラグis_MixAppまたはis_MixApp_2が1ではないと判断された場合、このIndexファイルに関連するデータには、再生装置20−1においてオーディオストリーム#1に合成することが可能なサウンドデータが含まれていないので、ステップS4において、コントローラ34−1は、このIndexファイルに関連するオーディオデータを圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52に供給するように、スイッチ61を制御する。
If it is determined in step S3 that the flag is_MixApp or is_MixApp_2 is not 1, the data related to this Index file includes sound data that can be combined with the
ステップS5において、コントローラ34−1は、例えば、ユーザの操作入力などによって発生されるコマンドにより、Playlistファイル(例えば、図13の×××××.mpls)の読み出しが指令されたか否かを判断する。ステップS5において、Playlistファイルの読み出しが指令されていないと判断された場合、Playlistファイルの読み出しが指令されたと判断されるまで、ステップS5の処理が繰り返される。 In step S5, the controller 34-1 determines whether or not a playlist file (for example, xxxxxx.mpls in FIG. 13) has been instructed by a command generated by a user operation input, for example. To do. If it is determined in step S5 that reading of the playlist file is not instructed, the process of step S5 is repeated until it is determined that reading of the playlist file is instructed.
ステップS5において、Playlistファイルの読み出しが指令されたと判断された場合、ステップS6において、コントローラ34−1は、スイッチ32から供給されるPlaylistファイルを読み出す。
If it is determined in step S5 that reading of the playlist file is instructed, the controller 34-1 reads the playlist file supplied from the
ステップS7において、コントローラ34−1は、そのPlayListファイルに記載されているPlayList(図13のPlylist())により指定されるPlayItemを読み出し、対応するメインClip AV Stream、サブClip AV Stream、およびテキストサブタイトルデータを読み出してスイッチ32に供給する。
In step S7, the controller 34-1 reads the PlayItem specified by the PlayList (Plylist () in FIG. 13) described in the PlayList file, and the corresponding main Clip AV Stream, sub Clip AV Stream, and text subtitle. Data is read and supplied to the
ステップS8において、コントローラ34−1は、読み出したデータを対応するバッファに供給してバッファリングする。具体的には、コントローラ34−1は、バックグラウンドイメージデータをバッファ51に供給し、メインClip AV Streamのデータをバッファ52に供給し、サブClip AV Streamのデータをバッファ53に供給し、Text-STのデータをバッファ54に供給するようスイッチ32を切り替える。そして、バッファ51乃至54は、供給されたデータをそれぞれバッファリングする。具体的には、バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClip AV Streamのデータをバッファリングし、バッファ53は、サブClip AV Streamのデータをバッファリングし、バッファ54は、Text-STデータをバッファリングする。
In step S8, the controller 34-1 supplies the read data to the corresponding buffer for buffering. Specifically, the controller 34-1 supplies the background image data to the
ステップS9において、コントローラ34−1は、PIDフィルタ55、56およびスイッチ67乃至59を制御し、映像系データを所定のデコーダでデコードし、ビデオデータ処理部96にて処理する。
In step S9, the controller 34-1 controls the PID filters 55 and 56 and the switches 67 to 59, decodes the video data with a predetermined decoder, and processes it with the video
ステップS10において、ビデオエンコーダ42は、ビデオデータ処理部96から供給された処理済のビデオデータをエンコードする。
In step S <b> 10, the
ステップS11において、圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52は、スイッチ61から出力される符号化オーディオデータであるオーディオストリーム#1を外部に出力し、圧縮符号化ビデオ信号の出力端子である圧縮ビデオ信号インターフェース54は、エンコードされた符号化ビデオデータを外部に出力する。
In step S11, the compressed
すなわち、ステップS11において圧縮オーディオ信号インターフェース52から出力される圧縮符号化オーディオデータは、再生装置20−1のAVデコーダ部33−1において、復号処理が施されていないため、音質が劣化していない。
That is, the compressed encoded audio data output from the compressed
ステップS12において、コントローラ34−1は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS12において、次のPlayItemがあると判断された場合、処理は、ステップS7に戻り、それ以降の処理が繰り返される。 In step S12, the controller 34-1 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S12 that there is a next PlayItem, the process returns to step S7, and the subsequent processes are repeated.
ステップS12において、次のPlayItemがないと判断された場合、ステップS13において、コントローラ34−1は、再生終了であるか否かを判断する。ステップS13において、再生終了ではないと判断された場合、処理は、ステップS5に戻り、それ以降の処理が繰り返される。ステップS13において、再生終了であると判断された場合、処理は、終了される。 If it is determined in step S12 that there is no next PlayItem, in step S13, the controller 34-1 determines whether or not the reproduction is finished. If it is determined in step S13 that the reproduction has not ended, the process returns to step S5, and the subsequent processes are repeated. If it is determined in step S13 that the reproduction has ended, the process ends.
ステップS3において、フラグis_MixAppまたはis_MixApp_2が1となっていると判断された場合、このIndexファイルに関連するデータには、再生装置20−1においてオーディオストリーム#1に合成することが可能なサウンドデータが含まれているので、ステップS14において、コントローラ34−1は、このIndexファイルに関連するオーディオストリーム#1をオーディオデコーダ75に供給するように、スイッチ61を制御する。
If it is determined in step S3 that the flag is_MixApp or is_MixApp_2 is 1, sound data that can be combined with the
ステップS15乃至ステップS19において、ステップS5乃至ステップS9と基本的に同様の処理が実行される。すなわち、PlayListの読み出しが指令されたか否かが判断され、読み出しが指令されたと判断された場合、PlayListが読み出されて、PlayListにより指定されるPlayItemが読み出される。そして、読み出されたPlayItemに対応するClipのデータ(AV Stream)が対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。
In steps S15 to S19, basically the same processing as in steps S5 to S9 is executed. That is, it is determined whether or not PlayList reading is instructed, and when it is determined that reading is instructed, the PlayList is read and the PlayItem specified by the PlayList is read. Then, the clip data (AV Stream) corresponding to the read PlayItem is supplied to the corresponding buffer and buffered, the PID filter and each switch are controlled, and the buffered video data is respectively set to the predetermined buffer. The data is decoded by the decoder and processed by the video
ステップS20において、コントローラ34−1は、PIDフィルタおよび各スイッチを制御し、バッファ53にバッファリングされたオーディオストリーム#1を、スイッチ61を介してオーディオデコーダ75に供給してデコードし、ミキシング処理部97を制御して、バッファ95に保持されているサウンドデータとの合成処理を適宜実行させる。
In step S20, the controller 34-1 controls the PID filter and each switch, supplies the
すなわち、スイッチ61が制御されて、オーディオストリーム#1がオーディオデコーダ75によりデコードされるようになされているので、オーディオストリーム#1とサウンドデータを合成することが可能となる。
That is, since the
ステップS21において、オーディオエンコーダ41は、合成処理が施された非圧縮のオーディオデータをエンコードし、圧縮オーディオ信号インターフェース52に供給して外部出力させ、ビデオエンコーダ42はビデオデータ処理部96により処理された非圧縮のビデオデータをエンコードして、圧縮ビデオ信号インターフェース54に供給して外部に出力させる。
In step S <b> 21, the
ステップS22において、コントローラ34−1は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS22において、次のPlayItemがあると判断された場合、処理は、ステップS17に戻り、それ以降の処理が繰り返される。 In step S22, the controller 34-1 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S22 that there is a next PlayItem, the process returns to step S17, and the subsequent processes are repeated.
ステップS22において、次のPlayItemがないと判断された場合、ステップS23において、コントローラ34−1は、再生終了であるか否かを判断する。ステップS23において、再生終了ではないと判断された場合、処理は、ステップS15に戻り、それ以降の処理が繰り返される。ステップS23において、再生終了であると判断された場合、処理は、終了される。 When it is determined in step S22 that there is no next PlayItem, in step S23, the controller 34-1 determines whether or not the reproduction is finished. If it is determined in step S23 that the reproduction has not ended, the process returns to step S15, and the subsequent processes are repeated. If it is determined in step S23 that the reproduction has ended, the process ends.
ステップS1において、出力されるのは符号化ストリームではないと判断された場合、ステップS24において、コントローラ34−1は、供給されたオーディオ#1をオーディオデコーダ75に供給するように、スイッチ61を制御する。
If it is determined in step S1 that the output is not an encoded stream, the controller 34-1 controls the
すなわち、出力されるのは符号化ストリームではない場合、オーディオストリーム#1に合成されるサウンドデータがあるか否かにかかわらず、オーディオストリーム#1はデコードされる。
That is, when it is not an encoded stream that is output, the
ステップS25乃至ステップS30において、ステップS15乃至ステップS20と基本的に同様の処理が実行される。すなわち、PlayListの読み出しが指令されたか否かが判断され、読み出しが指令されたと判断された場合、PlayListが読み出されて、PlayListにより指定されるPlayItemが読み出される。そして、読み出されたPlayItemに対応するClipのデータ(AV Stream)が対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。そして、PIDフィルタおよび各スイッチが制御され、バッファ53にバッファリングされたオーディオストリーム#1がスイッチ61を介してオーディオデコーダ75に供給されてデコードされ、バッファ95にサウンドデータが供給されて存在する場合は、ミキシング処理部97の処理により、適宜合成処理が実行される。
In steps S25 to S30, basically the same processing as in steps S15 to S20 is executed. That is, it is determined whether or not PlayList reading is instructed, and when it is determined that reading is instructed, the PlayList is read and the PlayItem specified by the PlayList is read. Then, the clip data (AV Stream) corresponding to the read PlayItem is supplied to the corresponding buffer and buffered, the PID filter and each switch are controlled, and the buffered video data is respectively set to the predetermined buffer. The data is decoded by the decoder and processed by the video
ステップS31において、非圧縮オーディオ信号インターフェース51は、ミキシング処理部97から供給された処理済の非圧縮のビデオデータを外部に出力し、非圧縮ビデオ信号インターフェース53は、ビデオデータ処理部96から供給された非圧縮のオーディオデータを外部に出力する。または、D/A変換部43は、非圧縮のオーディオデータをD/A変換し、アナログオーディオ信号インターフェース55は、アナログ信号を外部に出力し、D/A変換部44は、非圧縮のビデオデータをD/A変換し、アナログビデオ信号インターフェース56は、アナログ信号を外部に出力する。
In step S31, the uncompressed
ステップS32において、コントローラ34−1は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS32において、次のPlayItemがあると判断された場合、処理は、ステップS27に戻り、それ以降の処理が繰り返される。 In step S32, the controller 34-1 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S32 that there is a next PlayItem, the process returns to step S27, and the subsequent processes are repeated.
ステップS32において、次のPlayItemがないと判断された場合、ステップS33において、コントローラ34−1は、再生終了であるか否かを判断する。ステップS33において、再生終了ではないと判断された場合、処理は、ステップS25に戻り、それ以降の処理が繰り返される。ステップS33において、再生終了であると判断された場合、処理は、終了される。 When it is determined in step S32 that there is no next PlayItem, in step S33, the controller 34-1 determines whether or not the reproduction is finished. If it is determined in step S33 that the reproduction has not ended, the process returns to step S25, and the subsequent processes are repeated. If it is determined in step S33 that the reproduction has ended, the process ends.
このような処理により、再生装置20−1は、Indexes()に記載されているフラグを参照して、このIndexes()により参照されるデータにサウンドデータが含まれていない場合は、オーディオストリーム#1をデコードせずに圧縮符号化されたデータのまま外部に出力するので、必要以上に音質を劣化させることを防止することができる。 By such processing, the playback device 20-1 refers to the flag described in Indexes (), and if the sound data is not included in the data referenced by Indexes (), the audio stream # Since the data encoded and compressed without decoding 1 is output to the outside, it is possible to prevent the sound quality from being deteriorated more than necessary.
なお、この処理においては、処置の最初において、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断し、その後、フラグを参照して、合成処理が実行されるか否かを判断するものとしているが、例えば、まず、フラグを参照して、合成処理が実行されるか否かを判断し、その後、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断するようにしても、判断する処理の順番が異なるだけで、実質的に同様の処理が実行されるのは言うまでもない。 In this process, at the beginning of the procedure, it is determined whether the output signal is compression-encoded data or non-compressed data, and then, referring to the flag, is the synthesis process executed? For example, first, referring to the flag, it is determined whether or not the synthesis process is executed, and then the output signal is compressed encoded data or uncompressed data. Needless to say, even if it is determined whether it is data or not, only the order of the determination processing is different, and substantially the same processing is executed.
次に、図39のフローチャートを参照して、オーディオストリーム#1に合成される他の音声データがあるか否かを示すフラグがPlayListに記載されているデータを再生装置20-1が再生する場合に実行される、再生処理2について説明する。
Next, referring to the flowchart of FIG. 39, when the playback device 20-1 plays back data in which a flag indicating whether or not there is other audio data synthesized with the
ステップS61において、コントローラ34−1は、再生装置20−1から出力されるのは符号化ストリームであるか否かを判断する。ステップS61において、再生装置20−1から出力されるのは符号化ストリームではないと判断された場合、処理は、後述するステップS82に進む。 In step S61, the controller 34-1 determines whether or not it is an encoded stream that is output from the playback device 20-1. If it is determined in step S61 that the output from the playback device 20-1 is not an encoded stream, the process proceeds to step S82 described below.
ステップS61において、再生装置20−1から出力されるのは符号化ストリームであると判断された場合、ステップS62において、コントローラ34−1は、スイッチ32から供給されるIndexファイルを読み取る。
In step S61, when it is determined that the encoded stream is output from the playback device 20-1, the controller 34-1 reads the index file supplied from the
ステップS63において、コントローラ34−1は、例えば、ユーザの操作入力などによって発生されるコマンドにより、Playlistファイル(例えば、図13の×××××.mpls)の読み出しが指令されたか否かを判断する。ステップS63において、Playlistファイルの読み出しが指令されていないと判断された場合、Playlistファイルの読み出しが指令されたと判断されるまで、ステップS63の処理が繰り返される。 In step S63, the controller 34-1 determines whether or not the playlist file (eg, xxxxxx.mpls in FIG. 13) is instructed by a command generated by, for example, a user operation input. To do. If it is determined in step S63 that reading of the playlist file is not instructed, the processing in step S63 is repeated until it is determined that reading of the playlist file is instructed.
ステップS63において、Playlistファイルの読み出しが指令されたと判断された場合、ステップS64において、コントローラ34−1は、スイッチ32から供給されるPlaylistファイルを読み出す。
If it is determined in step S63 that reading of the playlist file has been instructed, the controller 34-1 reads the playlist file supplied from the
ステップS65において、コントローラ34−1は、PlayListファイルに記載されている、すなわち、AppInfoPlayList()またはPlayList()に記載されている、サウンドデータが存在することを示すフラグis_MixAppまたはis_MixApp_2が1となっているか否かを判断する。 In step S65, the controller 34-1 sets the flag is_MixApp or is_MixApp_2 that is described in the PlayList file, that is, described in AppInfoPlayList () or PlayList (), indicating that sound data exists. Determine whether or not.
audio_stream_idで与えられるオーディオストリーム#1に加えて、audio_stream_id2で与えられるオーディオストリーム#2も存在しているコンテンツには、サウンドデータが存在するか否かを示すフラグであるis_MixApp_2に加えて、オーディオストリーム#2が存在するか否かを示すフラグであるis_MixApp_1が記載されている。しかしながら、再生装置20-1は、audio_stream_id2で与えられるオーディオストリーム#2を再生する機能を有していないので、is_MixApp_2で示されるフラグの値のみを検出し、読み出したデータの中にis_MixApp_1で示されるフラグが記載されていても、そのフラグは参照しないようになされている。
In addition to the
ステップS65において、フラグis_MixAppまたはis_MixApp_2が1となっていると判断された場合、処理は、後述するステップS74に進む。 If it is determined in step S65 that the flag is_MixApp or is_MixApp_2 is 1, the process proceeds to step S74 described below.
ステップS65において、フラグis_MixAppまたはis_MixApp_2が1となっていないと判断された場合、このPlayListファイルに関連するオーディオデータには、再生装置20−1においてオーディオストリーム#1に合成することが可能なサウンドデータが含まれていないので、ステップS66において、コントローラ34−1は、このPlaylistファイルに関連するオーディオデータを圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52に供給するように、スイッチ61を制御する。
If it is determined in step S65 that the flag is_MixApp or is_MixApp_2 is not 1, sound data that can be combined with the
ステップS67乃至ステップS71において、図38のステップS7乃至ステップS11と基本的に同様の処理が実行される。 In steps S67 to S71, basically the same processing as in steps S7 to S11 of FIG. 38 is executed.
すなわち、PlayListにより指定されるPlayItemが読み出されて、対応するClipのデータ(AV Stream)が読み出されて、スイッチ32に供給され、読み出されたデータが対応するバッファに供給されてバッファリングされる。そして、PIDフィルタ55、56およびスイッチ67乃至59が制御されて、映像系データが所定のデコーダでデコードされ、ビデオデータ処理部96にて処理され処理済のビデオデータがエンコードされる。そして、スイッチ61から出力される符号化オーディオデータが圧縮オーディオ信号インターフェース52から外部に出力され、エンコードされた符号化ビデオデータが圧縮ビデオ信号インターフェース54から外部に出力される。
That is, the PlayItem specified by the PlayList is read, the corresponding Clip data (AV Stream) is read and supplied to the
すなわち、ステップS71において圧縮オーディオ信号インターフェース52から出力される圧縮符号化オーディオデータは、再生装置20−1のAVデコーダ部33−1において、復号処理が施されていないため、音質が劣化していない。
That is, the compressed encoded audio data output from the compressed
ステップS72において、コントローラ34−1は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS72において、次のPlayItemがあると判断された場合、処理は、ステップS67に戻り、それ以降の処理が繰り返される。 In step S72, the controller 34-1 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S72 that there is a next PlayItem, the process returns to step S67, and the subsequent processes are repeated.
ステップS72において、次のPlayItemがないと判断された場合、ステップS73において、コントローラ34−1は、再生終了であるか否かを判断する。ステップS73において、再生終了ではないと判断された場合、処理は、ステップS63に戻り、それ以降の処理が繰り返される。すなわち、次に読み出されたPlayListに記載されているフラグの値により、スイッチ61の制御は変更される可能性がある。ステップS73において、再生終了であると判断された場合、処理は、終了される。
When it is determined in step S72 that there is no next PlayItem, in step S73, the controller 34-1 determines whether or not the reproduction is finished. If it is determined in step S73 that the reproduction has not ended, the process returns to step S63, and the subsequent processes are repeated. That is, the control of the
ステップS65において、フラグis_MixAppまたはis_MixApp_2が1となっていると判断された場合、このPlayListファイルに関連するデータには、再生装置20−1においてオーディオストリーム#1に合成することが可能なサウンドデータが含まれているので、ステップS74において、コントローラ34−1は、このPlayListファイルに関連するオーディオデータをデコードするデコーダであるオーディオデコーダ75に供給するように、スイッチ61を制御する。
If it is determined in step S65 that the flag is_MixApp or is_MixApp_2 is 1, the data related to this PlayList file includes sound data that can be combined with the
ステップS75乃至ステップS79において、図38のステップS17乃至ステップS21と基本的に同様の処理が実行される。すなわち、PlayListにより指定されるPlayItemが読み出されて、対応するClipのデータ(AV Stream)が読み出され、読み出されたデータが対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。
In steps S75 to S79, basically the same processing as in steps S17 to S21 in FIG. 38 is executed. That is, the PlayItem specified by the PlayList is read, the corresponding Clip data (AV Stream) is read, the read data is supplied to the corresponding buffer and buffered, and the PID filter and each switch Is controlled, and the buffered video data is decoded by a predetermined decoder and processed by the video
そして、PIDフィルタおよび各スイッチが制御されて、バッファ53にバッファリングされたオーディオストリーム#1がスイッチ61を介して、オーディオデコーダ75に供給されてデコードされ、ミキシング処理部97の処理により、バッファ95に保持されているサウンドデータとの合成処理が適宜実行される。すなわち、スイッチ61が制御されて、オーディオストリーム#1がオーディオデコーダ75によりデコードされるようになされているので、オーディオストリーム#1とサウンドデータを合成することが可能となる。
Then, the PID filter and each switch are controlled, and the
そして、合成処理が施された非圧縮のオーディオデータがエンコードされて、圧縮オーディオ信号インターフェース52から外部出力され、ビデオデータ処理部96により処理された非圧縮のビデオデータがエンコードされて、圧縮ビデオ信号インターフェース54から外部に出力される。
Then, the uncompressed audio data subjected to the synthesis process is encoded and output externally from the compressed
ステップS80において、コントローラ34−1は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS80において、次のPlayItemがあると判断された場合、処理は、ステップS75に戻り、それ以降の処理が繰り返される。 In step S80, the controller 34-1 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S80 that there is a next PlayItem, the process returns to step S75, and the subsequent processes are repeated.
ステップS80において、次のPlayItemがないと判断された場合、ステップS81において、コントローラ34−1は、再生終了であるか否かを判断する。ステップS81において、再生終了ではないと判断された場合、処理は、ステップS63に戻り、それ以降の処理が繰り返される。すなわち、次に読み出されたPlayListに記載されているフラグの値により、スイッチ61の制御は変更される可能性がある。ステップS81において、再生終了であると判断された場合、処理は、終了される。
If it is determined in step S80 that there is no next PlayItem, in step S81, the controller 34-1 determines whether or not the reproduction is finished. If it is determined in step S81 that the reproduction has not ended, the process returns to step S63, and the subsequent processes are repeated. That is, the control of the
ステップS61において、出力されるのは符号化ストリームではないと判断された場合、ステップS82乃至ステップS91において、図38のステップS24乃至ステップS33と基本的に同様の処理が実行される。 If it is determined in step S61 that the output is not an encoded stream, basically the same processing as step S24 to step S33 in FIG. 38 is executed in step S82 to step S91.
すなわち、出力されるのは符号化ストリームではない場合、オーディオストリーム#1に合成されるサウンドデータがあるか否かにかかわらず、オーディオストリーム#1はデコードされるので、供給されたオーディオストリーム#1がオーディオデコーダ75に供給されるように、スイッチ61が制御される。そして、PlayListの読み出しが指令されたか否かが判断され、読み出しが指令されたと判断された場合、PlayListが読み出されて、PlayListにより指定されるPlayItemが読み出されて対応するClipのデータが読み出される。そして、読み出されたデータが対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。そして、PIDフィルタおよび各スイッチが制御され、バッファ53にバッファリングされたオーディオストリーム#1がスイッチ61を介してオーディオデコーダ75に供給されてデコードされ、バッファ95にサウンドデータが供給されて存在する場合は、ミキシング処理部97の処理により、適宜合成処理が実行される。
That is, if the output is not an encoded stream, the
そして、非圧縮オーディオ信号インターフェース51は、ミキシング処理部97から供給された処理済の非圧縮のビデオデータを外部に出力し、非圧縮ビデオ信号インターフェース53は、ビデオデータ処理部96から供給された非圧縮のオーディオデータを外部に出力する。または、D/A変換部43は、非圧縮のオーディオデータをD/A変換し、アナログオーディオ信号インターフェース55は、アナログ信号を外部に出力し、D/A変換部44は、非圧縮のビデオデータをD/A変換し、アナログビデオ信号インターフェース56は、アナログ信号を外部に出力する。
The uncompressed
そして、再生するべき次のPlayItemがあるか否かが判断され、次のPlayItemがあると判断された場合、処理は、ステップS85に戻り、それ以降の処理が繰り返される。次のPlayItemがないと判断された場合、再生終了であるか否かが判断され、再生終了ではないと判断された場合、処理は、ステップS83に戻り、それ以降の処理が繰り返され再生終了であると判断された場合、処理は、終了される。 Then, it is determined whether or not there is a next PlayItem to be reproduced. If it is determined that there is a next PlayItem, the process returns to Step S85, and the subsequent processes are repeated. If it is determined that there is no next PlayItem, it is determined whether or not the playback has ended. If it is determined that the playback has not ended, the process returns to step S83, and the subsequent processing is repeated to end the playback. If it is determined that there is, the process is terminated.
このような処理により、再生装置20−1は、Playlistファイルに記載されているフラグを参照して、このPlaylistにより参照されるデータにサウンドデータが含まれていない場合は、オーディオストリーム#1をデコードせずに圧縮符号化されたデータのまま外部に出力するので、必要以上に音質を劣化させることを防止することができる。また、フラグをPlaylistファイル内のAppInfoPlayList()またはPlayList()に記載するようにした場合、サウンドデータが含まれているか否かをPlayListごとに設定することが可能となるので、オーサリングの自由度が増す。
By such processing, the playback device 20-1 refers to the flag described in the Playlist file, and decodes the
なお、この処理においても、処置の最初において、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断し、その後、フラグを参照して、合成処理が実行されるか否かを判断するものとしているが、例えば、まず、フラグを参照して、合成処理が実行されるか否かを判断し、その後、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断するようにしても、判断する処理の順番が異なるだけで、実質的に同様の処理が実行されるのは言うまでもない。 In this process as well, at the beginning of the procedure, it is determined whether the output signal is compression-encoded data or non-compressed data, and then the synthesis process is executed with reference to the flag. For example, first, referring to the flag, it is determined whether or not the synthesis process is executed, and then the output signal is compressed encoded data or uncompressed data. Needless to say, even if it is determined whether it is data or not, only the order of the determination processing is different, and substantially the same processing is executed.
次に、図40のフローチャートを参照して、オーディオストリーム#1に合成される他の音声データがあるか否かを示すフラグがPlayItemに記載されているデータを再生装置20-1が再生する場合に実行される、再生処理3について説明する。
Next, referring to the flowchart of FIG. 40, when the playback device 20-1 plays back data in which a flag indicating whether or not there is other audio data to be combined with the
ステップS131において、コントローラ34−1は、再生装置20−1から出力されるのは符号化ストリームであるか否かを判断する。ステップS131において、再生装置20−1から出力されるのは符号化ストリームではないと判断された場合、処理は、後述するステップS151に進む。 In step S131, the controller 34-1 determines whether or not it is an encoded stream that is output from the playback device 20-1. If it is determined in step S131 that the output from the playback device 20-1 is not an encoded stream, the process proceeds to step S151 described below.
ステップS131において、再生装置20−1から出力されるのは符号化ストリームであると判断された場合、ステップS132において、コントローラ34−1は、スイッチ32から供給されるIndexファイルを読み取る。
In step S131, when it is determined that the encoded stream is output from the playback device 20-1, the controller 34-1 reads the index file supplied from the
ステップS133において、コントローラ34−1は、例えば、ユーザの操作入力などによって発生されるコマンドにより、Playlistファイル(例えば、図13の×××××.mpls)の読み出しが指令されたか否かを判断する。ステップS133において、Playlistファイルの読み出しが指令されていないと判断された場合、Playlistファイルの読み出しが指令されたと判断されるまで、ステップS133の処理が繰り返される。 In step S133, the controller 34-1 determines whether or not the playlist file (for example, xxxxxx.mpls in FIG. 13) is instructed by a command generated by a user operation input or the like. To do. If it is determined in step S133 that reading of the playlist file is not instructed, the processing in step S133 is repeated until it is determined that reading of the playlist file is instructed.
ステップS133において、Playlistファイルの読み出しが指令されたと判断された場合、ステップS134において、コントローラ34−1は、スイッチ32から供給されるPlaylistファイルを読み出す。
If it is determined in step S133 that reading of the playlist file has been commanded, the controller 34-1 reads the playlist file supplied from the
ステップS135において、コントローラ34−1は、そのPlayListファイルに記載されているPlayList(図13のPlylist())により指定されるPlayItemを読み出す。そして、コントローラ34−1は、PlayItemに基づいて、再生データ取得部31を制御して、対応するメインClip AV Stream、サブClip AV Stream、およびテキストサブタイトルデータを読み出してスイッチ32に供給する。
In step S135, the controller 34-1 reads the PlayItem specified by the PlayList (Plylist () in FIG. 13) described in the PlayList file. Based on the PlayItem, the controller 34-1 controls the reproduction
ステップS136において、コントローラ34−1は、PlayItemに記載されている、サウンドデータが存在することを示すフラグis_MixAppまたはis_MixApp_2が1となっているか否かを判断する。 In step S136, the controller 34-1 determines whether or not a flag is_MixApp or is_MixApp_2 described in PlayItem indicating that sound data exists is “1”.
audio_stream_idで与えられるオーディオストリーム#1に加えて、audio_stream_id2で与えられるオーディオストリーム#2も存在しているコンテンツには、サウンドデータが存在するか否かを示すフラグであるis_MixApp_2に加えて、オーディオストリーム#2が存在するか否かを示すフラグであるis_MixApp_1が記載されている。しかしながら、再生装置20-1は、audio_stream_id2で与えられるオーディオストリーム#2を再生する機能を有していないため、ステップS136において、is_MixAppまたはis_MixApp_2で示されるフラグの値のみを検出し、読み出したデータの中にis_MixApp_1で示されるフラグが記載されていても、そのフラグは参照しない。
In addition to the
ステップS136において、フラグis_MixAppまたはis_MixApp_2が1となっていると判断された場合、処理は、後述するステップS144に進む。 If it is determined in step S136 that the flag is_MixApp or is_MixApp_2 is 1, the process proceeds to step S144 described later.
ステップS136において、フラグis_MixAppまたはis_MixApp_2が1ではないと判断された場合、このIndexファイルに関連するオーディオデータには、再生装置20−1においてオーディオストリーム#1に合成することが可能なサウンドデータが含まれていないので、ステップS137において、コントローラ34−1は、このPlayItemに関連するオーディオストリーム#1を圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52に供給するように、スイッチ61を制御する。
If it is determined in step S136 that the flag is_MixApp or is_MixApp_2 is not 1, the audio data related to this Index file includes sound data that can be combined with the
ステップS137乃至ステップS141において、図38のステップS8乃至ステップS11と基本的に同様の処理が実行される。 In steps S137 through S141, basically the same processing as in steps S8 through S11 in FIG. 38 is executed.
すなわち、読み出されたデータが対応するバッファに供給されてバッファリングされ、PIDフィルタ55、56およびスイッチ67乃至59が制御されて、映像系データが所定のデコーダでデコードされ、ビデオデータ処理部96にて処理され処理済のビデオデータがエンコードされる。そして、スイッチ61から出力される符号化オーディオデータであるオーディオストリーム#1が圧縮オーディオ信号インターフェース52から外部に出力され、エンコードされた符号化ビデオデータが圧縮ビデオ信号インターフェース54から外部に出力される。
That is, the read data is supplied to the corresponding buffer and buffered, the PID filters 55 and 56 and the switches 67 to 59 are controlled, the video data is decoded by a predetermined decoder, and the video
すなわち、ステップS141において圧縮オーディオ信号インターフェース52から出力される圧縮符号化オーディオデータであるオーディオストリーム#1は、再生装置20−1のAVデコーダ部33−1において、復号処理が施されていないため、音質が劣化していない。
That is, the
ステップS142において、コントローラ34−1は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS142において、次のPlayItemがあると判断された場合、処理は、ステップS135に戻り、それ以降の処理が繰り返される。すなわち、次に読み出されたPlayItemに記載されているフラグの値により、スイッチ61の制御は変更される可能性がある。
In step S142, the controller 34-1 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S142 that there is a next PlayItem, the process returns to step S135, and the subsequent processes are repeated. That is, the control of the
ステップS142において、次のPlayItemがないと判断された場合、ステップS143において、コントローラ34−1は、再生終了であるか否かを判断する。ステップS143において、再生終了ではないと判断された場合、処理は、ステップS133に戻り、それ以降の処理が繰り返される。ステップS143において、再生終了であると判断された場合、処理は、終了される。 If it is determined in step S142 that there is no next PlayItem, in step S143, the controller 34-1 determines whether or not the reproduction is finished. If it is determined in step S143 that the reproduction has not ended, the process returns to step S133, and the subsequent processes are repeated. If it is determined in step S143 that the reproduction has ended, the process ends.
ステップS136において、フラグis_MixAppまたはis_MixApp_2が1となっていると判断された場合、このPlayItemに関連するデータには、再生装置20−1においてオーディオストリーム#1に合成することが可能なサウンドデータが含まれているので、ステップS144において、コントローラ34−1は、このPlayItemに関連するオーディオストリーム#1をオーディオデコーダ75に供給するように、スイッチ61を制御する。
If it is determined in step S136 that the flag is_MixApp or is_MixApp_2 is 1, the data related to this PlayItem includes sound data that can be combined with the
ステップS145乃至ステップS148において、図38のステップS18乃至ステップS21と基本的に同様の処理が実行される。すなわち、読み出されたデータが対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。
In steps S145 to S148, basically the same processing as in steps S18 to S21 of FIG. 38 is executed. In other words, the read data is supplied to the corresponding buffer and buffered, the PID filter and each switch are controlled, and the buffered video data is decoded by a predetermined decoder, and the video data processing Processed in
そして、PIDフィルタおよび各スイッチが制御されて、バッファ53にバッファリングされたオーディオストリーム#1が、スイッチ61を介してオーディオデコーダ75に供給されてデコードされ、ミキシング処理部97の処理により、バッファ95に保持されているサウンドデータとの合成処理が適宜実行される。すなわち、スイッチ61が制御されて、オーディオストリーム#1がオーディオデコーダ75によりデコードされるようになされているので、オーディオストリーム#1とサウンドデータを合成することが可能となる。
Then, the PID filter and each switch are controlled, and the
そして、合成処理が施された非圧縮のオーディオデータがエンコードされて、圧縮オーディオ信号インターフェース52から外部出力され、ビデオデータ処理部96により処理された非圧縮のビデオデータがエンコードされて、圧縮ビデオ信号インターフェース54から外部に出力される。
Then, the uncompressed audio data subjected to the synthesis process is encoded and output externally from the compressed
ステップS149において、コントローラ34−1は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS149において、次のPlayItemがあると判断された場合、処理は、ステップS135に戻り、それ以降の処理が繰り返される。すなわち、次に読み出されたPlayItemに記載されているフラグの値により、スイッチ61の制御は変更される可能性がある。
In step S149, the controller 34-1 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S149 that there is a next PlayItem, the process returns to step S135, and the subsequent processes are repeated. That is, the control of the
ステップS149において、次のPlayItemがないと判断された場合、ステップS150において、コントローラ34−1は、再生終了であるか否かを判断する。ステップS150において、再生終了ではないと判断された場合、処理は、ステップS133に戻り、それ以降の処理が繰り返される。ステップS150において、再生終了であると判断された場合、処理は、終了される。 If it is determined in step S149 that there is no next PlayItem, in step S150, the controller 34-1 determines whether or not the reproduction is finished. If it is determined in step S150 that the reproduction has not ended, the process returns to step S133, and the subsequent processes are repeated. If it is determined in step S150 that the reproduction has ended, the process ends.
ステップS131において、出力されるのは符号化ストリームではないと判断された場合、ステップS151乃至ステップS160において、図38のステップS24乃至ステップS33と基本的に同様の処理が実行される。 If it is determined in step S131 that the output is not an encoded stream, basically the same processing as steps S24 to S33 in FIG. 38 is executed in steps S151 to S160.
すなわち、出力されるのは符号化ストリームではない場合、オーディオストリーム#1に合成されるサウンドデータがあるか否かにかかわらず、オーディオストリーム#1はデコードされるので、供給されたオーディオストリーム#1がオーディオデコーダ75に供給されるように、スイッチ61が制御される。そして、PlayListの読み出しが指令されたか否かが判断され、読み出しが指令されたと判断された場合、PlayListが読み出されて、PlayListにより指定されるPlayItemが読み出されて対応するClipのデータ(AV Stream)が読み出される。そして、読み出されたデータが対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。そして、PIDフィルタおよび各スイッチが制御され、バッファ53にバッファリングされたオーディオストリーム#1がスイッチ61を介してオーディオデコーダ75に供給されてデコードされ、バッファ95にサウンドデータが供給されて存在する場合は、ミキシング処理部97の処理により、適宜合成処理が実行される。
That is, if the output is not an encoded stream, the
そして、非圧縮オーディオ信号インターフェース51は、ミキシング処理部97から供給された処理済の非圧縮のビデオデータを外部に出力し、非圧縮ビデオ信号インターフェース53は、ビデオデータ処理部96から供給された非圧縮のオーディオデータを外部に出力する。または、D/A変換部43は、非圧縮のオーディオデータをD/A変換し、アナログオーディオ信号インターフェース55は、アナログ信号を外部に出力し、D/A変換部44は、非圧縮のビデオデータをD/A変換し、アナログビデオ信号インターフェース56は、アナログ信号を外部に出力する。
The uncompressed
そして、再生するべき次のPlayItemがあるか否かが判断され、次のPlayItemがあると判断された場合、処理は、ステップS154に戻り、それ以降の処理が繰り返される。次のPlayItemがないと判断された場合、再生終了であるか否かが判断され、再生終了ではないと判断された場合、処理は、ステップS152に戻り、それ以降の処理が繰り返され、再生終了であると判断された場合、処理は、終了される。 Then, it is determined whether or not there is a next PlayItem to be reproduced. If it is determined that there is a next PlayItem, the process returns to Step S154, and the subsequent processes are repeated. If it is determined that there is no next PlayItem, it is determined whether or not the playback has ended. If it is determined that the playback has not ended, the process returns to step S152, the subsequent processing is repeated, and the playback ends. If determined to be, the process is terminated.
このような処理により、再生装置20−1は、PlayItemに記載されているフラグを参照して、このPlayItemにより参照されるデータにサウンドデータが含まれていない場合は、オーディオストリーム#1をデコードせずに圧縮符号化されたデータのまま外部に出力するので、必要以上に音質を劣化させることを防止することができる。また、フラグがPlayItemに記載されているので、サウンドデータが含まれているか否かをPlayItemごとに設定することが可能となるので、オーサリングの自由度が更に増す。
Through such processing, the playback device 20-1 refers to the flag described in the PlayItem, and if the data referred to by the PlayItem does not include sound data, the playback device 20-1 can decode the
なお、この処理においても、処置の最初において、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断し、その後、フラグを参照して、合成処理が実行されるか否かを判断するものとしているが、例えば、まず、フラグを参照して、合成処理が実行されるか否かを判断し、その後、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断するようにしても、判断する処理の順番が異なるだけで、実質的に同様の処理が実行されるのは言うまでもない。 In this process as well, at the beginning of the procedure, it is determined whether the output signal is compression-encoded data or non-compressed data, and then the synthesis process is executed with reference to the flag. For example, first, referring to the flag, it is determined whether or not the synthesis process is executed, and then the output signal is compressed encoded data or uncompressed data. Needless to say, even if it is determined whether it is data or not, only the order of the determination processing is different, and substantially the same processing is executed.
次に、本発明を適用した再生装置20の第2の実施例である、オーディオストリーム#1およびオーディオストリーム#2の2つの音声ストリームの再生が可能な再生装置20−2について説明する。図41は、本発明を適用した再生装置20−2の構成例を示すブロック図である。この再生装置20−2は、上述したメインパスとサブパスを有するPlayListを再生する再生装置20−2である。再生装置20−2は、audio_stream_idで与えられるオーディオストリーム#1に対して、audio_stream_id2で与えられるオーディオストリーム#2とサウンドデータを合成して再生することができる。
Next, a playback device 20-2 that is capable of playing back two audio streams,
なお、図37を用いて説明した再生装置20-1と対応する部分には同一の符号を付してあり、その説明は適宜省略する。 Note that portions corresponding to those of the playback apparatus 20-1 described with reference to FIG.
すなわち、再生装置20−2には、再生装置20-1と同様にして、再生データ取得部31、スイッチ32、オーディオエンコーダ41、ビデオエンコーダ42、D/A変換部43、D/A変換部44、非圧縮オーディオ信号インターフェース51、圧縮オーディオ信号インターフェース52、非圧縮ビデオ信号インターフェース53、圧縮ビデオ信号インターフェース54、アナログオーディオ信号インターフェース55、および、アナログビデオ信号インターフェース56が設けられ、再生装置20-1のAVデコーダ部33−1、およびコントローラ34−1に代わって、AVデコーダ部33−2、およびコントローラ34−2が設けられている。
That is, the playback device 20-2 includes a playback
図41の例の場合も図37を用いて説明した場合と同様にして、コントローラ34−2は、再生データ取得部31を介してIndexファイルを読み出し、発生されるコマンドに基づいて、PlayListファイルを読み出し、PlayListファイルの情報に基づいて、PlayItemを読み出して、対応するClip(AVストリームやAVデータなど)を読み出す。ユーザは、ユーザインターフェースを用いて、コントローラ34−2に対し、音声や字幕などの切り替えの指令を行うことができる。また、コントローラ34−2には、再生装置20の言語設定の初期情報が図示せぬ記憶部などから供給される。
In the case of the example of FIG. 41 as well, as in the case described with reference to FIG. 37, the controller 34-2 reads the Index file via the reproduction
また、コントローラ34−2は、Indexファイル,PlayListファイル(AppInfoPlayList()、PlayList()、または、PlayItem)のうちのいずれかに記載される、オーディオストリーム#1に合成可能なサウンドデータの有無を示すフラグであるis_MixAppまたはis_MixApp_2の値、および、オーディオストリーム#1に合成可能なオーディオストリーム#2有無を示すフラグであるis_MixApp_1を基に、スイッチ61を制御する。
Further, the controller 34-2 indicates the presence / absence of sound data that can be synthesized with the
AVデコーダ部33−2には、AVデコーダ部33−1と同様に、バッファ51乃至54、PIDフィルタ55、PIDフィルタ56、スイッチ57乃至58、スイッチ61、スイッチ102、バックグラウンドデコーダ71、ビデオデコーダ72、プレゼンテーショングラフィックスデコーダ73、インタラクティブグラフィックスデコーダ74、Text-STコンポジション76、スイッチ77、バックグラウンドプレーン生成部91、ビデオプレーン生成部92、プレゼンテーショングラフィックスプレーン生成部93、インタラクティブグラフィックスプレーン生成部94、バッファ95、ビデオデータ処理部96、およびミキシング処理部97が設けられ、スイッチ59に代わってスイッチ101が設けられ、オーディオデコーダ75に代わって、1stオーディオデコーダ75−1が設けられ、新たに、2ndオーディオデコーダ75−2、およびミキシング処理部102が設けられている。
Similarly to the AV decoder unit 33-1, the AV decoder unit 33-2 includes
1stオーディオデコーダ75−1は、オーディオストリーム#1をデコードするためのものであり、2ndオーディオデコーダ75−2は、オーディオストリーム#2をデコードするためのものである。具体的には、図25のSTN_table()において、audio_stream_idで与えられるオーディオストリームをデコードするためのものが1stオーディオデコーダ75−1であり、audio_stream_id2で与えられるオーディオストリームをデコードするためのものが2ndオーディオデコーダ75−2である。
The 1st audio decoder 75-1 is for decoding the
このように、再生装置20−2は、2つのオーディオストリームをデコードするために、2つのオーディオデコーダ(1stオーディオデコーダ75−1、2ndオーディオデコーダ75−2)を有している。 As described above, the playback device 20-2 has two audio decoders (1st audio decoder 75-1 and 2nd audio decoder 75-2) in order to decode two audio streams.
コントローラ34−2により読み出されたファイルデータは、図示せぬ復調、ECC復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ32は、復調され、誤り訂正が施されたデータを、コントローラ34−2からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ51乃至54に供給する。
The file data read by the controller 34-2 is demodulated by a demodulation and ECC decoding unit (not shown), and error correction is performed on the demodulated multiplexed stream. The
また、メインClipおよびサブClipに含まれるAV Streamのストリームの形式や、再生データ取得部31がデータを読み出すときの方法(時分割であっても、プリロードしても良い)は、上述した場合と同様であることは言うまでもない。
Also, the AV Stream stream format included in the main clip and sub-clip, and the method used when the playback
メインClip用リードバッファであるバッファ52から読み出されたストリームデータは、所定のタイミングで、後段のPID(パケットID)フィルタ55へ出力される。このPIDフィルタ55は、入力されたメインClipをPID(パケットID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ55は、ビデオストリームをビデオデコーダ72に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを、スイッチ61と2ndオーディオデコーダ75−2への供給元となるスイッチ101に供給する。
The stream data read from the
ここで、スイッチ61に供給され、圧縮オーディオ信号インターフェース52から出力されるか、または、1stオーディオデコーダ75−1へ入力されるオーディオストリームは、メインClipまたはサブClipのどちらかから分離されたストリームである。また、同様に、2ndオーディオデコーダ75−2へ入力されるオーディオストリームも、メインClipまたはサブClipのどちらかから分離されたストリームである。例えば、メインClipにオーディオストリーム#1とオーディオストリーム#2とが含まれていた場合、PIDフィルタ55は、オーディオストリームのPIDに基づいて、オーディオストリーム#1とオーディオストリーム#2とをフィルタリングし、スイッチ101に供給する。
Here, the audio stream supplied to the
再生装置20−2においては、ビデオデータ、ビットマップ字幕データ、インタラクティブグラフィックスデータに関しては、再生装置20-1と同様にして再生処理を行うようになされている。 In the playback device 20-2, the video data, bitmap subtitle data, and interactive graphics data are played back in the same manner as the playback device 20-1.
スイッチ101は、PIDフィルタ55から供給されたメインClipに含まれるオーディオストリームと、サブClip に含まれるオーディオストリームのうちのいずれか1つを選択し、選択したオーディオストリームを、後段のスイッチ61、または、2ndオーディオデコーダ75−2に供給する。
The
スイッチ101は、例えば、PIDフィルタ55から供給されたオーディオストリーム#1を、スイッチ61に供給するようスイッチを選択し、PIDフィルタ55から供給されたオーディオストリーム#2を、2ndオーディオデコーダ75−2に供給するようスイッチを選択する。
For example, the
スイッチ61は、コントローラ34−2の制御に基づいて、供給されたオーディオデータを、1stオーディオデコーダ75−1または圧縮オーディオ信号インターフェース52のいずれか一方に供給する
The
1stオーディオデコーダ75−1は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部102に供給する。また、2ndオーディオデコーダ75−2は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部102に供給する。
The 1st audio decoder 75-1 decodes the audio stream and supplies the decoded audio stream data to the mixing
ここで、オーディオストリーム#1とオーディオストリーム#2とを重畳して再生するような場合(ユーザにより再生するオーディオストリームとして、2つのオーディオストリームが選択された場合)、1stオーディオデコーダ75−1によりデコードされたオーディオストリーム#1と、2ndオーディオデコーダ75−2によりデコードされたオーディオストリーム#2とが、ミキシング処理部102に供給される。
Here, when
ミキシング処理部102は、1stオーディオデコーダ75−1からのオーディオデータと、2ndオーディオデコーダ75−2からのオーディオデータとをミキシング(重畳)し、後段のミキシング処理部97に出力する。なお、本実施の形態においては、1stオーディオデコーダ75−1から出力されるオーディオデータと2ndオーディオデコーダ75−2から出力されるオーディオデータとをミキシング(重畳)することを、合成するとも称する。すなわち、合成とは、2つのオーディオデータを、ミキシングすることも示すものとする。
The mixing
また、スイッチ32により選択されたサウンドデータは、バッファ95に供給され、バッファリングされる。バッファ95は、所定のタイミングでサウンドデータをミキシング処理部97に供給する。サウンドデータは、この場合、メニュー選択などによる効果音のデータなど、ストリームとは独立して存在する音声データである。ミキシング処理部97は、ミキシング処理部102によりミキシングされたオーディオデータ(1stオーディオデコーダ75−1から出力されたオーディオデータと2ndオーディオデコーダ75−2から出力されたオーディオデータとがミキシングされたオーディオデータ)と、バッファ95から供給されてきたサウンドデータをミキシング(重畳、または合成)し、音声信号として出力する。
The sound data selected by the
次に、図42のフローチャートを参照して、オーディオストリーム#1に合成される他の音声データがあるか否かを示すフラグがIndexファイルのIndexes()に記載されているデータを再生装置20-2が再生する場合に実行される、再生処理4について説明する。
Next, referring to the flowchart of FIG. 42, the
ステップS201において、コントローラ34−2は、再生装置20−2から出力されるのは符号化ストリームであるか否かを判断する。ステップS201において、再生装置20−2から出力されるのは符号化ストリームではないと判断された場合、処理は、後述するステップS224に進む。 In step S201, the controller 34-2 determines whether or not it is an encoded stream that is output from the playback device 20-2. If it is determined in step S201 that the output from the playback device 20-2 is not an encoded stream, the process proceeds to step S224 described later.
ステップS201において、再生装置20−2から出力されるのは符号化ストリームであると判断された場合、ステップS202において、コントローラ34−2は、スイッチ32から供給されるIndexファイルを読み取る。
If it is determined in step S201 that the encoded stream is output from the playback device 20-2, the controller 34-2 reads the index file supplied from the
ステップS203において、コントローラ34−2は、Indexファイルのindexes()に記載されている、メインのオーディオストリームであるオーディオストリーム#1に合成されるデータが存在することを示すフラグのうちのいずれかが1となっているか否か、具体的には、サウンドデータが存在することを示すフラグis_MixAppまたはis_MixApp_2、もしくは、オーディオストリーム#2が存在することを示すフラグis_MixApp_1のうちのいずれかが1となっているか否かを判断する。
In step S <b> 203, the controller 34-2 selects one of the flags described in the indexes file indexes () indicating that there is data to be combined with the
audio_stream_idで与えられるオーディオストリーム#1に加えて、audio_stream_id2で与えられるオーディオストリーム#2も存在しているコンテンツには、サウンドデータが存在するか否かを示すフラグであるis_MixApp_2に加えて、オーディオストリーム#2が存在するか否かを示すフラグであるis_MixApp_1が記載されている。再生装置20−2は、audio_stream_id2で与えられるオーディオストリーム#2を再生する機能を有しているので、ステップS203において、is_MixAppまたはis_MixApp_2で示されるフラグの値のみならず、is_MixApp_1で示されるフラグの値を参照するようになされている。
In addition to the
ステップS203において、いずれかのフラグが1となっていると判断された場合、処理は、後述するステップS214に進む。 If it is determined in step S203 that one of the flags is 1, the process proceeds to step S214 described later.
ステップS203において、いずれのフラグも1ではないと判断された場合、このIndexファイルに関連するデータには、再生装置20−2においてオーディオストリーム#1に合成することが可能なサウンドデータおよびオーディオストリーム#2が含まれていないので、ステップS204において、コントローラ34−2は、このIndexファイルに関連するオーディオデータを圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52に供給するように、スイッチ61を制御する。
If it is determined in step S203 that none of the flags is 1, sound data and audio stream # that can be combined with
ステップS205において、コントローラ34−2は、例えば、ユーザの操作入力などによって発生されるコマンドにより、Playlistファイル(例えば、図13の×××××.mpls)の読み出しが指令されたか否かを判断する。ステップS205において、Playlistファイルの読み出しが指令されていないと判断された場合、Playlistファイルの読み出しが指令されたと判断されるまで、ステップS205の処理が繰り返される。 In step S205, the controller 34-2 determines whether or not reading of the playlist file (for example, xxxxxx.mpls in FIG. 13) is instructed by a command generated by, for example, a user operation input. To do. If it is determined in step S205 that reading of the playlist file is not instructed, the processing in step S205 is repeated until it is determined that reading of the playlist file is instructed.
ステップS205において、Playlistファイルの読み出しが指令されたと判断された場合、ステップS206において、コントローラ34−2は、スイッチ32から供給されるPlaylistファイルを読み出す。
If it is determined in step S205 that reading of the playlist file has been instructed, the controller 34-2 reads the playlist file supplied from the
ステップS207において、コントローラ34−2は、そのPlayListファイルに記載されているPlayList(図13のPlylist())により指定されるPlayItemを読み出し、対応するメインClip AV Stream、サブClip AV Stream、およびテキストサブタイトルデータを読み出してスイッチ32に供給する。
In step S207, the controller 34-2 reads the PlayItem specified by the PlayList (Plylist () in FIG. 13) described in the PlayList file, and the corresponding main Clip AV Stream, sub Clip AV Stream, and text subtitle. Data is read and supplied to the
ステップS208において、コントローラ34−2は、読み出したデータを対応するバッファに供給してバッファリングする。具体的には、コントローラ34−2は、バックグラウンドイメージデータをバッファ51に供給し、メインClip AV Streamのデータをバッファ52に供給し、サブClip AV Streamのデータをバッファ53に供給し、Text-STのデータをバッファ54に供給するようスイッチ32を切り替える。そして、バッファ51乃至54は、供給されたデータをそれぞれバッファリングする。具体的には、バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClip AV Streamのデータをバッファリングし、バッファ53は、サブClip AV Streamのデータをバッファリングし、バッファ54は、Text-STデータをバッファリングする。
In step S208, the controller 34-2 supplies the read data to the corresponding buffer for buffering. Specifically, the controller 34-2 supplies the background image data to the
ステップS209において、コントローラ34−2は、PIDフィルタ55、56およびスイッチ67乃至59を制御し、映像系データを所定のデコーダでデコードし、ビデオデータ処理部96にて処理する。
In step S209, the controller 34-2 controls the PID filters 55 and 56 and the switches 67 to 59, decodes the video data with a predetermined decoder, and processes it with the video
ステップS210において、ビデオエンコーダ42は、ビデオデータ処理部96から供給された処理済のビデオデータをエンコードする。
In step S <b> 210, the
ステップS211において、圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52は、スイッチ61から出力される符号化オーディオデータであるオーディオストリーム#1を外部に出力し、圧縮符号化ビデオ信号の出力端子である圧縮ビデオ信号インターフェース54は、エンコードされた符号化ビデオデータを外部に出力する。
In step S211, the compressed
すなわち、ステップS211において圧縮オーディオ信号インターフェース52から出力される圧縮符号化オーディオデータは、再生装置20−2のAVデコーダ部33−2において、復号処理が施されていないため、音質が劣化していない。
In other words, the compressed encoded audio data output from the compressed
ステップS212において、コントローラ34−2は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS212において、次のPlayItemがあると判断された場合、処理は、ステップS207に戻り、それ以降の処理が繰り返される。 In step S212, the controller 34-2 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S212 that there is a next PlayItem, the process returns to step S207, and the subsequent processes are repeated.
ステップS212において、次のPlayItemがないと判断された場合、ステップS213において、コントローラ34−2は、再生終了であるか否かを判断する。ステップS213において、再生終了ではないと判断された場合、処理は、ステップS205に戻り、それ以降の処理が繰り返される。ステップS213において、再生終了であると判断された場合、処理は、終了される。 When it is determined in step S212 that there is no next PlayItem, in step S213, the controller 34-2 determines whether or not the reproduction is finished. If it is determined in step S213 that the reproduction has not ended, the process returns to step S205, and the subsequent processes are repeated. If it is determined in step S213 that the reproduction has ended, the process ends.
ステップS203において、いずれかのフラグが1となっていると判断された場合、このIndexファイルに関連するデータには、再生装置20−2においてオーディオストリーム#1に合成することが可能なサウンドデータまたはオーディオストリーム#2のうちの少なくとも一方が含まれているので、ステップS214において、コントローラ34−2は、このIndexファイルに関連するオーディオストリーム#1を1stオーディオデコーダ75−1に供給するように、スイッチ61を制御する。
If it is determined in step S203 that one of the flags is 1, sound data that can be combined with the
ステップS215乃至ステップS219において、ステップS205乃至ステップS209と基本的に同様の処理が実行される。すなわち、PlayListファイルの読み出しが指令されたか否かが判断され、読み出しが指令されたと判断された場合、PlayListファイルが読み出されて、そのPlayListファイルに含まれるPlayListにより指定されるPlayItemが読み出される。そして、読み出されたPlayItemに対応するClipのデータ(AV Stream)が対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。
In steps S215 to S219, basically the same processing as in steps S205 to S209 is executed. That is, it is determined whether or not the reading of the PlayList file has been commanded. If it is determined that the reading has been commanded, the PlayList file is read and the PlayItem specified by the PlayList included in the PlayList file is read. Then, the clip data (AV Stream) corresponding to the read PlayItem is supplied to the corresponding buffer and buffered, the PID filter and each switch are controlled, and the buffered video data is respectively set to the predetermined buffer. The data is decoded by the decoder and processed by the video
ステップS220において、コントローラ34−2は、PIDフィルタおよび各スイッチを制御し、バッファ53にバッファリングされたオーディオストリーム#1を、スイッチ101およびスイッチ61を介して1stオーディオデコーダ75−1に供給してデコードさせ、バッファ53にバッファリングされたオーディオストリーム#2を、スイッチ101を介して2ndオーディオデコーダ75−2に供給してデコードさせ、ミキシング処理部102を制御して、1stオーディオデコーダ75−1および2ndオーディオデコーダ75−2においてデコードされたオーディオストリームの合成処理を適宜実行させ、ミキシング処理部97を制御して、ミキシング処理部102により合成されたオーディオストリームとバッファ95に保持されているサウンドデータとの合成処理を適宜実行させる。
In step S220, the controller 34-2 controls the PID filter and each switch, and supplies the
すなわち、スイッチ61が制御されて、オーディオストリーム#1がオーディオデコーダ75によりデコードされるようになされているので、オーディオストリーム#1とオーディオストリーム#2やサウンドデータを合成することが可能となる。
That is, since the
ステップS221において、オーディオエンコーダ41は、合成処理が施された非圧縮のオーディオデータをエンコードし、圧縮オーディオ信号インターフェース52に供給して外部出力させ、ビデオエンコーダ42はビデオデータ処理部96により処理された非圧縮のビデオデータをエンコードして、圧縮ビデオ信号インターフェース54に供給して外部に出力させる。
In step S <b> 221, the
ステップS222において、コントローラ34−2は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS222において、次のPlayItemがあると判断された場合、処理は、ステップS217に戻り、それ以降の処理が繰り返される。 In step S222, the controller 34-2 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S222 that there is a next PlayItem, the process returns to step S217, and the subsequent processes are repeated.
ステップS222において、次のPlayItemがないと判断された場合、ステップS223において、コントローラ34−2は、再生終了であるか否かを判断する。ステップS223において、再生終了ではないと判断された場合、処理は、ステップS215に戻り、それ以降の処理が繰り返される。ステップS223において、再生終了であると判断された場合、処理は、終了される。 When it is determined in step S222 that there is no next PlayItem, in step S223, the controller 34-2 determines whether or not the reproduction is finished. If it is determined in step S223 that the reproduction has not ended, the process returns to step S215, and the subsequent processes are repeated. If it is determined in step S223 that the reproduction has ended, the process ends.
ステップS201において、出力されるのは符号化ストリームではないと判断された場合、ステップS224において、コントローラ34−2は、供給されたオーディオストリーム#1をオーディオデコーダ75に供給するように、スイッチ61を制御する。
If it is determined in step S201 that the output is not an encoded stream, in step S224, the controller 34-2 sets the
すなわち、出力されるのは符号化ストリームではない場合、オーディオストリーム#1に合成されるサウンドデータがあるか否かにかかわらず、オーディオストリーム#1はデコードされる。
That is, when it is not an encoded stream that is output, the
ステップS225乃至ステップS230において、ステップS215乃至ステップS220と基本的に同様の処理が実行される。すなわち、PlayListファイルの読み出しが指令されたか否かが判断され、読み出しが指令されたと判断された場合、PlayListファイルが読み出されて、そのPlayListファイルに含まれるPlayListにより指定されるPlayItemが読み出される。そして、読み出されたPlayItemに対応するClipのデータ(AV Stream)が対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。そして、PIDフィルタおよび各スイッチが制御され、バッファ53にバッファリングされたオーディオストリーム#1がスイッチ101およびスイッチ61を介して1stオーディオデコーダ75−1に供給されてデコードされ、オーディオストリーム#2がスイッチ101を介して2ndオーディオデコーダ75−2に供給されてデコードされ、ミキシング処理部102を制御して、1stオーディオデコーダ75−1および2ndオーディオデコーダ75−2においてデコードされたオーディオストリームが適宜合成され、ミキシング処理部97を制御して、ミキシング処理部102により合成されたオーディオストリームとバッファ95に保持されているサウンドデータとが適宜合成される。
In steps S225 to S230, basically the same processing as in steps S215 to S220 is executed. That is, it is determined whether or not the reading of the PlayList file has been commanded. If it is determined that the reading has been commanded, the PlayList file is read and the PlayItem specified by the PlayList included in the PlayList file is read. Then, the clip data (AV Stream) corresponding to the read PlayItem is supplied to the corresponding buffer and buffered, the PID filter and each switch are controlled, and the buffered video data is respectively set to the predetermined buffer. The data is decoded by the decoder and processed by the video
ステップS231において、非圧縮オーディオ信号インターフェース51は、ミキシング処理部97から供給された処理済の非圧縮のビデオデータを外部に出力し、非圧縮ビデオ信号インターフェース53は、ビデオデータ処理部96から供給された非圧縮のオーディオデータを外部に出力する。または、D/A変換部43は、非圧縮のオーディオデータをD/A変換し、アナログオーディオ信号インターフェース55は、アナログ信号を外部に出力し、D/A変換部44は、非圧縮のビデオデータをD/A変換し、アナログビデオ信号インターフェース56は、アナログ信号を外部に出力する。
In step S231, the uncompressed
ステップS232において、コントローラ34−2は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS232において、次のPlayItemがあると判断された場合、処理は、ステップS227に戻り、それ以降の処理が繰り返される。 In step S232, the controller 34-2 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S232 that there is a next PlayItem, the process returns to step S227, and the subsequent processes are repeated.
ステップS232において、次のPlayItemがないと判断された場合、ステップS233において、コントローラ34−2は、再生終了であるか否かを判断する。ステップS233において、再生終了ではないと判断された場合、処理は、ステップS225に戻り、それ以降の処理が繰り返される。ステップS233において、再生終了であると判断された場合、処理は、終了される。 When it is determined in step S232 that there is no next PlayItem, in step S233, the controller 34-2 determines whether or not the reproduction is finished. If it is determined in step S233 that reproduction has not ended, the processing returns to step S225, and the subsequent processing is repeated. If it is determined in step S233 that the reproduction has ended, the process ends.
このような処理により、再生装置20−2は、IndexファイルのIndexes()に記載されているフラグを参照して、このIndexes()により参照されるデータにサウンドデータまたはオーディオストリーム#2がいずれも含まれていない場合には、オーディオストリーム#1をデコードせずに圧縮符号化されたデータのまま外部に出力するので、必要以上に音質を劣化させることを防止することができる。
Through such processing, the playback device 20-2 refers to the flag described in Indexes () of the Index file, and the sound data or the
なお、この処理においても、処置の最初において、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断し、その後、フラグを参照して、合成処理が実行されるか否かを判断するものとしているが、例えば、まず、フラグを参照して、合成処理が実行されるか否かを判断し、その後、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断するようにしても、判断する処理の順番が異なるだけで、実質的に同様の処理が実行されるのは言うまでもない。 In this process as well, at the beginning of the procedure, it is determined whether the output signal is compression-encoded data or non-compressed data, and then the synthesis process is executed with reference to the flag. For example, first, referring to the flag, it is determined whether or not the synthesis process is executed, and then the output signal is compressed encoded data or uncompressed data. Needless to say, even if it is determined whether it is data or not, only the order of the determination processing is different, and substantially the same processing is executed.
次に、図43のフローチャートを参照して、再生装置20-2において、オーディオストリーム#1に合成される他の音声データがあるか否かを示すフラグがPlayListファイルに記載されているデータが再生される場合に実行される、再生処理5について説明する。
Next, referring to the flowchart of FIG. 43, the playback device 20-2 plays back data in which a flag indicating whether or not there is other audio data to be combined with the
ステップS261において、コントローラ34−2は、再生装置20−2から出力されるのは符号化ストリームであるか否かを判断する。ステップS261において、再生装置20−2から出力されるのは符号化ストリームではないと判断された場合、処理は、後述するステップS282に進む。 In step S261, the controller 34-2 determines whether or not it is an encoded stream that is output from the playback device 20-2. If it is determined in step S261 that it is not an encoded stream that is output from the playback device 20-2, the processing proceeds to step S282 described later.
ステップS261において、再生装置20−2から出力されるのは符号化ストリームであると判断された場合、ステップS262において、コントローラ34−2は、スイッチ32から供給されるIndexファイルを読み取る。
In step S261, when it is determined that the encoded stream is output from the playback device 20-2, the controller 34-2 reads the index file supplied from the
ステップS263において、コントローラ34−2は、例えば、ユーザの操作入力などによって発生されるコマンドにより、Playlistファイル(例えば、図13の×××××.mpls)の読み出しが指令されたか否かを判断する。ステップS263において、Playlistファイルの読み出しが指令されていないと判断された場合、Playlistファイルの読み出しが指令されたと判断されるまで、ステップS263の処理が繰り返される。 In step S263, the controller 34-2 determines whether or not the playlist file (for example, xxxxxx.mpls in FIG. 13) is instructed by a command generated by a user operation input or the like. To do. If it is determined in step S263 that reading of the playlist file is not instructed, the process of step S263 is repeated until it is determined that reading of the playlist file is instructed.
ステップS263において、Playlistファイルの読み出しが指令されたと判断された場合、ステップS264において、コントローラ34−2は、スイッチ32から供給されるPlaylistファイルを読み出す。
If it is determined in step S263 that reading of the playlist file is instructed, the controller 34-2 reads the playlist file supplied from the
ステップS265において、コントローラ34−2は、Playlistファイルに記載されている、すなわち、AppInfoPlayList()またはPlayList()に記載されている、メインのオーディオストリームであるオーディオストリーム#1に合成されるデータが存在することを示すフラグのうちのいずれかが1となっているか否か、具体的には、サウンドデータ(もしくは、オーディオストリーム#2)が存在することを示すフラグis_MixApp、または、サウンドデータが存在することを示すフラグis_MixApp_2、もしくは、オーディオストリーム#2が存在することを示すフラグis_MixApp_1のうちのいずれかが1となっているか否かを判断する。
In step S265, the controller 34-2 has data to be synthesized with the
audio_stream_idで与えられるオーディオストリーム#1に加えて、audio_stream_id2で与えられるオーディオストリーム#2も存在しているコンテンツには、サウンドデータが存在するか否かを示すフラグであるis_MixApp_2に加えて、オーディオストリーム#2が存在するか否かを示すフラグであるis_MixApp_1が記載されている。再生装置20−2は、audio_stream_id2で与えられるオーディオストリーム#2を再生する機能を有しているので、ステップS265において、is_MixApp_2で示されるフラグの値のみならず、is_MixApp_1で示されるフラグの値を参照するようになされている。
In addition to the
ステップS265において、いずれかのフラグが1となっていると判断された場合、処理は、後述するステップS274に進む。 If it is determined in step S265 that one of the flags is 1, the process proceeds to step S274 described later.
ステップS265において、いずれのフラグも1ではないと判断された場合、このPlayListファイルに関連するデータには、再生装置20−2においてオーディオストリーム#1に合成することが可能なサウンドデータおよびオーディオストリーム#2が含まれていないので、ステップS266において、コントローラ34−2は、このPlayListファイルに関連するオーディオデータを圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52に供給するように、スイッチ61を制御する。
If it is determined in step S265 that none of the flags is 1, the data related to this PlayList file includes sound data and audio stream # that can be combined with
ステップS267乃至ステップS271において、図42のステップS207乃至ステップS211と同様の処理が実行される。すなわち、PlayListにより指定されるPlayItemが読み出されて、対応するメインClipまたはサブClipに含まれるストリームデータ、およびテキストサブタイトルデータが読み出されてスイッチ32に供給される。読み出されたデータは対応するバッファに供給されてバッファリングされ、PIDフィルタ55、56およびスイッチ67乃至59が制御されて、映像系データが所定のデコーダでデコードされて、ビデオデータ処理部96にて処理され、処理済のビデオデータがエンコードされる。
In steps S267 through S271, the same processing as in steps S207 through S211 in FIG. 42 is executed. That is, the PlayItem specified by the PlayList is read, and the stream data and text subtitle data included in the corresponding main clip or sub clip are read and supplied to the
そして、圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52から、スイッチ61から出力される符号化オーディオデータであるオーディオストリーム#1が外部に出力され、圧縮符号化ビデオ信号の出力端子である圧縮ビデオ信号インターフェース54から、エンコードされた符号化ビデオデータが外部に出力される。
An
すなわち、ステップS271において圧縮オーディオ信号インターフェース52から出力される圧縮符号化オーディオデータは、再生装置20−2のAVデコーダ部33−2において、復号処理が施されていないため、音質が劣化していない。
That is, the compressed encoded audio data output from the compressed
ステップS272において、コントローラ34−2は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS272において、次のPlayItemがあると判断された場合、処理は、ステップS267に戻り、それ以降の処理が繰り返される。 In step S272, the controller 34-2 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S272 that there is a next PlayItem, the process returns to step S267, and the subsequent processes are repeated.
ステップS272において、次のPlayItemがないと判断された場合、ステップS273において、コントローラ34−2は、再生終了であるか否かを判断する。ステップS273において、再生終了ではないと判断された場合、処理は、ステップS263に戻り、それ以降の処理が繰り返される。すなわち、次に読み出されるPlayListファイルに記載されているフラグによって、スイッチ61の制御が変更される可能性がある。ステップS273において、再生終了であると判断された場合、処理は、終了される。
When it is determined in step S272 that there is no next PlayItem, in step S273, the controller 34-2 determines whether or not the reproduction is finished. If it is determined in step S273 that reproduction has not ended, the process returns to step S263, and the subsequent processes are repeated. That is, the control of the
ステップS265において、いずれかのフラグが1となっていると判断された場合、このPlayListファイルに関連するデータには、再生装置20−2においてオーディオストリーム#1に合成することが可能なサウンドデータまたはオーディオストリーム#2のうちの少なくとも一方が含まれているので、ステップS274において、コントローラ34−2は、このPlayListファイルに関連するオーディオストリーム#1を1stオーディオデコーダ75−1に供給するように、スイッチ61を制御する。
If it is determined in step S265 that one of the flags is 1, sound data that can be combined with the
ステップS275乃至ステップS279において、図42のステップS217乃至ステップS221と基本的に同様の処理が実行される。すなわち、PlayListにより指定されるPlayItemが読み出され、読み出されたPlayItemを基に、所定のClipに含まれるデータが対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。
In steps S275 to S279, basically the same processing as in steps S217 to S221 of FIG. 42 is executed. That is, the PlayItem specified by the PlayList is read out, and based on the read PlayItem, the data included in the predetermined Clip is supplied to the corresponding buffer and buffered, and the PID filter and each switch are controlled. The buffered video data is decoded by a predetermined decoder and processed by the video
そして、PIDフィルタおよび各スイッチが制御されて、バッファ53にバッファリングされたオーディオストリーム#1が、スイッチ101およびスイッチ61を介して1stオーディオデコーダ75−1に供給されてデコードされ、バッファ53にバッファリングされたオーディオストリーム#2が、スイッチ101を介して2ndオーディオデコーダ75−2に供給されてデコードされ、ミキシング処理部102が制御されて、1stオーディオデコーダ75−1および2ndオーディオデコーダ75−2においてデコードされたオーディオストリームの合成処理が適宜実行され、ミキシング処理部97が制御されて、ミキシング処理部102により合成されたオーディオストリームとバッファ95に保持されているサウンドデータとの合成処理が適宜実行される。
Then, the PID filter and each switch are controlled, and the
すなわち、スイッチ61が制御されて、オーディオストリーム#1がオーディオデコーダ75によりデコードされるようになされているので、オーディオストリーム#1とオーディオストリーム#2やサウンドデータを合成することが可能となる。
That is, since the
そして、オーディオエンコーダ41により、合成処理が施された非圧縮のオーディオデータがエンコードされて、圧縮オーディオ信号インターフェース52から外部出力されるとともに、ビデオエンコーダ42によりビデオデータ処理部96により処理された非圧縮のビデオデータがエンコードされて、圧縮ビデオ信号インターフェース54から外部に出力される。
The
ステップS280において、コントローラ34−2は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS280において、次のPlayItemがあると判断された場合、処理は、ステップS275に戻り、それ以降の処理が繰り返される。 In step S280, the controller 34-2 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S280 that there is a next PlayItem, the process returns to step S275, and the subsequent processes are repeated.
ステップS280において、次のPlayItemがないと判断された場合、ステップS281において、コントローラ34−2は、再生終了であるか否かを判断する。ステップS281において、再生終了ではないと判断された場合、処理は、ステップS263に戻り、それ以降の処理が繰り返される。すなわち、次に読み出されるPlayListファイルに記載されているフラグによって、スイッチ61の制御が変更される可能性がある。ステップS281において、再生終了であると判断された場合、処理は、終了される。
When it is determined in step S280 that there is no next PlayItem, in step S281, the controller 34-2 determines whether or not the reproduction is finished. If it is determined in step S281 that the reproduction has not ended, the process returns to step S263, and the subsequent processes are repeated. That is, the control of the
ステップS261において、出力されるのは符号化ストリームではないと判断された場合、ステップS282乃至ステップS291において、図42のステップS224乃至ステップS233と基本的に同様の処理が実行される。 If it is determined in step S261 that the output is not an encoded stream, basically the same processing as in steps S224 to S233 of FIG. 42 is executed in steps S282 to S291.
すなわち、出力されるのは符号化ストリームではない場合、オーディオストリーム#1に合成されるサウンドデータがあるか否かにかかわらず、オーディオストリーム#1はデコードされる。
That is, when it is not an encoded stream that is output, the
具体的には、PlayListファイルの読み出しが指令されたか否かが判断され、読み出しが指令されたと判断された場合、PlayListファイルが読み出されて、そのPlayListファイルに記載されているPlayListにより指定されるPlayItemが読み出される。そして、読み出されたPlayItemに対応するClipのデータ(AV Stream)が対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。そして、PIDフィルタおよび各スイッチが制御され、バッファ53にバッファリングされたオーディオストリーム#1がスイッチ101およびスイッチ61を介して1stオーディオデコーダ75−1に供給されてデコードされ、オーディオストリーム#2がスイッチ101を介して2ndオーディオデコーダ75−2に供給されてデコードされ、ミキシング処理部102を制御して、1stオーディオデコーダ75−1および2ndオーディオデコーダ75−2においてデコードされたオーディオストリームが適宜合成され、ミキシング処理部97を制御して、ミキシング処理部102により合成されたオーディオストリームとバッファ95に保持されているサウンドデータとが適宜合成される。そして、ミキシング処理部97から供給された処理済の非圧縮のオーディオデータがそのまま、または、必要に応じてD/A変換されて外部に出力され、ビデオデータ処理部96から供給された非圧縮のビデオデータがそのまま、または、必要に応じてD/A変換されて外部に出力される。
Specifically, it is determined whether or not reading of the PlayList file is instructed. When it is determined that reading is instructed, the PlayList file is read out and designated by the PlayList described in the PlayList file. PlayItem is read. Then, the clip data (AV Stream) corresponding to the read PlayItem is supplied to the corresponding buffer and buffered, the PID filter and each switch are controlled, and the buffered video data is respectively set to the predetermined buffer. The data is decoded by the decoder and processed by the video
そして、PlayListが参照されて、再生するべき次のPlayItemがあるか否かが判断され、次のPlayItemがあると判断された場合、処理は、ステップS285に戻り、それ以降の処理が繰り返される。次のPlayItemがないと判断された場合、再生終了であるか否かが判断されて、再生終了ではないと判断された場合、処理は、ステップS283に戻り、それ以降の処理が繰り返される。再生終了であると判断された場合、処理は、終了される。 Then, with reference to the PlayList, it is determined whether there is a next PlayItem to be reproduced. If it is determined that there is a next PlayItem, the process returns to Step S285, and the subsequent processes are repeated. If it is determined that there is no next PlayItem, it is determined whether or not the playback has ended. If it is determined that the playback has not ended, the process returns to step S283, and the subsequent processing is repeated. If it is determined that the reproduction has ended, the process ends.
このような処理により、再生装置20−2は、PlayListファイルに記載されているフラグを参照して、このPlayListファイルにより参照されるデータにサウンドデータまたはオーディオストリーム#2がいずれも含まれていない場合には、オーディオストリーム#1をデコードせずに圧縮符号化されたデータのまま外部に出力するので、必要以上に音質を劣化させることを防止することができる。
By such processing, the playback device 20-2 refers to the flag described in the PlayList file and the data referred to by the PlayList file does not include any sound data or
また、サウンドデータとして提供される音声データのうち、例えば、ボタンのクリック音等は、ユーザの操作に従って発生する効果音であり、この場合には、オーディオストリーム#1と合成するか、合成をしなくとも良いかは不明である。従って、上述した再生処理のフローでは、サウンドデータまたはオーディオストリームが存在するか否かを表すフラグとして、is_MixApp、is_MixApp_1、is_MixApp_2を説明したが、フラグが示すデータは合成のためにデコードする可能性が無いことを示すフラグであればよい。すなわち、フラグが1の場合であっても、必ずしも合成処理が発生するとは限らず、合成処理が発生しない場合もありえる。ただし、合成処理が発生し得ない場合にフラグが0にセットされる。また、Indexes()は、PlayListファイルを複数指定することができるため、フラグをPlaylistに記載することにより、サウンドデータが含まれているか否かをPlayListごとに設定することが可能となるので、Indexes()にフラグ情報を記載するよりも柔軟に制御の設定が可能となるとともに、オーサリングの自由度が増す。
Of the audio data provided as sound data, for example, a button click sound or the like is a sound effect generated in accordance with a user operation. In this case, the sound is synthesized with
なお、この処理においても、処置の最初において、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断し、その後、フラグを参照して、合成処理が実行されるか否かを判断するものとしているが、例えば、まず、フラグを参照して、合成処理が実行されるか否かを判断し、その後、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断するようにしても、判断する処理の順番が異なるだけで、実質的に同様の処理が実行されるのは言うまでもない。 In this process as well, at the beginning of the procedure, it is determined whether the output signal is compression-encoded data or non-compressed data, and then the synthesis process is executed with reference to the flag. For example, first, referring to the flag, it is determined whether or not the synthesis process is executed, and then the output signal is compressed encoded data or uncompressed data. Needless to say, even if it is determined whether it is data or not, only the order of the determination processing is different, and substantially the same processing is executed.
次に、図44のフローチャートを参照して、オーディオストリーム#1に合成される他の音声データがあるか否かを示すフラグがPlayItemに記載されているデータを再生装置20-2が再生する場合に実行される、再生処理6について説明する。
Next, referring to the flowchart of FIG. 44, when the playback device 20-2 plays back data in which a flag indicating whether or not there is other audio data to be synthesized with the
ステップS331において、コントローラ34−2は、再生装置20−2から出力されるのは符号化ストリームであるか否かを判断する。ステップS331において、再生装置20−2から出力されるのは符号化ストリームではないと判断された場合、処理は、後述するステップS351に進む。 In step S331, the controller 34-2 determines whether or not it is an encoded stream that is output from the playback device 20-2. If it is determined in step S331 that the output from the playback device 20-2 is not an encoded stream, the process proceeds to step S351 described later.
ステップS331において、再生装置20−2から出力されるのは符号化ストリームであると判断された場合、ステップS332において、コントローラ34−2は、スイッチ32から供給されるIndexファイルを読み取る。
If it is determined in step S331 that it is an encoded stream that is output from the playback device 20-2, the controller 34-2 reads the index file supplied from the
ステップS333において、コントローラ34−2は、例えば、ユーザの操作入力などによって発生されるコマンドにより、Playlistファイル(例えば、図13の×××××.mpls)の読み出しが指令されたか否かを判断する。ステップS333において、Playlistファイルの読み出しが指令されていないと判断された場合、Playlistファイルの読み出しが指令されたと判断されるまで、ステップS333の処理が繰り返される。 In step S333, the controller 34-2 determines whether or not the playlist file (for example, xxxxxx.mpls in FIG. 13) is instructed by a command generated by a user operation input, for example. To do. If it is determined in step S333 that reading of the playlist file is not instructed, the process of step S333 is repeated until it is determined that reading of the playlist file is instructed.
ステップS333において、Playlistファイルの読み出しが指令されたと判断された場合、ステップS334において、コントローラ34−2は、スイッチ32から供給されるPlaylistファイルを読み出す。
If it is determined in step S333 that reading of the playlist file is instructed, the controller 34-2 reads the playlist file supplied from the
ステップS335において、コントローラ34−2は、そのPlayListファイルに記載されているPlayList(図13のPlylist())により指定されるPlayItemを読み出し、対応するメインClip AV Stream、サブClip AV Stream、およびテキストサブタイトルデータが読み出されてスイッチ32に供給する。
In step S335, the controller 34-2 reads the PlayItem specified by the PlayList (Plylist () in FIG. 13) described in the PlayList file, and the corresponding main Clip AV Stream, sub Clip AV Stream, and text subtitle. Data is read and supplied to the
ステップS336において、コントローラ34−2は、PlayItemに記載されている、メインのオーディオストリームであるオーディオストリーム#1に合成されるデータが存在することを示すフラグのうちのいずれかが1となっているか否か、具体的には、サウンドデータが存在することを示すフラグis_MixAppまたはis_MixApp_2、もしくは、オーディオストリーム#2が存在することを示すフラグis_MixApp_1のうちのいずれかが1となっているか否かを判断する。
In step S336, the controller 34-2 indicates that one of the flags described in PlayItem indicating that there is data to be synthesized with the
audio_stream_idで与えられるオーディオストリーム#1に加えて、audio_stream_id2で与えられるオーディオストリーム#2も存在しているコンテンツには、サウンドデータが存在するか否かを示すフラグであるis_MixApp_2に加えて、オーディオストリーム#2が存在するか否かを示すフラグであるis_MixApp_1が記載されている。再生装置20−2は、audio_stream_id2で与えられるオーディオストリーム#2を再生する機能を有しているので、ステップS265において、is_MixAppまたはis_MixApp_2で示されるフラグの値のみならず、is_MixApp_1で示されるフラグの値を参照するようになされている。
In addition to the
ステップS336において、いずれかのフラグが1となっていると判断された場合、処理は、後述するステップS344に進む。 If it is determined in step S336 that any of the flags is 1, the process proceeds to step S344 described later.
ステップS336において、いずれのフラグも1ではないと判断された場合、このPlayItemに関連するオーディオデータには、再生装置20−2においてオーディオストリーム#1に合成することが可能なサウンドデータおよびオーディオストリーム#2が含まれていないので、ステップS337において、コントローラ34−2は、このPlayItemに関連するオーディオデータを圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52に供給するように、スイッチ61を制御する。
If it is determined in step S336 that none of the flags is 1, the audio data associated with this PlayItem includes sound data and audio stream # that can be combined with the
ステップS338乃至ステップS341において、図42のステップS208乃至ステップS211と同様の処理が実行される。すなわち、読み出されたデータが対応するバッファに供給されてバッファリングされ、PIDフィルタ55、56およびスイッチ67乃至59が制御されて、映像系データが所定のデコーダでデコードされて、ビデオデータ処理部96にて処理され、処理済のビデオデータがエンコードされる。 In steps S338 to S341, processing similar to that in steps S208 to S211 in FIG. 42 is executed. That is, the read data is supplied to the corresponding buffer and buffered, the PID filters 55 and 56 and the switches 67 to 59 are controlled, and the video data is decoded by a predetermined decoder, and the video data processing unit The processed video data is encoded at 96.
そして、圧縮符号化オーディオ信号の出力端子である圧縮オーディオ信号インターフェース52から、スイッチ61から出力される符号化オーディオデータであるオーディオストリーム#1が外部に出力され、圧縮符号化ビデオ信号の出力端子である圧縮ビデオ信号インターフェース54から、エンコードされた符号化ビデオデータが外部に出力される。
An
すなわち、ステップS341において圧縮オーディオ信号インターフェース52から出力される圧縮符号化オーディオデータは、再生装置20−2のAVデコーダ部33−2において、復号処理が施されていないため、音質が劣化していない。
That is, the compressed encoded audio data output from the compressed
ステップS342において、コントローラ34−2は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS342において、次のPlayItemがあると判断された場合、処理は、ステップS335に戻り、それ以降の処理が繰り返される。すなわち、次に読み出されるPlayItemに記載されているフラグによって、スイッチ61の制御が変更される可能性がある。
In step S342, the controller 34-2 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S342 that there is a next PlayItem, the process returns to step S335, and the subsequent processes are repeated. That is, the control of the
ステップS342において、次のPlayItemがないと判断された場合、ステップS343において、コントローラ34−2は、再生終了であるか否かを判断する。ステップS343において、再生終了ではないと判断された場合、処理は、ステップS333に戻り、それ以降の処理が繰り返される。ステップS343において、再生終了であると判断された場合、処理は、終了される。 When it is determined in step S342 that there is no next PlayItem, in step S343, the controller 34-2 determines whether or not the reproduction is finished. If it is determined in step S343 that the reproduction has not ended, the process returns to step S333, and the subsequent processes are repeated. If it is determined in step S343 that the reproduction has ended, the process ends.
ステップS336において、いずれかのフラグが1となっていると判断された場合、このPlayItemに関連するオーディオデータには、再生装置20−2においてオーディオストリーム#1に合成することが可能なサウンドデータまたはオーディオストリーム#2のうちの少なくとも一方が含まれているので、ステップS344において、コントローラ34−2は、このPlayListファイルに関連するオーディオストリーム#1を1stオーディオデコーダ75−1に供給するように、スイッチ61を制御する。
If it is determined in step S336 that any one of the flags is 1, the audio data related to this PlayItem includes sound data that can be combined with the
ステップS345乃至ステップS348において、図42のステップS218乃至ステップS221と基本的に同様の処理が実行される。すなわち、PlayItemに対応するClipのデータが対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。
In steps S345 through S348, basically the same processing as in steps S218 through S221 in FIG. 42 is executed. That is, Clip data corresponding to PlayItem is supplied to the corresponding buffer and buffered, the PID filter and each switch are controlled, and the buffered video data is decoded by a predetermined decoder, and video It is processed in the
そして、PIDフィルタおよび各スイッチが制御されて、バッファ53にバッファリングされたオーディオストリーム#1が、スイッチ101およびスイッチ61を介して1stオーディオデコーダ75−1に供給されてデコードされ、バッファ53にバッファリングされたオーディオストリーム#2が、スイッチ101を介して2ndオーディオデコーダ75−2に供給されてデコードされ、ミキシング処理部102が制御されて、1stオーディオデコーダ75−1および2ndオーディオデコーダ75−2においてデコードされたオーディオストリームの合成処理が適宜実行され、ミキシング処理部97が制御されて、ミキシング処理部102により合成されたオーディオストリームとバッファ95に保持されているサウンドデータとの合成処理が適宜実行される。
Then, the PID filter and each switch are controlled, and the
すなわち、スイッチ61が制御されて、オーディオストリーム#1がオーディオデコーダ75によりデコードされるようになされているので、オーディオストリーム#1とオーディオストリーム#2やサウンドデータを合成することが可能となる。
That is, since the
そして、オーディオエンコーダ41により、合成処理が施された非圧縮のオーディオデータがエンコードされて、圧縮オーディオ信号インターフェース52から外部出力されるとともに、ビデオエンコーダ42によりビデオデータ処理部96により処理された非圧縮のビデオデータがエンコードされて、圧縮ビデオ信号インターフェース54から外部に出力される。
The
ステップS349において、コントローラ34−2は、PlayListを参照し、再生するべき次のPlayItemがあるか否かを判断する。ステップS349において、次のPlayItemがあると判断された場合、処理は、ステップS335に戻り、それ以降の処理が繰り返される。すなわち、次に読み出されるPlayItemに記載されているフラグによって、スイッチ61の制御が変更される可能性がある。
In step S349, the controller 34-2 refers to the PlayList and determines whether there is a next PlayItem to be reproduced. If it is determined in step S349 that there is a next PlayItem, the process returns to step S335, and the subsequent processes are repeated. That is, the control of the
ステップS349において、次のPlayItemがないと判断された場合、ステップS350において、コントローラ34−2は、再生終了であるか否かを判断する。ステップS350において、再生終了ではないと判断された場合、処理は、ステップS333に戻り、それ以降の処理が繰り返される。ステップS350において、再生終了であると判断された場合、処理は、終了される。 If it is determined in step S349 that there is no next PlayItem, in step S350, the controller 34-2 determines whether or not the reproduction is finished. If it is determined in step S350 that the reproduction has not ended, the process returns to step S333, and the subsequent processes are repeated. If it is determined in step S350 that the reproduction has ended, the process ends.
ステップS331において、出力されるのは符号化ストリームではないと判断された場合、ステップS351乃至ステップS360において、図42のステップS224乃至ステップS233と基本的に同様の処理が実行される。 If it is determined in step S331 that the output is not an encoded stream, basically the same processing as in steps S224 to S233 in FIG. 42 is executed in steps S351 to S360.
すなわち、出力されるのは符号化ストリームではない場合、オーディオストリーム#1に合成されるサウンドデータがあるか否かにかかわらず、オーディオストリーム#1はデコードされる。
That is, when it is not an encoded stream that is output, the
具体的には、PlayListファイルの読み出しが指令されたか否かが判断され、読み出しが指令されたと判断された場合、PlayListファイルが読み出されて、そのPlayListファイルに記載されているPlayListにより指定されるPlayItemが読み出される。そして、読み出されたPlayItemに対応するClipのデータ(AV Stream)が対応するバッファに供給されてバッファリングされ、PIDフィルタおよび各スイッチが制御されて、バッファリングされた映像系データがそれぞれ所定のデコーダにてデコードされて、ビデオデータ処理部96において処理される。そして、PIDフィルタおよび各スイッチが制御され、バッファ53にバッファリングされたオーディオストリーム#1がスイッチ101およびスイッチ61を介して1stオーディオデコーダ75−1に供給されてデコードされ、オーディオストリーム#2がスイッチ101を介して2ndオーディオデコーダ75−2に供給されてデコードされ、ミキシング処理部102を制御して、1stオーディオデコーダ75−1および2ndオーディオデコーダ75−2においてデコードされたオーディオストリームが適宜合成され、ミキシング処理部97を制御して、ミキシング処理部102により合成されたオーディオストリームとバッファ95に保持されているサウンドデータとが適宜合成される。そして、ミキシング処理部97から供給された処理済の非圧縮のオーディオデータがそのまま、または、必要に応じてD/A変換されて外部に出力され、ビデオデータ処理部96から供給された非圧縮のビデオデータがそのまま、または、必要に応じてD/A変換されて外部に出力される。
Specifically, it is determined whether or not reading of the PlayList file is instructed. When it is determined that reading is instructed, the PlayList file is read out and designated by the PlayList described in the PlayList file. PlayItem is read. Then, the clip data (AV Stream) corresponding to the read PlayItem is supplied to the corresponding buffer and buffered, the PID filter and each switch are controlled, and the buffered video data is respectively set to the predetermined buffer. The data is decoded by the decoder and processed by the video
そして、PlayListが参照されて、再生するべき次のPlayItemがあるか否かが判断され、次のPlayItemがあると判断された場合、処理は、ステップS285に戻り、それ以降の処理が繰り返される。次のPlayItemがないと判断された場合、再生終了であるか否かが判断されて、再生終了ではないと判断された場合、処理は、ステップS283に戻り、それ以降の処理が繰り返される。再生終了であると判断された場合、処理は、終了される。 Then, with reference to the PlayList, it is determined whether there is a next PlayItem to be reproduced. If it is determined that there is a next PlayItem, the process returns to Step S285, and the subsequent processes are repeated. If it is determined that there is no next PlayItem, it is determined whether or not the playback has ended. If it is determined that the playback has not ended, the process returns to step S283, and the subsequent processing is repeated. If it is determined that the reproduction has ended, the process ends.
このような処理により、再生装置20−2は、PlayItemに記載されているフラグを参照して、このPlayItemにより参照されるデータにサウンドデータまたはオーディオストリーム#2がいずれもが含まれていない場合は、オーディオストリーム#1をデコードせずに圧縮符号化されたデータのまま外部に出力するので、必要以上に音質を劣化させることを防止することができる。また、フラグの情報をPlayItemに記載することにより、サウンドデータが含まれているか否かをPlayItemごとに設定することが可能となるので、オーサリングの自由度が更に増す。
By such processing, the playback device 20-2 refers to the flag described in the PlayItem, and when the data referred to by the PlayItem does not include either the sound data or the
なお、このように、PlayItemにフラグ情報が記載されている場合には、より柔軟な制御が可能となるが、一方では、1つのPlayListでシームレス再生を保障しつつ、PlayItemで再エンコードのON、OFFを切り換えるとすると、実装上、再生装置の負担が大きくなる。したがって、実装上の条件によっては、フラグ情報は、PlayListファイル単位で記録することが望ましい場合がある。 In this way, when flag information is described in PlayItem, more flexible control is possible. On the other hand, while ensuring seamless playback with one PlayList, re-encoding with PlayItem is ON, When switching to OFF, the burden on the playback apparatus increases in terms of mounting. Therefore, depending on implementation conditions, it may be desirable to record flag information in units of PlayList files.
なお、この処理においても、処置の最初において、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断し、その後、フラグを参照して、合成処理が実行されるか否かを判断するものとしているが、例えば、まず、フラグを参照して、合成処理が実行されるか否かを判断し、その後、出力される信号が圧縮符号化データであるか非圧縮のデータであるかを判断するようにしても、判断する処理の順番が異なるだけで、実質的に同様の処理が実行されるのは言うまでもない。 In this process as well, at the beginning of the procedure, it is determined whether the output signal is compression-encoded data or non-compressed data, and then the synthesis process is executed with reference to the flag. For example, first, referring to the flag, it is determined whether or not the synthesis process is executed, and then the output signal is compressed encoded data or uncompressed data. Needless to say, even if it is determined whether it is data or not, only the order of the determination processing is different, and substantially the same processing is executed.
以上においては、音声データの合成において、合成処理が行われるか否かを判断し、それを基に、主となる音声データのデコード処理を行う場合と行わない場合とのそれぞれにおいて実行される処理について説明したが、同様の処理は、音声データの合成に関する場合のみならず、ビデオデータの合成においても、適用可能である。 In the above, it is determined whether or not the synthesis process is performed in the synthesis of the audio data, and based on this, the process executed in each of the cases where the main audio data is decoded and not performed However, the same processing can be applied not only in the case of audio data synthesis but also in video data synthesis.
すなわち、例えば、主な映像データ、すなわち、ビデオデコーダ72においてデコードされるビデオデータに対して合成される、バックグラウンドプレーン、プレゼンテーショングラフィックプレーン、インタラクティブグラフィックプレーンがストリーム中に存在するか否かを示すフラグを、上述した場合と同様に、Indexes、PlayListまたはPlayItemのいずれかに記載する。図45に示される再生装置20−3のAVデコーダ部33−3は、更にスイッチ151を設け、スイッチ151は、PIDフィルタ55から供給された主な映像データを、コントローラ34−3の制御に基づいて、ビデオデコーダ72、または、圧縮ビデオ信号インターフェース54のいずれかに供給する。これにより、主な映像データが圧縮符号化データとして出力され、かつ、主な映像データに対して、バックグラウンドプレーン、プレゼンテーショングラフィックプレーン、インタラクティブグラフィックプレーンがいずれも合成されないとき、主な映像データをデコードすることなく出力することができるので、不必要な画像の劣化を防止することが可能となる。
That is, for example, a flag indicating whether or not a main plane data, that is, a background plane, a presentation graphic plane, and an interactive graphic plane to be combined with video data decoded by the
次に、図46および図47を参照して、再生装置20において再生可能なデータが記録された記録媒体21の製造方法について、記録媒体21がディスク状の記録媒体だった場合を例として説明する。
Next, with reference to FIGS. 46 and 47, a method for manufacturing the
即ち、図46に示すように、例えばガラスなどよりなる原盤が用意され、その上に、例えばフォトレジストなどよりなる記録材料が塗布される。これにより、記録用原盤が製作される。 That is, as shown in FIG. 46, a master disc made of, for example, glass is prepared, and a recording material made of, for example, a photoresist is applied thereon. As a result, a recording master is produced.
そして、図47に示すように、ソフト製作処理部において、符号化装置(ビデオエンコーダ)で符号化された、再生装置20において再生可能な形式のビデオデータが、一時バッファに記憶され、オーディオエンコーダで符号化されたオーディオデータが、一時バッファに記憶されるとともに、更に、データエンコーダで符号化された、ストリーム以外のデータ(例えば、Indexes、Playlist、PlayItemなど)が一時バッファに記憶される。それぞれのバッファに記憶されたビデオデータ、オーディオデータ、および、ストリーム以外のデータは、多重化器(MPX)で同期信号と共に多重化され、誤り訂正符号回路(ECC)でエラー訂正用のコードが付加される。そして、変調回路(MOD)で所定の変調がかけられ、所定のフォーマットにしたがって、例えば磁気テープなどに一旦記録され、再生装置20において再生可能な記録媒体21に記録されるソフトウェアが製作される。
Then, as shown in FIG. 47, video data in a format that can be played back by the
このソフトウェアを必要に応じて編集(プリマスタリング)し、光ディスクに記録すべきフォーマットの信号が生成される。そして、図46に示すように、この記録信号に対応して、レーザビームが変調されて、このレーザビームが原盤上のフォトレジスト上に照射される。これにより、原盤上のフォトレジストが記録信号に対応して露光される。 This software is edited (premastered) as necessary, and a signal in a format to be recorded on the optical disc is generated. Then, as shown in FIG. 46, the laser beam is modulated corresponding to the recording signal, and this laser beam is irradiated onto the photoresist on the master. Thereby, the photoresist on the master is exposed in accordance with the recording signal.
その後、この原盤を現像し、原盤上にピットを出現させる。このようにして用意された原盤に、例えば電鋳等の処理を施し、ガラス原盤上のピットを転写した金属原盤を製作する。この金属原盤から、さらに金属スタンパを製作し、これを成形用金型とする。 Then, this master is developed and pits appear on the master. The master plate thus prepared is subjected to a process such as electroforming to produce a metal master plate in which pits on the glass master plate are transferred. A metal stamper is further produced from this metal master, and this is used as a molding die.
この成形用金型に、例えばインジェクションなどによりPMMA(アクリル)またはPC(ポリカーボネート)などの材料を注入し、固定化させる。あるいは、金属スタンパ上に2P(紫外線硬化樹脂)などを塗布した後、紫外線を照射して硬化させる。これにより、金属スタンパ上のピットを、樹脂よりなるレプリカ上に転写することができる。 A material such as PMMA (acrylic) or PC (polycarbonate) is injected into this molding die by, for example, injection and fixed. Alternatively, 2P (ultraviolet curable resin) or the like is applied on the metal stamper and then cured by irradiation with ultraviolet rays. Thereby, the pits on the metal stamper can be transferred onto the replica made of resin.
このようにして生成されたレプリカ上に、反射膜が、蒸着あるいはスパッタリングなどにより形成される。あるいはまた、生成されたレプリカ上に、反射膜が、スピンコートにより形成される。 A reflective film is formed on the replica thus generated by vapor deposition or sputtering. Alternatively, a reflective film is formed on the generated replica by spin coating.
その後、このディスクに対して内外径の加工が施され、2枚のディスクを張り合わせるなどの必要な処置が施される。さらに、ラベルを貼り付けたり、ハブが取り付けられて、カートリッジに挿入される。このようにして再生装置20によって再生可能なデータが記録された記録媒体21が完成する。
Thereafter, the inner and outer diameters of the disk are processed, and necessary measures such as bonding two disks are performed. Further, a label is attached or a hub is attached and inserted into the cartridge. In this way, the
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図48に示されるようなパーソナルコンピュータ500により実行される。
The series of processes described above can be executed by hardware or can be executed by software. In this case, the processing described above is executed by a
図48において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または、記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。
48, a CPU (Central Processing Unit) 501 performs various processes according to a program stored in a ROM (Read Only Memory) 502 or a program loaded from a
CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。この内部バス504にはまた、入出力インターフェース505も接続されている。
The
入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRT,LCDなどよりなるディスプレイ、スピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、並びに、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
The input /
入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
A
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム格納媒体からインストールされる。 When a series of processing is executed by software, a program constituting the software is installed from a network or a program storage medium.
このプログラム格納媒体は、図48に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。
As shown in FIG. 48, this program storage medium is configured only by a package medium including a
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing a computer program includes not only processing performed in time series according to the described order but also processing executed in parallel or individually even if not necessarily processed in time series. Is also included.
また、ドライブ510は、装着されたリムーバブルメディア521に記録されたデータを読み出すことができるのみならず、装着されたリムーバブルメディア521にデータを記録することができる。そして、パーソナルコンピュータ500が、図47を用いて説明したソフト製作処理部と同様の機能を有する(例えば、CPU501を用いて、ソフト製作処理部と同様の機能を実現するためのプログラムを実行する)ことが可能であるのは言うまでもない。
Further, the
すなわち、パーソナルコンピュータ500は、図47を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、CPU501の処理により生成するか、または、外部の装置で生成された図47を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、通信部509またはドライブ510に装着されたリムーバブルメディア521を介して取得することができる。そして、パーソナルコンピュータ500は、生成または取得された図47を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、ドライブ510に装着されたリムーバブルメディア521に記録する記録装置としての機能を実現することができる。
That is, the
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
20 再生装置, 31 再生データ取得部, 32 スイッチ, 33 AVデコーダ部, 34 コントローラ, 51乃至54 バッファ, 55,56 PIDフィルタ, 57乃至59 スイッチ, 71 バックグラウンドデコーダ, 72 ビデオデコーダ, 73 プレゼンテーショングラフィックスデコーダ, 74 インタラクティブグラフィックスデコーダ, 75 オーディオデコーダ, 76 Text-STコンポジション, 77 スイッチ, 91 バックグラウンドプレーン生成部, 92 ビデオプレーン生成部, 93 プレゼンテーショングラフィックスプレーン生成部, 94 インタラクティブグラフィックスプレーン生成部, 95 バッファ 96 ビデオデータ処理部, 97 ミキシング処理部, 101 ミキシング処理部
20 playback device, 31 playback data acquisition unit, 32 switch, 33 AV decoder unit, 34 controller, 51 to 54 buffer, 55, 56 PID filter, 57 to 59 switch, 71 background decoder, 72 video decoder, 73 presentation graphics Decoder, 74 interactive graphics decoder, 75 audio decoder, 76 Text-ST composition, 77 switch, 91 background plane generator, 92 video plane generator, 93 presentation graphics plane generator, 94 interactive graphics plane generator , 95
Claims (5)
前記第1のオーディオストリームをデコードする第1のデコード手段と、 First decoding means for decoding the first audio stream;
前記第2のオーディオストリームをデコードする第2のデコード手段と、 Second decoding means for decoding the second audio stream;
前記第1のデコード手段によるデコードによって得られた第1のオーディオデータと前記第2のデコード手段によるデコードによって得られた第2のオーディオデータとを合成する第1の合成手段と、 First synthesis means for synthesizing first audio data obtained by decoding by the first decoding means and second audio data obtained by decoding by the second decoding means;
前記第1の合成手段による合成によって得られた合成データと、前記合成用データとを合成する第2の合成手段と、 Second synthesis means for synthesizing the synthesis data obtained by the synthesis by the first synthesis means and the data for synthesis;
前記第2のオーディオストリームと前記合成用データとのうちの少なくともいずれかの合成が行われ得るか、行われないかを示すフラグ情報を前記再生制御情報から取得し、前記合成が行われ得ることを前記フラグ情報が示す場合、前記再生区間を示す情報に従って、前記取得手段により取得された前記第1のオーディオストリームを前記第1のデコード手段に供給させ、前記第2のオーディオストリームを前記第2のデコード手段に供給させる制御手段と Flag information indicating whether at least one of the second audio stream and the synthesis data can be synthesized or not is obtained from the reproduction control information, and the synthesis can be performed. In accordance with the information indicating the playback section, the first audio stream acquired by the acquisition unit is supplied to the first decoding unit, and the second audio stream is transmitted to the second audio stream. Control means for supplying to the decoding means
を備える再生装置。 A playback device comprising:
請求項1に記載の再生装置。 The playback apparatus according to claim 1.
前記制御手段は、前記取得手段により取得された前記第1のオーディオストリームを符号化データとして出力する場合、前記合成データの符号化を前記符号化手段に行わせる The control means causes the encoding means to perform encoding of the composite data when the first audio stream acquired by the acquisition means is output as encoded data.
請求項1または2に記載の再生装置。 The reproducing apparatus according to claim 1 or 2.
前記第1のオーディオストリームをデコードする第1のデコード手段と、 First decoding means for decoding the first audio stream;
前記第2のオーディオストリームをデコードする第2のデコード手段と、 Second decoding means for decoding the second audio stream;
前記第1のデコード手段によるデコードによって得られた第1のオーディオデータと前記第2のデコード手段によるデコードによって得られた第2のオーディオデータとを合成する第1の合成手段と、 First synthesis means for synthesizing first audio data obtained by decoding by the first decoding means and second audio data obtained by decoding by the second decoding means;
前記第1の合成手段による合成によって得られた合成データと、前記合成用データとを合成する第2の合成手段と Second synthesis means for synthesizing the synthesis data obtained by the synthesis by the first synthesis means and the data for synthesis;
を備える再生装置の再生方法において、 In a playback method of a playback device comprising:
前記第2のオーディオストリームと前記合成用データとのうちの少なくともいずれかの合成が行われ得るか、行われないかを示すフラグ情報を前記再生制御情報から取得し、 Obtaining flag information indicating whether or not the synthesis of at least one of the second audio stream and the synthesis data can be performed from the reproduction control information;
前記合成が行われ得ることを前記フラグ情報が示す場合、前記再生区間を示す情報に従って、前記取得手段により取得された前記第1のオーディオストリームを前記第1のデコード手段に供給させ、 When the flag information indicates that the synthesis can be performed, according to the information indicating the playback section, the first audio stream acquired by the acquisition unit is supplied to the first decoding unit,
前記第2のオーディオストリームを前記第2のデコード手段に供給させる Supplying the second audio stream to the second decoding means;
ステップを含む再生方法。 A reproduction method including steps.
前記第1のオーディオストリームをデコードする第1のデコード手段と、 First decoding means for decoding the first audio stream;
前記第2のオーディオストリームをデコードする第2のデコード手段と、 Second decoding means for decoding the second audio stream;
前記第1のデコード手段によるデコードによって得られた第1のオーディオデータと前記第2のデコード手段によるデコードによって得られた第2のオーディオデータとを合成する第1の合成手段と、 First synthesis means for synthesizing first audio data obtained by decoding by the first decoding means and second audio data obtained by decoding by the second decoding means;
前記第1の合成手段による合成によって得られた合成データと、前記合成用データとを合成する第2の合成手段と Second synthesis means for synthesizing the synthesis data obtained by the synthesis by the first synthesis means and the data for synthesis;
を備える再生装置により再生される記録媒体において、 In a recording medium played back by a playback device comprising:
前記第1のオーディオストリームと、 The first audio stream;
前記第2のオーディオストリームと、 The second audio stream;
前記合成用データと、 The composition data;
前記第2のオーディオストリームと前記合成用データとのうちの少なくともいずれかの合成が行われ得るか、行われないかを示すフラグ情報であって、前記合成が行われ得ることを前記フラグ情報が示す場合、前記再生装置が、前記再生区間を示す情報に従って、前記取得手段により取得された前記第1のオーディオストリームを前記第1のデコード手段に供給させ、前記第2のオーディオストリームを前記第2のデコード手段に供給させるように用いられる前記フラグ情報を、前記再生区間を示す情報とともに含む前記再生制御情報と Flag information indicating whether or not at least one of the second audio stream and the data for synthesis can be combined, and the flag information indicates that the combination can be performed. In the case of indicating, the playback device causes the first audio stream acquired by the acquisition unit to be supplied to the first decoding unit according to the information indicating the playback section, and the second audio stream is supplied to the second audio stream. The reproduction control information including the flag information used so as to be supplied to the decoding means together with information indicating the reproduction section;
からなるデータ構造を有するデータを記録した記録媒体。 A recording medium on which data having a data structure is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008307618A JP4822081B2 (en) | 2005-07-15 | 2008-12-02 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING MEDIUM |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005206997 | 2005-07-15 | ||
JP2005206997 | 2005-07-15 | ||
JP2008307618A JP4822081B2 (en) | 2005-07-15 | 2008-12-02 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING MEDIUM |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006147981A Division JP4251298B2 (en) | 2005-07-15 | 2006-05-29 | REPRODUCTION DEVICE AND REPRODUCTION METHOD, PROGRAM, PROGRAM STORAGE MEDIUM, DATA, RECORDING MEDIUM, RECORDING DEVICE, AND RECORDING MEDIUM MANUFACTURING METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009093789A JP2009093789A (en) | 2009-04-30 |
JP4822081B2 true JP4822081B2 (en) | 2011-11-24 |
Family
ID=38744570
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008169939A Active JP4674618B2 (en) | 2005-07-15 | 2008-06-30 | Playback device, playback method, program, data, recording medium |
JP2008307618A Active JP4822081B2 (en) | 2005-07-15 | 2008-12-02 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING MEDIUM |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008169939A Active JP4674618B2 (en) | 2005-07-15 | 2008-06-30 | Playback device, playback method, program, data, recording medium |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP4674618B2 (en) |
CN (1) | CN101026725B (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4251298B2 (en) | 2005-07-15 | 2009-04-08 | ソニー株式会社 | REPRODUCTION DEVICE AND REPRODUCTION METHOD, PROGRAM, PROGRAM STORAGE MEDIUM, DATA, RECORDING MEDIUM, RECORDING DEVICE, AND RECORDING MEDIUM MANUFACTURING METHOD |
CN101026725B (en) * | 2005-07-15 | 2010-09-29 | 索尼株式会社 | Reproducing apparatus, reproducing method |
JP4993224B2 (en) * | 2009-04-08 | 2012-08-08 | ソニー株式会社 | Playback apparatus and playback method |
JP5552928B2 (en) * | 2010-07-08 | 2014-07-16 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JP6174326B2 (en) * | 2013-01-23 | 2017-08-02 | 日本放送協会 | Acoustic signal generating device and acoustic signal reproducing device |
JP6228388B2 (en) * | 2013-05-14 | 2017-11-08 | 日本放送協会 | Acoustic signal reproduction device |
US10553230B2 (en) * | 2015-11-09 | 2020-02-04 | Sony Corporation | Decoding apparatus, decoding method, and program |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06253331A (en) * | 1993-03-01 | 1994-09-09 | Toshiba Corp | Editing device corresponding to variable-length encoded signal |
US5390177A (en) * | 1993-03-24 | 1995-02-14 | At&T Corp. | Conferencing arrangement for compressed information signals |
JPH0855427A (en) * | 1994-08-11 | 1996-02-27 | Sony Corp | Multichannel audio recording and reproducing device |
JP3268630B2 (en) * | 1996-10-17 | 2002-03-25 | 株式会社ケンウッド | How to edit recorded data on a disc |
JP3416034B2 (en) * | 1997-09-17 | 2003-06-16 | 沖電気工業株式会社 | Coded signal processing device |
JPH11213558A (en) * | 1998-01-27 | 1999-08-06 | Toshiba Corp | Voice data processing device, computer system, and voice data processing method |
JP2000165802A (en) * | 1998-11-25 | 2000-06-16 | Matsushita Electric Ind Co Ltd | Stream edit system and edit method |
US6621866B1 (en) * | 2000-01-28 | 2003-09-16 | Thomson Licensing S.A. | Method for inserting a visual element into an MPEG bit stream |
CN1136721C (en) * | 2000-02-28 | 2004-01-28 | 松下电器产业株式会社 | Method and device for flow editing |
MXPA02012909A (en) * | 2000-07-24 | 2004-05-05 | Boehringer Ingelheim Pharma | Improved oral dosage formulations of 1-(5-tert-butyl -2-p-tolyl-2h-pyrazol -3-yl)-3 -[4-(2-morpholin-4 -yl-ethoxy) -naphthalen -1-yl] -urea. |
JP2002152051A (en) * | 2000-11-13 | 2002-05-24 | Nippon Telegr & Teleph Corp <Ntt> | Compression code editor and compression code edit method |
JP2002162995A (en) * | 2000-11-22 | 2002-06-07 | Sanyo Electric Co Ltd | Sound reproducing device |
US6925501B2 (en) * | 2001-04-17 | 2005-08-02 | General Instrument Corporation | Multi-rate transcoder for digital streams |
KR100457512B1 (en) * | 2001-11-29 | 2004-11-17 | 삼성전자주식회사 | Optical recording medium, apparatus and method for playing the optical recoding medium |
US8150237B2 (en) * | 2002-11-28 | 2012-04-03 | Sony Corporation | Reproducing apparatus, reproducing method, reproducing program, and recording medium |
JP3859168B2 (en) * | 2003-01-20 | 2006-12-20 | パイオニア株式会社 | Information recording medium, information recording apparatus and method, information reproducing apparatus and method, information recording / reproducing apparatus and method, computer program for recording or reproduction control, and data structure including control signal |
WO2004068854A1 (en) * | 2003-01-31 | 2004-08-12 | Matsushita Electric Industrial Co., Ltd. | Recording medium, reproduction device, recording method, program, and reproduction method |
JP4228767B2 (en) * | 2003-04-25 | 2009-02-25 | ソニー株式会社 | REPRODUCTION DEVICE, REPRODUCTION METHOD, REPRODUCTION PROGRAM, AND RECORDING MEDIUM |
JP2005079945A (en) * | 2003-09-01 | 2005-03-24 | Alpine Electronics Inc | Video reproducer and video reproducing method |
JP2005114813A (en) * | 2003-10-03 | 2005-04-28 | Matsushita Electric Ind Co Ltd | Audio signal reproducing device and reproducing method |
JP4664346B2 (en) * | 2004-12-01 | 2011-04-06 | パナソニック株式会社 | Recording medium, playback device, program, and playback method |
JP4012559B2 (en) * | 2004-12-01 | 2007-11-21 | 松下電器産業株式会社 | Recording medium, playback device, program, playback method, integrated circuit |
US8280233B2 (en) * | 2005-01-28 | 2012-10-02 | Panasonic Corporation | Reproduction device, program, reproduction method |
JP4251298B2 (en) * | 2005-07-15 | 2009-04-08 | ソニー株式会社 | REPRODUCTION DEVICE AND REPRODUCTION METHOD, PROGRAM, PROGRAM STORAGE MEDIUM, DATA, RECORDING MEDIUM, RECORDING DEVICE, AND RECORDING MEDIUM MANUFACTURING METHOD |
CN101026725B (en) * | 2005-07-15 | 2010-09-29 | 索尼株式会社 | Reproducing apparatus, reproducing method |
-
2006
- 2006-07-14 CN CN2006101689394A patent/CN101026725B/en active Active
-
2008
- 2008-06-30 JP JP2008169939A patent/JP4674618B2/en active Active
- 2008-12-02 JP JP2008307618A patent/JP4822081B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008287869A (en) | 2008-11-27 |
JP2009093789A (en) | 2009-04-30 |
JP4674618B2 (en) | 2011-04-20 |
CN101026725A (en) | 2007-08-29 |
CN101026725B (en) | 2010-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4770601B2 (en) | Information processing apparatus, information processing method, program, and program storage medium | |
KR101244148B1 (en) | Data generating method, recording device, recording method, and storage medium, reproduction device, and reproduction method | |
JP4251298B2 (en) | REPRODUCTION DEVICE AND REPRODUCTION METHOD, PROGRAM, PROGRAM STORAGE MEDIUM, DATA, RECORDING MEDIUM, RECORDING DEVICE, AND RECORDING MEDIUM MANUFACTURING METHOD | |
JP4923751B2 (en) | REPRODUCTION DEVICE, RECORDING MEDIUM, AND MANUFACTURING METHOD THEREOF | |
JP4968506B2 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM | |
JP4822081B2 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING MEDIUM | |
JP2008193604A (en) | Reproducing apparatus and method, and program | |
JP4720676B2 (en) | Information processing apparatus and information processing method, data structure, recording medium manufacturing method, program, and program storage medium | |
JP4968562B2 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND RECORDING METHOD | |
JP5218872B2 (en) | REPRODUCTION DEVICE, RECORDING MEDIUM, AND MANUFACTURING METHOD THEREOF | |
JP4821456B2 (en) | Information processing apparatus, information processing method, program, data structure, and recording medium | |
JP2008052836A (en) | Information processing apparatus, information processing method, program, and program storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110811 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110824 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4822081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |