JP4770601B2 - Information processing apparatus, information processing method, program, and program storage medium - Google Patents

Information processing apparatus, information processing method, program, and program storage medium Download PDF

Info

Publication number
JP4770601B2
JP4770601B2 JP2006173677A JP2006173677A JP4770601B2 JP 4770601 B2 JP4770601 B2 JP 4770601B2 JP 2006173677 A JP2006173677 A JP 2006173677A JP 2006173677 A JP2006173677 A JP 2006173677A JP 4770601 B2 JP4770601 B2 JP 4770601B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
stream
audio
video
data
clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006173677A
Other languages
Japanese (ja)
Other versions
JP2008005288A (en )
Inventor
綾子 岩瀬
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体に関し、特に、複数のビデオストリームが合成されて表示可能なようになされている場合に用いて好適な、情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体に関する。 The present invention relates to an information processing apparatus and an information processing method, a program, and, a program storage medium, in particular, suitable for use when a plurality of video streams have been made so as to be displayed in a combined, an information processing apparatus and an information processing method, a program, and a program storage medium.

DVD(Digital Versatile Disc)ビデオの規格においては、記録媒体に記録されている映画などのAV(Audio Visual)コンテンツを再生する場合、ユーザに、音声切り替えや字幕切り替えというインタラクティブな操作を提供している(例えば、非特許文献1参照)。 In standard of DVD (Digital Versatile Disc) video, when reproducing the AV (Audio Visual) content, such as movies recorded on the recording medium, the user provides interactive operation of the voice switching or subtitle switching (e.g., see non-Patent Document 1). 具体的には、図1の表示装置1に表示されているAVコンテンツに対して、ユーザは、リモートコントローラ2の音声切り替えボタン11や字幕切り替えボタン12を操作することで、音声の切り替えや字幕を切り替える。 Specifically, the AV content displayed on the display device 1 of FIG. 1, the user, by operating the sound switch button 11 or subtitles switch button 12 of the remote controller 2, the audio switching and subtitles switches. 例えば、音声1が初期状態として設定されており、ユーザによりリモートコントローラ2の音声切り替えボタン11が操作された場合、図2に示されるように、音声1が音声2に切り替えられる。 For example, audio 1 is set as an initial state, when the voice switch button 11 of the remote controller 2 is operated by the user, as shown in FIG. 2, voice 1 is switched to the audio 2.

DVDビデオ上のAVコンテンツは、MPEG(Moving Picture Experts Group)2プログラムストリームの形式で記録されている。 AV content on DVD video is recorded in the form of MPEG (Moving Picture Experts Group) 2 Program Stream. このMPEG2プログラムストリームには、図3に示されるように、ビデオストリーム(図3のビデオ)、複数のオーディオストリーム(図3のオーディオ1,2,3)、および複数のサブピクチャストリーム(図3のサブピクチャ1,2,3)が、ビデオストリームにAV同期して再生されるように多重化されている。 The MPEG2 program stream, as shown in FIG. 3, the video stream (in Figure 3 the video), a plurality of audio streams (Audio 1, 2 of FIG. 3), and a plurality of sub-picture streams (in FIG. 3 sub-picture 1, 2, 3), it is multiplexed so as to be reproduced in AV synchronization with the video stream. サブピクチャストリーム(サブピクチャ1,2,3)は、ビットマップ画像がランレングス符号化されたストリームであり、主に字幕用途に用いられる。 Sub-picture streams (sub-pictures 1, 2, 3), the bitmap image is run-length encoded stream, mainly used for subtitles applications.

一般に、複数のオーディオストリームは、異なる言語の音声を記録するために用いられ、複数のサブピクチャストリームは、異なる言語の字幕を記録するために用いられる。 In general, a plurality of audio streams is used to record audio in different languages, multiple sub-picture stream is used to record the subtitles in different languages. ユーザは、ビデオが再生されている場合、インタラクティブに所望の言語の音声や字幕を、リモートコントローラ2を用いて選択することができる。 The user, if the video is playing, audio and subtitles of the desired language in an interactive, can be selected using the remote controller 2.

また、追加して記録された音声(例えば、いわゆるアフレコと称される音声)を再生するために、Sub pathが用いられている技術がある(例えば、特許文献1)。 Also added to recorded audio (e.g., referred voice so-called after-recording) to play, there is a technique of Sub path is used (for example, Patent Document 1).

特開2000−158972号公報 JP 2000-158972 JP

また、複数の映像データを編集するために、複数のビデオストリームを同一時間軸上のタイムライン上に表現する技術がある(例えば、特許文献2)。 Further, in order to edit a plurality of video data, there is a technique for representing a plurality of video streams on the time line on the same time axis (e.g., Patent Document 2).

特開2000−348469号公報 JP 2000-348469 JP

特許文献1に記載の技術では、たしかに、追加して記録された音声(例えば、いわゆるアフレコと称される音声)を再生するために、Sub pathが用いられているが、2つの同一の種類のストリーム、すなわち、2つのオーディオストリームや2つのビデオストリームを合成して再生するための構成についてはなんら開示されていない。 In the technique described in Patent Document 1, indeed, to play additional to recorded audio (e.g., voice so called after-recording), but Sub path is used, the two identical types of stream, i.e., does not disclose the structure for playing by combining two audio streams and two video streams.

また、特許文献2に記載の技術では、編集作業のために、複数のビデオストリームが同一時間軸上のタイムライン上に表現することができるようになされているが、これらの複数のビデオストリームは、それぞれ個別のタイムコードに基づいて撮像された独立したビデオストリームであり、合成して再生されるものではなかった。 Further, in the technique described in Patent Document 2, for editing work, a plurality of video streams have been made to be able to express on the time line on the same time base, these multiple video streams is an independent video stream captured based respectively on separate time code, was not be synthesized and reproduced.

したがって、例えば、2つのビデオストリームが合成して再生される場合などにおいて、それぞれのストリームが再生時間軸上においてどの位置で合成されるのかなどを把握するための技術はなかった。 Thus, for example, in a case where two video streams are reproduced by synthesis, each stream was not technology for grasping and whether being synthesized at any position on the reproduction time axis.

本発明はこのような状況に鑑みてなされたものであり、複数のビデオストリームが合成して再生される場合の合成の状態を把握することができるようにするものである。 The present invention has been made in view of such circumstances, it is to be able to grasp the state of synthesis when multiple video streams are reproduced by synthesis.

本発明の一側面の情報処理装置は、 記録媒体から第1および第2のストリームの再生を制御するための再生管理情報を取得する第1の取得手段と、前記第1の取得手段により取得された前記再生管理情報を解析し、解析結果から、 前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得する第2の取得手段と、前記第2の取得手段により取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸に対応づけて、前記第2のストリームの再生位置と種類を示す画像を生成する情報生成手段と、前記情報生成手段により生成された前記画像の表示を制 According to an embodiment of the present invention is obtained a first acquisition means for acquiring reproduction management information for controlling the reproduction of the first and second streams from a recording medium, by the first acquisition unit the analyzes reproduction management information, analysis results, wherein the first main playback path to play a stream of a different reproduction path, one or more of the second to be reproduced by the sub playback path a second obtaining unit operable to obtain information about sub playback path that includes information indicating the reproduction position and type of the stream, the information about the sub playback path that is acquired by the second acquisition unit based on the, in association with the playback time axis of the first stream, the information generating means for generating an image indicating a reproduction position and type of the second stream, the display of the image generated by said information generating means braking する表示制御手段と、前記第1の取得手段により取得された前記再生管理情報に基づいて、前記第1および第2のストリームの再生を制御する再生制御手段とを備える。 Comprising display control means for, based on said reproduction management information acquired by the first acquisition unit, and a reproduction control means for controlling reproduction of said first and second streams.

前記第2のストリームが前記第1のストリームに非同期である場合、前記第2のストリームの再生位置を示す情報は、前記第1のストリームの再生時間軸の先頭に対応づけられるようにすることができる。 When the second stream is asynchronous to the first stream, the information indicating the reproduction position of the second stream be as is associated to the beginning of the playback time axis of the first stream it can.

前記第2のストリームが前記第1のストリームに同期している場合、前記第2のストリームの再生位置を示す情報は、前記第1のストリームの再生時間軸に対応づけられるようにすることができる。 When the second stream is synchronized with the first stream, the information indicating the reproduction position of the second stream, can be made to be associated to the playback time axis of the first stream .

前記第2のストリームの所定のフレームの画像データを取得する第3の取得手段を更に備えさせるようにすることができ、前記情報生成手段には、前記第3の取得手段により取得された前記第2のストリームの所定のフレームの画像データを基に、前記第のストリームの種類を示す情報を生成させるようにすることができる。 Said third acquisition means can further to equip a for acquiring image data of a predetermined frame of the second stream, the said information generating means, the first acquired by the third acquisition means based on the image data of a predetermined frame of the second stream, the information indicating the type of the second stream can be made to generate.

前記第1のストリーム取得する第3の取得手段を更に備えさせるようにすることができ、前記再生制御手段には、前記第1の取得手段により取得された前記再生管理情報に基づいて、前記第3の取得手段により取得された前記第1のストリーム再生を制御させるようにすることができ、前記表示制御手段には、前記再生制御手段により再生が制御される前記第1のストリームの画像に 、前記情報生成手段により生成された前記画像が重畳されて表示されるように、 その画像の表示を制御させるようにすることができる。 The first stream can be made to further equip the third acquisition means for acquiring, in the reproduction control means, based on the reproduction management information acquired by the first acquisition unit, wherein third acquisition means makes it possible to so as to control the playback of the acquired first stream, the said display control means, the image of the first stream reproduced by the reproduction control means is controlled to, as the information the image generated by the generating means are displayed superimposed, may be so as to control the display of the image.

ユーザによる操作入力を取得する操作入力取得手段を更に備えさせるようにすることができ前記操作入力取得手段によって、前記表示制御手段により表示が制御された前記画像参照したユーザによる前記第2のストリームの再生位置を選択する操作入力が取得された場合、前記再生制御手段には、選択された前記再生位置からの前記第1 および第2のストリームの再生を制御させるようにすることができる。 Can be made to further equip the operation input acquiring means for acquiring an operation input by a user, said by the operation input acquisition section, the user according to the second with reference to the image display is controlled by said display control means when an operation input for selecting a reproduction position of a stream is obtained, the said regeneration control means may be adapted to control the playback of the first and second streams from said selected playback position.

本発明の一側面の情報処理方法は、 情報処理装置が、記録媒体から第1および第2のストリームの再生を制御するための再生管理情報を取得し、 前記情報処理装置が、取得された前記再生管理情報を解析して、前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し、 前記情報処理装置が、取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸に対応づけて、前記第2のストリームの再生位置と種類を示す画像を生成し、前記情報処理装置が、生成された前記画像の表示を制御し、前記情報処理装置が、取得された前記再生管理情報に基づ According to another embodiment of the present invention, the information processing apparatus acquires the reproduction management information for controlling the reproduction of the first and second streams from a recording medium, the information processing apparatus has been acquired by analyzing the reproduction management information, wherein the first main playback path to play a stream of a different reproduction path, the reproduction position of the second stream to be reproduced by one or more of sub playback paths to obtain information about the sub playback path that includes information indicating the type and the information processing apparatus, information based on the related acquired the sub playback path, correspondence to the playback time axis of the first stream Te, generates an image indicating the reproduction position and type of the second stream, the information processing apparatus controls the display of the generated image; the information processing apparatus, on the acquired reproduction control information based on Dzu て、前記第1および第2のストリームの再生を制御するステップを含む。 Te, comprising the step of controlling reproduction of said first and second streams.

本発明の一側面のプログラムまたはプログラム格納媒体に格納されているプログラムは、 コンピュータに、記録媒体から第1および第2のストリームの再生を制御するための再生管理情報取得取得された前記再生管理情報を解析して、前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報取得取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸に対応づけて、前記第2のストリームの再生位置と種類を示す画像を生成し、生成された前記画像の表示を制御し、取得された前記再生管理情報に基づいて、前記第1および第2のストリ Program stored on one side of the program or program storage medium of the present invention, the computer obtains the reproduction management information for controlling the reproduction of the first and second streams from a recording medium, has been acquired the by analyzing the reproduction management information, wherein the first main playback path to play a stream of a different reproduction path, the reproduction position of the second stream to be reproduced by one or more of sub playback paths and acquires the information about the sub playback path that includes information indicating the type, information based on about the acquired sub playback path, the correspondence to the playback time axis of the first stream, the second generates an image indicating the reproduction position and type of the stream to control the display of the generated the image, based on the acquired reproduction control information, the first and second string ムの再生を制御するステップを含む処理実行させる。 To execute a process including the step of controlling reproduction of beam.

本発明の一側面においては、 記録媒体から第1および第2のストリームの再生を制御するための再生管理情報取得され 、再生管理情報が解析されて、 第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される第2のストリームの再生位置と種類を示す情報を含む副の再生パスに関する情報取得され取得された副の再生パスに関する情報を基に、 第1のストリームの再生時間軸に対応づけて、第2のストリームの再生位置と種類を示す画像が生成され、その画像の表示が制御され、再生管理情報に基づいて、第1および第2のストリームの再生が制御される In one aspect of the present invention, reproduction management information for controlling the reproduction of the first and second streams from the recording medium is acquired, the reproduction management information is analyzed, the main reproducing the first stream reproduction the path to a different reproduction path, information about one or sub playback path including information indicating the reproduction position and type of the second stream to be reproduced by a plurality of sub playback path is acquired, obtained based on the information about the sub playback path, in association with the playback time axis of the first stream, an image indicating the reproduction position and type of the second stream is generated, the display of the image is controlled, the reproduction management information based on, the first and second stream reproduction is controlled.

ネットワークとは、少なくとも2つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。 Network and is at least two devices are connected, from one device to another, means a mechanism that allow the transmission of information. ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、1つの装置を構成している内部ブロックどうしであっても良い。 Devices communicating via the network may be independent apparatuses each other or may be internal blocks making up one device.

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。 Further, communication may, of course wireless communication and wired communication, communication and radio communication and wire communication are mixed, i.e., at a certain interval wireless communication is performed, be as wired communication may be performed in another section and it may be. さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。 Furthermore, communication from one device to another is performed in wired communication, communication to device from another device may be such as is done in wireless communications.

再生装置は、独立した装置であっても良いし、記録再生装置の再生処理を行うブロックであっても良い。 Reproducing apparatus may be an independent apparatus or may be a block for performing playback processing of the recording and reproducing apparatus.

以上のように、本発明の一側面によれば、再生管理情報が解析され、特に、副の再生パスに関する情報を基に、主の再生パスおよび副の再生パスにより再生されるストリームに関する情報が生成されるので、ユーザに、主の再生パスにより再生されるストリームのみならず、副の再生パスにより再生されるストリームの内容や再生位置などを分かりやすく提示することができる。 As described above, according to one aspect of the present invention, the reproduction management information is analyzed, in particular, on the basis of the information about the sub playback path, information about the stream which is reproduced by the main playback path and sub playback path since generated, it can be a user, not the stream only is reproduced by the main playback path, presenting clarity such as the contents and the reproduction position of a stream to be reproduced by the sub playback paths.

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。 Hereinafter will be described an embodiment of the present invention to, but the constituent features of the present invention, the correspondence between the embodiments described in the specification or drawings is discussed below. この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。 This description is an embodiment supporting the present invention is intended to assure that it is described in the specification or the drawings. 従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。 Thus it has been described in the specification or drawings, as an embodiment corresponding to configuration requirements of the present invention, even if the embodiments not described herein, that it is, its implementation form of, does not mean that the embodiment does not correspond to the constituent features. 逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Conversely, meaning that even if an element is described herein as an embodiment corresponding to the constituent features, the example in question, the elements other than the element are those that do not correspond nor is it intended to.

本発明の一側面の情報処理装置は、 記録媒体から第1および第2のストリームの再生を制御するための再生管理情報(例えば、PlayList)を取得する第1の取得手段(例えば、図32のPlayList読み出し制御部351)と、前記第1の取得手段により取得された前記再生管理情報を解析し、解析結果から、 前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得する第2の取得手段(例えば、図32のPlayList解析部352およびIN_time/OUT_time取得部356)と、前記第2の取得手段により取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸(例えば、図34 According to an embodiment of the present invention, the first acquisition means for acquiring reproduction management information for controlling the reproduction of the first and second streams from a recording medium (e.g., PlayList) (e.g., in FIG. 32 a PlayList read control unit 351), the first has been analyzing the reproduction management information acquired by the acquiring unit, from the analysis results, a different playback paths from the main playback path to play the first stream second acquisition means for acquiring information regarding the sub playback path that includes one or information indicating the reproduction position and type of the second stream to be reproduced by a plurality of sub playback paths (e.g., FIG. 32 a PlayList analyzer 352 and IN_time / OUT_time acquiring unit 356), based on the information about the sub playback path that is acquired by the second acquisition unit, the playback time axis of the first stream (e.g., FIG. 34 メインタイムライン401)に対応づけて、前記第2のストリームの再生位置と種類を示す画像(例えば、図33または図34のGUI表示画面391のデータ)を生成する情報生成手段と、前記情報生成手段により生成された前記画像の表示を制御する表示制御手段(例えば、図32のGUI表示制御部359)と、前記第1の取得手段により取得された前記再生管理情報に基づいて、前記第1および第2のストリームの再生を制御する再生制御手段(例えば、図32の再生制御部355)とを備える。 In association with the main timeline 401), the second image showing the playback position and type of streams (e.g., information generation means for generating data) of the GUI display screen 391 of FIG. 33 or FIG. 34, the information generated display control means for controlling the display of the image generated by means (e.g., GUI display control section 359 in FIG. 32) and, on the basis of the reproduction management information acquired by the first acquisition means, said first and a second reproduction control means for controlling the reproduction of the stream (e.g., the playback control unit 355 in FIG. 32) and.

前記第2のストリームの所定のフレームの画像データを取得する第3の取得手段(例えば、図32のストリームデータ読み出し制御部354)を更に備えることができ、前記情報生成手段は、前記第3の取得手段により取得された前記第2のストリームの所定のフレームの画像データを基に、前記第のストリームの種類を示す情報 (例えば、サムネイル)を生成することができる。 Said third acquisition means for acquiring image data of a predetermined frame of the second stream (e.g., stream data read control unit 354 in FIG. 32) may further comprise a said information generating means, the third based on the image data of a predetermined frame acquired by the acquisition means and the second stream, information indicating the type of the second stream (e.g., thumbnail) can be generated.

前記第1のストリーム取得する第3の取得手段(例えば、図32のストリームデータ読み出し制御部354) を更に備え前記再生制御手段は、前記第1の取得手段により取得された前記再生管理情報に基づいて、前記第3の取得手段により取得された前記第1のストリーム再生を制御し、前記表示制御手段は、前記再生制御手段により再生が制御される前記第1のストリームの画像に 、前記情報生成手段により生成された前記画像が重畳されて表示されるように、 その画像の表示を制御(OSD30による画像合成を制御)することができる。 Said third acquisition means for acquiring a first stream (for example, stream data read control unit 354 in FIG. 32) further wherein the reproduction control means, wherein the reproduction management information acquired by the first acquisition means based on, and control playback of the third said acquired by the acquisition means first stream, wherein the display control unit, image of the first stream reproduction is controlled by the reproduction control means, the way the image generated by the information generating means are displayed superimposed, can the control the display of the image (OSD30 controls the image synthesis by) to.

ユーザによる操作入力を取得する操作入力取得手段(例えば、図32の操作入力取得部353)を更に備えることができ前記操作入力取得手段によって、前記表示制御手段により表示が制御された前記画像参照したユーザによる前記第2のストリームの再生位置を選択する操作入力が取得された場合、前記再生制御手段は、選択された前記再生位置からの前記第1 および第2のストリームの再生を制御することができる。 Operation input acquisition means for acquiring an operation input by a user (e.g., operation input acquiring unit 353 of FIG. 32) may further comprise a, by the operation input acquiring means, the image display is controlled by said display control means when an operation input for selecting a reproduction position of said second stream according to the referenced user is acquired, the reproduction control means controls reproduction of said first and second streams from said selected playback position be able to.

本発明の一側面の情報処理方法は、 情報処理装置が、記録媒体から第1および第2のストリームの再生を制御するための再生管理情報(例えば、PlayList)を取得し(例えば、図37のステップS41の処理)、 前記情報処理装置が、取得された前記再生管理情報を解析して、前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し(例えば、図37のステップS42乃至ステップS51の処理)、 前記情報処理装置が、取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸に対応づけて、前記第2のストリームの再生位置と種類を示す画像を生 An information processing method of the present invention relates to an information processing apparatus, reproduction management information for controlling the reproduction of the first and second streams from a recording medium (e.g., PlayList) acquires (e.g., in FIG. 37 processing in step S41), the information processing apparatus analyzes the reproduction management information acquired, wherein the first main playback path to play a stream of a different reproduction path, one or more acquiring the information about the sub playback path including the information indicating the reproduction position and type of the second stream reproduced by the sub playback paths (for example, step S42 to step S51 of FIG. 37), the information processing device, information based on the related acquired the sub playback path, in association with the playback time axis of the first stream, the raw image indicating the reproduction position and type of the second stream (例えば、図37のステップS53の処理) 、前記情報処理装置が、生成された前記画像の表示を制御し、前記情報処理装置が、取得された前記再生管理情報に基づいて、前記第1および第2のストリームの再生を制御するステップを含む。 And (for example, step S53 in FIG. 37), the information processing apparatus controls the display of the generated image; the information processing apparatus, based on the acquired reproduction control information, the first and a step of controlling reproduction of the second stream.

本発明の一側面のプログラムは、コンピュータに、記録媒体から第1および第2のストリームの再生を制御するための再生管理情報(例えば、PlayList) 取得 (例えば、図37のステップS41の処理)、 取得された前記再生管理情報を解析して、前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報取得 (例えば、図37のステップS42乃至ステップS51の処理)、 取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸に対応づけて、前記第2のストリームの再生位置と種類を示す画像を生成 (例えば、図37のステップS53の処理) A program according to an embodiment of the present invention, the computer, the reproduction management information for controlling the reproduction of the first and second streams from a recording medium (e.g., PlayList) acquires (for example, step S41 in FIG. 37 ), by analyzing the reproduction management information acquired, a different playback paths from the main playback path to play the first stream, the reproduced by one or more sub playback path first to obtain information about the sub playback path that includes information indicating the reproduction position and type of the second stream (e.g., the processing of step S42 to step S51 in FIG. 37), acquired based on the information about the sub playback path and in the association with the playback time axis of the first stream, to generate an image showing the playback position and type of the second stream (for example, step S53 in FIG. 37) 、生成された前記画像の表示を制御し、取得された前記再生管理情報に基づいて、前記第1および第2のストリームの再生を制御するステップを含む処理実行させる。 Controls the display of the generated the image, based on the acquired reproduction control information, to execute processing comprising the step of controlling reproduction of said first and second streams.

以下、図を参照して、本発明の実施の形態について説明する。 Referring to FIG., Describes embodiments of the present invention.

図4は、本発明を適用した再生装置(図29を参照して後述する)のローカルストレージ(例えば、ハードディスクやメモリなど)上の、または、装着される記録媒体上のアプリケーションフォーマットの例を示す図である。 4, the local storage of the reproducing apparatus according to the present invention (to be described later with reference to FIG. 29) (e.g., hard disk or memory, etc.), or an example of an application format on a recording medium to be mounted it is a diagram. 記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよい。 Recording medium, in addition to the optical disc, described later, may be a magnetic disk or a semiconductor memory.

アプリケーションフォーマットは、AV(Audio Visual)ストリームの管理のために、PlayListとClipの2つのレイヤを有している。 Application format, for managing AV (Audio Visual) stream, and has two layers of PlayList and Clip. ここでは、AVストリームとそれに付随する情報であるクリップインフォメーション(Clip Information)のペアを1つのオブジェクトと考え、それらをまとめてClipと称する。 Here, consider clip information is an AV stream and its accompanying information pairs (Clip Information) and one object, referred to as Clip collectively them. 以下、AVストリームをAVストリームファイルとも称する。 Hereinafter, it referred to the AV stream with an AV stream file. なお、AVストリームファイルには、音声データや映像データ以外にも、これらのデータとともに再生される各種のストリームファイルが含まれていてもよい。 Note that the AV stream file, in addition to voice data and video data, may include various stream file to be played back with these data. また、ClipインフォメーションをClipインフォメーションファイルとも称する。 Also, it referred to the Clip Information with Clip information file.

一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、AVストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。 Generally, files used in a computer or the like is treated as a byte string, AV content stream file is expanded on the time axis, the access point of a Clip is mainly designated by PlayList timestamp. すなわち、PlayListとClipは、AVストリームの管理のためのレイヤである。 That, PlayList and Clip are layers for managing AV stream.

Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、Clip Informationファイルは、タイムスタンプから、AVストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。 If the access point in the Clip is represented by a PlayList with a time stamp, Clip Information file is used from the time stamp, to finding the address information at which to start decoding in the AV stream file.

PlayListは、AVストリームの再生区間の集まりである。 PlayList is a collection of playback segments of AV stream. あるAVストリーム中の1つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のIN点(再生開始点)とOUT点(再生終了点)のペアで表される。 One playback section in an AV stream is called PlayItem, which is represented by a pair of IN point of the playback section on the time axis (playback start point) and an OUT point (playback end point). 従って、PlayListは、図4に示されるように1つ、または複数のPlayItemにより構成される。 Therefore, PlayList is composed of one or more of PlayItem, as shown in FIG.

図4において、左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照されている。 4, the first PlayList from the left has two PlayItem, by the two PlayItem, the first half and the second half of the AV stream included in the left Clip is referenced respectively. また、左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照されている。 Further, second PlayList from the left has one PlayItem, whereby is being referred to the whole AV stream included in the right Clip. さらに、左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照されている。 Further, the third PlayList from the left has two PlayItem, by the two PlayItem, the portion of the AV stream included in the left Clip, it is part of the AV stream included in the right Clip referenced respectively ing.

例えば、図4のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から1番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。 For example, the disc navigation program of Fig. 4, as information representing the reproduction position at that time, if the left PlayItem included from the left in the first PlayList is specified, the PlayItem refers, is included in the left Clip reproduction of the first half of the AV stream is performed. このように、PlayListは、AVストリームファイルの再生を管理するための再生管理情報として用いられる。 Thus, PlayList is used as playback management information for managing reproduction of AV stream files.

ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。 Disc navigation program has a function to control the order and the PlayList playback, the interactive playback of PlayList. また、ディスクナビゲーションプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。 The disc navigation program, the execution of the various playback user also has a function of displaying a menu screen for instructing. このディスクナビゲーションプログラムは、例えば、Java(登録商標)などのプログラミング言語で記述され、記録媒体上に用意される。 The disc navigation program, for example, written in a programming language such as Java (registered trademark), is provided on the recording medium.

本実施の形態では、PlayListの中で、1つ以上のPlayItemの並びによって(連続するPlayItemにより)作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに並行(並列)して、1つ以上のSub Pathの並びによって(非連続でもよいし、連続してもよいSubPlayItemにより)作られる再生パスをサブパス(Sub Path)と称する。 In this embodiment, in the PlayList, one or more by a sequence of PlayItem (by successive PlayItem) made by playback path called main path (Main Path), in the PlayList, parallel to the Main Path (parallel ) that the sequence of one or more Sub path (may be a non-continuous refers to playback path) created by may be continuously SubPlayItem the Sub path (Sub path). すなわち、再生装置(図29を参照して後述する)内部のローカルストレージ上の、または、装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて(合わせて)再生されるサブパス(Sub Path)をPlayListの中に持つことが可能である。 That is, the playback apparatus (described later with reference to FIG. 29) on the internal local storage, or application format on a recording medium is mounted, associated with a main path (combined) subpath to be reproduced (Sub Path) and it is possible to have in the PlayList.

図5は、メインパスとサブパスの構造を説明する図である。 Figure 5 is a diagram illustrating the structure of a main path and a sub path. PlayListは、1つのメインパスと1つ以上のサブパスを持つことができる。 PlayList can have one Main Path and one or more sub-paths. 1つのメインパスは、1つ以上のPlayItemの並びによって作られ、1つのサブパスは、1つ以上のSubPlayItemの並びによって作られる。 One of the main path is made by a sequence of one or more PlayItem, one sub path is made by a sequence of one or more SubPlayItem.

図5の例の場合、PlayListは、3つのPlayItemの並びにより作られる1つのメインパスと、3つのサブパスを有している。 For example in FIG. 5, PlayList includes one main path that is made by a sequence of three PlayItem, three subpaths. メインパスを構成するPlayItemには、先頭から順番にそれぞれID(Identification)が付されている。 The PlayItem constituting the main path, respectively ID from the head in sequence (for the Identification) is attached. 具体的には、メインパスは、PlayItem_id=0、PlayItem_id=1、およびPlayItem_id=2のPlayItemからなる。 Specifically, the main path, PlayItem_id = 0, PlayItem_id = 1, and PlayItem_id = 2 of PlayItem. また、サブパスにも先頭から順番にSubpath_id=0、Subpath_id=1、およびSubpath_id=2、とそれぞれIDが付されている。 Further, Subpath_id = 0 in order from the beginning to the sub-path, Subpath_id = 1, and Subpath_id = 2, respectively ID is attached. Subpath_id=0のサブパスには、1つのSubPlayItemが含まれ、Subpath_id=1のサブパスには、2つのSubPlayItemが含まれ、Subpath_id=2のサブパスには、1つのSubPlayItemが含まれる。 The Subpath_id = 0 sub path includes one SubPlayItem, the Subpath_id = 1 sub path, it contains two SubPlayItem, the Subpath_id = 2 sub path includes one SubPlayItem.

Subpath_id=0のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、Mainpathにより参照されるAVストリームファイルのオーディオストリームに替えて再生される場合が考えられる。 Stream SubPlayItem references contained in the sub path of the Subpath_id = 0, for example, is assumed to Japanese dubbed audio movie, cases are considered to be played instead of the audio stream of the AV stream file referred to by MainPath. また、Subpath_id=1のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画のディレクターズカットと想定され、Main Pathにより参照されるAVストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合が考えられる。 Further, Subpath_id = 1 of stream SubPlayItem is to be referenced included in the sub path, for example, is assumed to director's cut of the movie, only a predetermined portion of the AV stream file referred to by the Main Path, contains comments, such as a movie director If by that it is considered.

1つのPlayItemが参照するClip AVストリームファイルには、少なくともビデオストリームデータ(メイン画像データ)が含まれる。 The Clip AV stream file one PlayItem refers includes at least video stream data (main image data). また、Clip AVストリームファイルには、Clip AVストリームファイルに含まれるビデオストリーム(メイン画像データ)と同じタイミングで(同期して)再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。 In addition, the Clip AV stream file, with the same timing as the video stream included in the Clip AV stream file (main image data) (in synchronization with) the audio stream to be reproduced may be included one or more, including may or may not. さらに、Clip AVストリームファイルには、Clip AVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリーム(Presentation Graphic stream)が1つ以上含まれてもよいし、含まれなくてもよい。 Further, Clip the AV stream file, Clip AV to bitmap is played back in synchronization with the video stream included in the stream file subtitle stream (Presentation Graphic stream) may be included one or more, it may not be included good. また、Clip AVストリームファイルには、Clip AVストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが1つ以上含まれてもよいし、含まれなくてもよい。 Also, Clip the AV stream file, to the interactive graphics stream is played back in synchronization with the video stream included in the Clip AV stream file may be included one or more, it may not be included. そして、Clip AVストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。 Then, are multiplexed and a video stream included in Clip AV stream file, the audio stream is played back in synchronization with the video stream, a bitmap subtitle stream file or the interactive graphics stream. すなわち、1つのPlayItemが参照するClip AVストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される0個以上のオーディオストリーム、0個以上のビットマップ字幕ストリームデータ、および0個以上のインタラクティブグラフィックスストリームデータとが多重化されている。 In other words, the Clip AV stream file one PlayItem referenced, the video stream data, zero or more audio streams to be played in accordance with the the video stream, zero or more bitmap subtitle stream data, and zero or more and interactive graphics stream data are multiplexed.

すなわち、1つのPlayItemが参照するClip AVストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリームファイル、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。 In other words, the Clip AV stream file one PlayItem referenced, a video stream, an audio stream, a bitmap subtitle stream file, or the like interactive graphics stream includes a plurality of types of streams.

また、1つのSubPlayItemは、PlayItemが参照するClip AVストリームファイルとは異なるストリーム(別ストリーム)の、ビデオストリーム、オーディオストリーム、または、字幕データなどを参照する。 Also, one SubPlayItem is different from the Clip AV stream file referred to by the PlayItem stream (separate stream), a video stream, an audio stream, or refer to like subtitle data.

メインパスのみを有するPlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中から音声や字幕を選択することのみが可能である。 When the PlayList is reproduced with only the main path, operation of the voice switching or subtitle switching by the user, selects the audio and subtitles from the audio stream and sub-picture streams multiplexed into the Clip of the main path is referenced only it is possible. これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClip AVストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリームを選択して再生させることができる。 In contrast, when the PlayList is reproduced with the main path and sub path, in addition to the audio stream and sub-picture streams multiplexed in the Clip AV stream file in which the main path references, audio stream of the Clip SubPlayItem references select and sub-picture streams can be reproduced.

このように、1つのPlayListの中にSubPathを複数含め、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いAVストリームを実現することができる。 Thus, including a plurality of SubPath in one PlayList, since each SubPath is configured to refer to the SubPlayItem, respectively, scalable, and can achieve a high degree of freedom AV stream. すなわち、MainPathで参照されるClip AVストリームに加えて、後で、SubPlayItemを追加できる構成とすることができる。 That is, in addition to the Clip AV stream referenced by MainPath, later, may be configured to add a SubPlayItem.

図6は、メインパスとサブパスの例を説明する図である。 Figure 6 is a diagram illustrating an example of a main path and a sub path. 図6においては、メインパスと同じタイミングで(AV同期して)再生されるオーディオの再生パスを、サブパスを使用して表している。 In Figure 6, at the same time as the main path (in AV synchronization) reproduction path audio played, it is represented using the Sub Path.

図6のPlayListには、メインパスとして、PlayItem_id=0である1つのPlayItemと、サブパスとして1つのSubPlayItemが含まれている。 The PlayList of FIG. 6, as the main path, and one PlayItem is PlayItem_id = 0, contains one SubPlayItem as sub path. メインパスのPlayItem_id=0である1つのPlayItem()は、メインClipAVストリームを参照している。 One PlayItem is PlayItem_id = 0 of the main path () refers to the main ClipAV stream. SubPlayItem()には、以下に示すデータが含まれる。 The SubPlayItem (), includes data shown below. まず、SubPlayItem ()には、PlayListの中のSub Path(サブパス)が参照するClipを指定するためのClip_Information_file_nameが含まれる。 First, the SubPlayItem (), includes Clip_Information_file_name for specifying the Clip of Sub Path in the PlayList (sub path) refers. 図6の例の場合、SubPlayItemによって、SubClip_entry_id=0のAuxiliary audio stream(オーディオストリーム)が参照されている。 In the example of FIG. 6, the SubPlayItem, SubClip_entry_id = 0 of Auxiliary audio, stream (audio stream) is referenced. また、SubPlayItem ()には、Clip(ここでは、Auxiliary audio stream)の中のSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeとが含まれる。 Further, the SubPlayItem (), Clip (here, Auxiliary audio, stream) includes the SubPlayItem_IN_time and SubPlayItem_OUT_time for specifying the Sub Path of the playback section in the. さらに、SubPlayItem()には、Main pathの時間軸上でSub Pathが再生開始する時刻を指定するためのsync_PlayItem_idとsync_start_PTS_of_PlayItemとが含まれる。 Furthermore, the SubPlayItem (), Sub Path is included and sync_PlayItem_id and sync_start_PTS_of_PlayItem for specifying the time to start playback on the time axis of the Main path. 図6の例の場合、sync_PlayItem_id=0とされ、sync_start_PTS_of_PlayItem=t1とされている。 In the example of FIG. 6, it is a sync_PlayItem_id = 0, there is a sync_start_PTS_of_PlayItem = t1. これにより、メインパスのPlayItem_id=0の時間軸上でSub Pathが再生を開始する時刻t1を指定することができる。 Thus, it is possible to specify the time t1 the Sub Path starts reproduction on the time axis of the PlayItem_id = 0 in the main path. すなわち、図6の例の場合では、メインパスの再生開始時刻t1とサブパスの開始時刻t1が同時刻であることを示している。 That is, in the example of FIG. 6 shows that the playback start time t1 and sub path of the start time t1 of the main path is the same time.

ここで、Sub Pathに参照されるオーディオのClip AVストリームは、STC不連続点(システムタイムベースの不連続点)を含んではならない。 Here, Clip AV stream of audio that is referred to Sub Path must not contain STC discontinuous point (a discontinuous point of system time base).

また、SubPlayItem()に含まれる情報(Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報)に基づいて、メインパスが参照するClip AVストリーム(主に再生されるメインAVストリーム)とは異なるClip AVストリームのオーディオストリームを参照して、再生することができる。 Further, information specifying the Clip information (Sub Path refers included in SubPlayItem (), information specifying a playback section of the Sub Path, and Sub Path on the time axis of the Main path specifies the time to start playing based on the information), by referring to the audio streams of different Clip AV stream and Clip AV stream main path references (mainly main AV stream to be reproduced), can be reproduced.

このように、PlayItemとSubPlayItemは、Clip AVストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClip AVストリームファイル(メインAVストリーム)とSubPlayItemが管理するClip AVストリームファイルは同一のファイルに多重化されていても良いし、異なるファイルとしてもよい。 Thus, PlayItem and SubPlayItem is for managing the Clip AV stream file, respectively, wherein the Clip AV stream file PlayItem is the SubPlayItem manages a Clip AV stream file (main AV stream) to be managed the same file it may be multiplexed to be a different file.

なお、図6の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。 Incidentally, as in the example of FIG. 6, the subtitle stream playback path to be played at the same time as the main path, it can also be expressed using the Sub Path.

図7は、メインパスとサブパスの別の例を説明する図である。 Figure 7 is a diagram illustrating another example of Main Path and Sub Path. 図7においては、メインパスと同じタイミングで(AV同期して)再生されるオーディオの再生パスを、サブパスを使用して表している。 7, at the same time as the main path (in AV synchronization) reproduction path audio played, it is represented using the Sub Path. ここで、メインパスのPlayItemが参照するメインClipAVストリームファイルは、図6と同様であるので省略している。 Here, the main ClipAV stream file referred to by PlayItem of the Main Path is omitted because it is similar to FIG.

例えば、メインパスにより参照されるClipAVストリームを1つの映画のコンテンツ(AVコンテンツ)とし、サブパスのオーディオパスにより参照されるAuxiliary audio stream(Clip)をその映画に対する監督のコメントとし、メインパスで参照されるClipAVストリームのオーディオストリームにサブパスのオーディオパスで参照されるAuxiliary audio streamをミキシング(重ねて)再生するような場合に、このような構成が利用される。 For example, a single movie ClipAV stream referred to by the Main Path content (AV content), Auxiliary audio, stream referred to by the audio path of the sub-path the (Clip) a director comment on the movie, is referred to by the Main Path ClipAV the Auxiliary audio, stream referenced by the sub path audio path of the audio stream stream mixing (overlaid) in the case so as to reproduce that, this structure is utilized. すなわち、図7に示されるメインパスとサブパスの構成は、ユーザが、映画を見ながら、その映画に対する監督のコメントを合わせて聞く指令を再生装置(プレーヤ)へ入力した場合、換言すれば、メインパスで参照されるClipAVストリームの音声と、サブパスのオーディオパスで参照されるAuxiliary audio streamとを、ミキシングして再生させる場合に利用される。 That is, the configuration of a main path and a sub path shown in Figure 7, the user, while watching a movie, if you enter a command to listen to suit a comment supervision for that movie reproducing device (player), in other words, the main and audio ClipAV stream referenced by the path, and Auxiliary audio, stream referred to by the audio path of the sub path, is used when to regenerate mixes.

図7においては、メインパスに3つのPlayItemがPlayItem_id=0,1,2と配置され、サブパス(Subpath_id=0)に2つのSubPlayItemが配置されている。 In Figure 7, three PlayItem in the main path is arranged a PlayItem_id = 0, 1, 2, two SubPlayItem is disposed subpath (Subpath_id = 0). そして、Subpath_id=0のSubPath(図26にて後述する)で呼び出すSubPlayItem(図28にて後述する)は、Auxiliary audio stream(SubClip_entry_id=0の英語のAuxiliary audio streamのクリップ及びSubClip_entry_id=1の日本語のAuxiliary audio streamのクリップ)のSubpathの再生区間を指定するための、SubPlayItem_IN_timeと、SubPlayItem_out_timeを含む。 And, (to be described later with reference to FIG. 28) SubPlayItem to call in Subpath_id = 0 of SubPath (to be described later with reference to FIG. 26), Auxiliary audio stream (SubClip_entry_id = 0 of the English Auxiliary audio stream clip and SubClip_entry_id = 1 of the Japanese including a for specifying a playback section of Subpath clips) of Auxiliary audio, stream, and SubPlayItem_IN_time, a SubPlayItem_OUT_time.

図7と図6とを比較するに、図7においては、SubPlayItemによって、SubClip_entry_id=0,1のAuxiliary audio stream(英語または日本語のオーディオストリーム)を参照することができる。 To compare FIGS. 7 and 6, 7 is, SubPlayItem, it is possible to refer to the SubClip_entry_id = 0, 1 of Auxiliary audio, stream (in English or Japanese audio stream). すなわち、SubPlayItemを用いて、複数のオーディオストリームファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のオーディオストリームファイルからオーディオストリームファイルが選ばれて再生される。 That is, using a SubPlayItem, has a structure that references multiple audio stream file when reproducing the SubPlayItem is reproduced audio stream file is selected from a plurality of audio streams files. 図7の例の場合、英語のオーディオストリームファイルと日本語のオーディオストリームファイルのうち、1つのオーディオストリームファイルが選ばれて再生される。 For example in FIG. 7, of the English audio stream file and a Japanese audio stream file, one audio stream file is played is selected. 具体的には、subClip_entry_id=0,1の中から(例えば、ユーザの指令に基づいて)1つが選択され、そのIDが参照するAuxiliary audio streamが再生される。 Specifically, SubClip_entry_id = from 0,1 (e.g., based on a user command) one of the selected, Auxiliary audio, stream whose ID is referenced is reproduced. また、これに加えて、さらにメインパスにより参照されるオーディオストリームとの組み合わせによる再生が選択された場合、メインパスで参照される1stオーディオストリームと、サブパスのオーディオパスで参照される2ndオーディオストリームファイルとが、ミキシングされて再生される。 In addition to this, further when it is combined by the reproduction selection of the audio stream referred to by the Main Path, and 1st audio stream referenced by the Main Path, 2nd audio stream file referenced in the audio path subpath DOO is reproduced are mixed. なお、2つのサブパスで参照される2つのオーディオストリームが、ミキシングされて再生されるようにすることも可能であるが、これについては後述する。 Incidentally, two audio streams referenced by two sub-path, but it is also possible to be reproduced are mixed, which will be described later.

次に、図5乃至図7を用いて説明したメインパスとサブパスの構造を具体的に実現するためのデータ構造(シンタクス)を説明する。 Next, a data structure (syntax) of for realizing the main path and structure of sub-paths described with reference to FIGS.

図8は、再生装置において再生可能なデータファイルのファイルシステムの例を示す図である。 Figure 8 is a diagram showing an example of a file system of a data file that can be played back in the playback apparatus. 図8には、一例として、再生装置において再生可能なデータファイルが光ディスクなどの記録媒体によって供給されている場合を示しており、このファイルシステムはディレクトリ構造を有している。 8, as an example, shows a case where reproducible data file is being supplied by a recording medium such as an optical disk in the playback apparatus, the file system has a directory structure.

このファイルシステムにおいて、「root」の下には「BDMV」の名前が設定されたディレクトリが用意され、そのディレクトリに、「Index.bdmv」の名前が設定されたファイルと、「NavigationObject.bdmv」の名前が設定されたファイルが格納されている。 In this file system, under the "root" provides the name has been set directory of "BDMV", in that directory, and the file which is set with the name "Index.bdmv", of "NavigationObject.bdmv" the name has been set files are stored. 以下、適宜、これらのファイルをそれぞれIndexファイル、NavigationObjectファイルと称する。 Hereinafter, referred to these files each Index file, the NavigationObject file. また、適宜、各ファイルについては、「ファイル名」に「ファイル」を付加した形で、または、各ディレクトリについては、「ディレクトリ名」に「ディレクトリ」を付加した形で称する。 In addition, as appropriate, for each file, in the form of adding the "File" in the "File name", or, for each directory, referred to in the form of adding the "Directory" to "directory name".

Indexファイルは、インデックステーブルが記載されたファイルであり、再生装置において再生可能なデータファイルを再生するメニューに関する情報を含む。 Index file is a file index table is described, includes information relating to a menu for playing a data file that can be played back in the playback apparatus. 再生装置は、例えば、再生装置において再生可能なデータファイルに含まれるコンテンツを全て再生する、特定のチャプタのみ再生する、繰り返し再生する、初期メニューを表示するなどの内容の項目を含む再生メニュー画面をIndexファイルに基づいて、表示装置に表示させる。 Reproducing apparatus, for example, playback apparatus all for reproducing content contained in playable data files in and reproduces only a specific chapter, repeatedly reproduced, the reproduction menu screen including items of content such as displaying the initial menu based on the Index file, to be displayed on the display device. Indexファイルのインデックステーブルには各項目が選択されたときに実行するNavigationObjectを設定することができ、ユーザにより再生メニュー画面から1つの項目が選択された場合、再生装置はIndexファイルのインデックステーブルに設定されているNavigationObjectのコマンドを実行する。 Index is a file index table can be set NavigationObject to be executed when each item is selected, if one item from the reproduction menu screen is selected by the user, the playback device set to the index table Index File It is to execute the command of NavigationObject are.

NavigationObjectファイルは、NavigationObjectを含むファイルである。 NavigationObject file is a file that contains the NavigationObject. NavigationObjectは、再生装置において再生可能なデータファイルに含まれているPlayListの再生を制御するコマンドを含み、例えば、再生装置は、このファイルシステムに含まれているNavigationObjectの中から1つを選択して、実行することにより、コンテンツを再生させることができる。 NavigationObject includes a command for controlling reproduction of the PlayList contained in the playable data file in the playback apparatus, for example, the playback device selects one of the NavigationObject contained in the file system by executing, it is possible to reproduce the content.

BDMVディレクトリにはまた、「BACKUP」の名前が設定されたディレクトリ(BACKUPディレクトリ)、「PLAYLIST」の名前が設定されたディレクトリ(PLAYLISTディレクトリ)、「CLIPINF」の名前が設定されたディレクトリ(CLIPINFディレクトリ)、「STREAM」の名前が設定されたディレクトリ(STREAMディレクトリ)、「AUXDATA」の名前が設定されたディレクトリ(AUXDATAディレクトリ)が設けられている。 In addition to the BDMV directory, the name has been set directory of "BACKUP" (BACKUP directory), the name is set directory (PLAYLIST directory) of "PLAYLIST", the name has been set directory of "CLIPINF" (CLIPINF directory) , the name has been set directory of "STREAM" (STREAM directory), the name has been set directory of "AUXDATA" (AUXDATA directory) is provided.

BACKUPディレクトリには、再生装置において再生可能なファイルやデータをバックアップするためのファイルやデータが記録される。 The BACKUP directory, file and data for backing up playable files and data in the reproducing apparatus is recorded.

PLAYLISTディレクトリには、PlayListファイルが格納される。 The PLAYLIST directory, PlayList files are stored. 各PlayListファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子「.mpls」を付加した名称が命名される。 Each PlayList file, the name obtained by adding the extension ".mpls" to the file name consisting of a 5-digit number as shown in the Figure is named.

CLIPINFディレクトリには、Clip Informationファイルが格納される。 The CLIPINF directory, Clip Information files are stored. 各Clip Informationファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子「.clpi」を付加した名称が命名される。 Each Clip Information file, the name obtained by adding the extension ".clpi" to the file name consisting of a 5-digit number as shown in the Figure is named.

STREAMディレクトリには、Clip AVストリームファイルやサブストリームファイルが格納される。 The STREAM directory, Clip AV stream file and the sub stream file. 各ストリームファイルには、図内に示されるように5桁の数字からなるファイル名に拡張子「.m2ts」を付加した名称が命名される。 Each stream file, the name obtained by adding the extension ".m2ts" to the file name of a 5-digit numeral as shown in FIG be named.

AUXDATAディレクトリには、Clip AVストリームファイルやサブストリームファイルに含まれずに、Clip AVストリームファイルやサブストリームファイルから参照されるデータや、Clip AVストリームファイルやサブストリームファイルとは独立して利用されるデータなどのファイルが格納される。 The AUXDATA directory, not included in the Clip AV stream file or a sub-stream files, and data referenced from the Clip AV stream file and the sub stream file, data used independently of the Clip AV stream file and the sub stream file files are stored, such as. 図8の例においては、AUXDATAディレクトリには、「11111.otf」の名前がつけられている字幕のフォントのファイル、「sound.bdmv」の名前が設定された効果音などのサウンドデータが格納されている。 In the example of FIG. 8, the AUXDATA directory, font file of subtitles is named the "11111.otf", sound data, such as the name is set sound effect of "sound.bdmv" is stored ing.

以下、主に再生出力される音声データをプライマリオーディオストリーム(Primary audio stream)と称し、例えば、ユーザの操作入力に対応して発生するクリック音や効果音など、上述したAUXDATAディレクトリにsound.bdmvとして記載されている音声データをサウンドデータと称するものとする。 Hereinafter, mainly referred to as a reproduced output is audio data the primary audio stream (Primary audio stream), for example, such as a click sound and sound effects generated in response to an operation input of a user, as sound.bdmv the AUXDATA directory described above audio data described shall be referred to as sound data. サウンドデータはプライマリオーディオストリームに合成可能である。 Sound data can be combined into a primary audio stream. また、プライマリオーディオストリームとは別のストリームであって、例えば、副音声など、プライマリオーディオストリームに合成可能な音声データをセカンダリオーディオストリームと称するものとする。 Also, a separate stream from the primary audio stream, such as sub-audio, it is assumed that the audio data that can be combined into a primary audio stream is referred to as a secondary audio stream. なお、プライマリオーディオストリームとは別のストリームであって、プライマリオーディオストリームに合成可能な音声データはであるセカンダリオーディオストリームは複数存在してもよく、その場合、例えば、異なるIDを用いて、それぞれ、区別可能なようにすればよい。 Incidentally, a separate stream from the primary audio stream, secondary audio stream is synthesizable audio data in primary audio stream may be plurality of, in which case, for example, using a different ID, respectively, it may be set so as to be able to distinguish.

また、再生装置において再生可能なデータファイルが光ディスクによって配布されている場合、例えば、製作会社や映画の配給会社など、このコンテンツ製作元や、または、この記録媒体の供給元であるタイトルオーサを識別するために各タイトルオーサに割り当てられた識別子であるauthor_id、および、author_idに示されるタイトルオーサにおいて製作された光ディスクの種類を識別するために割り当てられた識別子であるdisc_idが、ユーザなどにより書き換えることができないセキュアな電子データとして、または、物理的にピットによって記録されている。 Also, if the reproducible data files are distributed by the optical disc in the playback apparatus, for example, such as production companies, movie distribution companies, the content creation source and or identify the source of the title author of the recording medium is an identifier assigned to each title author to author_id, and an identifier assigned to identify the type of the optical disc fabricated in title author shown in author_id disc_id is, be rewritten due user as a secure electronic data that can not be, or have been recorded by physical pits.

また、再生装置において再生可能なデータファイルが光ディスク以外のリムーバブルな記録媒体に記録されている場合や、ネットワークを介してダウンロードされている場合も、author_id、および、author_idに相当するidが割り当てられてそれぞれ区別可能なようになされ、図8に示す場合と同様のディレクトリ構造を有していると好適である。 Furthermore, and if the reproducible data file is recorded in a removable recording medium other than the optical disk in the reproducing apparatus, even if through a network has been downloaded, author_id, and assigned id corresponding to author_id each made so as to be distinguishable, it is preferable to have a directory structure similar to the case shown in FIG. また、再生装置において再生可能なデータファイルには、author_id、および、author_idに相当するidが割り当てられていないとしても、図8を用いて説明した場合と同様に、「Index.bdmv」の名前が設定されたファイル、「NavigationObject.bdmv」の名前が設定されたファイルが含まれており、「BACKUP」の名前が設定されたファイル群、「PLAYLIST」の名前が設定されたファイル群、「CLIPINF」の名前が設定されたファイル群、「STREAM」の名前が設定されたファイル群、「AUXDATA」の名前が設定されたファイル群のうち、適宜必要なファイル群が含まれている。 Also, renewable data file in the reproduction apparatus, author_id, and, if not assigned an id corresponding to author_id, similarly to the case described with reference to FIG. 8, the name of "Index.bdmv" set file, which contains a file which is set with the name "NavigationObject.bdmv", the name is set files of "BACKUP", group of files is set with the name "PLAYLIST", "CLIPINF" group name has been set file, group of files is set with the name "STREAM", one of the file group that is set with the name "AUXDATA", are included as appropriate the necessary files.

Indexファイル(Index.bdmv)のシンタクスを図9に示す。 The syntax of the Index file (Index.bdmv) shown in Figure 9.

Type_indicatorは、ISO646に基づいて符号化された"INDX"の値が記述されるフィールドである。 Type_indicator is a field value of the coded "INDX" is described on the basis of ISO646.

version_numberは、Index.bdmvのバージョンナンバを示す4文字の文字列であり、ISO646に基づいて符号化された"0089"の値が記述される。 version_number is a 4-character string that indicates the version number of the Index.bdmv, the value of the coded "0089" is written on the basis of ISO646.

Indexes_start_addressは、Indexes()ブロックのスタートアドレスが記載されるフィールドである。 Indexes_start_address is a field in which the start address of Indexes () block is described.

AppInfoBDMV()には、このIndexファイルを含むデータファイルの供給元を示す、個別の識別子などが記載されている。 The AppInfoBDMV (), indicating the source of the data file containing the Index file have been described and individual identifiers.

Indexes()には、例えば、メニューを読み出したり、タイトルを検索したり、所定のタイトルにジャンプしたり、または、このIndexファイルを含むデータファイルが記録されている光ディスクなどの記録媒体が再生装置に装着された場合に自動的に起動する処理を実行するアプリケーション(NavigationObject)とのリンクが記載されている。 The Indexes (), for example, to read the menu, search for titles, or jump to a predetermined title, or, in a recording medium such as an optical disc to a data file containing this Index file is recorded and reproducing apparatus links with application executes a process of automatically activated when it is mounted (NavigationObject) is described. Indexes()のシンタクスについては、図10を用いて後述する。 The syntax of Indexes (), described later with reference to FIG. 10.

Padding_wordは、Index.bdmvのシンタクスに基づいて挿入されるものであり、0または正の整数で表される。 Padding_word is intended to be inserted based on the syntax of the Index.bdmv, represented by 0 or a positive integer.

Indexes()のシンタクスの例を、図10に示す。 An example of syntax of Indexes (), shown in FIG. 10.

lengthは、Indexes()に何バイトの情報が記載されているかを表すフィールドである。 length is a field indicating how many bytes of information in Indexes () is described.

FirstPlaybackは、このファイルシステムのデータが再生される場合に最初に実行されるNavigationObjectに関する情報が含まれているデータブロックである。 FirstPlayback is a data block that contains information about the NavigationObject executed first when the data of the file system are reproduced. 具体的には、このファイルシステムのデータが記録された光ディスクなどの記録媒体が再生装置に装着されたときに最初に自動的に実行されるNavigationObjectに関する情報が含まれているデータブロックである。 Specifically, a data block that contains information about the NavigationObject to be first executed automatically when the recording medium such as an optical disk in which data of the file system is recorded is inserted into the playback device.

FirstPlayback_mobj_id_refは、最初に実行されるNavigationObjectのmobj_idの値を指定するためのフィールドである。 FirstPlayback_mobj_id_ref is a field for specifying a value of mobj_id of NavigationObject executed first. mobj_idは、NavigationObjectがそれぞれ固有に与えられているIDである。 mobj_id is an ID NavigationObject are each given to the specific. また、再生開始時に自動的に実行されるNavigationObjectが設定されない場合、すなわち、再生開始時にはアプリケーションはいずれも実行されず、ユーザによる指令を受けて、いずれかのアプリケーションが実行されるようになされている場合、このフィールドには、"0Xffff"が記載される。 Also, if NavigationObject be automatically executed at the start of reproduction is not set, i.e., at the start of reproduction is not any application running in response to a command by the user, are made as one of the applications is performed If, in this field, "0xffff" is described.

TopMenu()は、ユーザがメニュー画面を表示させる場合などに呼び出されるTopMenuのNavigationObjectに関する情報が含まれているデータブロックである。 TopMenu () is a data block that contains the user information about NavigationObject of TopMenu to be called a case of displaying a menu screen.

TopMenu_mobj_id_refは、TopMenuのNavigationObjectのmobj_idの値を指定するためのフィールドである。 TopMenu_mobj_id_ref is a field for specifying a value of mobj_id of NavigationObject the TopMenu. TopMenuが設定されない場合、このフィールドには、"0xFFFF"が記載される。 If TopMenu is not set, this field, "0xFFFF" is described.

number_of_Titlesは、Indexes()に記載されているタイトルの数を表すフィールドである。 number_of_Titles is a field representing the number of titles listed in Indexes ().

Title[title_id]()は、title_idによって固有に区別されているそれぞれのタイトルに関する情報が記載されるブロックである。 Title [title_id] () is a block that contains information about each title that is distinguished uniquely by title_id. title_idは0から割り当てられる。 title_id is allocated from 0.

Title_playback_type[title_id]は、そのtitle_idによって指定されるタイトルの再生タイプを示す情報であり、例えば、再生される動画と音声による一般的なコンテンツであるMovie Titleか、ユーザの操作入力によって再生される動画や音声が変更されるなどの双方向のやり取りが可能なコンテンツであるInteractive Titleなどのタイプが示される。 Title_playback_type [title_id] is information indicating the reproducing type title specified by that title_id, for example, Movie Title or a common content by video and audio to be reproduced, video played by the user's input operation type, such as Interactive Title is content capable of two-way exchange of such and audio is changed is shown. 例えば、そのタイトルがMovie Titleである場合、PlayListに基づいた再生処理が実行される。 For example, if the title is a Movie Title, playback processing based on PlayList is performed.

Title_access_type[title_id]は、そのtitle_idによって指定されるタイトルが、Title_Searchを用いて再生することが許可されているか否かを示す情報である。 Title_access_type [title_id] a title designated by the title_id is information indicating whether or not it is permitted to play with Title_Search.

reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている29ビットのフィールドである。 reserved_for_future_use is a field description content data of 29 bits that are unset in order to provide for future expansion.

Title_mobj_id_ref[title_id]は、そのtitle_idによって指定されるタイトルがエントリーされているNavigationObjectのmobj_idの値を指定するためのフィールドである。 Title_mobj_id_ref [title_id] is a field for a title designated by the title_id specifies a value of mobj_id of NavigationObject being entry.

図11に、PlayListファイルのデータ構造を示す。 11 shows the data structure of the PlayList file. PlayListファイルは、再生装置に装着された記録媒体、または、再生装置内部の記憶部(例えば、ハードディスクなどからなるローカルストレージ)において、PLAYLISTディレクトリに格納される、拡張子「.mpls」を有するデータファイルである。 PlayList file, the recording medium mounted on the reproducing apparatus or a reproducing apparatus internal storage unit (e.g., a local storage comprising a hard disk), the data file having stored in the PLAYLIST directory, the extension ".mpls" it is.

type_indicatorは、このファイルの種類を示す情報が記載されているものである。 type_indicator are those information indicating the type of this file is described. すなわち、このフィールドには、このファイルの種類が映像の再生を管理する再生管理情報であるPlayList(MoviePlayList)であることを示す情報が記載される。 That is, in this field, the file type is described information indicating the PlayList (MoviePlayList) is a reproduction management information for managing the reproduction of the video.

version_numberは、このxxxx.mpls(MoviePlayList)のバージョンナンバを示す4個のキャラクター文字を示すものである。 version_number shows the four character letters indicating the version number of this xxxx.mpls (MoviePlayList).

PlayList_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayList()の先頭アドレスを示すものである。 PlayList_start_address is the relative number of bytes from the leading byte of the PlayList file, which indicates the start address of PlayList ().

PlayListMark_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayListMark()の先頭アドレスを示すものである。 PlayListMark_start_address is the relative number of bytes from the leading byte of the PlayList file, which indicates the start address of PlayListMark ().

ExtensionData_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、ExtensionData()の先頭アドレスを示すものである。 ExtensionData_start_address is the relative number of bytes from the leading byte of the PlayList file, which indicates the start address of ExtensionData ().

AppInfoPlayList()には、例えば、再生制限など、PlayListの再生コントロールに関するパラメータが格納されている。 The AppInfoPlayList (), for example, a playback limit, parameters are stored regarding playback controls PlayList. AppInfoPlayList()の詳細は、図12を用いて後述する。 Details of AppInfoPlayList (), described later with reference to FIG. 12.

PlayList()には、PlayListのメインパスやサブパスなどに関するパラメータが格納されている。 The PlayList (), parameters are stored regarding such as the main path and sub path of the PlayList. PlayList()の詳細は、図13を用いて後述する。 PlayList () details will be described later with reference to FIG. 13.

PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプなどを指令するユーザオペレーションまたはコマンドなどにおけるジャンプ先(ジャンプポイント)であるマークに関する情報が格納されている。 The PlayListMark (), mark information of PlayList, namely, information relating to the mark is a jump destination (jump point) in such a user operation or a command for instructing a chapter jump or the like are stored.

ExtensionData()には、プライベートデータが挿入できるようになっている。 The ExtensionData (), private data is to be inserted.

次に、図12を参照して、AppInfoPlayList()のシンタクスについて説明する。 Next, referring to FIG. 12, described syntax of AppInfoPlayList ().

lengthは、length以下のシンタクスの長さ、すなわち、このlengthフィールドの直後からreserved_for_future_useの最後までのAppInfoPlayList()のバイト数を示すものである。 length is the length of the following syntax length, i.e., indicates the number of bytes of AppInfoPlayList () from directly after the length field to the end of the reserved_for_future_use. このlengthの後には、8ビットのreserved_for_future_useが用意される。 After this length, 8-bit reserved_for_future_use is prepared.

PlayList_playback_typeは、連続再生、ランダムアクセス、シャッフルのいずれの再生を行うPlayListであるかを示す情報を記載するフィールドである。 PlayList_playback_type is a field sequential playback, describes information indicating whether a random access, PlayList performing any reproduction shuffle.

Playback_countは、ランダムアクセス、シャッフルを行うPlayListの場合、再生に用いるPlayItemの数を示す情報を記載するフィールドである。 Playback_count the case of PlayList performing random access, the shuffling is a field for describing the information indicating the number of PlayItem used for playback.

そして、UO_mask_table()は、一時停止、チャプタサーチ、ジャンプ、早送り、早戻し(後方高速再生)等の特殊再生、または、表示等に関するユーザ操作の制限を決める情報である。 Then, UO_mask_table () is, pause, chapter search, jump, fast forward, rewind (backward high-speed reproduction) special reproduction, or the like, or is information that determines the limit of user operation relating to the display or the like.

そして、PlayList_random_access_flagは、他のPlayListからのジャンプ再生を制御するためのフラグ情報である。 Then, PlayList_random_access_flag is flag information for controlling a jump playback from another PlayList. ここでは、PlayList_random_access_flag=1に設定されている場合、他のPlayListからのジャンプ再生を禁止するものとする。 Here, if it is set to PlayList_random_access_flag = 1, it shall be prohibited jump playback from another PlayList.

例えば、再生装置においては、例えば、現在のPlayListにより参照されている再生位置から、他のPlayListにより参照される所定のPlayItemの先頭またはチャプタの位置への再生位置のジャンプを指令するユーザオペレーションなど、装置独自で拡張的なユーザオペレーションを用意することができる。 For example, in the reproduction apparatus, for example, from the reproduction position that is referenced by the current PlayList, such as a user operation commanding a jump of the playback position to the position of the leading or chapter of a predetermined PlayItem referred to by other PlayList, it can be provided an apparatus own expansive user operations. PlayList_random_access_flagは、例えば、これらのユーザオペレーションにより、他のPlayListによって参照されるClip AV Streamのある再生位置から、このPlayListによって参照されるClip AV Streamへのジャンプ(再生位置の移動)が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。 PlayList_random_access_flag is, for example, these user operations, if from a certain reproduction position of Clip AV Stream referred to by other PlayList, jump to Clip AV Stream referred to by this PlayList (movement of the playback position) is commanded is flag information for setting whether to restrict the user operation.

なお、ユーザオペレーションによりジャンプ(再生位置の移動)が指令されるのではなく、ナビゲーションコマンドによりジャンプ(再生位置の移動)が指令された場合、PlayList_random_access_flagは無視される(コマンドは実行され、コマンドの発生に伴って、再生位置が移動される)。 Instead of jumping (movement of the playback position) is commanded by a user operation, when a jump (movement of the playback position) is commanded by the navigation command, PlayList_random_access_flag (Command is ignored is executed, the command generation with the playback position is moved).

is_MixAppは、このPlayListファイルにより再生されるストリームが音声や効果音の合成を行うか否かのフラグである。 is_MixApp, the stream to be played back by the PlayList file is whether flag for synthesizing the speech and sound effects. すなわち、このis_MixAppは、このPlayListにより参照されるデータに、プライマリオーディオストリームに合成され得るサウンドデータまたはセカンダリオーディオストリームが含まれているか否かを示すフラグとして定義されている。 That is, this is_MixApp is the data referenced by the PlayList, which is defined as a flag indicating whether contains sound data or secondary audio stream may be synthesized in the primary audio stream. この1つのフラグを確認することのみにより、オーディオデータの合成が行われるか否かを、迅速に認識することが可能となる。 Only by verifying this one flag, whether the synthesis of the audio data is performed, it is possible to quickly recognize.

また、Lossless_may_bypass_mixer_flagは、ロスレスの音声の再生に関するフラグである。 Further, Lossless_may_bypass_mixer_flag is a flag relating to the reproduction of the lossless audio. この後には、13ビットのreserved_for_future_useが用意される。 This is followed by a 13-bit reserved_for_future_use is prepared.

次に、図13は、PlayList()のシンタクスを示す図である。 Next, FIG. 13 is a diagram showing the syntax of PlayList ().

lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す32ビットの符号なし整数である。 length is a 32-bit unsigned integer indicating the number of bytes to the end of PlayList () from directly after the length field. すなわち、reserved_for_future_useからPlayListの最後までのバイト数を示すフィールドである。 That is, a field indicating the number of bytes from reserved_for_future_use to the end of PlayList. このlengthの後には、16ビットのreserved_for_future_useが用意される。 After this length, 16-bit reserved_for_future_use is prepared. reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている。 reserved_for_future_use is description content data is unset to provide for future expansion. number_of_PlayItemsは、PlayListの中にあるPlayItemの数を示す16ビットのフィールドである。 number_of_PlayItems is a 16-bit field indicating the number of PlayItem in the PlayList. 例えば、図5の例の場合PlayItemの数は3個である。 For example, the number of cases PlayItem in the example of FIG. 5 is a three. PlayItem_idの値は、PlayListの中でPlayItem()が現れる順番に0から割り振られる。 The value of PlayItem_id is assigned from 0 in the order in which PlayItem () appears in the PlayList. 例えば、図5に示されるように、PlayItem_id=0,1,2が割り振られる。 For example, as shown in FIG. 5, PlayItem_id = 0, 1, 2 are assigned.

number_of_SubPathsは、PlayListの中にあるSubPathの数(エントリー数)を示す16ビットのフィールドである。 number_of_SubPaths is a 16-bit field indicating the number (number of entries) of SubPath in the PlayList. 例えば、図5の例の場合、Sub Pathの数は3個である。 For example, in the example of FIG. 5, the number of Sub Path is three. SubPath_idの値は、PlayListの中でSubPath()が現れる順番に0から割り振られる。 The value of SubPath_id is assigned from 0 in the order in which SubPath () appears in the PlayList. 例えば、図5に示されるように、Subpath_id=0,1,2が割り振られる。 For example, as shown in FIG. 5, Subpath_id = 0, 1, 2 are assigned. その後のfor文では、PlayItemの数だけPlayItemが参照され、Sub Pathの数だけ、Sub Pathが参照される。 In the subsequent for sentence, PlayItem are referred to by the number of PlayItem, only the number of Sub Path, Sub Path is referenced.

次に、図14を参照して、PlayItem()のシンタクスについて説明する。 Next, with reference to FIG. 14, described syntax of PlayItem ().

lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す16ビットの符号なし整数である。 length is a 16-bit unsigned integer indicating the number of bytes to the end of PlayItem () from directly after the length field. Clip_Information_file_ name[0]は、PlayItemが参照するClipを指定するためのフィールドである。 Clip_Information_file_ name [0] is a field for specifying the Clip referred to by the PlayItem. 図14の例の場合、Clip_Information_file_ name[0]により、メインClipAVストリームファイルが参照される。 In the example shown in FIG. 14, the Clip_Information_file_ name [0], the main ClipAV stream file is referenced. また、PlayItem()には、Clipのコーディック方式を指定するClip_codec_identifier[0]、将来の拡張に備えるためにデータの記述内容が未設定とされているreserved_for_future_use、マルチアングル再生に対応しているか否かを示すフラグであるis_multi_angle、接続状態に関する情報であるconnection_condition、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[0]が含まれる。 Further, the PlayItem (), Clip_codec_identifier [0] specifying a codec method of the Clip, whether description content of the data to prepare for future extension reserved_for_future_use being unset corresponds to multi-angle playback which is a flag indicating is_multi_angle, the information on the connection status connection_condition, include ref_to_STC_id [0] is information relating to STC discontinuous point (a discontinuous point of system time base). さらに、PlayItem()には、Clipの中のPlayItemの再生区間を指定するためのIN_timeとOUT_timeが含まれる。 Furthermore, the PlayItem (), includes IN_time and OUT_time for specifying a PlayItem of the playback domain in the Clip. 図14の例の場合、IN_timeとOUT_timeにより、メインClipAVストリームファイルの再生範囲が表される。 In the example shown in FIG. 14, the IN_time and OUT_time, the reproduction range of the main ClipAV stream file is represented.

また、PlayItem()には、ユーザ入力の受付制限をするUO_mask_table()、他のPlayItemからのジャンプ再生を制御するPlayItem_random_access_flagが含まれる。 Further, the PlayItem (), UO_mask_table to the accepted limits of user input () includes PlayItem_random_access_flag for controlling a jump playback from another PlayItem.

図14に示される、PlayItem()のUO_mask_table()には、このPlayItemを参照してClip AV Streamが再生されているときに操作入力される各種のユーザオペレーションについて、それぞれ許可するか否かが設定されている。 Shown in Figure 14, the PlayItem (UO_mask_table of) (), the various user operations that are operation input when the Clip AV Stream with reference to this PlayItem is played, whether or not to permit each set It is.

そして、図14に示される、PlayItem()のPlayItem_random_access_flagは、ユーザオペレーションにより、他のPlayItemによって参照されるClip AV Streamのある再生位置から、このPlayItemによって参照されるClip AV Streamへのジャンプ(再生位置の移動)が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。 Then, as shown in FIG. 14, PlayItem_random_access_flag of PlayItem () is the user operation, Copyright (reproduction position from one reproduction position of Clip AV Stream referred to by other PlayItem, the Clip AV Stream referred to by this PlayItem If the movement of) is commanded, which is flag information for setting whether to restrict the user operation. ここでは、PlayItem_random_access_flag=1に設定されている場合、他のPlayItemからのジャンプ再生を禁止するものとする。 Here, if it is set to PlayItem_random_access_flag = 1, it shall be prohibited jump playback from another PlayItem. このフラグについての詳細な説明は後述する。 Detailed description of this flag will be described later.

なお、ユーザオペレーションによりジャンプ(再生位置の移動)が指令されるのではなく、ナビゲーションコマンドによりジャンプ(再生位置の移動)が指令された場合、PlayItem_random_access_flagは無視される(コマンドは実行され、コマンドの発生に伴って、再生位置が移動される)。 Instead of jumping (movement of the playback position) is commanded by a user operation, when a jump (movement of the playback position) is commanded by the navigation command, PlayItem_random_access_flag (Command is ignored is executed, the command generation with the playback position is moved).

さらに、PlayItem()には、最後に表示をした映像を静止画として表示をさせるか否かを示すstill_modeが含まれる。 Furthermore, the PlayItem (), include still_mode indicating whether to display an image in which the last displayed as a still image. なお、is_multi_angleが複数ある場合(is_multi_angle==1)については、本発明と直接的には関係ないのでその説明を省略する。 Incidentally, the description thereof is omitted because the case where a plurality (is_multi_angle == 1), the present invention and not directly related to is_multi_angle.

そして、STN_table()は、対象のPlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、例えば、音声切り替えや字幕切り替え、または、子画面の表示非表示の選択を指令するユーザの操作入力、または、アプリケーションによるコマンドの発生などによって、そのPlayItemが参照するClipとこれらの1つ以上のSubPathが参照するClipの中から、再生されるストリームを選択することができる仕組みを提供するための情報である。 Then, STN_table (), when one or more of the SubPath be played back in association with the PlayItem of interest are prepared, for example, audio switching and subtitle switching, or the show selection of the child screen user operation input command, or the like occurs in the command by the application, a mechanism from the Clip to Clip and one or more of these SubPath that PlayItem refers references, it is possible to select the stream to be reproduced is information for providing.

例えば、PlayItem()とそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるビデオストリームをプライマリビデオストリーム(Primary video stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるビデオストリームをセカンダリビデオストリーム(secondary video stream)としたり、または、PlayItemが参照するClip(メインClip)に含まれるビデオストリームのうちの2つのビデオストリームを、それぞれプライマリビデオストリームとセカンダリビデオストリームとして、これらをミキシングして、全画面(プライマリビデオストリーム)と子画面(セカンダリビデオストリーム)で再生することができる仕組みを提供するようにした。 For example, PlayItem () and if one or more of the SubPath are played associated are provided thereto, the primary video stream to video stream included in the Clip referenced by the PlayItem constituting a Main Path (Primary video stream) and then, or a secondary video stream video stream included in a Clip SubPlayItem refers constituting the SubPath (secondary video stream), or, two video of the video stream by the PlayItem included in the Clip (main Clip) reference stream as the primary video stream and secondary video stream, respectively, and mixing them, was to provide a mechanism that can be reproduced in full screen (primary video stream) and child screen (secondary video stream). このような手法は、ピクチャインピクチャ(Picture in Picture)手法と称される。 Such an approach is referred to as picture-in-picture (Picture in Picture) method.

また、同様にして、例えば、PlayItem()とそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるオーディオストリームをプライマリオーディオストリーム(Primary audio stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるオーディオストリームをセカンダリオーディオストリーム(secondary audio stream)としたり、または、PlayItemが参照するClip(メインClip)に含まれるオーディオストリームのうちの2つのオーディオストリームを、それぞれプライマリオーディオストリームとセカンダリオーディオストリームとして、これらをミキシングして再生することができる仕組みを提供するようにした。 Similarly, for example, when one or more of the SubPath be played back in association with the PlayItem () is prepared, the primary audio and audio streams included in Clip referenced by the PlayItem constituting a Main Path and a stream (Primary audio stream), an audio stream included in Clip (main Clip) or an audio stream included in a Clip referenced by the SubPlayItem constituting the SubPath and secondary audio streams (secondary audio stream), or, referred to by the PlayItem two audio streams of, as the primary audio stream and a secondary audio stream, respectively, so as to provide a mechanism that can be reproduced by mixing them.

そして、プライマリビデオストリームと同時に再生され得るストリームとして、ここでは、次の第1乃至第4の種類のストリームが用意される。 Then, as a stream of the primary video stream and may be played at the same time, here, the following first to fourth types of streams are prepared.

第1の種類のストリームとは、STN_tableにおいてPrimary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したプライマリオーディオストリームである。 The first type stream, audio stream defined in Primary_audio_stream_id in STN_table, i.e., a primary audio stream described above.

第2の種類のストリームとは、STN_tableにおいてSecondary_video_stream_idで定義されるビデオストリーム、すなわち、上述したセカンダリビデオストリームである。 The second type of stream, video stream defined in Secondary_video_stream_id in STN_table, i.e., a secondary video stream as described above.

第3の種類のストリームとは、STN_tableにおいてSecondary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したセカンダリオーディオストリームである。 The third type of stream, an audio stream defined in Secondary_audio_stream_id in STN_table, i.e., a secondary audio stream described above.

第4の種類のストリームとは、サブパスで参照されるテキスト字幕ストリーム(txtST)や、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリーム(PG, Presentation Graphics stream)等であり、STN_tableにおいて、PG_txtST_stream_id、IG_stream_idで定義される。 The fourth type of stream, the text subtitle stream (txtST) referenced by the sub path or stream (, PG Presentation Graphics stream) of the bitmap subtitle and run-length coding, such as sub-picture of the DVD and the like, in STN_table, PG_txtST_stream_id, defined by IG_stream_id.

STN_table()は、これらのストリームの組み合わせを定義する情報である。 STN_table () is information that defines a combination of these streams.

次に、図15および図16を用いて、STN_table()のシンタクスについて説明する。 Next, with reference to FIGS. 15 and 16, it will be described the syntax of STN_table ().

このSTN_table()は、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義するにあたって、特に、セカンダリオーディオストリームとプライマリオーディオストリームとの組み合わせ、セカンダリビデオストリームとセカンダリオーディオストリームとの組み合わせ、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のプレゼンテーショングラフィックス(PG)またはテキスト字幕の組み合わせを定義する。 The STN_table () can be played back simultaneously in combination with the primary video stream, secondary video stream, primary audio stream, secondary audio stream, and, in order to define a combination of the subtitle streams, in particular, a secondary audio stream and a primary audio stream the combination of defining a combination of the secondary video stream and the secondary combination of audio streams, the secondary video stream and a presentation graphics for picture-in-picture applications (PG) or text subtitle.

lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す16ビットの符号なし整数である。 length is the last to a 16-bit unsigned integer indicating the number of bytes of the STN_table () from directly after the length field. lengthの後には、16ビットのreserved_for_future_useが用意される。 After length is 16-bit reserved_for_future_use is prepared.

number_of_primary_video_stream_entriesは、STN_table()の中でエントリーされる(登録される)primary_video_stream_idが与えられるストリーム数を示す。 number_of_primary_video_stream_entries indicates the number of streams provided entries are the (registered as) Primary_video_stream_id in STN_table (). primary_video_stream_idは、ビデオストリームを識別するための情報であり、primary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。 primary_video_stream_id is information for identifying the video stream, Primary_video_stream_number is used in a video switching is a video stream number that can be seen by the user.

number_of_primary_audio_stream_entriesは、STN_table()の中でエントリーされるprimary_audio_stream_idが与えられるストリーム数を示す。 number_of_primary_audio_stream_entries indicates the number of streams that is given primary_audio_stream_id to be entered in STN_table (). primary_audio_stream_idは、オーディオストリームを識別するための情報であり、primary_audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。 primary_audio_stream_id is information for identifying an audio stream, Primary_audio_stream_number is an audio stream number that can be seen by the user when used for audio switching.

number_of_PG_txtST_stream_entriesは、STN_table()の中でエントリーされるPG_txtST_stream_idが与えられるストリーム数を示す。 number_of_PG_txtST_stream_entries indicates the number of streams that is given PG_txtST_stream_id to be entered in STN_table (). この中では、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリーム(PG, Presentation Graphics stream)とテキスト字幕ファイル(txtST)がエントリーされる。 Among these, stream run-length encoded bitmap subtitles, such as sub-picture of DVD (PG, Presentation Graphics stream) and a text subtitle file (txtST) are entered. PG_txtST_stream_idは、字幕ストリームを識別するための情報であり、PG_txtST_stream_numberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号(テキストサブタイトルストリームの番号)である。 PG_txtST_stream_id is information for identifying a caption stream, PG_txtST_stream_number is a subtitle stream number that can be seen by the user to be used in the subtitle switching (number of the text subtitle stream).

number_of_IG_stream_entriesは、STN_table()の中でエントリーされる IG_stream_idが与えられるストリーム数を示す。 number_of_IG_stream_entries indicates the number of streams is given IG_stream_id to be entered in STN_table (). この中では、インタラクティブグラフィックスストリームがエントリーされる。 Among these, interactive graphics stream is an entry. IG_stream_idは、インタラクティブグラフィックスストリームを識別するための情報であり、IG_stream_numberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。 IG_stream_id is information for identifying an interactive graphics stream, IG_stream_number are graphics stream number that can be seen by the user when used for graphics switching.

number_of_secondary_audio_stream_entriesは、STN_table()の中でエントリーされる(登録される)secondary_audio_stream_idが与えられるストリーム数を示す。 number_of_secondary_audio_stream_entries indicates the number of streams provided entries are the (registered as) Secondary_audio_stream_id in STN_table (). secondary_audio_stream_idは、オーディオストリームを識別するための情報であり、secondary_audio_stream_numberは、オーディオ切り替えに使われる、ユーザから見えるオーディオストリーム番号である。 secondary_audio_stream_id is information for identifying an audio stream, Secondary_audio_stream_number is used in an audio switch, an audio stream number that can be seen by the user.

number_of_secondary_video_stream_entriesは、STN_table()の中でエントリーされる(登録される)secondary_video_stream_idが与えられるストリーム数を示す。 number_of_secondary_video_stream_entries indicates the number of streams provided entries are the (registered as) secondary_video_stream_id in STN_table (). secondary_video_stream_idは、ビデオストリームを識別するための情報であり、secondary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。 secondary_video_stream_id is information for identifying the video stream, Secondary_video_stream_number is used in a video switching is a video stream number that can be seen by the user.

そして、number_of_PiP_PG_textST_stream_entries_plusは、STN_table()の中でエントリーされる(登録される)ピクチャインピクチャ用の字幕ストリーム(PiP_PG_textST_stream)のストリーム数を示す。 Then, number_of_PiP_PG_textST_stream_entries_plus indicates the number of streams of STN_table () is the entry in the subtitle stream for (registered as) picture-in-picture (PiP_PG_textST_stream).

プライマリビデオストリームID (primary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのビデオエレメンタリストリームに、0からprimary_video_stream_idが与えられる。 In the for-loop of the primary video stream ID (primary_video_stream_id), into one video elementary stream specified for each stream_entry () in turn, Primary_video_stream_id is applied from zero. なお、プライマリビデオストリームID(primary_video_stream_id)の代わりに、プライマリビデオストリーム番号(primary_video_stream_number)を用いるようにしてもよい。 Instead of the primary video stream ID (primary_video_stream_id), it may be used the primary video stream number (primary_video_stream_number). この場合、primary_video_stream_numberは、0ではなく1から与えられる。 In this case, Primary_video_stream_number is given from 1, not 0. すなわち、primary_video_stream_idの値に1を加算したものがprimary_video_stream_numberである。 That is, those obtained by adding 1 to the value of primary_video_stream_id is Primary_video_stream_number. ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、1から定義される。 Video stream number is used in a video switching, since a video stream number that can be seen by the user, is defined from 1.

それぞれのforループの中のstream_entry()については、図17を用いて後述する。 For stream_entry in each of the for loop () will be described later with reference to FIG. 17.

また、それぞれのforループの中のstream_attribute()は、stream_entry()ごとに特定される1つのエレメンタリストリームのストリーム属性情報を与える。 Further, stream_attribute () in each of the for loop, provides stream attribute information concerning one of the elementary stream specified for each stream_entry (). すなわち、このstream_attribute()には、stream_entry()ごとに特定される1つのエレメンタリストリームのストリーム属性情報が記述されている。 That is, in the stream_attribute (), stream attribute information concerning one elementary stream specified for each stream_entry () is described. stream_attribute()については、図18を用いて後述する。 The stream_attribute (), described later with reference to FIG. 18.

また、同様に、プライマリオーディオストリームID (primary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのオーディオエレメンタリストリームに、0からprimary_audio_stream_idが与えられる。 Similarly, in the for-loop of the primary audio stream ID (primary_audio_stream_id), one audio elementary stream specified for each stream_entry () in turn, Primary_audio_stream_id is applied from zero. なお、ビデオストリームの場合と同様に、プライマリオーディオストリームID(primary_audio_stream_id)の代わりに、プライマリオーディオストリーム番号(primary_audio_stream_number)を用いるようにしてもよい。 As in the case of the video stream, instead of the primary audio stream ID (primary_audio_stream_id), it may be used the primary audio stream number (primary_audio_stream_number). この場合、primary_audio_stream_numberは、0ではなく1から与えられる。 In this case, Primary_audio_stream_number is given from 1, not 0. すなわち、primary_audio_stream_idの値に1を加算したものがprimary_audio_stream_numberである。 That is, those obtained by adding 1 to the value of primary_audio_stream_id is Primary_audio_stream_number. オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、1から定義される。 Audio stream number is used for audio switching, since it is an audio stream number that can be seen by the user, is defined from 1.

同様に、字幕ストリームID (PG_txtST_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、0からPG_txtST_stream_idが与えられる。 Similarly, in the for-loop of the subtitle stream ID (PG_txtST_stream_id), into one bitmap subtitle elementary stream or text subtitle specified for each stream_entry sequentially (), PG_txtST_stream_id is given from 0. また、PiP_ PG_txtST_streamについても、同様にして、連続したIDが与えられる。 As for the PiP_ PG_txtST_stream, similarly, given the continuous ID. ビデオストリームの場合と同様に、字幕ストリームID(PG_txtST_stream_id)の代わりに、字幕ストリーム番号(PG_txtST_stream_number)を用いるようにしてもよい。 As with the video stream, instead of the subtitle stream ID (PG_txtST_stream_id), it may be used subtitle stream number (PG_txtST_stream_number). この場合、PG_txtST_stream_numberは、0ではなく1から与えられる。 In this case, PG_txtST_stream_number is given from 1, not 0. すなわち、PG_txtST_stream_idの値に1を加算したものがPG_txtST_stream_numberである。 That is, those obtained by adding 1 to the value of PG_txtST_stream_id is PG_txtST_stream_number. 字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号(テキストサブタイトルストリームの番号)であるので、1から定義される。 Subtitle stream number are the subtitle stream number that can be seen by the user when used in the subtitle switching (number of the text subtitle stream), it is defined from 1.

同様に、グラフィックスストリームID (IG_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのインタラクティブグラフィックスエレメンタリストリームに、0からIG_stream_idが与えられる。 Similarly, in a for-loop of the graphics stream ID (IG_stream_id), the one interactive graphics elementary stream specified for each stream_entry () in turn, IG_stream_id is applied from zero. なお、ビデオストリームの場合と同様に、グラフィックスストリームID(IG_stream_id)の代わりに、グラフィックスストリーム番号(IG_stream_number)を用いるようにしてもよい。 As in the case of the video stream, instead of the graphics stream ID (IG_stream_id), it may be used graphics stream number (IG_stream_number). この場合、IG_stream_numberは、0ではなく1から与えられる。 In this case, IG_stream_number is given from 1, not 0. すなわち、IG_stream_idの値に1を加算したものがIG_stream_numberである。 That is, those obtained by adding 1 to the value of IG_stream_id is IG_stream_number. グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、1から定義される。 Graphics stream number, since graphics stream number that can be seen by the user when used for graphics switching, is defined from 1.

また、同様に、セカンダリオーディオストリームID (secondary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのオーディオエレメンタリストリームに、0からsecondary_audio_stream_idが与えられる。 Similarly, in the for-loop of the secondary audio stream ID (secondary_audio_stream_id), one audio elementary stream specified for each stream_entry () in turn, Secondary_audio_stream_id is applied from zero. なお、ビデオストリームの場合と同様に、セカンダリオーディオストリームID(secondary_audio_stream_id)の代わりに、セカンダリオーディオストリーム番号(secondary_audio_stream_number)を用いるようにしてもよい。 As in the case of the video stream, instead of the secondary audio stream ID (secondary_audio_stream_id), it may be used a secondary audio stream number (secondary_audio_stream_number). この場合、secondary_audio_stream_numberは、0ではなく1から与えられる。 In this case, Secondary_audio_stream_number is given from 1, not 0. すなわち、secondary_audio_stream_idの値に1を加算したものがsecondary_audio_stream_numberである。 That is, those obtained by adding 1 to the value of secondary_audio_stream_id is Secondary_audio_stream_number. セカンダリオーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリオーディオストリーム番号であるので、1から定義される。 Secondary audio stream number is used for audio switching, since the secondary audio stream number that can be seen by the user, is defined from 1.

そして、comb_info_Secondary_audio_Primary_audio()のブロックは、セカンダリオーディオとプライマリオーディオの組み合わせを示す。 Then, the block of Comb_info_Secondary_audio_Primary_audio () indicates a combination of the secondary audio and primary audio.

comb_info_Secondary_audio_Primary_audio()のブロック内において、number_of_primary_audio_stream_ref_entriesの8ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームの数を示す。 In the block of Comb_info_Secondary_audio_Primary_audio (), 8-bit field of number_of_primary_audio_stream_ref_entries indicates the number of primary audio streams that can be combined with a secondary audio stream. そして、primary_audio_stream_id_refの8ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームのIDを示す。 Then, 8-bit field of primary_audio_stream_id_ref indicates the ID of the primary audio stream can be combined with the secondary audio stream.

また、同様に、セカンダリビデオストリームID (secondary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される1つのオーディオエレメンタリストリームに、0からsecondary_video_stream_idが与えられる。 Similarly, in the for-loop of the secondary video stream ID (secondary_video_stream_id), one audio elementary stream specified for each stream_entry () in turn, secondary_video_stream_id is applied from zero. なお、ビデオストリームの場合と同様に、セカンダリビデオストリームID(secondary_video_stream_id)の代わりに、セカンダリビデオストリーム番号(secondary_video_stream_number)を用いるようにしてもよい。 As in the case of the video stream, instead of the secondary video stream ID (secondary_video_stream_id), it may be used a secondary video stream number (secondary_video_stream_number). この場合、secondary_video_stream_numberは、0ではなく1から与えられる。 In this case, Secondary_video_stream_number is given from 1, not 0. すなわち、secondary_video_stream_idの値に1を加算したものがsecondary_video_stream_numberである。 That is, those obtained by adding 1 to the value of secondary_video_stream_id is Secondary_video_stream_number. セカンダリビデオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリビデオストリーム番号であるので、1から定義される。 Secondary video stream number is used for audio switching, since the secondary video stream number that can be seen by the user, is defined from 1.

次に、comb_info_Secondary_video_Secondary_audio()のブロックは、セカンダリビデオストリームとセカンダリオーディオストリームの組み合わせを示す。 Next, block Comb_info_Secondary_video_Secondary_audio () shows a combination of a secondary video stream and the secondary audio stream.

comb_info_Secondary_video_Secondary_audio()のブロック内において、number_of_Secondary_audio_stream_ref_entriesの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームの数を示す。 In the block of Comb_info_Secondary_video_Secondary_audio (), 8-bit field of number_of_Secondary_audio_stream_ref_entries indicates the number of secondary audio streams that can be combined with the secondary video stream. そして、Secondary_audio_stream_id_refの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームのIDを示す。 Then, 8-bit field of Secondary_audio_stream_id_ref indicates the ID of the secondary audio streams that can be combined with the secondary video stream.

そして、comb_info_Secondary_video_PiP_PG_textST()のブロックは、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームの組み合わせを示す。 The block comb_info_Secondary_video_PiP_PG_textST () shows a combination of a stream of PG · text subtitle for the secondary video stream and the picture-in-picture applications.

comb_info_Secondary_video_PiP_PG_textST()のブロック内において、number_of_PiP_PG_textST_ref_entriesの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るPIPアプリケーション用のPG・テキスト字幕のストリームの数を示す。 In the block of comb_info_Secondary_video_PiP_PG_textST (), 8-bit field of number_of_PiP_PG_textST_ref_entries indicates the number of streams of PG · text subtitle for PIP applications that can be combined with the secondary video stream. また、PiP_PG_textST_stream_id_refの8ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームのIDを示す。 Also, 8-bit field of PiP_PG_textST_stream_id_ref indicates the ID of a stream of PG · text subtitle for picture-in-picture application that can be combined with the secondary video stream.

このようなSTN_tableを用いることにより、プライマリビデオストリームと同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリーム(PG TextSTストリーム)の組み合わせに加えて、ピクチャインピクチャアプリケーション用のPG・テキスト字幕ストリーム(PiP PG TextSTストリーム)の組み合わせとして矛盾するような組み合わせを選択することを防ぐようにすることができる。 By using such a STN_table, the primary video stream and may be played back simultaneously, secondary video stream, primary audio stream, secondary audio stream, and, in addition to the combination of the subtitle stream (PG TextST stream), for picture-in-picture application it is possible to prevent the selection of combinations to contradict as a combination of PG · text subtitle stream (PiP PG TextST stream).

図17は、Stream_entry()のシンタクスを示す図である。 Figure 17 is a diagram illustrating the syntax of a Stream_entry ().

type=1では、PlayItemによって参照されるClip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、16ビットのパケットID(PID)が指定される。 In type = 1, in order to identify one of the elementary streams from a plurality of elementary streams multiplexed in the Clip (Main Clip) referred to by PlayItem, 16-bit packet ID (PID) There are specified. ref_to_stream_PID_of_mainClipが、このPIDを示している。 ref_to_stream_PID_of_mainClip have shown this PID. すなわち、type=1では、メインClipAVストリームファイルの中のPIDを指定するだけでストリームが決定される。 That is, in the type = 1, the stream only by specifying the PID in the main ClipAV stream file is determined.

type=2では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される1つのClip(SubClip)の複数のエレメンタリストリームの中から1つのエレメンタリストリームを特定するために、そのSubPathのSubPath_id、Clip id、およびパケットID(PID)が指定される。 type = In 2, SubPath refers to the plurality of Clips at a time, if each of the Clip to multiplex multiple elementary streams, a plurality of elementary streams of one Clip (SubClip) referenced by SubPath to identify one elementary stream from the, SubPath_id of the SubPath, is Clip id, and packet ID (PID) is designated. ref_to_SubPath_idがこのSubPath_idを示し、ref_to_SubClip_entry_idがこのClip idを示し、ref_to_stream_PID_of_SubClipがこのPIDを示している。 ref_to_SubPath_id indicates this SubPath_id, ref_to_SubClip_entry_id indicates this Clip id, ref_to_stream_PID_of_SubClip indicates the PID. SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。 Multiple Clip is referenced in the SubPlayItem, used when a plurality of elementary streams are referred to further this Clip.

このように、type(type1とtype2の2つのtype)を使うことで、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から1つのエレメンタリストリームを特定することができる。 Thus, by using the type (2 one type of type1 and type2), when one or more of the SubPath are played PlayItem and associated with it are prepared, and one 1 Clip this PlayItem refers it can be identified one elementary stream from the Clip referenced by the above SubPath. なお、type=1はMain Pathが参照するClip(メインClip)を示しており、type=2はSub Pathが参照するClip(サブClip)を示している。 Incidentally, type = 1 indicates a Clip (main Clip) referred to by the Main Path, type = 2 indicates a Clip (sub Clip) referred to by the Sub Path.

そして、type=3は、対応するPlayItemにおいて、MainClipに含まれ、SubPathによって参照されるエレメンタリストリームを識別するためのものである。 Then, type = 3, in the corresponding PlayItem, included in the Main Clip, is used to identify an elementary stream referred to by SubPath.

すなわち、type=3では、SubPathがMainPathと同じClipを参照し、換言すれば、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照している場合に、MainClipの複数のエレメンタリストリームの中から、SubPathによって参照される1つのエレメンタリストリームを再生時に特定するために、ref_to_stream_PID_of_MainClipにより、MainClipのパケットID(PID)が指定される。 That is, in the type = 3, SubPath refers to the same Clip as the MainPath, in other words, elementary plurality of elementary streams to MainClip are multiplexed, both the MainPath and SubPath, multiplexed in the MainClip when that reference one of streams from a plurality of elementary streams MainClip, in order to identify the time of reproducing a single elementary stream referred to by SubPath, by ref_to_stream_PID_of_mainClip, packet ID of MainClip (PID) is specified. また、ref_to_SubPath_idによりSubPath_idが示され、このSubPath_idにより図9のPlayList()で定義されたSubPathが特定され、このSubpathから対応するSubPlayItem(図28)が呼び出されることにより、エレメンタリストリームの再生時間(IN_time, OUT_time)等を把握することができるようになされている。 Further, SubPath_id is indicated by ref_to_SubPath_id, is SubPath defined in PlayList of FIG. 9 () specified by this SubPath_id, by the corresponding SubPlayItem (Figure 28) is called from the Subpath, elementary stream playback time ( IN_time, they are made to be able to grasp the OUT_time) or the like.

なお、type=3、すなわち、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照するのは、図27を用いて後述するSubPath_typeが、SubPath_type =7である場合である。 Incidentally, type = 3, i.e., MainClip plurality of elementary streams are multiplexed, any of the MainPath and the SubPath, to refer to any of the elementary streams multiplexed on the MainClip is Figure SubPath_type to be described later with reference to 27 is a case where SubPath_type = 7.

このように、type(type1乃至type3の3つのtype)を使うことで、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipが、さらに、SubPathから参照されている場合であっても、Clipの中から1つのエレメンタリストリームを特定することができる。 Thus, by using the type (3 one type of type1 to type3), when one or more of the SubPath are played PlayItem and associated with it are provided, Clip this PlayItem refers further even if it is referenced from the SubPath, it is possible to identify one elementary stream from the Clip.

次に、stream_attribute()のシンタクスについて図18を参照して説明する。 It will now be described with reference to FIG. 18 for syntax of stream_attribute ().

lengthは、このlengthフィールドの直後からstream_attribute()の最後までのバイト数を示す16ビットの符号なし整数である。 length is the last to a 16-bit unsigned integer indicating the number of bytes of stream_attribute () from directly after the length field.

stream_coding_typeは、図19に示されるようにエレメンタリストリームの符号化タイプを示す。 stream_coding_type indicates the coding type of the elementary stream, as shown in Figure 19. エレメンタリストリームの符号化タイプとしては、MPEG-2 video stream、HDMV LPCM audio、Dolby AC-3 audio、dts audio、Presentation graphics stream、Interactive graphics stream、およびText subtitle streamが記述される。 The coding type of an elementary stream, MPEG-2 video stream, HDMV LPCM audio, Dolby AC-3 audio, dts audio, Presentation graphics stream, the Interactive graphics, stream, and Text subtitle, stream is described. なお、このstream_coding_typeを拡張し、MPEG−4 AVC、VC−1等の他のコーディックにより圧縮されたビデオストリームを扱えるようにしてもよい。 Note that extend this stream_coding_type, MPEG-4 AVC, it may be able to handle video stream compressed by other codec such as VC-1.

video_formatは、図20に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。 video_format indicates the video format of a video elementary stream, as shown in Figure 20. ビデオエレメンタリストリームのビデオフォーマットとしては、480i、576i、480p、1080i、720p、および1080pが記述される。 The video format of the video elementary stream, 480i, 576i, 480p, 1080i, 720p, and 1080p are described.

frame_rateは、図21に示されるように、ビデオエレメンタリストリームのフレームレートを示す。 frame_rate, as shown in FIG. 21 shows a frame rate of a video elementary stream. ビデオエレメンタリストリームのフレームレートとしては、24000/1001、24、25、30000/1001、50、および60000/1001が記述される。 The frame rate of the video elementary stream, 24000 / 1001,24,25,30000 / 1001,50, and 60000/1001 are described.

aspect_ratioは、図22に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。 aspect_ratio represents the aspect ratio information of the video elementary stream, as shown in Figure 22. ビデオエレメンタリストリームのアスペクト比情報としては、4:3 display aspect ratio、および16:9 display aspect ratioが記述される。 The aspect ratio information of the video elementary stream, 4: 3 display aspect ratio, and 16: 9 display aspect ratio is described.

audio_presentation_typeは、図23に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。 audio_presentation_type indicates the presentation type information of the audio elementary stream, as shown in Figure 23. オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、single mono channel、dual mono channel、stereo(2-channel)、およびmulti-channelが記述される。 The presentation type information of an audio elementary stream, single mono channel, dual mono channel, stereo (2-channel), and multi-channel is described.

sampling_frequencyは、図24に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。 sampling_frequency indicates the sampling frequency of the audio elementary stream, as shown in Figure 24. オーディオエレメンタリストリームのサンプリング周波数としては、48kHz、および96kHzが記述される。 The sampling frequency of the audio elementary stream, 48kHz, and 96kHz are described.

audio_language_codeは、オーディオエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。 audio_language_code shows the audio elementary stream of language code (Japanese, Korean, Chinese, etc.).

PG_language_codeは、ビットマップ字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。 PG_language_code shows bitmap subtitle elementary stream of language code (Japanese, Korean, Chinese, etc.).

IG_language_code、インタラクティブグラフィックスエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。 IG_language_code, shows the interactive graphics elementary stream of language code (Japanese, Korean, Chinese, etc.).

textST_language_codeは、テキスト字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。 textST_language_code shows a text subtitle elementary stream of language code (Japanese, Korean, Chinese, etc.).

character_codeは、図25に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。 character_code shows character code of the text subtitle elementary stream, as shown in Figure 25. テキスト字幕エレメンタリストリームのキャラクタコードとしては、Unicode V1.1(ISO 10646-1)、Shift JIS(Japanese)、KSC 5601-1987 including KSC 5653 for Roman character(Korean)、GB 18030-2000(Chinese)、GB2312(Chinese)、およびBIG5(Chinese)が記述される。 The character code of the text subtitle elementary stream, Unicode V1.1 (ISO 10646-1), Shift JIS (Japanese), KSC 5601-1987 including KSC 5653 for Roman character (Korean), GB 18030-2000 (Chinese), GB2312 (Chinese), and BIG5 (Chinese) is described.

以下に、図18のstream_attribute()のシンタクスについて、図18と、図19乃至図25を用いて具体的な例を説明する。 Hereinafter, the syntax of stream_attribute () in FIG. 18, and FIG. 18, a specific example will be described with reference to FIGS. 19 to 25.

エレメンタリストリームの符号化タイプ(図18のstream_coding_type)がMPEG-2 video stream(図19)である場合、stream_attribute()には、そのエレメンタリストリームのビデオフォーマット(図20)、フレームレート(図21)、およびアスペクト比情報(図22)が含まれる。 If the coding type of an elementary stream (stream_coding_type in Fig. 18) is MPEG-2 video stream (Fig. 19), the stream_attribute (), video format (FIG. 20) of the elementary stream, a frame rate (Fig. 21 ), and aspect ratio information (Figure 22).

エレメンタリストリームの符号化タイプ(図18のstream_coding_type)がHDMV LPCM audio、Dolby AC-3 audio、またはdts audio(図19)である場合、stream_attribute()には、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報(図23)、サンプリング周波数(図24)、および言語コードが含まれる。 If the coding type of an elementary stream (stream_coding_type in Fig. 18) is HDMV LPCM audio, Dolby AC-3 audio or dts audio, (FIG. 19), the stream_attribute (), the presentation type information of the audio elementary stream (Figure 23), the sampling frequency (Figure 24), and a language code.

エレメンタリストリームの符号化タイプ(図18のstream_coding_type)がPresentation graphics stream(図19)である場合、stream_attribute()には、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。 If the coding type of an elementary stream (stream_coding_type in Fig. 18) is Presentation graphics, stream (19), the stream_attribute () includes the language code of the bitmap subtitle elementary stream.

エレメンタリストリームの符号化タイプ(図18のstream_coding_type)がInteractive graphics stream(図19)である場合、stream_attribute()には、そのインタラクティブグラフィックスエレメンタリストリームの言語コードが含まれる。 If the coding type of an elementary stream (stream_coding_type in Fig. 18) is Interactive graphics, stream (19), the stream_attribute () includes the language code of the interactive graphics elementary stream.

エレメンタリストリームの符号化タイプ(図18のstream_coding_type)がText subtitle stream(図19)である場合、stream_attribute()には、そのテキスト字幕エレメンタリストリームのキャラクタコード(図25)、言語コードが含まれる。 If the coding type of an elementary stream (stream_coding_type in Fig. 18) is Text subtitle, stream (19), the stream_attribute (), the character code of the text subtitle elementary stream (Fig. 25) includes a language code .

なお、これらの属性情報はこれに限定されない。 Incidentally, these attribute information is not limited to this.

このように、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から、stream_entry()によって特定されたエレメンタリストリーム(type=1とtype=2の場合は1つ、type=3の場合は2つ)の属性情報をstream_attribute()によって知ることができる。 Thus, if one or more of the SubPath are played PlayItem and associated with it are prepared from the Clip to Clip one or more SubPath that the PlayItem refers references, the stream_entry () (for type = 1 and type = 2 one, in the case of type = 3 2 two) elementary stream identified can know the attribute information of the stream_attribute ().

再生装置は、この属性情報(stream_attribute())を調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。 Reproducing apparatus, by checking the attribute information (stream_attribute ()), it is possible to investigate the elementary stream whether itself has a function of reproducing. また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。 Also, the playback apparatus, by checking the attribute information, it is possible to select the elementary stream corresponding to the initial information of language setting of the playback apparatus.

例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。 For example, the reproduction apparatus has only reproduction function of the bitmap subtitle elementary stream, it is assumed that does not have the function of reproducing the text subtitle elementary stream. この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリームID (PG_txtST_stream_id)のforループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。 For this reproducing apparatus, when the user instructs the language switching, reproducing apparatus, from the for loop of the subtitle stream ID (PG_txtST_stream_id), sequentially selects only bitmap subtitle elementary stream, and reproduces.

また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。 Further, it is assumed that the initial information concerning the language set in the playback apparatus is Japanese. この再生装置に対して、ユーザが副音声(すなわちSecondary audio)への切り替えまたは、主音声と副音声とのミキシング再生を指示した場合、再生装置は、副音声として用意されているオーディオストリームID (Audio stream id)のforループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。 For this reproducing apparatus, when the user instructs switching or mixing reproduction of the main audio and the sub-audio to sub-audio (i.e. Secondary audio), playback device, an audio stream ID that has been prepared as sub-audio ( from the for loop of the audio stream id), sequentially selects the language code is only audio elementary streams is a Japanese, to play.

さらに、例えば、メインパスにより参照される、ビデオストリームとオーディオストリームからなるAVストリーム(映画)を再生する場合、再生装置に対して、ユーザが音声の切り替えを指令し、サブパスにより参照されるオーディオストリーム(監督や出演者によるコメント)とのミキシング再生が指令された場合、再生装置は、メインパスにより参照される1stオーディオストリームに、さらに、サブパスにより参照される2ndオーディオストリームをミキシング(重畳)して、ビデオストリームとともに再生する。 Furthermore, for example, referred to by the main path, when reproducing the AV stream (movie) consisting of video and audio streams, the playback apparatus, an audio stream that the user instructs the switching of the sound, it is referred to by the sub path If mixing reproduction of the (comments by directors and cast) is commanded, the reproducing apparatus, the 1st audio stream referred to by the main path, further, mixing the 2nd audio stream referred to by the sub path (overlapped) to , to play along with the video stream.

また、例えば、ユーザが音声の切り替えを指令し、2つのサブパスにより参照される2つのオーディオストリームのミキシング再生が再生装置に対して指令された場合(図16と図17のシンタクスが用いられ、図17のtypeがともに2とされているオーディオストリームIDに対応するオーディオストリームの再生が指令された場合)、再生装置は、2つのサブパスによりそれぞれ参照される2つのオーディオストリームをミキシング(重畳)して、ビデオストリームとともに再生する。 Further, for example, the user instructs the switching of the speech, if the mixing reproduction of two audio stream referenced by two sub path has been instructed to the playback device (the syntax of FIG. 16 and FIG. 17 is used, FIG. If the audio stream corresponding to audio stream ID type 17 are both two reproduction is instructed), the reproducing apparatus mixes the two audio streams which are respectively referenced by two sub-paths (superimposed) to , to play along with the video stream.

このようにして、PlayItem()の中にSTN_table()を設けることにより、PlayItemとそれに関連付けられて再生される1つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作により、このPlayItemが参照するClipと1つ以上のSubPathが参照するClipの中から再生されるストリームを選ぶことができる仕組みが提供されるので、再生するAVストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。 In this way, by providing the PlayItem () STN_table in (), if one or more of the SubPath are played PlayItem and associated with it are provided, operation of the voice switching or subtitle switching by the user Accordingly, since the mechanism can choose stream reproduced from the Clip to Clip one or more SubPath that the PlayItem refers references are provided for different stream or data file from the AV stream to be reproduced also, it is possible to perform an interactive operation.

図26は、SubPath()のシンタクスを示す図である。 Figure 26 is a diagram illustrating the syntax of SubPath ().

lengthは、このlengthフィールドの直後からSub Path ()の最後までのバイト数を示す32ビットの符号なし整数である。 length is a 32-bit unsigned integer indicating the number of bytes to the end of Sub Path () from directly after the length field. すなわち、reserved_for_future_useからSubPath()の最後までのバイト数を示すフィールドである。 That is, a field indicating the number of bytes to the end of SubPath () from reserved_for_future_use. このlengthの後には、8ビットのreserved_for_future_useが用意される。 After this length, 8-bit reserved_for_future_use is prepared. SubPath_typeは、SubPathのアプリケーション種類を示す8ビットのフィールドである。 SubPath_type is an 8-bit field indicating the application type of SubPath. SubPath_typeは、例えば、Sub Pathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。 SubPath_type is, for example, Sub Path is either an audio or bitmap subtitle, is used to indicate the type, such as either a text subtitle. このSubPath_typeの例については、図27を参照して後述する。 For an example of this SubPath_type it will be described later with reference to FIG. 27.

SubPath_typeの後には、15ビットのreserved_for_future_useが用意される。 After SubPath_type is 15-bit reserved_for_future_use is prepared. is_repeat_SubPathは、SubPathの再生方法を指定する1ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を1回だけ行うかを示すものである。 is_repeat_SubPath is a 1-bit field specifying the playback method of the SubPath, it illustrates how only once or repeating the reproduction of SubPath, or playback of SubPath during reproduction of the main path. 例えば、メインAVストリームとサブパスが指定するClipに含まれるストリームとの再生タイミングが異なる場合(メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGM(バックグラウンドミュージック)として使う場合など)に利用される。 For example, a slideshow of still images to playback timing of the stream is different from the case (main path contained in the Clip to specify the main AV stream and Sub Path, such as when using subpath audio path as the main path for BGM (background music) ) to be used.

Is_repeat_SubPathの後には、8ビットのreserved_for_future_useが用意される。 After Is_repeat_SubPath is an 8-bit reserved_for_future_use is prepared. number_of_SubPlayItemsは、1つのSubPathの中にあるSubPlayItemの数(エントリー数)を示す8ビットのフィールドである。 number_of_SubPlayItems is an 8-bit field indicating the number of SubPlayItem in the in one of SubPath (number of entries). 例えば、number_of_SubPlayItemsは、図6のSubPath_id=0のSubPlayItemは1個であり、SubPath_id=1のSubPlayItemは2個である。 For example, number_of_SubPlayItems is, SubPlayItem the SubPath_id = 0 in FIG. 6 is one, SubPath_id = 1 of SubPlayItem is two. その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。 In the subsequent for sentence, only the number of SubPlayItem, SubPlayItem is referenced.

図27は、SubPath_type(サブパスのタイプ)の例を説明する図である。 Figure 27 is a diagram illustrating an example of SubPath_type (type subpath).

なお、「Out-of-mux」という記述は、サブパスで参照されるESが含まれるTSと、メインパスで参照されるESが含まれるTSとが異なっている場合のサブパスのタイプ(種類)、即ち、サブパスで参照されるESが、メインパスで参照されるプレイアイテムが含まれるTSに多重化されていないサブパスのタイプ(種類)であることを示している。 It should be noted that the statement that "Out-of-mux" is, and TS that includes the ES that are referenced in the sub-path, the type of sub-path if you are different from the TS that contains the ES referred to by the main path (kind), that, ES referenced by the sub path is, indicating a type of sub path that is not multiplexed in the TS that contains the play item referenced by the main path (type). 以下、かかる種類を、メインパスTS非多重型のパスと称する。 Hereinafter, such a type is referred to as the path of the main path TS non-multiplexed.

そして、「In-mux」という記述は、サブパスで参照されるESが含まれるTSと、メインパスで参照される1以上のESが含まれるTSとが同一の場合のサブパスのタイプ(種類)、即ち、サブパスで参照されるESが、メインパスで参照されるESを含むTSに多重化されているサブパスのタイプ(種類)であることを示している。 The description "an In-mux" is a TS that includes the ES to be referred to by the sub path, the type of one or more ES is the case and TS is the same contained subpath referenced by the main path (type) that, ES referenced by the sub path is, indicating a type of sub path multiplexed in the TS that contains the ES referenced by the main path (type). 換言すれば、メインクリップに含まれるメインTSに、メインのClip AVストリームと、サブのClip AVストリームとが含まれている状態である。 In other words, a state where the main TS included in the main clip, the main Clip AV stream includes a sub Clip AV stream. 以下、かかる種類を、メインパスTS多重型のパスと称する。 Hereinafter, such a type, referred to as a main path TS multiplexing paths.

また、メインパスで参照されるESとサブパスで参照されるESとが非同期である場合、そのサブパスのタイプ(種類)を、以下、非同期型のパスと称する。 Further, when the ES referenced in ES and sub path referenced in the main path are asynchronous, the type of the sub path (type), hereinafter referred to as path asynchronous. 一方、メインパスで参照されるESとサブパスで参照されるESとが同期する場合、そのサブパスのタイプ(種類)を、以下、同期型のパスと称する。 On the other hand, if the ES referenced in ES and sub path referenced in the main path are synchronized, the type of the sub path (the type), hereinafter referred to as path synchronous.

SubPath_type=0,1は、reservedとされている。 SubPath_type = 0,1 is a reserved.

SubPath_type=2は、Audio presentation path of the Browsable slideshow(プラウザブルスライドショーのオーディオプレゼンテーションパス)とされている。 SubPath_type = 2 is the Audio presentation path of the Browsable slideshow (browser Bull slide show audio presentation path of). 例えば、SubPath_type=2は、メインパスTS非多重型のパスであり、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期である(非同期型のパスである)ことを示している。 For example, SubPath_type = 2 is the path of the main path TS non-multiplexed, in the playlist as an audio presentation path referred to by the sub path, and the main path referred to by the play item is asynchronous (Asynchronous shows a path) that.

SubPath_type=3は、Interactive graphics presentation menu(インタラクティブグラフィックスのプレゼンテーションメニュー)とされている。 SubPath_type = 3 is the Interactive graphics presentation menu (interactive graphics presentation menu). 例えば、SubPath_type=3は、メインパスTS非多重型のパスであり、プレイリストの中において、サブパスで参照されるインタラクティブグラフィックスのメニューと、プレイアイテムで参照されるメインパスとが非同期(非同期型のパスである)であることを示している。 For example, SubPath_type = 3 is the path of the main path TS non-multiplexed, in the playlist as a menu of interactive graphics that are referenced by the sub path, the main path and asynchronous (Asynchronous referenced by PlayItem It shows that it is a path which is).

SubPath_type=4は、Text subtitle presentation path(テキスト字幕のプレゼンテーションパス)とされている。 SubPath_type = 4 is the Text subtitle presentation path (presentation path of text subtitles). 例えば、SubPath_type=4は、メインパスTS非多重型のパスであり、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期している(同期型のパスである)ことを示している。 For example, SubPath_type = 4 is the path of the main path TS non-multiplexed, in the playlist as a presentation path of a text caption that is referenced by the sub path, and the main path referred to by the playitem is synchronized shows (which is the path of synchronous) that.

SubPath_type=5は、Out-of-mux and AV Synchronized type of one or more elementary streams path(Primary audio/PG/IG/Secondary audio path).Out of mux and AV synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。 SubPath_type = 5 is, Out-of-mux and AV Synchronized type of one or more elementary streams path (Primary audio / PG / IG / Secondary audio path) .Out of mux and AV synchronized type of Picture-in-Picture presentation path which there is a contains one or more elementary streams paths. 即ち、SubPath_type=5は、メインパスTS非多重型、かつ、同期型のパスであって、1本以上のES(Primary audio/PG/IG/Secondary audio)のパスや、ピクチャインピクチャプレゼンテーションパスとされている。 That, SubPath_type = 5, the main path TS non-multiplexed, and a path for synchronous path and the one or more ES (Primary audio / PG / IG / Secondary audio), a picture-in-picture presentation path It is.

ここで、ピクチャインピクチャプレゼンテーションパスとは、ピクチャインピクチャ手法において、所定のプライマリビデオストリーム(メインパスで参照されるビデオストリーム)に対応して再生される、プライマリオーディオストリームストリーム、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームのうちの1以上のパス(そのようなサブパスのタイプ)であることをいう。 Here, the picture-in-picture presentation path, the picture-in-picture technique, is reproduced in response to a predetermined primary video stream (video stream referenced by the Main Path), primary audio stream stream, secondary video stream, secondary audio stream, and refers to a one or more paths among subtitle stream (type of such sub-path).

SubPath_type=6は、Out-of-mux and AV non-Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。 SubPath_type = 6 is the Out-of-mux and AV non-Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams paths. 即ち、SubPath_type=6は、メインパスTS非多重型、かつ、非同期型のパスであって、ピクチャインピクチャプレゼンテーションパス(1以上のESのパス)とされている。 That, SubPath_type = 6, the main path TS non-multiplexed, and a path for asynchronous, there is a picture-in-picture presentation path (one or more ES paths).

SubPath_type=7は、In-mux type and AV Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。 SubPath_type = 7 is the In-mux type and AV Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams paths.

即ち、SubPath_type=7は、メインパスTS多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス(1以上のESのパス)とされている。 That, SubPath_type = 7, the main path TS multiplex type, and a path for synchronous, there is a picture-in-picture presentation path (one or more ES paths).

そして、SubPath_type=8乃至255は予備(reserved)とされている。 Then, SubPath_type = 8 to 255 is a spare (reserved).

図28は、SubPlayItem(i)のシンタクスを示す図である。 Figure 28 is a diagram illustrating the syntax of SubPlayItem (i).

lengthは、このlengthフィールドの直後からSub playItem ()の最後までのバイト数を示す16ビットの符号なし整数である。 length is the last to a 16-bit unsigned integer indicating the number of bytes of the Sub PlayItem () from directly after the length field.

図28においては、SubPlayItemが1つのClip を参照する場合と、複数のClip を参照する場合に分けられている。 In FIG. 28, a case where SubPlayItem refers to one Clip, are divided when referring to multiple Clip.

最初に、SubPlayItemが1つのClipを参照する場合について説明する。 First, a case will be described in which the SubPlayItem references one Clip.

SubPlayItemには、Clipを指定するためのClip_Information_file_ name[0]が含まれる。 The SubPlayItem, include Clip_Information_file_ name [0] for specifying the Clip. また、Clipのコーディック方式を指定するClip_codec_identifier[0]、reserved_for_future_use、マルチクリップの登録の有無を示すフラグであるis_multi_Clip_entries、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[0]を含む。 Further, Clip_codec_identifier [0] specifying a codec method of the Clip, reserved_for_future_use, a flag indicating the presence or absence of registration of a multi-clip is_multi_Clip_entries, is information relating to STC discontinuous point (a discontinuous point of system time base) ref_to_STC_id [0] including. is_multi_Clip_entriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。 If is_multi_Clip_entries flags is set, the syntax is referred when the SubPlayItem references multiple Clip. また、Clipの中にあるSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。 Also includes SubPlayItem_IN_time and SubPlayItem_OUT_time for specifying the Sub Path of playback section is in the Clip. さらに、main pathの時間軸上でSub Pathが再生開始する時刻を指定するためsync_PlayItem_id と sync_start_PTS_of_PlayItemを含む。 Further includes sync_PlayItem_id and sync_start_PTS_of_PlayItem for the Sub Path on the time axis of the main path to specify the time to start playback.

このsync_PlayItem_id と sync_start_PTS_of_PlayItemは、上述したように、図6と図7の場合(メインAVストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが同じである場合)に使用され、メインAVストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが異なる場合(例えば、静止画により構成されるスライドショーのBGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合)には使用されない。 The sync_PlayItem_id and sync_start_PTS_of_PlayItem, as described above, it is used in the case of FIG. 6 and FIG. 7 (if playback timing of a stream contained in the file indicated by the main AV stream and the sub path are the same), a main AV stream and Sub Path If the reproduction timing of the stream included in the file indicated varies depending (e.g., as in the slide show BGM constituted by the still picture, if the audio referenced by the still image and the sub path referred to by the main path is not synchronized ) it is not used to. また、SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。 Moreover, SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, sync_start_PTS_of_PlayItem are commonly used in the Clip SubPlayItem refers.

次に、SubPlayItemが複数のClipを参照する場合(if(is_multi_Clip_entries==1b)である場合、すなわちマルチクリップの登録が行われている場合)について説明する。 Next, SubPlayItem (if a if (is_multi_Clip_entries == 1b), that is, when the multi-clip registration is being performed) When referring to the plurality of Clip is described. 具体的には、図7に示されるように、SubPlayItemが複数のClip を参照する場合を示す。 Specifically, as shown in FIG. 7 shows a case where SubPlayItem refers to a plurality of Clip.

num_of_Clip_entriesは、Clipの数を示しており、Clip_Information_file_name[SubClip_entry_id]の数が、Clip_Information_file_ name[0]を除く、Clipsを指定する。 num_of_Clip_entries shows the number of Clip, the number of Clip_Information_file_name [SubClip_entry_id], except for the Clip_Information_file_ name [0], specify the Clips. すなわち、Clip_Information_file_ name[0]を除く、Clip_Information_file_ name[1]、Clip_Information_file_ name[2]などのClipを指定する。 That is, except for the Clip_Information_file_ name [0], Clip_Information_file_ name [1], to specify the Clip such as Clip_Information_file_ name [2]. また、SubPlayItemは、Clipのコーディック方式を指定するClip_codec_identifier[SubClip_entry_id]、STC不連続点(システムタイムベースの不連続点)に関する情報であるref_to_STC_id[SubClip_entry_id]、およびreserved_for_future_useを含む。 Further, SubPlayItem is, Clip_codec_identifier specifying the codec method of Clip [SubClip_entry_id], which is information relating to STC discontinuous point (a discontinuous point of system time base) ref_to_STC_id [SubClip_entry_id], and a reserved_for_future_use.

なお、複数のClipの間で、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは共通して使われる。 Incidentally, among the plurality of Clip, SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, and sync_start_PTS_of_PlayItem are used in common. 図7の例の場合、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubClip_entry_id=0とSubClip_entry_id=1との間で共通して使用されるものであり、選択されたSubClip_entry_idに対するText based subtitleがこのSubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemに基づいて再生される。 For example in FIG. 7, SubPlayItem_IN_time, SubPlayItem_OUT_time, sync_PlayItem_id, and sync_start_PTS_of_PlayItem are, SubClip_entry_id = 0 and SubClip_entry_id = 1 and is a commonly those used in between, Text based subtitle This SubPlayItem_IN_time for the selected SubClip_entry_id, SubPlayItem_OUT_time, is reproduced on the basis of sync_PlayItem_id, and sync_start_PTS_of_PlayItem.

ここで、SubClip_entry_idの値は、SubPlayItemの中にあるClip_Information_file_name[SubClip_entry_id]が現れる順番に1から割り振られる。 Here, the value of SubClip_entry_id is allocated from 1 in the order in which appears Clip_Information_file_name [SubClip_entry_id] that is in the SubPlayItem. また、Clip_Information_file_ name[0]のSubClip_entry_idは0である。 In addition, SubClip_entry_id of Clip_Information_file_ name [0] is 0.

次に、図29は、図8乃至図28を用いて説明したデータ構造を有するデータ、すなわち、上述したメインパスとサブパスを有するPlayListを再生する再生装置1の構成を示すブロック図である。 Next, FIG. 29, data having the data structure described with reference to FIGS. 8 to 28, i.e., a block diagram showing a configuration of a reproducing apparatus 1 for reproducing the PlayList having main path and sub path described above.

コントローラ21は、予め用意されている制御プログラムを実行するか、または、ストレージドライブ22を制御して、例えば、光ディスクなどの記録媒体11に記録されている、または、ローカルストレージ24に記録されているナビゲーションプログラムを読み出し、メモリ23に展開して実行することで、再生装置1の全体の動作を制御する。 The controller 21, either executes a control program prepared in advance, or controls the storage drive 22, for example, recorded on the recording medium 11 such as an optical disc, or are recorded in the local storage 24 It reads the navigation program and executing to expand the memory 23, controls the entire operation of the reproducing apparatus 1. 例えば、コントローラ21は、記録媒体11が装着されたとき、または、所定の操作入力を受けた場合、所定のメニュー画面(GUI表示画面)を外部の表示装置に表示させることができる。 For example, the controller 21, when the recording medium 11 is mounted, or, when receiving a predetermined operation input, it is possible to display a predetermined menu screen (GUI screen) to an external display device.

すなわち、コントローラ21は、光ディスクなどの記録媒体11、または、ローカルストレージ24に再生されるコンテンツ(PlayListおよびAVストリームなどで構成されたコンテンツ)とともに記録されているメニュー画面(GUI表示画面)の表示を制御するのみならず、記録媒体11、または、ローカルストレージ24に再生されるコンテンツのデータを基に、GUI表示画面に対応するデータを生成して、外部の表示装置に表示させることも可能である。 That is, the controller 21, a recording medium 11 such as an optical disk, or a display of content to be reproduced in the local storage 24 (PlayList and the AV stream such as in the configuration content) menu has been recorded along with the screen (GUI screen) not only controls the recording medium 11 or, on the basis of the data of the content to be reproduced in the local storage 24, generates data corresponding to the GUI display screen, are also possible to be displayed on an external display device . コントローラ21により、GUI表示画面に対応するデータが生成されて、OSD30が制御され、表示画面に生成されたGUI表示画面を重畳させて表示させる処理についての詳細は、後述する。 The controller 21, the data corresponding to the GUI screen is generated, OSD30 is controlled, the details of the processing for display by superimposing the generated GUI screen on the display screen will be described later.

ストレージドライブ22は、コントローラ21による制御に従って記録媒体11からデータを読み出し、読み出したデータを、コントローラ21、メモリ23、または、AVデコーダ部26に出力する。 Storage drive 22 reads data from the recording medium 11 under the control of the controller 21, the read data, the controller 21, memory 23, or outputs to the AV decoder section 26. 記録媒体11から読み出された情報が、ナビゲーションプログラムやPlayListなどであった場合、ストレージドライブ22により読み出された情報は、コントローラ21、または、メモリ23に出力される。 Read from the recording medium 11 information, when was such navigation program or PlayList, information read by the storage drive 22, the controller 21, or is output to the memory 23. 記録媒体11から読み出された情報が、AVストリームやテキストデータであった場合、ストレージドライブ22により読み出された情報は、AVデコーダ部26に出力される。 Read from the recording medium 11 information, indicating an AV stream or text data, information read by the storage drive 22 is output to the AV decoder section 26.

メモリ23は、コントローラ21が各種の処理を実行する上において必要なデータなどを適宜記憶する。 Memory 23, the controller 21 appropriately stores data necessary for the execution of various processes. さらに、メモリ23の記憶領域の一部には、再生装置1の再生処理において必要な情報が設定される各種のレジスタが設けられている。 Furthermore, the part of the storage area of ​​the memory 23, various registers are provided information required in the reproduction processing of the reproduction apparatus 1 is set. ローカルストレージ24は、例えば、HDD(Hard Disk Drive)などより構成される。 Local storage 24 is constituted, for example, the like HDD (Hard Disk Drive).

インターネットインタフェース25は、有線または無線によりネットワーク2に接続されており、コントローラ21からの制御に従って、ネットワーク2を介して、サーバ3との間で通信を行い、サーバ3からダウンロードされたデータをローカルストレージ24に供給する。 Internet interface 25 is connected to the network 2 in a wired or wireless, according to the control from the controller 21, via the network 2, performs communication with the server 3, the local storage and data downloaded from the server 3 It supplies it to the 24. サーバ3からは、例えば、そのとき再生装置1に装着されている記録媒体11に記録されている、図4を用いて説明したデータをアップデートさせるデータがコンテンツとしてダウンロードされる。 From the server 3, for example, that time is recorded on the recording medium 11 mounted on the playback apparatus 1, data for updating the data described with reference to FIG. 4 is downloaded as content. ローカルストレージ24は、サーバ3からネットワーク2経由でダウンロードしたコンテンツを記録することができる。 Local storage 24 can record the content downloaded from the server 3 via the network 2.

AVデコーダ部26は、ストレージドライブ22、または、ローカルストレージ24から供給されるAVストリーム、または、テキストデータをデコードし、得られたビデオ信号をOSD(On Screen Display)30に供給するとともに、オーディオ信号を外部の表示装置に出力する。 AV decoder unit 26, the storage drive 22, or AV supplied from the local storage 24 stream, or decoding the text data, and supplies the resulting video signal to the OSD (On Screen Display) 30, an audio signal and outputs to the external display device.

OSD30は、コントローラ21の制御に基づいて、供給されたビデオ信号を外部の表示装置に出力するか、または、供給されたビデオ信号に所定のメニュー画面(GUI表示画面)のデータを重畳して、生成された画像信号を、外部の表示装置に出力する。 OSD30, based on the control of the controller 21, or outputs the supplied video signal to an external display device, or, by superimposing the data of a predetermined menu screen on the supplied video signal (GUI screen), the generated image signal is output to an external display device.

表示装置においては、AVデコーダ部26によりデコードされた信号に基づいて、例えば、記録媒体11に記録されているコンテンツの出力(映像の表示、音声の出力)が行われる。 In the display device, based on the decoded signal by the AV decoder unit 26, for example, the output of the content recorded on the recording medium 11 (display video, audio output) is performed.

操作入力部29は、例えば、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成され、ユーザの操作入力を取得し、コントローラ21に供給する。 The operation input unit 29 is, for example, buttons, keys, touch panel, jog dial, and an input device such as a mouse, is constituted by the reception unit for receiving a signal such as infrared rays sent from a predetermined remote commander, obtains an operation input of a user , and supplies it to the controller 21.

また、コントローラ21には、必要に応じてドライブ27も接続されており、ドライブ27には、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVDを含む)、光磁気ディスク(MD(登録商標)(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア28が装着される。 Further, the controller 21, if necessary, is also connected the drive 27, the drive 27, for example, magnetic disk (including a flexible disk), optical disk (CD-ROM (Compact Disk-Read Only Memory), DVD including), magneto-optical disk (MD (registered trademark) (Mini-disk)), or the removable medium 28 is attached consisting of a semiconductor memory.

最初に、コントローラ21がストレージドライブ22を介して、HDD、Blu−ray Disc(商標)、またはDVDなどの記録媒体11から、または、ローカルストレージ24から、PlayListファイルを読み出し、PlayListファイルの情報に基づいて、必要に応じて、GUI表示画面に対応するデータを生成するとともに、ストレージドライブ22を介して、HDD、Blu−ray Disc(商標)、またはDVDなどの記録媒体11から、または、ローカルストレージ24から、AVストリームやAVデータを読み出す。 First, the controller 21 via a storage drive 22, HDD, from Blu-ray Disc (TM) or a recording medium 11 such as DVD,, or, from the local storage 24 reads the PlayList file, based on the information of the PlayList file Te, optionally, generates the corresponding data to the GUI display screen, via the storage drive 22, HDD, from a recording medium 11 such as a Blu-ray Disc (TM), or DVD, or the local storage 24 from reading the AV stream and AV data. ユーザは、操作入力部29を用いて、コントローラ21に対し、音声や字幕などの切り替えの指令や、GUI表示画面の表示の指令などを行うことができる。 The user uses the operation input section 29, to the controller 21, the command and switching such as voice or subtitle, it is possible to perform such an instruction display of the GUI display screen. また、コントローラ21は、メモリ23のレジスタに登録されている、例えば、再生装置1の言語設定の初期情報などの各種設定情報を読み込む。 The controller 21 is registered in the register of the memory 23, for example, reads various setting information such as the initial information of language setting of the playback apparatus 1.

PlayListファイルには、Main Path、Sub Pathの情報の他、上述したSTN_table()が含まれている。 The PlayList file, Main Path, other information Sub Path, includes STN_table () is described above. コントローラ21は、PlayListファイルに含まれるPlayItemが参照するメインClip AVストリームファイル、SubPlayItemが参照するサブClip AVストリームファイル、およびSubPlayItemが参照するテキストサブタイトルデータを、ストレージドライブ22を介して記録媒体11から、または、ローカルストレージ24から読み出す。 Controller 21, a main Clip AV stream file referred to by PlayItem included in the PlayList file, the sub-Clip AV stream file SubPlayItem references, and SubPlayItem text subtitle data which is referenced from the recording medium 11 via the storage drive 22, or, read from the local storage 24. ここで、PlayItemが参照するメインClip AVストリームファイルとSubPlayItemが参照するサブClip AVストリームファイルとが、異なる記録媒体に記録されていてもよい。 Here, the sub-Clip AV stream file referred to the main Clip AV stream file and the SubPlayItem referred to by the PlayItem may be recorded in different recording media. 例えば、メインClip AVストリームファイルが記録媒体11に記録されており、対応するサブClip AVストリームファイルは図示せぬネットワーク2を介して供給され、HDDなどのローカルストレージ24に記憶されたものであってもよい。 For example, the main Clip AV stream file is recorded on the recording medium 11, the corresponding sub-Clip AV stream file is supplied via the network 2 not shown, which has been stored in the local storage 24 such as an HDD it may be. また、逆に、メインClip AVストリームファイルがHDDなどのローカルストレージ24に記憶されたものであり、サブClip AVストリームファイルが記録媒体11に記録されていてもよい。 Conversely, which main Clip AV stream file is stored in the local storage 24 such as a HDD, a sub Clip AV stream file may be recorded on the recording medium 11.

また、コントローラ21は、メモリ23のレジスタに登録されている各種設定情報を参照して、自分自身(再生装置1)の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置1の言語設定の初期情報に対応するエレメンタリストリームを選択し、再生するよう制御する。 Further, the controller 21 refers to various setting information registered in the register of the memory 23, selects the elementary stream corresponding to the playback function of itself (reproducing apparatus 1), and controls to play, select an elementary stream corresponding to the initial information of language setting of the playback apparatus 1, and controls so as to reproduce.

図30は、図29の再生装置1のAVデコーダ部26の構成例を示すブロック図である。 Figure 30 is a block diagram showing a configuration example of a playback apparatus 1 of the AV decoder unit 26 of FIG. 29.

AVデコーダ部26には、スイッチ32、バッファ51乃至54、PIDフィルタ55、PIDフィルタ56、スイッチ57乃至59、PIDフィルタ60、バックグラウンドデコーダ71、1stビデオデコーダ72−1、2ndビデオデコーダ72−2、プレゼンテーショングラフィックスデコーダ73、インタラクティブグラフィックスデコーダ74、1stオーディオデコーダ75−1、2ndオーディオデコーダ75−2、Text-STコンポジション76、スイッチ77、プリロードバッファ81、バックグラウンドプレーン生成部91、1stビデオプレーン生成部92−1、2ndビデオプレーン生成部92−2、プレゼンテーショングラフィックスプレーン生成部93、インタラクティブグラフィックスプレーン生成部94、バッファ95、ビデオデータ The AV decoder section 26, the switch 32, the buffer 51 to 54, PID filter 55, PID filter 56, switch 57 or 59, PID filter 60, the background decoder 71,1st video decoder 72-1,2nd video decoder 72-2 , the presentation graphics decoder 73, interactive graphics decoder 74,1st audio decoder 75-1,2nd audio decoder 75-2, Text-ST composition 76, the switch 77, the pre-load buffer 81, the background plane generator 91,1st video plane generating unit 92-1,2nd video plane generating unit 92-2, a presentation graphics plane generator 93, an interactive graphics plane generator 94, a buffer 95, the video data 理部96、ミキシング処理部97、およびミキシング処理部101が設けられている。 Management unit 96, mixing processing unit 97 and the mixing processor 101, is provided.

1stビデオデコーダ72−1と2ndビデオデコーダ72−2は、ともにビデオストリームをデコードする。 1st video decoder 72-1 and 2nd video decoder 72-2 are both decodes the video stream. 基本的には、STN_table()において、primary_video_stream_idで与えられるビデオストリームをデコードするためのものが1stビデオデコーダ72−1であり、Secondary_video_stream_idで与えられるビデオストリームをデコードするためのものが2ndビデオデコーダ72−2である。 Basically, in STN_table (), a is 1st video decoder 72-1 intended for decoding a video stream provided by Primary_video_stream_id, the 2nd video decoder intended for decoding a video stream provided by secondary_video_stream_id 7 2- 2. すなわち、再生装置1は、2つのビデオストリームをデコードするために、2つのビデオデコーダ(1stビデオデコーダ72−1、2ndビデオデコーダ72−2)を有している。 That is, the playback apparatus 1, in order to decode two video streams, has two video decoders (1st video decoder 72-1,2nd video decoder 72-2). また、1stビデオデコーダ72−1は、2ndビデオデコーダ72−2よりも優先的に使用されるビデオデコーダであるものとすることもできる。 Also, 1st video decoder 72-1 may also be assumed to be a video decoder to be used preferentially than 2nd video decoder 72-2. すなわち、デコードするビデオストリームが1つしかない場合、そのビデオストリームがメインClip AVストリームファイルに含まれるビデオストリームであっても、サブClip AVストリームファイルに含まれるビデオストリームであっても、1stビデオデコーダ72−1でデコードされるようにしてもよい。 That is, if the video stream to be decoded there is only one, be a video stream the video stream is included in the main Clip AV stream file, be a video stream contained in the sub-Clip AV stream file, 1st video decoder it may be decoded by 72-1. なお、以下において、1stビデオデコーダ72−1と2ndビデオデコーダ72−2とを個々に区別しない場合、ビデオデコーダ72と称する。 In the following, when there is no need to distinguish between the 1st video decoder 72-1 and 2nd video decoder 72-2 individually, it referred to as the video decoder 72.

また、1stオーディオデコーダ75−1と2ndオーディオデコーダ75−2も、ともにオーディオストリームをデコードする。 Also, 1st audio decoder 75-1 and 2nd audio decoder 75-2 also, together decodes the audio stream. 基本的には、STN_table()において、primary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが1stオーディオデコーダ75−1であり、Secondary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが2ndオーディオデコーダ75−2である。 Basically, in STN_table (), a 1st audio decoder 75-1 intended for decoding the audio stream provided by Primary_audio_stream_id, the 2nd audio decoder intended to decode an audio stream provided by Secondary_audio_stream_id 75- 2. すなわち、再生装置1は、2つのオーディオストリームをデコードするために、2つのオーディオデコーダ(1stオーディオデコーダ75−1、2ndオーディオデコーダ75−2)を有している。 That is, the playback apparatus 1, in order to decode two audio streams, and has two audio decoders (1st audio decoder 75-1,2nd audio decoder 75-2). また、1stオーディオデコーダ75−1は、2ndオーディオデコーダ75−2よりも優先的に使用されるオーディオデコーダであるものとすることもできる。 Also, 1st audio decoder 75-1 may also be assumed that the audio decoder used preferentially over 2nd audio decoder 75-2. すなわち、デコードするオーディオストリームが1つしかない場合、そのオーディオストリームがメインClip AVストリームファイルに含まれるオーディオストリームであっても、サブClip AVストリームファイルに含まれるオーディオストリームであっても、1stオーディオデコーダ75−1でデコードされるようにしてもよい。 That is, when an audio stream to be decoded there is only one, even audio stream whose audio stream is included in the main Clip AV stream file, even audio streams contained in the sub Clip AV stream file, 1st audio decoder it may be decoded by 75-1. なお、以下において、1stオーディオデコーダ75−1と2ndオーディオデコーダ75−2とを個々に区別しない場合、オーディオデコーダ75と称する。 In the following, when there is no need to distinguish between the 1st audio decoder 75-1 and 2nd audio decoder 75-2 individually, it referred to as an audio decoder 75.

コントローラ21により読み出されたファイルデータは、図示せぬ復調、ECC復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。 File data read by the controller 21, demodulates not shown, the ECC decoding unit, demodulated, error correction is performed on the multiplexed stream demodulated. スイッチ32は、復調され、誤り訂正が施されたデータを、コントローラ21からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ51乃至54に供給する。 Switch 32 is demodulated, and supplies the data the error correction is applied, under the control of the controller 21 selects for each type of stream, the corresponding buffers 51 through 54. 具体的には、スイッチ32は、コントローラ21からの制御に基づいて、バックグラウンドイメージデータをバッファ51に供給し、メインClip AVストリームファイルのデータをバッファ52に供給し、サブClipのデータをバッファ53に供給し、Text-STのデータをバッファ54に供給するようスイッチ32を切り替える。 Specifically, the switch 32 under the control of the controller 21, and supplies the background image data in the buffer 51, the main Clip AV stream file of data supplied to the buffer 52, the sub Clip data buffer 53 supplied to, it switches the switch 32 to supply data for Text-ST in the buffer 54.

バッファ51は、バックグラウンドイメージデータをバッファリングし、バッファ52は、メインClip AVストリームファイルのデータをバッファリングし、バッファ53は、サブClip AVストリームファイルのデータをバッファリングし、バッファ54は、Text-STデータをバッファリングする。 Buffer 51, the background image data is buffered, the buffer 52, the data of the main Clip AV stream file buffering, the buffer 53, the data of the sub-Clip AV stream file buffering, the buffer 54, Text -ST to buffer the data.

メインClip AVストリームファイルは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスのうち、ビデオに加えて1つ以上のストリームを多重化したストリーム(例えばトランスポートストリーム)である。 Main Clip AV stream file, video and audio and bitmap subtitle (Presentation Graphics, stream) and of the interactive graphics is a stream obtained by multiplexing one or more streams in addition to video (e.g. transport stream). サブClip AVストリームファイルは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスとのうち、1つ以上のストリームを多重化したストリームである。 Sub Clip AV stream file, among the video and audio and bitmap subtitle (Presentation Graphics stream) and interactive graphics, is a stream obtained by multiplexing one or more streams. なお、テキストサブタイトルデータファイル(Text-ST)のデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。 The data of the text subtitle data file (Text-ST) can be in the form of a multiplexed stream such as a transport stream or not.

また、メインClip AVストリームファイルとサブClip AVストリームファイルおよびテキストサブタイトルデータを、ストレージドライブ22(記録媒体11)またはローカルストレージ24から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、メインClipを読み出す前に、サブClip AVストリームファイルやテキストサブタイトルデータを予め読み出しておき、先行してバッファ(バッファ53またはバッファ54)へプリロードしてもよい。 Further, the main Clip AV stream file and the sub Clip AV stream file and a text subtitle data, when reading from the storage drive 22 (recording medium 11) or the local storage 24 may be read alternately during dividing each file or, before reading the main Clip, sub Clip AV stream file and leave the text subtitle data in advance read, it may be preloaded into the buffer (the buffer 53 or buffer 54) in advance.

そして、メインClip AVストリームファイル用リードバッファであるバッファ52から読み出されたストリームデータは、所定のタイミングで、後段のPID(パケットID)フィルタ55へ出力される。 Then, the stream data read from the buffer 52 is a read buffer for the main Clip AV stream file at a predetermined timing, and output to the subsequent stage the PID (packet ID) filter 55. このPIDフィルタ55は、入力されたメインClip AVストリームファイルをPID(パケットID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。 The PID filter 55 in accordance with input main Clip AV stream file to the PID (packet ID), and outputs the distribution to a subsequent decoder for each elementary stream. すなわち、PIDフィルタ55は、ビデオストリームを1stビデオデコーダ72−1と2ndビデオデコーダ72−2への供給元となるPIDフィルタ60に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75−1と2ndオーディオデコーダ75−2への供給元となるスイッチ59に供給する。 That, the PID filter 55 supplies the PID filter 60 to be the source of the video stream to the 1st video decoder 72-1 and 2nd video decoder 72-2, source of the presentation graphics stream to the presentation graphics decoder 73 is supplied to the switch 57 as the supplies an interactive graphics stream to the switch 58 as a supply source for the interactive graphics decoder 74, source of an audio stream to the 1st audio decoder 75-1 and 2nd audio decoder 75-2 It is supplied to the switch 59 to be.

なお、プレゼンテーショングラフィックスストリームは、上述したように、例えば、ビットマップの字幕データであり、テキストサブタイトルデータは、上述したように、例えば、テキスト字幕データである。 Note that the presentation graphics stream, as described above, for example, a subtitle bitmap data, text subtitle data, as described above, for example, a text subtitle data.

サブClip AVストリームファイル用リードバッファであるバッファ53から読み出されたストリームデータは、所定のタイミングで、後段のPID(パケットID)フィルタ56へ出力される。 Stream data read from the buffer 53 is a sub Clip AV stream file read buffer at a predetermined timing, and output to the subsequent stage the PID (packet ID) filter 56. このPIDフィルタ56は、入力されたサブClip AVストリームファイルをPID(パケットID)に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。 The PID filter 56 in accordance with input sub Clip AV stream file to the PID (packet ID), and outputs the distribution to a subsequent decoder for each elementary stream. すなわち、PIDフィルタ56は、ビデオストリームを1stビデオデコーダ72−1と2ndビデオデコーダ72−2への供給元となるPIDフィルタ60に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームを1stオーディオデコーダ75−1と2ndオーディオデコーダ75−2への供給元となるスイッチ59に供給する。 That, the PID filter 56 supplies the PID filter 60 to be the source of the video stream to the 1st video decoder 72-1 and 2nd video decoder 72-2, source of the presentation graphics stream to the presentation graphics decoder 73 is supplied to the switch 57 as the supplies an interactive graphics stream to the switch 58 as a supply source for the interactive graphics decoder 74, source of an audio stream to the 1st audio decoder 75-1 and 2nd audio decoder 75-2 It is supplied to the switch 59 to be.

また、PIDフィルタ60には、メインClip AV Streamのビデオストリーム、または、サブClip AV Streamのビデオストリームが、PIDフィルタ55またはPIDフィルタ56を介して入力されてくる。 Also, the PID filter 60, video stream of the main Clip AV Stream, or video stream of the sub Clip AV Stream is inputted via the PID filter 55 or the PID filter 56. そこで、PIDフィルタ60は、入力されたビデオストリームを、そのPID(パケットID)に応じて、後段の1stビデオデコーダ72−1または2ndビデオデコーダ72−2に振り分けて出力する。 Therefore, PID filter 60, the input video stream, in accordance with the PID (Packet ID), and outputs the distribution to the subsequent 1st video decoder 72-1 or 2nd video decoder 72-2. 即ち、PIDフィルタ60は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ72−1に供給する。 That, PID filter 60, when the primary video stream is input, supplies the primary video stream to the 1st video decoder 72-1. これに対して、PIDフィルタ60は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ72−2に供給する。 In contrast, PID filter 60, when the secondary video stream is input, and supplies the secondary video stream to the 2nd video decoder 72-2.

なお、ここでは、プライマリビデオストリームとして、メインClip AV Streamのビデオストリームのみが利用され、サブClip AV Streamのビデオストリームは利用されないとされている。 Here, as the primary video stream, only the video stream of the main Clip AV Stream is available, the video stream of the sub Clip AV Stream is not utilized. ただし、将来、サブClip AV Streamのビデオストリームもプライマリビデオストリームとして利用され得ることも考慮して、PIDフィルタ56から供給されたサブClip AV Streamのビデオストリームも1stビデオデコーダ72に供給され得るように、PIDフィルタ60が構成されている。 However, the future, also in view of a video stream of the sub Clip AV Stream that may be utilized as the primary video stream, as a video stream of the sub Clip AV Stream supplied from the PID filter 56 may be supplied to the 1st video decoder 72 , PID filter 60 is constituted. すなわち、Subpathにより指定されたサブClipに含まれるビデオストリームのみを再生し、ビデオストリームの再生にメインClipを使わず、オーディオストリームの再生は、サブClip、もしくは、メインClipを用いる場合である。 That is, reproducing only video stream included in the specified sub-Clip by Subpath, without the main Clip playback of the video stream, playback of audio streams, sub Clip, or a case of using the main Clip.

バックグラウンドイメージデータをバッファリングするバッファ51から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ71に供給される。 Data read background image data from the buffer 51 for buffering is supplied to the background decoder 71 at a predetermined timing. バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部91に供給する。 Background decoder 71 decodes the background image data, and supplies the background image data decoded in the background plane generator 91.

1stビデオデコーダ72−1は、ビデオストリームをデコードし、デコードしたビデオデータを1stビデオプレーン生成部92−1へ出力する。 1st video decoder 72-1 decodes the video stream and outputs the decoded video data to the 1st video plane generating unit 92-1. 2ndビデオデコーダ72−2は、ビデオストリームをデコードし、デコードしたビデオデータを2ndビデオプレーン生成部92−2へ出力する。 2nd video decoder 72-2 decodes the video stream and outputs the decoded video data to a 2nd video plane generating unit 92-2.

スイッチ57は、PIDフィルタ55から供給されたメインClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームと、PIDフィルタ56から供給されたサブClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームのうちのいずれか1つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ73に供給する。 Switch 57 includes a presentation graphics streams contained in the main Clip AV stream file supplied from the PID filter 55, one of the presentation graphics streams contained in the supplied sub-Clip AV stream file from the PID filter 56 1 One select, a presentation graphics stream selected, and supplies to the subsequent presentation graphics decoder 73. プレゼンテーショングラフィックスデコーダ73は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部93への供給元となるスイッチ77に供給する。 Presentation graphics decoder 73 decodes the presentation graphics stream, and supplies the data of the decoded presentation graphics stream to the switch 77 as a supply source for the presentation graphics plane generator 93.

また、スイッチ58は、PIDフィルタ55から供給されたメインClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームと、PIDフィルタ56から供給されたサブClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームのうちのいずれか1つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。 The switch 58 is, any of the interactive graphics streams contained and interactive graphics streams contained from the PID filter 55 to the supplied main Clip AV stream file, the sub-Clip AV stream file supplied from the PID filter 56 or one selected and supplies an interactive graphics stream selected, the subsequent interactive graphics stream decoder 74. インタラクティブグラフィックスデコーダ74は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、プリロードバッファ81に供給する。 Interactive graphics decoder 74 decodes an interactive graphics stream, the data of the interactive graphics stream decoding, and supplies the preload buffer 81.

プリロード用バッファ81は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームを一時記憶する。 Preload buffer 81 temporarily stores an interactive graphics stream supplied from the interactive graphics decoder 74. 例えば、再生装置1が、一度に2つのTS(Transport stream)しか読み出せないという制限が課せられている場合などにおいて、再生装置1は、インタラクティブグラフィックスストリームを予め取得しておくことで(プリロードしておくことで)、ビデオストリームやオーディオストリームを再生するときに、プリロードしておいたインタラクティブグラフィックスストリームも同時再生することができる、といった機能を有している。 For example, the reproducing apparatus 1, in a case where the restriction that two TS (Transport, stream) only be read are imposed at a time, the reproducing apparatus 1, (preloaded by advance acquires the interactive graphics stream thing) to keep, when playing video and audio streams, can be reproduced simultaneously interactive graphics stream that has been preloaded have such function. かかる機能を実現するために、即ち、プリロードされたインタラクティブグラフィックスストリームを、ビデオストリームやオーディオストリームが再生されるタイミングまで保存しておくために、プリロード用バッファ81が設けられているのである。 To realize such a function, i.e., an interactive graphics stream is preloaded, in order to video and audio streams is keep up timing is reproduced, it is the preload buffer 81 is provided.

プリロード用バッファ81に蓄積されたデコード済みのインタラクティブグラフィックスストリームは、所定のタイミングでインタラクティブグラフィックスプレーン生成部94に供給される。 Interactive graphics already stored in the preload buffer 81 decodes the stream is supplied to the interactive graphics plane generator 94 at a predetermined timing.

さらに、スイッチ59は、PIDフィルタ55から供給されたメインClip AVストリームファイルに含まれるオーディオストリームと、PIDフィルタ56から供給されたサブClip AVストリームファイルに含まれるオーディオストリームを、後段の1stオーディオデコーダ75−1、または、2ndオーディオデコーダ75−2に供給する。 Further, the switch 59, and an audio stream included in the Main Clip AV stream file supplied from the PID filter 55, the audio stream included in the supplied sub-Clip AV stream file from the PID filter 56, downstream of the 1st audio decoder 75 -1, or to supply the 2nd audio decoder 75-2. 具体的には、スイッチ59は、stream_entry()のtypeの値によって、その選択を切り替える。 Specifically, the switch 59, the value of the type of stream_entry (), switches its selection.

1stオーディオデコーダ75−1は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部101に供給する。 1st audio decoder 75-1 decodes the audio stream, and supplies the data of the decoded audio stream to the mixing processor 101. また、2ndオーディオデコーダ75−2は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部101に供給する。 Also, 2nd audio decoder 75-2 decodes the audio stream, and supplies the data of the decoded audio stream to the mixing processor 101.

ここで、2つのオーディオストリームを重畳して再生するような場合、1stオーディオデコーダ75−1によりデコードされたオーディオストリームと、2ndオーディオデコーダ75−2によりデコードされたオーディオストリームとが、ミキシング処理部101に供給される。 Here, a case such that reproduction by superimposing the two audio streams, and the audio stream decoded by the 1st audio decoder 75-1, and the audio stream decoded by the 2nd audio decoder 75-2, the mixing processor 101 It is supplied to.

例えば、メインパスで参照される1stオーディオストリームとサブパスで参照される2ndオーディオストリームとを重畳して再生するような場合、1stオーディオデコーダ75−1によりデコードされたメインClip AVストリームファイルのオーディオストリームと、2ndオーディオデコーダ75−2によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部101に供給される。 For example, if such play by superimposing a 2nd audio stream referred to by the 1st audio stream and sub-path that is referenced by the main path, and the audio stream of the main Clip AV stream file decoded by 1st audio decoder 75-1 , an audio stream of the sub Clip AV stream file decoded by 2nd audio decoder 75-2 is supplied to the mixing processor 101.

また、例えば、サブパスで参照される2本のオーディオストリームを重畳して再生するような場合、1stオーディオデコーダ75−1によりデコードされたサブClip AVストリームファイルのオーディオストリームと、2ndオーディオデコーダ75−2によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部101に供給される。 For example, when as to reproduce by superimposing the two audio streams referenced by the sub path, the audio stream of the sub Clip AV stream file decoded by 1st audio decoder 75-1, 2nd audio decoder 75-2 an audio stream of the sub Clip AV stream file decoded by is supplied to the mixing processor 101.

ミキシング処理部101は、1stオーディオデコーダ75−1からのオーディオデータと、2ndオーディオデコーダ75−2からのオーディオデータとをミキシング(重畳)し、後段のミキシング処理部97に出力する。 Mixing processor 101, and audio data from the 1st audio decoder 75-1 and the audio data from the 2nd audio decoder 75-2 mixes (superimposes), and outputs to the subsequent mixing processor 97. なお、本実施の形態においては、1stオーディオデコーダ75−1から出力されるオーディオデータと2ndオーディオデコーダ75−2から出力されるオーディオデータとをミキシング(重畳)することを、合成するとも称する。 In this embodiment, that mixes (superimposes) the audio data output from the audio data and 2nd audio decoder 75-2 output from 1st audio decoder 75-1, also referred to as a synthesized. すなわち、合成とは、2つのオーディオデータを、ミキシングすることも示すものとする。 That, combined with the two audio data, are also intended to indicate that the mixing.

また、スイッチ32により選択されたサウンドデータは、バッファ95に供給され、バッファリングされる。 Further, the sound data selected by the switch 32 is supplied to the buffer 95, it is buffered. バッファ95は、所定のタイミングでサウンドデータをミキシング処理部97に供給する。 Buffer 95 supplies the sound data to the mixing processor 97 at a predetermined timing. サウンドデータは、例えば、メニュー選択などによる効果音のデータなどである。 Sound data is, for example, data of sound effects such as by menu selection. ミキシング処理部97は、ミキシング処理部101によりミキシングされたオーディオデータ(1stオーディオデコーダ75−1から出力されたオーディオデータと2ndオーディオデコーダ75−2から出力されたオーディオデータとがミキシングされたオーディオデータ)と、バッファ95から供給されてきたサウンドデータをミキシング(重畳、または合成)し、音声信号として出力する。 Mixing processor 97, mixed audio data by mixing processor 101 (1st audio data and output audio data is mixed from the audio data and 2nd audio decoder 75-2 outputted from the audio decoder 75-1) When mixing the sound data supplied from the buffer 95 (superimposed or synthetic), and outputs as an audio signal.

テキストサブタイトル用リードバッファであるバッファ54から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジション(デコーダ)76へ出力される。 Data read from the buffer 54 is read buffer text subtitle at a predetermined timing, and output to the subsequent text subtitle composition (decoder) 76. テキストサブタイトルコンポジション76は、Text-STデータをデコードし、スイッチ77に供給する。 Text subtitle composition 76 decodes the Text-ST data, and supplies to the switch 77.

スイッチ77は、プレゼンテーショングラフィックスデコーダ73によりデコードされたプレゼンテーショングラフィックスストリームと、Text-ST(テキストサブタイトルデータ)のうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。 Switch 77, a presentation graphics stream decoded by the presentation graphics decoder 73, among the Text-ST (text subtitle data), select one, and supplies the selected data to the presentation graphics plane generator 93 . すなわち、プレゼンテーショングラフィックスプレーン生成部93へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ73またはテキストサブタイトル(Text-ST)コンポジション76のうちのいずれかの出力である。 In other words, the subtitle images supplied simultaneously to the presentation graphics plane generator 93 is any output of the presentation graphics decoder 73 or the text subtitle (Text-ST) composition 76. また、プレゼンテーショングラフィックスデコーダ73へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClip AVストリームファイルまたはサブClip AVストリームファイルのいずれかから分離されたストリームである。 Also, presentation graphics streams simultaneously input into the presentation graphics decoder 73 are streams separated from either the main Clip AV stream file or the sub Clip AV stream file. したがって、プレゼンテーショングラフィックスプレーン生成部93へ同時に出力される字幕画像は、メインClip AVストリームファイルからのプレゼンテーショングラフィックスストリーム、またはサブClip AVストリームファイルからのからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。 Therefore, the subtitle image to be output at the same time to the presentation graphics plane generator 93, a main Clip AV presentation graphics stream from the stream file or sub Clip AV Kara from stream file presentation graphics stream or text subtitle data, is the decoded output.

バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合や、ストリーム再生中以外に後述するGUI表示画面を表示する場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部96に供給する。 Background plane generator 91, based on the background image data supplied from the background decoder 71, for example, when you reduce a displayed video image, when displaying the GUI screen to be described later in addition to the stream playback It generates a background plane to be wallpaper image, which is supplied to the video data processor 96.

1stビデオプレーン生成部92−1は、1stビデオデコーダ72−1から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部96に供給する。 1st video plane generating unit 92-1, based on the video data supplied from the 1st video decoder 72-1 to generate a video plane, and supplies it to the video data processor 96. 2ndビデオプレーン生成部92−2は、2ndビデオデコーダ72−2から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部96に供給する。 2nd video plane generating unit 92-2, based on the video data supplied from the 2nd video decoder 72-2 to generate a video plane, and supplies it to the video data processor 96.

プレゼンテーショングラフィックスプレーン生成部93は、スイッチ77により選択され、供給されたデータ(プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータ)に基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。 Presentation graphics plane generator 93 is selected by the switch 77, based on the supplied data (presentation graphics stream or text subtitle data), for example, generates a presentation graphics plane is rendered image, which video to the data processing unit 96.

インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部96に供給する。 Interactive graphics plane generator 94, based on the data of the interactive graphics stream supplied from the interactive graphics decoder 74, and generates an interactive graphics plane, and supplies it to the video data processor 96.

ビデオデータ処理部96は、バックグラウンドプレーン生成部91からのバックグラウンドプレーン、1stビデオプレーン生成部92−1からのビデオプレーン、2ndビデオプレーン生成部92−2からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部93からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部94からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。 Video data processor 96, the background plane from the background plane generator 91, 1st video plane from the video plane generating unit 92-1, 2nd video plane from the video plane generating unit 92-2, a presentation graphics plane generator presentation graphics plane from parts 93, and the interactive graphics plane from the interactive graphics plane generator 94 synthesizes and outputs as a video signal.

なお、ビデオデータ処理部96は、ピクチャインピクチャ表示が行われる場合、すなわち、1stビデオプレーン生成部92−1からのビデオプレーン、および、2ndビデオプレーン生成部92−2からのビデオプレーンの両方の入力を受けるとき、メイン画面(親画面)の中に、サブ画面(子画面)を有するピクチャインピクチャ表示画面(図31を用いて後述する)を生成する。 Incidentally, the video data processor unit 96, if the picture-in-picture display is performed, i.e., 1st video plane from the video plane generating unit 92-1, and, in both the video plane from 2nd video plane generating unit 92-2 when receiving an input, in the main screen (main screen), to produce a picture-in-picture display screen having sub-screen (sub-screen) (to be described later with reference to FIG. 31).

また、これらのスイッチ57乃至59、並びにスイッチ77は、操作入力部29を介するユーザからの選択に基づいて、または、対象となるデータが含まれるファイルが供給される側に、スイッチを切り替える。 These switches 57 through 59 and the switch 77, based on the selection from the user via the operation input unit 29, or, on the side file that contains the target data is supplied, switching the switch. 例えば、サブClip AVストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ59はサブClip AVストリームファイルを供給する側(PIDフィルタ56の出力)にスイッチを切り替える。 For example, only only sub Clip AV stream file, does not contain the audio stream, the switch 59 switches the switch to the supply sub Clip AV stream file (output of the PID filter 56).

次に、再生装置1における再生処理について説明する。 Next, description will be made regarding the playback processing in the playback apparatus 1. 操作入力部29を用いてユーザにより所定のAVストリームの再生が指令されたとき、コントローラ21は、ストレージドライブ22を介して記録媒体11から、または、HDD(Hard Disk Drive)などで構成されるローカルストレージ24から、PlayListファイルに含まれるPlayList(PlayListに含まれるPlayItemおよびSubPlayItem)に基づいて、メインClip AVストリーム、サブClip AVストリーム、およびテキストサブタイトルデータ(Text-STデータ)を読み出して、AVデコーダ部26に供給する。 When the operation input unit 29 reproducing the predetermined AV stream by the user using the is commanded, the controller 21, the local composed from the recording medium 11 via the storage drive 22 or, in an HDD (Hard Disk Drive) from the storage 24, based on the PlayList (PlayItem and SubPlayItem included in PlayList) contained in the PlayList file, reads the main Clip AV stream, the sub-Clip AV stream, and a text subtitle data (text-ST data), AV decoder unit It supplies it to the 26.

コントローラ21は、バックグラウンドイメージデータをバッファ51に供給し、メインClip AVストリームのデータをバッファ52に供給し、サブClip AVストリームのデータをバッファ53に供給し、Text-STのデータをバッファ54に供給するようスイッチ32を切り替える。 The controller 21 supplies the background image data to the buffer 51, and supplies the data of the main Clip AV stream in the buffer 52, and supplies the data of the sub Clip AV stream in the buffer 53, the data of the Text-ST in the buffer 54 It switches the switch 32 to supply.

そして、スイッチ32が切り替えられて、バックグラウンドイメージデータはバッファ51に供給され、メインClip AVストリームのデータはバッファ52に供給され、サブClip AVストリームのデータはバッファ53に供給され、テキストサブタイトルデータはバッファ54に供給され、各バッファ51乃至54は、供給されたデータをそれぞれバッファリングする。 Then, the switch 32 is switched, the background image data are supplied to the buffer 51, the data of the main Clip AV stream is supplied to the buffer 52, the data of the sub Clip AV stream is supplied to the buffer 53, text subtitle data is supplied to the buffer 54, the buffers 51 to 54, buffers respectively supplied data.

そして、バッファ51は、バックグラウンドイメージデータをバックグラウンドデコーダ71に出力し、バッファ52はメインClip AVストリームのストリームデータをPIDフィルタ55に出力し、バッファ54は、テキストサブタイトルデータをテキストサブタイトルコンポジション76に出力し、バッファ53は、サブClip AVストリームのストリームデータをPIDフィルタ56に出力する。 The buffer 51 outputs the background image data to the background decoder 71, buffer 52 outputs the stream data of the main Clip AV stream to the PID filter 55, a buffer 54, a text subtitle composition 76 the text subtitle data output to the buffer 53 outputs the stream data of the sub Clip AV stream to the PID filter 56.

PIDフィルタ55は、ビデオストリームをPIDフィルタ60に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームをスイッチ59に供給する。 PID filter 55 supplies video streams to the PID filter 60 supplies presentation graphics streams to the switch 57 as a supply source for the presentation graphics decoder 73, the supply of interactive graphics streams to the interactive graphics decoder 74 It is supplied to the switch 58, which based on, supplies audio streams to the switch 59. すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。 That is, the video stream, a presentation graphics stream, interactive graphics stream, and the audio stream are different PID is assigned respectively.

そして、PIDフィルタ56は、ビデオストリームをPIDフィルタ60に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ73への供給元となるスイッチ57に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ74への供給元となるスイッチ58に供給し、オーディオストリームをスイッチ59に供給する。 Then, the PID filter 56 supplies video streams to the PID filter 60 supplies presentation graphics streams to the switch 57 as a supply source for the presentation graphics decoder 73, an interactive graphics stream to the interactive graphics decoder 74 and the supply to the supply source and comprising a switch 58, and supplies the audio stream to the switch 59.

PIDフィルタ60は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ72−1に供給する。 PID filter 60, when the primary video stream is input, it supplies the primary video stream to the 1st video decoder 72-1. これに対して、PIDフィルタ60は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ72−2に供給する。 In contrast, PID filter 60, when the secondary video stream is input, and supplies the secondary video stream to the 2nd video decoder 72-2.

そして、PIDフィルタ55およびPIDフィルタ56の後段のスイッチ57、および、スイッチ58は、コントローラ21からの制御に基づいて、メインClipとサブClipのいずれかを選択する。 Then, subsequent switch 57 of the PID filter 55 and the PID filter 56 and, the switch 58 under the control of the controller 21, selects either the main Clip and the sub Clip. すなわち、スイッチ57は、PIDフィルタ55から供給されたメインClip AVストリームまたはサブClip AVストリームのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ73に供給する。 That is, the switch 57 selects the presentation graphics streams of the main Clip AV stream or the sub Clip AV stream supplied from the PID filter 55, and supplies to the subsequent presentation graphics decoder 73. また、スイッチ58は、PIDフィルタ55から供給されたメインClip AVストリームまたはサブClip AVストリームのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフィックスストリームデコーダ74に供給する。 The switch 58 selects an interactive graphics stream of the main Clip AV stream or the sub Clip AV stream supplied from the PID filter 55, and supplies to the subsequent interactive graphics stream decoder 74.

さらに、スイッチ59は、オーディオの合成が行われない場合、PIDフィルタ55から供給されたメインClip AVストリーム、または、PIDフィルタ56から供給されたサブClip AVストリームのオーディオストリームのうちのいずれかを選択し、後段の1stオーディオデコーダ75−1に供給する。 Further, the switch 59, if the synthesis of the audio is not performed, the main Clip AV stream supplied from the PID filter 55, or select one of the audio streams of the sub Clip AV stream supplied from the PID filter 56 and supplies to the subsequent 1st audio decoder 75-1. なお、音声を切り替えるような指令や、音声を合成するような指令がユーザにより行われた場合には、スイッチ59は、メインClip AVストリームのオーディオストリームを2ndオーディオデコーダ75−2に供給したり、サブClip AVストリームのオーディオストリームを1stオーディオデコーダ75−1や2ndオーディオデコーダ75−2に供給する。 In the case where the command and that switches the audio, the command so as to synthesize a speech made by the user, the switch 59, and supplies the audio stream of the main Clip AV stream in 2nd audio decoder 75-2, supplying an audio stream of the sub Clip AV stream in 1st audio decoder 75-1 and 2nd audio decoder 75-2.

そして、バックグラウンドデコーダ71は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部91に出力し、1stビデオデコーダ72−1および2ndビデオデコーダ72−2は、ビデオストリームをデコードし、これを、それぞれ、1stビデオプレーン生成部92−1および2ndビデオプレーン生成部92−2に出力し、プレゼンテーショングラフィックスデコーダ73は、スイッチ57により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ77に出力し、インタラクティブグラフィックスデコーダ74は、スイッチ58により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラ Then, the background decoder 71 decodes the background image data, which is output to the background plane generator 91, 1st video decoder 72-1 and 2nd video decoder 72-2 decodes the video stream, which the respectively output to 1st video plane generating unit 92-1 and the 2nd video plane generating unit 92-2, a presentation graphics decoder 73 is selected by the switch 57 decodes the supplied presentation graphics stream, which the output to the subsequent stage of the switch 77, an interactive graphics decoder 74 is selected by the switch 58 decodes the supplied interactive graphics stream, Intara this subsequent ティブグラフィックスプレーン生成部94に出力し、Text-STコンポジション76は、テキストサブタイトルデータをデコードし、これを後段のスイッチ77に出力する。 Output to revertive graphics plane generator 94, Text-ST composition 76 decodes the text subtitle data, and outputs it to the subsequent stage of the switch 77.

そして、1stオーディオデコーダ75−1は、スイッチ59により選択され、供給されたオーティオストリーム(プライマリオーディオストリーム)をデコードし、これを後段のミキシング処理部101に出力する。 Then, 1st audio decoder 75-1 is selected by the switch 59 decodes the supplied O Tio stream (primary audio stream), and outputs this to the subsequent stage of the mixing processor 101. 例えば、音声の切り替えがユーザにより指示されていない状態における再生処理では、2ndオーディオデコーダ75−2からオーディオデータが出力されることはないので、ミキシング処理部101は、1stオーディオデコーダ75−1から出力されたオーディオデータを、そのまま後段のミキシング処理部97に供給する。 For example, in the reproduction process in the state in which the switching of the speech is not instructed by the user, since it is not possible from the 2nd audio decoder 75-2 is output audio data, the mixing processing unit 101 outputs the 1st audio decoder 75-1 the audio data, it supplies to the subsequent mixing processor 97. また、音声の合成がユーザにより指令されている状態においては、2ndオーディオデコーダ75−2は、スイッチ59により選択され、供給されたオーティオストリームをデコードし、これを後段のミキシング処理部101に出力する。 Further, in a state where the synthetic speech is being commanded by the user, 2nd audio decoder 75-2 is selected by the switch 59 decodes the supplied O Tio stream, and outputs this to the subsequent stage of the mixing processor 101 . ミキシング処理部101は、1stオーディオデコーダ75−1から出力されたオーディオデータと2ndオーディオデコーダ75−2から出力されたオーディオデータとを合成(ミキシング)し、後段のミキシング処理部97に供給する。 Mixing processor 101, and audio data output from the audio data and 2nd audio decoder 75-2 outputted from the 1st audio decoder 75-1 was synthesized (mixed) to the subsequent stage of the mixing processor 97.

スイッチ77は、プレゼンテーショングラフィックスデコーダ73またはText-STコンポジション76からのデータのいずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部93に供給する。 Switch 77 selects one of the data from the presentation graphics decoder 73 or Text-ST composition 76, and supplies the selected data to the presentation graphics plane generator 93.

バックグラウンドプレーン生成部91は、バックグラウンドデコーダ71から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成し、ビデオプレーン生成部92は、ビデオデコーダ72から供給されたビデオデータに基づいて、ビデオプレーンを生成し、プレゼンテーショングラフィックスプレーン生成部93は、スイッチ77により選択され、供給されたプレゼンテーショングラフィックスデコーダ73からのデータまたはText-STコンポジション76からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成し、インタラクティブグラフィックスプレーン生成部94は、インタラクティブグラフィックスデコーダ74から供給されたインタラクティブグラフィックスストリームのデ Background plane generator 91, based on the background image data supplied from the background decoder 71, generates the background plane, the video plane generator 92, based on the video data supplied from the video decoder 72 generates a video plane, the presentation graphics plane generator 93, is selected by the switch 77, based on the data from the data or Text-ST composition 76 from the supplied presentation graphics decoder 73, a presentation graphics plane generates a down, the interactive graphics plane generator 94, data of the interactive graphics stream supplied from the interactive graphics decoder 74 ータに基づいて、インタラクティブグラフィックスプレーンを生成する。 Based on over data, it generates an interactive graphics plane.

そして、ビデオデータ処理部96は、各プレーンのデータを合成し、ビデオデータとして出力する。 Then, the video data processor 96 combines the data of each plane is output as video data.

また、バッファ95は、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部97に供給する。 The buffer 95, the supplied sound data buffers, and supplies to the mixing processing unit 97 at a predetermined timing. ミキシング処理部97は、オーディオデータ(ミキシング処理部101から出力されたオーディオデータ)とサウンドデータをミキシング(合成)し、出力する。 Mixing processor 97 mixes (synthetic) sound data and audio data (audio data output from the mixing processor 101), and outputs.

このような処理により、PlayListに含まれるメインパスとサブパスによりメインClip AVストリーム、サブClip AVストリーム、およびテキストサブタイトルデータが参照され、再生される。 By such processing, the main Clip AV stream by the main path and sub path contained in the PlayList, the sub-Clip AV stream, and the text subtitle data is referred to, is reproduced. PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClip AVストリームファイルとは異なるClip AVストリームである、サブClip AVストリームを指定可能な構成としたので、メインパスのPlayItemが指すメインClipとは異なるClipであるサブClipに含まれるデータとメインClipに含まれるデータとを一緒に(同じタイミングで)再生することができる。 As provided main path and sub path in PlayList, in the sub path, the Clip AV stream file specified by the main path is a different Clip AV stream, since a specified configurable sub Clip AV stream, the PlayItem of the Main Path can be reproduced together with the data contained in the data and the main Clip contained in the sub Clip is different Clip (at the same timing) from the main Clip pointed.

ところで、上述したように、本発明の再生装置1に装着される記録媒体11上、または、再生装置1のローカルストレージ24に記録されるデータのアプリケーションフォーマットは、PlayListとClipの2つのレイヤを有している。 Incidentally, as described above, on the recording medium 11 mounted on the playback apparatus 1 of the present invention, or the application format of the data recorded in the local storage 24 of the playback apparatus 1, have the two layers of PlayList and Clip are doing. そして、PlayListは、1つ以上のPlayItemの並びによって(連続するPlayItemにより)作られるメインパス(Main Path)と、そのMain Pathに並行(並列)して、1つ以上のSubPlayItemの並びによって(非連続でもよいし、連続してもよいSubPlayItemにより)作られるサブパス(Sub Path)を1以上含むことができる。 Then, PlayList (by the continuous PlayItem) one or more PlayItem sequence by the main path (Main Path) made, parallel to the Main Path (parallel) to, by a sequence of one or more SubPlayItem (non may be a continuous, a continuous and may be SubPlayItem) may include sub-path (Sub Path) one or more made.

このような構成を有するデータを、図29および図30を用いて説明した再生装置1において再生することにより、図31に示されるように、全画面(親画面)301と子画面302のそれぞれに別々のコンテンツを同時再生させる、といったピクチャインピクチャ手法を適用することが可能になる。 The data having such a configuration, by reproducing the reproducing apparatus 1 described with reference to FIGS. 29 and 30, as shown in Figure 31, each of the entire screen (main screen) 301 and the sub-screen 302 is reproduced simultaneously separate content, it is possible to apply a picture-in-picture techniques such.

例えば、図31に示されるように、1画面のうちの、全画面301に、メインパスで参照されるAVストリーム(図31中、Primary Videoと記述されているビデオストリーム311、および、Primary Audioと記述されているオーディオストリーム312)に対応する映画本編等のコンテンツを再生させるとともに、全画面301に配置される子画面302に、サブパスで参照されるAVストリーム(図31中、Secondary Videoと記述されているビデオストリーム313、および、Secondary Audioと記述されているオーディオストリーム314)に対応する映画の監督のコメンタリー等、メインパスで参照されるAVストリームとは別のコンテンツを再生させる、といった手法を適用することが可能になる。 For example, as shown in Figure 31, among the one screen, the whole screen 301, in the AV stream (Fig. 31 referred to by the main path, and the video stream 311, is described as Primary Video, and Primary Audio to reproduce contents of the main movie or the like corresponding to the audio stream 312) which is described, on the child screen 302 disposed on the entire screen 301, in the AV stream (Fig. 31 referred to by the sub path, is described as Secondary Video and and video streams 313,, commentaries, etc. of the supervision of the corresponding movie audio stream 314) which is described as Secondary audio, the AV stream referenced by the main path to reproduce different content, a technique such as application it becomes possible to.

具体的には、ピクチャインピクチャは、例えば映画本編(Primary Video, Primary Audio)を全画面301に表示しているときに、監督のコメンタリー(Secondary Video, Secondary Audio)を子画面302に入れ子画面にして、必要に応じて、音声を合成し、同時に表示出力されるように再生するアプリケーションである。 Specifically, the picture-in-picture, for example main movie (Primary Video, Primary Audio) When viewing the full screen 301, director commentary (Secondary Video, Secondary Audio) nested screen child screen 302 Te, optionally, to synthesize a speech, an application to reproduce to appear simultaneously output.

なお、サブタイトルストリームの再生位置(字幕等の表示位置)は、特に子画面内である必要は無く、全画面のうちの何れの位置でもよい。 The reproduction position of a subtitle stream (display of such subtitles position) need not be usually incorporates a screen, may be at any position of the entire screen. このため、図31の例では、サブタイトルストリーム315は、子画面302からはみ出すように描画されている。 Therefore, in the example of FIG. 31, the subtitle stream 315 is drawn so as to protrude from the sub-screen 302.

ユーザがピクチャインピクチャアプリケーションに関して許されているユーザオペレーションは、セカンダリビデオを表示するか否か、換言すれば、ピクチャインピクチャアプリケーションのon/offを指令するためのユーザオペレーションと、一つの区間に複数のセカンダリビデオが用意されている場合に、現在表示されているセカンダリビデオを他のセカンダリビデオに切り替えるユーザオペレーションである。 Multiple user operation the user is allowed with respect to the picture-in-picture application, whether or not to display the secondary video, in other words, the user operation and, one section for directing on / off of the picture-in-picture application when the secondary video is prepared, a user operation to switch the secondary video currently displayed in the other secondary video. また、セカンダリビデオが表示されている場合には、セカンダリオーディオのon/offおよび再生されるセカンダリオーディオの変更、並びに、ピクチャインピクチャ用の字幕のon/offおよび字幕の変更を指令するユーザオペレーションも許されている。 Further, when the secondary video is displayed, changing the secondary audio to be on / off and playback of the secondary audio, as well, even a user operation for commanding a change of the on / off and subtitle captions for picture-in-picture It is allowed.

ピクチャインピクチャにおいて、子画面302として表示可能なSecondary Videoは、1つのPlayList中に複数定義することができる。 In picture-in-picture, Secondary Video can be displayed as a sub-screen 302 may be more defined in one PlayList. 例えば、1つのPlayList中に子画面302として表示可能なSecondary Videoを255個含めることができるようになされているなど、多数のピクチャインピクチャアプリケーションがPlayList中に定義されていた場合、ユーザが、そのコンテンツにおいて再生可能なピクチャインピクチャアプリケーションを把握することは困難である。 For example, such have been made viewable Secondary Video as a child screen 302 in one PlayList to be able to contain 255, if a large number of picture-in-picture applications have been defined in the PlayList, the user, the it is difficult to grasp the picture-in-picture application that can be reproduced in the content.

また、例えば、全画面301に表示されるPrimary Videoに対しては、従来行われてきたように、チャプタなどを用いて、特定のシーンを呼び出して再生させることなどができる。 Further, for example, for a Primary Video is displayed on the full screen 301, as has been done conventionally, such as by using a chapter, it is like be regenerated by calling a specific scene. しかしながら、これに対して、全画面301に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面302として再生可能なようになされているかをユーザが把握することは困難である。 However, whereas the playback interval of Primary Video displayed on the full screen 301, in any section, the user to grasp whether or have been made so as to be reproduced as one of the Secondary Video child screen 302 it is difficult. したがって、全画面301に表示されるPrimary Videoとともに子画面302に表示されるSecondary Videoの特定のシーンを呼び出す方法は提供されていない。 Therefore, how to call a particular scene of Secondary Video displayed on the child screen 302 together with the Primary Video, which is displayed on the entire screen 301 is not provided.

また、Secondary VideoおよびSecondary Audioは、Primary Videoの全ての再生区間に対して用意されているとは限らず、また、同一の再生区間に、複数のSecondary VideoおよびSecondary Audioが用意されている場合もある。 Further, Secondary Video and Secondary Audio is not necessarily to have been prepared for all of the playback section of the Primary Video, also in the same playback section, even when a plurality of Secondary Video and Secondary Audio are prepared is there. また、Secondary Videoと、それに対応するSecondary Audioは、全てが所定のタイミングで再生されるのではなく、ユーザの所望のタイミングで再生される(非同期)のものも存在する。 Further, the Secondary Video, Secondary Audio corresponding thereto, not all are reproduced at a predetermined timing, would also be present is reproduced at a desired timing of the user (asynchronous). このため、例えば、再生開始時刻を指定することにより、Secondary Videoと、それに対応するSecondary Audioの特定のシーンを任意に呼び出すのは困難であった。 Thus, for example, by specifying the playback start time, and Secondary Video, it is difficult optionally invoke a specific scene of a corresponding Secondary Audio thereto.

そこで、再生装置1においては、全画面301に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面302として再生可能なようになされているかをユーザが把握することができるようなGUI表示画面を生成して表示する機能を有するものとする。 Therefore, in the reproduction apparatus 1, the reproduction section of Primary Video displayed on the full screen 301, in any section, the user figure out have been made so as to be reproduced as one of the Secondary Video child screen 302 It shall have a GUI display screen generating and displaying functions, such as can be.

ユーザは、このGUI表示画面を参照することにより、Secondary Videoと、それに対応するSecondary Audioの特定のシーンを効率的に選択することが可能となる。 The user, by referring to the GUI screen, and Secondary Video, it is possible to select a particular scene efficiently the corresponding Secondary Audio thereto.

また、再生装置1は、全画面301に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面302として再生可能なようになされているかをユーザが把握することができるようなGUI表示画面のみならず、例えば、Primary VideoとSecondary Videoとをユーザが明確に区別することなく、Primary VideoとSecondary Videoとのいずれかの特定のシーンを選択することができるようなGUI表示画面を生成して表示するようにしてもよい。 The reproduction apparatus 1, the reproduction section of Primary Video displayed on the full screen 301, in any of the sections, or the user to grasp have been made so as to be reproduced as one of the Secondary Video child screen 302 not only GUI screen such as may be, for example, Primary Video and Secondary Video and without user a clear distinction, so that it is possible to select a particular scene in either the Primary Video and the Secondary Video it may be displayed to generate a GUI display screen.

図32に、コントローラ21が有する機能のうち、このようなGUI表示画面を生成して表示する機能について説明するための機能ブロック図を示す。 Figure 32, among the functions controller 21 has a functional block diagram for explaining a function for generating and displaying such GUI screen.

なお、コントローラ21は、例えば、GUI表示画面を生成して表示する機能や、装着された記録媒体11またはローカルストレージ24に記録されているデータを再生する処理以外にも、さまざまな機能を有するものとしてもよいが、図32においては、GUI表示画面の生成および表示の制御、並びに、ストリームデータの再生の制御以外の機能については、省略する。 The controller 21 is, for example, functions and for generating and displaying the GUI screen, in addition to the processing for reproducing the data recorded on the recording medium 11 or the local storage 24 is mounted, having a variety of functions also good as in FIG. 32, the generation and display control of the GUI display screen, as well as the functions other than the control of the stream data reproduction will be omitted.

PlayList読み出し制御部351は、PlayListファイルを取得する。 PlayList read control unit 351 obtains the PlayList file. PlayList読み出し制御部351は、例えば、通常再生時においては、取得したPlayListファイルに含まれるPlayItemおよびSubPlayItemに基づいて、対応するClipのClip_Information_file_nameを検出し、ストリームデータ読み出し制御部354に供給する。 PlayList read control unit 351, for example, at the time of normal reproduction, based on the PlayItem and SubPlayItem included in the acquired PlayList file, detects the Clip_Information_file_name of the corresponding Clip, and supplies the stream data read control unit 354. また、PlayList読み出し制御部351は、例えば、上述したようなGUI表示画面を表示するために、取得したPlayListファイルを、PlayList解析部352に供給する。 Further, PlayList read control unit 351, for example, to display a GUI screen as described above, the acquired PlayList file, and supplies the PlayList analysis unit 352.

PlayList解析部352は、供給されたPlayListファイルから、STN_table()を読み出し、STN_table()のstream_entryに基づいて、このPlayListファイルによって再生されるストリームに含まれるSecondary VideoおよびSecondary Audioに対応するref_to_Subpath_idを取得し、IN_time/OUT_time取得部356に供給する。 PlayList analysis unit 352, from the supplied PlayList file, reads the STN_table (), based on the stream_entry of STN_table (), get the ref_to_Subpath_id corresponding to Secondary Video and Secondary Audio included in the stream to be reproduced by the PlayList file , and supplies it to the IN_time / OUT_time acquisition unit 356.

操作入力取得部353は、操作入力部29から供給されるユーザの操作入力を取得し、ストリームデータ読み出し制御部354、再生開始位置情報記憶制御部358、または、GUI表示制御部359に供給する。 Operation input acquisition section 353 acquires a user operation input supplied from the operation input unit 29, the stream data read control unit 354, the reproduction start position information storage control unit 358, or supplies the GUI display control section 359.

ストリームデータ読み出し制御部354は、PlayList読み出し制御部351から供給されたClip_Information_file_nameを基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部26への供給を制御する。 Stream data read control unit 354, based on the Clip_Information_file_name supplied from PlayList read control unit 351, and reading of the stream data contained in the corresponding Clip, controls the supply to the AV decoder section 26. またストリームデータ読み出し制御部354は、操作入力取得部353から供給された、GUI表示画面を参照したユーザの操作入力を基に、再生開始位置情報記憶制御部358により記憶が制御されている再生開始位置に関する情報を参照し、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部26への供給を制御する。 The stream data read control unit 354, supplied from the operation input acquiring unit 353, based on the operation input of the user with reference to the GUI display screen, start playback stored by the reproduction start position information storage control unit 358 is controlled refers to information relating to the position, and the reading of the stream data contained in the corresponding Clip, it controls the supply to the AV decoder section 26.

再生制御部355は、ストリームデータ読み出し制御部354の制御に基づいて、AVデコーダ部26へ供給されたデータのデコードおよび再生出力を制御する。 Reproduction control unit 355, under the control of the stream data read control unit 354 controls the decoding and reproduction output data supplied to the AV decoder section 26.

IN_time/OUT_time取得部356は、PlayList解析部352から供給された、Secondary VideoおよびSecondary Audioに対応するref_to_Subpath_idを基に、対応するSubpathに含まれるSubPlayItemを抽出し、それらのSubPlayItem から、それぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeを取得し、GUI生成部357および再生開始位置情報記憶制御部358に供給する。 IN_time / OUT_time acquiring unit 356, supplied from the PlayList analyzer 352, based on ref_to_Subpath_id corresponding to Secondary Video and Secondary Audio, extracts SubPlayItem included in the corresponding Subpath, from their SubPlayItem, respectively SubPlayItem_IN_time and get the SubPlayItem_Out_time, and supplies the GUI generation unit 357 and the playback start position information storage control unit 358.

GUI生成部357は、IN_time/OUT_time取得部356から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeを基に、GUI表示画面に対応するデータを生成し、GUI表示制御部359に供給する。 GUI generator 357, supplied from IN_time / OUT_time acquiring unit 356, Secondary based on each of the SubPlayItem_IN_time and SubPlayItem_Out_time corresponding to Video and Secondary Audio, generates data corresponding to the GUI screen, the GUI display control section 359 supplied to. また、GUI生成部357は、必要に応じて、ストリームデータ読み出し制御部354により、Secondary Videoに対応するサムネイル画像の基となる画像データ(例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど)を取得し、生成するGUI表示画面データに含ませるようにすることも可能である。 Also, GUI generating unit 357, as necessary, by the stream data read control unit 354, image data (e.g., as a group of thumbnail images corresponding to the Secondary Video, the beginning of the stream of Secondary Video, i.e., corresponding to the SubPlayItem_IN_time partial or frame image data, any other such frame image data) acquired the, it is also possible to include in the GUI screen data generated. また、GUI生成部357は、生成したGUI表示画面データに関する情報を、再生開始位置情報記憶制御部358に供給する。 Also, GUI generating unit 357, the generated GUI screen data information on and supplies the reproduction start position information storage control unit 358.

再生開始位置情報記憶制御部358は、IN_time/OUT_time取得部356から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_time、並びに、GUI生成部357から供給されたGUI表示画面データに関する情報を基に、GUI表示画面において表現されているSecondary VideoおよびSecondary Audioと、それらの再生開始位置(SubPlayItem_IN_time)とを関連つけて記憶する。 Playback start position information storage control unit 358, supplied from IN_time / OUT_time acquisition unit 356, respectively SubPlayItem_IN_time and SubPlayItem_Out_time corresponding to Secondary Video and Secondary Audio, and to a GUI display screen data supplied from the GUI generator 357 based on the information, the Secondary Video and Secondary Audio being represented in GUI display screen, and stores put associated with their reproduction start position (SubPlayItem_IN_time). これにより、操作入力取得部353から、生成されたGUI表示画面を参照したユーザが行う操作入力に関する情報が取得された場合、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかをMainPathのPrimary VideoおよびPrimary Audioとともに再生させるための再生開始位置情報を抽出し、ストリームデータ読み出し制御部354に供給することができる。 Thus, the operation input obtaining unit 353, if the information about the operation input by the user with reference to the generated GUI screen performs is acquired, Secondary Video or Secondary Audio at least one of MainPath Primary Video which the user desires and Primary Audio with extracts a playback start position information for playing, it is possible to supply the stream data read control unit 354.

GUI表示制御部359は、操作入力取得部353から供給されるユーザの操作入力に基づいて、GUI生成部357により生成されたGUI表示画面データの表示および表示の取り消しを制御する。 GUI display control unit 359, based on the user operation input supplied from the operation input acquiring unit 353, controls the display and display of cancellation of GUI display screen data generated by the GUI generator 357. 具体的には、GUI表示制御部359は、OSD30を制御し、AVデコーダ部26から供給されたビデオ信号または画像信号への、GUI表示画面データの重畳を制御する。 Specifically, the GUI display control section 359 controls the OSD30, to video signal or image signal supplied from the AV decoder unit 26, controls the superimposed GUI screen data.

図32に示されるような機能を有するコントローラ21は、再生装置1に記録媒体11が装着されるなどにより、記録媒体11またはローカルストレージ24に記録されているコンテンツの再生が可能な状態となったとき、GUI表示画面データを生成する。 Controller 21 has a function as shown in FIG. 32, it was due reproducing apparatus 1 to the recording medium 11 is mounted, and is ready reproduction of content recorded on the recording medium 11 or the local storage 24 when, to generate a GUI display screen data.

すなわち、PlayList読み出し制御部351により読み出されたPlayListファイルが、PlayList解析部352により解析されて、このPlayListファイルによって再生されるストリームに含まれるSecondary VideoおよびSecondary Audioに対応するref_to_Subpath_idが取得され、IN_time/OUT_time取得部356により、対応するSubpathに含まれるSubPlayItemが抽出されて、それらのSubPlayItem から、それぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeが取得される。 That, PlayList PlayList file read by the read control unit 351, is analyzed by the PlayList analysis unit 352, ref_to_Subpath_id corresponding to Secondary Video and Secondary Audio included in the stream to be reproduced by the PlayList file is acquired, IN_time / the OUT_time acquisition unit 356, is extracted SubPlayItem included in the corresponding Subpath is, from their SubPlayItem, respectively SubPlayItem_IN_time and SubPlayItem_Out_time is obtained.

GUI生成部357は、IN_time/OUT_time取得部356から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_time、必要に応じて、ストリームデータ読み出し制御部354により取得される、Secondary Videoに対応するサムネイル画像の基となる画像データ(例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど)などを基に、GUI表示画面に対応するデータを生成し、GUI表示制御部359に供給する。 GUI generator 357, supplied from IN_time / OUT_time acquisition unit 356, respectively SubPlayItem_IN_time and SubPlayItem_Out_time corresponding to Secondary Video and Secondary Audio, optionally, be acquired by the stream data read control unit 354, the Secondary Video image data on which to base the corresponding thumbnail images (e.g., the beginning of the stream of Secondary Video, i.e., and frame image data of the portion corresponding to the SubPlayItem_IN_time, any other such frame image data) based on such, GUI display It generates data corresponding to the screen, and supplies the GUI display control section 359.

例えば、ユーザが、映画本編など、MainPathのPrimary VideoおよびPrimary Audioを再生中に、操作入力部19よりGUI表示画面の表示を指令すると、操作入力取得部353は、GUI表示画面の表示を指令するユーザの操作入力を取得し、GUI表示制御部359に、GUI表示画面の表示を制御させる。 For example, a user, such as a movie main part, while playing the Primary Video and Primary Audio of MainPath, to instruct the display from the operation input unit 19 of the GUI screen, the operation input obtaining unit 353, an instruction to display the GUI screen get the user's operation input, the GUI display control section 359, to control the display of the GUI display screen.

そのとき、例えば、図33に示されるように、映画本編などが表示されている画面381の一部に、Primary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面302として再生可能なようになされているかをユーザが把握することができるようなGUI表示画面391が表示される。 At that time, for example, as shown in FIG. 33, the part of the screen 381 such as a movie main part is displayed, the reproduction section of Primary Video, in any section, any Secondary Video child screen 302 GUI display screen 391 such that the user can grasp is displayed or have been made so as to be reproduced as.

GUI表示画面391について、図34を参照して説明する。 About GUI display screen 391 will be described with reference to FIG. 34.

GUI表示画面391には、例えば、MainMovie、すなわち、Primary Videoの再生区間全体に対応するメインタイムライン401と、メインタイムライン401上に、現在のPrimary Videoの再生位置を示すスライダ402が表示され、メインタイムライン401に対応付けて、Primary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面302として再生可能であり、Secondary Audioが対応して再生されるかが分かるように、このPlayListファイルによって再生されるストリームに含まれるSecondary VideoまたはSecondary Audioに応じたサブタイムライン403(図34においては、サブタイムライン403−1乃至サブタイムライン403−5)が表示される。 The GUI display screen 391, for example, MainMovie, i.e., the main timeline 401 corresponding to the entire playback section of Primary Video, on the main time line 401, a slider 402 that indicates the playback position of the current Primary Video is displayed, in association with the main timeline 401, the playback section of the Primary Video, in any section, a renewable either as Secondary Video child screen 302, so that if Secondary Audio is played correspondingly be seen the sub timeline 403 corresponding to the Secondary Video or Secondary Audio included in the stream to be reproduced by the PlayList file (in FIG. 34, the sub timeline 403-1 through sub timeline 403-5) are displayed.

そして、サブタイムライン403に対応付けられて、そのサブタイムライン403が対応付けられているストリームが、Secondary VideoまたはSecondary Audioのいずれであるかを示すためのアイコン404(図34においては、アイコン404-1乃至アイコン404-5)が表示されている。 Then, in association with the sub-time line 403, the stream of sub-time line 403 is associated is, in icon 404 (FIG. 34 for indicating which one of Secondary Video or Secondary Audio, the icon 404 -1 to the icon 404-5) are displayed.

また、例えば、ストリームデータ読み出し制御部354により、Secondary Videoに対応するサムネイル画像の基となる画像データ(例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど)を取得し、アイコン404のうち、ビデオストリームに対応するアイコン404を、いわゆるサムネイル画像としてもよい。 Further, for example, by the stream data read control unit 354, image data (e.g., as a group of thumbnail images corresponding to the Secondary Video, the beginning of the stream of Secondary Video, i.e., and frame image data of the portion corresponding to the SubPlayItem_IN_time, other any such frame image data) acquires, from among the icons 404, an icon 404 corresponding to the video stream may be a so-called thumbnail image.

また、ユーザの所望のタイミングで再生される(非同期の)Secondary VideoまたはSecondary Audioに対応するサブタイムライン403は、ユーザの所望のタイミングで再生される(非同期)であることがユーザに認識可能なように表示されると好適である。 The sub timeline 403 corresponding to the desired is reproduced at the timing (asynchronous) Secondary Video or Secondary Audio user, it is being played at a desired timing of the user (asynchronous) can recognize the user it is preferable to display as. このようなサブタイムライン403は、例えば、メインタイムライン401に対して、再生先頭位置に対応するように表示されても良いし、メインタイムライン401に対応しない異なる位置に表示されるようにしても良い。 Such sub timeline 403, for example, the main timeline 401, may be displayed so as to correspond to the playback start position, so as to be displayed at different positions that do not correspond to the main timeline 401 it may be.

このようなGUI表示画面391を表示させることにより、ユーザは、全画面301において、現在本編のどこが再生されているかを認識することができるとともに、いずれの再生位置において、ピクチャインピクチャアプリケーションが何通り存在するか、または、非同期のピクチャインピクチャアプリケーションが何通り存在するかを、視覚的に容易に把握することが可能になる。 By displaying such a GUI screen 391, the user, in the full screen 301, it is possible to recognize whether where the main current is being reproduced, at any playback position, what kinds are picture-in-picture application present or absent, or, whether asynchronous picture-in-picture application exists a number of ways, it is possible to visually easily grasp.

したがって、ユーザは、GUI表示画面391を参照することにより、セカンダリビデオを表示するか否かのユーザオペレーションを容易に実行することができる。 Therefore, the user, by referring to the GUI display screen 391, can be easily performed whether the user operation for displaying the secondary video. また、ユーザは、更に、複数のピクチャインピクチャアプリケーションが存在しているか否かも容易に認識できるので、ピクチャインピクチャアプリケーションのon/offを指令するユーザオペレーションを容易に効率的に実行することができる。 The user may also, since a plurality of picture-in-picture application can be easily recognized whether or not there, it is possible to perform user operations for instructing the on / off of the picture-in-picture application easily efficiently . 更に、GUI表示画面391は、ユーザによるForward Play/Backward Play操作にも役立つと考えられる。 In addition, GUI display screen 391, believed to be helpful also in the Forward Play / Backward Play operation by the user.

また、ストリームデータ読み出し制御部354により、Secondary Videoに対応するサムネイル画像の基となる画像データ(例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど)を取得して、サムネイル画像をサブタイムライン403とともに表示した場合、ユーザは、ピクチャインピクチャアプリケーションの内容を容易に認識することが可能となる。 Further, the stream data read control unit 354, image data (e.g., as a group of thumbnail images corresponding to the Secondary Video, the beginning of the stream of Secondary Video, i.e., and frame image data of the portion corresponding to the SubPlayItem_IN_time, any other frame image data, etc.) to get the, case of displaying the thumbnail image together with the sub-timeline 403, the user can easily recognize the contents of the picture-in-picture applications.

なお、MainPathのPrimary VideoおよびPrimary Audioを再生していないときに、GUI表示画面391の表示が指令された場合、AVデコーダ部26から出力されるバックグラウンドプレーン、すなわち、いわゆる背景画像に対して、OSD30によりGUI表示画面391が重畳されて表示される。 Incidentally, when not playing the Primary Video and Primary Audio of MainPath, when the display of the GUI display screen 391 is instructed, the background plane which is output from the AV decoder unit 26, i.e., to a so-called background image, GUI display screen 391 are displayed superimposed by OSD30.

そして、ユーザにより、サブタイムライン403またはアイコン404が選択された場合、再生開始位置情報記憶制御部358により記憶が制御されている再生開始位置情報が参照されて、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが、MainPathのPrimary VideoおよびPrimary Audioとともに再生される。 Then, the user makes when the sub timeline 403 or icon 404 is selected, playback start position information storage is controlled by the reproduction start position information storage control unit 358 is referenced, Secondary Video or Secondary user desires At least one of Audio is played with Primary Video and Primary Audio of MainPath.

なお、非同期のSecondary VideoまたはSecondary Audioに対応するサブタイムライン403またはアイコン404が選択された場合、例えば、MainPath先頭位置からのPrimary VideoおよびPrimary Audioとともに、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが再生されるものとすることができる。 In the case where the sub-timeline 403 or icon 404 corresponding to the asynchronous Secondary Video or Secondary Audio is selected, for example, with Primary Video and Primary Audio from MainPath head position, at least the Secondary Video or Secondary Audio desired by the user either it can be made to be played.

また、GUI生成部357は、ストリームデータ読み出し制御部354により、Secondary Videoに対応するサムネイル画像の基となる画像データを取得して、これを基にGUI表示画面を生成することが可能であるので、例えば、図35に示されるように、ピクチャインピクチャアプリケーション(Secondary VideoおよびSecondary Audio)とMainMovie(Primary VideoおよびPrimary Audio)とを詳細に区別する必要なくユーザが選択できるようなGUI表示画面421を生成し、表示するようにしても良い。 Also, GUI generating unit 357, the stream data read control unit 354 obtains the image data on which to base the thumbnail images corresponding to the Secondary Video, which since the it is possible to generate a GUI screen based on , for example, as shown in FIG. 35, a picture-in-picture applications (Secondary Video and Secondary Audio) and MainMovie (Primary Video and Primary Audio) and GUI display screen 421 that the user can select without having to distinguish in detail generated, it may be displayed.

図35のGUI表示画面421には、例えば、MainMovieに対応するサムネイル画像411に加えて、ピクチャインピクチャのそれぞれに対応するサムネイル画像442(図35においては、サムネイル画像442-1乃至442-6)が表示される。 The GUI screen 421 in FIG. 35, for example, in addition to the thumbnail image 411 corresponding to MainMovie, thumbnail image 442 corresponding to each of the picture-in-picture (in FIG. 35, the thumbnail images 442-1 to 442-6) There is displayed.

なお、MainPathのPrimary VideoおよびPrimary Audioが再生されているときに、図35を用いて説明したGUI表示画面421の表示が指令された場合、AVデコーダ部26から出力される画像信号(例えば、Primary Videoに字幕などが合成された画像信号)に対して、OSD30によりGUI表示画面421が重畳されて表示される。 Incidentally, when the Primary Video and Primary Audio of MainPath is being played, when the display of the GUI display screen 421 described with reference to FIG. 35 is commanded, the image signal (e.g., output from the AV decoder unit 26, Primary the image signal) such as subtitles are combined in Video, GUI display screen 421 are displayed superimposed by OSD30. MainPathのPrimary VideoおよびPrimary Audioを再生していないときに、GUI表示画面421の表示が指令された場合、AVデコーダ部26から出力されるバックグラウンドプレーン、すなわち、いわゆる背景画像に対して、OSD30によりGUI表示画面421が重畳されて表示される。 The Primary Video and Primary Audio of MainPath when not playing, if the display of the GUI display screen 421 is instructed, the background plane which is output from the AV decoder unit 26, i.e., to a so-called background image, by OSD30 GUI display screen 421 is displayed so as to be superimposed.

このようなGUI表示画面421を参照したユーザは、ピクチャインピクチャアプリケーションがMainMovieに対して同期しているか否か、同期されている場合にはPlayList中でどの再生位置となるように定義されているかなどの詳細を知ることなく、所望のピクチャインピクチャアプリケーションの再生を指令することが可能となる。 Such a GUI user who refers to the display screen 421, whether or not the picture-in-picture application is synchronized to MainMovie, if it is synchronized is defined to be the any playback position in PlayList without knowing the details of such, it is possible to direct the reproduction of desired picture-in-picture applications.

この場合においても、ユーザにより、ピクチャインピクチャのそれぞれに対応するサムネイル画像442が選択された場合、再生開始位置情報記憶制御部358により記憶が制御されている再生開始位置情報が参照されて、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが、MainPathのPrimary VideoおよびPrimary Audioとともに再生される。 In this case, the user, if the thumbnail image 442 corresponding to each of the picture-in-picture is selected, is referred playback start position information stored by the reproduction start position information storage control unit 358 is controlled, the user There at least one of desired Secondary Video or Secondary Audio is played with Primary Video and Primary Audio of MainPath.

また、同様にして、非同期のSecondary VideoまたはSecondary Audioに対応する、ピクチャインピクチャのそれぞれに対応するサムネイル画像442が選択された場合、例えば、MainPath先頭位置からのPrimary VideoおよびPrimary Audioとともに、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが再生されるものとすることができる。 In the same manner, corresponding to the asynchronous Secondary Video or Secondary Audio, if the thumbnail image 442 corresponding to each of the picture-in-picture has been selected, for example, with Primary Video and Primary Audio from MainPath head position, the user At least one of desired Secondary Video or Secondary Audio can be assumed to be reproduced.

すなわち、再生開始位置情報記憶制御部358は、IN_time/OUT_time取得部356から、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeの情報の供給を受けるとともに、GUI生成部357から、GUI表示画面データに関する情報の供給を受ける。 That is, the reproduction start position information storage control unit 358, the IN_time / OUT_time acquiring unit 356, with receiving a supply of each of the SubPlayItem_IN_time and SubPlayItem_Out_time information corresponding to the Secondary Video and Secondary Audio, from the GUI generation unit 357, GUI display screen receiving a supply of information about the data. そして、再生開始位置情報記憶制御部358は、これらの情報を基に、GUI表示画面において、いずれかのサブタイムライン403、アイコン404、または、サムネイル画像442として表現されているそれぞれのSecondary VideoおよびSecondary Audioと、それらの再生開始位置(SubPlayItem_IN_time)とが関連つけて記憶されるように制御を行っているので、ストリームデータ読み出し制御部354は、この情報を基に、ユーザが所望するピクチャインピクチャ表示における再生開始を指令することが可能となる。 The reproduction start position information storage control unit 358, based on these information, the GUI display screen, any of the sub-time line 403, the icon 404 or, and respective Secondary Video are represented as a thumbnail image 442 and Secondary Audio, since their reproduction start position and (SubPlayItem_IN_time) is performing control so as to store put related, the stream data read control unit 354, based on this information, picture-in-picture desired by the user it is possible to direct the reproduction start in the display.

具体的には、図33および図34を用いて説明したGUI表示画面391、または、図35を用いて説明したGUI表示画面421がAVデコーダ部26から出力される画像信号または背景画像などに重畳されて表示されているときに、ユーザにより、いずれかのサブタイムライン403、アイコン404、または、サムネイル画像442を選択する操作入力を受けた場合、操作入力取得部353は、サブタイムライン403、アイコン404、または、サムネイル画像442のうちのいずれが選択されたかを示す情報を再生開始位置情報記憶制御部358に供給する。 Specifically, superimposed like the image signal or the background image GUI screen 391 described with reference to FIGS. 33 and 34, or the GUI screen 421 described with reference to FIG. 35 are output from the AV decoder section 26 while the indication is, by the user, any sub timeline 403, icons 404, or when receiving an operation input for selecting a thumbnail image 442, the operation input obtaining unit 353, the sub-timeline 403, icon 404, or supplies the reproduction start position information storage control unit 358 information indicating which is selected from among the thumbnail images 442.

再生開始位置情報記憶制御部358は、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかをMainPathのPrimary VideoおよびPrimary Audioとともに再生させるための再生開始位置情報を抽出し、ストリームデータ読み出し制御部354に供給する。 Playback start position information storage control unit 358 extracts a playback start position information for the user to play along with Primary Video and Primary Audio of MainPath at least one of desired Secondary Video or Secondary Audio, stream data read control unit 354 supplied to.

ストリームデータ読み出し制御部354は、操作入力取得部353から供給された、GUI表示画面を参照したユーザの操作入力と、再生開始位置情報記憶制御部358から供給された再生開始位置情報を基に、対応するClipに含まれるPrimary VideoおよびPrimary Audio、並びに、Secondary Video、および、必要に応じてSecondary Audioのストリームデータの読み出しを制御するとともに、読み出したストリームデータのAVデコーダ部26への供給を制御する。 Stream data read control unit 354, supplied from the operation input acquiring unit 353, based on an operation input of the user with reference to the GUI display screen, the reproduction starting position information supplied from the reproduction start position information storage control unit 358, Primary Video and Primary Audio included in the corresponding Clip, and, Secondary Video, and controls the reading of the stream data of Secondary Audio optionally, to control the supply to the AV decoder section 26 of the read stream data .

再生制御部355は、ストリームデータ読み出し制御部354の制御に基づいて、AVデコーダ部26へ供給されたデータのデコード、合成、および再生出力を制御する。 Reproduction control unit 355, under the control of the stream data read control unit 354 controls decoding of data supplied to the AV decoder section 26, synthesis, and the playback output. そして、ピクチャインピクチャ表示で、ユーザが指定した位置から、コンテンツの再生が開始される。 Then, in picture-in-picture display, the user specifies a position, reproduction of the content is started.

次に、図36のフローチャートを参照して、再生装置1において実行される再生処理について説明する。 Next, with reference to the flowchart of FIG. 36, description will be made regarding the playback processing performed in the reproducing apparatus 1.

ステップS1において、PlayList読み出し制御部351は、記録媒体11が装着されたか否かを判断する。 In step S1, PlayList read control unit 351, the recording medium 11 to determine whether it is installed. ステップS1において、記録媒体11が装着されたと判断されなかった場合、記録媒体11が装着されたと判断されるまで、ステップS1の処理が繰り返される。 In step S1, when the recording medium 11 is not determined to have been attached, to the recording medium 11 is judged to be mounted, the process of step S1 is repeated.

ステップS1において、記録媒体11が装着されたと判断された場合、ステップS2において、図37を用いて後述するGUI表示準備処理が実行される。 In step S1, when the recording medium 11 is judged to have been inserted, in step S2, GUI display preparation process described later with reference to FIG. 37 is executed.

ステップS3において、操作入力取得部353は、ストリームの再生を指令する操作入力を取得したか否かを判断する。 In step S3, the operation input obtaining unit 353 determines whether the acquired operation input for commanding the reproduction of the stream. ステップS3において、ストリームの再生を指令する操作入力は取得されていないと判断された場合、処理は、後述するステップS6に進む。 In step S3, when an operation input an instruction to play back stream is determined not acquired, the process proceeds to step S6 to be described later.

ステップS3において、ストリームの再生を指令する操作入力を取得したと判断された場合、ステップS4において、PlayList読み出し制御部351は、装着された記録媒体11からPlayListファイルを読み出し、取得したPlayListファイルに含まれるPlayItemおよびSubPlayItemに基づいて、対応するClipのClip_Information_file_nameを検出し、ストリームデータ読み出し制御部354に供給する。 In step S3, when it is determined that the acquired operation input for commanding the reproduction of the stream, in step S4, PlayList read control unit 351 reads the PlayList file from the recording medium 11 mounted, included in the acquired PlayList file based on the PlayItem and SubPlayItem are to detect the Clip_Information_file_name of the corresponding Clip, and supplies the stream data read control unit 354.

ステップS5において、ストリームデータ読み出し制御部354は、PlayList読み出し制御部351から供給されたPlayListのClip_Information_file_nameを基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部26への供給を制御する。 In step S5, the stream data read control unit 354 controls based on the Clip_Information_file_name PlayList supplied from PlayList read control unit 351, and reading of the stream data contained in the corresponding Clip, the supply to the AV decoder section 26 . 再生制御部355は、AVデコーダ部26へ供給されたデータのデコードおよび再生出力を制御する。 Reproduction control unit 355 controls the decoding and reproduction output data supplied to the AV decoder section 26.

ステップS3において、ストリームの再生を指令する操作入力は取得されていないと判断された場合、または、ステップS5の処理の終了後、ステップS6において、操作入力取得部353は、GUI表示が指令されたか否かを判断する。 In step S3, whether when an operation input an instruction to play back stream is determined not to be acquired, or after the processing in step S5, in step S6, the operation input obtaining unit 353, GUI display is commanded to determine whether or not. ステップS6において、GUI表示が指令されていないと判断された場合、処理は、後述するステップS13に進む。 In step S6, if the GUI display is determined to not instructed, the process proceeds to step S13 to be described later.

ステップS6において、GUI表示が指令されたと判断された場合、ステップS7において、GUI表示制御部359は、ステップS2のGUI表示準備処理において生成されたGUIの表示を制御する。 In step S6, if the GUI display is determined to have been commanded, in step S7, the GUI display control section 359 controls the display of a GUI generated by the GUI display preparation process in step S2.

ステップS8において、操作入力取得部353は、いずれかのSubPlayItemに対応するサムネイル等(いずれかのサブタイムライン403、アイコン404、または、サムネイル画像442)を選択する操作入力を受けたか否かを判断する。 In step S8, the operation input obtaining unit 353, a thumbnail or the like (any sub timeline 403, the icon 404 or a thumbnail image 442) corresponding to one of the SubPlayItem determines whether or not to have received the operation input for selecting the to. ステップS8において、いずれかを選択する操作入力を受けていないと判断された場合、処理は、後述するステップS11に進む。 In step S8, when it is determined that operation has not been input to select one, the process proceeds to step S11 to be described later.

ステップS8において、いずれかを選択する操作入力を受けたと判断された場合、ステップS9において、操作入力取得部353は、サブタイムライン403、アイコン404、または、サムネイル画像442のうちのいずれが選択されたかを示す情報を再生開始位置情報記憶制御部358に供給する。 In step S8, when it is determined that the received operation input to select one, at step S9, the operation input obtaining unit 353, the sub-timeline 403, icons 404, or any can be selected from among the thumbnail images 442 supplies information indicating the Taka the playback start position information storage control unit 358. 再生開始位置情報記憶制御部358は、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかをMainPathのPrimary VideoおよびPrimary Audioとともに再生させるための再生開始位置情報を抽出し、ストリームデータ読み出し制御部354に供給する。 Playback start position information storage control unit 358 extracts a playback start position information for the user to play along with Primary Video and Primary Audio of MainPath at least one of desired Secondary Video or Secondary Audio, stream data read control unit 354 supplied to. ストリームデータ読み出し制御部354は、対応する再生開始位置を示す情報を取得する。 Stream data read control unit 354 obtains information indicating a corresponding playback start position.

ステップS10において、ストリームデータ読み出し制御部354は、再生開始位置情報記憶制御部358から取得した対応する再生開始位置を示す情報を基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部26への供給を制御する。 In step S10, the stream data read control unit 354, based on the information indicating the playback start position corresponding acquired from the playback start position information storage control unit 358, and reading of the stream data contained in the corresponding Clip, AV decoder unit to control the supply to 26. 再生制御部355は、AVデコーダ部26へ供給されたデータのデコードおよび再生出力、すなわち、所定の再生開始位置からのピクチャインピクチャアプリケーションの再生を制御する。 Reproduction control unit 355, decode and reproduction output data supplied to the AV decoder section 26, i.e., to control the playback of the picture-in-picture application from a predetermined reproduction starting position.

なお、Subpath_type=6の場合には、サブパスはメインパスに対して非同期であるが、サブパス、すなわち、子画面に対応するsecondary videoおよびsecondary audioは、SubPlayItem_IN_timeおよびSubPlayItem_Out_timeのそのままの値に基づいて、ストリームの読み出しが制御され、全画面に対応するprimary videoおよびprimary audioは、そのPlayListにより再生される先頭位置からの読み出しが制御されて、それぞれが合成されて再生される。 In the case of SubPath_type = 6, the sub path is asynchronous to the main path, the sub path, i.e., the secondary video and secondary- audio corresponding to the child screen, based on the raw values ​​of SubPlayItem_IN_time and SubPlayItem_Out_time, stream reading is controlled in, primary video and primary audio corresponding to full screen, is read control from the start position to be reproduced by the PlayList, are reproduced are respectively synthesized.

ステップS8において、いずれかを選択する操作入力を受けていないと判断された場合、ステップS11において、操作入力取得部353は、GUIの表示の終了が指令されたか否かを判断する。 In step S8, when it is determined that operation has not been input for selecting one, at step S11, the operation input obtaining unit 353, the end of the display of the GUI is determined whether the commanded. ステップS11において、GUIの表示の終了が指令されていないと判断された場合、処理は、ステップS6に戻り、それ以降の処理が繰り返される。 In step S11, if the end of the display of the GUI is determined to not instructed, the process returns to step S6, and the subsequent processing is repeated.

ステップS11において、GUIの表示の終了が指令されたと判断された場合、ステップS12において、GUI表示制御部359は、ステップS6において表示されたGUIの表示を終了する。 In step S11, if the end of the display of the GUI is determined to have been commanded, in step S12, GUI display control unit 359 ends the display of the GUI displayed in step S6.

ステップS10またはステップS12の処理の終了後、ステップS13において、操作入力取得部353は、処理の終了が指令されたか否かを判断する。 Step S10 or after the processing in step S12, in step S13, the operation input obtaining unit 353, the end of the processing determines whether or not commanded. ステップS13において、処理の終了が指令されていないと判断された場合、処理は、ステップS6に戻り、それ以降の処理が繰り返される。 In step S13, when the end of the processing is determined to not instructed, the process returns to step S6, and the subsequent processing is repeated. ステップS13において、処理の終了が指令されたと判断された場合、処理が終了される。 In step S13, if the end of the processing is determined to have been commanded, the processing is terminated.

このような処理により、GUI表示画面が表示されるので、ユーザは、複数のピクチャインピクチャアプリケーションの内容やメインストリームに対する再生位置などを、容易に明確に認識することができる。 By such processing, the GUI screen is displayed, the user, a plurality of picture-in-picture application content, etc. and the main stream for the reproduction position can be easily clearly recognized. そして、GUI表示画面を参照したユーザの操作入力を基に、ユーザが所望するピクチャインピクチャ表示の再生を開始させることが可能となる。 Then, based on the operation input of the user with reference to the GUI screen, the user is able to start playback of the desired picture-in-picture display.

次に、図37のフローチャートを参照して、図36のステップS2において実行されるGUI表示準備処理について説明する。 Next, with reference to the flowchart of FIG. 37 will be described GUI display preparation process executed in step S2 of FIG. 36.

ステップS41において、PlayList読み出し制御部351は、装着された記録媒体11に記録されているPlayListファイルを読み出し、PlayList解析部352に供給する。 In step S41, PlayList read control unit 351 reads the PlayList files recorded in the recording medium 11 mounted, and supplies the PlayList analysis unit 352.

ステップS42において、PlayList解析部352は、供給されたPlayListに含まれるそれぞれのPlayItemを確認し、STN_tableを取得する。 In step S42, PlayList analysis unit 352 checks the respective PlayItem included in the supplied PlayList, acquires the STN_table.

ステップS43において、PlayList解析部352は、供給されたPlayListによって再生可能なストリームにSecondary AudioまたはSecondary Videoが存在するか否かを判断する。 In step S43, PlayList analysis unit 352 determines whether there is Secondary Audio or Secondary Video playable stream by the supplied PlayList. ステップS43において、Secondary AudioまたはSecondary Videoが存在しないと判断された場合、処理は、図36のステップS2に戻り、ステップS3に進む。 In step S43, if the Secondary Audio or Secondary Video is determined that there is no, the process returns to step S2 of FIG. 36, the process proceeds to step S3.

ステップS43において、Secondary AudioまたはSecondary Videoが存在すると判断された場合、ステップS44において、PlayList解析部352は、STN_tableのstream_entryから、Secondary Audio、Secondary Videoに対応するref_to_SubPath_idを取得し、IN_time/OUT_time取得部356に供給する。 In step S43, if the Secondary Audio or Secondary Video is determined to exist in step S44, PlayList analysis unit 352, the stream_entry of STN_table, acquires ref_to_SubPath_id corresponding to Secondary Audio, Secondary Video, IN_time / OUT_time acquisition unit and supplies to 356.

ステップS45において、IN_time/OUT_time取得部356は、ステップS44において取得されたref_to_SubPath_idに対応する未処理のSubPathのうちの一つを選択する。 In step S45, IN_time / OUT_time acquisition unit 356 selects one of the unprocessed SubPath corresponding to ref_to_SubPath_id acquired in step S44.

ステップS46において、IN_time/OUT_time取得部356は、選択されたSubPathは、SubPath_type=5であるか否かを判断する。 In step S46, IN_time / OUT_time acquiring unit 356, SubPath selected determines whether a SubPath_type = 5. ステップS46において、SubPath_type=5であると判断された場合、処理は、後述するステップS50に進む。 In step S46, if it is determined that the SubPath_type = 5, the process proceeds to step S50 to be described later.

ステップS46において、SubPath_type=5ではないと判断された場合、ステップS47において、IN_time/OUT_time取得部356は、選択されたSubPathは、SubPath_type=6であるか否かを判断する。 In step S46, if it is determined not to be the SubPath_type = 5, in step S47, IN_time / OUT_time acquiring unit 356, SubPath selected determines whether a SubPath_type = 6.

ステップS47において、SubPath_type=6であると判断された場合、ステップS48において、IN_time/OUT_time取得部356は、非同期のサブパスをメインストリームの最初の位置に対応つけるため、すなわち、図33および図34を用いて説明したGUI表示画面391において、対応するサブタイムライン403をメインタイムライン401の先頭に対応つけて表示させたり、図35を用いて説明したGUI表示画面421の対応するサムネイルが選択された場合のメインムービーの再生開始位置をストリームの先頭とするため、SubplayItem_IN_time´=0とし、SubPlayItem_OUT_time´=SubPlayItem_OUT_time−SubplayItem_IN_timeとし、GUI生成部357および再生開始位置情報記憶制御部358に供給する。 In step S47, the case where it is determined that the SubPath_type = 6, in step S48, IN_time / OUT_time acquisition unit 356, for applying corresponding asynchronous sub path to the first position of the main stream, i.e., to FIGS. 33 and 34 in GUI screen 391 described with reference, or to display the corresponding sub timeline 403 in association to the beginning of the main timeline 401, the corresponding thumbnail GUI screen 421 described with reference to FIG. 35 has been selected to a playback start position of the main movie when the head of the stream, and SubplayItem_IN_time' = 0, SubPlayItem_OUT_time' = a SubPlayItem_OUT_time-SubPlayItem_IN_time, and supplies the GUI generation unit 357 and the playback start position information storage control unit 358.

ステップS47において、SubPath_type=6ではない、すなわち、SubPath_type=7であると判断された場合、または、ステップS48の処理の終了後、ステップS49において、GUI生成部357は、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeを基に、対応するメインタイムライン401、サブタイムライン403、または、アイコン404など、もしくは、サムネイル441またはサムネイル442等のデータを生成する。 In step S47, the not SubPath_type = 6, i.e., if it is determined that the SubPath_type = 7, or after the processing in step S48, the in step S49, GUI generating unit 357 corresponds to the Secondary Video and Secondary Audio based on the respective SubPlayItem_IN_time and SubPlayItem_Out_time to the corresponding main timeline 401, or sub-timeline 403, such as icons 404, or generates data such as a thumbnail 441 or the thumbnail 442. ステップS49の処理の終了後、処理は、後述するステップS52に進む。 After the processing in step S49, the process proceeds to step S52 to be described later.

ステップS46において、SubPath_type=5であると判断された場合、ステップS50において、IN_time/OUT_time取得部356は、PlayList解析部352から供給された、Secondary VideoおよびSecondary Audioに対応するref_to_Subpath_idを基に、対応するSubpathに含まれるSubPlayItemを抽出してストリームを解析する。 In step S46, if it is determined that the SubPath_type = 5, in step S50, IN_time / OUT_time acquiring unit 356, supplied from the PlayList analyzer 352, based on ref_to_Subpath_id corresponding to Secondary Video and Secondary Audio, corresponding to extract the SubPlayItem included in Subpath analyzing the stream. 具体的には、IN_time/OUT_time取得部356は、それらのSubPlayItem から、それぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeを取得するとともに、STN_tableを基に、それらのストリームがsecondary audioであるか、secondary videoであるかなどのストリームの種類を検出し、これらの情報をGUI生成部357および再生開始位置情報記憶制御部358に供給する。 Specifically, IN_time / OUT_time acquiring unit 356, from their SubPlayItem, acquires the respective SubPlayItem_IN_time and SubPlayItem_Out_time, based on STN_table, or those streams are secondary- audio, such as whether it is secondary video It detects the type of the stream, and supplies the information to the GUI generation unit 357 and the playback start position information storage control unit 358.

ステップS51において、GUI生成部357は、IN_time/OUT_time取得部356から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_time、並びに、その他の解析データを基に、対応するメインタイムライン401、サブタイムライン403、または、アイコン404など、もしくは、サムネイル441またはサムネイル442等のデータを生成する。 In step S51, GUI generating unit 357, supplied from IN_time / OUT_time acquisition unit 356, respectively SubPlayItem_IN_time and SubPlayItem_Out_time corresponding to Secondary Video and Secondary Audio, and, based on other analysis data, the corresponding main timeline 401, sub timeline 403, or such as icons 404, or generates data such as a thumbnail 441 or the thumbnail 442.

ステップS49またはステップS51の処理の終了後、ステップS52において、IN_time/OUT_time取得部356は、全てのSubPathについて処理が終了したか否かを判断する。 After the processing in step S49 or step S51, in step S52, IN_time / OUT_time acquiring unit 356, the processing for all of the SubPath to determine whether or not it is completed. ステップS52において、全てのSubPathについて処理が終了していないと判断された場合、処理は、ステップS45に戻り、それ以降の処理が繰り返される。 In step S52, if processing for all the SubPath is determined not to be finished, the process returns to step S45, and the subsequent processing is repeated.

ステップS52において、全てのSubPathについて処理が終了したと判断された場合、ステップS53において、GUI生成部357は、GUI表示画面391またはGUI表示画面421に対応するデータを生成し、GUI表示制御部359に供給するとともに、生成したGUI表示画面データに関する情報を、再生開始位置情報記憶制御部358に供給する。 In step S52, if processing for all the SubPath is determined to be ended, in step S53, GUI generating unit 357 generates data corresponding to the GUI display screen 391 or the GUI display screen 421, the GUI display control section 359 supplies to the generated GUI screen data information on and supplies the reproduction start position information storage control unit 358.

ステップS54において、再生開始位置情報記憶制御部358は、IN_time/OUT_time取得部356から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_time、並びに、GUI生成部357から供給されたGUI表示画面データに関する情報を基に、GUI表示画面において表現されているSecondary VideoおよびSecondary Audioのそれぞれのサムネイル等と、それらの再生開始位置(SubPlayItem_IN_time)とを関連つけて記憶し、処理は、図36のステップS2に戻り、ステップS3に進む。 In step S54, the playback start position information storage control unit 358, supplied from IN_time / OUT_time acquisition unit 356, respectively SubPlayItem_IN_time and SubPlayItem_Out_time corresponding to Secondary Video and Secondary Audio, and, GUI supplied from the GUI generation unit 357 based on the information about the display screen data, each of the thumbnails, etc. Secondary Video and Secondary Audio is represented in GUI display screen, and stores put associated with their reproduction start position (SubPlayItem_IN_time), the processing, FIG. 36 returning to step S2, the process proceeds to step S3.

このような処理により、再生装置1において再生される複数のパスにより再生されるストリームのデータが解析されて、複数のパスのうちの特に副の再生パスにより再生されるSecondary VideoまたはSecondary Audioの再生位置やその内容を示すGUI表示画面が生成される。 Such a process is data analysis stream reproduced by the plurality of paths to be reproduced in the reproducing apparatus 1, reproduction of Secondary Video or Secondary Audio reproduced by particular sub playback path of the plurality of paths GUI display screen showing the position and the contents are generated.

具体的には、例えば、全画面301において、現在本編のどこが再生されているかを認識することができるとともに、いずれの再生位置において、ピクチャインピクチャアプリケーションが何通り存在するか、または、非同期のピクチャインピクチャアプリケーションが何通り存在するかを、視覚的に容易に把握することが可能なGUI表示画面(例えば、図33および図34を用いて説明したGUI表示画面391)や、ピクチャインピクチャアプリケーションがMainMovieに対して同期しているか否か、同期されている場合にはPlayList中でどの再生位置となるように定義されているかなどの詳細を知ることなく、所望のピクチャインピクチャアプリケーションの再生を指令することが可能となるようなGUI表示画面(例えば、図35を用いて説明したGUI表示 Specifically, for example, in the full screen 301, it is possible to recognize whether where the main current is being reproduced, at any reproduction position, the picture-in-picture application is present a number of ways, or asynchronous picture whether in-picture application exists a number of ways, visually which can be easily grasped GUI display screen (e.g., GUI display screen 391 described with reference to FIGS. 33 and 34) and, a picture-in-picture application whether synchronized to MainMovie, if it is synchronized without knowing the details such as whether it is defined to be the any playback position in PlayList, instruction to play back the desired picture-in-picture application GUI display screen as it becomes possible to (e.g., GUI display described with reference to FIG. 35 面421)が生成される。 Surface 421) is generated.

このようなGUI表示画面を参照することにより、ユーザは、再生可能なピクチャインピクチャアプリケーションについて、視覚的に明確に認識することが可能となる。 By referring to such GUI screen, the user, for renewable picture-in-picture applications, the visual can be clearly recognized.

また、このようなGUI表示画面を参照することにより、ユーザは、所望のピクチャインピクチャアプリケーションの再生を指令することが可能となる。 Further, by referring to such a GUI screen, the user can for giving an instruction to play back the desired picture-in-picture applications.

次に、図38および図39を参照して、再生装置1において再生可能なデータが記録された記録媒体11の製造方法について、記録媒体11がディスク状の記録媒体だった場合を例として説明する。 Next, with reference to FIGS. 38 and 39, a method for manufacturing the recording medium 11 can be reproduced data is recorded in the reproducing apparatus 1, the recording medium 11 will be described as an example a case was disc-shaped recording medium .

即ち、図38に示すように、例えばガラスなどよりなる原盤が用意され、その上に、例えばフォトレジストなどよりなる記録材料が塗布される。 That is, as shown in FIG. 38, for example, is the master made of glass or the like provided, on its, for example a recording material including, for example, photoresist is applied. これにより、記録用原盤が製作される。 As a result, the recording master is manufactured.

そして、図39に示すように、ソフト製作処理部において、符号化装置(ビデオエンコーダ)で符号化された、再生装置1において再生可能な形式のビデオデータが、一時バッファに記憶され、オーディオエンコーダで符号化されたオーディオデータが、一時バッファに記憶されるとともに、更に、データエンコーダで符号化された、ストリーム以外のデータ(例えば、Indexes、PlayList、PlayItemなど)が一時バッファに記憶される。 Then, as shown in FIG. 39, the software production processing unit, encoded by the encoding apparatus (video encoder), the video data of a format that can be reproduced in the reproducing apparatus 1, stored in the temporary buffer, an audio encoder encoded audio data, while being temporarily stored in a buffer, further encoded with data encoder, data other than streams (e.g., Indexes, PlayList, such PlayItem) are stored in a temporary buffer. それぞれのバッファに記憶されたビデオデータ、オーディオデータ、および、ストリーム以外のデータは、多重化器(MPX)で同期信号と共に多重化され、誤り訂正符号回路(ECC)でエラー訂正用のコードが付加される。 Each buffer stored video data, audio data, and data other than streams are multiplexed with a synchronization signal at multiplexer (MPX), additional code for error correction in the error correction code circuit (ECC) It is. そして、変調回路(MOD)で所定の変調がかけられ、所定のフォーマットにしたがって、例えば磁気テープなどに一旦記録され、再生装置1において再生可能な記録媒体11に記録されるソフトウェアが製作される。 Then, a predetermined modulation is applied by a modulation circuit (MOD), in accordance with a predetermined format, for example, once recorded, such as a magnetic tape, the software to be recorded on the recording medium 11 can be reproduced in the reproducing device 1 is manufactured.

このソフトウェアを必要に応じて編集(プリマスタリング)し、光ディスクに記録すべきフォーマットの信号が生成される。 This software edited as required by (premastering), signal format to be recorded on an optical disc is generated. そして、図38に示すように、この記録信号に対応して、レーザビームが変調されて、このレーザビームが原盤上のフォトレジスト上に照射される。 Then, as shown in FIG. 38, in response to the recording signal, the laser beam is modulated, the laser beam is irradiated on the photoresist on the master. これにより、原盤上のフォトレジストが記録信号に対応して露光される。 Thus, the photoresist on the master is exposed according to the recording signal.

その後、この原盤を現像し、原盤上にピットを出現させる。 Then, developing the master to reveal the pits on the master. このようにして用意された原盤に、例えば電鋳等の処理を施し、ガラス原盤上のピットを転写した金属原盤を製作する。 Thus the master that is prepared by, for example, subjected to a treatment of electroforming or the like to fabricate a metal master transferring the pits on the glass master. この金属原盤から、さらに金属スタンパを製作し、これを成形用金型とする。 From this metal master, further fabricated metal stamper to this as mold.

この成形用金型に、例えばインジェクションなどによりPMMA(アクリル)またはPC(ポリカーボネート)などの材料を注入し、固定化させる。 This molding die, for example, by injection by injecting a material such as PMMA (acrylic) or PC (polycarbonate), it is immobilized. あるいは、金属スタンパ上に2P(紫外線硬化樹脂)などを塗布した後、紫外線を照射して硬化させる。 Alternatively, after coating the like 2P (ultraviolet curable resin) on the metal stamper and cured by irradiation with ultraviolet rays. これにより、金属スタンパ上のピットを、樹脂よりなるレプリカ上に転写することができる。 Thus, the pits on the metal stamper can be transferred onto a replica made of resin.

このようにして生成されたレプリカ上に、反射膜が、蒸着あるいはスパッタリングなどにより形成される。 This way, the replica generated by the reflection film is formed by vapor deposition or sputtering. あるいはまた、生成されたレプリカ上に、反射膜が、スピンコートにより形成される。 Alternatively, on the produced replica, the reflection film is formed by spin coating.

その後、このディスクに対して内外径の加工が施され、2枚のディスクを張り合わせるなどの必要な処置が施される。 Thereafter, processing of inside and outside diameters is performed on this disc, the necessary treatment such as laminating the two discs are subjected. さらに、ラベルを貼り付けたり、ハブが取り付けられて、カートリッジに挿入される。 Additionally, or attach labels, and a hub is attached, is inserted into the cartridge. このようにして再生装置1によって再生可能なデータが記録された記録媒体11が完成する。 Thus the recording medium 11 can be reproduced data is recorded by the reproducing apparatus 1 is completed.

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。 A series of processes described above can be executed by hardware, it may otherwise be executed by software. この場合、上述した処理は、図40に示されるようなパーソナルコンピュータ500により実行される。 In this case, the above-described processing is executed by a personal computer 500 shown in FIG. 40.

図40において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または、記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。 In Figure 40, CPU (Central Processing Unit) 501 is, ROM (Read Only Memory) 502 a program stored in, or various processes in accordance loaded from the storage unit 508 to RAM (Random Access Memory) 503 Program Execute. RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなどが適宜記憶される。 Also in RAM 503, CPU 501 and data necessary for executing various processes are suitably stored.

CPU501、ROM502、およびRAM503は、内部バス504を介して相互に接続されている。 CPU 501, ROM 502, and RAM503 are connected to each other via an internal bus 504. この内部バス504にはまた、入出力インターフェース505も接続されている。 This also to the internal bus 504 is also connected output interface 505.

入出力インターフェース505には、キーボード、マウスなどよりなる入力部506、CRT,LCDなどよりなるディスプレイ、スピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、並びに、モデム、ターミナルアダプタなどより構成される通信部509が接続されている。 Output interface 505, a keyboard, an input unit 506 including, for example, a mouse, CRT, composed of an LCD display, an output unit 507 including a speaker or the like, including a hard disk storage unit 508, and a modem, a terminal adapter, etc. more configured communication unit 509 is connected. 通信部509は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。 The communication unit 509 performs communication processing via various networks including a telephone line and a CATV.

入出力インターフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア521が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。 Also the input-output interface 505 is connected with a drive 510 as necessary, a magnetic disk, an optical disk, a magneto-optical disk, or a removable medium 521 made by a semiconductor memory is suitably loaded, a computer program read from, It is installed in the storage unit 508 as necessary.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム格納媒体からインストールされる。 When the series of processes is executed by software, a program constituting the software is installed from a network or a program storage medium.

このプログラム格納媒体は、図40に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア521よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM502や記憶部508が含まれるハードディスクなどで構成される。 The program storage medium, as shown in FIG. 40, separately from the computer, is distributed for providing the program to a user, only the program is constituted by a package medium composed of the removable medium 521 that is recorded without being provided to the user in a state incorporated in advance in the apparatus main body, the program is composed of a hard disk that contains the ROM502 and the storage unit 508 is recorded.

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In this specification, the steps describing the computer program include not only series in processing performed when according to the described order, without being processed in a time series, the processing executed in parallel or individually but also including.

また、ドライブ510は、装着されたリムーバブルメディア521に記録されたデータを読み出すことができるのみならず、装着されたリムーバブルメディア521にデータを記録することができる。 The drive 510 is not only capable of reading data recorded on the removable medium 521 mounted, data can be recorded on the removable medium 521 is mounted. そして、パーソナルコンピュータ500が、図39を用いて説明したソフト製作処理部と同様の機能を有する(例えば、CPU501を用いて、ソフト製作処理部と同様の機能を実現するためのプログラムを実行する)ことが可能であるのは言うまでもない。 Then, the personal computer 500 has the same function as the software production processing unit described (e.g., using the CPU 501, executes a program for realizing the same function as the software production processing unit) with reference to FIG. 39 it is of course possible.

すなわち、パーソナルコンピュータ500は、図39を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、CPU501の処理により生成するか、または、外部の装置で生成された図39を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、通信部509またはドライブ510に装着されたリムーバブルメディア521を介して取得することができる。 That is, the personal computer 500, the same data as the data generated by the software production processing unit described with reference to FIG. 39, or produced by the process of CPU 501, or, using FIG. 39 generated by an external device same data as the data generated by the software production processing section described Te and can be obtained via a removable media 521 attached to the communication unit 509 or the drive 510. そして、パーソナルコンピュータ500は、生成または取得された図39を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、ドライブ510に装着されたリムーバブルメディア521に記録する記録装置としての機能を実現することができる。 Then, the personal computer 500, the same data as the data generated by the software production processing unit described with reference to FIG. 39, which is generated or obtained, as a recording apparatus for recording on the removable medium 521 loaded in a drive 510 it is possible to realize the function.

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 Note that the embodiments of the present invention is not intended to be limited to the embodiments described above, and various modifications can be made without departing from the scope of the present invention.

従来の音声切り替えを説明する図である。 It is a diagram illustrating a conventional voice switching. 従来の音声切り替えを説明する図である。 It is a diagram illustrating a conventional voice switching. MPEG2プログラムストリームの構成を説明する図である。 Is a diagram illustrating the configuration of the MPEG2 program stream. 本発明を適用した再生装置に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。 Is a diagram illustrating an example of an application format on a recording medium is inserted into the playback apparatus according to the present invention. メインパスとサブパスの構造を説明する図である。 Is a diagram illustrating the structure of a main path and a sub path. メインパスとサブパスの例を説明する図である。 Is a diagram illustrating an example of a main path and a sub path. メインパスとサブパスの別の例を説明する図である。 It is a diagram illustrating another example of Main Path and Sub Path. 再生装置で再生可能なデータのデータ構成例を説明する図である。 It is a diagram illustrating a data configuration example of a playable data reproducing apparatus. index.bdmvのシンタクスを示す図である。 Is a diagram illustrating the syntax of the index.bdmv. indexesシンタクスを示す図である。 Is a diagram showing the indexes syntax. PlayListファイルのデータ構造ついて説明するための図である。 It is a diagram for explaining with the data structure of the PlayList file. AppInfoPlayList()のシンタクスについて説明するための図である。 Is a diagram for describing syntax of AppInfoPlayList (). PlayList()のシンタクスを示す図である。 Is a diagram showing the syntax of PlayList (). PlayItem()のシンタクスを示す図である。 Is a diagram showing the syntax of PlayItem (). STN_table()のシンタクスを示す図である。 Is a diagram illustrating the syntax of STN_table (). STN_table()のシンタクスを示す図である。 Is a diagram illustrating the syntax of STN_table (). stream_entry()のシンタクスを示す図である。 Is a diagram illustrating the syntax of stream_entry (). stream_attribute()のシンタクスを示す図である。 Is a diagram illustrating the syntax of stream_attribute (). stream_cording_typeを説明する図である。 stream_cording_type is a diagram illustrating a. video_formatを説明する図である。 video_format is a diagram illustrating a. frame_rateを説明する図である。 frame_rate is a diagram illustrating a. aspect_ratioを説明する図である。 aspect_ratio is a diagram illustrating a. audio_presentation_typeを説明する図である。 audio_presentation_type is a diagram illustrating a. sampling_frequencyを説明する図である。 sampling_frequency is a diagram illustrating a. Character codeを説明する図である。 It is a diagram illustrating a Character code. SubPath()のシンタクスを示す図である。 Is a diagram illustrating the syntax of SubPath (). SubPath_typeを説明する図である。 SubPath_type is a diagram illustrating a. SubPlayItem(i)のシンタクスを示す図である。 It is a diagram illustrating the syntax of SubPlayItem (i). 再生装置の構成を示すブロック図である。 It is a block diagram showing a configuration of a reproducing apparatus. 図29の再生装置のAVデコーダ部の構成を示すブロック図である。 It is a block diagram showing the configuration of the AV decoder unit of the reproducing apparatus of FIG. 29. ピクチャインピクチャ表示について説明するための図である。 It is a diagram for explaining picture-in-picture display. 図29の再生装置のコントローラが有する機能を示す機能ブロック図である。 It is a functional block diagram showing functions controller has the reproducing apparatus of FIG. 29. GUI表示画面について説明するための図である。 It is a diagram for explaining a GUI display screen. GUI表示画面について説明するための図である。 It is a diagram for explaining a GUI display screen. GUI表示画面について説明するための図である。 It is a diagram for explaining a GUI display screen. 再生処理について説明するフローチャートである。 It is a flowchart illustrating a playback process. GUI表示準備処理について説明するフローチャートである。 It is a flowchart illustrating a GUI display preparation process. 再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。 It is a diagram for explaining manufacture of a recording medium recording a data that can be reproduced by a reproducing apparatus. 再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。 It is a diagram for explaining manufacture of a recording medium recording a data that can be reproduced by a reproducing apparatus. パーソナルコンピュータの構成を示す図である。 It is a diagram showing a configuration of a personal computer.

符号の説明 DESCRIPTION OF SYMBOLS

1 再生装置, 11 記録媒体, 21 コントローラ, 26 AVデコーダ部, 30 OSD, 32 スイッチ, 33 AVデコーダ部, 34 コントローラ, 51乃至54 バッファ, 55,56 PIDフィルタ, 57乃至59 スイッチ, 71 バックグラウンドデコーダ, 72 ビデオデコーダ, 73 プレゼンテーショングラフィックスデコーダ, 74 インタラクティブグラフィックスデコーダ, 75 オーディオデコーダ, 76 Text-STコンポジション, 77 スイッチ, 91 バックグラウンドプレーン生成部, 92 ビデオプレーン生成部, 93 プレゼンテーショングラフィックスプレーン生成部, 94 インタラクティブグラフィックスプレーン生成部, 95 バッファ 96 ビデオデータ処理部, 97 ミキシング処理部, 101 ミキシング処理 1 playback device, 11 a recording medium, 21 controller, 26 AV decoder unit, 30 OSD, 32 switches, 33 AV decoder unit, 34 controller, 51 to 54 buffer, 55, 56 PID filter 57 to 59 switch, 71 background decoder , 72 video decoder 73 presentation graphics decoder 74 interactive graphics decoder 75 audio decoder, 76 Text-ST composition 77 switch, 91 background plane generator, 92 a video plane generating unit, 93 presentation graphics plane generator parts, 94 interactive graphics plane generator, 95 a buffer 96 the video data processing unit, 97 a mixing processing unit 101 mixing process , 351 PlayList読み出し制御部, 352 PlayList解析部, 353 操作入力取得部353, 354 ストリームデータ読み出し制御部, 355 再生制御部, 356 IN_time/OUT_time取得部, 357 GUI生成部, 358 再生開始位置情報記憶制御部, 359 GUI表示制御部, 391 GUI表示画面, 401 メインタイムライン, 402 スライダ, 403 サブタイムライン, 404 アイコン, 421 GUI表示画面, 441,442 サムネイル画像 , 351 PlayList read control unit, 352 PlayList analysis unit, 353 operation input acquisition section 353, 354 stream data read control unit, 355 playback control unit, 356 IN_time / OUT_time acquisition unit, 357 GUI generation unit, 358 playback start position information storage control Department, 359 GUI display control unit, 391 GUI display screen 401 the main timeline, 402 slider, 403 sub timeline 404 icons, 421 GUI display screen, 441,442 thumbnail

Claims (9)

  1. 記録媒体から第1および第2のストリームの再生を制御するための再生管理情報を取得する第1の取得手段と、 A first acquisition means for acquiring reproduction management information for controlling the reproduction of the first and second streams from a recording medium,
    前記第1の取得手段により取得された前記再生管理情報を解析し、解析結果から、 前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得する第2の取得手段と、 Analyzing the reproduction management information acquired by the first acquisition unit, the analysis results, a different playback paths from the main playback path to play the first stream, one or more of the sub a second acquisition means for acquiring information regarding the sub playback path that includes information indicating the reproduction position and type of the second stream reproduced by the reproduction path,
    前記第2の取得手段により取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸に対応づけて、前記第2のストリームの再生位置と種類を示す画像を生成する情報生成手段と Based on the information on the second of the sub playback path that is acquired by the acquiring means, in association with the playback time axis of the first stream, generates an image indicating the reproduction position and type of the second stream and information generating means for,
    前記情報生成手段により生成された前記画像の表示を制御する表示制御手段と、 Display control means for controlling the display of the image generated by said information generating means,
    前記第1の取得手段により取得された前記再生管理情報に基づいて、前記第1および第2のストリームの再生を制御する再生制御手段と On the basis of the reproduction management information acquired by the first acquisition unit, a reproduction control means for controlling reproduction of said first and second streams
    を備える情報処理装置。 Information processing apparatus including a.
  2. 前記第2のストリームが前記第1のストリームに非同期である場合、前記第2のストリームの再生位置を示す情報は、前記第1のストリームの再生時間軸の先頭に対応づけられる When the second stream is asynchronous to the first stream, the information indicating the reproduction position of the second stream are associated to the beginning of the playback time axis of the first stream
    請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1.
  3. 前記第2のストリームが前記第1のストリームに同期している場合、前記第2のストリームの再生位置を示す情報は、前記第1のストリームの再生時間軸に対応づけられる When the second stream is synchronized with the first stream, the information indicating the reproduction position of the second stream are associated to the playback time axis of the first stream
    請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1.
  4. 前記第2のストリームの所定のフレームの画像データを取得する第3の取得手段 を更に備え、 Further comprising a third acquisition means for acquiring image data of a predetermined frame of the second stream,
    前記情報生成手段は、前記第3の取得手段により取得された前記第2のストリームの所定のフレームの画像データを基に、前記第のストリームの種類を示す情報を生成する 請求項に記載の情報処理装置。 Said information generating means, according to claim 1, based on the image data of a predetermined frame of the third acquisition means has been the second stream obtained by, it generates information indicating the type of the second stream the information processing apparatus.
  5. 前記第1のストリーム取得する第3の取得手段 Third acquisition means for acquiring the first stream
    を更に備え Further comprising a,
    前記再生制御手段は、前記第1の取得手段により取得された前記再生管理情報に基づいて、前記第3の取得手段により取得された前記第1のストリーム再生を制御し、 Said reproduction control means, based on the reproduction management information acquired by the first acquisition means, and controlling reproduction of said third said acquired by the acquisition means first stream,
    前記表示制御手段は、前記再生制御手段により再生が制御される前記第1のストリームの画像に 、前記情報生成手段により生成された前記画像が重畳されて表示されるように、 その画像の表示を制御する 請求項に記載の情報処理装置。 Wherein the display control unit, image of the first stream reproduction is controlled by the reproduction control means, so that the information the image generated by the generating means are displayed superimposed, the display of the image the information processing apparatus according to claim 1 for controlling.
  6. ユーザによる操作入力を取得する操作入力取得手段 を更に備え Further comprising an operation input acquiring means for acquiring an operation input by a user,
    前記操作入力取得手段によって、前記表示制御手段により表示が制御された前記画像参照したユーザによる前記第2のストリームの再生位置を選択する操作入力が取得された場合、前記再生制御手段は、選択された前記再生位置からの前記第1 および第2のストリームの再生を制御する 請求項に記載の情報処理装置。 Wherein the operation input acquiring unit, the display when an operation input displayed by the control means selects a reproduction position of said second stream by a user who refers to the image that has been controlled are acquired, the reproduction control means selectively and an information processing apparatus according to claim 1 for controlling the reproduction of the first and second streams from the reproduction position.
  7. 情報処理装置が、記録媒体から第1および第2のストリームの再生を制御するための再生管理情報を取得し、 The information processing apparatus acquires the reproduction management information for controlling the reproduction of the first and second streams from a recording medium,
    前記情報処理装置が、取得された前記再生管理情報を解析して、前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し、 Reproducing the information processing apparatus analyzes the reproduction management information acquired, wherein the first main playback path to play a stream of a different reproduction path, the one or more sub playback path the acquired information on sub playback path that includes information indicating the reproduction position and type of the second stream,
    前記情報処理装置が、取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸に対応づけて、前記第2のストリームの再生位置と種類を示す画像を生成し、 The information processing apparatus, based on information relating to the acquired sub playback path, in association with the playback time axis of the first stream, to generate an image showing the playback position and type of the second stream ,
    前記情報処理装置が、生成された前記画像の表示を制御し、 The information processing apparatus controls the display of the generated image;
    前記情報処理装置が、取得された前記再生管理情報に基づいて、前記第1および第2のストリームの再生を制御する The information processing apparatus, based on the acquired reproduction control information to control the reproduction of the first and second streams
    ステップを含む情報処理方法。 Information processing method comprising the step.
  8. コンピュータに On the computer,
    記録媒体から第1および第2のストリームの再生を制御するための再生管理情報取得 It acquires reproduction management information for controlling the reproduction of the first and second streams from a recording medium,
    取得された前記再生管理情報を解析して、前記第1のストリームを再生する主の再生パスとは異なる再生パスであって、1つまたは複数の副の再生パスにより再生される前記第2のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報取得 Analyzes the acquired said reproduction management information, wherein the first main playback path to play a stream of a different reproduction path, the second reproduced by one or more of sub playback paths acquiring the information about the sub playback path that includes information indicating the reproduction position and type of the stream,
    取得された前記副の再生パスに関する情報を基に、 前記第1のストリームの再生時間軸に対応づけて、前記第2のストリームの再生位置と種類を示す画像を生成し、 Based on the information regarding the acquired sub playback path, in association with the playback time axis of the first stream, to generate an image showing the playback position and type of the second stream,
    生成された前記画像の表示を制御し、 It controls the display of the generated image;
    取得された前記再生管理情報に基づいて、前記第1および第2のストリームの再生を制御する Based on the acquired reproduction control information to control the reproduction of the first and second streams
    ステップを含む処理実行させるためのプログラム。 Program for executing a process including the step.
  9. 請求項に記載のプログラムが記録されているプログラム格納媒体。 Program storage medium having a program recorded according to claim 8.
JP2006173677A 2006-06-23 2006-06-23 Information processing apparatus, information processing method, program, and program storage medium Expired - Fee Related JP4770601B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006173677A JP4770601B2 (en) 2006-06-23 2006-06-23 Information processing apparatus, information processing method, program, and program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006173677A JP4770601B2 (en) 2006-06-23 2006-06-23 Information processing apparatus, information processing method, program, and program storage medium

Publications (2)

Publication Number Publication Date
JP2008005288A true JP2008005288A (en) 2008-01-10
JP4770601B2 true JP4770601B2 (en) 2011-09-14

Family

ID=39009302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006173677A Expired - Fee Related JP4770601B2 (en) 2006-06-23 2006-06-23 Information processing apparatus, information processing method, program, and program storage medium

Country Status (1)

Country Link
JP (1) JP4770601B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US9607655B2 (en) 2010-02-17 2017-03-28 JBF Interlude 2009 LTD System and method for seamless multimedia assembly
US8600220B2 (en) 2012-04-02 2013-12-03 JBF Interlude 2009 Ltd—Israel Systems and methods for loading more than one video content at a time
US9009619B2 (en) * 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US9832516B2 (en) 2013-06-19 2017-11-28 JBF Interlude 2009 LTD Systems and methods for multiple device interaction with selectably presentable media streams
US9530454B2 (en) 2013-10-10 2016-12-27 JBF Interlude 2009 LTD Systems and methods for real-time pixel switching
US9641898B2 (en) 2013-12-24 2017-05-02 JBF Interlude 2009 LTD Methods and systems for in-video library
US9520155B2 (en) 2013-12-24 2016-12-13 JBF Interlude 2009 LTD Methods and systems for seeking to non-key frames
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792026B2 (en) 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US9672868B2 (en) 2015-04-30 2017-06-06 JBF Interlude 2009 LTD Systems and methods for seamless media creation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3717880B2 (en) * 2002-10-01 2005-11-16 パイオニア株式会社 Information recording medium, information recording apparatus and method, information reproducing apparatus and method, information recording and reproducing apparatus and method, recording or computer program for reproduction control, and a data structure including a control signal
JP4222869B2 (en) * 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント Image reproducing apparatus
US8145035B2 (en) * 2003-06-18 2012-03-27 Panasonic Corporation Reproduction device, recording medium, program, and reproduction method
US7609947B2 (en) * 2004-09-10 2009-10-27 Panasonic Corporation Method and apparatus for coordinating playback from multiple video sources

Also Published As

Publication number Publication date Type
JP2008005288A (en) 2008-01-10 application

Similar Documents

Publication Publication Date Title
US7565060B2 (en) Reproducing apparatus, reproducing method, reproducing program, and recording medium for multi-angle video reproduction
US20040184780A1 (en) Recording medium having data structure for managing reproducton duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
US20060188223A1 (en) Recording medium, reproduction device, recording method, program, and reproduction method
US20040101285A1 (en) Recording medium having data structure for managing reproduction of multiple component data recorded thereon and recording and reproducing methods and apparatuses
US20080131085A1 (en) Playback apparatus, program, playback method
US7512322B2 (en) Recording medium, method, and apparatus for reproducing text subtitle streams
US20080267588A1 (en) Reproduction Device, Reproduction Method, Program, Program Storage Medium, Data Structure, and Recording Medium Fabrication Method
JP2004304767A (en) Reproducing apparatus, reproducing method, reproducing program and recording medium
US20070047912A1 (en) Playback apparatus and method, program, recording medium, data structure, and manufacturing method for recording medium
JPH09259574A (en) Information-recording medium, recording apparatus and reproducing apparatus therefor
US20060245805A1 (en) Information recording medium, information recording device and method, information playback device and method, information recording/playback device and method, information recording program, information playback program, information recording/playback program, and data structure including control signal
US20080285948A1 (en) Reproducing Device and Method, Program, Recording Medium, Data Structure, and Recording Medium Manufacturing Method
WO2004093064A1 (en) Recording medium having data structure for managing reproduction of data streams recorded thereon and recording and reproducing methods and apparatuses
WO2005078727A1 (en) Reproduction device, reproduction method, program, recording medium, and data structure
WO2005074394A2 (en) Recording medium having a data structure for managing various data and recording and reproducing methods and apparatuses
US20040240360A1 (en) Recording medium having data structure for managing main data additional content data thereof and recording and reproducing methods and apparatuses
US20040223741A1 (en) Recording medium having data structure for managing video data and additional content data thereof and recording and reproducing methods and apparatuses
US20070280641A1 (en) Data structure, recording medium, authoring apparatus, method, and program, recording apparatus, method, and program, verification apparatus, method, and program, and manufacturing apparatus and method for recording medium
US20080063369A1 (en) Method and apparatus for reproducing data, recording medium, and method and apparatus for recording data
US20040146283A1 (en) Method and apparatus of recording graphic data on a recording medium
US20070041279A1 (en) Method and apparatus for reproducing data, recording medium, and method and apparatus for recording data
US7558467B2 (en) Recording medium and method and apparatus for reproducing and recording text subtitle streams
US20070172195A1 (en) Reproducing apparatus, reproducing method, computer program, program storage medium, data structure, recording medium, recording device, and manufacturing method of recording medium
US20070248321A1 (en) Recording apparatus, recording method, and recording program
US20040165861A1 (en) Recording medium having data structure for managing playback control and recording and reproducing methods and apparatuses

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees