TWI479892B - Reproducing apparatus and reproducing method, program, program storage medium, data structure, manufacturing method of recording medium - Google Patents

Reproducing apparatus and reproducing method, program, program storage medium, data structure, manufacturing method of recording medium Download PDF

Info

Publication number
TWI479892B
TWI479892B TW099136799A TW99136799A TWI479892B TW I479892 B TWI479892 B TW I479892B TW 099136799 A TW099136799 A TW 099136799A TW 99136799 A TW99136799 A TW 99136799A TW I479892 B TWI479892 B TW I479892B
Authority
TW
Taiwan
Prior art keywords
stream
image
file
information
main
Prior art date
Application number
TW099136799A
Other languages
English (en)
Other versions
TW201108739A (en
Inventor
Ayako Iwase
Motoki Kato
Shinobu Hattori
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201108739A publication Critical patent/TW201108739A/zh
Application granted granted Critical
Publication of TWI479892B publication Critical patent/TWI479892B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/877—Regeneration of colour television signals by assembling picture element blocks in an intermediate memory
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Circuits (AREA)

Description

再生裝置及再生方法、程式、程式儲存媒體、資料構造、記錄媒體之製造方法
本發明係關於再生裝置及再生方法、程式、程式儲存媒體、資料結構及記錄媒體之製造方法，特別是關於適合用於再生流資料時之再生裝置及再生方法、程式、程式儲存媒體、資料結構及記錄媒體之製造方法。
先前有為了同時視聽不同之內容，將數個內容之影像資料予以解碼後，合成非壓縮之圖像資料，而後，執行D/A轉換，對影像輸出端子輸出，而顯示於外部之顯示裝置之技術(如專利文獻1)。
[專利文獻1]日本特開2005-20242號公報
如上述，除了合成數個內容之影像資料而顯示之情況外，即使在1個內容包含數個影像資料之情況等，亦要求合成數個影像資料而輸出。
合成數個影像資料而輸出之情況，使對主要顯示畫面為副之顯示畫面之顯示方法不依存於再生裝置，如各內容或各內容之指定之再生位置，設定內容製作者或內容供給者等困難。
有鑑於該狀況，本發明係可指定對主要顯示畫面為副之顯示畫面之顯示方法者。
本發明第一種形態之再生裝置具備：取得機構，其係取得藉由：包含表示至少包含1個資料流之主流檔(main stream file)之時間軸上之位置之主要再生路徑之第一資訊，及包含與前述主流檔不同之子流檔(sub stream file)之副再生路徑之第二資訊而構成之再生管理資訊；讀取機構，其係依據藉由前述取得機構而取得之前述再生管理資訊，讀取再生之前述主流檔及前述子流檔；及影像合成機構，其係依據前述取得機構而取得之前述再生管理資訊，合成前述讀取機構所讀取之前述主流檔之影像與前述子流檔之影像；前述再生管理資訊中包含關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊，前述影像合成機構依據關於前述再生管理資訊中包含之前述顯示狀態之資訊，合成前述主流檔之影像與前述子流檔之影像。
關於前述顯示狀態之資訊中，可包含關於與前述主流檔之影像合成之前述子流檔之影像之顯示位置之資訊。
關於前述顯示狀態之資訊中，可包含關於與前述主流檔之影像合成之前述子流檔之影像之顯示大小之資訊。
關於前述顯示狀態之資訊中，可包含關於與前述主流檔之影像合成之前述子流檔之影像之顯示色之資訊。
關於前述顯示狀態之資訊中，可包含關於與前述主流檔之影像合成之前述子流檔之影像之對原影像合成後之旋轉角度之資訊。
關於前述顯示狀態之資訊中，可包含關於依據表示與前述主流檔之影像合成之前述子流檔之影像之亮度之資訊而執行之合成前述主流檔之影像與前述子流檔之影像之處理之資訊。
表示前述子流檔之影像之亮度之資訊，係表示須進行透過處理之亮度之資訊之至少1個臨限值，且可對前述子流檔之影像之亮度為前述臨限值以上或以下之影像部分，進行透過處理。
可進一步具備接受使用者之操作輸入之操作輸入機構，在前述取得機構所取得之前述再生管理資訊中，可記載表示對前述主流檔是否必須同時再生前述子流檔，或是是否僅在前述使用者指示時，對前述主流檔同時再生前述子流檔之資訊，前述影像合成機構中，於前述再生管理資訊中記載有表示僅在前述使用者指示時，對前述主流檔同時再生前述子流檔之資訊情況下，可依據前述操作輸入機構所輸入之前述使用者之操作輸入，僅在前述使用者指示前述子流檔之再生時，合成前述主流檔之影像與前述子流檔之影像。
可進一步具備聲音合成機構，其係合成：對應於前述主流檔而再生之聲音，及對應於前述子流檔而再生之聲音，前述聲音合成機構中，於藉由前述影像合成機構而合成前述主流檔之影像與前述子流檔之影像情況下，可合成對應於前述主流檔而再生之聲音，及對應於前述子流檔而再生之聲音。
前述再生管理資訊中可包含表示包含關於前述顯示狀態之資訊之資訊。
本發明第一種形態之再生方法及程式包含以下步驟：讀取藉由包含表示至少包含1個資料流之前述主流檔之時間軸上之位置之主要再生路徑之第一資訊，及包含與前述主流檔不同之前述子流檔之副再生路徑之第二資訊而構成之再生管理資訊，依據讀取之前述再生管理資訊，讀取再生之前述主流檔及前述子流檔，依據前述再生管理資訊中包含之關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊，合成讀取之前述主流檔之影像與前述子流檔之影像。
本發明之第一種形態中，讀取藉由包含表示至少包含1個資料流之前述主流檔之時間軸上之位置之主要再生路徑之第一資訊，及包含與前述主流檔不同之前述子流檔之副再生路徑之第二資訊而構成之再生管理資訊，並依據讀取之前述再生管理資訊，讀取再生之前述主流檔及前述子流檔，並依據關於前述再生管理資訊中包含之前述子流檔之影像之顯示狀態之資訊，合成讀取之前述主流檔之影像與前述子流檔之影像。
本發明第二種形態之資料結構，係包含管理至少包含1個資料流之主流檔之再生之資訊之再生管理資訊，且前述再生管理資訊中包含：包含表示前述主流檔之時間軸上之位置之主要再生路徑之第一資訊、包含與前述主流檔不同之子流檔之副再生路徑之第二資訊、及關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊。
本發明第二種形態之記錄媒體之製造方法，係記錄在再生裝置中可再生之資料之記錄媒體之製造方法，且包含管理至少包含1個資料流之主流檔之再生之資訊之再生管理資訊，且生成具有前述再生管理資訊中包含：包含表示前述主流檔之時間軸上之位置之主要再生路徑之第一資訊、包含與前述主流檔不同之子流檔之副再生路徑之第二資訊、及關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊之資料結構之資料，並包含將生成之前述資料記錄於前述記錄媒體之步驟。
本發明第二種形態之記錄媒體之製造方法，其包含：生成具有以下資料結構之資料之步驟：包含管理至少包含1個資料流之主流檔之再生之資訊之再生管理資訊，且前述再生管理資訊中包含：包含表示前述主流檔之時間軸上之位置之主要再生路徑之第一資訊、包含與前述主流檔不同之子流檔之副再生路徑之第二資訊、及關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊之；及將生成之前述資料記錄於前述記錄媒體之步驟。
所謂網路，係指至少連接2個裝置，可從某個裝置對其他裝置傳達資訊之結構。經由網路而通信之裝置亦可為各個獨立之裝置，亦可為構成1個裝置之各個內部區塊。
此外，所謂通信，除無線通信及有線通信之外，亦可為無線通信與有線通信混合之通信，亦即在某個區間進行無線通信，而在其他區間進行有線通信者。再者，亦可在自某個裝置對其他裝置之通信以有線通信進行，而自其他裝置對某個裝置之通信以無線通信進行者。
另外，記錄裝置亦可為獨立之裝置，亦可為進行記錄再生裝置之記錄處理之區塊。
如以上所述，由於本發明第一種形態，可合成主流檔之影像與子流檔之影像，特別是可依據再生管理資訊中包含之關於子流檔之影像顯示狀態之資訊，合成主流檔之影像與子流檔之影像，因此，如圖像內圖像顯示中之副顯示畫面之大小與顯示位置，不依存於再生裝置之規格，而可由內容之製作者或內容之供給者適切決定。
此外，由於本發明第二種形態可提供具有包含管理至少包含1個資料流之主流檔之再生之資訊之再生管理資訊之資料結構之資料，特別是可提供具有再生管理資訊中包含：包含表示前述主流檔之時間軸上之位置之主要再生路徑之第一資訊、包含與前述主流檔不同之子流檔之副再生路徑之第二資訊、及關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊之資料結構之資料，因此，如圖像內圖像顯示中之副顯示畫面之大小與顯示位置，不依存於再生裝置之規格，而可由內容之製作者或內容之供給者適切決定。
以下，參照圖式說明本發明之實施形態。
圖1係顯示安裝於應用本發明之再生裝置20(參照圖35於後述)之記錄媒體上之應用程式格式之例圖。記錄媒體除了後述之光碟之外，亦可為磁碟及半導體記憶體。
應用程式格式為了管理AV(視聽)流，而具有PlayList(播放表)與Clip(夾子)兩層。此時將1個AV流與其附帶資訊之Clip資訊之對，視為1個物件，合併此等而稱為Clip。以下，將AV流亦稱為AV流檔。此外，將Clip資訊亦稱為Clip資訊檔案。
一般而言，電腦等使用之檔案係作為位元組行來處理，AV流檔之內容展開於時間軸上，Clip之存取點，主要以時間戳記藉由PlayList而指定。亦即PlayList與Clip係AV流管理用之層。
Clip中之存取點以時間戳記而藉由PlayList顯示時，ClipInformation檔用於自時間戳記發現須開始AV流檔中之解碼之位址資訊。
PlayList係AV流之再生區間之集合。某個AV流中之1個再生區間稱為PlayItem，其以時間軸上之再生區間之IN點(開始再生點)與OUT點(結束再生點)之對來表示。因此，如圖1所示，PlayList係藉由1個或數個PlayItem而構成。
圖1中自左起第一個PlayList係由兩個PlayItem構成，藉由其兩個PlayItem，分別參照左側之Clip中包含之AV流之前半部分與後半部分。此外，自左起第二個PlayList係由1個PlayItem構成，藉由其而參照右側之Clip中包含之AV流全體。再者，自左起第三個PlayList係由兩個PlayItem構成，藉由其兩個PlayItem，而分別參照左側之Clip中包含之AV流之某個部分與右側之Clip中包含之AV流之某個部分。
如藉由圖1之碟片導航程式，作為表示此時之再生位置之資訊，而指定有自左起第一個PlayList中包含之左側之PlayItem時，進行其PlayItem參照之左側之Clip中包含之AV流之前半部分之再生。如此，PlayList係用作管理AV流檔之再生用之再生管理資訊。
碟片導航程式具有控制PlayList之再生順序及PlayList之交互再生之功能。此外，碟片導航程式亦具有將各種再生之執行顯示於使用者指示用之選單畫面之功能等。該碟片導航程式如以Java(登錄商標)等之程式化語言記述，而備用於記錄媒體上。
本實施形態在PlayList中，將藉由1個以上PlayItem之排列(藉由連續之PlayItem)而作成之再生路徑稱為主路徑(Main Path)，在PlayList中，將與Main Path並行(並列)，並藉由1個以上之Sub Path之排列(藉由亦可不連續或連續之SubPlayItem)作成之再生路徑稱為子路徑(Sub Path)。亦即，安裝於再生裝置20(參照圖35於後述)之記錄媒體上之應用程式格式，於PlayList中具有與主路徑相關聯(結合)而再生之子路徑(Sub Path)。
圖2係主路徑與子路徑之構造之說明圖。PlayList可具有1個主路徑與1個以上之子路徑。1個主路徑藉由1個以上之PlayItem之排列而作成，1個子路徑藉由1個以上之SubPlayItem之排列而作成。
圖2之例中，PlayList具有：藉由3個PlayItem之排列而作成之1個主路徑，與3個子路徑。構成主路徑之PlayItem中，自最前依序分別註記ID(識別(Identification))。具體而言，主路徑包含：PlayItem_id=0、PlayItem_id=1及PlayItem_id=2之PlayItem。此外，子路徑中亦自最前依序分別註記ID成Subpath_id=0、Subpath_id=1及Subpath_id=2。Subpath_id=0之子路徑中包含1個SubPlayItem，Subpath_id=1之子路徑中包含2個SubPlayItem，Subpath_id=2之子路徑中包含1個SubPlayItem。
Subpath_id=0之子路徑中包含之SubPlayItem參照之資料流，如假設為電影之日語配音之聲音，改成藉由Mainpath參照之AV流檔之聲頻流而再生之情況。此外，Subpath_id=1之子路徑中包含之SubPlayItem參照之資料流，如假設為電影之Director's cut，而僅於藉由Main Path參照之AV流檔之指定之部分，放入電影導演等之評論之情況。
1個PlayItem參照之Clip AV流檔中，至少包含視頻流資料(主要圖像資料)。此外，Clip AV流檔中亦可包含1個以上與Clip AV流檔中包含之視頻流(主要圖像資料)相同時間(同步)再生之聲頻流，亦可不包含。再者，Clip AV流檔中亦可包含1個以上與Clip AV流檔中包含之視頻流相同時間再生之位元映像字幕流，亦可不包含。此外，Clip AV流檔中亦可包含1個以上與Clip AV流檔中包含之視頻流相同時間再生之交互圖形流，亦可不包含。而後，將Clip AV流檔中包含之視頻流，以及與視頻流相同時間再生之聲頻流、位元映像字幕流檔或交互圖形流予以多工化。亦即，1個Play Item參照之Clip AV流檔中，將視頻流資料，與配合其視頻流而再生之0個以上之聲頻流、0個以上之位元映像字幕流資料及0個以上之交互圖形流資料予以多工化。
亦即，1個PlayItem參照之Clip AV流檔中包含：視頻流、聲頻流、位元映像字幕流檔或交互圖形流等之數種資料流。
此外，1個SubPlayItem係參照與PlayItem參照之Clip AV流檔不同之資料流(另外資料流)之聲頻流資料及字幕資料。
再生僅具有主路徑之PlayList時，藉由使用者進行聲音切換及字幕切換之操作，可僅在其主路徑參照之Clip中，自多工化之聲頻流與子圖像流中選擇聲音及字幕。另外，再生具有主路徑與子路徑之PlayList時，在其主路徑參照之Clip AV流檔中，除多工化之聲頻流與子圖像流之外，亦可參照SubPlayItem參照之Clip之聲頻流及子圖像流。
如此，1個PlayList中包含數個SubPath，由於各個SubPath形成參照各個SubPlayItem之構造，因此可實現擴張性高且自由度高之AV流。亦即，可形成除MainPath參照之Clip AV流之外，爾後可追加SubPlayItem之構造。
圖3係主路徑與子路徑之例之說明圖。圖3中，使用子路徑表示與主路徑相同時間(AV同步)而再生之聲頻之再生路徑。
圖3之PlayList中包含作為主路徑之PlayItem_id=0之1個PlayItem，及作為子路徑之1個SubPlayItem。主路徑之PlayItem_id=0之1個PlayItem()參照圖3之主AV流。SubPlayItem()中包含以下所示之資料。首先，SubPlayItem()中包含指定PlayList中之Sub Path(子路徑)參照之Clip用之Clip_Information_file_name。圖3之例中，係藉由SubPlayItem而參照SubClip_entry_id=0之Auxiliary audio stream(聲頻流)。此外，SubPlayItem()中包含指定Clip(此時為Auxiliary audio stream)中之Sub Path之再生區間用之SubPlayItem_IN_time與SubPlayItem_OUT_time。再者，SubPlayItem()中包含指定在Main Path之時間軸(再生時間軸)上，Sub Path開始再生之時刻用之sync_PlayItem_id與sync_start_PTS_of_PlayItem。圖3之例中，係sync_PlayItem_id=0，sync_start_PTS_of_PlayItem=t1。藉此，可在主路徑之PlayItem_id=0之時間軸(再生時間軸)上指定Sub Path開始再生之時刻t1。亦即，圖3之例中，顯示主路徑之開始再生時刻t1與子路徑之開始時刻t1係相同時刻。
此時，被Sub Path參照之聲頻之Clip AV流不致包含STC不連續點(系統時基之不連續點)。使用於子路徑之Clip之聲頻抽樣之時脈被主路徑之聲頻抽樣之時脈鎖定。
換言之，SubPlayItem()中包含：指定Sub Path參照之Clip之資訊、指定Sub Path之再生區間之資訊及在Main Path之時間軸上指定Sub Path開始再生之時刻之資訊。由於使用於Sub Path之Clip AV流不包含STC，因此，可依據SubPlayItem()中包含之資訊(指定Sub Path參照之Clip之資訊、指定Sub Path之再生區間之資訊及在Main Path之時間軸上指定Sub Path開始再生之時刻之資訊)，參照與主路徑參照之Clip AV流(主要AV流)不同之Clip AV流之聲頻流而再生。
如此，PlayItem與SubPlayItem係分別管理Clip AV流檔者，此時，PlayItem管理之Clip AV流檔(主要AV流)與SubPlayItem管理之Clip AV流檔成為不同之檔案。
另外，與圖3之例同樣地，亦可使用子路徑表示與主路徑相同時間再生之字幕流再生路徑。
圖4係主路徑與子路徑之另外例之說明圖。圖4中使用子路徑表示與主路徑相同時間(AV同步)再生之視頻與聲頻之再生路徑。
主路徑之PlayItem-1參照之流檔，係Clip-0之主要(primary)視頻流及主要聲頻流，以及PG(Presentation Graphics)流及IG(Intaractive Graphics)流之前半部分，PlayItem-2參照之主AV流檔，係Clip-0之主要(primary)視頻流及主要聲頻流，以及PG流及IG流之後半部。
而後，子路徑之SubPlayItem參照之流檔，係Clip-1之次要(2ndary)視頻流與次要聲頻流。
如將藉由主路徑參照之主要(primary)視頻流及主要聲頻流，以及PG流及IG流作為1個電影之內容(AV內容)，將藉由子路徑參照之次要視頻流與次要聲頻流作為導演對其電影評論之Bonus track，而在主路徑參照之視頻及聲頻流中，混合(重疊)再生子路徑參照之視頻及聲頻流時，係利用此種構造。
此外，即使次要流與主要流不同步(設定必須同時再生之播放表)時，使用者觀看電影，並將合成Bonus track而顯示之指令對再生裝置(播放器)輸入時，混合主路徑參照之主要流之影像及聲音與子路徑參照之次要流之影像及聲音而再生情況下，同樣地使用此種構造。
圖4中，在主路徑上，2個PlayItem配置為PlayItem_id=0,1，在子路徑(Subpath_id=0)上配置有1個SubPlayItem。而後，以SubPath(參照圖19於後述)叫出之SubPlayItem(參照圖21於後述)，包含指定SubPath之再生區間用之SubPlayItem_IN_time與SubPlayItem_out_time。
對使用圖4而說明之主要視頻、主要聲頻，重疊次要視頻、次要聲頻而再生輸出時，聲音係合成而輸出，影像如圖5所示，係對顯示主要視頻之主顯示畫面1，在指定之位置藉由指定大小之副顯示畫面2而重疊次要視頻而顯示。
另外，圖4中，主路徑參照者係主要流，子路徑參照者係次要流，主要流及次要流亦可分別藉由主路徑參照，或藉由子路徑參照。如主要流及次要流亦可均藉由主路徑參照，主要流及次要流亦可均藉由子路徑參照。
亦即，此種構造如圖5所示，可利用於進行使主要視頻流作為主畫面來顯示，而在主畫面中，將次要流作為子畫面而合成顯示之所謂PinP(圖像內圖像：Picture-in-Picture)顯示之情況。
圖6係顯示在再生裝置20(參照圖35於後述)中可再生之資料檔之檔案系統之例圖。圖6中顯示藉由光碟等記錄媒體供給在再生裝置20中可再生之資料檔時之一例，該檔案系統具有目錄構造。另外，將再生裝置20中可再生之資料檔記錄於光碟以外之記錄媒體而供給之情況，及記錄於內部之記錄媒體而再生之情況等，再生裝置20中可再生之資料檔均適合具有圖6所示之檔案系統。
該檔案系統中，在「root」之下備有設有「BDMV」之名稱之目錄，該目錄中儲存有：設有「Index.bdmv」之名稱之檔案，及設有「NavigationObject.bdmv」之名稱之檔案。以下，適時將此等檔案分別稱為Index檔及NavigationObject檔。此外，適時就各檔案，以在「檔名」中附加「檔案」之形式，或是就各目錄，以在「目錄名稱」中附加「目錄」之形式稱呼。
Index檔係記載有上述索引表之檔案，且包含關於再生可於再生裝置20中再生之資料檔之選單之資訊。再生裝置20依據Index檔如將再生可於再生裝置20中再生之資料檔中包含之全部內容、僅再生特定之章節、重複再生之包含顯示初始選單等之內容項目之再生選單畫面，顯示於顯示裝置上。Index檔之索引表中可設定選擇各項目時執行之NavigationObject，使用者自再生選單畫面選擇1個項目時，再生裝置20執行設於Index檔之索引表中之NavigationObject之命令。
NavigationObject檔係包含NavigationObject之檔案。NavigationObject包含控制可在再生裝置20中再生之資料檔中包含之PlayList之再生之命令，如再生裝置20藉由自該檔案系統中包含之NavigationObject中選擇1個來執行，可使內容再生。
BDMV目錄中還設有：設有「BACKUP」之名稱之目錄(BACKUP目錄)、設有「PLAYLIST」之名稱之目錄(PLAYLIST目錄)、設有「CLIPINF」之名稱之目錄(CLIPINF目錄)、設有「STREAM」之名稱之目錄(STREAM目錄)、及設有「AUXDATA」之名稱之目錄(AUXDATA目錄)。
BACKUP目錄中記錄備份可在再生裝置20中再生之檔案及資料用之檔案及資料。
PLAYLIST目錄中儲存PlayList檔。各PlayList檔中命名如圖內所示，在包含5位數字之檔名中附加擴張符「.mpls」之名稱。就PlayList檔使用圖7於後述。
CLIPINF目錄中儲存Clip Information檔。各Clip Information檔中命名如圖內所示，在包含5位數字之檔名中附加擴張符「.clpi」之名稱。
STREAM目錄中儲存Clip AV流檔及子流檔。各資料流檔中命名如圖內所示，在包含5位數字之檔名中附加擴張符「.m2ts」之名稱。
AUXDATA目錄中儲存不包含於Clip AV流檔及子流檔中，而自Clip AV流檔及子流檔參照之資料，及與Clip AV流檔及子流檔獨立而利用之資料等之檔案。圖6之例中，於AUXDATA目錄中儲存有註記「11111.otf」名稱之字幕之字型檔及設有「sound.bdmv」名稱之音效等之聲音資料。
此外，藉由光碟分發可在再生裝置20中再生之資料檔時，為了識別如製作公司或電影供應公司等，該內容製作者或是該記錄媒體之供給者之標題作者，而分配給各標題作者之識別符之author_id，及在顯示於author_id之標題作者中，為了識別製作之光碟種類而分配之識別符之disc_id，作為使用者等無法重寫之安全電子資料而記錄，或是藉由實體性鑿刻(pit)而記錄。
此外，將可在再生裝置20中再生之資料檔記錄於光碟以外之可移式記錄媒體時，或是經由網路下載而記錄於再生裝置內部之記錄媒體，或記憶於內部之記憶部時，亦可分配author_id及相當於author_id之id而加以區別，並宜具有與圖6所示之情況相同之目錄構造。此外，即使在可在再生裝置20中再生之資料檔中未分配有author_id及相當於author_id之id，仍與使用圖6而說明之情況同樣地，含有設有「Index.bdmv」名稱之檔案、設有「NavigationObject.bdmv」名稱之檔案，並含有設有「BACKUP」名稱之檔案群、設有「PLAYLIST」名稱之檔案群、設有「CLIPINF」名稱之檔案群、設有「STREAM」名稱之檔案群及設有「AUXDATA」名稱之檔案群中，適切需要之檔案群。
其次，說明具體實現使用圖2至圖4而說明之主路徑與子路徑之構造用之使用圖6說明之各個檔案之資料結構(語法)。
圖7顯示儲存於PLAYLIST目錄之具有擴張符「.mpls」之PlayList檔之資料結構。
type_indicator係記載有顯示該檔案種類之資訊者，該場中，按照ISO646，須編碼成"MPLS"。
version_number係表示顯示該xxxx.mpls之版本編號之4個字元文字者，version_number須編碼成ISO"0089"。
PlayList_start_address係將PlayList檔之自最前位元組之相對位元組數作為單位，而表示PlayList()之最前位址者。
PlayListMark_start_address係將PlayList檔之自最前位元組之相對位元組數作為單位，而表示PlayListMark()之最前位址者。
PlayListExtensionData_start_address係將PlayList檔之自最前位元組之相對位元組數作為單位，而表示PlayListExtensionData()之最前位址者。
AppInfoPlayList()中儲存有關於PlayList之再生控制之參數。
PlayList()中儲存有關於PlayList之主路徑及子路徑等之參數。PlayList()之詳細內容使用圖18於後述。
在PlayListMark()中儲存有PlayList之標示資訊。此外，在PlayListExtensionData()中可插入私人資料。
圖8顯示PlayListExtensionData()之語法。
Length係顯示自該length場之後至PlayListExtensionData()最後之PlayListExtensionData()之位元組數者。
data_blocks_start_address係將PlayListExtensionData()之自最前位元組之相對位元組數作為單位，而顯示初始之data_b1ock()之最前位址者。
number_of_PL_ext_data_entries係顯示PlayListExtensionData()中包含之PlayListExtensionData之登錄數者。在PlayListExtensionData()內不可存在2個以上相同之ID。
ID1/ID2中記載可識別記載於該PlayListExtensionData()之data_block之資訊種類之資訊(識別符等)。
PL_ext_data_start_address係顯示開始其PlayListExtensionData之data_block之編號者。PlayListExtensionData之最前資料須對準於data_block之最前。
PL_ext_data_length係以位元組單位顯示PlayListExtensionData之大小者。
data_block係儲存PlayListExtensionData之區域，且PlayListExtensionData()內之全部data_block須為相同尺寸。
而後，data_block中可記載表示顯示使用圖5而說明之次要視頻之副顯示畫面2之顯示位置及大小之資訊。data_block中可記載表示圖像內圖像(Picture-in-Picture)之顯示設定之元資料。
圖9顯示記載於data_block之pip_metadata(表示Picture-in-Picture之顯示設定之元資料)之語法之第一例。
length係表示自該length場之後至pip_metadata()之最後之pip_metadata()之位元組數者。
pip_metadata_type之場係表示pip_metadata之種類者。如圖l0所示，於pip_metadata_type=0x01時，由於藉由該pip_metadata()指定圖像內圖像顯示之次要視頻流係同步型，亦即與Main Path之PlayItem之時間軸(再生時間軸)同步而再生，因此，次要流始終對主要流同步而再生輸出。此外，pip_metadata_type=0x02時，藉由該pip_metadata()而指定圖像內圖像顯示之次要視頻流係非同步型，亦即雖與Sub Path之SubPlayItem之時間軸同步而再生，不過，亦可與Main Path之PlayItem之時間軸不同步，因此，藉由使用者之操作輸入，僅指示顯示次要流時，可再生輸出次要流。
亦即，pip_metadata_type=0x02中，所謂「與SubPlayItem同步」，係指藉由該pip_metadata()而指定圖像內圖像顯示之次要視頻流雖與MainPath之時間軸不同步，但是與Sub Path之時間軸同步。亦即，pip_metadata_type=0x02時之pip_metadata()，係表示藉由使用者之動作(操作輸入)，以次要視頻之顯示開始之瞬間為基準而考慮時之SubPlayItem再生中之副顯示畫面2之顯示位置及大小者。
ref_to_PlayItem/SubPath_id係表示適應pip_metadata之P1ayItem之PlayItem_id之值，或是表示適應pip_metadata之SubPlayItem之SubPath_id之值者。亦即，藉由該pip_metadata()而指定圖像內圖像顯示之次要視頻流與MainPath同步時(係pip_metadata_type=0x01時)成為ref_to_PlayItem，藉由該pip_metadata()指定圖像內圖像顯示之次要視頻流與Sub Path同步時(係pip_metadata_type=0x02時)，成為ref_to_SubPath_id。
pip_metadata_time_stamp係適應pip_metadata之PlayItem之時間戳記，且在顯示於pip_metadata_time_stamp之時間，以藉由pip_metadata()指定之顯示位置及大小，而將次要視頻流之影像顯示於副顯示畫面2。
亦即，pip_metadata_time_stamp需要指示在ref_to_PlayItem/SubPath_id參照之PlayItem之In_time/Out_time之間之presentation_time。而後，藉由該pip_metadata()指定圖像內圖像顯示之次要視頻流與Sub Path同步時(亦即，pip_metadata_type=0x02時)，係在SubPlayItem之時間軸中，在顯示於pip_metadata_time_stamp之時間，以藉由pip_metadata()指定之顯示位置及大小，將次要視頻流之影像顯示於副顯示畫面2。
pip_entry_video_PID係表示用於圖像內圖像顯示之次要視頻之PID之值者。
pip_horizotal_position係在主要視頻之幀(圖5之主顯示畫面1)上，表示顯示次要視頻之副顯示畫面2之左上角之X座標者。此外，pip_vertical_position係在主要視頻之幀(圖5之主顯示畫面1)上，表示顯示次要視頻之副顯示畫面2之左上角之Y座標者。
另外，如副顯示畫面2之右下角之X座標及Y座標之指定，或是指定預先決定之數個顯示位置中之任何一個等，當然亦可藉由pip_horizotal_position及pip_vertical_position指定副顯示畫面2之左上角之X座標及Y座標以外之方法，來指定顯示次要視頻之副顯示畫面2之顯示位置。
pip_scale係記載表示顯示次要視頻之副顯示畫面2大小之資訊之場，如記載表示：次要視頻對主要視頻之大小比率，次要視頻對原始圖像大小之縮小率，或是構成副顯示畫面2之像素以縱橫各幾個像素構成之資訊等。
圖10顯示圖9之pip_metadata_type之值及其定義。
pip_metadata_type=0x00係為了將來之擴張而尚未設定定義之值。pip_metadata_type=0x01時，由於該pip_metadata()係同步型，亦即與Main Path之PlayItem之時間軸同步，因此，係次要流對主要流始終同步而再生輸出者，pip_metadata_type=0x02時，由於該pip_metadata()係非同步型，亦即形成與Sub Path之SubPlayItem之時間軸同步，因此，僅於藉由使用者之操作輸入而指示次要流之顯示時，將次要視頻流之影像再生輸出至副顯示畫面2者。此外，pip_metadata_type之上述3個值以外，係為了將來之擴張而尚未設定定義。
圖11顯示記載於data_block之pip_metadata之語法之與圖9中之情況不同之第二例。另外，關於與圖9中之情況相同名稱且相同定義之資料場之說明適切省略。
number_of_entries係表示圖像內圖像之應用程式數之場。
Synchronous_PIP_metadata_flag係顯示圖像內圖像之應用程式(亦即次要視頻流)與哪個路徑同步者。亦即，Synchronous_PIP_metadata_flag之值為0'時，該圖像內圖像之應用程式係與SubPath同步者，ref_to_PlayItem/SubPath_id登錄ref_to_SubPath_id。另外，Synchronous_PIP_metadata_flag之值為1'時，該圖像內圖案之應用程式亦與MainPath同步者，ref_to_PlayItem/SubPath_id登錄ref_to_PlayItem。
亦即，圖11之Synchronous_PIP_metadata_flag係定義與使用圖9而說明之pip_metadata中之pip_metadata_type(圖10)大致相同內容用之資訊。
mumber_of_pip_metadata_entries係表示ref_to_PlayItem/ref_to_SubPath_id之Video流用之PinP Metadata之總數之場。
pip_metadata_type係表示該圖像內圖像之元資料種類者，如除表示顯示次要視頻流之副顯示畫面2位置與大小之資訊外，可記載如關於對次要視頻流之原影像顯示之影像之旋轉及色之指定等之資訊者。
亦即，圖11之pip_metadata_type係與使用圖9而說明之pip_metadata中之pip_metadata_type定義不同之資訊。
此外，圖12顯示記載於data_block之pip_metadata之語法之與圖9及圖11中之情況不同之第三例。
Length係記載表示自該length場之後至pip_metadata()最後之pip_metadata()之位元組數之資訊之場。
number_of_metadata_block_entries係記載表示pip_metadata()中包含之metadata block之登錄數之資訊之場。
metadata_block_header[k]()中記載包含與metadata block 相關之標頭資訊之資訊。
ref_to_PlayItem_id[k]係記載表示適用pip_metadata之PlayItem之PlayItem_id之值之資訊之場。
ref_to_secondary_video_id[k]係適用pip_metadata之次要視頻之id，且係記載表示以ref_to_PlayItem_id參照之PlayItem內之STN_table(如圖22於後述)定義之secondary_video_stream_id之值之資訊之場。
pip_timeline_type[k]係記載表示pip_metadata_time_stamp參照之時間軸型式之資訊之場。另外，pip_timeline_type[k]之值與其定義於後述。
is_luma_key於該旗標設定為1時，luma-keying按照lower_limit_luma_key與upper_limit_luma_key之值，適用於次要視頻流。
lower_limit_luma_key係記載表示luma keying用之次要視頻之亮度值之下限資訊之場。
upper_limit_luma_key係記載表示luma keying用之次要視頻之亮度值之上限資訊之場。
此時，所謂luma keying，係指利用亮度(亮度值)之成分差，將切下不需要部分之圖像重疊合成於影像。亦即，is_luma_key之旗標設定為1情況下，藉由透明地設定具有以lower_limit_luma_key與upper_limit_luma_key定義之亮度值之下限至上限範圍內指定之亮度值之圖像，將除去該亮度資訊指定範圍之圖像之次要視頻重疊合成於主要視頻。
藉此，藉由顯示必要最小限度之次要視頻，除可防止因次要視頻之不需要部分，導致主要視頻不易觀看之外，還可更適合地進行次要視頻與主要視頻之合成。
此外，該實施例係說明藉由使用lower_limit_luma_key與upper_limit_luma_key之2個臨限值，而可透明地設定，不過，本發明並不限定於此，藉由取任何一方之臨限值，亦可僅透明地設定亮度值如為upper_limit_luma_key以下或lower_limit_luma_key以上之部分等。
metadata_block_data_start_address[k]係將pip_metadata()之自最前位元組之相對位元組數作為單位，而記載表示初始之metadata_block_data[k]()之最前位址之資訊之場。另外登錄於pip_metadata()內之metadata_block_data_start_address[k]須對照位址值而登錄。
padding_word中，藉由metadata_block_data_start_address[k]之值而插入padding word。
metadata_block_data[k]()中記載包含metadata block之資料資訊之資訊。
mumber_pip_metadata_entries[k]係記載表示metadata_block_data中之pip_metadata總數之資訊之場。
pip_metadata_time_stamp[i]係記載包含表示適用pip_metadata之時間之如45 kHz之時間戳記之資訊之場。另外，連續之2個pip_metadata_time_stamp之最小間隔係1秒。另外，依pip_timeline_type之值之pip_metadata_time_stamp之定義於後述。
pip_composition_metadata()係記載關於主要視頻之幀大小及位置等之資訊之場。
pip_horizontal_position[i]係在主要視頻之幀(圖5之主顯示畫面1)上，表示顯示次要視頻之副顯示畫面2之左上角之X座標者。pip_vertical_position[i]係在主要視頻之幀(圖5之主顯示畫面1)上，表示顯示次要視頻之副顯示畫面2之左上角之Y座標者。
pip_scale[i]如圖13所示，係記載將對次要視頻之原始圖像大小之縮小率設為1倍、1/2倍、1/4倍、1.5倍或full Screen(將次要視頻顯示於圖5之主顯示畫面1之全畫面)之資訊之場。
另外，pip_metadata_time_stamp[i]之pip_composition_metadata()，在pip_metadata_time_stamp[i]至pip_metadata_time_stamp[i+1]之間隔(interval)間有效。不過，最後之pip_composition_metadata之有效間隔，係自最後之pip_metadata_time_stamp至藉由ref_to_secondary_video_stream_id[k]表示之SubPath之presenta tion end time。
其次，參照圖14說明pip_timeline_type之值與其定義，參照圖15至圖17說明依pip_timeline_type之值之pip_metadata_time_stamp之定義。
pip_timeline_type=0係為了將來擴張而尚未設定定義之值。
pip_timeline_type=1定義圖像內圖像提示路徑係同步型之型式者。此時，以ref_to_secondary_video_stream_id指示之SubPath之型式須為5或7(SubPath之型式詳細內容如圖20於後述)。
此時，如圖15所示，pip_metadata_time_stamp參照ref_to_PlayItem_id之PlayItem之時間軸，表示相關聯之SubPlayItem之再生區間。亦即，SubPlayItem之再生區間投影於ref_to_PlayItem_id[k]參照之PlayItem之時間軸。pip_metadata_time_stamp[0]表示SubPath內之SubPlayItem[0]之再生區間之最前。
pip_timeline_type=2定義圖像內圖像提示路徑係非同步型之型式者。此時，以ref_to_secondary_video_stream_id指示之SubPath之型式須為6。此時，SubPath_type=6之SubPath中僅包含1個SubPlayItem。
此時，如圖16所示，pip_metadata_time_stamp參照SubPath之時間軸，顯示藉由ref_to_secondary_video_stream_id[k]表示之SubPath之SubPlayItem之再生區間。pip_metadata_time_stamp[0]表示SubPlayItem之再生區間之最前。
pip_timeline_type=3定義圖像內圖像提示路徑係非同步型之型式者。此時，以ref_to_secondary_video_stream_id指示之SubPath之型式須為6。
此時，如圖17所示，pip_metadata_time_stamp參照ref_to_PlayItem_id之PlayItem之時間軸，表示ref_to_PlayItem_id[k]之PlayItem之再生區間。pip_metadata_time_stamp[0]表示ref_to_PlayItem_id[k]之PlayItem之再生區間之最前。
圖18係顯示PlayList()之語法圖。
length係表示自該length場之後至PlayList()最後之位元組數之32位元之無碼之整數。亦即，係表示自reserved_for_future_use至PlayList最後之位元組數之場。在該length之後準備16位元之reserved_for_future_use。number_of_PlayItems係表示在PlayList中之PlayItem數量之16位元之場。如圖2之例中之PlayItem數量為3個。PlayItem_id之值，在PlayList中依PlayItem()出現之序號，自0起分配。如圖2及圖4所示，係分配PlayItem_id=0,1,2。
number_of_SubPaths係表示在PlayList中之SubPath數量(登錄數)之16位元之場。如圖2之例中，SubPath數為3個。SubPath_id之值，在PlayList中依SubPath()出現之序號，自0起分配。如圖2所示，係分配Subpath_id=0,1,2。而後之for文，係依PlayItem數量參照PlayItem，依Sub Path數量參照Sub Path。
圖19係顯示SubPath()之語法圖。
length係表示自該length場之後至Sub Path()最後之位元組數之32位元之無碼之整數。亦即，係表示自reserved_for_future_use至PlayList最後之位元組數之場。在該length之後準備16位元之reserved_for_future_use。SubPath_type係表示SubPath之應用程式種類之8位元之場。SubPath_type利用於如顯示Sub Path係聲頻或係位元映像字幕或本文字幕等種類之情況。該SubPath_type參照圖20於後述。在SubPath_type之後準備15位元之reserved_for_future_use。is_repeat_SubPath係指定SubPath之再生方法之1位元之場，且係表示在主路徑之再生之間反覆進行SubPath之再生，或是僅進行1次SubPath之再生者。如利用於主要AV流與子路徑指定之Clip之再生時間不同時(使用主路徑作為靜止畫之幻燈片顯示，使用子路徑之聲頻路徑作為主路徑之BGM(背景音樂)情況等)。於Is_repeat_SubPath之後，準備8位元之reserved_for_future_use。number_of_SubPlayItems係表示在1個SubPath中之SubPlayItem數量(登錄數)之8位元之場。如number_of_SubPlayItems於圖2之SubPath_id=0之SubPlayItem係1個，SubPath_id=1之SubPlayItem係2個。而後之for文，係依SubPlayItem數量參照SubPlayItem。
圖20係SubPath_type(子路徑之型式)之例之說明圖。亦即SubPath之種類如以圖20所示之方式定義。
各個子路徑型式中，「Out-of_mux‧‧‧type」之記述，表示包含子路徑參照之ES(基本流)之TS(傳送流)，亦即夾子與包含主路徑參照之播放項目(1個以上之ES)之TS(Clip)不同時之子路徑之型式(種類)，亦即表示子路徑參照之ES係未多工化成包含主路徑參照之播放項目之TS(Clip)之子路徑之型式(種類)。以下，將該種類稱為主路徑非多工型之路徑。
圖20中，SubPath_type=0,1作為reserved。SubPath_type=2作為Audio presentation path of the Browsable slideshow(可瀏覽幻燈片顯示之聲頻提示路徑)。如SubPath_type=2表示在播放表中，子路徑參照之聲頻提示路徑與播放項目參照之主路徑不同步。
SubPath_type=3作為Interactive graphics presentation menu(交互圖形提示選單)。如SubPath_type=3表示在播放表中，子路徑參照之交互圖形之選單與播放項目參照之主路徑不同步。
SubPath_type=4作為Text subtitle presentation path(本文字幕之提示路徑)。如SubPath_type=4表示在播放表中，子路徑參照之本文字幕之提示路徑與播放項目參照之主路徑同步。
此時，如SubPath_type=2,3所示，主路徑參照之ES與子路徑參照之ES不同步時，以下將其子路徑之型式(種類)稱為非同步型路徑。另外，如SubPath_type=4所示，主路徑參照之ES與子路徑參照之ES同步時，以下將其子路徑之型式(種類)稱為同步型路徑。
SubPath_type=5係Out-of-mux及AV同步型之1個以上基本流路徑(主要聲頻/PG/IG/次要聲頻路徑)。作為包含1個以上基本流路徑之圖像內圖像提示路徑之Out of mux及AV同步型。亦即，SubPath_type=5係主路徑TS非多工型，且同步型之路徑，並作為1個以上ES(主要聲頻/PG/IG/次要聲頻)之路徑，及圖像內圖像提示路徑。
此時，所謂圖像內圖像提示路徑，係指上述圖像內圖像之方法中，就指定之主要視頻流(主路徑參照之視頻流)之主要聲頻流、次要視頻流、次要聲頻流及子標題流中之1個以上之路徑(該子路徑之型式)。
SubPath_type=6係Out-of-mux及AV非同步型之包含1個以上基本流路徑之圖像內圖像提示路徑。亦即，SubPath_type=6係主路徑TS非多工型，且非同步型之路徑，並作為圖像內圖像提示路徑(1個以上ES之路徑)。
SubPath_type=7作為In-mux型及AV同步型之包含1個以上基本流路徑之圖像內圖像提示路徑。
此時，「In-mux型」之記述，表示係包含子路徑參照之ES之TS(Clip)及包含主路徑參照之播放項目(1個以上ES)之TS(Clip)相同時之子路徑型式(種類)，亦即係子路徑參照之ES多工化於包含主路徑參照之播放項目之TS(Clip)之子路徑型式(種類)。以下，將該種類稱為主路徑多工型之路徑。
亦即，SubPath_type=7係主路徑TS多工型，且同步型之路徑，並作為圖像內圖像提示路徑(1個以上ES之路徑)。
SubPath_type=8至255作為reserved。
圖21係顯示SubPlayItem(i)之語法圖。
length係表示自該length場之後至Sub PlayItem()最後之位元組數之16位元之無碼之整數。
圖21中，SubPlayItem區分成參照1個Clip之情況與參照數個Clip之情況。
首先，說明SubPlayItem參照1個Clip之情況。
SubPlayItem中包含指定Clip用之Clip_Information_file_name[0]。還包含：指定Clip之編碼解碼方式之Clip_codec_identifier[0]、reserved_for_future_use、顯示有無登錄多夾之旗標之is_multi_Clip_entries、及關於STC不連續點(系統時基之不連續點)之資訊之ref_to_STC_id[0]。is_multi_Clip_entries之旗標豎立時，參照SubPlayItem參照數個Clip時之語法。還包含：指定Clip中之SubPath之再生區間用之SubPlayItem_IN_time與SubPlayItem_OUT_time。進一步包含在mainpath之時間軸上，指定SubPath開始再生之時刻用之sync_PlayItem_id與sync_start_PTS_of_PlayItem。該sync_PlayItem_id與sync_start_PTS_of_PlayItem如上述，使用於圖3與圖4之情況(主要AV流與藉由子路徑顯示之檔案之再生時間相同時)，而不使用於主要AV流與藉由子路徑顯示之檔案之再生時間不同時(如藉由靜止畫構成之幻燈片顯示之BGM，藉由主路徑參照之靜止圖像與藉由子路徑參照之聲頻不同步時)。此外，SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id及sync_start_PTS_of_PlayItem，在SubPlayItem參照之Clip中共用。
其次，說明SubPlayItem參照數個Clip之情況(係if(is_multi_Clip_entries==lb)之情況，亦即係進行多夾登錄之情況)。具體而言如圖4所示，表示SubPlayItem參照數個Clip之情況。
num_of_Clip_entries表示有Clip之數量，指定Clip_Information_file_name[SubClip_entry_id]之數量除去Clip_Information_file_name[0]之Clips。亦即，指定除去Clip_Information_file_name[0]之Clip_Information_file_name[l]及Clip_Information_file_name[2]等之Clip。此外，SubPlayItem包含：指定Clip之編碼解碼方式之Clip_codec_identifier[SubClip_entry_id]、關於STC不連續點(系統時基之不連續點)之資訊之ref_to_STC_id[SubClip_entry_id]及reserved_for_future_use。
另外，在數個Clip之間，SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id及sync_start_PTS_of_PlayItem共用。圖4之例中，SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id及sync_start_PTS_of_PlayItem係在SubClip_entry_id=0與SubClip_entry_id=1之間共用者，並依據該SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id及sync_start_PTS_of_PlayItem而再生對選出之based SubClip_entry_id之Text subtitle。
此時，SubClip_entry_id之值，係依在SubPlayItem中之Clip_Information_file_name[SubClip_entry_id]出現之序號，自1起分配。此外，Clip_Information_file_name[0]之SubClip_entry_id係0。
圖22係顯示PlayItem()之語法圖。
length係表示自該length場之後至PlayItem()最後之位元組數之16位元之無碼之整數。Clip_Information_file_name[0]係指定PlayItem參照之Clip用之場。圖3之例中，藉由Clip_Information_file_name[0]而參照主AV流。此外，包含：指定Clip之編碼解碼方式之Clip_codec_identifier[0]、reserved_for_future_use、is_multi_angle、connection_condition、及關於STC不連續點(系統時基之不連續點)之資訊之ref_to_STC_id[0]。再者，包含指定Clip中之PlayItem之再生區間用之IN_time與OUT_time。圖3之例中，藉由IN_time與OUT_time表示主Clip AV流檔之再生範圍。此外，包含：U0_mask_table()、PlayItem_random_access_mode及still_mode。另外，有數個is_multi_angle之情況，與本發明並無直接之關係，因此省略其說明。
PlayItem()中之STN_table()，於準備對象之PlayItem以及與其相關而再生之1個以上之SubPath時，藉由使用者之聲音切換及字幕切換之操作，係提供可自其PlayItem參照之Clip與此等1個以上之SubPath參照之Clips中選擇之結構者。此外，STN_table()係提供可選擇2個聲頻流之混合再生之結構者。
圖23係顯示STN_table()之語法之第一例圖。STN_table()作為PlayItem之屬性而設定。
length係表示自該length場之後至STN_table()最後之位元組數之16位元之無碼之整數。於length之後準備16位元之reserved_for_future_use。number_of_video_stream_entries表示賦予在STN_table()中登錄(Entry)之video_stream_id之資料流數量。video_stream_id係識別視頻流用之資訊，video_stream_number係使用於視頻切換，而可自使用者看到之視頻流編號。
number_of_audio_stream_entries表示賦予在STN_table()中登錄之audio_stream_id之第一個聲頻流之流數量。audio_stream_id係識別聲頻流用之資訊，audio_stream_number係使用於聲音切換之可自使用者看到之聲頻流編號。number_of_audio_stream2_entries顯示賦予在STN_table()中登錄之audio_stream_id2之第二個聲頻流之流數量。audio_stream_id2係識別聲頻流用之資訊，audio_stream_number係使用於聲音切換之可自使用者看到之聲頻流編號。具體而言，在STN_table()中登錄之number_of_audio_stream_entries之聲頻流，係以後述之圖35之再生裝置20之第一聲頻解碼器75-1解碼之聲頻流，在STN_table()中登錄之number_of_audio_stream2_entries之聲頻流，係以後述之圖35之再生裝置20之第二聲頻解碼器75-2解碼之聲頻流。如此，圖23與後述之圖33及圖34之STN_table()可登錄被2個聲頻解碼器分別解碼之聲頻流。
另外，以下將以圖35之再生裝置20之第一聲頻解碼器75-1解碼之number_of_audio_stream_entries之聲頻流，亦即主要聲頻流稱為聲頻流#1，將以圖35之再生裝置20之第二聲頻解碼器75-2解碼之number_of_audio_stream2_entries之聲頻流，亦即次要聲頻流稱為聲頻流#2。此外，聲頻流#1係比聲頻流#2優先之聲頻流者。
number_of_PG_txtST_stream_entries表示賦予在STN_table()中登錄之PG_txtST_stream_id之資料流數量。其中登錄將DVD之子圖像等位元映像字幕予以行程編碼之資料流(PG,Presentation Graphics stream)與本文字幕檔(txtST)。PG_txtST_stream_id係識別字幕流用之資訊，PG_txtST_stream_number係使用於字幕切換之可自使用者看到之字幕流編號(本文子標題流之編號)。
number_of_IG_stream_entries表示賦予在STN_table()中登錄之IG_stream_id之資料流數量。其中登錄交互圖形流。IG_stream_id係識別交互圖形流用之資訊，IG_stream_number係使用於圖形切換之可自使用者看到之圖形流編號。
以下，參照圖24說明stream_entry()之語法。
length係表示自該length場之後至stream_entry()最後之位元組數之8位元之無碼之整數。type係顯示單一特定賦予上述流編號之資料流用之必要資訊種類之8位元之場。
type=1為了在藉由PlayItem參照之Clip(Main Clip)中，自多工化之數個基本流中特定1個基本流，而指定16位元之封包(packet)ID(PID)。ref_to_stream_PID_of_mainClip表示該PID。亦即，type=1僅藉由指定主Clip AV流檔中之PID，而決定資料流。
type=2於SubPath同時參照數個Clips，各個Clip將數個基本流予以多工化時，為了自SubPath參照之1個Clip(SubClip)之數個基本流中特定1個基本流，而指定其SubPath之SubPath_id、Clip id及封包ID(PID)。ref_to_SubPath_id表示該SubPath_id，ref_to_SubClip_entry_id表示該Clip id，ref_to_stream_PID_of_SubClip表示該PID。而用於在SubPlayItem中參照數個Clip，進一步在該Clip中參照數個基本流之情況。
如此，藉由使用type(type=1與type=2之2個type)，而準備PlayItem以及與其相關而再生之1個以上之SubPath情況下，可自該PlayItem參照之Clip與1個以上之SubPath參照之Clip中特定1個基本流。另外，type=1表示Main Path參照之Clip(主Clip)，type=2表示SubPath參照之Clip(子Clip)。
回到圖23之STN_table()之說明，在視頻流ID(video_stream_id)之for迴路中，依序在各stream_entry()特定之1個視頻基本流中，自0起賦予video_stream_id。另外，除視頻流ID(video_stream_id)之外，亦可使用視頻流編號(video_stream_number)。此時，video_stream_number並非自0起，而係自1起賦予。亦即，在video_stream_id之值上加1者即為video_stream_number。由於視頻流編號係使用於視頻切換而使用者可看到之視頻流編號，因此自1起定義。
同樣地，在聲頻流ID(audio_stream_id)之for迴路中，依序在各stream_entry()特定之1個聲頻基本流中，自0起賦予audio_stream_id。另外，與視頻流之情況同樣地，除聲頻流ID(audio_stream_id)之外，亦可使用聲頻流編號(audio_stream_number)。此時，audio_stream_number並非自0起，而係自1起賦予。亦即，在audio_stream_id之值上加1者即為audio_stream_number。由於聲頻流編號係使用於聲音切換而使用者可看到之聲頻流編號，因此自1起定義。
同樣地，在聲頻流ID2(audio_stream_id2)之for迴路中，依序在各stream_entry()特定之1個聲頻基本流中，自0起賦予audio_stream_id2。另外，與視頻流之情況同樣地，除聲頻流ID2(audio_stream_id2)之外，亦可使用聲頻流編號2(audio_stream_number2)。此時，audio_stream_number2並非自0起，而係自1起賦予。亦即，在audio_stream_id2之值上加1者即為audio_stream_number2。由於聲頻流編號2係使用於聲音切換而使用者可看到之聲頻流編號2，因此自1起定義。
亦即，圖23之STN_table()中，定義：number_of_audio_stream_entries(聲頻流#1)之聲頻流，與number_of_audio_stream2_entries(聲頻流#2)之聲頻流。換言之，由於可使用STN_table()登錄聲頻流#1與聲頻流#2，因此使用者可選擇2個同步再生之聲頻流。
同樣地，在字幕流ID(PG_txtST_stream_id)之for迴路中，依序在各stream_entry()特定之1個位元映像字幕基本流或本文字幕中，自0起賦予PG_txtST_stream_id。另外，與視頻流之情況同樣地，除字幕流ID(PG_txtST_stream_id)之外，亦可使用字幕流編號(PG_txtST_stream_number)。此時，PG_txtST_stream_number並非自0起，而係自1起賦予。亦即，在PG_txtST_stream_id之值上加1者即為PG_txtST_stream_number。由於字幕流編號係使用於字幕切換而使用者可看到之字幕流編號(本文子標題流之編號)，因此自1起定義。
同樣地，在圖形流ID(IG_stream_id)之for迴路中，依序在各stream_entry()特定之1個交互圖形基本流中，自0起賦予IG_stream_id。另外，與視頻流之情況同樣地，除圖形流ID(IG_stream_id)之外，亦可使用圖形流編號(IG_stream_number)。此時，IG_stream_number並非自0起，而係自1起賦予。亦即，在IG_stream_id之值上加1者即為IG_stream_number。由於圖形流編號係使用於圖形切換而使用者可看到之圖形流編號，因此自1起定義。
其次，說明圖23之STN_table()之stream_attribute()。
reserved_for_future_use之後之for文，僅video stream部分參照video stream，碟片製造者對聲頻流，僅設定Main Path及Sub Path之部分參照audio stream，僅PG textST stream之部分參照PG textST stream，僅IG stream之部分參照IG stream。
視頻流ID(video_stream_id)之for迴路中之stream_attribute()，提供各stream_entry()特定之1個視頻基本流之資料流屬性資訊。亦即，該stream_attribute()中記述有各stream_entry()特定之1個視頻基本流之資料流屬性資訊。
同樣地，聲頻流ID(audio_stream_id)之for迴路中之stream_attribute()，提供各stream_entry()特定之1個聲頻基本流之資料流屬性資訊。亦即，該stream_attribute()中記述有各stream_entry()特定之1個聲頻基本流之資料流屬性資訊。如以圖24之stream_entry()之type=1或type=2特定之聲頻基本流係1個，因此stream_attribute()提供其1個聲頻基本流之資料流屬性資訊。
同樣地，聲頻流ID2(audio_stream_id2)之for迴路中之stream_attribute()，提供各stream_entry()特定之1個聲頻基本流之資料流屬性資訊。亦即，該stream_attribute()中記述有各stream_entry()特定之1個聲頻基本流之資料流屬性資訊。如以圖24之stream_entry()之type=1或type=2特定之聲頻基本流係1個，因此stream_attribute()提供其1個聲頻基本流之資料流屬性資訊。
同樣地，字幕流ID(PG_txtST_stream_id)之for迴路中之stream_attribute()，提供各stream_entry()特定之1個位元映像字幕基本流或本文字幕基本流之資料流屬性資訊。亦即，該stream_attribute()中記述有各stream_entry()特定之1個位元映像字幕基本流之資料流屬性資訊。
同樣地，圖形流ID(IG_stream_id)之for迴路中之stream_attribute()提供各stream_entry()特定之1個交互圖形基本流之資料流屬性資訊。亦即，該stream_attribute()中記述有各stream_entry()特定之1個交互圖形基本流之資料流屬性資訊。
以下，參照圖25說明stream_attribute()之語法。
length係表示自該length場之後至stream_attribute()之最後之位元組數之16位元之無碼之整數。
stream_coding_type如圖26所示，表示基本流之編碼型式。基本流之編碼型式記述：MPEG_2 video stream、HDMV LPCM audio、Dolby AC-3 audio、dts audio、Presentation graphics stream、Interactive graphics stream及Text subtitle stream。
video_format如圖27所示，表示視頻基本流之視頻格式。視頻基本流之視頻格式記述：480i,576i,480p,1080i,720p及1080p。
frame_rate如圖28所示，表示視頻基本流之幀率。視頻基本流之幀率記述：24000/1001,24,25,30000/1001,50及60000/1001。
aspect_ratio如圖29所示,表示視頻基本流之縱橫比資訊。視頻基本流之縱橫比資訊記述：4：3 display aspect ratio及16：9 display aspect ratio。
audio_presentation_type如圖30所示，表示聲頻基本流之提示型式資訊。聲頻基本流之提示型式資訊記述：single mono channel、dual mono channel、stereo(2-channel)及mu1ti-channel。
sampling-frequency如圖31所示，表示聲頻基本流之抽樣頻率。聲頻基本流之抽樣頻率記述：48 kHz及96 kHz。
audio-language_code表示聲頻基本流之語言碼(日語、韓語、中國語等)。
PG_language_code表示位元映像字幕基本流之語言碼(日語、韓語、中國語等)。
IG_language_code表示交互圖形基本流之語言碼(日語、韓語、中國語等)。
textST_language_code表示本文字幕基本流之語言碼(日語、韓語、中國語等)。
character_code如圖32所示,表示本文字幕基本流之字元碼。本文字幕基本流之字元碼記述：Unicode V1.1(ISO 10646-1)、Shift JIS(Japanese)、KSC 5601-1987 including KSC 5653 for Roman character(Korean)、GB 18030-2000(Chinese)、GB2312(Chinese)及BIG5(Chinese)。
以下，就圖25之stream_attribute()之語法，使用圖25與圖26至圖32具體地說明。
基本流之編碼型式(圖25之stream_coding_type)為MPEG-2 video stream(圖26)時，stream_attribute()中包含：其基本流之視頻格式(圖27)、幀率(圖28)及縱橫比資訊(圖29)。
基本流之編碼型式(圖25之stream_coding_type)為HDMV LPCM audio、Dolby AC-3 audio或dts audio(圖26)時，stream_attribute()中包含：其聲頻基本流之提示型式資訊(圖30)、抽樣頻率(圖31)及語言碼。
基本流之編碼型式(圖25之stream_coding_type)為Presentation graphics stream(圖26)時，stream_attribute()中包含其位元映像字幕基本流之語言碼。
基本流之編碼型式(圖25之stream_coding_type)為Interactive graphics stream(圖26)時，stream_attribute()中包含其交互圖形基本流之語言碼。
基本流之編碼型式(圖25之stream_coding_type)為Text subtitle stream(圖26)時，stream_attribute()中包含：其本文字幕基本流之字元碼(圖32)、語言碼。
另外，此等之屬性資訊並不限定於此。
如此，準備PlayItem以及與其相關而再生之1個以上之SubPath時，可自該PlayItem參照之Clip與1個以上之SubPath參照之Clip中，藉由stream_attribute()瞭解藉由stream_entry()而特定之1個基本流之屬性資訊。
再生裝置藉由調查該屬性資訊(stream_attribute())，可調查是否具有本身再生其基本流之功能。此外，再生裝置藉由調查該屬性資訊，可選擇對應於再生裝置之語言設定之初始資訊之基本流。
如假設再生裝置僅具有位元映像字幕基本流之再生功能，而不具本文字幕基本流之再生功能之情況。使用者對該再生裝置指示語言切換時，再生裝置自字幕流ID(PG_txtST_stream_id)之for迴路中，僅依序選擇位元映像字幕基本流而再生。
此外，如假設再生裝置之語言設定之初始資訊係日語之情況。使用者對該再生裝置指示聲音切換時，再生裝置自聲頻流ID(audio stream id)之for迴路中，僅依序選擇語言碼係日語之聲頻基本流而再生。
再者，如再生藉由主路徑而參照之包含視頻流與聲頻流之AV流(如電影)時，使用者對再生裝置指示切換聲音，而指定(選擇)聲頻流#1(一般電影輸出之聲音)與聲頻流#2(導演及演員之評論)作為再生之聲音時，再生裝置混合(重疊)聲頻流#1與聲頻流#2，而與視頻流一起再生。
另外，聲頻流#1與聲頻流#2，參照圖23之STN_table()亦可瞭解，兩者均可作為藉由主路徑參照之Clip中包含之聲頻流。此外，亦可將聲頻流#1與聲頻流#2中之一方作為藉由主路徑參照之Clip中包含之聲頻流，將另一方作為藉由子路徑參照之Clip中包含之聲頻流。如此，亦可選擇2個重疊於藉由主路徑而參照之主AV流之數個聲頻流，予以混合而再生。
如此，PlayItem()中之STN_table()，於備有該PlayItem以及與其相關而再生之1個以上之SubPath情況下，提供藉由使用者之聲音切換及字幕切換之操作，可自該PlayItem參照之Clip與1個以上之SubPath參照之Clip中選擇之結構，因此，即使對於記錄有主AV流之與再生之AV流不同之資料流及資料檔案，仍可進行交互之操作。
此外，由於形成在1個PlayList中使用數個SubPath，各個SubPath參照各個SubPlayItem之構造，因此可實現擴張性高且自由度高之AV流。亦即，在爾後可形成可追加SubPlayItem之構造。如有Main Path參照之Clip AV流檔與對應於其之PlayList，該PlayList改寫成追加新的Sub Path之PlayList時，依據新的PlayList，與Main Path參照之Clip AV流檔一起，可參照與Main Path參照之Clip AV流檔不同之Clip AV流檔而再生。如此，可形成具有擴張性之構造。
再者，PlayItem()中之STN_table()，提供可混合以後述之圖35之再生裝置20之第一聲頻解碼器75-1解碼之聲頻流#1與以第二聲頻解碼器75-2解碼之聲頻流#2而再生之結構。如備有PlayItem()以及與其相關而再生之1個以上之SubPath時，可提供將PlayItem參照之Clip之聲頻流作為聲頻流#1，將SubPath參照之Clip之聲頻流作為聲頻流#2，可混合此等而再生之結構。此外，可提供如將PlayItem參照之Clip(主Clip)中包含之2個聲頻流分別作為聲頻流#1與聲頻流#2，可混合此等而再生之構造。藉此，可進行記錄有主AV流之與再生之主要聲頻流不同之聲頻流(如導演之評論之資料流)之重疊再生。亦可重疊(混合)重疊於主AV流之2個聲頻流#1與聲頻流#2而再生。
此外，藉由STN_table()可定義與主要視頻流組合而同時再生之次要視頻流、主要聲頻流、次要聲頻流及子標題流之組合。圖33及圖34係顯示STN_table()之語法之第二例圖。
圖33與圖34係顯示定義與主要視頻流組合而同時再生之次要視頻流、主要聲頻流、次要聲頻流及子標題流之組合時之STN_table()之語法之例圖。另外，圖中與圖23相同之部分重複，因此省略其說明。
圖33與圖34之例中，將與主要視頻流組合而同時再生之次要視頻流、主要聲頻流、次要聲頻流及子標題流之組合定義如下。亦即。首先，定義1個以上與主要視頻流組合而同時再生之次要視頻流。而後，對1個以上之各個次要視頻流，定義同時再生之聲頻流(主要聲頻流與次要聲頻流)與子標題流。
具體而言，圖33中，number_of_video_stream2_entries表示提供在STN_table()中登錄(entry)之video_stream_id2之資料流數。video_stream_id2係識別次要視頻流用之資訊，而video_stream_number2係使用於視頻切換，而可自使用者看到之次要視頻流編號。
圖34中，在視頻流ID2(video_stream_id2)之for迴路中，依序在各stream_entry()特定之1個視頻基本流(成為次要視頻流之視頻基本流)中，自0起賦予video_stream_id2。
此時，對video_stream_id2賦予number_of_Audio_combinations_for_video2，之後之for文以number_of_Audio_combi nations_for_video2之數量程度，賦予audio_stream_id與audio_stream_id2。number_of_Audio_combinations_for_video2與之後之for文，係定義與次要視頻流同時再生之聲頻流之組合，亦即以audio_stream_id特定之主要聲頻流與以audio_stream_id2特定之次要聲頻流之組合之資訊。可與以video_stream_id2特定之次要視頻流組合之聲頻流之組(主要聲頻流與次要聲頻流之組)之數量為number_of_Audio_combi nations_for_video2。而後，可與以video_stream_id2特定之次要視頻流組合之聲頻流之組，係以number_of_Audio_combinations_for_video2之後之for文分別定義特定主要聲頻流之audio_stream_id與特定次要聲頻流之audio_stream_id2。
此外，對相同video_stream_id2賦予number_of_Subtitle_combinations_for_video2，之後之for文以number_of_Subtitle_combinations_for_video2之數量程度，賦予PG_textST_stream_id。number_of_Subtitle_combinations_for_video2與之後之for文，係定義與次要視頻流同時再生之子標題流之組合，亦即以PG_textST_stream_id特定之子標題流之組合之資訊。可與以video_stream_id2特定之次要視頻流組合之子標題流之數量為number_of_Subtitle_combinations_for_video2。而後，以number_of_Subtitle_combinations_for_video2之後之for文定義特定可與以video_stream_id2特定之次要視頻流組合之子標題流之PG_textST_stream_id。
另外，與參照圖23而說明之情況同樣地，亦可取代各ID而使用各編號，如取代audio_stream_id，而使用聲頻流編號(audio_stream_number)，取代audio_stream_id2，而使用聲頻流編號2(audio_stream_number2)。視頻流及子標題流亦同。
按照圖33與圖34，使用video_stream_id2，可定義與至主要視頻流同時再生之次要視頻流，再者，使用video_stream_id2、audio_stream_id及audio_stream_id2與PG_textST_stream_id，可定義與其次要視頻流同時再生之主要聲頻流、次要聲頻流及子標題流之組合。亦即，可定義與主要視頻流同時再生之次要視頻流、主要聲頻流、次要聲頻流及子標題流之組合。
因此，與主要視頻流同時再生之次要視頻流、主要聲頻流、次要聲頻流及子標題流之組合，並非定義矛盾之組合，因此，使用者可輕易地選擇可與主要視頻流同時再生之資料流之組合之再生。
此外，PlayItem()中之STN_table()備有該PlayItem以及與其關聯而再生之1個以上之SubPath情況下，藉由將該SubPath之SubPath_type定義成5至7，亦即定義成圖像內圖像提示路徑(次要視頻流、次要聲頻流及提示圖形流中之1個以上之路徑)，如使用圖5之說明，對於主要再生顯示之主要視頻流，可藉由顯示次要視頻流，來進行圖像內圖像顯示。
此外，如使用圖9、圖11或圖12之說明，由於係將圖像內圖像之顯示設定記載於pip_metadata，因此，使用圖5而說明之副顯示畫面2之大小及顯示位置不依存於再生裝置，內容之製作者或內容之提供者等可任意地設定。此外，圖像內圖像之顯示設定並非記載於圖像內圖像顯示之視頻流(次要視頻流)之資料本身，而係記載於使用圖9、圖11或圖12而說明之pip_metadata。亦即，欲變更使用圖5而說明之副顯示畫面2之大小及顯示位置時，無須修正圖像內圖像顯示之視頻流(次要視頻流)，只須修正pip_metadata之記載即可。
此外，如使用圖9、圖11或圖12之說明，藉由將圖像內圖像之顯示設定記載於pip_metadata，顯示於使用圖5而說明之副顯示畫面2之影像大小，亦不依存於成為次要視頻流來源之圖像之大小，內容之製作者或內容之提供者等可任意地設定。
其次，說明應用本發明之再生裝置。圖35係顯示應用本發明之再生裝置20之構造例之區塊圖。該再生裝置20係再生具有上述主路徑與子路徑之PlayList之再生裝置20。
再生裝置20中設有：儲存驅動器31、開關32、AV解碼部33及控制器34。
圖35之例中，首先，控制器34經由儲存驅動器31讀取PlayList檔，並依據PlayList檔之資訊，經由儲存驅動器31，自HDD、BlueRey Disc或DVD等記錄媒體讀取AV流及AV資料。使用者使用使用者介面，可對控制器34指示聲音及字幕等之切換。此外，控制器34中，自圖上未顯示之記憶部等供給再生裝置20之語言設定之初始資訊。
PlayList檔中，除了Main Path、Sub Path之資訊外，還包含STN_table()。控制器34經由儲存驅動器31，自記錄媒體等讀取：PlayList檔中包含之PlayItem參照之主Clip AV流檔(以下稱為主Clip)，SubPlayItem參照之子Clip AV流檔(以下稱為子Clip)、及SubPlayItem參照之本文子標題資料。此時，PlayItem參照之主Clip與SubPlayItem參照之子Clip亦可記錄於不同之記錄媒體中。如亦可主Clip記錄於記錄媒體，而對應之子Clip係經由圖上未顯示之網路供給，而記憶於HDD者。此外，控制器34係以選擇對應於本身(再生裝置20)之再生功能之基本流而再生之方式來控制，或是以僅選擇對應於再生裝置20之語言設定之初始資訊之基本流而再生之方式來控制。
此外，控制器34參照記載於PlayList檔之PlayListExtensionData()之ID1/ID2之資訊(或識別符)，於該PlayListExtensionData()之data_block中，檢測出記載有關於圖像內圖像顯示之資訊(pip_metadata)時，參照使用圖9或圖11而說明之pip_metadata，取得顯示於使用圖5而說明之副顯示畫面2上之次要視頻之顯示設定，控制AV解碼部33之視頻平面生成部92合成主要視頻流與次要視頻流之影像。
AV解碼部33中設有：緩衝器51至54、PID過濾器55、PID過濾器56、開關57至59、PID過濾器60、背景解碼器71、第一視頻解碼器72-1、第二視頻解碼器72-2、提示圖形解碼器73、交互圖形解碼器74、第一聲頻解碼器75-1、第二聲頻解碼器75-2、Text-ST組合76、開關77、背景平面生成部91、視頻平面生成部92、提示圖形平面生成部93、交互圖形平面生成部94、緩衝器95、視頻資料處理部96、混合處理部97及混合處理部98。
第一視頻解碼器72-1係將主要視頻流予以解碼用者，第二視頻解碼器72-2係將次要視頻流予以解碼用者。此外，第一聲頻解碼器75-1係將聲頻流#1(主要聲頻流)予以解碼用者，第二聲頻解碼器75-2係將聲頻流#2(次要聲頻流)予以解碼用者。具體而言，圖23與圖33及圖34之STN_table()中，將video_stream_id供給之視頻流予以解碼用者係第一視頻解碼器72-1，將video_stream_id2供給之視頻流予以解碼用者係第二視頻解碼器72-2，將audio_stream_id供給之聲頻流予以解碼用者係第一聲頻解碼器75-1，將audio_stream_id2供給之聲頻流予以解碼用者係第二聲頻解碼器75-2。
如此，再生裝置20為了將2個視頻流予以解碼，而具有2個視頻解碼器(第一視頻解碼器72-1、第二視頻解碼器72-2)，為了將2個聲頻流予以解碼，而具有2個聲頻解碼器(第一聲頻解碼器75-1、第二聲頻解碼器75-2)。另外，以下不將第一視頻解碼器72-1與第二視頻解碼器72-2作各個區別時，統稱為視頻解碼器72，不將第一聲頻解碼器75-1與第二聲頻解碼器75-2作各個區別時，統稱為聲頻解碼器75。
藉由控制器34而讀取之檔案資料，係藉由圖上未顯示之解調、ECC解碼部解調，並在解調之多工化資料流中實施錯誤修正。開關32依據來自控制器34之控制，各資料流種類選擇實施解調、錯誤修正之資料，並供給至對應之緩衝器51至54。具體而言，開關32係以依據來自控制器34之控制，將背景影像資料供給至緩衝器51，將主Clip之資料供給至緩衝器52，將子Clip之資料供給至緩衝器53，將Text-ST之資料供給至緩衝器54之方式，切換開關32。緩衝器51緩衝背景影像資料，緩衝器52緩衝主Clip之資料，緩衝器53緩衝子Clip之資料，緩衝器54緩衝Text-ST資料。
主Clip係視頻、聲頻、位元映像字幕(Presentation Graphics stream)與交互圖形中，除視頻之外，將1個以上之資料流予以多工化之資料流(如傳送流)。子Clip係聲頻、位元映像字幕、交互圖形與聲頻中，將1個以上之資料流予以多工化之資料流。另外，本文子標題資料檔(Text-ST)之資料，亦可為或亦可並非傳送流等多工化資料流之形式。
此外，自儲存驅動器31(記錄媒體)讀取主Clip與子Clip及本文子標題資料時，亦可時間分割地交互讀取各個檔案，此外，亦可在自主Clip讀取子Clip及本文子標題資料之前，全部預載入緩衝器(緩衝器53或緩衝器54)。
再生裝置20經由儲存驅動器31，而自記錄媒體讀取此等檔案之資料，來再生視頻、位元映像字幕、交互圖形及聲頻。
具體而言，自主Clip用讀取緩衝器之緩衝器52讀取之流資料，在指定之時間輸出至後段之PID(封包ID)過濾器55。該PID過濾器55將輸入之主Clip，依PID(封包ID)，而對後段之各基本流之解碼器分開輸出。亦即，PID過濾器55將視頻流供給至用於供給至第一視頻解碼器72-1或第二視頻解碼器72-2之其中一個之PID過濾器60，將提示圖形流供給至成為對提示圖形解碼器73之供給者之開關57，將交互圖形流供給至成為對交互圖形解碼器74之供給者之開關58，將聲頻流供給至成為對第一聲頻解碼器75-1與第二聲頻解碼器75-2之供給者之開關59。
提示圖形流如係位元映像之字幕資料，本文子標題資料如係本文字幕資料。
自子Clip用讀取緩衝器之緩衝器53讀取之流資料，在指定之時間輸出至後段之PID(封包ID)過濾器56。該PID過濾器56將輸入之子Clip，依PID(封包ID)，而對後段之各基本流之解碼器分開輸出。亦即，PID過濾器56將供給之視頻流供給至用於供給至第一視頻解碼器72-1或第二視頻解碼器72-2之其中一個之PID過濾器60，將提示圖形流供給至成為對提示圖形解碼器73之供給者之開關57，將交互圖形流供給至成為對交互圖形解碼器74之供給者之開關58，將聲頻流供給至成為對第一聲頻解碼器75-1或第二聲頻解碼器75-2之供給者之開關59。
自緩衝背景影像資料之緩衝器51讀取之資料，在指定之時間供給至背景解碼器71。背景解碼器71將背景影像資料予以解碼，並將解碼後之背景影像資料供給至背景平面生成部91。
開關57選擇自PID過濾器55供給之主Clip中包含之提示圖形流，與子Clip中包含之提示圖形流中之任何一個，並將選擇之提示圖形流供給至後段之提示圖形解碼器73。提示圖形解碼器73將提示圖形流予以解碼，並將解碼後之提示圖形流之資料供給至成為對提示圖形平面生成部93之供給者之開關77。
此外，開關58選擇自PID過濾器55供給之主Clip中包含之交互圖形流，與子Clip中包含之交互圖形流中之任何一個，並將選擇之交互圖形流供給至後段之交互圖形流解碼器74。亦即，對交互圖形解碼器74同時輸入之交互圖形流，係自主Clip或子Clip之任何一個分離之資料流。交互圖形解碼器74將交互圖形流予以解碼，並將解碼後之交互圖形流之資料供給至交互圖形平面生成部94。
再者，開關59選擇自PID過濾器55供給之主Clip中包含之聲頻流，與子Clip中包含之聲頻流中之任何一個，將選擇之聲頻流供給至後段之第一聲頻解碼器75-1或第二聲頻解碼器75-2。此時，對第一聲頻解碼器75-1同時輸入之聲頻流，係自主Clip或子Clip之任何一個分離之資料流。此外，同樣地，對第二聲頻解碼器75-2同時輸入之聲頻流亦係自主Clip或子Clip之任何一個分離之資料流。如主Clip中包含聲頻流#1與聲頻流#2時，PID過濾器55依據聲頻流之PID，過濾聲頻流#1與聲頻流#2，並供給至開關59。
開關59如以將自PID過濾器55供給之聲頻流#1供給至第一聲頻解碼器75-1之方式而選擇開關，將自PID過濾器55供給之聲頻流#2供給至第二聲頻解碼器75-2之方式而選擇開關。
PID過濾器60接收自PID過濾器55供給之主Clip中包含之視頻流，或是自PID過濾器56供給之子Clip中包含之視頻流之輸入，並依據控制器34之控制，判斷係主要視頻流或是次要視頻流，而將主要視頻流供給至第一視頻解碼器72-1，並將次要視頻流供給至第二視頻解碼器72-2。
藉由PID過濾器60而分開之視頻流，供給至後段之第一視頻解碼器72-1或第二視頻解碼器72-2。第一視頻解碼器72-1或第二視頻解碼器72-2將供給之視頻流予以解碼，並將解碼後之視頻資料輸出至視頻平面生成部92。
視頻平面生成部92於自第一視頻解碼器72-1及第二視頻解碼器72-2供給有視頻資料時，依據參照pip_metadata之控制器34之控制，合成供給之視頻資料，而生成如使用圖5而說明之藉由主顯示畫面1及副顯示畫面2構成之視頻平面，並將其供給至視頻資料處理部96。此外，視頻平面生成部92僅自第一視頻解碼器72-1供給視頻資料時，係使用供給之視頻資料生成視頻平面，而將其供給至視頻資料處理部96。另外，合成2個視頻資料者，如亦可稱為混合或重疊。
第一聲頻解碼器75-1將聲頻流予以解碼，並將解碼後之聲頻流之資料供給至混合處理部101。此外，第二聲頻解碼器75-2將聲頻流予以解碼，並將解碼後之聲頻流之資料供給至混合處理部101。
此時，重疊聲頻流#1與聲頻流#2而再生時(藉由使用者而再生之聲頻流，係選擇2個聲頻流時)，將藉由第一聲頻解碼器75-1而解碼後之聲頻流#1與藉由第二聲頻解碼器75-2而解碼後之聲頻流#2，供給至混合處理部101。
混合處理部101混合(重疊)來自第一聲頻解碼器75-1之聲頻資料與來自第二聲頻解碼器75-2之聲頻資料，而輸出至後段之混合處理部97。另外，本實施形態中，將混合(重疊)自第一聲頻解碼器75-1輸出之聲頻資料與自第二聲頻解碼器75-2輸出之聲頻資料者，亦稱為合成。亦即，所謂合成，亦表示係混合2個聲頻資料者。
此外，藉由開關32選出之聲音資料供給至緩衝器95實施緩衝。緩衝器95在指定之時間，將聲音資料供給至混合處理部97。此時聲音資料係藉由選單選擇等之音效之資料。混合處理部97混合(重疊或合成)經混合處理部101混合之聲頻資料(混合自第一聲頻解碼器75-1輸出之聲頻資料與自第二聲頻解碼器75-2輸出之聲頻資料之聲頻資料)，及自緩衝器95供給之聲音資料，而輸出聲音信號。
自本文子標題用讀取緩衝器之緩衝器54讀取之資料，在指定之時間，對後段之本文子標題組合(解碼器)76輸出。本文子標題組合76將Text-ST資料予以解碼後供給至開關77。
開關77選擇藉由提示圖形解碼器73而解碼之提示圖形流，與Text-ST(本文子標題資料)中之任何一個，並將選擇之資料供給至提示圖形平面生成部93。亦即，對提示圖形平面生成部93同時供給之字幕圖像，係提示圖形解碼器73或本文子標題(Text-ST)組合76中之任何一個之輸出。此外，對提示圖形解碼器73同時輸入之提示圖形流，係自主Clip或子Clip之任何一個分離之資料流(藉由開關57選擇)。因此，對提示圖形平面生成部93同時輸出之字幕圖像，係來自主Clip之提示圖形流、來自子Clip之提示圖形流或本文子標題資料之解碼輸出。
背景平面生成部91依據自背景解碼器71供給之背景影像資料，如縮小顯示視頻圖像時，生成成為壁紙圖像之背景平面，並將其供給至視頻資料處理部96。
提示圖形平面生成部93依據藉由開關77選擇而供給之資料(提示圖形流或本文子標題資料)，如生成構思圖(rendering)圖像之提示圖形平面，並將其供給至視頻資料處理部96。交互圖形平面生成部94依據自交互圖形解碼器74供給之交互圖形流之資料，而生成交互圖形平面，並將其供給至視頻資料處理部96。
視頻資料處理部96合成：來自背景平面生成部91之背景平面、來自視頻平面生成部92之視頻平面、來自提示圖形平面生成部93之提示圖形平面及來自交互圖形平面生成部94之交互圖形平面，而輸出視頻信號。此外，混合處理部97混合(合成或重疊)來自混合處理部101之聲頻資料(混合藉由第一聲頻解碼器75-1解碼之聲頻資料及藉由第二聲頻解碼器75-2解碼之聲頻資料之聲頻資料)，及來自緩衝器95之聲音資料，而輸出聲音信號。
此等開關57至59與開關77依據經由使用者介面之使用者之選擇，或是包含對象資料之檔案側來切換開關。如僅子Clip AV流檔包含聲頻流時，開關59切換開關至子側。
其次，參照圖36之流程圖說明圖35之再生裝置20中之再生處理。另外，該處理係藉由使用者經由使用者介面，而指示再生指定之AV流時開始。
於步驟S1中，控制器34經由儲存驅動器31，讀取記錄於記錄媒體或圖上未顯示之HDD(硬碟驅動器)之PlayList檔。如讀取使用圖7而說明之PlayList檔(×××××.mpls)。
於步驟S2中，控制器34依據讀取之PlayList檔，判斷再生之資料流中是否存在次要視頻。
具體而言，控制器34藉由執行讀取之PlayList檔中之PlayItem中之如使用圖33及圖34而說明之STN_table()之次要視頻迴路(video_stream_id之for迴路)，來判斷再生之資料流中是否存在次要視頻。
於步驟S2中，判斷次要視頻不存在時，於步驟S3中，執行使用圖37至圖39而後述之主要視頻再生處理。
於步驟S4中，控制器34判斷對應於讀取之PlayList檔之資料流之再生是否結束。於步驟S4中，判斷資料流之再生並未結束時，處理回到步驟S3，重複其以後之處理，判斷資料流之再生結束時，處理結束。
於步驟S2中，判斷次要視頻存在時，於步驟S5中，控制器34讀取pip_metadata。另外，如上述，確認包含次要視頻後，亦可僅將與PlayItem相關之pip_metadata保持於記憶體中，此外，如圖7至圖9之說明，由於pip_metadata係PlayList之一部分，因此，亦可於步驟S1之PlayList檔讀取時，同時亦讀取pip_metadata。
具體而言，控制器34如依據藉由目前之PlayItem_id及STN_table()判斷之secondary_video_stream_id，來特定對象之pip_metadata，而自PlayList檔讀取特定之pip_metadata。
於步驟S6中，控制器34依據讀取之pip_metadata之記載，判斷次要流是否與主要流同步(亦即，與主路徑之PlayItem之時間軸同步)。
具體而言，如pip_metadata之資料結構係使用圖9而說明者時，控制器34依據使用圖10而說明之pip_metadata_type之值，判斷次要流是否與主要流同步，pip_metadata之資料結構係使用圖11而說明者時，控制器34可參照Synchronous_PIP_metadata_flag，判斷次要流是否與主要流同步。
此外，如pip_metadata之資料結構係使用圖12而說明者時，控制器34藉由Subpath_type判斷次要流是否與主要流同步。
另外，pip_metadata之資料結構係使用圖9或圖11而說明者時，次要流是否與主要流同步之判斷，除pip_metadata之外，與圖12之pip_metadata之資料結構同樣地，亦可藉由SubPath_type來判斷。亦即，控制器34可藉由SubPath_type判斷次要流是否與主要流同步。
於步驟S6中，判斷次要流與主要流同步時，進入步驟S7，控制器34如參照圖17之說明，判斷主要流之顯示時刻是否成為表示次要流之再生區間最前之SubPlayItem_IN_time。
於步驟S7中，判斷主要流之顯示時刻並非SubPlayItem_IN_time時，於步驟S8中，執行使用圖37至圖39而後述之主要視頻再生處理。
另外，於步驟S7中，判斷主要流之顯示時刻係SubPlayItem_IN_time時，於步驟S9中，執行使用圖40至圖42而後述之主要及次要視頻再生處理。
於步驟S10中，控制器34判斷主要流之顯示時刻是否係表示次要流之再生區間結束之SubPlayItem_OUT_time。於步驟S10中，判斷並非SubPlayItem_OUT_time時，回到步驟S9，重複其以後之處理，於判斷係SubPlayItem_OUT_time時，於步驟S11中，控制器34判斷對應於讀取之PlayList檔之資料流之再生是否結束。
於步驟S11中，判斷資料流之再生並未結束時，處理回到步驟S7，重複其以後之處理，判斷資料流之再生結束時，處理結束。
另外，於步驟S6中，次要流與主要流不同步(亦即與子路徑之SubPlayItem之時間軸同步)時，由於在使用者指示顯示次要視頻流之前僅顯示主要視頻流，因此，於步驟S12中，執行使用圖37至圖39而後述之主要視頻再生處理。
於步驟S13，控制器34判斷是否自使用者接受次要視頻流之顯示指示。
於步驟S13中，判斷尚未接受次要流之顯示指示時，於步驟S14中，控制器34判斷對應於讀取之PlayList檔之資料流之再生是否結束。於步驟S14中，判斷資料流之再生並未結束時，處理回到步驟S12，重複其以後之處理，判斷資料流之再生結束時，處理結束。
另外，於步驟S13中，判斷接受次要視頻流之顯示指示時，於步驟S15中，執行使用圖40至圖42而後述之主要及次要視頻再生處理。
於步驟S16中，控制器34判斷是否自使用者接受次要視頻流之顯示結束之指示。於步驟S16中，判斷接受次要流之顯示結束之指示時，處理回到步驟S12，重複其以後之處理。
於步驟S16中，判斷尚未接受次要視頻流之顯示結束之指示時，於步驟S17中，控制器34判斷對應於讀取之PlayList檔之資料流之再生是否結束。於步驟S17中，判斷資料流之再生並未結束時，處理回到步驟S15，重複其以後之處理，於判斷資料流之再生結束時，處理結束。
藉由該處理，在對應於讀取之PlayList檔之資料流再生中，依據次要流是否存在，於存在時，依據是否與主要流(主路徑)同步，來決定是否使次要流重疊於主要流而持續顯示，與主要流(主路徑)不同步時，依據是否自使用者指示次要流之顯示，或是是否指示次要流顯示結束，來決定是否使次要流重疊於主要流。
其次，參照圖37至圖39之流程圖，說明在圖36之步驟S3、步驟S8或步驟S12中執行之主要視頻再生處理。
於步驟S41中，控制器34讀取主Clip、子Clip及本文子標題資料(Text-ST資料)。具體而言，控制器34依據使用圖18而說明之PlayList中包含之使用圖22而說明之PlayItem讀取主Clip。此外，控制器34依據PlayList中包含之SubPath所參照之使用圖21而說明之SubPlayItem，讀取子Clip與本文子標題資料。
於步驟S42，控制器34係以將讀取之資料(主Clip、子Clip及本文子標題資料)供給至對應之緩衝器51至54之方式，來控制開關32。具體而言，控制器34係以將背景影像資料供給至緩衝器51，將主Clip之資料供給至緩衝器52，將子Clip之資料供給至緩衝器53，並將Text-ST之資料供給至緩衝器54之方式，來切換開關32。
於步驟S43中，開關32依據來自控制器34之控制，切換開關32。藉此，將背景影像資料供給至緩衝器51，將主Clip之資料供給至緩衝器52，將子Clip之資料供給至緩衝器53，並將本文子標題資料供給至緩衝器54。
於步驟S44中，各緩衝器51至54分別緩衝供給之資料。具體而言，緩衝器51緩衝背景影像資料，緩衝器52緩衝主Clip之資料，緩衝器53緩衝子Clip之資料，緩衝器54緩衝Text-ST資料。
於步驟S45中，緩衝器51將背景影像資料輸出至背景解碼器71。
於步驟S46中，緩衝器52將主Clip之流資料輸出至PID過濾器55。
於步驟S47中，PID過濾器55依據附加於構成主Clip AV流檔之TS封包之PID，對各基本流之解碼器分配。具體而言，PID過濾器55將視頻流經由PID過濾器60而供給至第一視頻解碼器72-1，將提示圖形流供給至成為對提示圖形解碼器73之供給者之開關57，將交互圖形流供給至成為對交互圖形解碼器74之供給者之開關58，將聲頻流供給至成為對第一聲頻解碼器75-1之供給者之開關59。亦即，在視頻流、提示圖形流、交互圖形流及聲頻流中附加有各個不同之PID。
於步驟S48中，緩衝器53將子Clip之流資料輸出至PID過濾器56。
於步驟S49中，PID過濾器56依據PID，對各基本流之解碼器分配。具體而言，PID過濾器56將供給之視頻流經由PID過濾器60而對第一視頻解碼器72-1供給，將提示圖形流供給至成為對提示圖形解碼器73之供給者之開關57，將交互圖形流供給至成為對交互圖形解碼器74之供給者之開關58，並將聲頻流供給至成為對第一聲頻解碼器75-1與第二聲頻解碼器75-2之供給者之開關59。
於步驟S50中，PID過濾器55及PID過濾器56之後段之開關57至59及PID過濾器60，依據來自經由使用者介面之控制器34之控制，選擇主Clip或子Clip。具體而言，開關57選擇自PID過濾器55供給之主Clip或子Clip之提示圖形流，而供給至後段之提示圖形解碼器73。此外，開關58選擇自PID過濾器55供給之主Clip或子Clip之交互圖形流，而供給至後段之交互圖形解碼器74。再者，開關59選擇自PID過濾器55供給之主Clip，或自PID過濾器56供給之子Clip之聲頻流(此時，由於係在切換聲音之前，因此係聲頻流＃1)，而供給至後段之第一聲頻解碼器75-1。另外，使用者指示切換聲音情況下，開關59亦將主Clip之聲頻流供給至第二聲頻解碼器75-2，並將子Clip之聲頻流供給至第一聲頻解碼器75-1及第二聲頻解碼器75-2，不過，此時係說明切換聲音前之再生處理，因此省略其說明。
於步驟S51中，緩衝器54將本文子標題資料輸出至本文子標題組合76。
於步驟S52中，背景解碼器71將背景影像資料予以解碼，並將其輸出至背景平面生成部91。
於步驟S53中，第一視頻解碼器72-1將視頻流(亦即供給之主要視頻流)予以解碼，並將其輸出至視頻平面生成部92。
於步驟S54中，提示圖形解碼器73將藉由開關57選擇而供給之提示圖形流予以解碼，並將其輸出至後段之開關77。
於步驟S55中，交互圖形解碼器74將藉由開關58選擇而供給之交互圖形流予以解碼，並將其輸出至後段之交互圖形平面生成部94。
於步驟S56中，第一聲頻解碼器75-1將藉由開關59選擇而供給之聲頻流(聲頻流#1)予以解碼，並將其輸出至後段之混合處理部101。由於在使用者尚未指示切換聲音狀態下之再生處理，並非自第二聲頻解碼器75-2輸出聲頻資料，因此混合處理部101係將自第一聲頻解碼器75-1輸出之聲頻資料直接供給至後段之混合處理部97。
於步驟S57中，Text-ST組合76將本文子標題資料予以解碼，並將其輸出至後段之開關77。
於步驟S58中，開關77選擇來自提示圖形解碼器73或Text-ST組合76之資料之其中一個。具體而言，開關77選擇經提示圖形解碼器73解碼之提示圖形流與Text_ST(本文子標題資料)中之任何一個，並將選出之資料供給至提示圖形平面生成部93。
於步驟S59中，背景平面生成部91依據自背景解碼器71供給之背景影像資料，而生成背景平面。
於步驟S60中，視頻平面生成部92依據自第一視頻解碼器72-1供給之視頻資料，而生成視頻平面。
於步驟S61中，提示圖形平面生成部93依據在步驟S58之處理，藉由開關77選擇而供給之來自提示圖形解碼器73之資料或來自Text-ST組合76之資料，而生成提示圖形平面。
於步驟S62中，交互圖形平面生成部94依據自交互圖形解碼器74供給之交互圖形流之資料，而生成交互圖形平面。
於步驟S63中，緩衝器95緩衝在步驟S43之處理所選擇而供給之聲音資料，並在指定之時間供給至混合處理部97。
於步驟S64中，視頻資料處理部96合成各平面之資料而輸出。具體而言，合成來自背景平面生成部91、視頻平面生成部92、提示圖形平面生成部93及交互圖形平面生成部94之資料，而輸出視頻資料。
於步驟S65中，混合處理部97混合(合成)聲頻資料(自混合處理部101輸出之聲頻資料)與聲音資料而輸出，處理回到圖36之步驟S3，而進入步驟S4；或是回到圖36之步驟S8，而進入步驟S7；或是回到圖30之步驟S12而進入步驟S13。
藉由使用圖37至圖39而說明之處理，藉由PlayList中包含之主路徑與子路徑參照主Clip、子Clip及本文子標題資料而再生。此時，顯示之影像僅係主要視頻流之影像，而不顯示使用圖5而說明之副顯示畫面2。由於可在PlayList中設置主路徑與子路徑，而以子路徑構成可指定與主路徑指定之Clip AV流檔不同之Clip，因此可一起(相同時間)再生與主路徑之PlayItem指定之主Clip不同之Clip之子Clip之資料與主Clip之資料。
另外，圖37至圖39中，步驟S45及步驟S46之處理之順序亦可顛倒，亦可平行地執行。此外，步驟S47及步驟S49之處理之順序亦可顛倒，亦可平行地執行。再者，步驟S52至步驟S57之處理之順序亦可顛倒，亦可平行地執行。此外，步驟S59至步驟S62之處理之順序亦可顛倒，亦可平行地執行。再者，步驟S64及步驟S65之處理之順序亦可顛倒，亦可平行地執行。亦即，圖35中，縱向相同階層之緩衝器51至54之處理、開關57至59之處理、解碼器71至76之處理、平面生成部91至94之處理、視頻資料處理部96及混合處理部97之處理，均可平行地執行，其順序不拘。
其次，參照圖40至圖42之流程圖，說明在圖36之步驟S9或步驟S15中執行之主要及次要視頻再生處理。
於步驟S101至步驟S106中，執行與使用圖37及圖38而說明之步驟S41至步驟S46基本上相同之處理。
亦即，藉由控制器34讀取主Clip、子Clip及本文子標題資料(Text-ST資料)，以將讀取之資料(主Clip、子Clip及本文子標題資料)供給至對應之緩衝器51至54之方式來控制開關32。藉由開關32，依據來自控制器34之控制，將背景影像資料供給至緩衝器51，將主Clip之資料供給至緩衝器52，將子Clip之資料供給至緩衝器53，將本文子標題資料供給至緩衝器54，被緩衝器51至54緩衝。緩衝器51將背景影像資料輸出至背景解碼器71。緩衝器52將主Clip之流資料輸出至PID過濾器55。
於步驟S107中，PID過濾器55依據附加於構成主Clip AV流檔之TS封包之PID，對各基本流之解碼器分配。具體而言，PID過濾器55將視頻流供給至PID過濾器60，將提示圖形流供給至成為對提示圖形解碼器73之供給者之開關57，將交互圖形流供給至成為對交互圖形解碼器74之供給者之開關58，將聲頻流供給至成為對第一聲頻解碼器75-1之供給者之開關59。亦即，在視頻流、提示圖形流、交互圖形流及聲頻流中分別附加不同之PID。PID過濾器60依據控制器34之控制，將主要視頻流供給至第一視頻解碼器72-1，並將次要視頻流供給至第二視頻解碼器72-2。
於步驟S108中，緩衝器53將子Clip之流資料輸出至PID過濾器56。
於步驟S109中，PID過濾器56依據PID，對各基本流之解碼器分配。具體而言，PID過濾器56將供給之視頻流對PID過濾器60供給，將提示圖形流供給至成為對提示圖形解碼器73之供給者之開關57，將交互圖形流供給至成為對交互圖形解碼器74之供給者之開關58，將聲頻流供給至成為對第一聲頻解碼器75-1與第二聲頻解碼器75-2之供給者之開關59。PID過濾器60依據控制器34之控制，將主要視頻流供給至第一視頻解碼器72-1，並將次要視頻流供給至第二視頻解碼器72-2。
而後，於步驟S110至步驟S112中，執行與使用圖37及圖38而說明之步驟S50至步驟S52基本上相同之處理。
亦即，開關57至59及PID過濾器60依據來自控制器34之控制，選擇主Clip或子Clip。緩衝器54將本文子標題資料輸出至本文子標題組合76。背景解碼器71將背景影像資料予以解碼，並將其輸出至背景平面生成部91。
而後，於步驟S113中，第一視頻解碼器72-1將供給之主要視頻流予以解碼，並將其輸出至視頻平面生成部92。
於步驟S114中，第二視頻解碼器72-2將供給之次要視頻流予以解碼，並將其輸出至視頻平面生成部92。
於步驟S115中，提示圖形解碼器73將藉由開關57選擇而供給之提示圖形流予以解碼，並將其輸出至後段之開關77。
於步驟S116中，交互圖形解碼器74將藉由開關58選擇而供給之交互圖形流予以解碼，並將其輸出至後段之交互圖形平面生成部94。
於步驟S117中，第一聲頻解碼器75-1將藉由開關59選擇而供給之主要聲頻流予以解碼，並將其輸出至後段之混合處理部101。
於步驟S118中，第二聲頻解碼器75-2將藉由開關59選擇而供給之次要聲頻流予以解碼，並將其輸出至混合處理部101。
於步驟S119中，Text-ST組合76將主要或次要中顯示之本文子標題資料予以解碼，並將其輸出至後段之開關77。
於步驟S120中，開關77選擇來自提示圖形解碼器73或Text-ST組合76之資料之其中一個。具體而言，開關77選擇經提示圖形解碼器73解碼之提示圖形流與Text-ST(本文子標題資料)中之任何一個，並將選出之資料供給至提示圖形平面生成部93。
於步驟S121中，背景平面生成部91依據自背景解碼器71供給之背景影像資料，而生成背景平面。
於步驟S122中，視頻平面生成部92依據參照pip_metadata之控制器34之控制，合成自第一視頻解碼器72-1及第二視頻解碼器72-2供給之視頻資料，生成如使用圖5而說明之藉由主顯示畫面1及副顯示畫面2而構成之視頻平面，並將其供給至視頻資料處理部96。
具體而言，視頻平面生成部92依據如參照使用圖9、圖11或圖12而說明之pip_metadata之控制器34之控制，將定位、定標之次要視頻流合成於主要視頻流，而生成如使用圖5而說明之藉由主顯示畫面1及副顯示畫面2而構成之視頻平面，並將其供給至視頻資料處理部96。
以下，參照圖43說明定位與定標之詳細內容。
如使用圖9、圖11或圖12而說明之pip_metadata所示，pip_horizotal_position如在圖5之主顯示畫面1上，表示顯示次要視頻之副顯示畫面2之左上角之X座標，pip_vertical_position如在圖5之主顯示畫面1上，表示顯示次要視頻之副顯示畫面2之左上角之Y座標。此外，pip_scale表示關於顯示次要視頻之副顯示畫面2大小之資訊。
亦即，如圖43所示，在Primary Video plane(主要視頻平面)上，依據pip_scale調節成指定大小之定標次要視頻(Scaled Secondary Video)，以自主要視頻平面之左上角，在X軸方向成為pip_horizotal_position，在Y軸方向成為pip_vertical_position之位置，成為定標次要視頻之左上角之方式配置。
此外，此時使用圖12而說明之pip_metadata中，係"is_luma_key=1"時，視頻平面生成部92將主要視頻流與次要視頻流予以luma_keying合成，而生成視頻平面，並將其供給至視頻資料處理部96。
此時，所謂luma_keying合成，如藉由圖12之pip_metadata之說明，係將利用亮度(亮度值)之成分差切去不需要部分之圖像重疊於影像而合成之方法。其次，參照圖44及圖45，說明luma_keying合成之詳細內容。
圖44係顯示luma_keying合成前之主要視頻(Primary Video)與次要視頻(Secondary Video)之圖。
luma_keying合成圖中右側之主要視頻與左側之次要視頻時，如使用圖12之pip_metadata之說明，自藉由lower_limit_luma_key表示之亮度值之下限至藉由upper_limit_luma_key表示之亮度值之上限之範圍中包含之次要視頻之亮度值形成透明，而將其次要視頻合成於主要視頻。
亦即，係在主要視頻上重疊除去以lower_limit_luma_key與upper_limit_luma_key定義之亮度值之下限與上限之範圍之次要視頻而合成。具體而言，如圖44所示，左側之次要視頻之平行四邊形與圓以外之劃陰影之區域，由於成為亮度值之下限與上限之範圍內之亮度值，因此成為透明，如此處理之左側之次要視頻重疊於右側之主要視頻而合成。
圖45係顯示luma_keying合成後之主要視頻與次要視頻之圖。
luma_keying合成後之主要視頻與次要視頻如圖45所示，由於次要視頻之平行四邊形與圓以外之區域成為透明，因此次要視頻之區域中，僅平行四邊形與圓之區域與主要視頻合成。
另外，圖45中，為了容易瞭解說明，而藉由虛線表示次要視頻之區域，實際上並未顯示該虛線。
回到圖42之流程圖，於步驟S123中，提示圖形平面生成部93依據在步驟S58之處理，藉由開關77選擇而供給之來自提示圖形解碼器73之資料或來自Text-ST組合76之資料，而生成提示圖形平面。
於步驟S124中，交互圖形平面生成部94依據自交互圖形解碼器74供給之交互圖形流之資料，而生成交互圖形平面。
於步驟S125中，緩衝器95緩衝在步驟S43之處理所選擇而供給之聲音資料，並在指定之時間供給至混合處理部97。
於步驟S126中，視頻資料處理部96合成各平面之資料而輸出。具體而言，合成來自背景平面生成部91、視頻平面生成部92、提示圖形平面生成部93及交互圖形平面生成部94之資料，而輸出視頻資料。
於步驟S127中，混合處理部101合成自第一聲頻解碼器75-1輸出之主要聲頻資料及自第二聲頻解碼器75-2輸出之次要聲頻資料，而供給至混合處理部97。
於步驟S128中，混合處理部97混合(合成)自混合處理部101輸出之合成之聲頻資料與聲音資料而輸出，處理回到圖36之步驟S9，而進入步驟S10；或是回到圖36之步驟S15，而進入步驟S16。
藉由使用圖40至圖42而說明之處理，藉由PlayList中包含之主路徑與子路徑參照主Clip、子Clip及本文子標題資料而再生。藉由在PlayList中設置主路徑與子路徑，而以子路徑構成可指定與主路徑指定之Clip AV流檔不同之Clip，可使次要視頻流之顯示圖像重疊於主要視頻流之顯示圖像。
此時，由於可設定次要視頻流之顯示圖像大小與顯示位置，因此，與副顯示畫面之顯示位置及顯示大小依存於再生裝置而預先決定時比較，藉由內容或顯示之時間，可以不致影響主要視頻流之顯示之位置及大小來顯示次要視頻流，或是依次要視頻流之內容，如係重要之內容時，放大顯示於醒目之位置，係不重要之內容時，縮小顯示於主顯示畫面1之端。
此外，次要視頻流之顯示圖像之大小與顯示位置，可由內容之製作者或內容之供給者適切決定。
另外，圖40至圖42中，步驟S105及步驟S106之處理之順序亦可顛倒，亦可平行地執行。此外，步驟S107及步驟S109之處理之順序亦可顛倒，亦可平行地執行。再者，步驟S112至步驟S119之處理之順序亦可顛倒，亦可平行地執行。此外，步驟S121至步驟S124之處理之順序亦可顛倒，亦可平行地執行。再者，步驟S126之處理與步驟S127及步驟S128之處理之順序亦可顛倒，亦可平行地執行。亦即，圖35中，縱向相同階層之緩衝器51至54之處理、開關57至59之處理、解碼器71至76之處理、平面生成部91至94之處理、視頻資料處理部96及混合處理部97之處理，均可平行地執行，其順序不拘。
綜合以上之處理如下。
再生裝置20取得作為包含：表示至少包含1個資料流之主Clip AV流檔之位置之主要再生路徑之主路徑，及以與主Clip AV流檔不同之再生路徑而再生之子Clip AV流檔之再生路徑之子路徑之資訊而構成之再生管理資訊之PlayList。而後，再生裝置20依據選擇PlayList中包含之再生之資料流用之STN_table()，受理再生之資料流之選擇。由於STN_table()配合主Clip AV流檔之指定種類之資料流(如主要視頻流)，與其資料流之再生時間，還是選擇不同步而再生之其他流檔用之資訊，因此，可依據該STN_table()而受理再生之資料流之選擇。
此外，PlayList SubPath_type係In-Mux者時，可參照主路徑與子路徑相同之Clip，再者，由於可追加子路徑，因此，可使資料流保持擴張性。此外，由於構成可以1個Sub Path參照數個檔案(如圖4)，因此，使用者可自數個不同之資料流中作選擇。
再者，Main Path之PlayItem中，定義藉由Main Path參照之AV流檔中多工化(包含)之附屬資料(如聲頻流)，及藉由Sub Path參照之附屬資料之表，係設置圖23與圖33及圖34之STN_table()，因此，可實現擴張性更高之資料流。此外，登錄於STN_table()中時，可輕易地擴張Sub Path。
此外，由於在STN_table()中設置資料流之屬性資訊之圖25之stream_attribute()，因此，可在再生裝置20側判定能否再生選出之資料流。再者，藉由參照stream_attribute()，可僅選擇具有再生功能之資料流而再生。
再者，STN_table()(圖23與圖33及圖34)中係定義2個相同種類之資料流檔(此時為主要視頻流檔與次要視頻流檔，或是主要聲頻流檔與次要聲頻流檔)。再者，在圖35之再生裝置20中，設置2個視頻解碼器(第一視頻解碼器72-1與第二視頻解碼器72-2)及2個聲頻解碼器(第一聲頻解碼器75-1與第二聲頻解碼器75-2)。而後，設置合成(混合)藉由2個視頻解碼器而解碼之主要視頻資料與次要視頻資料之視頻平面生成部92，並設置合成藉由2個聲頻解碼器而解碼之聲頻資料之混合處理部101。藉此，可組合2個相同種類之資料流而同時再生。
亦即，在應用本發明之再生裝置中，如圖5所示，可進行使主要視頻流顯示於主畫面上，並在主畫面中，將次要流作為子畫面而合成顯示之所謂PinP(圖像內圖像)顯示。
此外，此時藉由pip_metadata，可設定圖像內圖像顯示中之次要視頻流之顯示圖像大小與顯示位置。藉此，與副顯示畫面之顯示位置及顯示大小依存於再生裝置而預先決定時比較，藉由內容或顯示之時間，可以不致影響主要視頻流之顯示之位置及大小來顯示次要視頻流，或是依次要視頻流之內容，如係重要之內容時，放大顯示於醒目之位置，係不重要之內容時，縮小顯示於主顯示畫面1之端等。
此外，次要視頻流之顯示圖像之大小與顯示位置，可由內容之製作者或內容之供給者適切決定。
此外，pip_metadata中，如次要視頻流之顯示圖像大小與顯示位置之外，還可記載表示設定該圖像內圖像之顯示之資訊。除表示顯示次要視頻流之副顯示畫面2之位置與大小之資訊外，還可記載如對次要視頻流之原影像顯示之影像之旋轉及色之指定等相關資訊。
此時，關於顯示次要視頻流之顯示圖像大小與顯示位置等之資訊，不記載於次要視頻流，而記載於控制次要視頻流之再生用之播放表中。亦即，不變更次要視頻流，而欲僅變更其顯示形式時(如僅變更次要視頻流之顯示位置，或是欲變更顯示大小時等)，無須設定再生裝置或修改次要視頻流本身，只須進更新播放表之pip_metadata之記載即可。
此外，第一內容與第二內容中，以不同之顯示方法來顯示相同之次要視頻流(如將相同之次要視頻流，第一內容放大顯示，第二內容縮小顯示等)非常容易。亦即，無須變更次要視頻流本身之各個資料，而藉由在第一內容與第二內容中，分別於播放表之pip_metadata中記載表示希望之顯示形式之資訊，可在第一內容與第二內容中，以內容製作者或內容供給者希望之不同顯示方法來顯示相同之次要視頻流。
此外，由於將關於顯示次要視頻流之顯示圖像大小及顯示位置等之資訊，記載於具有時間資訊等詳細之再生管理資訊之播放表，因此可詳細地設定次要視頻之顯示。
此外，如圖20所示，由於Sub Path中包含：表示Sub Path型式(表示聲頻或本文字幕之種類，及是否與主路徑同步之型式)之SubPath_type、表示Sub Path參照之子Clip名稱之圖21之Clip_Information_file_name及表示Sub Path參照之Clip之進入點之圖21之SubPlayItem_IN_time與表示離開點之圖21之SubPlayItem_OUT_time，因此可正確地特定Sub Path參照之資料。
另外，圖35之儲存驅動器31讀取之資料，亦可係記錄於DVD(多樣化數位光碟)等記錄媒體之資料，亦可為記錄於硬碟之資料，亦可為經由圖上未顯示之網路而下載之資料，亦可為組合此等之資料。如亦可依據下載而記錄於硬碟之PlayList及子Clip，及記錄於DVD之主Clip AV流檔而再生。此外，如將記錄於DVD之Clip AV流檔作為子Clip之PlayList與主Clip記錄於硬碟時，亦可依據記錄於硬碟之PlayList，自硬碟與DVD分別讀取主Clip與子Clip而再生。
另外，亦可以再生裝置20(播放器)之功能變更次要視頻之位置及大小等，不過，此種情況可能並未形成作者希望之大小等。另外，如本專利發明，以管理資訊之PlayList管理大小及位置等時，即使如取得ROM碟片後欲變更位置等時，即使不對實際之Clip實施變更，只須取得尺寸較小之播放表，即可如作者希望地變更次要視頻之位置等。
其次，參照圖46及圖47，以記錄媒體21係碟片狀之記錄媒體時為例，說明記錄有再生裝置20中可再生之資料之記錄媒體21之製造方法。
亦即，如圖46所示，如準備玻璃等構成之原盤，在其上塗佈如光抗蝕劑等構成之記錄材料。藉此，製作記錄用原盤。
而後，如圖47所示，於軟體製作處理部中，將以編碼裝置(視頻編碼器)編碼之在再生裝置20中可再生之形式之視頻資料，暫時記憶於緩衝器中，將以聲頻編碼器編碼之聲頻資料暫時記憶於緩衝器中，並且進一步將以資料編碼器編碼之資料流以外之資料(如：Indexes、Playlist、PlayItem等)，暫時記憶於緩衝器中。記憶於各個緩衝器中之視頻資料、聲頻資料及資料流以外之資料，以多工化器(MPX)與同步信號一起多工化，以錯誤校正碼電路(ECC)附加錯誤校正用之代碼。而後，以調制電路(MOD)實施指定之調制，按照指定之格式，如暫時記錄於磁帶等中，來製作記錄於在再生裝置20中可再生之記錄媒體21之軟體。
依需要編輯(Premastering)該軟體，生成須記錄於光碟之格式之信號。而後，如圖46所示，對應於該記錄信號，調制雷射光束，在原盤上之光抗蝕劑上照射該雷射光束。藉此，原盤上之光抗蝕劑對應於記錄信號而曝光。
而後，將該原盤顯像，而在原盤上出現槽。在如此準備之原盤上，如實施電鑄等之處理，而製作轉印玻璃原盤上之槽之金屬原盤。自該金屬原盤進一步製作金屬沖壓模，將其作為成形用模具。
在該成形用模具中，如藉由噴射等而注入PMMA(丙烯酸)或PC(聚碳酸酯)等材料，使其凝固。或是，在金屬沖壓模上塗佈2P(紫外線硬化樹脂)等後，照射紫外線使其硬化。藉此，可在樹脂構成之複製品上轉印金屬沖壓模上之槽。
在如此生成之複製品上，藉由蒸鍍或濺射等而形成反射膜。或是，在生成之複製品上，藉由旋轉塗佈而形成反射膜。
而後，對該碟片實施內外徑之加工，並實施貼合2片碟片等之必要處理。進一步黏貼標籤，安裝中樞(hub)，而插入匣盒中。如此完成記錄有可藉由再生裝置20而再生之資料之記錄媒體21。
上述一連串之處理可藉由硬體執行，亦可藉由軟體執行。此時上述之處理，係藉由圖48所示之個人電腦500來執行。
圖48中，CPU(中央處理單元)501按照記憶於ROM(唯讀記憶體)502之程式，或是自記憶部508載入RAM(隨機存取記憶體)503之程式，而執行各種處理。RAM 503中還適切記憶CPU 501執行各種處理時需要之資料等。
CPU 501、ROM 502及RAM 503經由內部匯流排504而相互連接。該內部匯流排504上亦連接有輸入輸出介面505。
輸入輸出介面505上連接有：鍵盤及滑鼠等構成之輸入部506，CRT(陰極射線管)、LCD(液晶顯示器)等構成之顯示器，喇叭等構成之輸出部507，硬碟等構成之記憶部508，及數據機、終端配接器等構成之通信部509。通信部509進行經由包含電話線路及CATV之各種網路之通信處理。
輸入輸出介面505上，依需要還連接驅動器510，適切安裝由磁碟、光碟、光磁碟或半導體記憶體等構成之可移式媒體521，自其讀取之電腦程式，依需要安裝於記憶部508中。
藉由軟體執行一連串處理情況下，構成其軟體之程式，係自網路及程式儲存媒體而安裝。
該程式儲存媒體如圖48所示，除與電腦分開，藉由為了提供程式而分發使用者之記錄有程式之可移式媒體521構成之封裝媒體構成之外，還藉由預先安裝於裝置本體之狀態下提供使用者之包含記錄有程式之ROM 502及記憶部508之硬碟等構成。
另外，本發明之實施形態，並不限定於上述實施形態，在不脫離本發明要旨之範圍內，可作各種變更。
1．．．主顯示畫面
2．．．副顯示畫面
20．．．再生裝置
31．．．儲存驅動器
32．．．開關
33．．．AV解碼部
34．．．控制器
51至54．．．緩衝器
55,56．．．PID過濾器
57至59．．．開關
71．．．背景解碼器
72-1．．．第一視頻解碼器
72-2．．．第二視頻解碼器
73．．．提示圖形解碼器
74．．．交互圖形解碼器
75．．．聲頻解碼器
76．．．Text-ST組合
77．．．開關
91．．．背景平面生成部
92．．．視頻平面生成部
93．．．提示圖形平面生成部
94．．．交互圖形平面生成部
95．．．緩衝器
96．．．視頻資料處理部
97．．．混合處理部
101．．．混合處理部
圖1係顯示安裝於應用本發明之再生裝置之記錄媒體上之應用程式格式之例圖；
圖2係主路徑與子路徑之構造之說明圖；
圖3係主路徑與子路徑之例之說明圖；
圖4係主路徑與子路徑之另外例之說明圖；
圖5係主顯示畫面與副顯示畫面之說明圖；
圖6係顯示可再生之資料檔之檔案系統之例圖；
圖7係顯示儲存於PLAYLIST目錄之具有擴張符「.mpls」之PlayList檔之資料結構圖；
圖8係顯示PlayListExtensionData()之語法圖；
圖9係記載於data_block之pip_metadata之語法之第一例之說明圖；
圖10係圖9之pip_metadata_type之值與其定義之說明圖；
圖11係記載於data_block之pip_metadata之語法之第二例之說明圖；
圖12係記載於data_block之pip_metadata之語法之第三例之說明圖；
圖13係圖12之pip_scale之值與其定義之說明圖；
圖14係圖12之pip_timeline_type之值與其定義之說明圖；
圖15係圖12之pip_timeline_type=1時之pip_metadata_time_stamp之定義之說明圖；
圖16係圖12之pip_timeline_type=2時之pip_metadata_time_stamp之定義之說明圖；
圖17係圖12之pip_timeline_type=3時之pip_metadata_time_stamp之定義之說明圖；
圖18係顯示PlayList()之語法之圖；
圖19係顯示SubPath()之語法之圖；
圖20係SubPath_type之說明圖；
圖21係顯示SubPlayItem(i)之語法之圖；
圖22係顯示PlayItem()之語法之圖；
圖23係顯示STN_table()之語法之圖；
圖24係顯示stream_entry()之語法之圖；
圖25係顯示stream_attribute()之語法之圖；
圖26係stream_cording_type之說明圖；
圖27係video_format之說明圖；
圖28係frame_rate之說明圖；
圖29係aspect_ratio之說明圖；
圖30係audio_presentation_type之說明圖；
圖31係sampling_frequency之說明圖；
圖32係Character code之說明圖；
圖33係顯示STN_table()之語法之圖；
圖34係顯示STN_table()之語法之圖；
圖35係顯示應用本發明之再生裝置之構造例之區塊圖；
圖36係說明圖35之再生裝置中之再生處理之流程圖；
圖37係說明主要視頻再生處理之流程圖；
圖38係說明主要視頻再生處理之流程圖；
圖39係說明主要視頻再生處理之流程圖；
圖40係說明主要及次要視頻再生處理之流程圖；
圖41係說明主要及次要視頻再生處理之流程圖；
圖42係說明主要及次要視頻再生處理之流程圖；
圖43係定位與定標之說明圖；
圖44係luma_keying合成之說明圖；
圖45係luma_keying合成之說明圖；
圖46係記錄可以再生裝置再生之資料之記錄媒體之製造之說明圖；
圖47係記錄可以再生裝置再生之資料之記錄媒體之製造之說明圖；及
圖48係顯示個人電腦之構造圖。
20．．．再生裝置
31．．．儲存驅動器
32．．．開關
33．．．AV解碼部
34．．．控制器
51至54．．．緩衝器
55,56．．．PID過濾器
57至59．．．開關
60．．．PID過濾器
71．．．背景解碼器
72-1．．．第一視頻解碼器
72-2．．．第二視頻解碼器
73．．．提示圖形解碼器
74．．．交互圖形解碼器
75．．．聲頻解碼器
76．．．Text-ST組合
77．．．開關
91．．．背景平面生成部
92．．．視頻平面生成部
93．．．提示圖形平面生成部
94．．．交互圖形平面生成部
95．．．緩衝器
96．．．視頻資料處理部
97．．．混合處理部
101．．．混合處理部

Claims (15)

  1. 一種再生裝置，其具備：取得機構，其係取得藉由：包含表示至少包含1個資料流之主流檔之時間軸上之位置之主要再生路徑之第一資訊，及包含與前述主流檔不同之子流檔之副再生路徑之第二資訊而構成之再生管理資訊；讀取機構，其係依據藉由前述取得機構而取得之前述再生管理資訊，讀取再生之前述主流檔及前述子流檔；及影像合成機構，其係依據前述取得機構而取得之前述再生管理資訊，合成前述讀取機構所讀取之前述主流檔之影像與前述子流檔之影像；前述再生管理資訊中包含關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊，前述影像合成機構依據關於前述再生管理資訊中包含之前述顯示狀態之資訊，合成前述主流檔之影像與前述子流檔之影像。
  2. 如請求項1之再生裝置，其中關於前述顯示狀態之資訊，包含關於與前述主流檔之影像合成之前述子流檔之影像之顯示位置之資訊。
  3. 如請求項1之再生裝置，其中關於前述顯示狀態之資訊，包含關於與前述主流檔之影像合成之前述子流檔之影像之顯示大小之資訊。
  4. 如請求項1之再生裝置，其中關於前述顯示狀態之資訊，包含關於與前述主流檔之影像合成之前述子流檔之影像之顯示色之資訊。
  5. 如請求項1之再生裝置，其中關於前述顯示狀態之資訊，包含關於與前述主流檔之影像合成之前述子流檔之影像之對原影像合成後之旋轉角度之資訊。
  6. 如請求項1之再生裝置，其中關於前述顯示狀態之資訊，包含關於依據表示與前述主流檔之影像合成之前述子流檔之影像之亮度之資訊，而執行之合成前述主流檔之影像與前述子流檔之影像之處理之資訊。
  7. 如請求項6之再生裝置，其中表示前述子流檔之影像之亮度之資訊，係表示應進行透過處理之亮度之資訊之至少1個臨限值，且對前述子流檔之影像之亮度為前述臨限值以上或以下之影像部分，進行透過處理。
  8. 如請求項1之再生裝置，其中進一步具備接受使用者之操作輸入之操作輸入機構；在前述取得機構所取得之前述再生管理資訊中，記載表示對前述主流檔是否必須同時再生前述子流檔，或是是否僅在前述使用者指示時，對前述主流檔同時再生前述子流檔之資訊；前述影像合成機構於前述再生管理資訊中記載有表示僅在前述使用者指示時，對前述主流檔同時再生前述子流檔之資訊情況下，依據前述操作輸入機構所輸入之前述使用者之操作輸入，僅在前述使用者指示前述子流檔之再生時，合成前述主流檔之影像與前述子流檔之影像。
  9. 如請求項1之再生裝置，其中進一步具備聲音合成機構，其係合成：對應於前述主流檔而再生之聲音，及對應於前述子流檔而再生之聲音；前述聲音合成機構於藉由前述影像合成機構而合成前述主流檔之影像與前述子流檔之影像情況下，合成對應於前述主流檔而再生之聲音，及對應於前述子流檔而再生之聲音。
  10. 如請求項1之再生裝置，其中前述再生管理資訊中包含表示包含關於前述顯示狀態之資訊之資訊。
  11. 一種再生方法，係再生主流檔及子流檔之再生裝置之再生方法，其包含以下步驟：讀取藉由包含表示至少包含1個資料流之前述主流檔之時間軸上之位置之主要再生路徑之第一資訊，及包含與前述主流檔不同之前述子流檔之副再生路徑之第二資訊而構成之再生管理資訊；依據讀取之前述再生管理資訊，讀取再生之前述主流檔及前述子流檔；及依據前述再生管理資訊中包含之關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊，合成讀取之前述主流檔之影像與前述子流檔之影像。
  12. 一種程式，係使電腦執行再生主流檔及子流檔之處理用之程式，其包含以下步驟：讀取藉由包含表示至少包含1個資料流之前述主流檔之時間軸上之位置之主要再生路徑之第一資訊，及包含與前述主流檔不同之前述子流檔之副再生路徑之第二資訊而構成之再生管理資訊；依據讀取之前述再生管理資訊，讀取再生之前述主流檔及前述子流檔；依據前述再生管理資訊中包含之關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊，合成讀取之前述主流檔之影像與前述子流檔之影像。
  13. 一種程式儲存媒體，係記錄有如請求項12之程式。
  14. 一種資料結構，係包含管理至少包含1個資料流之主流檔之再生之資訊之再生管理資訊；且前述再生管理資訊中包含：包含表示前述主流檔之時間軸上之位置之主要再生路徑之第一資訊、包含與前述主流檔不同之子流檔之副再生路徑之第二資訊、及關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊。
  15. 一種記錄媒體之製造方法，該記錄媒體係記錄有可在再生裝置中再生之資料，該方法包含：生成具有以下資料結構之資料之步驟：包含管理至少包含1個資料流之主流檔之再生之資訊之再生管理資訊，且前述再生管理資訊中包含：包含表示前述主流檔之時間軸上之位置之主要再生路徑之第一資訊、包含與前述主流檔不同之子流檔之副再生路徑之第二資訊、及關於與前述主流檔之影像合成之前述子流檔之影像之顯示狀態之資訊；及將生成之前述資料記錄於前述記錄媒體之步驟。
TW099136799A 2005-08-25 2006-08-10 Reproducing apparatus and reproducing method, program, program storage medium, data structure, manufacturing method of recording medium TWI479892B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005244612 2005-08-25
JP2005264041 2005-09-12
JP2005311477A JP4081772B2 (ja) 2005-08-25 2005-10-26 再生装置および再生方法、プログラム、並びにプログラム格納媒体

Publications (2)

Publication Number Publication Date
TW201108739A TW201108739A (en) 2011-03-01
TWI479892B true TWI479892B (zh) 2015-04-01

Family

ID=37771476

Family Applications (2)

Application Number Title Priority Date Filing Date
TW099136799A TWI479892B (zh) 2005-08-25 2006-08-10 Reproducing apparatus and reproducing method, program, program storage medium, data structure, manufacturing method of recording medium
TW095129432A TW200715853A (en) 2005-08-25 2006-08-10 Reproduction device, reproduction method, program, program storage medium, data structure, and recording medium fabrication method

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW095129432A TW200715853A (en) 2005-08-25 2006-08-10 Reproduction device, reproduction method, program, program storage medium, data structure, and recording medium fabrication method

Country Status (8)

Country Link
US (1) US8340496B2 (zh)
EP (1) EP1919210B1 (zh)
JP (1) JP4081772B2 (zh)
KR (2) KR101320793B1 (zh)
CN (4) CN102855902A (zh)
ES (1) ES2517418T3 (zh)
TW (2) TWI479892B (zh)
WO (1) WO2007023728A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2562757B1 (en) * 2004-02-16 2018-05-09 Sony Corporation Reproduction device, reproduction method, and program
AU2006277225B2 (en) 2005-08-09 2011-06-09 Panasonic Corporation Recording medium, playback apparatus, method and program
JP4870493B2 (ja) * 2005-08-09 2012-02-08 パナソニック株式会社 再生装置、記録方法、再生方法、システムｌｓｉ、プログラム
JP2009177527A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP2009177531A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP2009177619A (ja) 2008-01-25 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP4544332B2 (ja) * 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2010013382A1 (ja) * 2008-07-31 2010-02-04 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム
JP2010135011A (ja) * 2008-12-05 2010-06-17 Funai Electric Co Ltd デジタル放送録画再生装置
KR101639053B1 (ko) * 2009-02-17 2016-07-13 코닌클리케 필립스 엔.브이. ３ｄ 이미지 및 그래픽 데이터의 조합
TWI400949B (zh) * 2010-04-06 2013-07-01 Hon Hai Prec Ind Co Ltd 媒體資料播放裝置及其重播方法
JP2012064135A (ja) 2010-09-17 2012-03-29 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US20130100248A1 (en) * 2011-05-11 2013-04-25 Shinya Kadono Video transmitting apparatus and video transmitting method
WO2012174301A1 (en) 2011-06-14 2012-12-20 Related Content Database, Inc. System and method for presenting content with time based metadata
JP2015510652A (ja) * 2012-01-09 2015-04-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ メディアコンテンツを処理するためのシステム及び方法
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
US9716904B2 (en) * 2012-05-17 2017-07-25 Ericsson Ab Video content presentation override control systems, methods and devices
KR101249279B1 (ko) * 2012-07-03 2013-04-02 알서포트 주식회사 동영상 생성 방법 및 장치
US10356484B2 (en) 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9723245B2 (en) 2013-03-15 2017-08-01 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
EP3097696A4 (en) * 2014-01-21 2017-09-20 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN103888840B (zh) * 2014-03-27 2017-03-29 电子科技大学 一种视频移动终端实时拖动与缩放的方法及装置
US9697630B2 (en) * 2014-10-01 2017-07-04 Sony Corporation Sign language window using picture-in-picture
US20160098180A1 (en) * 2014-10-01 2016-04-07 Sony Corporation Presentation of enlarged content on companion display device
US10097785B2 (en) * 2014-10-01 2018-10-09 Sony Corporation Selective sign language location
US10204433B2 (en) 2014-10-01 2019-02-12 Sony Corporation Selective enablement of sign language display
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
KR102202576B1 (ko) * 2014-12-12 2021-01-13 삼성전자주식회사 음향 출력을 제어하는 디바이스 및 그 방법
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
CN107547917B (zh) * 2016-06-27 2020-07-10 中兴通讯股份有限公司 频道的播放和处理方法及装置，频道的处理系统
JP6934052B2 (ja) * 2017-06-28 2021-09-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法及びプログラム
CN111182213B (zh) * 2019-12-31 2021-09-24 维沃移动通信有限公司 视频制作方法、电子设备及介质
CN111522497B (zh) * 2020-04-16 2022-09-13 深圳市颍创科技有限公司 Pip模式中触摸控制显示设备子画面大小和位置的方法
EP4007228A1 (en) * 2020-11-27 2022-06-01 Telefonica Digital España, S.L.U. System and method for live media streaming
US20230007210A1 (en) * 2021-06-30 2023-01-05 Lemon Inc. Signaling the Purpose of Preselection
US20230018718A1 (en) * 2021-06-30 2023-01-19 Lemon Inc. Signaling Replacement of Video Data Units in a Picture-in-Picture Region
CN114911407A (zh) * 2022-06-20 2022-08-16 上海联影医疗科技股份有限公司 医学诊疗系统的图像播放控制装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW436765B (en) * 1997-09-17 2001-05-28 Matsushita Electric Ind Co Ltd Optical disc, recording apparatus, and computer program
TW200421873A (en) * 2002-11-11 2004-10-16 Sony Corp Information processing device and method, program storage media and recording media and program
WO2005024824A1 (en) * 2003-09-04 2005-03-17 Koninklijke Philips Electronics N.V. Record carrier carrying a video signal and at least one additional information signal

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372037B2 (ja) 1995-08-21 2003-01-27 松下電器産業株式会社 記録媒体の記録方法、再生装置、再生方法
CN1205825A (zh) * 1995-12-29 1999-01-20 汤姆森消费电子有限公司 具有用于显示可变尺寸辅助图像的设备的电视系统
US6088064A (en) * 1996-12-19 2000-07-11 Thomson Licensing S.A. Method and apparatus for positioning auxiliary information proximate an auxiliary image in a multi-image display
US5963215A (en) * 1997-03-26 1999-10-05 Intel Corporation Three-dimensional browsing of multiple video sources
CN1147145C (zh) * 1997-12-01 2004-04-21 星视电视广播公司 在弹出区域中具有广告消息的电子节目表系统
JP2985878B1 (ja) 1998-06-30 1999-12-06 オムロン株式会社 合成画像作成装置および記録媒体
KR100277994B1 (ko) * 1998-12-31 2001-01-15 구자홍 경계 영역 표시 장치
JP4503858B2 (ja) 1999-04-14 2010-07-14 ライト チャンス インコーポレイテッド 遷移ストリームの生成／処理方法
JP4328989B2 (ja) * 1999-11-24 2009-09-09 ソニー株式会社 再生装置、再生方法、並びに記録媒体
JP2001251266A (ja) 2000-03-07 2001-09-14 Sony Corp データ送出装置及びトランスポートストリーム生成装置並びにそのデータストリーム生成方法
CN1239021C (zh) * 2000-04-21 2006-01-25 索尼公司 信息处理设备及方法、程序和记录介质
KR100676328B1 (ko) * 2000-06-28 2007-01-30 삼성전자주식회사 피아이피 기능을 갖는 디지탈 영상표시기기의 피봇장치
US6697123B2 (en) * 2001-03-30 2004-02-24 Koninklijke Philips Electronics N.V. Adaptive picture-in-picture
CN100414537C (zh) * 2002-02-07 2008-08-27 三星电子株式会社 包含显示模式信息的信息存储介质、再现装置及其方法
JP3901538B2 (ja) 2002-02-15 2007-04-04 株式会社東芝 映像データ記録再生装置及び映像データ記録再生方法
JP3741668B2 (ja) 2002-03-26 2006-02-01 池上通信機株式会社 データ多重化装置
EP1408505A1 (en) * 2002-10-11 2004-04-14 Deutsche Thomson-Brandt Gmbh Method and apparatus for synchronizing data streams containing audio, video and/or other data
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Ｐｉｐ화면을 이용한 듀얼모드 신호처리장치
US20040189828A1 (en) * 2003-03-25 2004-09-30 Dewees Bradley A. Method and apparatus for enhancing a paintball video
US8065614B2 (en) 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
KR101130368B1 (ko) 2003-06-02 2012-03-27 디즈니엔터프라이지즈,인크. 소비자용 비디오 플레이어를 위한 프로그램된 윈도우 제어 시스템 및 방법
JP3895305B2 (ja) 2003-06-06 2007-03-22 シャープ株式会社 データ記録方法、データ記録装置、およびデータ記録媒体
JP2005020242A (ja) 2003-06-25 2005-01-20 Toshiba Corp 再生装置
KR101003957B1 (ko) * 2003-11-20 2010-12-30 엘지전자 주식회사 광디스크 장치에서의 유저 마크 기록방법
US20050179817A1 (en) * 2004-01-14 2005-08-18 Matsushita Electric Industrial Co., Ltd. Video signal display unit
CN1939055B (zh) * 2004-01-30 2011-02-09 松下电器产业株式会社 记录方法、再生装置、再生方法
US7609947B2 (en) * 2004-09-10 2009-10-27 Panasonic Corporation Method and apparatus for coordinating playback from multiple video sources
US20060200842A1 (en) * 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW436765B (en) * 1997-09-17 2001-05-28 Matsushita Electric Ind Co Ltd Optical disc, recording apparatus, and computer program
TW200421873A (en) * 2002-11-11 2004-10-16 Sony Corp Information processing device and method, program storage media and recording media and program
WO2005024824A1 (en) * 2003-09-04 2005-03-17 Koninklijke Philips Electronics N.V. Record carrier carrying a video signal and at least one additional information signal

Also Published As

Publication number Publication date
CN102572454A (zh) 2012-07-11
CN101091385A (zh) 2007-12-19
ES2517418T3 (es) 2014-11-03
EP1919210A1 (en) 2008-05-07
KR101320793B1 (ko) 2013-10-23
EP1919210A4 (en) 2011-09-07
TWI346506B (zh) 2011-08-01
CN102855901B (zh) 2014-10-29
JP2007104615A (ja) 2007-04-19
CN102855902A (zh) 2013-01-02
CN102855901A (zh) 2013-01-02
CN102572454B (zh) 2013-09-11
EP1919210B1 (en) 2014-10-01
US8340496B2 (en) 2012-12-25
US20080267588A1 (en) 2008-10-30
CN101091385B (zh) 2012-10-10
KR101244148B1 (ko) 2013-03-15
KR20130007672A (ko) 2013-01-18
KR20080040617A (ko) 2008-05-08
JP4081772B2 (ja) 2008-04-30
TW200715853A (en) 2007-04-16
WO2007023728A1 (ja) 2007-03-01
TW201108739A (en) 2011-03-01

Similar Documents

Publication Publication Date Title
TWI479892B (zh) Reproducing apparatus and reproducing method, program, program storage medium, data structure, manufacturing method of recording medium
JP4770601B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP4923751B2 (ja) 再生装置、並びに記録媒体及びその製造方法
US9076495B2 (en) Reproducing apparatus, reproducing method, computer program, program storage medium, data structure, recording medium, recording device, and manufacturing method of recording medium
JP4849343B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP4720676B2 (ja) 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
JP4968562B2 (ja) 再生装置、再生方法、および記録方法
JP2008193604A (ja) 再生装置および方法、並びにプログラム
JP5201428B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP4900708B2 (ja) 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP4821456B2 (ja) 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体
JP2008052836A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP5234144B2 (ja) 再生装置、並びに記録媒体及びその製造方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees