WO2006028216A1 - 記録媒体、再生装置、プログラム、再生方法 - Google Patents

記録媒体、再生装置、プログラム、再生方法 Download PDF

Info

Publication number
WO2006028216A1
WO2006028216A1 PCT/JP2005/016640 JP2005016640W WO2006028216A1 WO 2006028216 A1 WO2006028216 A1 WO 2006028216A1 JP 2005016640 W JP2005016640 W JP 2005016640W WO 2006028216 A1 WO2006028216 A1 WO 2006028216A1
Authority
WO
WIPO (PCT)
Prior art keywords
playback
information
stream
time
main
Prior art date
Application number
PCT/JP2005/016640
Other languages
English (en)
French (fr)
Inventor
Wataru Ikeda
Tomoyuki Okada
Keiichi Tanaka
Masahiro Oashi
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP05782350A priority Critical patent/EP1715686B1/en
Priority to KR1020067016863A priority patent/KR101121238B1/ko
Priority to KR1020107015452A priority patent/KR101121278B1/ko
Priority to KR1020107015450A priority patent/KR101121351B1/ko
Priority to US10/588,578 priority patent/US7865060B2/en
Priority to JP2006535848A priority patent/JP4268637B2/ja
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to KR1020107015453A priority patent/KR101121330B1/ko
Priority to KR1020107015449A priority patent/KR101121363B1/ko
Publication of WO2006028216A1 publication Critical patent/WO2006028216A1/ja
Priority to US12/612,503 priority patent/US7801415B2/en
Priority to US12/950,692 priority patent/US8433178B2/en
Priority to US12/950,702 priority patent/US8457473B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/0021—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B2020/1264—Formatting, e.g. arrangement of data block or words on the record carriers wherein the formatting concerns a specific kind of data
    • G11B2020/1288—Formatting by padding empty spaces with dummy data, e.g. writing zeroes or random data when de-icing optical discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention belongs to the technical field of synchronous application technology.
  • Synchronous application technology means that a plurality of digital streams recorded on different recording media are played back, and the synchronization is defined, so that one movie product is played back. It is a technology that makes it appear to users.
  • a main stream refers to a digital stream including high-quality moving images.
  • a substream is a digital stream that does not contain high-quality moving images.
  • the main stream is recorded on a large-capacity optical disk such as a BD-ROM and supplied to the user, and the substream is supplied to the user via the Internet.
  • Patent Document 1 Japanese Patent Laid-Open No. 2002-247526
  • Special playback is a function such as fast-forwarding, “rewinding”, chapter search and time search, and is realized on the premise of “random access” to the digital stream. Random access is a technique for converting an arbitrary point in time on a digital stream into a recording position on the digital stream and accessing the recording position. Up When special playback is to be executed for the synchronous application as described above, it is not necessary to execute random access in the main stream, and it is necessary to execute random access in the substream.
  • Various data objects such as audio, graphics, and standard-definition moving images can be reproduced from the substream.
  • a main stream including high-quality moving images has a unit that can be decoded independently, such as GOP (Group Of Picture), and a substream does not necessarily have a unit corresponding to this GOP.
  • GOP Group Of Picture
  • the random access on the substream side can be performed at high speed just like the main stream. There is no guarantee that can be made. As a result, the playback on the substream side cannot be started easily, and the playback start on the substream side may be significantly delayed.
  • An object of the present invention is to provide a recording medium and a playback device that can prevent a decrease in response when substream random access is performed simultaneously with mainstream random access.
  • a recording medium is a recording medium on which playlist information is recorded, and the playlist information defines a playback section for each of a plurality of digital streams.
  • Information including main path information and sub path information.
  • the main path information is information that designates one of a plurality of digital streams as a main stream and defines a main playback section for the main stream.
  • the sub-path information designates the other one of a plurality of digital streams as a sub-stream, and defines a sub-stream corresponding to the main playback section for the sub-stream.
  • a plurality of digital streams designated as substreams are recorded in a form associated with an entry map, and the entry map includes a plurality of substreams on the time axis.
  • the entry time is shown in association with a plurality of entry positions in the substream.
  • the playback device can respond to user operations immediately. Cue playback and double speed playback can be realized.
  • the entry map includes a plurality of entry times that exist at regular time intervals on the time axis, or a first type entry map that indicates multiple entry positions that exist at regular data intervals in the digital stream. And a second type of entry map that shows the entry position that corresponds to the beginning of the completed data set in association with the entry time, and the entry map is the first type of entry map force type second type It is desirable to include a flag that indicates whether or not.
  • the flag indicates the first type, it indicates that the entry position exists at regular time intervals or at regular data intervals.
  • the stream analysis should be performed at the fixed time interval or the fixed data interval, which is the worst case.
  • a desired access point is reached by analyzing the range of the constant time interval or the constant data interval.
  • the flag indicates the second type, it indicates that the start point of the completed data set is designated as the entry position.
  • the playback device reads out the data set of the position force at the entry position, and if it is used for playback, it can be It can be understood that the data display can be realized.
  • the flag prompts the playback device to determine whether stream analysis with a certain time interval or constant data interval as the upper limit is necessary or no stream analysis is necessary.
  • random access to the main stream is performed.
  • it does not place an excessive burden on the playback device. By reducing the burden, the response to the user operation can be improved.
  • FIG. 1 is a diagram showing a form in which a recording medium according to the present invention is used.
  • FIG. 2 is a diagram showing an internal configuration of a BD-ROM.
  • FIG. 3 A diagram schematically showing how a file with the extension .m2ts is structured.
  • FIG. 4 A diagram showing the process through which TS packets constituting the MainClip are written to the BD-ROM.
  • FIG. 5 is a diagram showing an internal configuration of a video stream used for a movie.
  • FIG. 6 (a) is a diagram showing an internal configuration of an IDR picture.
  • FIG. 7 is a diagram illustrating a process of converting IDR pictures and Non-IDR I pictures into TS packets.
  • FIG. 8 is a diagram showing an internal structure of Clip information.
  • FIG. 11 is a diagram showing an internal configuration of a local storage.
  • FIG. 12 is a diagram showing an internal configuration of a primary audio stream and a secondary audio stream.
  • FIG. 13 shows the internal structure of a PG stream.
  • FIG. 14 is a diagram showing an internal configuration of an IG stream.
  • FIG. 15 is a diagram showing a data structure of Clip information on the local storage side.
  • FIG. 16 is a diagram showing EP_map generated for the Primary audio stream and the Secondary audio stream.
  • FIG. 17 is a diagram showing EPjnap set for the PG stream time axis.
  • FIG. 18 is a diagram showing an EP_map set for the IG stream time axis.
  • FIG. 19 is a diagram illustrating a data structure of PlayList information.
  • FIG. 20 is a diagram showing a relationship between AVClip and PlayList information.
  • FIG. 21 is a diagram showing an internal structure of PlayListMark information in PlayList information.
  • FIG. 22 is a diagram showing designation of a chapter position by PlayListMark information in PlayList information.
  • FIG. 23 shows a close-up of the internal structure of Subpath information.
  • -It is a figure which shows a response
  • FIG. 25 is a diagram collectively showing the EPjnap and Playltem time axes set for the MainClip, and the EPjnap and SubPlayltem time axes set for the SubClip as the primary audio stream and the secondary audio stream.
  • FIG. 26 is a diagram showing the EPjnap and Playltem time axes set for the MainClip and the EPjnap and SubPlayltem time axes set for the SubClip that becomes the PG stream and the IG stream.
  • FIG. 27 is a diagram showing the correspondence relationship between SubPathJpe of SubPlayItem, applicationjpe, and EP_stream_type in a tabular format.
  • FIG. 28 shows a virtual file system generated by the playback device 300.
  • FIG. 29 is a diagram showing an internal configuration of a playback apparatus according to the present invention.
  • FIG. 30 is a flowchart showing a jump-in reproduction processing procedure.
  • FIG. 31 is a diagram schematically showing how a random access position is specified using EPjnap set as shown in FIG.
  • FIG. 32 is a flowchart showing a processing procedure for converting coordinates TM on the MainClip and SubClip into addresses.
  • FIG. 33 is a diagram illustrating a relationship between variables k and h and random access positions when SubClip is a primary audio stream and a secondary audio stream.
  • FIG. 34 is a diagram showing a relationship between variables k, h and random access positions in the case of a SubClip power PG stream and an IG stream.
  • FIG. 35 shows an example of PiP playback.
  • FIG. 36 (a) A diagram showing a comparison between an HD image and an SD image.
  • FIG. 37 is a diagram showing recorded contents of a local storage according to the second embodiment.
  • FIG. 38 is a diagram showing an internal structure of Clip information recorded in a local storage in the second embodiment.
  • FIG. 39 is a diagram showing the EP_map set for the Secondary Video stream in the same notation as FIG.
  • FIG. 40 is a diagram showing PlayList information defining a synchronous application that constitutes static PiP playback.
  • FIG. 41 is a diagram showing how the synchronization between MainClip as a primary video and SubCliP as a secondary video is defined by PlayList information in the same notation as in FIGS. 25 and 26.
  • FIG. 42] (a) to (c) are diagrams showing applications on the premise of dynamic synchronization.
  • FIG. 43 is a diagram showing an internal structure of PlayList information defining PiP playback based on dynamic synchronization.
  • FIG. 44 is a diagram showing an internal configuration of a playback apparatus according to the second embodiment.
  • FIG. 45 is a flowchart showing a processing procedure for performing PL playback.
  • FIG. 46 is a diagram depicting random access to MainClip and random access to SubClip in the same notation as FIG.
  • FIG. 47 (a) is a diagram showing playback control when realizing PiP playback by dynamic synchronization.
  • FIG. 1 is a diagram showing a form of usage of a recording medium according to the present invention.
  • the recording medium according to the present invention is a local storage 200.
  • the local storage 200 is a hard disk built in the playback device 300.
  • the local storage 200 is used for supplying movie works to a home theater system formed by a playback device 300, a remote controller 400, and a television 500 together with the BD-ROM 100.
  • the local storage 200 is a hard disk that is incorporated in a playback device and used as a tray for content distributed from a movie distributor's server.
  • the playback device 300 is a network-compatible digital home appliance and has a function of playing back the BD-ROM 100. Also, the content downloaded from the movie distributor's server via the Internet. The ability to expand the BD-ROM100 by combining the content with the content recorded on the BD-ROM100.
  • the remote controller 400 accepts designation of a chapter to be reproduced and designation of a time to start reproduction.
  • Television 500 displays the playback video of playback device 300.
  • the recording medium according to the present invention is configured on the premise of such a combination with the BD-ROM 100.
  • the above is the form of usage of the recording medium according to the present invention.
  • FIG. 2 shows the internal structure of the BD-ROM.
  • the BD-ROM is shown in the fourth row of this figure, and the tracks on the BD-ROM are shown in the third row.
  • the track in this figure is drawn by stretching the track formed in a spiral shape from the inner periphery to the outer periphery of the BD-ROM in the horizontal direction.
  • This track includes a lead-in area, a volume area, and a lead-out area.
  • the volume area in this figure has a layer model of physical layer, file system layer, and application layer. If the application layer format of BD-ROM (application format) is expressed using the directory structure, it becomes like the first level in the figure. In the first stage, the BD-ROM has a BDMV directory under the Root directory.
  • BDMV directory Under the BDMV directory, there are three subdirectories called a PLAYLIST directory, a CLIPINF directory, and a STREAM directory.
  • the STREAM directory is a directory that stores a file group that is a main body of a digital stream, and a file (00001.m2ts) with an extension m2ts exists.
  • the PLAYLIST directory contains a file (OOOOl.mpls) with the extension mpls.
  • the CLIPINF directory contains a file with the extension clpi (OOOOl.clpi)
  • AVClip, Clip information, and PlayList information which are constituent elements of the BD-ROM, will be described.
  • FIG. 3 is a diagram schematically showing how the file with the extension .m2ts is configured.
  • Files with the extension .m2ts (00001.m2ts, 00002.m2ts, 00003.m2ts) are A
  • AVClip (stage 4) converts video streams with multiple video frames (pictures pjl, 2, 3) and audio streams with multiple audio frames (stage 1) into PES packet sequences (stage 1). (2nd stage), further converted into TS packets (3rd stage), and these are multiplexed.
  • an AVClip having a moving image is particularly called “MainClip”, and is distinguished from an AVClip having no moving image.
  • FIG. 4 shows the process by which the TS packets that make up the MainClip are written to the BD-ROM.
  • the TS packet that composes the MainClip is shown in the first row of this figure.
  • the 188-byte TS packet that makes up the MainClip has a 4-byte TS_extrajieader (“EX” in the figure) as shown in the second row, and is 192 bytes long.
  • the third level and the fourth level indicate the correspondence between the physical unit of the BD-ROM and the TS packet.
  • TS packets with extra.header are grouped every 32 and written to 3 sectors.
  • the 32 EX-attached TS packets stored in 3 sectors are called “Aligned Units”. When writing to a BD-ROM, encryption is performed in units of Aligned Units.
  • each sector is provided with an error correction code in units of 32 to constitute an ECC block.
  • the playback device accesses the BD-ROM in units of Aligned Units, it can obtain 32 complete TS packets with EX. 3 ⁇ 4 Write MainClip to D-ROM Process.
  • FIG. 5 is a diagram showing an internal configuration of a video stream used for a movie.
  • the video stream in FIG. 5 also has a plurality of picture powers arranged in code order.
  • ⁇ , ⁇ , and ⁇ in the figure mean I picture, ⁇ picture, and ⁇ picture, respectively.
  • I pictures IDR pictures and Non-IDR I pictures.
  • Non-IDR I pictures, P pictures, and B pictures are compression-coded based on frame correlation with other pictures.
  • a B picture is a picture made up of Bidirectionally Predictive (B) format slice data
  • a P picture is a picture made up of Predictive (P) format slice data.
  • B pictures refrenceB pictures and nonrefrenceB pictures.
  • Fig. 6 (a) shows the internal structure of the IDR picture.
  • an IDR picture consists of multiple Intra format slice data.
  • Figure 6 (b) shows the internal structure of the Non-IDR I picture.
  • IDR picture power In contrast to lntra format slice data, the No n-IDR I picture is also composed of Intra slice data, P slice data, and B open slice data power.
  • Figure 6 (c) shows the dependency in the Non-IDR I picture.
  • Non-IDR I pictures can be composed of ⁇ and ⁇ slice data, and can therefore have a dependency relationship with other pictures.
  • FIG. 7 is a diagram illustrating a process of converting IDR pictures and Non-IDR I pictures into TS packets.
  • the first row in the figure shows IDR pictures and Non-IDR I pictures.
  • the second row shows the Access Unit defined in MPEG4-AVC.
  • Each of AUD, SPS, PPS, SEI, and Access Unit is information defined in MPEG4-AVC, and is described in various documents such as ITU-T Recommendation H.264. For details, See these references. The important point here is that AUD, SPS, PPS, and SEI are supplied to the playback device as a prerequisite for random access.
  • the third row shows the NAL unit. AUD, SPS, PPS, SEI in the 2nd stage, AUD, SPS, PPS, SEI and slice data are each NAL by adding a header.
  • NAL unit is a unit specified in the network abstraction layer of MPEG4- AVC.
  • a plurality of NAL units obtained by converting one picture are converted into PES packets as shown in the fourth row. Then it is converted to a TS packet and recorded on the BD-ROM.
  • the NAL units that make up the IDR picture and Non-IDR I picture located at the head of the GOP must be inserted into the decoder including the Access Unit Delimiter.
  • the NAL unit including the Access Unit Delimiter is one index for decoding the IDR picture and the Non-IDR I picture.
  • a NAL unit including this Access Unit Delimiter is handled as a point.
  • the playback device interprets the NAL unit including the Access Unit Delimiter as an entry position for playing back the Non-IDR I picture and IDR picture. Therefore, in order to execute random access in the Main Clip, it is very important to know where the Access Unit Delimiter of the IDR picture and Non-IDR I picture exists.
  • the above is the configuration of the MPEG4-AVC format video stream used for movies. ⁇ Configuration of BD-ROM # 2.Clip information>
  • FIG. 8 shows the internal structure of Clip information. As shown on the left side of this figure, Clip information is
  • Clip info is explained.
  • the leader line ctl in the figure closes up the structure of Clip info ().
  • Clip infoO is “clip_stream_type” that indicates the type of digital stream
  • application type that indicates the type of application that uses this MainClip
  • recording rate application_type is set to “1” to indicate that the corresponding MainClip constitutes a movie application.
  • Clip info includes Ne EP_map_for_one_stream [0] to [Ne-1]. And it has Ne pieces of attribute information about each EP_map_for_one_stream.
  • This attribute information includes stream_PID [0] to [Ne-1] of the corresponding elementary stream, EP_stream_type [0] to [Ne-1] indicating the type of the corresponding EP_map_for_one_stream, and the number of EP_high in EP_map_for_one_stream number—of—high— entries [0] to [Ne—1] and the number of EPJows in the EP—map—for—one—stream number—of—Low—entries [0] to [Ne—1 ] And EP_map_for_one_stream_PID_start_address [0] to [Ne-1] indicating the current address of the EP-map-for-one-stream.
  • the first level is the display order.
  • a plurality of arranged pictures are shown, and the second row shows a time axis in the picture.
  • the fourth row shows the TS packet sequence on the BD-ROM, and the third row shows the EP_map setting.
  • FIG. 10 represents PTS_EP_start and SPN_EP_start of Entry Point # 1 to Entry Point # 7 in FIG. 9 as a combination of EP ⁇ ow and EP_High.
  • EP ⁇ ow is shown on the left side of this figure, and EP_High is shown on the right side.
  • PTS_EP ⁇ ow of EP ⁇ ow (i) to (i + 3) indicates the lower bits of tl to t4.
  • SPN_EP ⁇ ow of EP ⁇ ow (i) to (i + 3) indicates the lower bits of n1 to n4.
  • FIG. 10 shows EP_High (0) to (Nc-l) in the EP_map.
  • this common high-order bit is described in PTS_EP_High and SPN_EP_High.
  • ref_to_EPjOWjd corresponding to EP_High is set to indicate the first one (EP ⁇ ow (i)) among EP ⁇ ow corresponding to tl to t4 and nl to n4.
  • OOOOl.mpls is a file that stores PlayList information. Since the same type exists in the local storage 200, the PlayList information that exists in this local storage 200 will be explained, and 000 Ol.mpls on the BD-ROM will be explained. Description of is omitted.
  • BD-ROM Since the BD-ROM has a large capacity, when a movie is supplied to the home theater system shown in FIG. 1, it is difficult to play a role. The above is the explanation for BD-ROM.
  • FIG. 11 is a diagram showing the internal configuration of the local storage 200. As shown in the figure, the recording medium according to the present invention can be produced by improving the application layer.
  • the local storage 200 is shown in the fourth level of the figure, and the tracks on the local storage 200 are shown in the third level.
  • the track in this figure is drawn by extending the track formed in a spiral shape from the inner periphery to the outer periphery of the local storage 200 in the horizontal direction.
  • This track consists of a lead-in area, a volume area, and a lead-out area.
  • the volume area in this figure has a layer model of physical layer, file system layer, and application layer.
  • PlayList information which are constituent elements of the local storage 200, will be described.
  • AVClip (00002.m2ts, 00003.m2ts, 00004.m2ts, 00005.m2ts) on the local storage 200 constitutes a SubClip.
  • a SubClip is an AVClip composed of one or more Out-of-MUX streams.
  • An Out-of-MUX stream is an elemental stream that is played back during playback of an AVClip including a video stream, but is multiplexed with the video stream.
  • “Out-of-MUX stream framework” is called “Out-of-MUX stream framework” to read out-of-MUX stream during playback of video stream and use it for decoding.
  • Such Out-of-MUX streams are classified into “Primary audio stream”, “Secondary audio stream”, “Presentation Graphics (PG) stream”, and interactive GraphicsQ G) stream ”.
  • 00002.m2ts stores the primary audio stream
  • 00003.m2ts is the secondary audio stream
  • 00004.m2 ts is the PG stream
  • 00005.m2ts is the IG Assume that a stream is stored.
  • this storage method is only an example, and it is multiplexed into four Out-of-MUX stream powerful SubClips! . The details of the Out-of-MUX stream are described below.
  • the “Primary audio stream” is an audio stream that is a so-called main audio
  • the “Secondary audio stream” is an audio stream that is a so-called sub audio.
  • the audio playback of the Secondary audio stream is mixed with the playback audio of the Primary audio stream and used for output.
  • “commentary audio” is included in the audio handled as the second audio stream.
  • the main audio power that becomes the primary audio stream The dialogue and BGM of the main part of the movie work, and the secondary audio power that becomes the secondary audio stream. If the commentary voice of the movie director is used, the dialogue and BGM of the main part of the main movie work are commentary. It is output after being mixed with audio.
  • the secondary audio stream is recorded only in the local storage 200 and is not recorded on the BD-ROM.
  • the Primary audio stream may be placed on the BD-ROM or the local storage 200.
  • the primary audio stream encoding codec may be different from the secondary audio stream encoding codec.
  • FIG. 12 is a diagram showing an internal configuration of the Primary audio stream and the Secondary audio stream.
  • the first row in the figure shows the time axis (SubCli P time willow) that is referenced during playback of the SubClip.
  • the second row shows the TS packet sequence that makes up the SubClip.
  • the third row shows the SubClip.
  • the fourth row shows the audio frame sequences that make up the Primary audio stream and Secondary audio stream.
  • the SubClip is generated by converting the frame sequence that becomes the Primary audio stream and Secondary audio stream into PES packets (third stage), and further converting this PES packet sequence into TS packet sequences (No. 1). 2nd stage).
  • the PTS present in the header of the PES packet indicates the start timing of the audio frame in the PES packet. Therefore, by referring to this PTS, it becomes clear when the audio frame stored in the PES packet is reproduced on the SubClip time axis. Therefore, the header of the PES packet becomes the target of stream analysis. ⁇ Out-of-of-MUX stream description 2. PG stream>
  • a PG stream is an elementary list stream that realizes subtitle display as a moving image is played back.
  • FIG. 13 shows the internal structure of the PG stream.
  • the fourth row shows the PES packets that make up the SubClip, and the third row shows the TS packets that make up the SubClip.
  • the second row shows the SubClip time axis, and the first row shows a composite image displayed by decoding and synthesizing the PG stream as the SubClip and the video stream as the MainClip.
  • SubClip PES packets are grouped into a series of functional segments: PCS (Presentation Control Segment), PDS (Pallet Definition Segment) ⁇ WDS (Window Definition Segment) ⁇ ODS (Object Dennition Segment) ⁇ E ND (END of Display Set Segment). Created by adding a PES packet header.
  • PCS Presentation Control Segment
  • PDS Parallel Definition Segment
  • WDS Window Definition Segment
  • ODS Object Dennition Segment
  • E ND END of Display Set Segment
  • ODS Object Definition Segment
  • WDS Window Definition Segment
  • PDS Parallel Definition Segment
  • PCS Presentation Control Segment
  • page control includes Cut-In / Out, Fade-In / Out, Color Change, Scroll, Wipe-In / Out, and is accompanied by page control by PCS. Therefore, it is possible to realize the display effect of displaying the next subtitle while gradually erasing one subtitle.
  • END is a functional segment indicating the end of a functional segment set for displaying a caption display.
  • the header of the PES packet includes time stamps such as PTS and DTS, and these time stamps indicate the timing of starting decoding of the functional segment and the timing of displaying the graphics based on the functional segment.
  • a group of function segments starting with PCS and extending to END is called “Display Set”.
  • the third level shows the TS packets obtained by converting these PES packets.
  • the second level shows the time axis (SubClip time axis) that is referenced when playing a SubClip.
  • the PCS DTS indicates the timing at which the PCS is decoded
  • the PCS PTS indicates the timing at which the graphics are displayed based on the Display Set starting with the PCS.
  • a composite image as shown in the first row is displayed.
  • This Display Set includes “Epoch Start”, “Acquisition Point”, “Normal Case”, “Epoch”
  • Epoch Start indicates the start of a new Epoch.
  • Epoch refers to one period with memory management continuity on the playback time axis of AVClip, and a data group assigned to this period. Therefore, Epoch Start includes all the functional segments necessary for the next screen composition. Epoch Start is placed at a position where cueing has been found, such as a chapter in a movie work.
  • Acquisition Point is a Display Set that includes all functional segments necessary for the next screen composition, but not at the start of Epoch! /. If the cue is made from the acquisition point DS, the graphics display can be realized reliably. In other words, Acquisition Point DS has the role of enabling screen composition from the middle of Epoch.
  • the Display Set as an Acquisition Point is incorporated at a position where it can be a cue point.
  • Normal Case includes only the difference from the previous Display Set. For example, if a DSv's title has the same content as the preceding DSu, but the screen structure is different from this preceding DSu, a DSS with only PCS and END will be provided and this DSv will be the Normal Case DS . This way For example, there is no need to provide duplicate ODS, which can contribute to capacity reduction in BD-ROM. On the other hand, the normal case DS is only a difference, so the normal case alone cannot be used for screen configuration.
  • Epoch Continue indicates that the playback power of a certain AVClip is continued when the playback is continued after the playback of another AVClip. This completes the description of the functional segments that make up the PG stream.
  • the IG stream is an elementary list that realizes subtitle display as video playback progresses.
  • FIG. 14 is a diagram showing an internal configuration of the IG stream.
  • the fourth row shows the PES packets that make up the SubClip, and the third row shows the TS packets that make up the SubClip.
  • the second row shows the SubClip time axis, and the first row shows the composite image that is displayed by decoding and combining the IG stream that is the Out-of-MUX stream and the video stream that is the MainClip. Show.
  • the SubClip PES packet structure at the fourth level will be described.
  • the SubClip PES packet adds a PES packet header to a functional segment called ICS (Interactive Composition Segment), PDS (Palette Definition Segment) ⁇ ODS (Object Definition Segment) ⁇ END (END of Display Set Segment) It is created by doing.
  • ICS Interactive Composition Segment
  • PDS Palette Definition Segment
  • ODS Object Definition Segment
  • END END of Display Set Segment
  • ODS Object Definition Segment
  • a PDS (Palette Definition Segment) is a functional segment that defines color development when drawing graphics data.
  • the ICS is a functional segment that defines interactive control that changes the state of buttons according to user operations.
  • END is a functional segment indicating the end of the functional segment set for displaying the menu display.
  • the PES packet header includes time stamps such as PTS and DTS, and these time stamps indicate the timing of starting decoding of the functional segment and the timing of displaying the Dallas based on the functional segment.
  • time stamps such as PTS and DTS
  • these time stamps indicate the timing of starting decoding of the functional segment and the timing of displaying the Dallas based on the functional segment.
  • functional segment from ICS to END This group is called Display Set.
  • this Display Set has types such as “Epoch Start”, “Acquisition Point”, “Normal Case”, and “Epoch Continue”.
  • the third tier in FIG. 14 shows a TS packet obtained by converting these PES packets.
  • the second level shows the time axis (SubClip time axis) that is referenced when playing a SubClip.
  • the ICS DTS indicates the timing at which the ICS is decoded
  • the ICS PTS indicates the timing at which graphics are displayed based on the Display Set starting from the ICS.
  • the composite image shown in the first row is displayed.
  • Display Set is a set of functional segments that realize one display of a menu.
  • FIG. 15 shows the data structure of Clip information on the local storage 200 side.
  • the data structure of the clip information on the local storage 200 side is the same as the clip information on the BD-ROM side. However, among these data structures, application-type, EP-map configuration, and EP-stream-type are set to the contents specific to SubClip.
  • application_type in Fig. 15 is explained. If SubClip is one of the primary audio stream, secondary audio stream, PG stream, or IG stream described above, application_type is set to 7.
  • the MUX stream includes types such as a primary audio stream, a secondary audio stream, a PG stream, and an IG stream, and these differ in where playback is possible in the middle of the stream.
  • the primary audio stream and secondary audio stream have multiple audio frame powers, and basically playback can be started with any power as long as the head power of this audio frame.
  • a Display Set consisting of completed functional segments is a display set other than the so-called “Normal & 36”, that is, a display set of “Epoch Start J, Acquisition Point J,“ Epoch Continue ”.
  • the PCSJCS located at the top must be treated as the entry position.
  • the Out-of-MUX stream has a different structure depending on the difference in the corresponding Out-of-MUX stream, because it differs from where it can be decoded. Will have. EPjnap for Out-of-MUX stream is called "Out-of-MUX_EP_map".
  • EPjnap power for primary and secondary audio streams The EPjnap time interval is different from EPjnap for moving images. In other words, the time interval for moving images is less than 1 second, and the time interval of the force Entry Point with the precise Entry Point is 5 seconds, and the time interval is wide.
  • FIG. 16 is a diagram showing EPjnap generated for the Primary audio stream and the Secondary audio stream.
  • the EPjnap structure shown in this figure is a fixed time of 5 seconds. A corresponding entry position exists at every other entry time.
  • the third row in the figure shows the SubClip time axis, and tl to t6 on this SubClip time axis are entry times. These entry times tl, t2, t3, t4, t5, and t6 exist at regular intervals of 5 seconds.
  • the second row of this figure shows EPjnap.
  • EPjnap's PTS_EP_start in the second row indicates these entry times! /
  • the first level shows a TS packet sequence constituting the Primary audio stream and the Secondary audio stream.
  • the second stage SPN_EP_start is set to indicate nl to n6. Since it is set to correspond to the SPN_EP_start force PTS_EP_start of each entry point in EPjnap, the entry time every 5 seconds will be associated with the entry position.
  • the interval from the previous entry point may be a data interval of 256 Kbytes. This time interval of 256 Kbytes is the secondary audio stream transfer rate multiplied by 5 seconds and the time interval. Since the EPjnap time interval is 5 seconds, the range that requires stream analysis is 5 seconds or less. This completes the explanation of EPjnap set for the primary audio stream and the econdary audio stream.
  • FIG. 17 is a diagram showing EPjnap set for the PG stream time axis.
  • the first row shows the TS packet sequence that makes up the PG stream
  • the second row shows the EP_map
  • FIG. 18 is a diagram showing EPjnap set for the IG stream time axis.
  • the first row shows the TS packet sequence that makes up the IG stream
  • the second row shows the EP_map
  • EPjnap structure can be changed due to the qualitative difference of the corresponding Out-of-MUX stream.
  • EP_stream_type in Clip information on the local storage 200 will be described.
  • EP_stream_type indicates the difference in the structure of EPjnap shown in FIGS. 16 to 18 for each Out-of-MUX stream multiplexed in one SubClip.
  • EP_stream_type [i] is the Out-of-MUX stream [i ]
  • EP_stream_type [i] is set to any of 3,4,6,7.
  • Out_of_MUX_EP_map uses EP_stream_type to clarify how much the entry time exists at what interval or what position is designated as the entry position.
  • EP_stream_type is 3 or 4, it indicates that the entry position exists at a fixed interval of 5 seconds.
  • the range to be analyzed is at most 5 seconds.
  • the playback device is in the Out-of-MUX stream. By analyzing the range of 5 seconds, it can be understood that the desired access point is reached.
  • EP_stream_type is 6 or 7, it indicates that the start point of the Display Set composed of the completed functional segments is designated as the entry position.
  • the playback device reads the functional segment from the position corresponding to this entry position, and does not perform any stream analysis if it is used for playback. In both cases, subtitle display and menu display at a desired playback time can be realized.
  • EP_stream_type is a force that requires stream analysis with an upper limit of 5 seconds. It prompts the playback device to determine whether stream analysis is not necessary. Therefore, random access to SubClip is required along with random access to MainClip. Even if it becomes, it will not put an excessive burden on the playback device. Response to user operations can be improved by reducing the burden.
  • the file with the extension “mpls” is a file storing PlayList (PL) information.
  • PlayList information is information that defines a bundle of two types of playback paths called MainPath and Subpath as a Playlist (PL).
  • FIG. 19 shows the data structure of PlayList information.
  • PlayList information includes MainPath information that defines MainPath (MainPat h (), PlayListMark information that defines chapters (PlayListMarkO), and Subpath.
  • Subpath information (SubpathO) that defines MainPath and Mainpath as a Playlist (PL).
  • MainPath is a playback path defined on the main AVClip.
  • Subpath is a playback path defined on Sub Clip.
  • MainPath is a playback path defined for the video stream that is the main video.
  • MainPath is defined by a plurality of Playltem information-PlayltemO ' ⁇ as indicated by an arrow mpl.
  • Playltem information defines one or more logical playback sections that make up the MainPath.
  • the structure of Playltem information is highlighted by the lead line hsl.
  • the Playltem information includes “Clip_Information_file_name” indicating the file name of the AVClip playback section information to which the IN and Out points of the playback section belong, “Clip_codec_identifier” indicating the AVClip encoding method, and playback It consists of time information “IN_time” indicating the start point of the section and time information “OUT_time” indicating the end point of the playback section.
  • FIG. 20 is a diagram showing the relationship between MainClip and PlayList information.
  • the first level is PlayList Indicates the time axis of information.
  • Levels 2 to 5 show the video streams referenced in EPjnap (same as shown in Fig. 5).
  • PlayList information includes Playltem information # 1, # 2 and! 2 and other Playltem information, and two playback sections are defined by the In_time and Out_time of these Platform information # 1, # 2. .
  • a time axis different from the AVClip time axis is defined. This is the Playltem time axis shown in the first row. In this way, by defining Playltem information, it becomes possible to define a time axis that is different from AVClip.
  • Playltem information The above is the description of Playltem information according to the present embodiment. Next, PlayListMark information will be described.
  • FIG. 21 shows the internal structure of PlayListMark information in PlayList information.
  • the PlayListMark information is composed of a plurality of PLMark information (#l to #n).
  • PLmark information (PLmarkO) is information that designates an arbitrary section of the PL time axis as a chapter point.
  • the PLmark information includes “ref_to_PlayItem_Id” indicating the Playltem to be designated as a chapter and “mark_time_stamp” indicating the chapter position in the Playltem in time notation.
  • FIG. 22 is a diagram showing designation of chapter positions by PLMark information in PlayList information.
  • the second to fifth tiers in this figure show the EPjnap and AVClip shown in FIG.
  • the first level in the figure shows PLMark information and the PL time axis.
  • Arrow ktl, 2 indicates the specification by ref_to_PlayItem_Id of PLMark information.
  • the ref_to_PlayItem_Id of the PLMark information specifies each of the Playlt em information.
  • Mark_time_Stamp indicates the point in time of Chapter #l, # 2 on the Playltem time axis. In this way, the PLMark information can define chapter points on the time axis of the planet.
  • MainPath is the playback path defined for the main video MainClip
  • Subpath is the playback path defined for the SubClip to be synchronized with MainPath.
  • FIG. 23 is a diagram showing a close-up of the internal structure of the Subpath information.
  • each Subpath includes SubPath_type indicating the type of SubClip and one or more SubPlayltem information ⁇ ⁇ ⁇ SubPlayltemO ⁇ ⁇ ⁇ .
  • SubPl ayltem information includes “Clip jnformation_file_name”, “SubPlayIt em—In—time”, “SubPlayItem—Out—time”, “sync—Playltem— ⁇ ”, “sync—start—PT3 ⁇ 4 as shown by the arrow hcl in the figure. —Of— Playlt em ”.
  • “Clip_information_file_name” is information for uniquely specifying a SubClip corresponding to SubPlayltem by describing a file name of Clip information.
  • SubPlayItem_In_time is information indicating the start point of SubPlayltem on the playback time axis of SubClip.
  • SubPlayItem_Out_time is information indicating the end point of SubPlayltem on the playback time axis of SubClip.
  • “sync_PlayItem_id” is information for uniquely designating a Playltem that constitutes the MainPath that should be synchronized by this SubPlayltem. SubPlayltem-In-time exists on the playback time axis of the PlayItem specified by sync-Playltem-id.
  • Sync_start_PTS_of_PlayItem indicates where the starting point force of the SubPlayltem specified by SubPlayItem_In_time exists on the playback time axis of the PlayItem specified by sync_PlayItem_id.
  • SubPath_type is set to a value between 0 and 255 to indicate what playback path the SubPath defined by the SubPath information is.
  • SubPathJpe is linked to the contents of Clip information specified by Clip_information_file_name of SubPlayltem information. What is linked to it is linked to the application_type of Clip.Info.
  • SubPathJ pe is a force that takes a value between 0 and 255. When the a_plication_type of Clip.Info is set to 7, some value from 5 to 8 is set.
  • SubPath_type is set to 5
  • This primary audio playback path is , Defined for additional 'substitution.
  • SubPath_type When SubPath_type is set to 6, this SubPath information indicates that a Presentation Graphics playback path for addition / replacement is defined. What is additional carlo 'replacement is a PG stream that can be added and replaced with respect to a PG stream that can be played back with Playltem information.
  • SubPath_type When SubPath_type is set to 7, this SubPath information indicates that an Interactive Graphics playback path is defined for additional caro 'replacement. What is additional carlo 'replacement is a PG stream that can be added and replaced with respect to a PG stream that can be played back with Playltem information.
  • SubPath_type When SubPath_type is set to 8, the SubPath information indicates that the Secondary audio playback path is defined. This Secondary audio playback path is defined for additional tracking. What is added is Secondary audio that should be mixed with the playback audio of Primary audio that can be played back with Playltem information.
  • FIG. 24 is a diagram showing the correspondence between the SubClip on the local storage 200, the PlayList information on the local storage 200, and the MainClip on the BD-ROM.
  • the first row shows the SubClip that exists on the local storage 200.
  • the SubClip on the full-capacity storage 200 has types such as a Primary audio stream, a Secondary audio stream, a PG stream, and an IG stream. Any of these will be used for synchronized playback as SubPath.
  • the second level shows two time axes defined by PlayList information.
  • the lower time axis in the second row indicates the Playltem time axis defined by the Playltem information, and the upper time axis is Indicates the SubPlayltem time axis defined by SubPlayltem.
  • SubPlayltem-Clip-information-file-name in the SubPlayltem information plays the role of SubClip selection, which of the four SubClips in the first stage is selected as the target for specifying the playback section. It ’s really powerful.
  • SubPlayItem.IN_time and SubPlayltem.OuUime play the role of defining the start and end points of the playback section on the SubClip.
  • the arrow Sync_PlayItem_Id is intended to synchronize with any Playltem! /, And plays the role of specifying synchronization, and sync_start_PTS_of_PlayItem plays the role of showing the difference between the origin of the Playltem time axis and the origin of the SubPlayltem time axis Fulfill.
  • FIG. 25 shows the EPjnap and Playltem time axis set for the MainClip, and the EP set for the SubClip that is the Primary audio stream and Secondary audio stream.
  • the middle, lower 4 to lower 1 in the figure show the Playltem time axis, picture sequence, Main Clip time axis, EP_map, and TS packet sequence shown in FIG.
  • the upper first to third stages indicate the TS packet sequence, EP_map, and SubClip time axis shown in FIG.
  • the upper fourth row shows the SubPlayltem time axis shown in FIG. You can see that the entry time is set at 1 second time intervals for MainClip, and at 5 second time intervals for SubClip.
  • FIG. 26 is a diagram showing the EPjnap and Playltem time axes set for the MainClip and the EPjnap and SubPlayltem time axes set for the SubClip that becomes the PG stream and IG stream.
  • the middle, lower 4 to lower 1 in the figure show the Playltem time axis, picture sequence, Main Clip time axis, EP_map, and TS packet sequence shown in FIG.
  • the first to third tiers show the TS packet sequence, EP_map, and SubClip time axis shown in Fig. 16.
  • the upper fourth row shows the SubPlayltem time axis shown in FIG.
  • MainClip it can be seen that the 1-second time interval is specified, and for SubClip, the position where the Display Set other than Normal Case exists is specified as the entry position.
  • FIG. 27 is a diagram showing a correlation between values that can be taken by SubPath_type, values that can be taken by applicationj pe, and values that can be taken by EP_stream_type pe in a table format.
  • SubPath—type is set to EP—stream—type force 3 when 'application-type force is set to' 5 C, 3 ⁇ 4>. Since EP_stream_type is set to “3”, the EP_map corresponding to this EP_stream_type is for primary audio playback, and if it has a time interval of 5 seconds or a data interval of 256 Kbytes, playback is performed. The device can be understood.
  • EP_stream_type is set to "7". Since EP_stream_type is set to "7”, the EP_map corresponding to this EP_stream_type is for Interactive Graphics playback. If the Display Set consisting of a complete functional segment is at the entry position, the playback device Can understand.
  • EP_stream_type is set to "4". Since EP_stream_type is set to "4", the EP_map corresponding to this EP_stream_type is for secondary audio playback, and if it has a time interval of 5 seconds or a data interval of 256K bytes, the playback device Can be understood.
  • FIG. 28 is a diagram showing a virtual file system generated by the playback device 300. As shown in FIG. The upper left of this figure is BD-ROM The lower left corner shows the recorded contents of the local storage 200. The right side shows the configuration of the virtual file system.
  • the playback apparatus combines the AVClip, Clip information, and PlayList information that exist in the BD-ROM with the AVClip, Clip information, and PlayList information that exist in the local storage 200 to obtain a virtual file system.
  • AVClip # 2, # 3, # 4, # 5 (00002.M2TS, 00003.M2TS, 00004.M2TS, 00005.M2TS) on Local Storage is added to the STREAM directory on the BD-ROM. .
  • FIG. 29 is a diagram showing the internal structure of the playback apparatus according to the present invention.
  • the reproducing apparatus according to the present invention is industrially produced based on the internal configuration shown in the figure.
  • the playback device according to the present invention is mainly composed of two parts, a system LSI and a drive device, and can be industrially produced by mounting these parts on the cabinet and substrate of the device.
  • the system LSI is an integrated circuit in which various processing units that function as playback devices are integrated.
  • the playback equipment produced in this way is BD Drive 1, Arrival
  • the BD-ROM drive 1 performs BD-ROM loading / ejection, executes access to the BD-ROM, and sets the Aligned Unit consisting of 32 complete EX-attached TS packets to the BD-ROM. Read from.
  • Arrival time Clock Counter2 generates Arrival Time Clock based on 27MHz crystal oscillator (27MHz X-tal).
  • Arrival Time Clock is a clock signal that defines the time axis that is the reference for ATS assigned to TS packets.
  • the Source de-packetizer 3 removes the TP_extra_header from each TS packet constituting the Aligned Unit, and Is output to PID filter 4. Sour ce
  • the output to the PID filter 4 by De-Packizer3 is made at the timing when the arrival time Clock Counter2 has passed and the ATS indicated by TP_extra_header is reached. Since the output to PID filter 4 is made according to ATS, the TS packet output to PID filter 4 is Arrival Time Clock even if there is a speed difference such as 1x speed and 2x speed when reading from BD-ROM. Will be made according to the current time over time.
  • PID Filter4 is capable of MFJing the TS packet to any of the video stream, PG stream, IG stream, and Primary audio stream. J Output to one of Transport Buffer 5, Transport Buffer 12, Transport Buffer 20, or Transport Buffer 37.
  • the Transport Buffer (TB) 5 is a buffer that is temporarily stored when TS packets belonging to the video stream are output from the PID filter 4.
  • the Multiplexed Buffer (MB) 6 is a buffer for storing PES packets when outputting a video stream from the Transport Buffer 5 to the Elementary Buffer 7.
  • the Coded Picture Buffer (CPB) 7 is a buffer that stores pictures in an encoded state (I picture, B picture, P picture).
  • the video decoder 8 obtains a plurality of frame images by decoding individual frame images of the video elementary stream at predetermined decoding times (DTS), and writes them into the Decoded Picture Buffer 10.
  • DTS decoding times
  • Decoded Picture BufferlO is a buffer in which decoded pictures are written.
  • the video plane 11 is a plane for storing uncompressed pictures.
  • a plane is a memory area for storing pixel data for one screen in the playback device.
  • the resolution in the video plane 11 is 1920 ⁇ 1080, and the picture data stored in the video plane 11 is composed of pixel data represented by 16-bit YUV values.
  • the Transport Buffer (TB) 12 is a buffer that is temporarily stored when TS packets belonging to the PG stream are output from the PID filter 4.
  • the Coded Data Buffer (CDB) 13 is a buffer that stores PES packets constituting the PG stream.
  • the Stream Graphics Processor (SGP) 14 decodes the ODS, and writes the uncompressed graphics in the uncompressed state with the index color power obtained by decoding into the Object Buffer 15 as the graphics object.
  • Decoding by the Stream Graphics processor 14 is performed instantaneously, and the graphics object is temporarily stored in the Stream Graphics processor 14 by decoding.
  • Decoding by Stream Graphics Processor 14 can be done instantaneously Writing from Stream Graphics Processor 14 to Object Buffer 15 does not end instantaneously. This is because in the BD-ROM player model, writing to Object Buffer5 is done at a transfer rate of 128 Mbps.
  • the completion time of writing to Object Bufferl5 is indicated in the PTS of the END segment. It will wait for the next DS until the indicated time has elapsed.
  • Writing of graphics objects obtained by decoding each ODS starts at the DTS time associated with the ODS and ends by the decoding end time indicated in the PTS associated with the ODS. .
  • Object Bufferl5 is a buffer in which a graphics object obtained by decoding of Stream Graphics Processorl4 is placed. Object Bufferl5 must be set to 2 times Z4 times the size of graphics plane 8. This is because, when considering the case of realizing Scrolling, it is necessary to store graphics objects twice and four times as many as the graphics plane 8.
  • Composition Buffer I6 is a memory in which PCS and PDS are arranged. When there are two Display Sets to be processed and the active periods of these PCS overlap, the composition buffer 16 stores a plurality of PCSs to be processed.
  • the Graphics Controller 17 determines whether it is a P-S Composition—State force, Epoch Start, Acquisition Point, or Normal Case contained in that Display Set. If it is Epoch Start, the PCS on the Coded Data buffer 13 is transferred from the Coded Data buffer 13 to the Composition buffer 16.
  • the Presentation Graphics plane 18 is a memory having an area for one screen, and can store uncompressed graphics for one screen.
  • the resolution of this plane is 1920 ⁇ 1080, and each pixel of uncompressed graphics in the Presentation Graphics plane 18 is represented by an 8-bit index color.
  • CLUT Color Lookup Table
  • the CLUT unit 19 converts the index color in the uncompressed graphics stored in the Presentation Graphics plane 18 into Y, Cr, and Cb values.
  • the Transport Buffer (TB) 20 is a buffer in which TS packets belonging to the IG stream are stored.
  • the Coded Data Buffer (CDB) 21 is a buffer that stores the PES packets that make up the IG stream.
  • the Stream Graphics Processor (SGP) 22 decodes the ODS, and writes the uncompressed graphics obtained by the decoding to the Object Buffer 23.
  • the Object Buffer 23 is a buffer in which a number of uncompressed graphics objects obtained by decoding of the Stream Graphics Processor 22 are arranged.
  • the rectangular area occupied by each graphics object in this Object Buffer 23 is identified by the Objectjd of the ODS. Therefore, if a graphics object with the same Objectjd is supplied in the state where a graphics object exists on the Object Buffer 23, the area occupied by the graphics object on the Object Buffer 23 is overwritten by the graphics object with the same Objectjd. Will be.
  • the Composition buffer 24 is a buffer for storing an Interactive_composition to be transported corresponding to one or more ICSs.
  • the stored Interactive_composition is used for decoding by the Graphics controller 25.
  • the Graphics controller 25 determines whether the ICS is included in the Display Set.
  • Omposition State force Epoch 3 ⁇ 4tart, Acquisition ⁇ nt, or Normal Case
  • Epoch Start the new Interactive composition on the Coded Data buffer 21 is transferred to the Coded Data buffer 21 bCompositon buffer 24.
  • the Graphics controller 25 stores the Page_Version—Number of each page information belonging to the ICS and the Composition buffer 24. Check the Page_Version_Number of each page information in the existing Interactive composition. If page information with a large Page_Version_Number exists in the Coded Data buffer 21, the page information is transferred from the Coded Data buffer 21 to the Composition buffer 24, thereby updating the desired page information in the Composition buffer 24. . Then, it is determined whether or not the page corresponding to the updated page information is currently being displayed, and if it is being displayed, the corresponding page is redrawn.
  • Interactive (graphics pre-26 26, Stream urapnics Processor (SGP) 22 is used to write uncompressed graphics.
  • the resolution of this plane is 192.
  • OX 1080 each pixel of uncompressed graphics in the Intaractive Graphics plane 26 is represented by an 8-bit index color.
  • CLUT Color Lookup Table
  • the CLUT unit 27 converts the index colors in the uncompressed graphics stored in the Interactive Graphics plane 26 into Y, Cr, and Cb values.
  • the combining unit 28 combines the uncompressed frame image stored in the video plane 11 and the uncompressed graphics object stored in the Presentation Graphics plane 18. By combining images, it is possible to obtain a combined image in which captions are superimposed on a moving image.
  • the compositing unit 29 includes the uncompressed graphics object stored in the Interactive Graphics plane 26 and the composite image (the uncompressed picture data in the uncompressed state and the uncompressed presentation graphics plane 18) output from the compositing unit 28. To the graphics object).
  • the switch 30 selectively supplies either the TS packet read from the BD-ROM or the TS packet read from the local storage 200 to the Transport Buffer 20.
  • the Network Device 31 implements the communication function of the playback device, and establishes a TCP connection, FTP connection, etc., with the web site corresponding to the URL.
  • the content downloaded from the website through the connection established by the Network Device 31 is stored in the Local Storage 200.
  • the switch 32 selectively supplies one of the TS packet read from the BD-ROM and the TS packet read from the local storage 200 to the Transport Buffer I2.
  • the source de-packetetizer 34 removes TP_extra_header from the AVClip TS packet read from the local storage 200, and outputs only the TS packet to the PID filter 35.
  • the output to the PID filter 35 by the source de-packetizer 34 is made at the time when the arrival time clock counter 33 has become the ATS indicated by the time power TP_extra_header.
  • the PID filter 35 converts the TS packet read from the local storage 200 into a PG stream.
  • the switch 36 supplies either the TS packet read from the BD-ROM or the TS packet read from the local storage 200 to the audio decoder 39 side.
  • This TS packet constitutes the Primary audio stream.
  • the Primary audio stream is supplied to the audio decoder 39 from either the BD-ROM or the local storage 200.
  • the Transport Buffer (TB) 37 stores TS packets belonging to the Primary audio stream.
  • the Elementary Buffer (EB) 38 is a buffer that stores PES packets constituting the Primary audio stream.
  • the audio decoder 39 decodes the primary audio stream in the PES packet state output from the Elementary Buffer 41 and outputs uncompressed audio data.
  • the Transport Buffer (TB) 40 stores TS packets belonging to the Secondary audio stream.
  • the Elementary Buffer (EB) 41 is a buffer that stores PES packets constituting the Secondary audio stream.
  • the audio decoder 42 decodes the secondary audio stream in the PES packet state output from the Elementary Buffer 38, and outputs uncompressed audio data.
  • the mixer 43 mixes the uncompressed audio data obtained by decoding the Primary audio stream and the uncompressed audio data obtained by decoding the Secondary audio stream. Outputs synthesized speech.
  • the scenario memory 44 is a memory for storing current PlayList information and current Clip information.
  • Current PlayList information refers to information currently being processed among a plurality of PlayList information recorded on a BD-ROM.
  • Current clip information refers to the information that is currently being processed among multiple clip information recorded on the BD-ROM.
  • the control unit 45 includes an instruction ROM and a CPU, and executes software stored in the instruction ROM to control the entire playback device. The contents of this control change dynamically according to user events that occur in response to user operations and the setting values of each PSR in the PSR set 49.
  • the control unit 45 includes a functional component such as a main conversion unit 46, a sub conversion unit 47, and a PL regeneration control unit 48.
  • the main conversion unit 46 converts the playback time point on the Playltem time axis into the address of the MainClip.
  • the playback time point at which normal playback and special playback should be started is defined on the Playltem time axis, and the main conversion unit 46 uses the EP_map in the Clip information corresponding to the MainClip to determine this playback time point. Convert to address in MainClip.
  • the sub-conversion unit 47 converts the playback time point on the Playltem time axis into a playback time point on the SubPlayltem time axis, and converts the playback time point on the SubPlayltem time axis after conversion into the SubClip address.
  • the conversion from the playback point on the Playltem time axis to the playback point on the SubPlayltem time axis by the sub conversion unit 47 is performed using Sync_Playltemjd and Sync_Start_PTS_of_PlayItem in the SubPlayltem information.
  • Conversion from the playback time point on the SubPlayltem time axis to the SubClip address is the process of finding the entry position closest to the random access position from the multiple entry positions indicated in the EP_map (0 and so on)
  • the process GO is to perform stream analysis using the obtained entry position as the starting point.
  • the former process is performed using EP_map that is associated with SubClip. Necessary power for random access of audio stream and secondary audio stream It can be omitted by random access of PG stream and IG stream, and whether or not stream analysis can be omitted is determined by referring to EP_stream_type. Does EP_map exist in the clip information, and is random access ensured properly? It is.
  • the PL playback control unit 48 controls the entire playback device to perform PL playback.
  • the PL playback is a control in which the MainClip in the BD-ROM and the SubClip in the local storage are played back in synchronization according to the Playltem information and SubPlayltem information in the PlayList information.
  • EPjnap is associated with MainClip and SubClip, and high speed random access for each AVClip is guaranteed. By applying this high-speed random access, PL re- In real life, "normal playback" and "special playback" are realized.
  • normal playback in PL playback refers to PlayC information that constitutes MainPath information in PlayList information and SubPlayltem information that constitutes SubPath information in MainClip and SubClip. Playback is based on the time axis and the SubPlayltem time axis.
  • Special playback in PL playback refers to Playltem information that constitutes MainPath information in PlayList information and SubPlayltem information that constitutes SubPath information in MainClip and SubClip. Rewind ⁇ Chapter search ⁇ Time search is executed.
  • PSR set 49 is a non-volatile register built in the playback device. It consists of 64 Player Status Registers (PSR (l) to (64) and 4096 General Purpose Registers (GPR)). The 64 Player Status Registers (PSR) indicate the status of the playback device, such as the current playback time, etc. 64 PSR (PSR (5) to PSR out of PSR (1) to (64)) (8) indicates the current playback time, PSR (5) is set to a value between 1 and 999, indicating the chapter number to which the current playback time belongs, and set to OxFFFF This indicates that the chapter number is invalid for the playback device!
  • PSR (6) is set to a value between 0 and 999 to indicate the number of the PlayList (current PlayList) to which the current playback point belongs.
  • PSR (7) is set to a value between 0 and 255 to indicate the number of the Play Item (hereinafter referred to as current PI) to which the current playback point belongs.
  • PSR (8) is set to a value between 0 and OxFFFFFF to indicate the current playback point (current PTM) with a time accuracy of 45 KHz.
  • a program for causing a computer to execute the playback procedure shown in FIG. 30 may be created.
  • both normal playback and special playback in PL playback are played back from arbitrary coordinates on the Playltem time axis. Since the start is based on the assumption of jump-in reproduction, the reproduction apparatus may be instructed to perform control for realizing this jump-in reproduction.
  • FIG. 30 is a flowchart showing a control procedure in the case of performing reproduction reproduction of an arbitrary coordinate force on the Playltem time axis.
  • Offset a representing coordinates on the Playltem time axis is calculated (Step S1), and Offset ⁇ is converted to coordinates (In_time + Offset ⁇ ) on the MainClip time axis (Step S2). If the coordinates on the MainClip time axis are obtained in this way, the coordinates (In_time + Offset a) on the MainClip time axis are converted to the address ⁇ using the EP_map of the MainClip (step S3)
  • EP_stream_type is a value other than 3,4,6,7 (No in step S4), it means that EP_stream_type is invalid if it is! If EP_stream_type is invalid, it is unknown how often the entry position and entry time exist in the Out-of-MUX stream, so it may take a lot of time to specify the access position. is expected. Then, random access to SubClip is considered to be very time consuming, and if this is to be played back in synchronization with MainClip, playback of MainClip will be significantly delayed. In order to avoid this, random access on the SubClip side is abandoned in advance, and only the MainClip is read out as much as possible (Step S9). In this way, by limiting the target of random access to MainClip, a significant processing delay during random access can be avoided.
  • Figure 31 shows how the random access position is determined using the EP_map set as shown in Figure 25. It is the figure which showed typically whether it specifies.
  • the procedure for identifying the random access position shown in FIG. 31 will be described with reference to FIG. Note that FIG. 31 is drawn assuming that the designated jump position happens to be designated as the entry position in the MainClip and SubClip. If the specified jump position is the position of Offset ⁇ on the Playltem time axis, the origin of the playlist time axis is in the In_time of the MainClip time axis, so the jump position for the MainClip is In_time + Offset ⁇ , this position is converted to SPN, and SPN is converted to the number of sectors.
  • the Offset a on the Playltem time axis is at the position of Sync_Start_PTS_of_PlayItem + Offset j8 on the SubPlayltem time axis. This is because the origin of the SubPlayltem time axis exists at a position separated by Sync_Start_PTS_of_PlayItem from the origin of the P1 ayltem time axis. If Offset j8 is calculated in this way, the coordinates of the jump position on the SubClip time axis are calculated.
  • FIG. 32 is a flowchart showing a processing procedure for converting the coordinates TM on the MainClip and SubClip into addresses.
  • the time widths indicated by PTS_EP_High of EP_High are added together, and it is determined at what EP_High_id the total repulsive force 3 ⁇ 4_time of the time width is exceeded (step S l l).
  • the time width indicated by PTS_EP_High is a unit of time having PTS_EP_High as the upper bits. If the total repulsive force ln_time of the time width is exceeded in the kth EP_Highjd, this k is stored (step S12).
  • the entry point closest to In_time is specified by the combination of k-1 and h-1 obtained in this way.
  • the SPN at the position corresponding to the coordinate TM is calculated from the combination of SPN_EP_High and SPN_EP ⁇ ow at the entry point thus obtained, and the SPN is converted into a sector address (step S15).
  • SPN is the serial number of the TS packet
  • SPN is the serial number of the TS packet
  • TS packets are converted into one Aligned Unit every 32 packets and recorded in 3 sectors, so the quotient is obtained by dividing the SPN by 32, and the quotient is calculated.
  • the sector address of the Aligned Unit closest to the SPN can be obtained. Since the sector address thus obtained is the relative sector number from the beginning of one AV Clip file, the sector corresponding to the entry point can be specified by setting this relative sector number in the file pointer.
  • Step S16 is a determination of whether EP_stream_type in the EP_map of the SubClip is 3,4, 6, or 7. If EP_stream_type is 6 (PG stream) or 7 (IG stream), it is considered that the head position (PCS, I CS) of Display Set other than Normal Case exists at the entry point closest to the coordinate TM. It is done. Since this Display Set has all the functional segments necessary for screen composition, the address obtained by the conversion in Step S15 is set as the address 13 which is the access position (Step S17).
  • the address of the PES packet to be used is set as the access position address j8 (step S20).
  • the address ⁇ 8 is specified, the power is reproduced and the sound reproduction is realized.
  • FIG. 33 the processing in this flowchart will be specifically described with reference to FIGS. 33 and 34.
  • Fig. 33 is a diagram showing the relationship between variables k, h and random access positions when SubClip is a primary audio stream and a secondary audio stream.
  • the first row in the figure shows PTS_EP_High that constitutes EP_map, and the second row shows PTS_EP ⁇ that constitutes EP_map. Indicates w.
  • the third level shows the TS packet sequence.
  • k indicates the minimum PTS_EP_High exceeding the random access position
  • h indicates the minimum PTS_EP_ow exceeding the random access position.
  • FIG. 34 is a diagram showing the relationship between variables k, h and random access positions in the case of a SubClip force PG stream and an IG stream.
  • the first level of this figure shows PTS_EP_High that constitutes EP_map, and the second level shows PTS_EP_ow that constitutes EP_map.
  • the third row shows the TS packet sequence.
  • k indicates the minimum PTS_EP_High exceeding the random access position
  • h indicates the minimum PTS_EP_ow exceeding the random access position.
  • the playback apparatus since EP_stream_type is provided in the EP_map corresponding to the SubClip, the playback apparatus has a predetermined time interval with the EP_map power of the Out-of-MUX stream. It is possible to know whether it is the one that has designated the address of the independent playback unit. It is possible to know how the characteristics of the EP_map on the Out-of-MUX stream side are! /, So it is possible to immediately determine whether high-speed random access is possible. Even if synchronization between MainClip and SubClip is attempted, there is no response drop, so jump-in playback for playlists consisting of MainPath + SubPath is achieved with the same level of response as jump-play for MainPath alone can do.
  • the present invention relates to improvements when realizing Picture in Picture (PiP) playback.
  • the MainClip that configures a moving image is specified by the MainPath information in the PlayList information
  • the SubClip that configures another moving image is specified by the SubPlayltem information in the PlayList information.
  • a moving image (Primary Video) and the latter moving image (Secondary Video) are displayed on the same screen.
  • FIG. 35 is a diagram showing an example of PiP playback.
  • Primary Video is a playback image of an HD image
  • Secondary Video is an SD image.
  • FIG. 36 (a) is a diagram showing a comparison between an HD image and an SD image.
  • HD images have a resolution of 1920 x 1080 and, like film material, have a 3750 (or 3753 force 3754) clock frame interval.
  • SD images have a resolution of 720 x 480 and have a display interval of 1501 clocks, similar to NTSC material, or a frame interval of 1800 clocks, similar to PAL material.
  • the resolution of the SD image is about 1/4 of the resolution of the HD image, so when the Primary Video that is an HD image and the Secondary Video that is an SD image are displayed on the same screen, Secondary Video is about 1/4 the size of Primary Video.
  • FIG. 36 (b) is a diagram showing how Secondary Video is enlarged or reduced. Secondary Vid eo is scaled according to the Scalling Factor. This Scalling Factor is given as a magnification factor of 1 / 4x, 1 / 2x, 1.5x, and 2x. The playback device enlarges / reduces the Secondary Video in the vertical direction according to this Scalling Factor. Also, in the horizontal direction, enlargement / reduction is performed so that the original aspect ratio of the SD image is maintained.
  • an AVClip recorded on a BD-ROM constitutes the Primary Video described above. Because Primary Video is large in size, it is best to distribute large media.
  • SubClip that constitutes Secondary Video, and PlayList information that regulates synchronization between Primary Video and Secondary Video are transmitted to the playback device through the network and recorded in the local storage.
  • FIG. 37 is a diagram showing recorded contents of the local storage according to the second embodiment.
  • This figure shows the local storage configuration in the same notation as in FIG. This figure differs from FIG. 11 in that the SubClip (00002.m2ts) recorded in the local storage is the Secondary Video stream, and the Clip information (00002.clpi) is the EP_map for this Secondary Video stream. It is a point to have! /.
  • the SubClip (00002.m2ts) recorded in the local storage is the Secondary Video stream
  • the Clip information (00002.clpi) is the EP_map for this Secondary Video stream. It is a point to have! /.
  • FIG. 38 is a diagram showing an internal configuration of Clip information recorded in the local storage in the second embodiment.
  • This Clip information is Clip information for the Secondary Video stream. Lead lines cu2, cu3, cu4, and cu5 in the figure close up the internal structure of EP_map in this Clip information.
  • the EP_map shown in these lead lines has the same configuration as that shown in Fig. 8, and the EP_map for Secondary Video uses the beginning of each access unit (GOP) making up the Secondary Video stream as the entry position. , Corresponding to the entry time. Even though it is S econdary Video, this EPjnap is intended for moving images, so the time interval between entry times is less than 1 second, and EP_stream_type is “l: Video Type” as in FIG. Is set to
  • FIG. 39 is a diagram showing EPjnap set for the Secondary Video stream in the same notation as FIG.
  • PiP playbacks that are configured with static synchronization and those that are configured with dynamic synchronization.
  • the PiP playback application consisting of the primary video, which is the main part of the movie work, and the secondary video, which is a commentary video, is composed of the former static PiP playback.
  • FIG. 40 is a diagram showing PlayList information defining static PiP playback.
  • the PlayList information that defines PiP playback by static synchronization can define multiple SubPath information within it (Multi-SubPath), and multiple SubPlayltem information (Mu Iti-SubPlayltem) can be defined.
  • the SubPlayltem information in this figure has new information elements called PiP_Position and PiP_Size. Each information element is set as follows.
  • SubPlayl ⁇ Blueprint's “slip-information-file-name” can be used to describe the file name of the primary video and AV clip.
  • Sub_PlayItem_In_time indicates a playback time point which is a start time point of Sub Play lm on the time axis of SubClip as Secondary Video.
  • Sub_PlayItem_Out_time indicates the playback time point that is the end time point of the Sub Platform on the time axis of the SubClip that is the Secondary Video.
  • Sync_Start_Pts_of_PlayItem is time information, and when playing the Playltem specified by Sync_PlayItem_Id, the playback of the playback section (SubPlayltem) specified by the SubPlayltem information starts after how many seconds have passed since the Playltem playback started. Indicates what to do.
  • PiP_Position indicates the position where the secondary video playback video should be placed using the X and Y coordinates on the screen plane for primary video playback.
  • PiP_Size indicates the vertical size and horizontal size of the secondary video playback video.
  • FIG. 41 is a diagram showing how the synchronization between the MainClip that is the Primary Video and the SubClip that is the Secondary Video is defined by the PlayList information in the same notation as in FIGS. 25 and 26.
  • SubClip which is a secondary video
  • EPjnap is provided with EPjnap, and it is guaranteed that high-speed random access can be performed with a time accuracy of less than 1 second!
  • the PlayList information defines the synchronization between the Main Video that is the Primary Video and the SubClip that is the Secondary Video.
  • Secondary Video is also fast-forwarding' Rewinding 'is realistic, so it is realistic to set up EP_map in SubClip and fast-forwarding to Primary Video' When rewinding, the secondary video is also fast-forwarded and rewinded.
  • Dynamic synchronization refers to the point in time on the Playltem time axis corresponding to the Primary Video stream (MainClip) that the playback of the SubPlayltem corresponding to the Secondary Video stream (SubClip) starts. This means that it changes dynamically.
  • the application image envisioned by the creator is as follows.
  • Figures 42 (a) to 42 (c) are diagrams showing applications based on dynamic synchronization.
  • FIG. 42 (a) The video content of Primary Video in this application is as shown in Fig. 42 (a).
  • Each button shown in Fig. 42 (a) is a button with a thumbnail image of a moving image (thumbnail button) and has three states: a normal state, a selected state, and an active state. Then, when any of these thumbnail buttons is in the selected state (Fig. 42 (b)), instead of the selected thumbnail, the playback video of the Secondary Video is inserted and played back (Fig. 42 (c)
  • the creator shall have the concept of)!
  • the starting point of Secondary Video playback varies depending on the user at the time of playback, which is “dynamic synchronization”.
  • an operation for setting any thumbnail to the selected state in this case, a button selection operation
  • a lock operation an operation for setting any thumbnail to the selected state (in this case, a button selection operation) is referred to as a lock operation.
  • FIG. 43 shows the internal structure of PlayList information that defines PiP playback based on dynamic synchronization.
  • PlayList information that defines PiP playback by dynamic synchronization can define a plurality of SubPath information (Mult to SubPath). However, within each SubPath information, the power of one SubPlayltem information cannot be defined (Single-SubPlayItem).
  • the SubPlayltem information in this figure has information elements such as PiP_Position and PiP_Size, as in FIG. Of these, the settings for Clip_information_file_name of SubPlayltem information, SubPalyltem. In-time, SubPalyltem-Out-time, Sync-Playltem-Id, PiP-Position, and PiP-Size are the same as in FIG. The difference is the setting of Sync_Start_Pts_of_PlayItem.
  • Sync_Start_Pts_of_PlayItem is set with an indefinite value. This undefined value indicates that the time point when the lock operation is performed by the user on the Playltem time axis specified by Sync.Playltemjd is determined as the synchronization point with the Playltem specified by Sync_PlayItem_Id. Show.
  • the playback device When the playback device refers to the PlayList information in FIG. 43, the playback device writes in the Sync_Start_PTS_of_PlayItem as the lock operation time when the playback has elapsed when the thumbnail button force selected state is automatically activated and automatically enters the active state. If is activated, Secondary Video playback will start from the point when the thumbnail becomes active. This procedure should be performed only when selecting a thumbnail button 'automatically determined', that is, it is specific to a thumbnail button, so it is desirable to describe it using a navigation command that defines the controls specific to the thumbnail button.
  • FIG. 44 is a diagram showing an internal configuration of a playback apparatus according to the second embodiment. This figure shows the paper Therefore, the components related to the audio decoder are omitted.
  • This diagram is based on the configuration diagram of the playback device shown in Fig. 29, and the same reference numerals are assigned to common components. Among these common components, Transport Buffer 5, Multiplexed Buffer 6, Coded Picture Buffer 7, Video Decoder 8, Decoded Picture Buffer 10 and Primary Video plane 11 are responsible for decoding the Primary Video stream in the second embodiment. Fulfill.
  • the hardware configuration of the playback apparatus according to FIG. 44 that decodes the Secondary Video stream includes Transport Buffer 51, Multiplexed Buffer 52, Coded Picture Buffer 53, Video Decoder 54, Decoded Picture Buffer 55, and Secondary Video plane. 56, a scaler 57, and a combining unit 58 are provided. In the following, these newly added components will be explained.
  • Transport Buffer (TB) 51 is used when TS packet belonging to Secondary Video stream (SubClip) is output from PID filter 35. , And the accumulated buffer.
  • the Multiplexed Buffer (MB) 52 is a buffer for storing PES packets when outputting the Secondary Video stream from the Transport Buffer 51 to the Coded Picture Buffer 53.
  • Coded Picture Buffer (CPB) 53 is a picture (I picture, B picture,
  • the video decoder 54 obtains a plurality of frame images by decoding each frame image of the Secondary Video stream at every predetermined decoding time (DTS), and writes it into the Decoded Picture Buffer 55.
  • DTS decoding time
  • the Decoded Picture Buffer 55 is a buffer in which a decoded picture is written.
  • the Secondary Video plane 56 stores the playback video obtained by decoding the Secondary Video.
  • the Scaller 57 enlarges or reduces the playback video obtained on the Secondary Video plane 56 based on the vertical and horizontal sizes indicated by the PiP_Size of the SubPlayltem information.
  • the synthesizing unit 58 displays the enlarged or reduced playback video that has been generated by the Scaller 57 and the video decoding.
  • PiP playback is realized by combining the playback video obtained by the recorder.
  • the primary video playback video and the secondary video playback video are combined by the combining unit 58 in accordance with the PiP_Position defined in the sub play information.
  • a composite video in which the primary video playback video and the secondary video playback video are combined is played back.
  • chroma composition, layer composition, etc. are possible. It is also possible to remove the background in the secondary video and extract the person part, and then compose it with the playback video of the primary video. .
  • the PID filter 35 is supplied to the i and S sockets and Transport Buffers 5 to secondary Video plane 56 that constitute the Secondary Video stream. To do.
  • the above is the hardware component of the playback device.
  • a Sync setting unit 50 is set as a functional component.
  • the Sync setting unit 50 determines whether or not Sync_Start_PTS_of_PlayItem in the SubPlayltem information is an indeterminate value, and if it is an indefinite value, only the playback section specified by the Playltem information is played out of the MainClip.
  • an operation that determines the start point of the synchronization interval is accepted. This acceptance is made via a remote controller.
  • the indeterminate value in SynPlay_Start_PTS_of_PlayItem of SubPlayltem information is overwritten using time information indicating the time of the lock operation.
  • the lock operation is realized by an operation of selecting any button appearing on the playback video of the MainClip, the time when the selection operation of the button is performed is set as the time of the lock operation.
  • Sync_Start_PTS_of_PlayItem is set in this way, the PL playback control unit 48 performs playback control so as to play the Playltem set for Primary Video and the SubPlayltem set for Secondary Video. As a result, PiP playback by dynamic synchronization can be realized.
  • the PL playback controller 48 plays back the Playltem set for the Primary Video and the SubPlayltem set for the Secondary Video. By performing the control, PiP playback with static synchronization can be realized.
  • FIG. 45 is a flowchart showing a control procedure in the case of performing a jumping reproduction of an arbitrary coordinate force on the Playltem time axis. This flowchart is created based on the flowchart of FIG. This figure is the same as FIG. 30 except that steps S4 to S8 are replaced by steps S31 to S35.
  • step S31 it is determined semi-U whether or not the EP_stream_type in the EP_map of the SubClip is Video Type.
  • step S31 if EP_stream_type in EP_map of SubClip is not Video Tyte: l, steps S4 to S8 in FIG. 30 are executed.
  • FIG. 46 is a diagram depicting random access to MainClip and random access to SubClip in the same notation as FIG.
  • the SubClip which is a secondary video, has an entry position specified at a time interval of less than 1 second, and this is used for random access to the SubClip. Random access to SubClip Random access to MainClip is performed at the same processing speed, so jumping playback to MainClip and also jumping playback to SubClip Can be synchronized.
  • the program according to the present invention can be created as follows. First, the software developer uses a programming language to write a source program that implements each flowchart and functional components. In this description, the software developer uses a class structure, variables, array variables, and external function calls according to the syntax of the programming language to create a source program that implements each flowchart or functional component. Describe.
  • the described source program is given to the compiler as a file.
  • the compiler translates these source programs to generate an object program.
  • Translation by the compiler consists of processes such as syntax analysis, optimization, resource allocation, and code generation.
  • syntax analysis lexical analysis, syntax analysis, and semantic analysis of the source program are performed, and the source program is converted into an intermediate program.
  • optimization intermediate programs Then, basic blocks, control flow analysis, and data flow analysis are performed.
  • resource allocation variables in the intermediate program are allocated to registers or memory of the processor of the target processor in order to adapt to the instruction set of the target processor.
  • code generation each intermediate instruction in the intermediate program is converted into program code to obtain an object program.
  • the object program generated here is composed of one or more program codes that cause a computer to execute each step of the flowcharts shown in the embodiments and individual procedures of functional components.
  • program codes such as a processor native code and JAVA (registered trademark) bytecode.
  • JAVA registered trademark
  • the programmer activates the linker for these.
  • the linker allocates these object programs and related library programs in the memory space, and combines them into one to generate a load module.
  • the load module generated in this way is premised on reading by a computer, and causes the computer to execute the processing procedure shown in each flowchart and the processing procedure of functional components.
  • the program according to the present invention can be created through the above processing.
  • the load module corresponding to the program is written in the instruction ROM together with the basic input / output program (BIOS) and various middleware (operation system).
  • BIOS basic input / output program
  • middleware operation system
  • the playback device is a model with a built-in hard disk
  • a basic input / output program (BIOS) is built into the instruction ROM, and various middleware (operation system) is preinstalled on the hard disk.
  • middleware operation system
  • the playback device performs bootstrap with the boot ROM, starts up the operation system, causes the CPU to execute the application as one application, and uses the program according to the present invention.
  • the hard disk model playback apparatus can use the program of the present invention as one application, the program according to the present invention can be transferred alone, lent, or supplied through a network.
  • a system LSI is a device in which a bare chip is mounted on a high-density substrate and packaged.
  • System LSIs that have multiple bare chips mounted on a high-density substrate and knocked to give the bare chip an external structure similar to that of one LSI are also included in this system LSI (this Such a system LSI is called a multichip module;).
  • QFP tunnel flood array
  • PGA pin grid array
  • QFP is a system LSI with pins attached to the four sides of the package.
  • a PGA is a system LSI with many pins attached to the entire bottom surface.
  • pins serve as an input / output interface with the drive unit, an input interface with the remote control unit, an interface with the TV, and an interface with the IEEE1394 interface and PCI bus. Since pins in the system LSI have such an interface role, the system LSI reproduces by connecting the drive device and other circuits of the playback device to these pins in the system LSI. Serves as the core of the device.
  • the bare chip packaged in the system LSI is an instruction ROM, CPU, decoder LSI or the like that embodies the function of each component shown as an internal configuration diagram in each embodiment.
  • the load module As described earlier in “Use as embedded program”, the load module, basic input / output program (BIOS), and various middleware (operation system) are written in the instruction ROM.
  • the load module corresponding to this program is created in particular, so the system ROM according to the present invention is produced by packaging the instruction ROM storing the load module corresponding to the program as a bare chip. be able to.
  • the buses connecting circuit elements, ICs, LSIs, their peripheral circuits, external interfaces, etc. will be defined. Furthermore, connection lines, power supply lines, ground lines, clock signal lines, etc. will be defined. In this regulation, the circuit diagram is completed while adjusting the operation timing of each component taking into account the LSI specs and making adjustments such as ensuring the required bandwidth for each component. .
  • Mounting design refers to where on the board the parts on the circuit diagram (circuit elements, ICs, LSIs) created by circuit design are placed, or how the connection lines on the circuit diagram are placed on the board. This is the work to create a board layout that determines whether to wire to the board.
  • the mounting design includes automatic placement and automatic wiring.
  • this automatic placement can be realized using a special algorithm called the “centroid method”.
  • this wiring process can be realized using a special algorithm called “maize method” or “line search method”.
  • the mounting design result is converted to CAM data and output to equipment such as an NC machine tool.
  • NC machine tools perform SoC implementation and SiP implementation based on this CAM data.
  • SoC (System on chip) mounting is a technology that burns multiple circuits on a single chip.
  • SiP (System in Package) mounting is a technology that combines multiple chips into a single package using grease.
  • the integrated circuit generated as described above is sometimes called an IC, LSI, super-LSI, or unroller LSI depending on the degree of integration.
  • each playback device may be configured as a single chip.
  • the integrated circuit may be realized by a dedicated circuit or a general process, not limited to the SoC implementation and SiP implementation described above. It is conceivable to use Field Programmable Gate Array (FPGA) that can be programmed after LSI manufacturing, or a silicon figureable 'processor that can reconfigure the connection and setting of circuit cells inside the LSI.
  • FPGA Field Programmable Gate Array
  • a silicon figureable 'processor that can reconfigure the connection and setting of circuit cells inside the LSI.
  • integrated circuit technology that replaces LSI emerges as a result of advances in semiconductor technology or derived technologies, it is natural that functional blocks may be integrated using this technology. For example, biotechnology can be applied.
  • the recording medium according to the present invention has been described as a hard disk.
  • the recording medium of the present invention is characterized by EP_map and EP_stream_type to be recorded. It does not depend on physical properties. Any recording medium may be used as long as it records EP_map and EP_stream_type and is used with BD-ROM.
  • it may be a semiconductor memory card such as a compact flash (registered trademark) card, smart media, memory stick, multimedia card, and PCM-CIA card.
  • Magnetic recording disks such as flexible disks, SuperDisk, Zip, Clik! (0, ORBJaz.SparQ, SyJet, EZFley, removable hard disk drives (ii) such as microdrives may be used.
  • the digital stream in each embodiment is an AVClip of the BD-ROM standard, but may be a VOB (VideoObject) of the DVD-Video standard or the DVD-Video Recording standard.
  • VOB is an ISO / I obtained by multiplexing video and audio streams.
  • the program stream conforms to the EC13818-1 standard.
  • the video stream in AVClip may be MPEG4 or WMV format.
  • the audio stream may be a Linear-PCM system, a Dolby-AC3 system, an MP3 system, an MPEG-AAC system, or a dts system.
  • Fig. 47 (a) is a diagram showing playback control when realizing PiP playback by dynamic synchronization.
  • One arbitrary point on the Playltem time axis is set as the SubPlayltem synchronization point. Therefore, when the current playback time reaches the time specified by Sync_Start_PTS_of_PlayItem, the secondary video decoding is started and the secondary video playback video is combined with the primary video playback video.
  • Fig. 47 (b) shows the case where the lock point passes by normal playback ⁇ the lock point passes by rewinding ⁇ the lock point passes by normal playback, and the lock point goes back and forth. It is a figure which shows how PiP reproduction
  • FIG. 47 (c) is a diagram illustrating PiP playback when the Secondary Video playback section is later than the end of the Primary Video playback section. In this case, the display of the last picture of the Primary Video may be continued until the Secondary Video playback ends. When the primary video playback ends, the secondary video playback may end.
  • the MainClip Primary Video specified by the MainPath information in the PlayList information and the SubClip Secondary Video specified by the SubPlayltem information in the PlayList information are displayed on separate screens. May be. Also, Primary Video may be composed of SD images and Secondary Video may be composed of HD images.
  • the primary video MainClip is supplied on the BD-ROM
  • the secondary video SubClip is supplied on the local storage 200
  • the secondary video SubClip is stored on the BD-ROM. It may be recorded and supplied to the playback device together with MainClip as the primary video.
  • the Secondary Video stream and the Primary Video stream may be multiplexed into one AVClip.
  • the recording medium and the playback device according to the present invention may be used for personal purposes such as use in a home theater system.
  • the internal configuration of the present invention is disclosed in the above-described embodiment, and it is clear that mass production is based on this internal configuration, the recording medium and the playback device according to the present invention are produced in the industrial product production field. Or can be used. For this reason, the recording medium and the reproducing apparatus according to the present invention have industrial applicability.

Abstract

　PlayList情報が記録されたBD-ROMであり、PlayList情報は、複数AVClipのそれぞれに対し、再生区間を定義する情報であり、MainPath情報、SubPath情報を含み、前記MainPath情報は、複数AVClipのうち1つを、MainClipとして指定して、そのMainClipに対し、主たる再生区間を定義する情報であり、SubPath情報は、複数AVClipのうち他の1つを、SubClipとして指定して、そのSubClipに対し、前記主たる再生区間と同期すべき、従たる再生区間を定義する情報であり、BD-ROMには、複数のAVClipのうち、SubClipとして指定されたものが、EP_mapと対応づけられた形で記録されており、このEP_mapは、SubClipの時間軸における複数のエントリー時刻を、SubClipにおける複数のエントリー位置と対応づけて示している。

Description

明 細 書
記録媒体、再生装置、プログラム、再生方法
技術分野
[0001] 本発明は、同期型アプリケーション技術の技術分野に属する発明である。
背景技術
[0002] 同期型アプリケーション技術とは、別々の記録媒体に記録されて 、る複数のデジタ ルストリームを再生して、これらの同期を規定することにより、あたかも、 1つの映画作 品が再生されて!、るように、ユーザにみせかける技術である。
同期型アプリケーションを構成するデジタルストリームには、メインストリーム、サブス トリームといった類型がある。ここでメインストリームとは、高画質な動画像を含むデジ タルストリームをいう。一方サブストリームは、高画質な動画像を含まないデジタルスト リームいう。メインストリームは、 BD- ROMといった大容量光ディスク上に記録してユー ザに供給され、サブストリームはインターネット等を通じてユーザに供給される。
[0003] 映画作品の構成要素となるデジタルストリームを、別々の供給媒体を用いて、ユー ザに供給することができるので、映画作品のノ リエーシヨン制作の自由度が増し、 1つ の映画作品から、様々な再生のノ リエーシヨンを、産み出すことができる。
尚、同期型アプリケーション技術については、以下の特許文献に記載された先行 技術がある。
特許文献 1：特開 2002-247526号公報
発明の開示
発明が解決しょうとする課題
[0004] ところで民生用の家電機器力 上述した同期型アプリケーションを再生の対象にす る場合、この同期型アプリケーションに対する特殊再生を、どのように実現するかが、 問題になる。特殊再生とは、早送り '巻戻し 'チヤプタサーチ ·タイムサーチといった機 能であり、デジタルストリームに対する、 "ランダムアクセス"を前提にして実現される。 ランダムアクセスとは、デジタルストリームがもつ時間軸上の任意の一時点を、デジタ ルストリーム上の記録位置に変換して、その記録位置にアクセスする技術である。上 述したような同期型アプリケーションに対し、特殊再生を実行しょうとする場合、メイン ストリームにおけるランダムアクセスを実行するだけでは足りず、サブストリームに対し ても、ランダムアクセスを実行する必要がある。
[0005] サブストリームは、音声やグラフィクス、標準画質の動画等の様々なデータ客体が、 再生の対象になりうる。一般に、高画質動画像を含むメインストリームは、 GOP(Group Of Picture)のように単独デコード可能な単位をもっている力 サブストリームは、この GOPに相当する単位をもっているとは限らない。また、もっていたとしても、表示レート やサンプリング周波数、ビットレートが全く異なることが大多数である。
[0006] 表示レートやサンプリング周波数、ビットレートや、独立再生可能な単位がそれぞれ のサブストリーム毎に違うので、ランダムアクセスを実行するにあたって、メインストリー ム並みに、サブストリーム側のランダムアクセスを高速に行える保証はどこにもない。 そうすると、サブストリーム側の再生をなかなか開始することができず、サブストリーム 側の再生開始が、際立って遅れることも有り得る。
[0007] 同期型アプリケーションでは、メインストリームとサブストリームとの同期を意図してい るので、サブストリームの再生開始が遅れれば、これにつられて、メインストリーム側の 再生開始を遅らさざるを得ず、その結果、ユーザが再生を命じてから、再生を開始す るにあたってのレスポンスが極端に遅れる。
本発明の目的は、サブストリームのランダムアクセスを、メインストリームのランダムァ クセスと同時に実行する場合のレスポンス低下を防止することができる記録媒体、及 び、再生装置を提供することである。
課題を解決するための手段
[0008] 上記目的を達成するため、本発明に係る記録媒体は、プレイリスト情報が記録され た記録媒体であって、前記プレイリスト情報は、複数デジタルストリームのそれぞれに 対し、再生区間を定義する情報であり、メインパス情報、サブパス情報を含み、前記メ インパス情報は、複数デジタルストリームのうち 1つを、メインストリームとして指定して 、そのメインストリームに対し、主たる再生区間を定義する情報であり、前記サブパス 情報は、複数デジタルストリームのうち他の 1つを、サブストリームとして指定して、そ のサブストリームに対し、前記主たる再生区間と同期すべき、従たる再生区間を定義 する情報であり、
前記記録媒体には、複数のデジタルストリームのうち、サブストリームとして指定され たものが、エントリーマップと対応づけられた形で記録されており、前記エントリーマツ プは、サブストリームの時間軸における複数のエントリー時刻を、サブストリームにお ける複数のエントリー位置と対応づけて示す、ことを特徴として 、る。
発明の効果
[0009] サブストリームたるデジタルストリームに、エントリーマップを設けているので、このェ ントリーマップを用いることにより、サブストリームの任意の位置への高速ランダムァク セスを実行することができる。
高速ランダムアクセスがなされることを前提にして、メインストリームとサブストリームと の同期が、プレイリスト情報に規定されているので、ストリーム同期を前提にしたアプリ ケーシヨンにおいて、再生装置は、ユーザ操作に即応した頭出し再生や倍速再生を 実現することができる。
[0010] これにより、メインストリーム、サブストリームを組み合わせたアプリケーションを、多く 世に送り出すことができる。
GOPが存在しないようなサブストリームであっても、高速なランダムアクセスが可能に なるので、サブストリームと、メインストリームとを組み合わせた映画作品に対し、ランダ ムアクセスを実行する場合でも、時間軸上の任意の箇所からの再生を高速に行うこと ができる。メインストリーム +サブストリームからなる映画作品の扱いが、メインストリー ムからなる映画作品の扱いと同じになるので、メインストリームにサブストリームを糸且み 合わせた、多彩な再生が可能になる。
[0011] ここでサブストリームにエントリーマップを設けたとしても、エントリーマップの時間精 度は自ずと変わって来る。
サブストリームの客体毎にエントリーマップの時間精度が違う場合、エントリー時刻 同士の間隔がどの程度であるか、またどのようなデータ位置がエントリー時刻として指 定されているかが不明になるので、どの程度、ストリーム解析を行えばよいかが未知 数になる。ストリーム解析がどれだけ必要になるかという上限が定まらないと、ランダム アクセスを実行するにあたって、メインストリーム並みに、サブストリーム側のランダム アクセスを高速に行える保証はどこにもない。そうすると、サブストリーム側の再生をな 力なか開始することができず、サブストリーム側の再生開始が、際立って遅れることも 有り得る。
[0012] こうした問題の解決にあたっては、
エントリーマップには、前記時間軸上の一定時間間隔置きに存在する複数のェント リー時刻、又は、デジタルストリームにおいて、一定のデータ間隔置きに存在する複 数のエントリー位置を示す第 1タイプのエントリーマップと、完結したデータ集合の先 頭にあたるエントリー位置を、エントリー時刻と対応づけて示す第 2タイプのエントリー マップとがあり、前記エントリーマップは、エントリーマップの類型力 第 1タイプである 力 第 2タイプであるかを示すフラグを含むようにするのが望ま 、。
[0013] 上述した構成において、フラグが第 1タイプを示している場合、エントリー位置は、一 定時間間隔置き、又は、一定データ間隔置きに存在していることを示す。これを参照 すれば再生装置は、ストリーム解析が必要であったとしても、せいぜい、ストリーム解 析を行うべき範囲は、その一定時間間隔、又は、その一定データ間隔の範囲であり、 ワーストケースであっても、この一定時間間隔、又は、一定データ間隔の範囲を解析 すれば、所望のアクセス点に到達すると理解することができる。
[0014] フラグが第 2タイプを示している場合、完結したデータ集合の開始点がエントリ一位 置として指定されていることを示す。これを参照すれば再生装置は、たとえエントリー 位置の間隔が不定長であっても、このエントリー位置になっている位置力もデータ集 合の読み出しを行い、再生に供すれば、所望の再生時点におけるデータ表示を実 現し得ると理解することができる。
[0015] フラグは、一定時間間隔、又は、一定データ間隔を上限としたストリーム解析が必要 であるか、ストリーム解析が一切不要であるかの判断を、再生装置に促すので、メイン ストリームに対するランダムアクセスと共に、サブストリームに対するランダムアクセス が必要になったとしても、再生装置に対して過剰な負担をかけることはない。かかる 負担軽減により、ユーザ操作に対するレスポンスを向上させることができる。
図面の簡単な説明
[0016] [図 1]本発明に係る記録媒体が使用される形態を示す図である。 [図 2]BD- ROMの内部構成を示す図である。
[図 3]拡張子. m2tsが付与されたファイルがどのように構成されているかを模式的に示 す図である。
[図 4]MainClipを構成する TSパケットがどのような過程を経て BD- ROMに書き込まれる かを示す図である。
[図 5]映画に用いられるビデオストリームの内部構成を示す図である。
[図 6] (a) IDRピクチャの内部構成を示す図である。
(b) Non-IDR Iピクチャの内部構成を示す。
(c) Non-IDR Iピクチャにおける依存関係を示す。
[図 7]IDRピクチャ、 Non-IDR Iピクチャが TSパケットに変換される過程を示す図である
[図 8]Clip情報の内部構成を示す図である。
[図 9]映画のビデオストリーム (application_type=l)に対する EP_map設定を示す図であ る。
[図 10]図 9における Entry Point#l〜Entry Point#7の PTS_EP_start、 SPN_EP_startを、
EP丄 ow、 EP_Highの組みで表現したものである。
[図 11]ローカルストレージの内部構成を示す図である。
[図 12]Primaryオーディオストリーム及び Secondaryオーディオストリームの内部構成を 示す図である。
[図 13]PGストリームの内部構成を示す図である。
[図 14]IGストリームの内部構成を示す図である。
[図 15]ローカルストレージ側の Clip情報のデータ構造を示す図である。
[図 16]Primaryオーディオストリーム、 Secondaryオーディオストリームに対して生成され る EP_mapを示す図である。
[図 17]PGストリーム時間軸に対して設定された EPjnapを示す図である。
[図 18]IGストリーム時間軸に対して設定された EP_mapを示す図である。
[図 19]PlayList情報のデータ構造を示す図である。
[図 20]AVClipと、 PlayList情報との関係を示す図である。 [図 21]PlayList情報の、 PlayListMark情報の内部構成を示す図である。
[図 22]PlayList情報の、 PlayListMark情報によるチャプター位置の指定を示す図であ る。
[図 23]Subpath情報の内部構成をクローズアップして示す図である。
[図 24]ローカルストレージ上の SubClipと、ローカルストレージ上の PlayList情報と、 BD
- ROM上の MainClipとの対応を示す図である。
[図 25]MainClipに対して設定された EPjnap及び Playltem時間軸と、 Primaryオーディ ォストリーム、 Secondaryオーディオストリームとなる SubClipに対し設定された EPjnap 及び SubPlayltem時間軸とを集約して示す図である。
[図 26]MainClipに対して設定された EPjnap及び Playltem時間軸と、 PGストリーム、 IG ストリームとなる SubClipに対し設定された EPjnap及び SubPlayltem時間軸とを集約し て示す図である。
[図 27]SubPlayItemの SubPathJ peと、 applicationj peと、 EP_stream_typeとの対応関 係を表形式に示す図である。
[図 28]再生装置 300により生成されるバーチャルファイルシステムを示す図である。
[図 29]本発明に係る再生装置の内部構成を示す図である。
[図 30]飛込再生の処理手順を示すフローチャートである。
[図 31]図 25のように設定された EPjnapを用いてランダムアクセス位置をどのように特 定するかを模式的に示した図である。
[図 32]MainClip、 SubClip上の座標 TMを、アドレスに変換する処理の処理手順を示す フローチャートである。
[図 33]SubClipが Primaryオーディオストリーム、 Secondaryオーディオストリームである 場合の、変数 k,h,ランダムアクセス位置の関係を示す図である。
[図 34]SubClip力PGストリーム、 IGストリームである場合の、変数 k,h,ランダムアクセス 位置の関係を示す図である。
[図 35]PiP再生の一例を示す図である。
[図 36] (a) HD画像と、 SD画像とを対比して示す図である。
(b) Secondary Videoがどのように拡大.縮小されるかを示す図である。 [図 37]第 2実施形態に係るローカルストレージの記録内容を示す図である。
[図 38]第 2実施形態において、ローカルストレージに記録されている Clip情報の内部 構成を示す図である。
[図 39]Secondary Videoストリームに対して設定された EP_mapを、図 9と同様の表記で 示した図である。
[図 40]静的な PiP再生を構成する、同期型アプリケーションを定義する PlayList情報を 示す図である。
[図 41]PlayList情報により、 Primary Videoたる MainClipと、 Secondary Videoたる SubCli Pとの同期がどのように定義されるかを、図 25、図 26と同様の表記で示した図である。
[図 42] (a)〜 (c)動的な同期を前提にした、アプリケーションを示す図である。
[図 43]動的な同期を前提にした PiP再生を定義する、 PlayList情報の内部構成を示す 図である。
[図 44]第 2実施形態に係る再生装置の内部構成を示す図である。
[図 45]PL再生を行うにあたっての処理手順を示すフローチャートである。
[図 46]MainClipに対するランダムアクセスと、 SubClipに対するランダムアクセスとを、 図 31と同様の表記で描いた図である。
[図 47] (a)動的同期による PiP再生を実現する場合の再生制御を示す図である。
[0019] (b)通常再生によるロック点の通過→卷戻しによるロック点の通過→通常再生によ るロック点の通過がなされて、ロック点の行き来が生じた場合、動的な同期による PiP 再生がどのように行われるかを示す図である。
(c) Primary Videoの再生区間の末尾より、 Secondary Videoの再生区間が後である 場合の、 PiP再生を示す図である。
符号の説明
[0020] 1 BDドライブ
2 Arrival time Clock Counter
3 Source de— packetetizer
4 PID Filter
5 Transport Buffer Multiplexed Buffer
Coded Picture Buffer ビデオデコーダ
Decoded Picture Buffer ビデオプレーン
Transport Buffer
Coded Data Buffer
Stream Graphics Processor
Object Buffer
Composition Buffer
Composition Controller
Presentation Graphicsプレーン
CLUT^
Transport Buffer
Coded Data Buffer
Stream Graphics Processor
Object Buffer
Composition Buffer
Composition Controller
Intaractive Graphicsプレ ~~ン
CLUT^
合成部
合成部
スィッチ
Network Device
スィッチ
Arrival Time し lockし ounter
Source De-Packetizer 35 PIDフィルタ
36 スィッチ
37 Transport Buffer
38 Elementary Buffer
39 オーディオデコーダ
40 Transport Buffer
41 ノ ッファ
42 オーディオデコーダ
43 ミキサー
44 シナリ才メモリ
45 制御部
46 メイン変換部
47 サブ変換部
48 PL再生制御部
49 PSRセット
発明を実施するための最良の形態
[0021] (第 1実施形態）
以降、本発明に係る記録媒体の実施形態について説明する。先ず始めに、本発明 に係る記録媒体の実施行為のうち、使用行為についての形態を説明する。図 1は、 本発明に係る記録媒体の、使用行為についての形態を示す図である。図 1において 、本発明に係る記録媒体は、ローカルストレージ 200である。このローカルストレージ 200は、再生装置 300に内蔵されているハードディスクである。このローカルストレー ジ 200は、 BD— ROM100と共に、再生装置 300、リモコン 400、テレビ 500により形成 されるホームシアターシステムに、映画作品を供給するという用途に供される。
[0022] ローカルストレージ 200は、再生装置に組み込まれ、映画配給者のサーバから配信 されたコンテンツの受け皿として、利用されるハードディスクである。
再生装置 300は、ネット対応型のデジタル家電機器であり、 BD-ROM100を再生す る機能をもつ。また、映画配給者のサーバから、ネットを通じてダウンロードしたコンテ ンッを、 BD-ROM100に記録されたコンテンツと組み合わせて、 BD- ROM100の拡張 を図る能力をもつ。
[0023] リモコン 400は、再生すべきチャプターの指定や、再生を開始すべき時間の指定を 受け付ける。
テレビ 500は、再生装置 300の再生映像を表示する。
BD- ROM100の記録内容に、ローカルストレージ 200の記録内容を組み合わせて
、 BD-ROM100に記録されていないデータを、恰も、記録されているように扱う技術を "バーチャルファイルシステム，，と 、う。
[0024] 本発明に係る記録媒体は、このような BD-ROM100との組み合わせを前提にして 構成されている。以上が、本発明に係る記録媒体の使用行為の形態である。
続いて、 BD- ROM100の内部構成と、ローカルストレージ 200の内部構成とを順に 説明する。
く BD- ROMの概要 >
図 2は、 BD- ROMの内部構成を示す図である。本図の第 4段目に BD- ROMを示し、 第 3段目に BD- ROM上のトラックを示す。本図のトラックは、 BD- ROMの内周から外周 にかけて螺旋状に形成されているトラックを、横方向に引き伸ばして描画している。こ のトラックは、リードイン領域と、ボリューム領域と、リードアウト領域とからなる。本図の ボリューム領域は、物理層、ファイルシステム層、応用層というレイヤモデルをもつ。 ディレクトリ構造を用いて BD- ROMの応用層フォーマット (アプリケーションフォーマット )を表現すると、図中の第 1段目のようになる。この第 1段目において BD- ROMには、 R ootディレクトリの下に、 BDMVディレクトリがある。
[0025] BDMVディレクトリの配下には、 PLAYLISTディレクトリ、 CLIPINFディレクトリ、 STREA Mディレクトリと呼ばれる 3つのサブディレクトリが存在する。
STREAMディレクトリには、 、わばデジタルストリーム本体となるファイル群を格納し ているディレクトリであり、拡張子 m2tsが付与されたファイル (00001.m2ts)が存在する。
PLAYLISTディレクトリは、拡張子 mplsが付与されたファイル (OOOOl.mpls)が存在す る。
[0026] CLIPINFディレクトリには、拡張子 clpiが付与されたファイル (OOOOl.clpi)が存在する 以降 BD- ROMの構成要素にあたる、 AVClip、 Clip情報、 PlayList情報について説明 する。
< BD- ROMの構成その 1.AVClip >
先ず初めに、拡張子. m2tsが付与されたファイルについて説明する。図 3は、拡張子 .m2tsが付与されたファイルがどのように構成されているかを模式的に示す図である。 拡張子. m2tsが付与されたファイル (00001.m2ts,00002.m2ts,00003.m2ts )は、 A
VClipを格納している。 AVClipは (第 4段目）、複数のビデオフレーム (ピクチャ pjl, 2,3) 力もなるビデオストリーム、複数のオーディオフレーム力もなるオーディオストリームを（ 第 1段目)、 PESパケット列に変換し (第 2段目)、更に TSパケットに変換して (第 3段目)、 これらを多重化することで構成される。図 3のように、動画を有している AVClipを特に 、 "MainClip"とよび、動画を有していない AVClipと区別する。
[0027] 続いて、 MPEG2-TS形式のデジタルストリームである MainClipが、 BD- ROMにどのよ うに書き込まれるかを説明する。図 4は、 MainClipを構成する TSパケットがどのような 過程を経て BD- ROMに書き込まれるかを示す。本図の第 1段目に MainClipを構成す る TSパケットを示す。
MainClipを構成する 188バイトの TSパケットは、第 2段目に示すように 4バイトの TS_ex trajieader (図中の「EX」）が付されて、 192バイト長になる。
[0028] 第 3段目、第 4段目は、 BD- ROMの物理単位と、 TSパケットとの対応関係を示す。
第 4段目に示すように、 BD- ROM上には複数セクタが形成されている。 extra.header 付き TSパケット (以下 EX付き TSパケットと略す)は、 32個毎にグループ化されて、 3つの セクタに書き込まれる。 32個の EX付き TSパケットからなるグループは、 6144バイト (=32 X 192)であり、これは 3個のセクタサイズ 6144バイト (=2048 X 3)と一致する。 3個のセク タに収められた 32個の EX付き TSパケットを" Aligned Unit"といい、 BD- ROMへの書き 込みにあたっては、 Aligned Unit単位で暗号化がなされる。
[0029] 第 5段目にお 、てセクタは、 32個単位で誤り訂正符号が付され、 ECCブロックを構 成する。再生装置は Aligned Unitの単位で BD- ROMをアクセスする限り、 32個の完結 した EX付き TSパケットを得ることができる。以上力 ¾D- ROMに対する MainClipの書き 込みのプロセスである。
< AVClipの説明その 1.ビデオストリーム >
ビデオストリームの内部構成について説明する。
[0030] 図 5は、映画に用いられるビデオストリームの内部構成を示す図である。図 5におけ るビデオストリームは、符号ィ匕順序に配置された複数のピクチャ力もなる。
図中の Ι,Ρ,Βは、それぞれ Iピクチャ、 Βピクチャ、 Ρピクチャを意味する。 Iピクチャには 、 IDRピクチャと、 Non-IDR Iピクチャとの 2種類がある。 Non-IDR Iピクチャ、 Pピクチャ 、 Bピクチャは、他のピクチヤとのフレーム相関性に基づき圧縮符号ィ匕されている。 B ピクチャとは、 Bidirectionallypredictive(B)形式のスライスデータからなるピクチャをい い、 Pピクチャとは、 Predictive(P)形式のスライスデータからなるピクチャをいう。 Bピク チヤには、 refrenceBピクチャと、 nonrefrenceBピクチャとがある。
[0031] 図 5では、 Non-IDR Iピクチャを "I"と記述しており、 IDRピクチャを" IDR"と記述して いる。以降、同様の表記を用いる。以上が映画に用いられる、ビデオストリームである 続いて IDRピクチャ及び Non-IDR Iピクチャの内部構成について説明する。図 6 (a) は、 IDRピクチャの内部構成を示す図である。本図に示すように IDRピクチャは、複数 の Intra形式のスライスデータからなる。図 6 (b)は、 Non- IDR Iピクチャの内部構成を 示す。 IDRピクチャ力 lntra形式のスライスデータのみから構成されているのに対し、 No n-IDR Iピクチャは Intra形式のスライスデータ、 P形式のスライスデータ、 B开式のスラ イスデータ力も構成されている。図 6 (c)は、 Non-IDR Iピクチャにおける依存関係を 示す。 Non- IDR Iピクチャは、 Β,Ρスライスデータから構成されうるので、他のピクチヤと の依存関係をもちうる。
< AVClipの説明その 2.BD- ROMへの記録 >
続いて IDRピクチャ、 Non-IDR Iピクチャが、どのようにして TSパケットに変換され、 B D- ROMに記録されるかについて説明する。図 7は、 IDRピクチャ、 Non-IDR Iピクチャ が TSパケットに変換される過程を示す図である。図中の第 1段目は、 IDRピクチャ、 No n-IDR Iピクチャを示す。第 2段目は、 MPEG4-AVCに規定された Access Unitを示す。
IDRピクチャ、 Non- IDR Iピクチャを構成する複数のスライスデータは、シーケンシャル に配置され、 AUD(Access Unit Delimiter),SPS(Sequence Parameter Set),PPS (Picture Parameter Set) , SEI(Supplemental Enhanced info)Z)付カロされることにより、 Access Uni tに変換されることになる。
[0032] AUD,SPS,PPS,SEI、 Access Unitのそれぞれは、 MPEG4-AVCに規定された情報で あり、 ITU-T RecommendationH.264等の様々な文献に記載されているので、詳細に ついては、これらの文献を参照されたい。ここで重要であるのは、 AUD,SPS,PPS,SEI が再生装置に供給されることがランダムアクセスの必須条件になるという点である。 第 3段目は NAL unitを示す。第 2段目における AUD,SPS,PPS,SEIに対し、ヘッダを 付カロすることにより、 AUD,SPS,PPS,SEI、スライスデータは、それぞれ NAL
unitに変換されることになる。 NAL unitとは、 MPEG4- AVCのネットワーク抽象レイヤ (N etwork Abstraction Layer)において、規定された単位であり、 ITU-T
Recommendation H.264等の様々な文献に記載されているので、詳細についてはこ れらの文献を参照されたい。ここで重要であるのは、 AUD,SPS,PPS,SEI,スライスデー タは、それぞれ独立した NALunitに変換されているので、 AUD,SPS,PPS,SEI,スライス データのそれぞれは、ネットワーク抽象レイヤにおいて、それぞれ独立に取り扱われ るという点である。
[0033] 1つのピクチャを変換することで得られた複数の NAL unitは、第 4段目に示すように P ESパケットに変換される。そして TSパケットに変換されて BD-ROM上に記録される。
1つの GOPを再生するには、その GOPの先頭に位置する IDRピクチャ、 Non-IDR Iピ クチャを構成する NAL unitのうち、 Access Unit Delimiterを含むものをデコーダに投 入せねばならない。つまり Access Unit Delimiterを含む NAL unitが、 IDRピクチャ、 No n-IDR Iピクチャをデコードするための 1つの指標になる。この Access Unit Delimiterを 含む NAL unitを、本実施形態では点 (Point)として扱う。そして再生装置は、ビデオス トリームを再生するにあたって、 Access Unit Delimiterを含む NAL unitを、 Non-IDR I ピクチャ、 IDRピクチャを再生するためのエントリー位置として解釈する。従って、 Main Clipにおいて、ランダムアクセスを実行するには、 IDRピクチャ， Non-IDR Iピクチャの Access Unit Delimiterが何処に存在するかを、把握することが非常に重要になる。以 上が映画に用いられる、 MPEG4-AVC形式のビデオストリームの構成である。 < BD- ROMの構成その 2.Clip情報 >
続 、て拡張子 .clpiが付与されたファイルにつ 、て説明する。拡張子 .clpiが付与され たファイル (0000 l.clpi,00002. clpi,00003. clpi )は、 Clip情報を格納して!/、る。 Clip 情報は、個々の MainClipについての管理情報である。図 8は、 Clip情報の内部構成 を示す図である。本図の左側に示すように Clip情報は、
OAVClipファイルの属性情報を格納した『ClipInfoO』、
ii) ATC Sequence'STC Sequenceに関する情報を格納した『Sequence InfoO』 iii) Program Sequenceに関する情報を格納した『Program Info0』
iv)『Characteristic Point Info(CPl0)』からなる。
< Clip情報の説明その 1. Clip info >
先ず Clip infoについて説明する。図中の引き出し線 ctlは Clip info()の構成をクロー ズアップしている。この引き出し線に示すように、 Clip infoOは、デジタルストリームの 類型を示す" clip_stream_type",本 MainClipを利用するアプリケーションの類型を示す application— type 、 Mainし lipのじ録レ ~~ト 不す Γ¾— recording— rate applica tion_typeは、対応する MainClipが、映画アプリケーションを構成する旨を示すよう、 "1 "に設定されている。以上が Clip infoについての説明である。
続いて Clip infoについて説明する。
Clip infoは、 Ne個の EP_map_for_one_stream[0]〜[Ne- 1]を含む。そして、個々の EP_ map_for_one_streamについての属性情報を、 Ne個有している。この属性情報は、対応 するエレメンタリストリームの stream_PID[0]〜[Ne- 1]と、対応する EP_map_for_one_strea mの類型を示す EP_stream_type[0]〜[Ne- 1]と、 EP_map_for_one_streamにおける EP_hig hの個数 す number— of— high— entries [0]〜[Ne— 1]と、 EP— map— for— one— streamにおけ る EPJowの個数を す number— of— Low— entries [0]〜 [Ne— 1]と、 EP— map— for— one— stream のカレントアドレスを示す EP_map_for_one_stream_PID_start_address[0]〜[Ne- 1]とから なる。
< Clip情報の説明その 2.EP_map >
以下、具体例を通じて、 EPjnapについて説明する。図 9は、映画のビデオストリーム (application_type=l)に対する EP_map設定を示す図である。第 1段目は、表示順序に 配置された複数のピクチャを示し、第 2段目は、そのピクチヤにおける時間軸を示す。 第 4段目は、 BD- ROM上の TSパケット列を示し、第 3段目は、 EP_mapの設定を示す。
[0035] 第 2段目の時間軸において、時点 tl〜t7に、 Access Unit(Non- IDR Iピクチャ、 IDRピ クチャ)が存在するものとする。そしてこれらの tl〜t7の時間間隔が、 1秒程度であると すると、映画に用いられるビデオストリームにおける EP_mapは、 tl〜t7をエントリ一時 刻 (PTS_EP_start)として設定し、これに対応づけてエントリー位置 (SPN_EP_start)を示 すよう、設定される。
[0036] 図 10は、図 9における Entry Point#l〜Entry Point#7の PTS_EP_start、 SPN_EP_start を、 EP丄 ow、 EP_Highの組みで表現したものである。本図の左側に EP丄 owを示し、右 側に EP_Highを示す。
図 10左側の EP丄 ow(0)〜(Nf- 1)のうち、 EP丄 ow(i)〜(i+3)の PTS_EP丄 owは、 tl〜t4 の下位ビットを示す。 EP丄 ow(0)〜(Nf- 1)のうち、 EP丄 ow(i)〜(i+3)の SPN_EP丄 owは、 n 1〜n4の下位ビットを示す。
[0037] 図 10右側は、 EP_mapにおける EP_High(0)〜(Nc-l)を示す。ここで tl〜t4は共通の 上位ビットをもっており、また nl〜n4も共通の上位ビットをもっているとすると、この共 通の上位ビットが、 PTS_EP_High,SPN_EP_Highに記述される。そして EP_Highに対応す る ref_to_EP丄 OWjdは、 tl〜t4、 nl〜n4にあたる EP丄 owのうち、先頭のもの (EP丄 ow(i) )を示すように設定しておく。こうすることにより、 PTS_EP_start、 SPN_EP_startの共通の 上位ビットは、 EP_Highにより表現されることになる。以上が、 BD- ROM上に存在する、 MainClip及び Clip情報についての説明である。尚 OOOOl.mplsは PlayList情報を格納 したファイルだ力 同種のものがローカルストレージ 200にも存在するので、このロー カルストレージ 200に存在する PlayList情報について説明を行い、 BD- ROM上の 000 Ol.mplsについては、説明を省略する。
[0038] BD- ROMは大容量であるから、図 1に示したホームシアターシステムに、動画を供 給すると 、う役割を担って 、ることがわ力る。以上が BD-ROMにつ 、ての説明である
<ローカルストレージ 200 >
続いて、本発明に係る記録媒体である、ローカルストレージ 200について説明する 。図 11は、ローカルストレージ 200の内部構成を示す図である。本図に示すように、 本発明に係る記録媒体は、応用層に対する改良により、生産することができる。
[0039] 本図の第 4段目にローカルストレージ 200を示し、第 3段目にローカルストレージ 20 0上のトラックを示す。本図のトラックは、ローカルストレージ 200の内周から外周にか けて螺旋状に形成されているトラックを、横方向に引き伸ばして描画している。このト ラックは、リードイン領域と、ボリューム領域と、リードアウト領域とからなる。本図のボリ ユーム領域は、物理層、ファイルシステム層、応用層というレイヤモデルをもつ。ディレ クトリ構造を用いてローカルストレージ 200の応用層フォーマット (アプリケーションフォ 一マット)を表現すると、図中の第 1段目のようになる。
[0040] 本図のディレクトリ構造において ROOTディレクトリの配下には、「organization#l」と いうサブディレクトリがあり、その配下に、「disc#l」というサブディレクトリがある。ディレ クトリ「organization#l」とは、映画作品の特定のプロバイダに割り当てられたディレクト リである。「disc#l」は、そのプロバイダが提供した BD-ROMのそれぞれに割り当てら れたディレクトリである。
[0041] 特定のプロバイダに対応するディレクトリに、各 BD-ROMに対応するディレクトリを設 けることにより、各 BD- ROMについてのダウンロードデータが個別に格納される。この サブディレクトリの配下に、 BD- ROMに格納されていたのと同様、 PlayList情報 (00002 .mpls)、 Clip情報 (00002. clpi,00003.clpi,00004.clpi,00005.clpi)、AVClip(00002.m2ts,0 0003.m2ts,00004.m2ts,00005.m2ts)が格納されている。
[0042] 続、て、ローカルストレージ 200の構成要素となる、 PlayList情報、 Clip情報、 AVCli pについての説明する。
<ローカルストレージ 200の構成その 1. AVClip >
ローカルストレージ 200上の AVClip(00002.m2ts,00003.m2ts,00004.m2ts,00005.m2 ts)は、 SubClipを構成する。 SubClipとは、 1つ以上の Out- of- MUXストリームから構成 される AVClipである。 Out- of- MUXストリームとは、ビデオストリームを含む AVClipの 再生中に再生されるが、ビデオストリームとは多重化されて 、な 、エレメンタリストリー ムをいう。またビデオストリームの再生中に Out-of-MUXストリームを読み出し、デコー ダに供して再生させることを、 "Out-of-MUXストリームフレームワーク "と!/、う。 [0043] かかる Out- of- MUXストリームには、『Primaryオーディオストリーム』、『Secondaryォ 一ディォストリーム』、『Presentation Graphics(PG)ストリーム』、 interactive GraphicsQ G)ストリーム』と ヽつた種別がある。
本実施形態では、図 11に示した 4つの AVClipのうち 00002.m2tsは Primaryオーディ ォストリームを格納しており、 00003.m2tsは Secondaryオーディオストリーム、 00004.m2 tsは PGストリーム、 00005.m2tsは IGストリームを格納しているものとする。しかしこの格 納方式は一例に過ぎず、 4つの Out-of-MUXストリーム力 つの SubClipに多重化され て！、てもよ 、。以降 Out-of-MUXストリームの詳細につ!、て説明する。
< Out- of- MUXストリームの説明その l.Primary、 Secondaryストリーム >
『Primaryオーディオストリーム』とは、いわゆる主音声となるオーディオストリームであ り、『Secondaryオーディオストリーム』とは、いわゆる副音声となるオーディオストリーム である。 SubClip再生時において、 Secondaryオーディオストリームの音声再生は、 Pri maryオーディオストリームの再生音声にミキシングされた上で出力に供される。 Secon daryオーディオストリームとして扱われる音声には、例えば"コメンタリ音声"がある。 Pr imaryオーディオストリームとなる主音声力 映画作品本編の台詞や BGMであり、 Seco ndaryオーディオストリームとなる副音声力 映画監督のコメンタリ音声である場合、か 力る映画作品本編の台詞や BGMは、コメンタリ音声とミキシングされた上で出力され ることになる。
[0044] Secondaryオーディオストリームは、ローカルストレージ 200にのみ記録され再生に 供される力 BD- ROMには記録されない。 Primaryオーディオストリームは、 BD- ROM に置かれていても、ローカルストレージ 200に置かれていてもよい。また Primaryォー ディォストリームの符号化コーディックは、 Secondaryオーディオストリームの符号化コ 一ディックと異なって 、てもよ 、。
[0045] 図 12は、 Primaryオーディオストリーム及び Secondaryオーディオストリームの内部構 成を示す図である。本図の第 1段目は、 SubClipの再生時に参照される時間軸 (SubCli P時間柳を示し、第 2段目は、 SubClipを構成する TSパケット列を示す。第 3段目は、 S ubClipを構成する PESパケット列を示し、第 4段目は、 Primaryオーディオストリーム及 び Secondaryオーディオストリームを構成するオーディオフレーム列を示す。本図に示 すように SubClipは、 Primaryオーディオストリーム、 Secondaryオーディオストリームとな るフレーム列を PESパケットに変換し (第 3段目）、更にこの PESパケット列を TSパケット 列に変換することで生成される (第 2段目)。
[0046] PESパケットのヘッダに存在する PTSは、 PESパケット内のオーディオフレームの開 始タイミングを示す。従って、この PTSを参照することにより、 SubClip時間軸において 、 PESパケットに格納されたオーディオフレームが何時再生されるかが判明する。故 に PESパケットのヘッダがストリーム解析の対象になる。 く Out- of- MUXストリームの説明その 2.PGストリーム〉
PGストリームとは、動画の再生進行に伴った字幕表示を実現するエレメンタリストリ ームである。図 13は、 PGストリームの内部構成を示す図である。第 4段目は、 SubClip を構成する PESパケットを示し、第 3段目は、 SubClipを構成する TSパケットを示す。第 2段目は、 SubClip時間軸を示し、第 1段目は、 SubClipたる PGストリームと、 MainClipた るビデオストリームとをデコードし、合成することで表示される合成画像を示す。
[0047] 第 4段目における SubClipの PESパケット構成にっ 、て説明する。
SubClipの PESパケットは、 PCS(Presentation Control Segment), PDS(Pallet Definitio n Segment) ^ WDS(Window Definition Segment) ^ ODS(Object Dennition Segment) ^ E ND(END of Display Set Segment)という一連の機能セグメントに PESパケットヘッダを 付与することにより作成される。
[0048] ODS(Object Definition Segment)は、字幕たるグラフィクスデータを定義する機能セ グメントである。
WDS(Window Definition Segment)は、画面におけるグラフィクスデータの描画領域 を定義する機能セグメントである。
PDS(Pallet Definition Segment)は、グラフィクスデータの描画にあたっての、発色を 規定する機能セグメントである。
[0049] PCS(Presentation Control Segment)は、字幕表示におけるページ制御を規定する 機能セグメントである。かかるページ制御には、 Cut-In/Out, Fade-In/Out, Color Ch ange、 Scroll, Wipe- In/Outといったものがあり、 PCSによるページ制御を伴うことにより 、ある字幕を徐々に消去しつつ、次の字幕を表示させるという表示効果が実現可能 になる。
END(END of Display Set Segment)は、字幕表示を表示する機能セグメント集合の 終わりを示す機能セグメントである。
[0050] PESパケットのヘッダは、 PTS、 DTSといったタイムスタンプを含み、これらのタイムス タンプは、機能セグメントのデコードを開始するタイミング、機能セグメントに基づきグ ラフイクスを表示するタイミングを示す。また PCSを先頭とした、 ENDまでの機能セグメ ントの一群を" Display Set"と呼ぶ。第 3段目は、これらの PESパケットを変換することで 得られる TSパケットを示す。第 2段目は、 SubClipを再生するにあたって、参照される 時間軸 (SubClip時間軸)を示す。この時間軸において、 PCSの DTSは、 PCSがデコード されるタイミングを示し、 PCSの PTSは、 PCSを先頭とした Display Setに基づき、グラフ イクスが表示されるタイミングを示す。この PTSに示されるタイミングにおいて、第 1段目 に示すような合成画像が表示されることになる。
[0051] この Display Setには、『Epoch Start』、『Acquisition Point』、『Normal Case』、『Epoch
Continue』と!ヽつた種別がある。
『Epoch Start』は、新たな Epochの開始を示す。 Epochとは、 AVClipの再生時間軸上 においてメモリ管理の連続性をもっている一つの期間、及び、この期間に割り当てら れたデータ群をいう。そのため Epoch Startは、次の画面合成に必要な全ての機能セ グメントを含んでいる。 Epoch Startは、映画作品におけるチャプター等、頭出しがなさ れることが判明している位置に配置される。
[0052] 『Acquisition Point』は、 Epochの開始時点ではな!/、が、次の画面合成に必要な全 ての機能セグメントを含んでいる Display Setである。 Acquisition Pointたる DSから頭出 しを行えば、グラフィックス表示を確実に実現することができる。つまり Acquisition Poi ntたる DSは、 Epochの途中からの画面構成を可能するという役割をもつ。 Acquisition Pointたる Display Setは、頭出し先になり得る位置に組み込まれる。
[0053] 『Normal Case』は、前の Display Setからの差分のみを含む。例えば、ある DSvの字 幕は、先行する DSuと同じ内容である力 画面構成が、この先行する DSuとは異なる 場合、 PCSと、 ENDのみの DSvを設けてこの DSvを Normal Caseの DSにする。こうすれ ば、重複する ODSを設ける必要はなくなるので、 BD-ROMにおける容量削減に寄与 することができる。一方、 Normal Caseの DSは、差分にすぎないので、 Normal Case単 独では画面構成は行えな 、。
[0054] 『Epoch Continue』とは、ある AVClipの再生力 他の AVClipの再生後、連続して行 われる場合、 Epochを、継続させる旨を示す。以上が PGストリームを構成する機能セ グメントについての説明である。
く Out- of- MUXストリームについての説明その 3.IGストリーム〉
IGストリームは、動画の再生進行に伴った字幕表示を実現するエレメンタリストリー ムである。
[0055] 図 14は、 IGストリームの内部構成を示す図である。第 4段目は、 SubClipを構成する PESパケットを示し、第 3段目は、 SubClipを構成する TSパケットを示す。第 2段目は、 S ubClip時間軸を示し、第 1段目は、 Out- of- MUXストリームたる IGストリームと、 MainCli pたるビデオストリームとをデコードし、合成することで表示される合成画像を示す。 第 4段目における SubClipの PESパケット構成について説明する。
[0056] SubClipの PESパケットは、 ICS(Interactive Composition Segment), PDS(Palette Difin ition Segment) ^ ODS(Object Definition Segment)ゝ END (END of Display Set Segment )と呼ばれる機能セグメントに、 PESパケットヘッダを付与することにより作成される。
ODS(Object Definition Segment)は、ボタンを描画するにあたっての絵柄のグラフィ タスを定義するグラフィクスデータである。
[0057] PDS(Palette Difinition Segment)は、グラフィクスデータの描画にあたっての、発色を 規定する機能セグメントである。
ICS(Interactive Composition Segment)は、ユーザ操作に応じてボタンの状態を変 ィ匕させるという対話制御を規定する機能セグメントである。
END(END of Display Set Segment)は、メニュー表示を表示する機能セグメント集合 の終わりを示す機能セグメントである。
[0058] PESパケットヘッダは、 PTS、 DTSといったタイムスタンプを含み、これらのタイムスタ ンプは、機能セグメントのデコードを開始するタイミング、機能セグメントに基づきダラ フィクスを表示するタイミングを示す。また ICSを先頭とした、 ENDまでの機能セグメント の一群を Display Setと呼ぶ。この Display Setには PGストリーム同様、『Epoch Start』、『 Acquisition Point』、『Normal Case』、『Epoch Continue』といった種別がある。
[0059] 図 14の第 3段目は、これらの PESパケットを変換することで得られる TSパケットを示 す。第 2段目は、 SubClipを再生するにあたって、参照される時間軸 (SubClip時間軸） を示す。この時間軸において、 ICSの DTSは、 ICSがデコードされるタイミングを示し、 I CSの PTSは、 ICSを先頭とした Display Setに基づき、グラフィクスが表示されるタイミン グを示す。この PTSに示されるタイミングにおいて、第 1段目に示すような合成画像が 表示されること〖こなる。
[0060] ICS, PDS、 ODS、 ENDといった機能セグメントの集まりは、 Display Setと呼ばれる。 Di splay Setは、メニューの一個の表示を実現する機能セグメントの集合をいう。
以上が SubClipについての説明である。
<ローカルストレージ 200の構成その 2.Clip情報 >
続いてローカルストレージ 200側の Clip情報について説明する。図 15は、ローカル ストレージ 200側の Clip情報のデータ構造を示す図である。ローカルストレージ 200 側の Clip情報のデータ構造は、 BD-ROM側の Clip情報と同じである。但し、これらの データ構造のつち、 application— typeと、 EP— mapの構成と、 EP— stream— typeは、 SubClip 特有の内容に設定される。
< SubClipにおける Clip情報の説明その l.application_type>
図 15における application_typeについて説明する。 SubClipが先に説明した Primary オーディ才ストリーム、 Secondary才ーディ才ストリーム、 PGストリーム、 IGストリームの 何れかである場合、 application_typeは 7に設定される。
[0061] application_type=7とは、本 Clip情報に多重化されている SubClip力 "動画無しの追 加コンテンツ"であることを示す。動画を含んでいないので、本 SubClipは、ネットヮー クを通じてローカルストレージ 200に格納され、ローカルストレージ 200から供給され ることを前提にしている。 BD-ROM力も供給されることを前提にしていない。以上が Su bし lip ίこお（7る application— typeの設疋 。
[0062] < SubClipにおける Clip情報の詳細その 1.0ut-of-MUX_EP_map> 続いて SubClipにおける EPjnapについて説明する。ローカルストレージ 200上の EP_ mapは、 SubClipに多重化されている 1つ以上の Out-of-MUXストリームそれぞれに対 して存在する。そして対応する Out-of-MUXストリームの複数のエントリー位置を、複 数のエントリー時刻と対応付けて示す。
[0063] Out— of— MUXストリームには、 Primaryオーディオストリーム、 Secondaryオーディオス トリーム、 PGストリーム、 IGストリームといった種別があり、これらは、ストリーム途中の何 処から、再生可能となるかが違う。 Primaryオーディオストリーム、 Secondaryオーディ ォストリームは、複数オーディオフレーム力 なり、基本的にはこのオーディオフレー ムの先頭力 なら何処力 でも再生を開始することができる。
[0064] これに対し PGストリーム、 IGストリームに対してランダムアクセスを実行する場合、完 結した機能セグメントからなる Display Setをデコーダに供給せねばならない。完結し た機能セグメントからなる Display Setとは、いわゆる『Normalじ&36』以外の Display Set 、つまり、『Epoch Start J,『Acquisition Point J,『Epoch Continue』の Display Setであり 、これらの Display Setの先頭に位置する PCSJCSを、エントリー位置として扱う必要が ある。
[0065] 上述したように Out-of-MUXストリームは、ストリームの途中のうち、何処からデコード 可能であるかが違うので、 EPjnapは、対応する Out- of- MUXストリームの違いにより、 異なる構造をもつことになる。 Out- of- MUXストリームに対する EPjnapを、 "Out- of- M UX_EP_map"という。
< Out- of- MUX_EP_mapの詳細その 2.音声に対する Out- of- MUX_EP_map > 続、て Primaryオーディオストリーム、 Secondaryオーディオストリームに対応する EP_ mapの構成について説明する。 Primaryオーディオストリーム、 Secondaryオーディオス トリームに対する EPjnap力 動画像に対する EPjnapと異なるのは、 EPjnapの時間間 隔である。つまり動画像に対する時間間隔は、 1秒未満であり、緻密な精度で、 Entry Pointが設定されている力 Entry Pointの時間間隔は、 5秒になっており、時間間隔は 広くなつている。
[0066] 図 16は、 Primaryオーディオストリーム、 Secondaryオーディオストリームに対して生 成される EPjnapを示す図である。本図に示す EPjnapの構造とは、 5秒という一定時間 置きのエントリー時刻毎に、対応するエントリー位置が存在するというものである。本 図の第 3段目は、 SubClip時間軸を示し、この SubClip時間軸上の tl〜t6がエントリー 時刻である。これらのエントリー時刻 tl,t2,t3,t4,t5,t6は、 5秒という一定時間置きに存 在している。本図の第 2段目は、 EPjnapを示す。この第 2段目における EPjnapの PTS_ EP_startは、これらのエントリー時刻を示して!/、る。
[0067] 第 1段目は、 Primaryオーディオストリーム、 Secondaryオーディオストリームを構成す る TSパケット列を示す。この TSパケット列のうち、 SPN=nl,n2,n3,n4,n5,n6で指示され る位置がエントリー位置であるとする。第 2段目の SPN_EP_startは、これら nl〜n6を示 すよう設定されている。 EPjnapにおける各 Entry Pointの SPN_EP_start力 PTS_EP_sta rtに対応するように設定されているので、 5秒置きのエントリー時刻は、エントリー位置 と対応づけられることになる。
[0068] Primaryオーディオストリーム、 Secondaryオーディオストリームについての EPjnapに おいて、直前の Entry Pointとの間隔は、 256Kバイトというデータ間隔であってもよい。 この 256Kバイトという時間間隔は、 Secondaryオーディオストリームの転送レートに、 5 秒と 、う時間間隔を乗じたものである。 EPjnapの時間間隔が 5秒であるので、ストリー ム解析が必要になる範囲は、 5秒以下になる。以上が Primaryオーディオストリーム、 S econdaryオーディオストリームに対して設定される EPjnapについて説明である。
く Out-of-MUX_EP_mapの詳細その 3.PGストリームについての EPjnap > 続、て PGストリームに対して設定される EPjnapにつ 、て説明する。
[0069] 図 17は、 PGストリーム時間軸に対して設定された EPjnapを示す図である。本図に おいて第 1段目は、 PGストリームを構成する TSパケット列を示し、第 2段目は EP_map、 第 3段目は SubClip時間軸を示す。この第 1段目において Normal Caseでない Display Setの先頭に位置する PCSが、 SPN=nl、 n5に存在するものとすると、これらは nl、 n5が エントリー位置になる。一方、これらの PCSの PTSが、第 3段目の SubClip時間軸におけ る tl、 t5を示しているなら EPjnapは、これら SPN=nl、 n5を PTS=tl,t5と対応づけて示す ことになる。
[0070] このように完結した機能セグメントの先頭力 PCSの PTSに示されるエントリー時刻と 対応づけられているので、この EPjnapを手掛力りすれば、ストリーム解析を行うことな ぐストリームの途中からの字幕表示を実現することができる。
く Out- of- MUX_EP_mapの詳細その 4.IGストリームについての EP_map > 図 18は、 IGストリーム時間軸に対して設定された EPjnapを示す図である。本図にお いて第 1段目は、 IGストリームを構成する TSパケット列を示し、第 2段目は EP_map、第 3 段目は SubClip時間軸を示す。この第 1段目において Normal Caseでない Display Set の先頭に位置する ICSが、 SPN=nl、 n5に存在するものとすると、これらは nl、 n5がェン トリー位置になる。一方、これらの ICSの PTSが、第 3段目の SubClip時間軸における tl 、 t5を示しているなら EPjnapは、これら SPN=nl、 n5を PTS=tl、 t5と対応づけて示すこ とになる。
[0071] このように完結した機能セグメントの先頭力 ICSの PTSに示されるエントリー時刻と 対応づけられているので、この EPjnapを手掛力りすれば、ストリーム解析を行うことな ぐ途中力ものメニュー表示を実現することができる。
以上により EPjnap構造は、対応する Out-of-MUXストリームの質的な違いよつて変 ィ匕することがわ力る。以上がローカルストレージ 200上の Clip情報における、 EPjnap についての説明である。続いてローカルストレージ 200上の Clip情報における、 EP_st ream_typeにつ 、て説明する。
[0072]
< SubClipにおける Clip情報の説明その 3. EP_stream_type >
EP_stream_typeは、図 16〜図 18に示した EPjnapの構造の違いを、 1つの SubClipに 多重化されている Out-of-MUXストリーム毎に示している。つまり 1つの SubClipに多重 化され得る Out- of- MUXストリームのうち i番目のものを、 Out- of- MUXストリーム [i]とし た場合、 EP_stream_type[i]は、 Out- of- MUXストリーム [i]に対応する EP_map_for_one_st reamが、どのような類型であるかを示す。具体的にいうと EP_stream_type[i]は、 3,4,6,7 の何れかの値に設定される。 3又は 4に設定された場合は、 Primaryオーディオストリー ム又は Secondaryオーディオストリーム特有の構造、つまり、図 16に示したように、一 定時間置きのエントリー時刻、又は、一定データ間隔置きのエントリー位置を示すよう に設定されていることを示す。 6に設定されている場合、 PGストリーム固有の構造、つ まり Normal Case以外の Display Setの先頭を指すように設定されていることを示す (図 17)。 7に設定されている場合、 IGストリーム固有の構造、つまり Normal Case以外の Di splay Setの先頭を指すように設定されて!、ることを示す (図 18)。
[0073] EPjnapの構造がこの EP_stream_typeに集約されているので、この EPjnapに示される エントリー位置から、ストリーム解析を行わねばならないか、 EPjnapにおける EntryPoi nからデータの読み出しを行い、デコーダに供給すればよいかが判る。
< SubClipにおける Clip情報の説明その 4.EP_stream_typeの意義 >
Out_of_MUX_EP_mapに EP_stream_typeを設けたことの技術的意義について以下に まとめた。
[0074] エントリー時刻をアクセス位置として指定した場合は、すぐに再生を開始することが できるが、アクセス位置がエントリー時刻でない場合、ストリーム解析が必要になる。も し、エントリー時刻同士の間隔がどの程度である力、またどのようなデータ位置がェン トリー時刻として指定されているかが判らない場合、どの程度、ストリーム解析を行え ばよいかが未知数になる。そうすると、ストリーム解析がどれだけ必要になるかという 上限が、定まらないので、ユーザ操作に対するレスポンスを、非常に低下させる恐れ がある。
[0075] そこで Out_of_MUX_EP_mapは、エントリー時刻がどの程度の間隔で存在する力 又 は、どのような位置がエントリー位置として指定されて 、るかを EP_stream_typeを用い て明らかにしている。 EP_stream_typeが 3,4である場合、エントリー位置は、 5秒という一 定間隔に存在していることを示す。これを参照すれば再生装置は、ストリーム解析が 必要であったとしても、せいぜい、ストリーム解析を行うべき範囲は、 5秒の範囲であり 、ワーストケースであっても、 Out- of- MUXストリームにおける 5秒の範囲を解析すれば 、所望のアクセス点に到達すると理解することができる。
[0076] 一方 EP_stream_typeが 6,7である場合、完結した機能セグメントからなる Display Set の開始点がエントリー位置として指定されていることを示す。これを参照すれば再生 装置は、たとえエントリー位置の間隔が不定長であっても、このエントリー位置になつ ている位置から機能セグメントの読み出しを行い、再生に供すれば、ストリーム解析を 一切行わなくとも、所望の再生時点における字幕表示、メニュー表示を実現すること ができる。 [0077] EP_stream_typeは、 5秒を上限としたストリーム解析が必要である力 ストリーム解析 がー切不要であるかの判断を、再生装置に促すので、 MainClipに対するランダムァク セスと共に、 SubClipに対するランダムアクセスが必要になったとしても、再生装置に 対して過剰な負担をかけることはない。力かる負担軽減により、ユーザ操作に対する レスポンスを向上させることができる。
[0078] 以上がローカルストレージ 200における Clip情報についての説明である。 くローカルストレージ 200の構成その 3.PlayList情報 >
続いて、ローカルストレージ 200上の PlayList情報について説明する。拡張子" mpls "が付与されたファイル (OOOOl.mpls)は、 PlayList(PL)情報を格納したファイルである。
PlayList情報は、 MainPath、 Subpathと呼ばれる 2種類の再生経路を束ねたものを Play list(PL)として定義する情報である。図 19は、 PlayList情報のデータ構造を示す図で あり、本図に示すように PlayList情報は、 MainPathを定義する MainPath情報 (MainPat h(》と、チャプターを定義する PlayListMark情報 (PlayListMarkO)と、 Subpathを定義す る Subpath情報 (SubpathO)とからなる。
[0079] MainPathとは、主たる AVClip上に定義される再生経路である。一方 Subpathは、 Sub Clip上に定義される再生経路である。
< PlayList情報の説明その 1.MainPath情報 >
先ず MainPathについて説明する。 MainPathは、主映像たるビデオストリームゃォー ディォストリームに対して定義される再生経路である。
[0080] MainPathは、矢印 mplで示すように複数の Playltem情報 · - PlayltemO ' · から定 義される。 Playltem情報は、 MainPathを構成する 1つ以上の論理的な再生区間を定 義する。 Playltem情報の構成は、引き出し線 hslによりクローズアップされている。この 引き出し線に示すように Playltem情報は、再生区間の IN点及び Out点が属する AVCli pの再生区間情報のファイル名を示す『Clip_Information_file_name』と、 AVClipの符号 化方式を示す『Clip_codec_identifier』と、再生区間の始点を示す時間情報『IN_time』 と、再生区間の終点を示す時間情報『OUT_time』とから構成される。
[0081] 図 20は、 MainClipと、 PlayList情報との関係を示す図である。第 1段目は、 PlayList 情報がもつ時間軸を示す。第 2段目から第 5段目は、 EPjnapにて参照されているビデ ォストリーム (図 5に示したものと同じ)を示す。
PlayList情報は、 Playltem情報 #1, #2と!、う 2つの Playltem情報を含んでおり、これら P layltem情報 #1,#2の In_time,Out_timeにより、 2つの再生区間が定義されることになる。 これらの再生区間を配列させると、 AVClip時間軸とは異なる時間軸が定義されること になる。これが第 1段目に示す Playltem時間軸である。このように、 Playltem情報の定 義により、 AVClipとは異なる時間軸の定義が可能になる。
[0082] < PlayList情報の説明その 2.PlayListMark>
以上が、本実施形態に係る Playltem情報についての説明である。続いて PlayListM ark情報について説明する。
図 21は、 PlayList情報の、 PlayListMark情報の内部構成を示す図である。本図の図 中の引き出し線 pmOに示すように、 PlayListMark情報は、複数の PLMark情報 (#l〜#n )からなる。 PLmark情報 (PLmarkO)は、 PL時間軸のうち、任意の区間を、チャプター点 として指定する情報である。引き出し線 pmlに示すように PLmark情報は、チャプター 指定の対象たる Playltemを示す『ref_to_PlayItem_Id』と、その Playltemにおける、チヤ プター位置を時間表記により示す『mark_time_stamp』とを含む。
[0083] 図 22は、 PlayList情報の、 PLMark情報によるチャプター位置の指定を示す図であ る。本図の第 2段目から第 5段目は、図 20に示した、 EPjnapと、 AVClipとを示す。 本図の第 1段目は、 PLMark情報と、 PL時間軸とを示す。この第 1段目には、 2つの P LMark情報 #1〜#2が存在する。矢印 ktl,2は、 PLMark情報の ref_to_PlayItem_Idによる 指定を示す。この矢印からもわかるように、 PLMark情報の ref_to_PlayItem_Idは、 Playlt em情報のそれぞれを指定していることがわかる。また、 Mark_time_Stampは、 Playltem 時間軸のうち、 Chapter#l,#2になるべき時点を示す。このように、 PLMark情報は、 Pla yltem時間軸上に、チャプター点を定義することができる。
< PlayList情報の説明その 3.Subpath情報 >
MainPathが、主映像たる MainClipに定義される再生経路であるのに対し、 Subpath は、 MainPathと同期すべき SubClipに対して定義される再生経路である。
[0084] 図 23は、 Subpath情報の内部構成をクローズアップして示す図である。本図におけ る矢印 hcOに示すように各 Subpathは、 SubClipの類型を示す SubPath_typeと、 1つ以上 の SubPlayltem情報 · · SubPlayltemO · · とを含む。
図中の引き出し線 hclは、 SubPlayltem情報の構成をクローズアップしている。 SubPl ayltem情報は、図中の矢印 hclに示すように『Clip jnformation_file_name』、『SubPlayIt em— In— time』、『SubPlayItem— Out— time』、『sync— Playltem— ια』、『sync— start— PT¾— of— Playlt em』からなる。
[0085] 『Clip_information_file_name』は、 Clip情報のファイル名を記述することにより、 SubPla yltemに対応する SubClipを一意に指定する情報である。
『SubPlayItem_In_time』は、 SubClipの再生時間軸上における、 SubPlayltemの始点を 示す情報である。
『SubPlayItem_Out_time』は、 SubClipの再生時間軸上における、 SubPlayltemの終点 を示す情報である。
[0086] 『sync_PlayItem_id』は、 MainPathを構成する Playltemのうち、本 SubPlayltemが同期 すべきものを一意に指定する情報である。 SubPlayltem— In— timeは、この sync— Playltem— idで指定された Play Itemの再生時間軸上に存在する。
『sync_start_PTS_of_PlayItem』は、 sync_PlayItem_idで指定された Play Itemの再生時 間軸上にぉ 、て、 SubPlayItem_In_timeで指定された SubPlayltemの始点力 どこに存 在するかを示す。
< Subpath情報の詳細その 1.SubPath_type >
以上が SubPath情報につ!、ての説明である。続 、て SubPath_typeにつ!/、て説明する 。 SubPath_typeは、 0から 255までの値に設定されることにより、 SubPath情報により定義 される SubPathがどのような再生経路であるのかを示す。
[0087] この SubPathJ peの値は、 SubPlayltem情報の Clip_information_file_nameにて指定さ れた Clip情報の内容に連動したものとなる。何に連動するかというと、 Clip.Infoの appli cation_typeに連動するのである。 SubPathJ peは、 0〜255の値をとる力 Clip.Infoの a pplication_typeが 7に設定されて!、るときは、 5〜8の何等かの値が設定される。
SubPath_typeが 5に設定されて!、る場合、この SubPath情報により定義される SubPath は、 Primaryオーディオ再生パスであることを示す。この Primaryオーディオ再生パスは 、追加'置換のために定義されている。何に対する追加'置換かというと、 Playltem情 報にて再生され得る Primaryオーディオに追加されるべき Primaryオーディオ、又は、 P layltem情報で再生されうる Primaryオーディオに置き換えられるべき Primaryオーディ ォである。
[0088] SubPath_typeが 6に設定された場合、本 SubPath情報は、追加 ·置換のための Presen tation Graphics再生パスを定義していることを示す。何に対する追カロ'置換であるかと いうと、 Playltem情報にて再生され得る PGストリームに対して、追加'置換され得る PG ストリームである。
SubPath_typeが 7に設定された場合、本 SubPath情報は、追カロ'置換のための Intara ctive Graphics再生パスを定義していることを示す。何に対する追カロ'置換であるかと いうと、 Playltem情報にて再生され得る PGストリームに対して、追加'置換され得る PG ストリームである。
[0089] SubPath_typeが 8に設定された場合、 SubPath情報は Secondaryオーディオ再生パス を定義する旨を示す。この Secondaryオーディオ再生パスは、追カ卩のために定義され ている。何に対する追加かというと、 Playltem情報にて再生され得る Primaryオーディ ォの再生音声にミキシングされるべき Secondaryオーディオである。
以上が SubPath_typeについての説明である。
< SubPath情報についての詳細その 2.三者の関係 >
ここでの三者とは、ローカルストレージ 200上の SubClip、ローカルストレージ 200上 の PlayList情報、 BD- ROM上の MainClipの三者を!、う。
[0090] 図 24は、ローカルストレージ 200上の SubClipと、ローカルストレージ 200上の PlayLi st情報と、 BD- ROM上の MainClipとの対応を示す図である。本図において第 1段目は 、ローカルストレージ 200上に存在する SubClipを示す。この第 1段目に示すように、口 一力ルストレージ 200上の SubClipには、 Primaryオーディオストリーム、 Secondaryォ 一ディォストリーム、 PGストリーム、 IGストリームといった種別がある。これらのうち何れ 力が、 SubPathとして同期再生に供されることになる。
[0091] 第 2段目は、 PlayList情報により定義される 2つの時間軸を示す。第 2段目のうち下側 の時間軸は、 Playltem情報により定義される Playltem時間軸を示し、上側の時間軸は SubPlayltemにより定義される SubPlayltem時間軸を示す。
本図に示すように、 SubPlayltem情報の SubPlayltem— Clip— information— file— nameは、 第 1段目における 4つの SubClipのうち、どれを再生区間指定の対象として選ぶかとい う、 SubClip選択の役割を果たして 、ることがわ力る。
[0092] そして SubPlayItem.IN_time、 SubPlayltem.OuUimeは、 SubClip上に、再生区間の始 点及び終点を定義するという役割を果たしていることがわかる。
矢印 Sync_PlayItem_Idは、どの Playltemとの同期を意図して!/、る力と 、う同期指定の 役割を果たし、 sync_start_PTS_of_PlayItemは、 Playltem時間軸の原点と、 SubPlayltem 時間軸の原点との差分を示す役割を果たす。
[0093] 図 25は、 MainClipに対して設定された EPjnap及び Playltem時間軸と、 Primaryォー ディォストリーム、 Secondaryオーディオストリームとなる SubClipに対して設定された EP
_map及び SubPlayltem時間軸とを集約して示す図である。
本図の中段、下 4段〜下 1段は、図 20に示した Playltem時間軸、ピクチャ列、 MainCl ip時間軸、 EP_map、 TSパケット列を示す。
[0094] また上 1段目〜上 3段目は、図 16に示した TSパケット列、 EP_map、 SubClip時間軸を 示す。上 4段目は、図 24に示した SubPlayltem時間軸を示す。 MainClipについては 1 秒時間間隔、 SubClipにつ 、ては、 5秒時間間隔でエントリー時刻が設定されて 、るこ とがわかる。
図 26は、 MainClipに対して設定された EPjnap及び Playltem時間軸と、 PGストリーム 、 IGストリームとなる SubClipに対し設定された EPjnap及び SubPlayltem時間軸と^^ 約して示す図である。
[0095] 本図の中段、下 4段〜下 1段は、図 20に示した Playltem時間軸、ピクチャ列、 MainCl ip時間軸、 EP_map、 TSパケット列を示す。
また上 1段目〜3段目は、図 16に示した TSパケット列、 EP_map、 SubClip時間軸を示 す。上第 4段目は、図 24に示した SubPlayltem時間軸を示す。 MainClipについては 1 秒時間間隔、 SubClipについては、 Normal Case以外の Display Setが存在する位置が 、エントリー位置として指定されていることがわかる。
[0096] < SubPath情報にっ 、ての詳細その 3.相関関係 >
図 27は、 SubPath_typeがとり得る値と、 applicationj peがとり得る値と、 EP_stream_ty peがとり得る値との相関関係を、表形式に示した図である。
SubPath— typeは '5 C、¾>り、 application— type力 る場合、 EP— stream— type力 3 に設定されていることがわかる。 EP_stream_typeが" 3"に設定されているので、この EP_ stream_typeに対応する EP_mapは、 Primaryオーディオ再生のためのものであり、 5秒と いう時間間隔、又は、 256Kバイトというデータ間隔をもっていると、再生装置は理解す ることがでさる。
[0097] SubPath_typeは" 6"であり、 application_typeが" 7"である場合、 EP_stream_typeが" 6" に設定されていることがわかる。 EP_stream_typeが" 6"に設定されているので、この EP_ streamj peに対応する EP_mapは、 Presentation Graphics再生のためのものであり、 完結した機能セグメントからなる Display Setをエントリー位置にしていると、再生装置 は理解することができる。
[0098] SubPath_typeは" 7"であり、 application_typeが" 7"である場合、 EP_stream_typeは" 7" に設定されていることがわかる。 EP_stream_typeが" 7"に設定されているので、この EP_ stream_typeに対応する EP_mapは、 Interactive Graphics再生のためのものであり、完 結した機能セグメントからなる Display Setをエントリー位置にしていると、再生装置は 理解することができる。
[0099] SubPath_typeは" 8"であり、 application_typeが" 7"である場合、 EP_stream_typeが" 4" に設定されていることがわかる。 EP_stream_typeが" 4"に設定されているので、この EP_ stream_typeに対応する EP_mapは、 Secondaryオーディオ再生のためのものであり、 5 秒という時間間隔、又は、 256Kバイトというデータ間隔をもっていると、再生装置は理 解することができる。
[0100] 以上がローカルストレージ 200の構成たる PlayList情報についての説である。以上 で、ローカルストレージ 200についての説明を終える。
<バーチャルファイルシステム >
以降、バーチャルファイルシステムについて説明する。図 28は、再生装置 300によ り生成されるバーチャルファイルシステムを示す図である。本図の左上は、 BD-ROM の記録内容を示し、左下は、ローカルストレージ 200の記録内容を示す。右側は、バ 一チャルファイルシステムの構成を示す。
[0101] 再生装置は、 BD- ROMに存在する AVClip、 Clip情報、 PlayList情報に、ローカルス トレージ 200に存在する AVClip、 Clip情報、 PlayList情報を組み合わせて、バーチヤ ルフアイルシステムを得る。
この組合せは、
OLocal Storage上の PlayList(00002. MPLS)を、 BD- ROMにおける MPLSディレクトリ に追カロし、
ii) Local Storage上の Clip情報 #2、 #3、 #4、 #5(00002.CLPI,00003.CLPI,00004.CLPI, 00005. CLPI)を、 BD- ROMにおける CLPIディレクトリに追加し、
iii) Local Storage上の AVClip#2、 #3、 #4、 #5(00002.M2TS,00003.M2TS,00004.M2TS ,00005.M2TS)を、 BD- ROMにおける STREAMディレクトリに追加することでなされる。
[0102] こうすることにより、図 28の右側に示すようなバーチャルファイルシステムが構成さ れる。
以上で本発明に係る記録媒体にっ ヽての説明を終わる。続ヽて本発明に係る再生 装置について説明する。
<再生装置の内部構成 >
図 29は、本発明に係る再生装置の内部構成を示す図である。本発明に係る再生 装置は、本図に示す内部構成に基づき、工業的に生産される。本発明に係る再生装 置は、主としてシステム LSIと、ドライブ装置という 2つのパーツからなり、これらのパー ッを装置のキャビネット及び基板に実装することで工業的に生産することができる。シ ステム LSIは、再生装置の機能を果たす様々な処理部を集積した集積回路である。こ うして生産される再生装置は、 BDドライブ 1、 Arrival
time CIOC し ounter2、 Source de— packetetizer 5、 PID Filter4、 Transport Buffer5、 M ultiplexed Buffer 6, Coded Picture Buffer 7,ビデオデコーダ 8、 Decoded Picture Buff erlO、ビデオプレーン 11、 Transport Buffer 12, Coded Data Buffer 13, Stream Grap hies Processorl4、 Object Bufferl5、 Composition Bufferl6、 Composition Controller 17、 Presentation Graphicsプレーン 18、 CLUT部 19、 Transport Buffer 20, Coded D ata Buffer21、 Stream Graphics Processor22、 Object Buffer23、 Composition Buffer 24、 Composition Controller25、 Intaractive Graphicsプレーン 26、 CLUT部 27、合成 部 28、合成部 29、スィッチ 30、 Network Device31、スィッチ 32、 Arrival Time Clock Counter33、 Source De- Packetizer34、 PIDフィルタ 35、スィッチ 36、 Transport Buffe r37、 Elementary Buffer38、オーディオデコーダ 39、 Transport Buffer40、ノ ッファ 4 1、オーディオデコーダ 42、ミキサー 43、シナリオメモリ 44、制御部 45、メイン変換部 46、サブ変換部 47、 PL再生制御部 48、 PSRセット 49から構成される。本図における 内部構成は、 MPEGの T-STDモデルをベースとしたデコーダモデルであり、ダウンコ ンバートを想定した含めたデコーダモデルになっている。
[0103] BD- ROMドライブ 1は、 BD- ROMのローデイング/イジェクトを行い、 BD- ROMに対 するアクセスを実行して、 32個の完結した EX付き TSパケットからなる Aligned Unitを B D-ROMから読み出す。
Arrival time Clock Counter2は、 27MHzの水晶発振器 (27MHz X- tal)に基づき、 Ar rival Time Clockを生成する。 Arrival Time Clockとは、 TSパケットに付与された ATS の基準となる時間軸を規定するクロック信号である。
[0104] Source de- packetetizer3は、 BD- ROMから、 32個の完結した EX付き TSパケットから なる Aligned Unitが読み出されれば、 Aligned Unitを構成するそれぞれの TSパケット から、 TP_extra_headerを取り外して、 TSパケットのみを PIDフィルタ 4に出力する。 Sour ce
De- Packetizer3による PIDフィルタ 4への出力は、 Arrival time Clock Counter2が経 時して 、る時刻が、 TP_extra_headerに示される ATSになったタイミングになされる。 PI Dフィルタ 4への出力は、 ATSに従いなされるので、たとえ BD- ROMからの読み出しに 1倍速、 2倍速といった速度差があっても、 PIDフィルタ 4への TSパケット出力は、 Arriv al Time Clockが経時する現在時間に従いなされることになる。
[0105] PID Filter4は、 TSパケットに付カ卩されている PIDを参照することにより、 TSパケットが 、ビデオストリーム、 PGストリーム、 IGストリーム、 Primaryオーディオストリームの何れに 'MfJ禹するの力 半 [J定し飞、 Transport Buffer5、 Transport Bufferl2、 Transport Buffer 20、 Transport Buffer37のどれかに出力する。 Transport Buffer(TB)5は、ビデオストリームに帰属する TSパケットが PIDフィルタ 4か ら出力された際、一旦蓄積されるノ ッファである。
[0106] Multiplexed Buffer(MB)6は、 Transport Buffer5から Elementary Buffer7にビデオスト リームを出力するにあたって、ー且 PESパケットを蓄積しておくためのバッファである。
Coded Picture Buffer(CPB)7は、符号化状態にあるピクチャ (Iピクチャ、 Bピクチャ、 P ピクチャ)が格納されるバッファである。
[0107] ビデオデコーダ 8は、ビデオエレメンタリストリームの個々のフレーム画像を所定の 復号時刻（DTS)ごとにデコードすることにより複数フレーム画像を得て、 Decoded Pict ure BufferlOに書き込む。
Decoded Picture BufferlOは、復号されたピクチャが書き込まれるバッファである。 ビデオプレーン 11は、非圧縮形式のピクチャを格納しておくためのプレーンである 。プレーンとは、再生装置において一画面分の画素データを格納しておくためのメモ リ領域である。ビデオプレーン 11における解像度は 1920 X 1080であり、このビデオプ レーン 11に格納されたピクチャデータは、 16ビットの YUV値で表現された画素データ により構成される。
[0108] Transport Buffer(TB)12は、 PGストリームに帰属する TSパケットが PIDフィルタ 4から 出力された際、一旦蓄積されるバッファである。
Coded Data Buffer(CDB)13は、 PGストリームを構成する PESパケットが格納されるバ ッファである。
Stream Graphics Processor(SGP)14は、 ODSをデコードして、デコードにより得られ たインデックスカラー力 なる非圧縮状態の非圧縮グラフィクスをグラフィクスオブジェ タトとして Object Bufferl5に書き込む。 Stream Graphicsプロセッサ 14によるデコード は瞬時に行われ、デコードによりグラフィクスオブジェクトを Stream Graphicsプロセッ サ 14は一時的に保持する。 Stream Graphicsプロセッサ 14によるデコードは瞬時にな される力 Stream Graphicsプロセッサ 14から Object Buffer 15への書き込みは、瞬時 には終わらない。 BD- ROM規格のプレーヤモデルでは、 Object Bufferl5への書き込 みは、 128Mbpsという転送レートでなされるからである。 Object Bufferl5への書き込み 完了時点は、 ENDセグメントの PTSに示されているので、この ENDセグメントの PTSに 示される時点が経過するまで、次の DSに対する処理を待つことになる。各 ODSをデコ ードすることにより得られたグラフィクスオブジェクトの書き込みは、その ODSに関連付 けられた DTSの時刻に開始し、 ODSに関連付けられた PTSに示されるデコード終了時 刻までに終了する。
[0109] Object Bufferl5は、 Stream Graphics Processorl4のデコードにより得られたグラフ イクスオブジェクトが配置されるバッファである。 Object Bufferl5は、グラフィクスプレ ーン 8の 2倍 Z4倍の大きさに設定せねばならない。何故なら Scrollingを実現する場合 を考えると、グラフィクスプレーン 8の 2倍、 4倍のグラフィクスオブジェクトを格納してお かねばならないからである。
[0110] Composition Bufferl6は、 PCS, PDSが配置されるメモリである。処理すべき Display Setが 2つあり、これらの PCSのアクティブ期間が重複している場合、 Compositionバッ ファ 16には処理すべき PCSが複数格納される。
Graphicsコントローラ 17は、現在の再生時点が新たな Display Setに到達する度に、 その Display Setに含まれる Pし Sの Composition— State力、、 Epoch Start、 Acquisition Poi nt、 Normal Caseのどれであるかを判定する、 Epoch Startであれば、 Coded Dataバッ ファ 13上の PCSを、 Coded Dataバッファ 13から Compositionバッファ 16に転送する。
[0111] Presentation Graphicsプレーン 18は、一画面分の領域をもったメモリであり、一画 面分の非圧縮グラフィクスを格納することができる。本プレーンにおける解像度は 192 0 X 1080であり、 Presentation Graphicsプレーン 18中の非圧縮グラフィクスの各画素 は 8ビットのインデックスカラーで表現される。 CLUT(Color Lookup Table)を用いてか 力るインデックスカラーを変換することにより、 Presentation Graphicsプレーン 18に格 納された非圧縮グラフィクスは、表示に供される。
[0112] CLUT部 19は、 Presentation Graphicsプレーン 18に格納された非圧縮グラフィクス におけるインデックスカラーを、 Y,Cr,Cb値に変換する。
Transport Buffer(TB)20は、 IGストリームに帰属する TSパケットがー且蓄積されるバ ッファである。
Coded Data Buffer(CDB)21は、 IGストリームを構成する PESパケットが格納されるバ ッファである。 [0113] Stream Graphics Processor(SGP)22は、 ODSをデコードして、デコードにより得られ た非圧縮グラフィクスを Object Buffer23に書き込む。
Object Buffer23は、 Stream Graphics Processor22のデコードにより得られた非圧 縮のグラフィクスオブジェクトが多数配置されるバッファである。この Object Buffer23 において各グラフィクスオブジェクトが占める矩形領域は、 ODSが有する Objectjdに より識別される。従って、 Object Buffer23上にあるグラフィクスオブジェクトが存在して いる状態で、同じ Objectjdをもつグラフィクスオブジェクトが供給されれば、 Object Bu ffer23上においてそのグラフィクスオブジェクトが占める領域は、同じ Objectjdをもつ グラフィクスオブジェクトにより上書きされることになる。
[0114] Compositionバッファ 24は、 1つ以上の ICSに対応する運搬される Interactive_compo sitionを格納しておくためのバッファである。格納されている Interactive_compositionは 、 Graphicsコントローラ 25による解読に供される。
Graphicsコントローラ 25は、現在の再生時点が新たな Display Setに到達する度に、 その Display Setに含まれる ICSのし omposition— State力 Epoch ¾tart、 Acquisition Ροι nt、 Normal Caseのどれであるかを判定する、 Epoch Startであれば、 Coded Dataバッ ファ 21上の新たな Interactive— composition 、 Coded Dataノッファ 21力 bCompositio nバッファ 24に転送する。
[0115] Graphicsコントローラ 25は、 Acquisition Pointタイプの Display Setにおける ICSが Cod ed Dataバッファ 21に読み出される度に、その ICSに属する各ページ情報の Page_Ver sion— Numberと、 Compositionノ ッファ 24に格糸内済みの Interactive— compositionにおけ る各ページ情報の Page_Version_Numberとを照合する。そして Page_Version_Number が大きいページ情報が Coded Dataバッファ 21上に存在していれば、そのページ情 報を Coded Dataバッファ 21から Compositionバッファ 24に転送することで、 Compositi onバッファ 24における所望のページ情報をアップデートする。そしてそうやってアツ プデートされたページ情報に該当するページが現在表示中である力否かを判定し、 もし表示中であれば、該当するページの再描画を行う。
[0116] Interactive (graphicsプレ ~~ン 26ίま、 Stream urapnics Processor(SGP)22によるアコ ードで得られた非圧縮グラフィクスが書き込まれる。本プレーンにおける解像度は 192 O X 1080であり、 Intaractive Graphicsプレーン 26中の非圧縮グラフィクスの各画素は 8ビットのインデックスカラーで表現される。 CLUT(Color Lookup Table)を用いてかか るインデックスカラーを変換することにより、 Intaractive Graphicsプレーン 26に格納さ れた非圧縮グラフィクスは、表示に供される。
[0117] CLUT部 27は、 Interactive Graphicsプレーン 26に格納された非圧縮グラフィクスに おけるインデックスカラーを、 Y,Cr,Cb値に変換する。
合成部 28はビデオプレーン 11に格納された非圧縮状態のフレーム画像と、 Presen tation Graphicsプレーン 18に格納された非圧縮状態のグラフィクスオブジェクトとを 合成させる。カゝかる合成により、動画像上に、字幕が重ね合わされた合成画像を得る ことができる。
[0118] 合成部 29は、 Interactive Graphicsプレーン 26に格納された非圧縮状態のグラフィ タスオブジェクトと、合成部 28の出力である合成画像 (非圧縮状態のピクチャデータと 、 Presentation Graphicsプレーン 18の非圧縮グラフィクスオブジェクトとを合成したも の)とを合成する。
スィッチ 30は、 BD- ROMから読み出された TSパケット、ローカルストレージ 200から 読み出された TSパケットの何れか一方を、選択的に Transport Buffer20に供給する。
[0119] Network Device31は、再生装置における通信機能を実現するものであり、 URLにあ たる webサイトとの TCPコネクション、 FTPコネクション等を確立する。 Network Device3 1により確立されたコネクションを通じて webサイトからダウンロードされたコンテンツは 、この Local Storage200に格納される。
スィッチ 32は、 BD- ROMから読み出された TSパケット、ローカルストレージ 200から 読み出された TSパケットの何れか一方を、選択的に Transport Bufferl2に供給する。
[0120] Source de- packetetizer34は、ローカルストレージ 200から読み出された AVClipの T Sパケットから、 TP_extra_headerを取り外して、 TSパケットのみを PIDフィルタ 35に出力 する。 Source de- packetizer34による PIDフィルタ 35への出力は、 Arrival Time Clock Counter33が経時している時刻力 TP_extra_headerに示される ATSになったタイミン グになされる。
[0121] PIDフィルタ 35は、ローカルストレージ 200から読み出された TSパケットを、 PGストリ ームのデコーダ側、 IGストリームのデコーダ側、オーディオデコーダ 39側、オーディ ォデコーダ 42側の何れかに切り換える。
スィッチ 36は、 BD- ROMから読み出された TSパケット、ローカルストレージ 200から 読み出された TSパケットのどちらかをオーディオデコーダ 39側に供給する。この TSパ ケットは、 Primaryオーディオストリームを構成するものである。このスィッチ 36を経由 することにより、 BD- ROM及びローカルストレージ 200のどちらからでも、 Primaryォー ディォストリームは、オーディオデコーダ 39に供給されることになる。
[0122] Transport Buffer(TB)37は、 Primaryオーディオストリームに帰属する TSパケットを蓄 積する。
Elementary Buffer(EB)38は、 Primaryオーディオストリームを構成する PESパケットが 格納されるバッファである。
オーディオデコーダ 39は、 Elementary Buffer41から出力された PESパケット状態の Primaryオーディオストリームを復号して、非圧縮形式のオーディオデータを出力する
[0123] Transport Buffer(TB)40は、 Secondaryオーディオストリームに帰属する TSパケットを 蓄積する。
Elementary Buffer(EB)41は、 Secondaryオーディオストリームを構成する PESパケット が格納されるバッファである。
オーディオデコーダ 42は、 Elementary Buffer38から出力された PESパケット状態の Secondaryオーディオストリームを復号して、非圧縮形式のオーディオデータを出力 する。
[0124] ミキサー 43は、 Primaryオーディオストリームを復号することで得られた非圧縮形式 のオーディオデータと、 Secondaryオーディオストリームを復号することで得られた非 圧縮形式のオーディオデータとをミキシングすることにより、合成音声を出力する。 シナリオメモリ 44は、カレントの PlayList情報やカレントの Clip情報を格納しておくた めのメモリである。カレント PlayList情報とは、 BD- ROMに記録されている複数 PlayList 情報のうち、現在処理対象になっているものをいう。カレント Clip情報とは、 BD-ROM に記録されて 、る複数 Clip情報のうち、現在処理対象になって!/、るものを 、う。 [0125] 制御部 45は、命令 ROMと、 CPUとからなり、命令 ROMに格納されているソフトウェア を実行して、再生装置全体の制御を実行する。この制御の内容は、ユーザ操作に応 じて発生するユーザイベント、及び、 PSRセット 49における各 PSRの設定値に応じて 動的に変化する。制御部 45は、メイン変換部 46、サブ変換部 47、 PL再生制御部 48 と 、う機能的な構成要素を含んで 、る。
[0126] メイン変換部 46は、 Playltem時間軸における再生時点を、 MainClipのアドレスに変 換する。ここで通常再生及び特殊再生を開始すべき再生時点は、 Playltemの時間軸 において定義されており、メイン変換部 46は、 MainClipに対応する Clip情報内の EP_ mapを用いて、この再生時点を、 MainClipにおけるアドレスに変換する。
サブ変換部 47は、 Playltemの時間軸における再生時点を、 SubPlayltemの時間軸 における再生時点に変換し、変換後の SubPlayltem時間軸上の再生時点を、 SubClip のアドレスに変換する。ここで、サブ変換部 47による Playltem時間軸上の再生時点か ら、 SubPlayltem時間軸上の再生時点への変換は、 SubPlayltem情報における Sync_Pl ayltemjd、 Sync_Start_PTS_of_PlayItemを用いてなされる。
[0127] SubPlayltem時間軸上の再生時点から、 SubClipアドレスへの変換は、 EP_mapに示さ れてる複数のエントリー位置のうち、ランダムアクセス位置に最も近いエントリー位置 を求めるという処理 (0と、そうして求めたエントリー位置を開始点にして、ストリーム解 析を行うという処理 GOの 2つ力 なる。前者の処理は、 SubClipに対応づけられた EP_m apを用いてなされる。後者のストリーム解析は、 Primaryオーディオストリーム及び Seco ndaryオーディオストリームのランダムアクセスには必要だ力 PGストリーム、 IGストリー ムのランダムアクセスでは省くことができる。ストリーム解析を省略できるか否かの判定 は、 EP_stream_typeを参照することでなされる。 Clip情報には EP_mapが存在しており、 ランダムアクセスが好適になされることを保証しているからである。
[0128] PL再生制御部 48は、 PL再生を行うよう再生装置全体の制御を行う。 PL再生とは、 B D- ROMにおける MainClipと、ローカルストレージにおける SubClipとを、 PlayList情報 内の Playltem情報、 SubPlayltem情報に従って同期再生させるという制御である。 Mai nClip、 SubClipには EPjnapが対応づけられており、各 AVClipに対するランダムァクセ スの高速ィ匕が保証されている。この高速ランダムアクセスを応用することにより、 PL再 生では、 "通常再生"、 "特殊再生"を実現する。
[0129] ここで PL再生における通常再生とは、 MainClip、 SubClipのうち、 PlayList情報にお ける MainPath情報を構成する Playltem情報、 SubPath情報を構成する SubPlayltem情 報で、指定されている部分を、 Playltem時間軸、 SubPlayltem時間軸に従って再生し てゆくというものである。
PL再生における特殊再生とは、 MainClip, SubClipのうち、 PlayList情報における Mai nPath情報を構成する Playltem情報、 SubPath情報を構成する SubPlayltem情報で、指 定されて!/、る部分に対して、早送り ·巻戻し ·チヤプタサーチ ·タイムサーチを実行して ゆくというものである。
[0130] PSRセット 49は、再生装置に内蔵される不揮発性のレジスタであり、 64個の Player S tatus Register(PSR(l)〜(64》と、 4096個の General Purpose Register (GPR)とからなる 。 64個の Player Status Register(PSR)は、それぞれ現在の再生時点等、再生装置に おける諸状態を示す。 64個の PSR(PSR(1)〜(64》のうち PSR(5)〜PSR(8)は、現在の再 生時点を表すものである。このうち PSR(5)は、 1〜999の値に設定されることで、現在の 再生時点が属するチャプター番号を示し、 OxFFFFに設定されることで、再生装置に お!、てチャプター番号が無効であることを示す。
[0131] PSR(6)は、 0〜999の値に設定されることで、現在の再生時点が属する PlayList (カレ ント PlayList)の番号を示す。
PSR(7)は、 0〜255の値に設定されることで、現在の再生時点が属する Play Item (以 下カレント PIと 、う)の番号を示す。
PSR(8)は、 0〜OxFFFFFFFFの値に設定されることで、 45KHzの時間精度を用いて 現在の再生時点 (カレント PTM)を示す。
[0132] 以上が再生装置の内部構成である。
<ソフトウエアによる実装その 1.PL再生制御部 48 >
以降、コンピュータソフトウェアによる PL再生制御部 48の実装について説明する。 P L再生制御部 48を、コンピュータソフトウェアとして実現するには、図 30に示す再生 手順をコンピュータに実行させるプログラムを作成すればよい。 つまり、 PL再生にお ける通常再生、特殊再生は、何れも、 Playltem時間軸上の任意の座標からの再生を 開始すると 、う飛込再生を前提にして 、るので、この飛込再生を実現するような制御 を、再生装置に命じればよい。
[0133] 図 30は、 Playltem時間軸上の任意の座標力 の飛込再生を行う場合の制御手順を 示すフローチャートである。 Playltem時間軸における座標を表す Offset aを算出し (ス テツプ S l)、 Offset αを、 MainClip時間軸上の座標 (In_time+Offset α )に変換する (ステ ップ S 2)。こうして MainClip時間軸上の座標を求めれば、 MainClipの EP_mapを用いて 、 MainClip時間軸上の座標 (In_time+Offset a )を、アドレス αに変換する (ステップ S 3)
[0134] ステップ S4は、 SubClipの EP_mapにおける EP_stream_typeが、 3,4,6,7である力否か の判定である。もしそうでなければ、 BD-ROMにおけるアドレス α力もの読み出しを開 始する (ステップ S 9)。 SubClipの EP_mapにおける EP_stream_typeが、 3,4,6,7であれば 、 Offset aを、 SubPlayltem時間軸における Offset β ( = Offset a - Sync_Start_Pts_of_Pl ayltem)に変換し (ステップ S5)、 Offset j8を、 SubClip時間軸上の座標 (SubPlayItemJn_ time+Offset β )に変換する (ステップ S6)。そして EP_mapを用いて、 SubPlayItem_In_tim e+Offset βをアドレス 13に変換し (ステップ S7)、 BD- ROMにおけるアドレス αからの読 み出しと、ローカルストレージ 200におけるアドレス 13力もの読み出しとを同時に実行 する (ステップ S8)。
[0135] EP_stream_typeが 3,4,6,7以外の値であれば (ステップ S4で No)、 EP_stream_typeが!ヽ わば無効であることを意味する。 EP_stream_typeが無効であれば、 Out-of-MUXストリ ームにおけるエントリー位置やエントリー時刻がどれだけの間隔で存在するかが未知 数になるので、アクセス位置の特定に多大な時間が力かることも予測される。そうする と SubClipに対するランダムアクセスは、非常に時間が力かると考えられ、これを MainC lipと同期再生させようとすると、 MainClipの再生が著しく遅延することになる。これを避 けるべく、 SubClip側のランダムアクセスは事前に放棄し、 MainClipのみに対して、アド レスひ力もの読み出しを実行する (ステップ S9)。このように、ランダムアクセスの対象 を MainClipに限定することにより、ランダムアクセス時における、著しい処理遅延を避 けることができる。
[0136] 図 31は、図 25のように設定された EP_mapを用いてランダムアクセス位置をどのよう に特定するかを模式的に示した図である。以降図 31を引用して、図 31に示したラン ダムアクセス位置を特定する手順について説明する。尚、この図 31は、指定された飛 込位置が、 MainClip及び SubClipにおいて、たまたまエントリー位置として指定されて いるケースを想定して作図している。指定された飛込位置が、 Playltem時間軸におけ る Offset αの位置であるとすると、プレイリスト時間軸の原点は、 MainClip時間軸の In_t imeに存在するから、 MainClipに対する飛込位置は、 In_time + Offset αになり、この位 置を SPNに変換し、 SPNをセクタ数に換算すればょ 、。
[0137] 一方、 Playltem時間軸の Offset aは、 SubPlayltem時間軸にお!、ては、 Sync_Start_P TS_of_PlayItem + Offset j8の位置にある。何故なら、 SubPlayltem時間軸の原点は、 P1 ayltem時間軸の原点から、 Sync_Start_PTS_of_PlayItemだけ隔てた位置に存在するか らである。こうして Offset j8を算出すれば、 SubClip時間軸上の飛込位置の座標を算 出する。ここで SubPlayltemの時間軸の原点は、 SubPlayltemの In_timeに存在するから 、 SubPlayItem_In_time + Offset j8力 ubClip時間軸の飛込位置になる。以降、 SubClip の EP_mapを用いて飛込位置を SPNに変換し、この SPNをアドレスに変換する。
<ソフトウェアによる実装その 2.メイン変換部 46、サブ変換部 47 >
以降、コンピュータソフトウェアによるメイン変換部 46、サブ変換部 47の実装につい て説明する。メイン変換部 46、サブ変換部 47を、コンピュータソフトウェアとして実現 するには、図 32に示す再生手順をコンピュータに実行させるプログラムを作成すれ ばよい。
[0138] 図 32は、 MainClip、 SubClip上の座標 TMを、アドレスに変換する処理の処理手順を 示すフローチャートである。
EP_Highの PTS_EP_Highに示される時間幅を足し合わせてゆき、何個目の EP_High_i dにおいて、時間幅の総和∑力 ¾_timeを越えるかを判定する (ステップ S l l)。ここで P TS_EP_Highに示される時間幅とは、 PTS_EP_Highを上位ビットとする時間の単位であ る。 k個目の EP_Highjdにおいて、時間幅の総和∑力ln_timeを越えた場合、この kを記 憶しておく (ステップ S 12)。
[0139] EP丄 owjdを求めるため、 PTS_EP_High(k- 1)までの総和∑に、複数 EP丄 owの PTS_E P丄 owに示される時間幅を足し合わせて、何個目の EP丄 owjdにおいて、時間幅の総 和カ 1:^6を越ぇるかを判定する(ステップ313)。ここで h個目の EP丄 owjdにおいて 、時間幅の総和力 ¾_timeを越えた場合、この hを記憶しておく (ステップ S 14)。
このようにして求められた k-1及び h-1の組みにより、 In_timeに最も近い Entry Point を特定する。こうして求めた Entry Pointにおける SPN_EP_High、 SPN_EP丄 owの組みか ら、座標 TMにあたる位置の SPNを算出して、 SPNを、セクタアドレスに変換する (ステツ プ S15)。
[0140] SPNから、セクタアドレスへの変換は、以下の処理にてなされる。ここで SPNは、 TSパ ケットのシリアル番号であるので、この SPNに基づき TSパケットを読み出すには、 SPN を相対セクタ数に変換する必要がある。ここで図 4に示したように、 TSパケットは 32個 毎に 1つの Aligned Unitに変換され、 3つのセクタに記録されるので、 SPNを 32で割るこ とにより商を得て、その商を、 Iピクチャが存在する Aligned Unitの番号として解釈する 。こうして得られた Aligned Unit番号に 3を乗ずることにより、 SPNに最も近い Aligned U nitのセクタアドレスを求めることができる。こうして得られたセクタアドレスは、 1つの AV Clipファイルの先頭からの相対セクタ数なので、この相対セクタ数をファイルポインタ に設定することにより、 Entry Pointにあたるセクタを特定することができる。
[0141] ステップ S16は、 SubClipの EP_mapにおける EP_stream_typeは、 3,4,6,7の何れである かの判定である。もし EP_stream_typeが 6(PGストリーム)か、 7(IGストリーム)であるなら、 座標 TMに最も近い Entry Pointに、 Normal Case以外の Display Setの先頭位置 (PCS,I CS)が存在していると考えられる。この Display Setは、画面合成に必要な全ての機能 セグメントを有しているので、ステップ S 15での変換により得られたアドレスを、ァクセ ス位置たるアドレス 13とする (ステップ S 17)。
[0142] こうして、アドレス βが特定されれば、そこからの再生を実行することにより、字幕表 示やメニュー表示を実現することができる。
EP— stream— type ) 3(Primaryォーティォストリーム)力 4(Secondaryォーティォストリー ム)であるなら、ステップ S15での変換により得られたアドレスを開始点として、ストリー ム解析を開始する (ステップ S 18)。このストリーム解析は、 PESパケットのヘッダを取り 出し、このヘッダ力もオーディオフレームのサイズや PTSを読み出して、そのサイズに 基づき、次のオーディオフレームの記録位置を特定するという処理を行う。そして座 標 TM以上の値を有する PTSをもつ PESパケットに到達するまで、力かる処理を繰り返 す (ステップ S 19)。
[0143] もし、座標 TM以上の値を有する PTSをもつ PESパケットに到達すれば、力かる PESパ ケットのアドレスを、アクセス位置たるアドレス j8とする (ステップ S20)。こうして、ァドレ ス ι8が特定されれば、そこ力 の再生を実行して、音声再生を実現する。
以降、このフローチャートでの処理を、図 33、図 34を参照しながら、具体的に説明 する。
[0144] 図 33は、 SubClipが Primaryオーディオストリーム、 Secondaryオーディオストリームで ある場合の、変数 k,h,ランダムアクセス位置の関係を示す図である。本図の第 1段目 は、 EP_mapを構成する PTS_EP_Highを示し、第 2段目は EP_mapを構成する PTS_EP丄。 wを示す。第 3段目は TSパケット列を示す。本図において kは、ランダムアクセス位置 を越える最小の PTS_EP_Highを示すものであり、 hはランダムアクセス位置を越える最 小の PTS_EP丄 owを示すものである。
[0145] 1つ前の PTS_EP_High(k- 1)と、 1つ前の PTS_EP丄 ow(h-l)との組みが、ランダムァクセ ス位置に最も近いエントリー時刻を示すことになる。
これら PTS_EP_High、 PTS_EP丄 owの組みに対応する、 SPN_EP_High、 SPN_EP丄 owの 組みが、ランダムアクセス位置に最も近いエントリー位置を示すから、このエントリー 位置からストリーム解析を開始すれば、ランダムアクセス位置にあたる PESパケットに 迪りつくことができる。
[0146] 図 34は、 SubClip力 PGストリーム、 IGストリームである場合の、変数 k,h,ランダムァク セス位置の関係を示す図である。本図の第 1段目は、 EP_mapを構成する PTS_EP_Hig hを示し、第 2段目は EP_mapを構成する PTS_EP丄 owを示す。第 3段目は TSパケット列 を示す。本図において kは、ランダムアクセス位置を越える最小の PTS_EP_Highを示 すものであり、 hはランダムアクセス位置を越える最小の PTS_EP丄 owを示すものである
[0147] 1つ前の PTS_EP_High(k- 1)と、 1つ前の PTS_EP丄 ow(h-l)との組みが、ランダムァクセ ス位置に最も近いエントリー時刻を示すことになる。
これら PTS_EP_High、 PTS_EP丄 owの組みに対応する、 SPN_EP_High、 SPN_EP丄 owの 組みが、ランダムアクセス位置に最も近いエントリー位置を示すから、このエントリー 位置から、機能セグメントの読み出しを開始すれば、完結した機能セグメントからなる Display Setを、読み出すことができる。
[0148] 以上のように本実施形態によれば、 SubClipに対応する EP_mapには、 EP_stream_typ eが設けられているので、再生装置は、 Out-of-MUXストリームの EP_map力 ある決ま つた時間間隔をもったもの力、又は、独立した再生単位のアドレスを指示したもので あるかを知得することができる。 Out-of-MUXストリーム側の EP_mapの特性がどう!/、つ たものであるかを知得することができるので、高速なランダムアクセスが可能力否かを 即座に判定することができる。 MainClipと、 SubClipとの同期を図ったとしても、レスポ ンス低下を伴うことはないので、 MainPath+SubPathからなるプレイリストに対する飛込 再生を、 MainPath単体に対する飛込再生と同程度のレスポンス性で実現することが できる。
[0149] (第 2実施形態）
Picture in Picture(PiP)再生を実現する場合の改良に関する。 PiP再生とは、 PlayList 情報の MainPath情報により、動画像を構成する MainClipが指定されており、 PlayList 情報の SubPlayltem情報により、別の動画像を構成する SubClipが指定されて 、る場 合、前者の動画像 (Primary Video)と、後者の動画像 (Secondary Video)とを、同じ画面 内に表示するこという。
[0150] 図 35は、 PiP再生の一例を示す図である。本図において、所定の時点 tpが到達す るまでは、 Primary Videoのみが再生されている。そして時点 tpに到達してからは、 Pri mary Videoに、 Secondary Videoがはめ込まれた映像が再生されていることがわかる。 ここで Primary Videoは、 HD画像の再生映像であり、 "Secondary Video"は、 SD画像 である。
ここで Secondary Videoは、監督や出演者のみが登場している動画像であり、 Primar y Videoにおける映像内容を指さすような演技を行っているものとする。かかる動画像 力 ^Secondary Videoであるなら、力力る Secondary Videoの映像内谷を、 Primary Video の映像内容と組み合わせることにより、映画作品本編の再生映像の中身を、監督や 出演者が指さして、解説しているような、楽しい画面演出を実現することができる。 [0151] 図 36 (a)は、 HD画像と、 SD画像とを対比して示す図である。
HD画像は、 1920 X 1080という解像度を有し、フィルム素材同様、 3750 (もしくは 3753 力 3754)クロックのフレーム間隔を有する。
SD画像は、 720 X 480という解像度を有し、 NTSC素材同様、 1501クロックの表示間 隔、又は、 PAL素材同様、 1800クロックのフレーム間隔を有する。
[0152] 本図に示すように、 SD画像の解像度は、 HD画像の解像度の約 1/4程度なので、 H D画像たる Primary Videoと、 SD画像たる Secondary Videoとを同じ画面上に表示する と、 Secondary Videoは、 Primary Videoに対し、約 1/4程度の大きさになる。図 36 (b) は、 Secondary Videoがどのように拡大'縮小されるかを示す図である。 Secondary Vid eoの拡大'縮小は、 Scalling Factorに従ってなされる。この Scalling Factorは、縦 1/4 倍、縦 1/2倍、縦 1.5倍、縦 2倍といった倍率で与えられる。再生装置は、この Scalling Factorに従い、 Secondary Videoを縦方向に拡大 ·縮小を行う。また、横方向に対して も、 SD画像の元々のアスペクト比を維持するように、拡大'縮小を行う。
[0153] こうした拡大'縮小により、 PiP再生を行うにあたっての、 Secondary Videoのレイアウト を自由〖こ変ィ匕させることができる。
以上のような PiP再生アプリケーションを構成する場合の、記録媒体、再生装置の構 成について説明する。本実施形態において、 BD-ROMに記録された AVClipは、上述 した Primary Videoを構成するものとする。 Primary Videoはサイズが大きいので、大容 量メディアによる頒布が最適であるという理由による。一方、 Secondary Videoを構成 する SubClipや、 Primary Videoと、 Secondary Videoとの同期を規定するような PlayList 情報は、ネットワークを通じて再生装置に伝送され、ローカルストレージに記録される
[0154] くローカルストレージ 200の構成その 1.ファイル構成 >
図 37は、第 2実施形態に係るローカルストレージの記録内容を示す図である。本図 は、図 11と同様の表記で、ローカルストレージの構成を示している。本図が図 11と異 なるのは、ローカルストレージに記録されている SubClip(00002.m2ts)が、 Secondary V ideoストリームであり、 Clip情報 (00002.clpi)は、この Secondary Videoストリームに対す る EP_mapを有して!/、る点である。 <ローカルストレージ 200の構成その 2.Clip情報 >
図 38は、第 2実施形態において、ローカルストレージに記録されている Clip情報の 内部構成を示す図である。この Clip情報は、 Secondary Videoストリームに対する Clip 情報である。図中の引き出し線 cu2,cu3,cu4,cu5は、この Clip情報における EP_mapの 内部構成をクローズアップして 、る。
[0155] これらの引き出し線に示す EP_mapは、図 8に示したものと同一構成であり、 Secondar y Videoに対する EP_mapは、 Secondary Videoストリームを構成する個々のアクセスュ ニット (GOP)の先頭をエントリー位置として、エントリー時刻と対応づけて示している。 S econdary Videoであるとはいえ、この EPjnapは、動画像を対象としたものだから、ェン トリー時刻同士の時間間隔は 1秒未満であり、 EP_stream_typeは、図 8同様、 "l:Video Type"に設定されている。
[0156] 引き出し線 ctl,ct2は、 Clip Infoの内部構成をクローズアップしている。 Clip Infoの内 部構成において Application Typeは、 Clip情報に対応する SubClip力 "映像付きの追 カロコンテンツ (TS for additional content with video)"であることを示している。図 39は 、 Secondary Videoストリームに対して設定された EPjnapを、図 9と同様の表記で示し た図である。
[0157] 以上が第 2実施形態に係る、 Clip情報についての説明である。
くローカルストレージの構成その 3.PlayList情報 >
続いて第 2実施形態に係る PlayList情報について説明する。ここで PiP再生には、静 的な同期にて構成されるものと、動的な同期にて構成されるものがある。先程述べた ような、映画作品本編たる Primary Videoと、コメンタリ映像たる Secondary Videoとから なる PiP再生アプリケーションは、前者の静的な PiP再生により構成される。
[0158] < PlayList情報の詳細その 1.静的 PiPを実現するための構成要素 >
図 40は、静的な PiP再生を定義する PlayList情報を示す図である。静的な同期によ る PiP再生を定義する PlayList情報は、その内部に複数の SubPath情報を定義するこ とができ (Multi- SubPath)、また個々の SubPath情報内に、複数の SubPlayltem情報 (Mu Iti-SubPlayltem)を定義することができる。
[0159] 本図における SubPlayltem情報には、 PiP_Position、 PiP_Sizeという情報要素が新規 に追加され、各情報要素は以下のように設定される。
SubPlayltem†青報の"し lip— information— file— name，に ίま、 Primary Videoたる AVし lipの ファイル名を記述することができる。
"Sub_PlayItem_In_time"は、 Secondary Videoたる SubClipの時間軸のうち、 Sub Playlt emの開始時点となる再生時点を示す。
[0160] "Sub_PlayItem_Out_time"は、 Secondary Videoたる SubClipの時間軸のうち、 Sub Pla yltemの終了時点となる再生時点を示す。
"Sync_PlayItem_Id"には、 Primary Videoたる AVClipに対して定義されている、 Playlt emの識別子が記述される。
"Sync_Start_Pts_of_PlayItem"は、時間情報であり、 Sync_PlayItem_Idにて指定された Playltemの再生時において、 Playltem再生開始から、何秒経過した後に、 SubPlaylte m情報にて規定された再生区間 (SubPlayltem)の再生を開始するかを示す。
[0161] "PiP_Position"は、 Primary Video再生のための画面プレーン上の X座標、 Y座標を 用いて、 Secondary Videoの再生映像が配置されるべき位置を示す。
"PiP_Size"は、 Secondary Video再生映像の縦サイズ、横サイズを示す。
< PlayList情報の詳細その 2.静的 PiPにおける同期 >
図 41は、 PlayList情報により、 Primary Videoたる MainClipと、 Secondary Videoたる S ubClipとの同期がどのように定義されるかを、図 25、図 26と同様の表記で示した図で ある。
[0162] Secondary Videoたる SubClipには、 EPjnapが設けられており、 1秒未満と!/、つた時間 精度で、高速なランダムアクセスが行えることが保証されている。ランダムアクセスが 高速になされることを前提にして、 PlayList情報により、 Primary Videoたる MainClipと、 Secondary Videoたる SubClipとの同期が規定されている。
ここで、 Secondary Videoたる SubClipに、 EPjnapを設けておくことの技術的意義に ついて説明する。 Secondary Videoたる SubClipに、 EPjnapを設けておくのは、 Primary Videoが特殊再生されている場合に、 Secondary Videoに対しても、同様の特殊再生 を行うためである。 PiP再生において、 Primary Videoを特殊再生しょうとする場合、 Sec ondary Videoをどのように扱うかが問題になる。ここで Primary Video側を早送り'卷戻 しした場合、 Primary Videoの再生に拘らず、 Secondary Video側は、通常再生を継続 することも考えられる。しかしこの場合、 Primary Video側のデコーダと、 Secondary Vid eo側のデコーダとを再生装置に設けて、これらを別々のシステムタイムクロック (STC) で動作させることが必要になる。家電機器を前提にしたプレーヤモデルにおいて、 ST Cを 2つ設けることは、先ず不可能である。
[0163] Primary Video側の早送り '巻戻しに伴い、 Secondary Videoも同様に早送り '巻戻し するという同期処理の実現が、現実的であるから、 SubClipに EP_mapを設け、 Primary Videoに対して早送り '巻戻しを行う際、 Secondary Videoに対しても、早送り '巻戻しを 行うようにしている。
以上が、静的な同期を前提にした、 PlayList情報についての説明である。 < PlayList情報の詳細その 3.動的な同期による PiP再生 >
続いて動的な同期を前提した PlayList情報について説明する。
[0164] 動的な同期とは、 Secondary Videoストリーム (SubClip)に対応する SubPlayltemの再 生を、 Primary Videoストリーム (MainClip)に対応する Playltemの時間軸上のどの時点 で開始させるかが、ユーザ操作により動的に変化することをいう。制作者が構想して いるアプリケーションイメージは、以下のようなものである。図 42 (a)〜（c)は、動的な 同期を前提にした、アプリケーションを示す図である。
[0165] このアプリケーションのうち、 Primary Videoの映像内容は、図 42 (a)のようなもので ある。図 42 (a)に示した個々のボタンは、動画像のサムネールの絵柄をもつボタン (サ ムネールボタン)であり、ノーマル状態、セレクテッド状態、アクティブ状態という 3つの 状態をもつ。そして、これらのサムネールボタンのどれかがセレクテッド状態になった 際 (図 42 (b))、このセレクテッド状態になったサムネールの代わりに、 Secondary Vide oの再生映像をはめ込んで再生させた 、(図 42 (c) )との構想を、制作者が抱!、て!/、る ものとする。本例のアプリケーションのように、再生時のユーザによって、 Secondary Vi deo再生の開始時点が変化するのが、 "動的な同期"である。そして、この図 42 (b)の 一例において、何れかのサムネールをセレクテッド状態にする操作 (この場合、ボタン の選択操作になる)をロック操作と 、う。
[0166] 動的な同期において、どのサムネールに対応する Secondary Videoを再生させるか は、再生時までわからず、また Primary Videoの再生時において、 Secondary Videoの 同期時点を、動的に定める必要がある。
< PlayList情報の詳細その 4.動的 PiPを実現するための構成要素 >
図 43は、動的な同期を前提にした PiP再生を定義する、 PlayList情報の内部構成構 成を示す図である。
[0167] 動的同期による PiP再生を定義する PlayList情報は、その内部に複数の SubPath情 報を定義することができる (Multト SubPath)。しかし個々の SubPath情報内には、 1つの SubPlayltem情報し力、定義することができな 、(Single- SubPlayItem)。
本図における SubPlayltem情報には、図 40同様、 PiP_Position、 PiP_Sizeという情報 要素を有する。このうち、 SubPlayltem情報の Clip_information_file_name、 SubPalyltem. In— time、 SubPalyltem— Out— time、 Sync— Playltem— Id、 PiP— Position、 PiP— Sizeに对する設 定は、図 40と同様である。異なるのは、 Sync_Start_Pts_of_PlayItemの設定である。
[0168] "Sync_Start_Pts_of_PlayItem"は、不定値が設定されて 、る。この不定値は、 Sync.Pla yltemjdにて指定された Playltemの時間軸にお!、て、ユーザによりロック操作がなさ れた時点を、 Sync_PlayItem_Idにて指定された Playltemとの同期時点に定める旨を示 す。
この図 43の PlayList情報を再生装置が参照した際、サムネールボタン力 セレクテ ッド状態になり、自動的にアクティブ状態になった時点における再生経過時を、ロック 操作の時点として Sync_Start_PTS_of_PlayItemに書き込むよう再生装置が動作すれば 、サムネールがアクティブ状態になった時点から、 Secondary Videoの再生は開始す ることになる。この手順は、サムネールボタンの選択'自動確定時のみを行うべき手順 、つまりサムネールボタンに特化したものなので、サムネールボタン固有の制御を規 定する、ナビコマンドを用いて記述するのが望ましい。
[0169] 以上が、動的同期による PiP再生を実現する、 PlayList情報の内部構成である。以 上で、本実施形態に係る記録媒体の改良についての説明を終える。
続いて本実施形態に係る再生装置の改良について説明する。
<再生装置の構成その 1.全体構成 >
図 44は、第 2実施形態に係る再生装置の内部構成を示す図である。本図は、紙面 の都合から、オーディオデコーダに係る構成要素を省略している。
[0170] 本図は、図 29に示した再生装置の構成図をベースにしており、共通の構成要素に ついては、同じ参照符号を付している。こうした共通の構成要素のうち、 Transport Bu ffer5、 Multiplexed Buffer6、 Coded Picture Buffer7、ビデオデコーダ 8、 Decoded Pict ure BufferlO、 Primary Videoプレーン 11は、第 2実施开態において、 Primary Video ストリームのデコードを行うという役割を果たす。
[0171] 一方、 Secondary Videoストリームのデコードを行うベぐ図 44に係る再生装置のハ 一ドウエア構成には、 Transport Buffer51、 Multiplexed Buffer52、 Coded Picture Buff er53、ビデオデコーダ 54、 Decoded Picture Buffer55、 Secondary Videoプレーン 56 、スケーラ 57、合成部 58が設けられている。以降、新規に追加された、これらの構成 要素を説明する。
<再生装置 300の構成その 2ノ、一ドウエア構成に追加された構成要素 > Transport Buffer(TB)51は、 Secondary Videoストリーム (SubClip)に帰属する TSパケ ットが PIDフィルタ 35から出力された際、ー且蓄積されるバッファである。
[0172] Multiplexed Buffer(MB)52は、 Transport Buffer 51から Coded Picture Buffer53に Se condary Videoストリームを出力するにあたって、ー且 PESパケットを蓄積しておくため のバッファである。
Coded Picture Buffer(CPB)53は、符号化状態にあるピクチャ (Iピクチャ、 Bピクチャ、
Pピクチャ)が格納されるバッファである。
[0173] ビデオデコーダ 54は、 Secondary Videoストリームの個々のフレーム画像を所定の 復号時刻（DTS)ごとにデコードすることにより複数フレーム画像を得て、 Decoded Pict ure Buffer55に書き込む。
Decoded Picture Buffer55は、復号されたピクチャが書き込まれるバッファである。 Secondary Videoプレーン 56は、 Secondary Videoをデコードすることにより得られる 再生映像を格納する。
[0174] Scaller57は、 SubPlayltem情報の PiP_Sizeに示される縦.横の大きさに基づき、 Secon dary Videoプレーン 56上に得られた再生映像を拡大又は縮小する。
合成部 58は、 Scaller57によりされた拡大又は縮小された再生映像と、ビデオデコ ーダにより得られた再生映像とを合成することで PiP再生を実現する。合成部 58によ る Primary Videoの再生映像と、 Secondary Videoの再生映像との合成は、 SubPlaylte m情報にて規定されている、 PiP_Positionに従ってなされる。こうすることにより、 Primar y Videoの再生映像と、 Secondary Videoの再生映像とが合成された合成映像が再生 されることになる。この合成部 58による合成では、クロマキ一合成、レイヤ合成等が可 能であり、 Secondary Videoにおける背景を取り除き、人物部分を抜き出した上で、 Pri mary Videoの再生映像に合成することも可能である。
[0175] 以上の構成要素が追加されたので、第 2実施形態において PIDフィルタ 35は、 Seco ndary Videoストリ ~~ムを構成する i，Sノヽケット 、 Transport Buffer5丄〜 secondary Vide oプレーン 56に供給する。以上が、再生装置におけるハードウェア構成要素である。
<再生装置 300の構成その 2.制御部 45に追加された構成要素 >
制御部 45には、機能的な構成要素として Sync設定部 50が設定されている。
[0176] Sync設定部 50は、 SubPlayltem情報における Sync_Start_PTS_of_PlayItemが不定値 であるか否かを判定して、不定値である場合、 MainClipのうち、 Playltem情報で指定 された再生区間のみが再生されている状態において、同期区間の開始点を定める操 作 (ロック操作)を受け付ける。この受け付けは、リモコンを介してなされる。ロック操作 を受け付けると、ロック操作の時点を示す時間情報を用いて、 SubPlayltem情報の Syn c_Start_PTS_of_PlayItemにおける不定値を上書きする。ここでロック操作が、 MainClip の再生映像上に現れた何れかのボタンを選択する操作で実現される場合、当該ボタ ンの選択操作がなされた時点をロック操作の時点とする。
[0177] このようにして Sync_Start_PTS_of_PlayItemが設定されれば、 Primary Videoに対して 設定された Playltemと、 Secondary Videoに対して設定された SubPlayltemとを再生す るよう PL再生制御部 48が再生制御を行うことにより、動的な同期による PiP再生を実 現することができる。
無論、 Sync_Start_PTS_of_PlayItemとして、時間情報が静的に設定されている場合、 Primary Videoに対して設定された Playltemと、 Secondary Videoに対して設定された S ubPlayltemとを再生するよう PL再生制御部 48が再生制御を行うことにより、静的な同 期による PiP再生を実現することができる。 [0178]
<再生装置の構成その 2.ソフトウェア実装 >
以上が第 2実施形態に力かる構成要素についての説明である。続いて、ソフトゥェ ァ実装における第 2実施形態の改良点について説明する。
図 45は、 Playltem時間軸上の任意の座標力 の飛込再生を行う場合の制御手順を 示すフローチャートである。本フローチャートは、図 30のフローチャートをベースにし て作成されている。本図は、ステップ S4〜ステップ S8が、ステップ S31〜S35に置き 換えられている点を除き、図 30と同一である。ステップ S31において SubClipの EP_ma pにおける EP_stream_typeが Video Typeであるか否かを半 U定する。 SubClipの EP_map における EP_stream_typeが、 Video Tyte: lであれば (ステップ S31で yes)、 Playltem時 間軸における Offset aを、 SubPlayltem時間軸における Offset β (= Offset a— Sync_St art_Pts_of_PlayItem)に変換し (ステップ S32)、 Offset j8を、 SubClip時間軸上の座標 (Su ？1& 61^1 _1:^6+011^1：|8 )に変換する(ステップ333)。そして EP_mapを用いて、 Sub Playltem_ln_time+0ffset βを、 Secondary Videoたる SubClipの GOPのアドレス j8に変 換し (ステップ S34)、 BD- ROMにおけるアドレスひからの、 Primary Videoの GOPの読 み出しと、ローカノレストレージ 200におけるアドレス j8からの、 Secondary Videoの GOP の読み出しとを同時に実行する (ステップ S35)。
[0179] ステップ S31において、 SubClipの EP_mapにおける EP_stream_typeが、 Video Tyte: l でな 、なら、図 30のステップ S4〜ステップ S8を実行する。
図 46は、 MainClipに対するランダムアクセスと、 SubClipに対するランダムアクセスと を、図 31と同様の表記で描いた図である。 Secondary Videoたる SubClipには、 1秒未 満の時間間隔でエントリー位置が指定されており、これを用いて、 SubClipに対するラ ンダムアクセスが行われる。 SubClipに対するランダムアクセス力 MainClipに対するラ ンダムアクセスと、同程度の処理速度をもって行われるので、 MainClipに対して飛び 込み再生を行い、それと共に、 SubClipに対しても飛び込み再生を行うという、飛び込 み再生の同期を実現することができる。
[0180] 以上のように本実施形態によれば、 HD画像たる Primary Videoに、 SD画像たる Seco ndary Videoを組み合わせて、再生に供するという PiP再生においても、ランダムァクセ スの高速ィ匕を実現することができ、この高速ィ匕を前提にて、 PiP再生を、特殊再生で 再生してゆくことが可能になる。
(備考）
以上の説明は、本発明の全ての実施行為の形態を示している訳ではない。下記 (A
)(B)(C)(D) の変更を施した実施行為の形態によっても、本発明の実施は可能と なる。本願の請求項に係る各発明は、以上に記載した複数の実施形態及びそれらの 変形形態を拡張した記載、ないし、一般ィ匕した記載としている。拡張ないし一般化の 程度は、本発明の技術分野の、出願当時の技術水準の特性に基づく。
[0181] (A)各実施形態に示したフローチャートや、機能的な構成要素による情報処理は、 ハードウェア資源を用いて具体的に実現されていることから、自然法則を利用した技 術的思想の創作と!/、え、 "プログラムの発明"としての成立要件を満たす。
•本発明に係るプログラムの生産形態
本発明に係るプログラムは、以下のようにして作ることができる。先ず初めに、ソフト ウェア開発者は、プログラミング言語を用いて、各フローチャートや、機能的な構成要 素を実現するようなソースプログラムを記述する。この記述にあたって、ソフトウェア開 発者は、プログラミング言語の構文に従い、クラス構造体や変数、配列変数、外部関 数のコールを用いて、各フローチャートや、機能的な構成要素を具現するソースプロ グラムを記述する。
[0182] 具体的には、フローチャートにおける繰り返し処理は、上記構文に規定された for文 等を用いて記述する。判定処理は、上記構文に規定された i戊, swith文等を用いて 記述する。デコーダに対する再生制御や、ドライブ装置のアクセス制御等、ハードウ エアについての制御は、ハードウェアの製造元から供給される外部関数を呼び出す ことにより、記述する。
[0183] 記述されたソースプログラムは、ファイルとしてコンパイラに与えられる。コンパイラは 、これらのソースプログラムを翻訳してオブジェクトプログラムを生成する。
コンパイラによる翻訳は、構文解析、最適化、資源割付、コード生成といった過程か らなる。構文解析では、ソースプログラムの字句解析、構文解析および意味解析を行 い、ソースプログラムを中間プログラムに変換する。最適化では、中間プログラムに対 して、基本ブロック化、制御フロー解析、データフロー解析という作業を行う。資源割 付では、ターゲットとなるプロセッサの命令セットへの適合を図るため、中間プログラム 中の変数をターゲットとなるプロセッサのプロセッサが有しているレジスタまたはメモリ に割り付ける。コード生成では、中間プログラム内の各中間命令を、プログラムコード に変換し、オブジェクトプログラムを得る。
[0184] ここで生成されたオブジェクトプログラムは、各実施形態に示したフローチャートの 各ステップや、機能的構成要素の個々の手順を、コンピュータに実行させるような 1つ 以上のプログラムコードから構成される。ここでプログラムコードは、プロセッサのネィ ティブコード、 JAVA (登録商標)バイトコードというように、様々な種類がある。プロダラ ムコードによる各ステップの実現には、様々な態様がある。外部関数を利用して、各 ステップを実現することができる場合、この外部関数をコールするコール文力 プログ ラムコードになる。また、 1つのステップを実現するようなプログラムコード力 別々のォ ブジェクトプログラムに帰属することもある。命令種が制限されて 、る RISCプロセッサ では、算術演算命令や論理演算命令、分岐命令等を組合せることで、フローチャート の各ステップを実現してもよ 、。
[0185] オブジェクトプログラムが生成されるとプログラマはこれらに対してリンカを起動する 。リンカはこれらのオブジェクトプログラムや、関連するライブラリプログラムをメモリ空 間に割り当て、これらを 1つに結合して、ロードモジュールを生成する。こうして生成さ れるロードモジュールは、コンピュータによる読み取りを前提にしたものであり、各フロ 一チャートに示した処理手順や機能的な構成要素の処理手順を、コンピュータに実 行させるものである。以上の処理を経て、本発明に係るプログラムを作ることができる
(B)本発明に係るプログラムは、以下のようにして使用することができる。
[0186] (0糸且込プログラムとしての使用
本発明に係るプログラムを組込プログラムとして使用する場合、プログラムにあたる ロードモジュールを、基本入出力プログラム (BIOS)や、様々なミドルウェア (オペレー シヨンシステム)と共に、命令 ROMに書き込む。こうした命令 ROMを、制御部に組み込 み、 CPUに実行させることにより、本発明に係るプログラムを、再生装置の制御プログ ラムとして使用することができる。
[0187] GOアプリケーションとしての使用
再生装置が、ハードディスク内蔵モデルである場合は、基本入出力プログラム (BIO S)が命令 ROMに組み込まれており、様々なミドルウェア (オペレーションシステム)が、 ハードディスクにプレインストールされている。また、ハードディスクから、システムを起 動するためのブート ROM力 再生装置に設けられて!/、る。
[0188] この場合、ロードモジュールのみを、過搬型の記録媒体やネットワークを通じて、再 生装置に供給し、 1つのアプリケーションとしてハードディスクにインストールする。そう すると、再生装置は、ブート ROMによるブートストラップを行い、オペレーションシステ ムを起動した上で、 1つのアプリケーションとして、当該アプリケーションを CPUに実行 させ、本発明に係るプログラムを使用する。
[0189] ハードディスクモデルの再生装置では、本発明のプログラムを 1つのアプリケーショ ンとして使用しうるので、本発明に係るプログラムを単体で譲渡したり、貸与したり、ネ ットワークを通じて供給することができる。
(C)本発明に係るシステム LSIの生産 ·使用行為
システム LSIとは、高密度基板上にベアチップを実装し、パッケージングしたものを いう。複数個のベアチップを高密度基板上に実装し、ノ ッケージングすることにより、 あた力も 1つの LSIのような外形構造を複数個のベアチップに持たせたものも、システ ム LSIに含まれる (このようなシステム LSIは、マルチチップモジュールと呼ばれる。；)。
[0190] ここでパッケージの種別に着目するとシステム LSIには、 QFP (タッドフラッドアレイ） 、 PGA (ピングリッドアレイ)という種別がある。 QFPは、パッケージの四側面にピンが 取り付けられたシステム LSIである。 PGAは、底面全体に、多くのピンが取り付けられ たシステム LSIである。
これらのピンは、ドライブ装置との入出力インターフェイス、リモコン装置との入カイ ンターフェイス、テレビとのインターフェイス、その他、 IEEE1394インターフェイスや PCI バスとのインターフェイスとしての役割を担っている。システム LSIにおけるピンには、 こうしたインターフェイスの役割が存在するので、システム LSIにおけるこれらのピンに 、ドライブ装置等や再生装置の各種回路を接続することにより、システム LSIは、再生 装置の中核としての役割を果たす。
[0191] システム LSIにパッケージングされるベアチップとは、各実施形態において内部構成 図として示した各構成要素の機能を具現する命令 ROMや CPU、デコーダ LSI等であ る。
先に"組込プログラムとしての使用"で述べたように、命令 ROMには、プログラムにあ たるロードモジュールや、基本入出力プログラム (BIOS)、様々なミドルウェア (オペレー シヨンシステム)が書き込まれる。本実施形態において、特に創作したのは、このプロ グラムにあたるロードモジュールの部分なので、プログラムにあたるロードモジュール を格納した命令 ROMを、ベアチップとしてパッケージングすることにより、本発明に係 るシステム LSIは生産することができる。
[0192] 生産手順の詳細は以下のものになる。まず各実施形態に示した構成図を基に、シ ステム LSIとすべき部分の回路図を作成し、回路素子や IC,LSIを用いて、構成図にお ける構成要素を具現化する。
そうして、各構成要素を具現化してゆけば、回路素子や IC,LSI間を接続するバスや その周辺回路、外部とのインターフェイス等を規定する。更には、接続線、電源ライン 、グランドライン、クロック信号線等も規定してゆく。この規定にあたって、 LSIのスぺッ クを考慮して各構成要素の動作タイミングを調整したり、各構成要素に必要なバンド 幅を保証する等の調整を加えながら、回路図を完成させてゆく。
[0193] 回路図が完成すれば、実装設計を行う。実装設計とは、回路設計によって作成され た回路図上の部品 (回路素子や IC,LSI)を基板上のどこへ配置するか、あるいは、回 路図上の接続線を、基板上にどのように配線するかを決定する基板レイアウトの作成 作業である。
ここで実装設計は、自動配置と、自動配線とからなる。
CAD装置を利用する場合、この自動配置は、 "重心法"と呼ばれる専用のアルゴリ ズムを用いて実現することができる。自動配線は、回路図上の部品のピン同士を接続 するような接続線を、金属箔ゃビアを用いて規定する。 CAD装置を利用する場合、こ の配線処理は、 "メーズ法""ラインサーチ法"と呼ばれる専用のアルゴリズムを用いて 実現することができる。 [0194] こうして実装設計が行われ、基板上のレイアウトが確定すれば、実装設計結果を CA Mデータに変換して、 NC工作機械等の設備に出力する。 NC工作機械は、この CAM データを基に、 SoC実装や SiP実装を行う。 SoC(System on chip)実装とは、 1チップ上 に複数の回路を焼き付ける技術である。 SiP(System in Package)実装とは、複数チッ プを榭脂等で 1パッケージにする技術である。以上の過程を経て、本発明に係るシス テム LSIは、各実施形態に示した再生装置の内部構成図を基に作ることができる。
[0195] 尚、上述のようにして生成される集積回路は、集積度の違いにより、 IC、 LSI,スーパ -LSI,ウノレ卜ラ LSIと呼称されることちある。
さらに、各再生装置の構成要素の一部又は全てを 1つのチップとして構成してもよ い。集積回路化は、上述した SoC実装, SiP実装に限るものではなぐ専用回路又は汎 用プロセスで実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programmable Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能な シリコンフィギユラブル 'プロセッサを利用することが考えられる。更には、半導体技術 の進歩又は派生する技術により LSIに置き換わる集積回路化の技術が登場すれば、 当然、その技術を用いて機能ブロックの集積回路化を行っても良い。例えば、バイオ 技術の適応などが可能性としてありうる。
[0196] (D)全ての実施形態では、本発明に係る記録媒体を、ハードディスクとして説明した 力 本発明の記録媒体は、記録される EP_mapや EP_stream_typeに特徴があり、この特 徴は、ハードディスクの物理的性質に依存するものではない。 EP_mapや EP_stream_ty peを記録し、 BD-ROMと共に用いられる記録媒体なら、どのような記録媒体であって もよい。例えば、コンパクトフラッシュ（登録商標)カード、スマートメディア、メモリスティ ック、マルチメディアカード、 PCM-CIAカード等の半導体メモリカードであってもよい。 フレキシブルディスク、 SuperDisk,Zip,Clik!等の磁気記録ディスク (0、 ORBJaz.SparQ, SyJet,EZFley,マイクロドライブ等のリムーバブルハードディスクドライブ (ii)であってもよ い。
[0197] (E)各実施形態におけるデジタルストリームは、 BD-ROM規格の AVClipであったが、 DVD- Video規格、 DVD- Video Recording規格の VOB(VideoObject)であってもよい。 VOBは、ビデオストリーム、オーディオストリームを多重化することにより得られた ISO/I EC13818-1規格準拠のプログラムストリームである。また AVClipにおけるビデオストリ ームは、 MPEG4や WMV方式であってもよい。更にオーディオストリームは、 Linear- P CM方式、 Dolby- AC3方式、 MP3方式、 MPEG- AAC方式、 dts方式であってもよい。
[0198] (F)各実施形態では MPEG4-AVC ^ゃ^丁とも呼ばれる）をもとに説明したが、 MPEG2ビデオストリームであってもよぐまた、その他の形式 (VC-1等)の画像の場合 でも単独でデコード可能な画像であれば、容易に応用可能である。
(G)Sync設定部 50により Sync_Start_PTS_of_PlayItemが設定された場合、 Sync設定部 50は、図 47 (a)〜（c)のような再生制御を行うことが望まし!/、。
[0199] 図 47 (a)は、動的同期による PiP再生を実現する場合の再生制御を示す図である。
Playltem時間軸の任意の一時点を、 SubPlayltemの同期時点に定める。従って現在 の再生時点が、 Sync_Start_PTS_of_PlayItemに規定された時点に到達すれば、 Second ary Videoのデコードを開始して、 Secondary Videoの再生映像を、 Primary Videoの再 生映像に合成させる。
[0200] 図 47 (b)は、通常再生によるロック点の通過→卷戻しによるロック点の通過→通常 再生によるロック点の通過がなされて、ロック点の行き来が生じた場合、動的な同期 による PiP再生がどのように行われるかを示す図である。つまり、現在の再生時点が口 ック点を通過した後、ユーザが巻戻しを行い、ロック点前まで戻って、再びロック点を 通過した場合の、動的同期による PiP再生を示している。
[0201] ロック点の通過により、 PiP再生を開始する力 巻戻しがなされた時点で、 PiP再生を やめる。以降通常再生がなされ、再びロック点を通過した後も、 PiP再生は行わない。 図 47 (c)は、 Primary Videoの再生区間の末尾より、 Secondary Videoの再生区間が 後である場合の、 PiP再生を示す図である。この場合、 Secondary Videoの再生が終わ るまで、 Primary Videoの最後のピクチャの表示を継続すれば良い。 Primary Videoの 再生が終わった時点で、 Secondary Videoの再生を終えてもよい。
[0202] (H)PiP再生における Secondary Videoの再生位置を、細か!/、時間間隔で変化させな い場合、多くの時間情報や位置情報を、 PlayList情報に定義しておく必要がある。こ の場合、 PlayList情報に、 BD- RE規格に規定された User Private情報や複数の PLMa rk情報を設け、これらの情報に、 PiP_Positionや、 PiP_Sizeを定義するのが望ましい。 そして Scaller57や合成部 58は、これら User Private情報や複数の PLMark情報に基 づき、拡大'縮小処理や合成処理を行うのが望ましい。
[0203] (I)PlayList情報の MainPath情報により指定された MainClipたる Primary Videoと、 Pla yList情報の SubPlayltem情報により指定された SubClipたる Secondary Videoとを、一 画面ではなぐ別々の画面で表示するようにしてもよい。また、 Primary Videoを SD画 像で構成し、 Secondary Videoを HD画像で構成してもよい。
(J)第 2実施形態において Primary Videoたる MainClipは、 BD- ROMにて供給され、 S econdary Videoたる SubClipはローカルストレージ 200にて供給されるとした力 Secon dary Videoたる SubClipは、 BD- ROMに記録され、 Primary Videoたる MainClipと共に、 再生装置に供給されるとしてもよい。
[0204] また Secondary Videoストリームと、 Primary Videoストリームとは、 1つの AVClipに多 重化されていてもよい。
産業上の利用可能性
[0205] 本発明に係る記録媒体及び再生装置は、ホームシアターシステムでの利用のよう に、個人的な用途で利用されることがありうる。しかし本発明は、上記実施形態に内 部構成が開示されており、この内部構成に基づき量産することが明らかであるので、 本発明に係る記録媒体及び再生装置は、工業製品の生産分野において生産し、又 は、使用することができる。このことから本発明に係る記録媒体及び再生装置は、産 業上の利用可能性を有する。

Claims

請求の範囲
[1] プレイリスト情報が記録された記録媒体であって、
前記プレイリスト情報は、複数デジタルストリームのそれぞれに対し、再生区間を定 義する情報であり、メインパス情報、サブパス情報を含み、
前記メインパス情報は、
複数デジタルストリームのうち 1つを、メインストリームとして指定して、そのメインストリ ームに対し、主たる再生区間を定義する情報であり、
前記サブパス情報は、
複数デジタルストリームのうち他の 1つを、サブストリームとして指定して、そのサブス トリームに対し、前記主たる再生区間と同期すべき、従たる再生区間を定義する情報 であり、
前記記録媒体には、
複数のデジタルストリームのうち、サブストリームとして指定されたもの力 エントリー マップと対応づけられた形で記録されており、
前記エントリーマップは、
サブストリームの時間軸における複数のエントリー時刻を、サブストリームにおける複 数のエントリー位置と対応づけて示す、ことを特徴とする記録媒体。
[2] 前記再生区間の定義は、
デジタルストリームの時間軸における再生開始時点を示す時間情報、及び、再生 終了時点を示す時間情報の組みを、メインパス情報及びサブパス情報のそれぞれに 記述することでなされ、
前記サブパス情報は、同期情報を含み、
同期情報は、主たる再生区間の時間軸における、同期時点を示す時間情報を有 する、ことを特徴とする請求項 1記載の記録媒体。
[3] エントリーマップには、
前記時間軸上の一定時間間隔置きに存在する複数のエントリー時刻、又は、デジ タルストリームにおいて、一定のデータ間隔置きに存在する複数のエントリー位置を 示す第 1タイプのエントリーマップと、 完結したデータ集合の先頭にあたるエントリー位置を、エントリー時刻と対応づけて 示す第 2タイプのエントリーマップとがあり、
前記エントリーマップは、エントリーマップの類型力 第 1タイプであるか、第 2タイプ であるかを示すフラグを含む、請求項 2記載の記録媒体。
[4] 前記メインストリームは、第 1の動画像を構成するものであり、
前記サブストリームは、第 2の動画像を構成する、ことを特徴とする請求項 1記載の 記録媒体。
[5] 前記プレイリスト情報は、
第 1の動画像の再生映像と、第 2の動画像の再生映像とを同一画面内に再生する 旨を再生装置に命じる、請求項 4記載の記録媒体。
[6] 前記プレイリスト情報において、サブパス情報は、不定値を示す時間情報を用いて、 サブストリームの同期時点を示す同期情報を有しており、
当該不定値は、
主たる再生区間の再生時に、ユーザが所定の操作を行った時点を、同期時点とし て設定すべき旨を、再生装置に指示する値である、請求項 5記載の記録媒体。
[7] 前記同期情報は更に、位置情報、サイズ情報を含み、
前記位置情報は、第 1の動画像と、第 2の動画像とを同一画面に表示するにあたつ ての、第 2の動画像の表示位置を示し、
前記サイズ情報は、前記同一画面の表示にあたっての、第 2の動画像の縦横の大 きさを示す、ことを特徴とする請求項 5記載の記録媒体。
[8] 主たる再生区間が定義されたメインストリームと、従たる再生区間が定義されたサブス トリームとに対して、特殊再生を実行する再生装置であって、
特殊再生を開始すべき再生時点は、主たる再生区間の時間軸において定義され ており、
主たる再生区間の時間軸における再生時点を、メインストリームのアドレスに変換す る第 1変換手段と、
主たる再生区間の時間軸における再生時点を、従たる再生区間の時間軸における 再生時点に変換し、変換後の再生時点を、サブストリームのアドレスに変換する第 2 変換手段と、
第 1変換手段、第 2変換手段により変換されたアドレスから、メインストリーム及びサ ブストリームを読み出す読出手段と、
読み出されたメインストリーム及びサブストリームを再生する再生手段とを備え、 主たる再生区間及び従たる再生区間は、プレイリスト情報に定義されており、 プレイリスト情報は同期情報を含み、同期情報は、
主たる再生区間の時間軸のうち、従たる再生区間を同期させるべき、同期時点を示 す時間情報を含み、
サブストリームにはエントリーマップが対応づけられており、
第 2変換手段は、
プレイリスト情報における同期情報を用いて、主たる再生区間の時間軸における再 生時点を、従たる再生区間の時間軸における再生時点に変換し、
サブストリームに対応づけられたエントリーマップを用いて、変換後の再生時点を、 サブストリームのアドレスに変換する、ことを特徴とする再生装置。
[9] 前記エントリーマップは、フラグを含み、
フラグは、エントリーマップが第 1タイプである力、第 2タイプであるかを示す情報で あり、
前記第 2変換手段は、
フラグが第 1タイプを示している場合、時間軸上の一定時間間隔置きに存在する複 数のエントリー時刻、又は、デジタルストリーム上の一定データ間隔置きに存在する 複数のエントリー位置のうち、再生が命じられた時点に最も近いものを、ストリーム解 祈の開始点として選び、この開始点から、ストリーム解析を実行することで、再生時点 に対応するアドレスを取得し、
フラグが第 2タイプを示している場合、完結したデータ集合の開始点となるエントリ 一位置のうち、再生が命じられた時点に最も近いエントリー時刻と対応づけられてい るものを、再生時点に対応するアドレスとして取得する、請求項 8記載の再生装置。
[10] 前記メインストリームは、第 1の動画像を含むデジタルストリームであり、
前記サブストリームは、標準的な画質の動画像を含むデジタルストリームであり、 前記再生手段は、
メインストリームをデコードして第 1の動画像を得る第 1デコーダと、
サブストリームをデコードして第 2の動画像を得る第 2デコーダと
を備えることを特徴とする請求項 8記載の再生装置。
[11] 第 2デコーダにより得られた再生映像を、第 1デコーダにより得られた再生映像と合成 することで、第 1の動画像及び第 2の動画像を同一画面に表示する合成手段とを備 える、請求項 10記載の再生装置。
[12] 同期情報における時間情報には、不定値を用いて、同期時点を示しているものがあ り、
当該不定値は、
メインストリームにおける主たる再生区間の再生時に、ユーザが所定の操作を行つ た時点を、同期時点として設定すべき旨を、再生装置に指示する値であり、
前記再生装置は、
同期情報における時間情報が不定値である場合、メインストリームにおける主たる 再生区間で指定された部分のみが再生されている状態において、同期区間の開始 点を定めるロック操作を受け付けて、力かる開始点を示す時間情報を用いて、同期 情報における不定値を上書きする設定手段を備える
ことを特徴とする請求項 11記載の再生装置。
[13] 前記ロック操作は、メインストリームの再生映像上に現れた何れかのボタン画像をュ 一ザが選択することでなされ、
前記合成手段は、
メインストリームのボタン画像のある部分に、サブストリームの再生映像をはめ込むこ とを特徴とする、請求項 12記載の再生装置。
[14] 同期情報は更に、位置情報を含み、
位置情報は、
第 1の動画像及び第 2の動画像を同一画面に表示するにあたっての、第 2の動画 像の表示位置を示し、
前記合成手段による第 2の動画像の合成は、位置情報に従ってなされる ことを特徴とする、請求項 11記載の再生装置。
[15] 前記合成手段による合成に先立ち、第 2デコーダにより得られた再生映像を拡大又 は縮小するスケーラを備え、
同期情報は更に、サイズ情報を含み、
サイズ情報は、第 2の動画像の縦横の大きさを示し、
スケーラによる拡大又は縮小は、サイズ情報に基づぐことを特徴とする請求項 14 記載の再生装置。
[16] 主たる再生区間が定義されたメインストリームと、従たる再生区間が定義されたサブス トリームとに対して、特殊再生をコンピュータに実行させるプログラムであって、 特殊再生を開始すべき再生時点は、主たる再生区間の時間軸において定義され ており、
主たる再生区間の時間軸における再生時点を、メインストリームのアドレスに変換す る第 1変換ステップと、
主たる再生区間の時間軸における再生時点を、従たる再生区間の時間軸における 再生時点に変換し、変換後の再生時点を、サブストリームのアドレスに変換する第 2 変換ステップと、
第 1変換ステップ、第 2変換ステップにより変換されたアドレスから、メインストリーム 及びサブストリームを読み出す読出ステップと、
読み出されたメインストリーム及びサブストリームを再生する再生ステップとをコンピ ユータに実行させ、
主たる再生区間及び従たる再生区間は、プレイリスト情報に定義されており、 プレイリスト情報は同期情報を含み、同期情報は、
主たる再生区間の時間軸のうち、従たる再生区間を同期させるべき、同期時点を示 す時間情報を含み、
サブストリームにはエントリーマップが対応づけられており、
第 2変換ステップは、
プレイリスト情報における同期情報を用いて、主たる再生区間の時間軸における再 生時点を、従たる再生区間の時間軸における再生時点に変換し、 サブストリームに対応づけられたエントリーマップを用いて、変換後の再生時点を、 サブストリームのアドレスに変換する、ことを特徴とするプログラム。
主たる再生区間が定義されたメインストリームと、従たる再生区間が定義されたサブス トリームとに対して、特殊再生を実行する再生方法であって、
特殊再生を開始すべき再生時点は、主たる再生区間の時間軸において定義され ており、
主たる再生区間の時間軸における再生時点を、メインストリームのアドレスに変換す る第 1変換ステップと、
主たる再生区間の時間軸における再生時点を、従たる再生区間の時間軸における 再生時点に変換し、変換後の再生時点を、サブストリームのアドレスに変換する第 2 変換ステップと、
第 1変換ステップ、第 2変換ステップにより変換されたアドレスから、メインストリーム 及びサブストリームを読み出す読出ステップと、
読み出されたメインストリーム及びサブストリームを再生する再生ステップとを有し、 主たる再生区間及び従たる再生区間は、プレイリスト情報に定義されており、 プレイリスト情報は同期情報を含み、同期情報は、
主たる再生区間の時間軸のうち、従たる再生区間を同期させるべき、同期時点を示 す時間情報を含み、
サブストリームにはエントリーマップが対応づけられており、
第 2変換ステップは、
プレイリスト情報における同期情報を用いて、主たる再生区間の時間軸における再 生時点を、従たる再生区間の時間軸における再生時点に変換し、
サブストリームに対応づけられたエントリーマップを用いて、変換後の再生時点を、 サブストリームのアドレスに変換する、ことを特徴とする再生方法。
PCT/JP2005/016640 2004-09-10 2005-09-09 記録媒体、再生装置、プログラム、再生方法 WO2006028216A1 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
KR1020067016863A KR101121238B1 (ko) 2004-09-10 2005-09-09 기록매체, 재생장치, 재생방법
KR1020107015452A KR101121278B1 (ko) 2004-09-10 2005-09-09 재생장치, 프로그램, 재생방법, 기록방법
KR1020107015450A KR101121351B1 (ko) 2004-09-10 2005-09-09 재생장치, 재생방법, 기록방법
US10/588,578 US7865060B2 (en) 2004-09-10 2005-09-09 Recording medium reproduction device program, reproduction method
JP2006535848A JP4268637B2 (ja) 2004-09-10 2005-09-09 記録媒体、再生装置、プログラム、再生方法。
EP05782350A EP1715686B1 (en) 2004-09-10 2005-09-09 Recording medium, reproduction device, program and reproduction method
KR1020107015453A KR101121330B1 (ko) 2004-09-10 2005-09-09 재생장치, 재생방법, 기록방법
KR1020107015449A KR101121363B1 (ko) 2004-09-10 2005-09-09 재생장치, 재생방법, 기록방법
US12/612,503 US7801415B2 (en) 2004-09-10 2009-11-04 Recording medium, reproduction device, program, reproduction method and recording method
US12/950,692 US8433178B2 (en) 2004-09-10 2010-11-19 Recording medium, reproduction device, program, reproduction method
US12/950,702 US8457473B2 (en) 2004-09-10 2010-11-19 Recording medium, reproduction device, program, reproduction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004263628 2004-09-10
JP2004-263628 2004-09-10

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US10/588,578 A-371-Of-International US7865060B2 (en) 2004-09-10 2005-09-09 Recording medium reproduction device program, reproduction method
US12/612,503 Division US7801415B2 (en) 2004-09-10 2009-11-04 Recording medium, reproduction device, program, reproduction method and recording method
US12/950,692 Division US8433178B2 (en) 2004-09-10 2010-11-19 Recording medium, reproduction device, program, reproduction method
US12/950,702 Division US8457473B2 (en) 2004-09-10 2010-11-19 Recording medium, reproduction device, program, reproduction method

Publications (1)

Publication Number Publication Date
WO2006028216A1 true WO2006028216A1 (ja) 2006-03-16

Family

ID=36036498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/016640 WO2006028216A1 (ja) 2004-09-10 2005-09-09 記録媒体、再生装置、プログラム、再生方法

Country Status (6)

Country Link
US (5) US7609947B2 (ja)
EP (3) EP2373013B1 (ja)
JP (7) JP4268637B2 (ja)
KR (5) KR101121278B1 (ja)
CN (6) CN101646093A (ja)
WO (1) WO2006028216A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005288A (ja) * 2006-06-23 2008-01-10 Sony Corp 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP2008005289A (ja) * 2006-06-23 2008-01-10 Sony Corp 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP2008022568A (ja) * 2005-08-25 2008-01-31 Sony Corp データ生成方法、データ構造、記録装置および方法、並びに、プログラム
JP2009505312A (ja) * 2005-08-22 2009-02-05 エルジー エレクトロニクス インコーポレーテッド 記録媒体、データ再生方法及び再生装置、並びにデータ記録方法及び記録装置
US20090116818A1 (en) * 2007-11-01 2009-05-07 Taiji Sasaki Recording medium, playback apparatus, recording apparatus, playback method, and recording method
JP2011234390A (ja) * 2005-08-25 2011-11-17 Sony Corp データ生成方法、記録装置および方法、並びに、プログラム
WO2019043989A1 (ja) * 2017-08-30 2019-03-07 パナソニックＩｐマネジメント株式会社 記録方法、及び、記録装置

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100591115C (zh) 2004-01-13 2010-02-17 松下电器产业株式会社 重放装置和记录方法
JP4496170B2 (ja) 2004-02-17 2010-07-07 パナソニック株式会社 記録方法、再生装置、プログラム、再生方法
US20060077817A1 (en) * 2004-09-13 2006-04-13 Seo Kang S Method and apparatus for reproducing data from recording medium using local storage
WO2006031049A2 (en) * 2004-09-13 2006-03-23 Lg Electronics Inc. Method and apparatus for reproducing data from recording medium using local storage
WO2006031048A2 (en) * 2004-09-13 2006-03-23 Lg Electronics Inc. Method and apparatus for reproducing a data recorded in recording medium using a local storage
KR20060047549A (ko) * 2004-10-12 2006-05-18 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
KR20060063601A (ko) * 2004-12-03 2006-06-12 엘지전자 주식회사 로컬 스토리지에 데이터를 다운로드/업데이트 하는 방법 및장치
BRPI0517651A (pt) * 2004-11-08 2008-10-14 Lg Electronics Inc método e aparelho para reproduzir dados de meio de gravação, método para atualizar dados de armazenagem local, método para formar pacote virtual
KR20060081323A (ko) * 2005-01-07 2006-07-12 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
JP4968506B2 (ja) * 2005-03-04 2012-07-04 ソニー株式会社 再生装置、再生方法、およびプログラム
JP4081772B2 (ja) * 2005-08-25 2008-04-30 ソニー株式会社 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP2007080357A (ja) * 2005-09-13 2007-03-29 Toshiba Corp 情報記憶媒体、情報再生方法、情報再生装置
WO2007046606A1 (en) * 2005-10-17 2007-04-26 Samsung Electronics Co., Ltd. Reproducing apparatus and video data storing method
JP4683498B2 (ja) * 2005-11-30 2011-05-18 パイオニア株式会社 情報再生装置及び方法、並びにコンピュータプログラム
US8412774B2 (en) 2006-04-29 2013-04-02 At&T Intellectual Property I, L.P. Picture-in-picture video content distribution
CN101202873B (zh) * 2006-12-13 2012-07-25 株式会社日立制作所 信息记录再现装置和信息记录再现方法
US20080157307A1 (en) * 2006-12-28 2008-07-03 Semiconductor Manufacturing International (Shanghai) Corporation Lead frame
JP4321628B2 (ja) * 2007-05-31 2009-08-26 ソニー株式会社 記憶装置、記憶方法および記憶プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
JP2009027552A (ja) * 2007-07-20 2009-02-05 Funai Electric Co Ltd 光ディスク再生装置
US8891941B2 (en) * 2007-11-07 2014-11-18 Gvbb Holdings S.A.R.L. Editing apparatus, editing method, and editing program
US20090327100A1 (en) * 2008-06-29 2009-12-31 TV1.com Holdings, LLC Method of Internet Video Access and Management
CN101911713B (zh) * 2008-09-30 2014-01-08 松下电器产业株式会社 再现装置、集成电路、再现方法、记录方法、记录介质再现系统
US20100178029A1 (en) * 2009-01-15 2010-07-15 Kabushiki Kaisha Toshiba Recording/play back apparatus, play back control apparatus and method, and recording/play back program
RU2522304C2 (ru) 2009-02-19 2014-07-10 Панасоник Корпорэйшн Устройство воспроизведения, способ записи, система воспроизведения носителя записи
US9263085B2 (en) 2009-05-20 2016-02-16 Sony Dadc Austria Ag Method for copy protection
EP2254121A1 (en) * 2009-05-20 2010-11-24 Sony DADC Austria AG Method for copy protection
JP2012527712A (ja) 2009-05-20 2012-11-08 ソニー デーアーデーツェー オーストリア アクチェンゲゼルシャフト コピープロテクションのための方法
JP4984181B2 (ja) * 2009-06-22 2012-07-25 ソニー株式会社 再生装置および再生方法
US8351768B2 (en) * 2009-07-23 2013-01-08 Microsoft Corporation Media processing comparison system and techniques
WO2012081241A1 (ja) 2010-12-16 2012-06-21 パナソニック株式会社 制作装置及びコンテンツ配信システム
US9762967B2 (en) 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US20130191745A1 (en) * 2012-01-10 2013-07-25 Zane Vella Interface for displaying supplemental dynamic timeline content
RS62714B1 (sr) 2011-06-16 2022-01-31 Ge Video Compression Llc Entropijsko kodiranje razlika vektora kretanja
UA114674C2 (uk) 2011-07-15 2017-07-10 ДЖ.І. ВІДІЕУ КЕМПРЕШН, ЛЛСі Ініціалізація контексту в ентропійному кодуванні
JP5435001B2 (ja) * 2011-09-28 2014-03-05 株式会社デンソー 地図データ配信装置、電子機器及び地図更新システム
US10051300B1 (en) * 2012-01-26 2018-08-14 Amazon Technologies, Inc. Multimedia progress tracker
EP2680219A1 (en) * 2012-06-29 2014-01-01 Thomson Licensing Method for reframing images of a video sequence, and apparatus for reframing images of a video sequence
US10051311B2 (en) * 2012-07-06 2018-08-14 Sharp Kabushiki Kaisha Electronic devices for signaling sub-picture based hypothetical reference decoder parameters
US9454289B2 (en) 2013-12-03 2016-09-27 Google Inc. Dyanmic thumbnail representation for a video playlist
EP4280598A3 (en) * 2014-09-12 2024-02-21 Panasonic Intellectual Property Corporation of America Recording medium, playback device, and playback method
JP6389765B2 (ja) * 2015-01-07 2018-09-12 アイシン・エィ・ダブリュ株式会社 表示制御システム、方法およびプログラム
CN104573061B (zh) * 2015-01-23 2017-09-26 南开大学 一种支持扩展功能的虚拟文件系统装置和方法
JP6953771B2 (ja) * 2017-04-11 2021-10-27 船井電機株式会社 再生装置
CN111343502B (zh) * 2020-03-30 2021-11-09 招商局金融科技有限公司 视频处理方法、电子装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191423A (ja) * 1995-01-10 1996-07-23 Mitsubishi Electric Corp 光ディスク記録再生方法
JPH1175159A (ja) * 1995-04-11 1999-03-16 Toshiba Corp 光ディスク再生装置及び再生方法並びに光ディスク記録装置及び記録方法
JP2002247526A (ja) 2001-02-19 2002-08-30 Toshiba Corp 内外ストリームデータの同期再生装置とストリームデータ配信装置
EP1280348A1 (en) 2000-04-21 2003-01-29 Sony Corporation Information processing apparatus and method, program, and recorded medium
JP2003068057A (ja) * 2001-06-21 2003-03-07 Lg Electronics Inc マルチチャネルストリームの記録装置及び方法と、それによる記録媒体

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05290550A (ja) 1992-04-10 1993-11-05 Nippon Steel Corp ビデオシステム
US5596564A (en) * 1993-10-08 1997-01-21 Matsushita Electric Industrial Co., Ltd. Information recording medium and apparatus and method for recording and reproducing information
EP0689206B1 (en) * 1993-12-10 2002-07-24 Sony Corporation Data recording medium and data reproduction apparatus
ATE182026T1 (de) * 1995-04-11 1999-07-15 Toshiba Kk Aufzeichnungdmedium, -gerät und -methode zur aufzeichnung von daten auf einem aufzeichnungsmedium, und wiedergabegerät und - methode zur wiedergabe von daten von einem aufzeichnungsmedium
US5845046A (en) * 1995-06-15 1998-12-01 Kabushiki Kaisha Toshiba Multi-scene recording medium and apparatus for producing data therefrom
JP3326670B2 (ja) 1995-08-02 2002-09-24 ソニー株式会社 データ符号化／復号化方法および装置、および符号化データ記録媒体
CN1232959C (zh) * 1996-04-05 2005-12-21 松下电器产业株式会社 光盘的记录方法
JP3790871B2 (ja) * 1996-09-26 2006-06-28 株式会社ニコン 画像再生装置
KR100496093B1 (ko) * 1996-10-01 2005-06-17 마츠시타 덴끼 산교 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및 정보 처리 방법을 기록한 정보 기록 매체
CA2247603C (en) * 1997-09-17 2002-08-27 Matsushita Electric Industrial Co., Ltd. Optical disc, recording apparatus, and computer-readable recording medium
US6363204B1 (en) * 1997-09-30 2002-03-26 Compaq Computer Corporation Viewing management for video sources
US20030161614A1 (en) * 1997-11-28 2003-08-28 Kabushiki Kaisha Toshiba Method and apparatus for playing back data recorded on a recoding medium
JP3772023B2 (ja) 1998-05-22 2006-05-10 株式会社東芝 画像表示装置、同装置に適用される画像切り替え表示方法
US6678006B1 (en) * 1998-01-07 2004-01-13 Ati Technologies, Inc. Method and apparatus for video processing that includes sub-picture scaling
KR100466496B1 (ko) * 1998-08-07 2005-01-13 가부시키가이샤 히타치세이사쿠쇼 기록매체, 기록장치, 재생장치, 기록방법, 및 컴퓨터가 읽기가능한 기록매체
JP3058870B1 (ja) 1999-02-05 2000-07-04 株式会社次世代デジタルテレビジョン放送システム研究所 Ａｆｃ回路
JP2000347638A (ja) 1999-06-07 2000-12-15 Hitachi Ltd Ｏｓｄ装置及びこれを用いた符号化ビデオ復号装置並びにこの復号装置を用いたディジタル放送受信装置
JP4599740B2 (ja) * 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP2002262233A (ja) * 2001-03-01 2002-09-13 Mitsubishi Electric Corp 行動計測システム
JP3902420B2 (ja) 2001-05-30 2007-04-04 三洋電機株式会社 光ディスク再生装置
JP2004007118A (ja) * 2002-05-31 2004-01-08 Toshiba Corp テレビジョン信号再生装置及び再生方法
JP2004032607A (ja) 2002-06-28 2004-01-29 Sanyo Electric Co Ltd ディジタル映像再生装置
DK1521831T3 (da) 2002-07-12 2008-06-30 Axon Neuroscience Transgent dyr der udtrykker trunkeret alzheimers tauprotein
EP1383340A1 (en) 2002-07-18 2004-01-21 Thomson Licensing S.A. Video apparatus
US7639923B2 (en) 2002-09-25 2009-12-29 Panasonic Corporation Reproduction device, optical disc, recording medium, program, and reproduction method
TWI265492B (en) * 2002-11-08 2006-11-01 Lg Electronics Inc Method and apparatus for recording a multi-component stream and a high-density recording medium having a multi-component stream recorded thereon and reproducing method and apparatus of said recording medium
US7664372B2 (en) * 2002-11-20 2010-02-16 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple component data recorded thereon and recording and reproducing methods and apparatuses
CN100466713C (zh) 2002-11-28 2009-03-04 索尼株式会社 再现装置和再现方法
JP3908724B2 (ja) 2002-12-09 2007-04-25 株式会社東芝 情報再生装置及び情報再生方法
JP3875685B2 (ja) 2002-12-27 2007-01-31 株式会社東芝 情報再生装置及び情報再生方法
JP3731664B2 (ja) 2003-01-08 2006-01-05 船井電機株式会社 光ディスク再生装置
CN100585720C (zh) 2003-02-19 2010-01-27 松下电器产业株式会社 再现装置、记录方法、再现方法
CN1700329B (zh) 2004-01-29 2010-06-16 索尼株式会社 再现装置、再现方法、再现程序和记录介质
JP2005348075A (ja) * 2004-06-02 2005-12-15 Funai Electric Co Ltd ディジタルテレビジョン放送信号再生装置。
KR20070014945A (ko) * 2005-07-29 2007-02-01 엘지전자 주식회사 기록매체, 데이터 재생방법 및 재생장치와 데이터 기록방법및 기록장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191423A (ja) * 1995-01-10 1996-07-23 Mitsubishi Electric Corp 光ディスク記録再生方法
JPH1175159A (ja) * 1995-04-11 1999-03-16 Toshiba Corp 光ディスク再生装置及び再生方法並びに光ディスク記録装置及び記録方法
EP1280348A1 (en) 2000-04-21 2003-01-29 Sony Corporation Information processing apparatus and method, program, and recorded medium
JP2002247526A (ja) 2001-02-19 2002-08-30 Toshiba Corp 内外ストリームデータの同期再生装置とストリームデータ配信装置
JP2003068057A (ja) * 2001-06-21 2003-03-07 Lg Electronics Inc マルチチャネルストリームの記録装置及び方法と、それによる記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1715686A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009505312A (ja) * 2005-08-22 2009-02-05 エルジー エレクトロニクス インコーポレーテッド 記録媒体、データ再生方法及び再生装置、並びにデータ記録方法及び記録装置
JP2008022568A (ja) * 2005-08-25 2008-01-31 Sony Corp データ生成方法、データ構造、記録装置および方法、並びに、プログラム
JP2011234390A (ja) * 2005-08-25 2011-11-17 Sony Corp データ生成方法、記録装置および方法、並びに、プログラム
JP2008005288A (ja) * 2006-06-23 2008-01-10 Sony Corp 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP2008005289A (ja) * 2006-06-23 2008-01-10 Sony Corp 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
US20090116818A1 (en) * 2007-11-01 2009-05-07 Taiji Sasaki Recording medium, playback apparatus, recording apparatus, playback method, and recording method
US8326124B2 (en) * 2007-11-01 2012-12-04 Panasonic Corporation Recording medium, playback apparatus, recording apparatus, playback method, and recording method for reducing processing load during copyright protection at the TS packet level
RU2473980C2 (ru) * 2007-11-01 2013-01-27 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения, устройство записи, способ воспроизведения и способ записи
US8942541B2 (en) 2007-11-01 2015-01-27 Panasonic Intellectual Property Management Co., Ltd. Recording medium and recording method reducing processing load in realization of TS packet level copyright protection, and playback device and playback method for playback of such recording medium
WO2019043989A1 (ja) * 2017-08-30 2019-03-07 パナソニックＩｐマネジメント株式会社 記録方法、及び、記録装置

Also Published As

Publication number Publication date
JP2008259223A (ja) 2008-10-23
US7609947B2 (en) 2009-10-27
JP4268637B2 (ja) 2009-05-27
KR101121278B1 (ko) 2012-03-23
JPWO2006028216A1 (ja) 2008-05-08
KR20100087778A (ko) 2010-08-05
US20100046912A1 (en) 2010-02-25
JP4560112B2 (ja) 2010-10-13
US20080031599A1 (en) 2008-02-07
KR20070050004A (ko) 2007-05-14
CN101662692A (zh) 2010-03-03
CN100556118C (zh) 2009-10-28
EP2373012A1 (en) 2011-10-05
KR101121351B1 (ko) 2012-03-14
CN101640782B (zh) 2011-12-21
EP2373013A1 (en) 2011-10-05
JP2009011000A (ja) 2009-01-15
JP2008245307A (ja) 2008-10-09
JP4560111B2 (ja) 2010-10-13
US7865060B2 (en) 2011-01-04
CN100559858C (zh) 2009-11-11
EP1715686A1 (en) 2006-10-25
CN101646094A (zh) 2010-02-10
KR20100086087A (ko) 2010-07-29
EP1715686A4 (en) 2011-03-09
US8433178B2 (en) 2013-04-30
CN101646094B (zh) 2011-07-13
US7801415B2 (en) 2010-09-21
KR101121238B1 (ko) 2012-03-26
JP2008271567A (ja) 2008-11-06
JP4268662B2 (ja) 2009-05-27
JP2009065681A (ja) 2009-03-26
CN101646093A (zh) 2010-02-10
US8457473B2 (en) 2013-06-04
KR20100086088A (ko) 2010-07-29
US20110064382A1 (en) 2011-03-17
CN1926857A (zh) 2007-03-07
CN101662692B (zh) 2012-09-19
CN1747543A (zh) 2006-03-15
EP2373012B1 (en) 2012-10-24
JP4268660B2 (ja) 2009-05-27
JP4537477B2 (ja) 2010-09-01
CN101640782A (zh) 2010-02-03
EP1715686B1 (en) 2012-11-07
KR101121363B1 (ko) 2012-03-14
JP2009038825A (ja) 2009-02-19
US20110064374A1 (en) 2011-03-17
KR20100087779A (ko) 2010-08-05
JP4268661B2 (ja) 2009-05-27
KR101121330B1 (ko) 2012-03-14
EP2373013B1 (en) 2012-11-28
US20070274676A1 (en) 2007-11-29

Similar Documents

Publication Publication Date Title
JP4268660B2 (ja) 再生装置、プログラム、再生方法、記録方法。
JP4676493B2 (ja) 記録媒体、再生装置、記録方法
JPWO2007119765A1 (ja) 記録媒体、再生装置、記録装置、システムｌｓｉ、方法、プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2005782350

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020067016863

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 200580006562.6

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2005782350

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006535848

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 10588578

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10588578

Country of ref document: US