WO2005120061A1 - 記録媒体、再生装置、プログラム、再生方法 - Google Patents

記録媒体、再生装置、プログラム、再生方法 Download PDF

Info

Publication number
WO2005120061A1
WO2005120061A1 PCT/JP2005/010145 JP2005010145W WO2005120061A1 WO 2005120061 A1 WO2005120061 A1 WO 2005120061A1 JP 2005010145 W JP2005010145 W JP 2005010145W WO 2005120061 A1 WO2005120061 A1 WO 2005120061A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
entry
picture data
picture
reproducing
Prior art date
Application number
PCT/JP2005/010145
Other languages
English (en)
French (fr)
Inventor
Wataru Ikeda
Tomoyuki Okada
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US11/579,223 priority Critical patent/US8326116B2/en
Priority to JP2006519582A priority patent/JP4027408B2/ja
Priority to EP05745975A priority patent/EP1761055A4/en
Priority to CN2005800180408A priority patent/CN1965576B/zh
Publication of WO2005120061A1 publication Critical patent/WO2005120061A1/ja
Priority to US11/835,291 priority patent/US8391672B2/en
Priority to US11/835,304 priority patent/US20080002947A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Definitions

  • the present invention is an invention belonging to the technical field of random access technology.
  • Random access technology is a technology that converts an arbitrary point on the time axis of a digital stream into a recording position on the digital stream and starts reproducing the recording position force. It is an essential technology for playing back digital streams recorded on recording media such as DVDs and DVD-Videos.
  • Digital streams are encoded by a variable-length encoding method such as MPEG2-Video or MPEG4-AVC, and the amount of information per frame varies. For this reason, when performing random access, it is necessary to refer to the entry map when performing the above-mentioned conversion.
  • the entry map is information that indicates a plurality of entry times on the time axis in association with a plurality of entry positions in the digital stream, and has a time accuracy of one second in the entry map. In this case, random access with a time accuracy of one second can be performed with high efficiency.
  • Patent document 1 JP-A-2000-228656
  • a slide show refers to an application in which a plurality of still images are played, each still image being reproduced along a predetermined time axis. Since the slide show also has a time axis for playback, by indicating a plurality of entry times on the time axis in association with the entry positions, the stream can be streamed from any point on the time axis.
  • the above recording position can be guided, Reproduction from the recording position can be executed.
  • High-precision random access is random access in which "one picture" is used as an access unit, such as one picture ahead and ten pictures ahead.
  • the entry map of the video stream has a time accuracy of about one second, such as one second interval, and the time interval of one second can include 20 to 30 pictures. Therefore, when trying to realize random access with picture accuracy using the above-mentioned entry map, it is not enough to refer only to the entry map, and it is necessary to analyze the stream.
  • stream analysis refers to extracting a picture header from the entry position described in the entry map, reading the picture size from this header, and, based on the size, the next picture.
  • the process of specifying the recording position is repeated a number of times to reach the recording position of the desired picture. Since such analysis involves frequent accesses to the stream, it takes a considerable amount of time just to read the picture three or five pages ahead from the entry position. Since it takes a considerable amount of time for random access with picture accuracy, even if you try to add a function that can display the previous or next picture or about 10 pictures to the slide show in response to the user operation, the creator side There is a problem that is expected to be used and that it will not be selfish.
  • An object of the present invention is to provide a recording medium capable of realizing random access in a slide show at high speed.
  • a recording medium has a video stream and stream management information recorded thereon, the video stream includes a plurality of pieces of picture data, and the stream management information includes an entry.
  • the entry map contains the entry addresses of each picture data in the video stream in association with the reproduction time of each picture data, and the entry addresses of all the picture data included in the video stream are included in the entry map. It is characterized by that.
  • the entry map for the slide show is a picture-by-picture key in the video stream. Since the stream address is shown in association with the playback time, even if random access with picture precision is requested, such as one picture ahead or three pictures ahead, the picture precision random access is not required without analyzing the video stream. Access can be realized.
  • Any time point on the time axis can guide the recording position on the video stream, and random access with 1 picture ahead, 3 pictures ahead, and ⁇ picture accuracy can be realized, so it responds immediately to user operation Then, it is possible to produce an application that can display the previous or next picture, or display several pictures.
  • the stream management information further includes a flag, which assures that the entry addresses of all picture data constituting the video stream are included in the entry map.
  • the playback device executes the same playback control as the video playback, while indicating that the flag has been described above. Random access with picture accuracy only needs to be executed when there is The playback device can realize random access with picture accuracy while maintaining compatibility with video playback. As a result, it is possible to promote the spread of a playback apparatus having both functions of moving picture playback and slide show playback.
  • FIG. 1 is a diagram showing an embodiment of an act of using a recording medium according to the present invention.
  • FIG. 2 is a diagram showing an internal configuration of a BD-ROM.
  • FIG. 3 is a diagram schematically showing a configuration of a file to which an extension .m2ts is added.
  • FIG. 4 is a diagram showing the process by which TS packets constituting an AVClip are written to a BD-ROM.
  • FIG. 5 (a) is a diagram showing an internal configuration of a video stream used for a movie.
  • (B) is a diagram showing an internal configuration of a video stream used for a slide show.
  • FIG. 6 (a) is a diagram showing the internal structure of an IDR picture. (b) Shows the internal structure of the Non-IDR I picture. (c) Dependency on Non-IDR I picture is shown.
  • FIG. 7 is a diagram showing a process of converting an IDR picture and a Non-IDR I picture into TS packets.
  • FIG. 8 is a diagram showing how an IDR picture in a slide show is recorded on a BD-ROM.
  • FIG. 9 is a diagram showing the progress of the slide show playback.
  • FIG. 10 is a diagram showing an internal structure of Clip information.
  • FIG. 11 (a) Stream_Coding_Info about a video stream is shown.
  • FIG. 12 is a diagram showing an internal structure of Clip info in Clip information.
  • FIG. 13 is a diagram showing EPjnap settings for a video stream of a movie.
  • PTS_EP_start and SPN_EP_start of Entry Point #l to Entry Point # 5 in FIG. 13 are expressed as a set of EP_ow and EP_High.
  • FIG. 15 is a diagram showing how random access to the video stream in FIG. 13 is performed.
  • FIG. 16 is a diagram showing an internal configuration of EPjnap set for a slide show.
  • FIG. 17 is a diagram showing random access to one time point on the time axis in the same notation as FIG.
  • FIG. 18 is a diagram showing an internal configuration of a playback device according to the present invention.
  • FIG. 19 is a flowchart showing a procedure for converting time information into an I picture address in a video stream used for a movie.
  • FIG. 20 is a flowchart showing a procedure for converting time information into an I picture address in a video stream used for a slide show.
  • FIG. 21 is a diagram showing the structure of PlayList information.
  • FIG. 22 is a diagram showing the relationship between AVClips and PlayList information.
  • FIG. 23 is a diagram showing the internal structure of a plurality of pieces of PLMark information of PlayList information according to the second embodiment.
  • FIG. 24 is a diagram showing a chapter definition based on PLmark information.
  • FIG. 25 is a diagram showing a specific example of a PLMark setting for a video stream used in a slide show.
  • FIG. 26 is a flowchart showing a processing procedure of a chapter search.
  • FIG. 27 is a flowchart showing the procedure of a chapter skip process.
  • FIG. 28 is a diagram showing a configuration of an AVClip according to a third embodiment.
  • FIG. 29 (a) is a diagram showing an internal configuration of an IG stream.
  • FIG. 30 is a diagram illustrating an example of an ICS that specifies dialog control in a slide show.
  • FIGS. 31 (a) to 31 (c) are diagrams showing menus displayed when a video stream reaches a playback time point tx.
  • FIG. 32 is a diagram showing a state transition in a menu displayed in the slide show.
  • FIG. 33 is a diagram showing branching by a navigation command of a slide show.
  • FIG. 1 is a diagram showing a mode of use of a recording medium according to the present invention.
  • the recording medium according to the present invention is a BD-ROM 100.
  • the BD-ROM 100 is used for supplying a movie work to a home theater system formed by the playback device 200, the remote controller 300, and the television 400.
  • FIG. 2 is a diagram showing an internal configuration of the BD-ROM.
  • the fourth row of the figure shows the BD-ROM, and the third row shows the tracks on the BD-ROM.
  • the track in this figure is drawn by extending a spiral track formed by applying the inner circumferential force of the BD-ROM to the outer circumference as well. This track serves as the lead-in area, volume area, and lead-out area.
  • the volume area in this figure has layer models of a physical layer, a file system layer, and an application layer. Expressing the application layer format (application format) of the BD-ROM using the directory structure is as shown in the first row in the figure. At the first level, the BD-ROM has a BDMV directory under the Root directory.
  • BDMV directory Under the BDMV directory, there are three subdirectories called a PLAYLIST directory, a CLIPINF directory, and a STREAM directory.
  • the STREAM directory is a directory storing a group of files that are the digital stream itself, and includes files (00001.m2ts, 00002.m2ts, 00003.m2ts) with the extension m2ts. [0019]
  • the PLAYLIST directory contains files (00001.mpls, 00002.mpls, and 00003mpls) with the extension mpls.
  • FIG. 3 is a diagram schematically showing how a file with the extension .m2ts is configured.
  • the files with the extension .m2ts (00001.m2ts, 00002.m2ts, 00003.m2ts) store AVClip.
  • AVClip (stage 4) converts multiple video frames (pictures pjl, 2, 3) into a powerful video stream and an audio stream consisting of multiple audio frames (stage 1) into a PES packet sequence. (2nd stage), further convert to TS packets (3rd stage), and multiplex these.
  • caption-based presentation graphics stream (PG stream) and an interactive-based interactive graphics stream (IG stream) may be multiplexed on the AVClip.
  • subtitle data (text subtitle stream) represented by a text code may be recorded as an AV Clip.
  • FIG. 4 is a diagram showing the process by which TS packets constituting an AVClip are written to a BD-ROM.
  • the first row of the figure shows the TS packets that make up the AVClip.
  • TS packets constituting the AVClip are provided with TS_extra_header ("EX" in the figure) as shown in the second row.
  • the third and fourth rows show the correspondence between the physical units of the BD-ROM and the TS packets.
  • a plurality of sectors are formed on the BD-ROM.
  • TS packets with extra.header (hereinafter abbreviated as EX-attached TS packets) are grouped in groups of 32 and written into three sectors.
  • the 32 TS packets with EX stored in 3 sectors are called "Aligned Unit" and are written on BD-ROM. In this case, encryption is performed in units of Aligned Unit.
  • an error correction code is added to each of the 32 sectors to form an ECC block.
  • the playback device accesses the BD-ROM in units of Aligned Unit, it can obtain 32 complete EX-attached TS packets. The above is the process of writing the AVClip to the BD-ROM.
  • FIG. 5 is a diagram showing the internal structure of a video stream.
  • video streams There are two types of video streams, those used by movies and those used by slide shows.
  • the video streams used in these movies and slide shows are all encoded in MPEG4-AVC! In other words, it is assumed that they are common in the encoding method.
  • FIG. 5A is a diagram showing an internal configuration of a video stream used for a movie.
  • the video stream in FIG. 5A also has a plurality of picture powers arranged in a coding order.
  • ⁇ , ⁇ , and ⁇ in the figure mean I picture, ⁇ picture, and ⁇ picture, respectively.
  • I pictures There are two types of I pictures: IDR pictures and Non-IDR I pictures.
  • Non-IDR I-pictures, P-pictures, and B-pictures are compression-coded based on frame correlation with other pictures.
  • a B-picture is a picture composed of Bidirectionally Predictive (B) format slice data
  • a P-picture is a picture composed of Predictive (P) format slice data.
  • B-pictures include refrenceB pictures and nonrefrenceB pictures.
  • FIG. 5 (a) a Non-IDR I picture is described as “I”, and an IDR picture is described as “IDR”.
  • IDR an IDR picture
  • the same notation is used.
  • the above is a video stream used for a movie.
  • FIG. 6A shows the internal structure of an IDR picture.
  • an IDR picture is composed of a plurality of slice data in the Intra format.
  • FIG. 6 (b) shows the internal structure of a Non-IDR I picture.
  • IDR picture power In contrast to the Intra-format slice data, the Non-IDR I-picture is composed of Intra-format slice data, P-format slice data, and B ⁇ -type slice data.
  • Fig. 6 (c) shows the dependency in the Non-IDR I picture. Show. Since a Non-IDR I picture can be composed of ⁇ , ⁇ slice data, it can have a dependency with other pictures.
  • FIG. 7 is a diagram showing a process of converting an IDR picture and a Non-IDR I picture into TS packets.
  • the first row in the figure shows an IDR picture and a Non-IDR I picture.
  • the second row shows the Access Unit specified in MPEG4-AVC.
  • the multiple slice data that make up the IDR picture and Non-IDR I picture are arranged sequentially, and AUD (Access Unit Delimiter), SPS (Sequence Parameter Set), PPS (Picture Parameter Set), SEI (Supplemental Enhanced info) Z ) By being charged, it will be converted to Access Unit.
  • AUD Access Unit Delimiter
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • SEI Supplemental Enhanced info
  • Each of the AUD, SPS, PPS, SEI, and Access Unit is information specified in MPEG4-AVC and is described in various documents such as ITU-T Recommendation H.264. See these references. What is important here is that the supply of AUD, SPS, PPS, and SEI to the playback device is an essential condition for random access.
  • the third row shows the NAL unit. By adding a header to AUD, SPS, PPS, SEI in the second row, AUD, SPS, PPS, SEI, and slice data are NAL
  • NAL unit is a unit specified in the MPEG4-AVC Network Abstraction Layer, and is defined in ITU-T
  • a plurality of NAL units obtained by converting one picture are converted into PES packets as shown in the fourth row. Then, it is converted into TS packets and recorded on the BD-ROM.
  • the decoder including the Access Unit Delimiter among the IDR picture located at the head of the GOP and the NAL units that make up the Non-IDR I picture is projected to the decoder. I have to enter. That is, the NAL unit including the Access Unit Delimiter is one index for decoding IDR pictures and No n-IDR I pictures. The NAL unit including the Access Unit Delimiter is treated as a point in the present embodiment. Then, when reproducing the video stream, the reproducing device interprets the NAL unit including the Access Unit Delimiter as an entry position for reproducing the Non-IDR I picture and the IDR picture.
  • FIG. 5B is a diagram showing an internal configuration of a video stream used for a slide show.
  • a video stream used for a slide show is composed of a plurality of still image data. Each of these still image data is an IDR picture.
  • each picture is decoded with an IDR picture so that each picture is decoded alone.
  • the slide show in the present embodiment is a slide show (Timebased SlideShow) of a type in which a video stream and an audio stream are multiplexed and are played back along with the playback progress of each still image power audio stream in the video stream. is there.
  • FIG. 8 is a diagram showing how the IDR picture power in a slide show is recorded on the BD-ROM. Recording on the BD-ROM is the same as in FIG. In other words, the IDR picture that composes the slide show has multiple slice data, so each slice data is Like an R picture, it is converted to a NAL unit and recorded on a BD-ROM.
  • the recording shown in this figure differs from that shown in FIG. 7 in that an “End of Stream code” is provided at the end of slice data constituting a picture.
  • This End of Stream code is a termination code for instructing the playback device to freeze the decoder operation (Dis play Frozen), and is converted into one NAL unit and recorded on the BD-ROM, like slice data.
  • FIG. 9 is a diagram showing the progress of the slide show playback.
  • the fourth tier in the figure shows a TS packet sequence
  • the third tier shows a PES packet sequence obtained by converting the fourth TS packet.
  • the second row shows the time axis of the slide show
  • the first row shows the individual IDR pictures that make up the slide show.
  • the first-stage IDR picture is displayed at the time indicated by the PTS in the third-stage PES packet. Also, since the third-stage PES packet has the End of Stream code shown in Fig.
  • the playback device freezes the decoder operation after displaying the IDR picture at the time indicated in the PTS of the PES packet. (Display Frozen). This frozen state of the decoder operation continues until the next IDR picture is displayed. By repeating the display of the PES packet at the time indicated in the PTS and the freeze of the decoder operation by the End of Stream code, the individual IDR pictures constituting the slide show are reproduced sequentially. The above is the progress of the slide show playback.
  • FIG. 10 is a diagram showing the internal structure of Clip information. As shown on the left side of this figure, the Clip information
  • the leader line cul in the figure indicates the configuration of the i-th Program Sequence (Program Sequence (O)). Close up. As shown in the callout,
  • the Program Info for Sequence (i) is composed of Ns (0 Stream_PID [i] (0), Stream_Coding_Info (i, 0 ) ⁇ Stream_PID [i] (Ns (i) -1), Stream-Coding-Info (i, Ns (i) -l)).
  • Stream_PID indicates a packet identifier for each elementary stream forming the AVClip
  • Stream_Coding_Info indicates a coding method for each elementary stream forming the AVClip
  • FIG. 11 (a) shows Stream_Coding_Info for a video stream
  • FIG. 11 (b) shows Stream_CodingJnfo for an audio stream
  • the Stream_Coding_Info of the video stream is, as shown in Fig. 11 (a), "Stream_Coding_type", which indicates whether the encoding method of the video stream is MPEG4-AVC or MPEG2-Video, and the display method of the video stream.
  • Stream_Coding_type which indicates whether the encoding method of the video stream is MPEG4-AVC or MPEG2-Video, and the display method of the video stream.
  • Video_form at '' indicates that the frame rate of the video stream is 23.976Hz, 29.97Hz, or 59.94Hz.
  • Includes “aspect_ratio” that indicates whether the aspect ratio of the picture in the stream is 4: 3 or 16: 9.
  • FIG. 11 (b) shows Stream_Coding_Info for an audio stream.
  • Stream_CodingJnfo hand coding scheme force s LPCM audio stream, indicating which Dolby-AC3, Dts "Stream_Coding_Type", the output format of the audio stream stereo “Audio_Presentation_type” to indicate whether the stream is monaural or multi, “Sam pling—Frenquency” to indicate the sampling frequency of the audio stream, to the audio stream; ⁇ audio—language—code ].
  • the lead line cu2 in the figure is a close-up of the CPI configuration.
  • the CPI consists of an EP_map.
  • EPjnap consists of Ne EP—map—for—one—stream—PID (EP—map—for—one—stream—PID (0) to EP—map—for—one—str eam_PID (Ne-1)).
  • EP_map_for_one_stream_PIDs are EP_maps for individual elementary streams belonging to AVClip.
  • the EP_map is information indicating the packet number (SPN_EP_start) at the entry position where the Access Unit Delimiter exists on one elementary stream in association with the entry time (PTS_EP_start).
  • the leader line cu3 in the figure is a close-up of the internal structure of EP_map_for_one_stream_PID.
  • EP_map_for_one_stream_PID is composed of Nc EP_High (EP_High (0) to EP_High (Nc-1)) and Nf EP ⁇ ow (EP ⁇ ow (0) to EP ⁇ ow (Nf-l
  • EP-High has a role to represent the upper bits of SPN-EP-start and PTS-EP-start of an Access Unit (Non-IDR I picture, IDR picture).
  • ow has a role to indicate lower bits of SPN_EP_start and PTS_EP_start of an Access Unit (Non-IDR I picture, ID R picture).
  • EP_High (i) is a reference value for EP ⁇ ow, “ref_to_EP ⁇ ow_id [i]”, and the upper bits of the PTS of the Access Unit (Non-IDR I picture, IDR picture).
  • PTS_E_P_High [i] which indicates “”
  • SPN_EP_High [i] which indicates the upper bits of the SPN of the Access Unit (Non-IDR I picture, IDR picture).
  • i is an identifier for identifying an arbitrary EP_High.
  • EP ⁇ ow is “is_angle — change_point (EP ⁇ ow_id)” indicating whether the corresponding Access Unit is an IDR picture and “end_position_offset (” indicating the size of the corresponding Access Unit.
  • EP ⁇ ow_id PTS_EP ⁇ ow (EP ⁇ owjd) indicating the lower bits of the PTS of the corresponding Access Unit (Non-IDR I picture, IDR picture), and the corresponding Access Unit (Non-IDR I picture).
  • SPN_EPowow (EP ⁇ ow_id)) indicating the lower bit of the SPN of the channel (IDR picture).
  • EP owjd is an identifier for identifying an arbitrary EP ow.
  • FIG. 12 is a diagram showing the internal structure of Clip info in Clip information.
  • the leader lines in the figure close up the configuration of Clip infoO.
  • Clip infoO It consists of "clip_stream_type” indicating the type, "application_type” indicating the type of the application that uses this AVClip, "TS_recording_rate” indicating the recording rate of the AVClip, and "number_of_source_packet” indicating the number of TS packets constituting the AVClip. I understand.
  • clip_stream_type indicates which of AVClip power Movie Application.TS for Timeoased SlideShow.Tb for MainPath of the Brows a Die SlideShow.TS for SubPath of the Browsable SlideShow corresponding to this Clip information.
  • clip_stream_type l, it indicates that the type of AVClip is Movie Application.
  • clip_stream_type 4
  • clip_stream_type 4
  • Arrows ct3 and ct4 in Fig. 12 indicate the secondary semantics provided by this application_type.
  • the secondary semantics mean what the data structure of the EP_map looks like when application_type is set to each value.
  • EP_map when application_type is 1,4, EP_map means that the interval between two adjacent PTS_EP_start values should be less than 1 second.
  • the arrow ct3 in the figure indicates what data structure the EP_map has when the application_type is 2,3. Specifically, when the application_type is 2, 3, it means that the value of PTS_EP_start is set to indicate all the pictures of the AVClip. That is, A Guarantee that all pictures of VClip are indicated by EPjnap!
  • a video stream may be configured by using a P picture compressed using correlation with another picture and a B picture compressed using correlation with two or more preceding and succeeding pictures. Therefore, some authors may be able to compose a slide show using P-pictures and B-pictures.
  • the playback device refers to the AVClip Clipjnfo to be played back from now on, so that each picture constituting the video stream is an IDR picture and refers to any other picture.
  • the playback device can know that no picture is being performed and that any picture is also instructed by the EPjnap force.
  • the playback device can decode a desired picture by referring to this application_type when playing back the slide show, without decoding the preceding and following pictures.
  • the first row shows a plurality of pictures arranged in display order, and the second row shows the time axis in the picture.
  • the fourth row shows the TS packet sequence on the BD-ROM, and the third row shows the setting of the EP_map.
  • an Access Unit (Non-IDR I picture, IDR picture) exists at time points tl to t7 on the second time axis. Assuming that the time interval of tl to t3, the time interval of t3 to t5, and the time interval of t5 to t7 are about 1 second, the EP_map in the video stream used for the movie is , Tl to t7, tl, t3, t5 are set as entry times (PTS_EP_start), and are set so as to indicate the recording position (SPN_EP_start) in association therewith.
  • PTS_EP_start entry times
  • Entry Point #l corresponds to IDR pictures, so is_angle_change_point is set to " ⁇ .
  • Other Entries Is_angle_change_point in Point # 2 Entry Point # 4 is set to "0 ,,".
  • FIG. 14 illustrates PTS_EP_start and SPN_EP_start of Entry Point #l to Entry Point # 5 in FIG. 13 as a set of EP_ow and EP_High.
  • the left side of the figure shows EP_ow, and the right side shows EP_High.
  • the PTS_EP ⁇ ow of EP ⁇ ow (i) to (i + l) is tl, t3, t5, Indicates the lower bit of t7.
  • SPN_EP_High of EP ⁇ ow (i) to G + l) indicates lower bits of nl, n3, n5, and n7.
  • Fig. 14 shows EP_High (0) to (Nc-l) in the EP_map.
  • tl, t3, t5, and t7 have common upper bits
  • nl, n3, n5, and n7 also have common upper bits
  • these common upper bits are described in PTS_EP_High and SPN_EP_High.
  • o_EP ⁇ OWjd corresponding to EP_High is set to indicate the first one (EP ow (0) of EP ⁇ ow corresponding to tl, t3, t5, t7, nl, n3, n5, n7).
  • the common upper bits of PTS_EP_start and SPN_E P_start are represented by EP_High.
  • is_angle_change_point (i) to (i + 3) in EP ⁇ ow (i) to (i + 3), (i) and (i + 2) indicate that the corresponding Access Unit is an IDR picture. Therefore, is_angle_change_point is set to “(. Since (i + l) and (i + 3) are the corresponding Access Unit on-IDR I pictures, is_angle_change_point is set to“ 0 ”. RU
  • FIG. 15 is a diagram showing how random access to the video stream of FIG. 13 is performed.
  • kel in the fourth row symbolically indicates the route to t5. Strengthen and random This access becomes the overhead of random access because access of the access cannot be directly performed.
  • FIG. 16 is a diagram showing the internal structure of the EP_map set for the slide show.
  • the EP_map is set so as to indicate all the pictures. Therefore, the individual Entry_Points # 1 to # 7 in the EP_map are set at the playback points tl, t2, t3, t4, t5, and the individual IDR pictures in the slide show. It is clear that t6 and t7 are specified as entry times (PTS_EP_start) and are associated with one entry position (SPN_EP_start).
  • the Application_Type in CLIP.INFO is set to 2 or 3 with the EP_map setting as described above, it is possible to identify the existence of an entry on the EP_map for all the pictures that compose the slide show. By referring to the EPjnap entry, the range of the data to be read can be determined, eliminating the need for extra analysis of the previous and next streams.
  • FIG. 18 is a diagram showing the internal configuration of the playback device according to the present invention.
  • the reproducing apparatus according to the present invention is industrially produced based on the internal configuration shown in the drawing.
  • the playback device according to the present invention mainly includes two parts, a system LSI and a drive device, and can be industrially manufactured by mounting these parts on a cabinet and a substrate of the device.
  • a system LSI is an integrated circuit in which various processing units that fulfill the functions of a playback device are integrated.
  • the playback devices produced in this way are BD drive 1, Arrival
  • the internal configuration in this figure is a decoder model based on the MPEG T-STD model, and is a decoder model that includes down conversion.
  • the part surrounded by a dashed line indicates a part which is one chip chipped as a system LSI.
  • the BD-ROM drive 1 performs loading / ejecting of the BD-ROM, executes access to the BD-ROM, and reads out an Aligned Unit having a capacity of 32 sectors from the BD-ROM.
  • Arrival time Clock Counter2 generates Arrival Time Clock based on 27MHz crystal oscillator (27MHz X-tal).
  • Arrival Time Clock is a clock signal that defines a time axis serving as a reference of ATS given to TS packets.
  • the Source packetizer 3 removes the TP_extra_header from each TS packet constituting the Aligned Unit and replaces only the TS packet with the PID. Output to filter 4.
  • the output to the PID filter 4 by the De-Packetizer 3 is made at the timing when the arrival time of the Arrival time Clock Counter 2 becomes the ATS indicated by TP_extra_header.
  • the output to the PID filter 4 is performed according to the ATS.Therefore, even if there is a speed difference such as 1 ⁇ speed or 2 ⁇ speed in reading from the BD-ROM, the TS packet output to the PID filter 4 is output by the Arrival Time Clock. Will be made according to the current time that elapses.
  • the PID Filter 4 refers to the PID attached to the TS packet to determine whether the TS packet belongs to the video stream, the PG stream, or the IG stream. Output to any of Transport Buffer1, Transport Buffer20 and Transport Bufferd7.
  • the Transport Buffer (TB) 5 is a buffer temporarily stored when the TS packet belonging to the video stream is output from the PID filter 4.
  • the Multiplexed Buffer (MB) 6 is a buffer for storing PES packets when outputting a video stream from the Transport Buffer 5 to the Elementary Buffer 7.
  • the Coded Picture Buffer (CPB) 7 is a buffer in which pictures (Non-IDR I picture, ID R picture, B picture, P picture) in a coding state are stored.
  • the video decoder 8 obtains a plurality of frame images by decoding each frame image of the video elementary stream at a predetermined decoding time (DTS), and writes the plurality of frame images to the Decoded Picture Buffer 10O.
  • DTS decoding time
  • Decoded Picture Buffer 10 is a buffer in which decoded pictures are written.
  • the video plane 11 is a plane for storing uncompressed pictures.
  • a plane is a memo for storing pixel data for one screen in a playback device. Area.
  • the resolution of the video plane 11 is 1920 ⁇ 1080, and the picture data stored in the video plane 11 is composed of pixel data represented by a 16-bit YUV value.
  • the Transport Buffer (TB) 12 is a buffer that temporarily accumulates when TS packets belonging to the PG stream are output from the PID filter 4.
  • the Coded Data Buffer (CDB) 13 is a buffer in which PES packets making up the PG stream are stored.
  • the Stream Graphics Processor (SGP) 14 decodes the PES packet (ODS) that stores the graphics data, and the uncompressed state with the index color power obtained by decoding.
  • ODS PES packet
  • Object Buffer 15 a graphics object obtained by decoding by the Stream Graphics Processor 14 is placed.
  • the Composition Buffer 16 is a memory in which control information (PCS) for rendering graphics data is stored.
  • PCS control information
  • the Graphics Controller 17 decodes the PCS arranged in the Composition Buffer 16 and performs control based on the decoding result.
  • the Presentation Graphics plane 18 is a memory having an area for one screen, and can store uncompressed graphics for one screen.
  • the resolution in this plane is 1920 x 1080, and each pixel of uncompressed graphics in the Presentation Graphics plane 18 is represented by an 8-bit index color.
  • the uncompressed graphics stored in the Presentation Graphics plane 18 are provided for display by converting the index colors that can be input using CLUT (Color Lookup Table).
  • the CLUT unit 19 converts the index colors in the uncompressed graphics stored in the Presentation Graphics plane 18 into Y, Cr, Cb values.
  • the Transport Buffer (TB) 20 is a buffer in which TS packets belonging to the IG stream are stored.
  • Coded Data Buffer (CDB) 21 is a buffer that stores the PES packets that make up the IG stream. It is a buffet.
  • the Stream Graphics Processor (SGP) 22 decodes the PES packet storing the graphics data, and writes an uncompressed bitmap composed of the index colors obtained by the decoding to the ObjectBuffer 23 as a graphics object.
  • Object Buffer 23 a graphics object obtained by decoding by the Stream Graphics Processor 22 is arranged.
  • the Composition Buffer 24 is a memory in which control information for rendering graphics data is arranged.
  • the Graphics Controller 25 decodes the control information arranged in the Composition Buffer 24 and performs control based on the decoding result.
  • Interactive (graphics plane) ⁇ 26 In addition, the uncompressed graphics obtained by the encoding by the Stream urapnics Processor (SGP) 22 are written. The resolution in this plane is 1920 X 1080, Each pixel of the uncompressed graphics is represented by an 8-bit index color.
  • the uncompressed graphics stored in the Intaractive Graphics plane 26 are converted by converting the index color using a CLUT (Color Lookup Table). Is provided for display.
  • the CLUT unit 27 converts the index colors in the uncompressed graphics stored in the Interactive Graphics plane 26 into Y, Cr, Cb values.
  • the combining unit 28 combines the uncompressed frame image stored in the video plane 11 and the uncompressed graphics object stored in the Presentation Graphics plane 18. By the composite, it is possible to obtain a composite image in which subtitles are superimposed on a moving image.
  • the synthesizing unit 29 includes an uncompressed graphics object stored in the Interactive Graphics plane 26 and a synthesized image (uncompressed picture data and an uncompressed image data of the Presentation Graphics plane 18) output from the synthesizing unit 28. And a graphics object).
  • the switch 30 selectively supplies either the TS packet read from the BD-ROM or the TS packet read from the Local Storage 32 to the Transport Buffer 20.
  • the Network Device 31 realizes a communication function in the playback device, and establishes a TCP connection, an FTP connection, and the like with a web site corresponding to a URL.
  • the Local Storage 32 is a hard disk for storing contents supplied from various recording media and communication media. Contents downloaded from the website through the connection established by the Network Device 31 are also stored in the Local Storage 32.
  • the source packetetizer 34 removes the TP_extra_header from the TS packet of the AVClip read from the Local Storage 32, and outputs only the TS packet to the PID filter 35.
  • the output from the source de-packetizer 34 to the PID filter 35 is performed at the timing when the Arrival Time Clock Counter 33 becomes the ATS indicated by the time power TP_extra_header over time.
  • the PID filter 35 switches the TS packet read from the Local Storage 32 to one of the IG stream decoder side, the audio decoder side, and the text subtitle decoder side.
  • the switch 36 requests the audio decoder 39 to permit either the TS packet read from the BD-ROM or the TS packet read from the Local Storage 32.
  • Transport Buffer (TB) 37 stores TS packets belonging to the audio stream.
  • the Elementary Buffer (EB) 38 is a buffer in which PES packets constituting the audio stream are stored.
  • the audio decoder 39 decodes the PES packet output from the Elementary Buffer 38 and outputs uncompressed audio data.
  • Transport Buffer (TB) 40 stores TS packets belonging to the text subtitle stream.
  • the Elementary Buffer (EB) 41 is a buffer that stores PES packets that constitute the text subtitle stream.
  • the text subtitle decoder 42 decodes the PES packet read by the knocker 41 and provides it for display. This decoding is performed by expanding the text string in the text subtitle stream into a bitmap using a font that is read separately from Local Storage32. Done. Text subtitles obtained by decoding are written to the Presentation Graphics plane 18.
  • the scenario memory 43 is a memory for storing current Clip information.
  • the current Clip information refers to the current Clip information among the multiple Clip information recorded on the BD-ROM.
  • the control unit 44 includes an instruction ROM and a CPU, and executes software stored in the instruction ROM to control the entire playback device.
  • the content of this control dynamically changes according to a user event generated in response to a user operation and a set value of each PSR in the PSR set 46.
  • the PSR set 46 is a non-volatile register built in the playback device, and is composed of 64 Player Status Registers (PSR (l) to (64) and 4096 General Purpose Registers (GPR).
  • the 64 Player Status Registers (PSRs) indicate various states in the playback device, such as the current playback point, etc.
  • PSR (8) When set to a value from 0 to OxFFFFFF, it indicates the current playback point (current PTM) with a time accuracy of 45 KHz.
  • the above is the internal configuration of the playback device.
  • the control unit 44 controls the BD drive 1 and the video decoder 8 so as to execute random access when reproducing the video stream of the MPEG4-AVC format.
  • the random access includes a time search.
  • Time search is a technique for receiving a user's input of time information for "time, minute, and second" to play a video stream from a position corresponding to a designated playback start time.
  • the control unit 44 performs a conversion process of converting the time information into an Access Unit address (also referred to as an I-picture address) on the BD-ROM, obtains the Access Unit address, and then obtains the TS after the address.
  • the packet is also read from the BD-ROM, and the TS packet is sequentially input to the decoder.
  • FIG. 19 is a flowchart showing a procedure for converting time information into an Access Unit address in a video stream used for a movie.
  • the run The time information indicating the access destination of the dumb access is written as In_time! /.
  • In_time is set to PTS_EP_start.
  • step S2 a set of EP_High_id and EP ⁇ owjd closest to PTS_EP_start is obtained.
  • EP_High_id is EP_High indicating a point in time before In_time, and is an identifier for specifying the closest EP_High to In_time.
  • EP owjd is an EP that indicates a point in time after EP_High [EP_High_id] and before In_time, and is an identifier that identifies the object closest to In_time.
  • the control unit 44 adds up the time widths indicated in the PTS_EP_High of the plurality of EP_Highs.
  • the time width indicated in PTS_EP_High is a unit of time in which PTS_EP_High is the upper bit. Then, it is determined at which EP_High_id the total power of the time width exceeds the 3 ⁇ 4_time.
  • the value obtained by subtracting 1 from this k (k-1) is defined as EP_High_id
  • the control unit 44 adds the time width indicated in PTS_EP ⁇ ow of the plurality of EP ⁇ ows to the sum Pup to PTS_EP_High (EP_High_id). Then, it is determined at what number of EP owjd the total power of the time width exceeds ⁇ _time.
  • a value obtained by subtracting 1 from h (h-1) is defined as EP ow owjd.
  • step S3 When EP ⁇ owjd is obtained in this way, the processing shifts to a loop processing consisting of steps S3 to S5.
  • step S4 After substituting EP @ owjd for the variable j (step S3), a loop consisting of steps S4 to S5 is executed.
  • This loop processing repeats the decrement of the variable j (step S4) until step S5 is determined to be Yes.
  • step S5 determines whether or not the is_angle_change_point (PTS_EP ⁇ ow [j] .is_angle_change_point) force i of the Entry Point specified by the variable j is determined. As long as is_angle_change_point of Point continuously indicates "0", this loop processing is repeatedly executed.
  • step S5 If the is_angle_change_point of the Entry Point specified by the variable j becomes "1", this rule The loop processing ends. If step S5 becomes Yes, the variable j is substituted into EP ⁇ owjd (step S6), and EP_High [i] having the closest o_EP ⁇ ow_id [i] to this EP ⁇ owjd is obtained (step S7). ). If EP ⁇ owjd and i are obtained in this way, SPN_EP_Start is obtained from SPN_EP ⁇ ow [EP ⁇ owjd] and SPN_EP_High [i] (step S8), and this SPN_EP_Start is converted to an Access Unit address (step S8). Step S 9).
  • the SPN is a serial number of the TS packet
  • the TS packet is converted into one Aligned Unit for every 32 packets and recorded in three sectors, so the quotient is obtained by dividing the SPN by 32, and the quotient is obtained. It is interpreted as the number of Aligned Unit where Access Unit exists.
  • the sector address of the Aligned Unit closest to the SPN can be obtained. Since the sector address obtained in this way is the relative sector number from the beginning of one AVClip file, the access unit is read out to the video decoder 8 by setting this relative sector number as the file pointer and reading out the AVClip. Can be.
  • FIG. 20 is a flowchart showing a procedure for converting time information into an Access Unit address in a video stream used for a slide show.
  • In_time can be set to the address of the IDR picture without performing steps S3 to S7 in FIG. Can be converted to Specifically, in S1, In_time is set to PTS_EP_start, and in step S2, a set of EP_High_id, EP ⁇ owjd closest to PTS_EP_start is obtained, and SPN_EP ⁇ ow [EP ⁇ owjd] and SPN_EP_High [EP_High_id] Then, by obtaining SPN_EP_Start from the above (step S8), an Access Unit address may be obtained (step S9). That is, the conversion procedure for obtaining the Access Unit address is greatly simplified.
  • step S1 in FIG. 19 the procedure of step S1 in FIG. 19 is executed. That is, in order to obtain the EP_High_id, the control unit 44 adds up the time widths indicated in the PTS_EP_High of the plurality of EP_Highs. Then, in what number of EP_High_id, it is determined whether the sum ⁇ of the time width exceeds In_time.
  • the time If the total width ⁇ exceeds In_time the value obtained by subtracting 1 from k (k-1) is used as EP_High_id.
  • control unit 44 adds the time width indicated in PTS_EP ow of a plurality of EP ows to the sum up to PTS_EP_High (EP_Highjd). Then, in what number of EP owjd, it is determined whether the sum of the time widths exceeds In_time.
  • a value (h-1) obtained by subtracting 1 from h is defined as EP ⁇ owjd.
  • each Access Unit (Non-IDR I picture, IDR picture) is specified by Entry_Point in EPjnap, and only the necessary Access Unit data is directly accessed to read the data and send it to the decoder. Since it is possible, the time required for display to improve access efficiency can be shortened.
  • the second embodiment is an improvement in setting a chapter on a time axis in a slide show. Related. Hereinafter, information for defining a chapter will be described.
  • PlayList information which exists in a file with the extension “mpls”.
  • PlayList information will be described.
  • PlayList information is information that defines a playback path called PlayList with reference to the AVClip.
  • FIG. 21 is a diagram showing the structure of PlayList information. As shown on the left side of the figure, PlayList information also includes a plurality of Playltem information capabilities. Playltem is a playback section defined by specifying In_Time and Out_Time on one or more AVClip time axes. By arranging a plurality of pieces of Playltem information, a PlayList (PL) that also has a plurality of playback sections is defined. The broken line hsl in the figure closes up the internal structure of the Playltem information.
  • Playltem information includes ⁇ Clip_information_file_name '' indicating the corresponding Clip information, ⁇ Clip_codecjndentifier '' indicating the encoding method of the corresponding AVClip, and ⁇ In_time '' indicating the time at which playback of the AVClip should start. , “Still_mode” and “Still_time”, which indicate the time at which the playback of the AVClip should end.
  • FIG. 22 is a diagram showing a relationship between AV Clip and PlayList information. The first row shows the time axis with AVClip power, and the second row shows the time axis with PlayList power (called PL time axis).
  • PlayList information includes three Playltem information, PlayItem # l, # 2, and # 3.Threee playback sections are defined by the In_time and Out_time of these Playltems # 1, # 2, and # 3. become. When these playback sections are arranged, a time axis different from the AVClip time axis is defined. This is the PL time axis shown in the second row. As described above, the definition of the Playltem information enables the definition of a time axis different from that of the AVClip.
  • the information elements constituting the PlayList information are characterized by StilLmode and Still-time.
  • “Still_mode” indicates whether or not the last picture data is to be statically displayed when playing back pictures from In_time to Out_time. When set to “00”, StilLmode indicates that still display is not to be continued, and when set to "01", StilLmode indicates that still display is to be continued for a finite time. When set to "01”, the time length of the static display is St Set to ilLtime. If set to "02”, StilLmode indicates that the static display will be continued for an infinite period of time. When the still display is continued for an infinite period of time, the display is released by explicit operation from the user.
  • Standard_time represents the length of time in seconds when still display is continued when StilLmode is set to 01.
  • FIG. 23 is a diagram showing an internal configuration of a plurality of pieces of PLMark information of PlayList information according to the second embodiment.
  • the PLmark information (PLmarkO) in FIG. 23 is information for specifying an arbitrary section on the PL time axis as a chapter point. As indicated by the lead line pml in FIG. 23, the PL mark information includes “ref_to_PlayItem_Id” and “mark_time_stamp”.
  • FIG. 24 is a diagram showing a chapter definition based on PLmark information. In the figure, the first row shows the AVClip time axis, and the second row shows the PL time axis.
  • FIG. 25 is a diagram showing designation of a slide show by PlayList information.
  • the second row of the figure shows Playltem information.
  • the second level is composed of six Playltem information # 1 to # 6.
  • Arrows ytl, 2,3,4,5,6 in the figure symbolically indicate In_time and OuUime specifications in Playltem information, and arrows stl, 2,3,4,5,6 symbolize StilLTime specifications. Is shown.
  • the Playltem information is set so as to specify the individual picture data in the video stream so that the arrow force is also exerted.
  • StilLTime is set to indicate the interval until the subsequent picture data is displayed. In this way, each piece of picture data constituting a slide show is designated as a reproduction start point and a reproduction end point by six Playltem information.
  • the first row of Fig. 25 shows PLMark information.
  • PLMark information # 1 to # 6 there are six pieces of PLMark information # 1 to # 6.
  • Arrows ktl, 2, 3, 4, 5, and 6 indicate designation by ref_to_PlayItem_Id of PLMark information.
  • ref_to_PlayItem_Id of PLMark information is Playltem It is often necessary to specify each piece of information.
  • the control unit 44 converts the In_time and Out_time of the Playltem information into the SPN in the AVClip using the EP_map, and specifies the SPN in the AVClip using the EPlmap.
  • the existing picture data is input to the decoder. By doing so, the picture data specified by the In_time and Out_time of the Playltem information is displayed. After that, the display is kept still for the period shown in StilLTime.
  • the chapter search function describes the Playltem information corresponding to the o_PlayItem_Id described in the PLMark information from a plurality of Playltem information, and the specified Playltem information is defined.
  • the random access from the position indicated by the mark_time_stamp described in the PLMark information is performed.At this time, the control unit 44 sets the mark_time_stamp described in the PLMark information among the multiple Entry Points. Most recently, the Entry Point having the PTS_EP_start is specified, and reproduction from the Access Unit address corresponding to the SPN_EP_start of the specified Entry Point is performed.
  • the chapter skip specifies PLMark information that specifies a chapter immediately before or immediately after a chapter at the current playback position, and executes a chapter search for the PLMark information.
  • Figure 26 is a flowchart showing the chapter search processing procedure. Yat.
  • Step S124 a chapter selection in the chapter menu is waited for (Step S124). If the chapter selection is made, the PLMark information corresponding to the selected chapter is set as a current PlayListMark (Step SI25).
  • step SI26 the PI described in the o_PlayItem_Id of the current P1 ayListMark is set to Playltemfe, and in step S127, the Clip information specified by the Clip jnformation_file_name of Playltemfe is read.
  • step S128 mark_time_stamp of the current PlayListMark is converted to Access Unit address u using the EP_map of the current Clip information.
  • step S129 OuUime of Playltemfe is converted to Access Unit address V using the EP_map of the current Clip information.
  • step S130 commands the decoder to output from the mark_time_stamp of the current PlayListMark to the OuUime of the Playltemfe.
  • step S131 an operation for a SkipNext key and a SkipBack key for the remote controller is awaited. If the operation is performed, step S132 is executed. In step S132, it is determined whether the pressed key is the SkipNext key or the SkipBack key. If the pressed key is the SkipBack key, the direction flag is set to ⁇ 1 in step S133, and if the key is the SkipNext key, the step flag is set. In S134, the direction flag is set to +1.
  • Step S135 is a step of specifying the current PLMark by converting the current PI and the current PTM.
  • Step S136 is a step of adding the number of the current PLMark and the value of the direction flag to the number of the current PlayListMark. Set as Here, if it is the SkipNext key, the direction flag is set to +1 so that the current PlayListMark is incremented. If the key is a SkipBack key, the direction flag is set to -1, so that the current PlainListMark is decremented. If the PLMark information is set in this way, the TS packet is executed by executing the processing procedure from step S126 to step S130 as in FIG. Read the data.
  • the above is the processing procedure of the playback device when performing playback based on PLMark information.
  • the chapter search and the chapter skip when performing a chapter search and a chapter skip, it is possible to read out a desired still image without passing through the previous IDR picture. Also, the chapter search and the chapter skip can be executed with high efficiency.
  • FIG. 28 is a diagram showing the configuration of an AVClip according to the third embodiment.
  • the AVClip is (middle), a video stream composed of a plurality of video frames (pictures pjl, 2, 3), An audio stream that has the power of an audio frame (upper first stage) is converted into a PES packet sequence (upper second stage), and further converted into TS packets (upper third stage), and interactive interactive graphics are also used.
  • FIG. 29 is a diagram showing the internal configuration of the IG stream.
  • the function segment called PDS (Palette Definition Segment), ODS (Object Definition Segment) ⁇ END (END of Display Set Segment) Become.
  • An ODS (Object Definition Segment) is graphics data that defines the graphics of a picture when a button is drawn.
  • a PDS (Palette Definition Segment) is a functional segment that defines coloring when rendering graphics data.
  • the ICS is a functional segment that specifies interactive control for changing the state of a button according to a user operation.
  • FIG. 29 (b) is a diagram showing the internal configuration of the ICS.
  • ICS also has multiple button information capabilities.
  • the button information corresponds to each button on the dialog control screen. More specifically, if the focus is on the corresponding button and the movement key is pressed, "neighbor_info” indicates which button to move the focus movement to, the normal state of the corresponding button, and the selected button It consists of "statejnfo” indicating which ODS represents each state such as a state, and "navigation command" to be executed by the playback device when the corresponding button is determined.
  • FIG. 30 is a diagram illustrating an example of an ICS that defines dialog control in a slide show.
  • the statejnfo of Buttonjnfo (O) is defined to draw a triangle with "top” when the button ("top” button) corresponding to Buttonjnfo (O) is in a normal state. Also, if the "top” button has focus (when it is in the selected state), "top” is added. It is defined that the drawn triangular figure is drawn in an emphasized manner. By vigorous convention, the "top” button will be treated as a "top” button, intended to skip to the first still image.
  • the statejnfo of Buttonjnfo (l) is defined to draw a triangle with "+ ⁇ ⁇ " when the button ("+ ⁇ button") corresponding to Buttonjnfo (l) is in the normal state. .
  • the "+1" button is in the selected state, it is specified that a triangle with "+ ⁇ ” be drawn in an emphasized manner. It will be treated as a "+ ⁇ button", intended to skip to still images.
  • the statejnfo of Button_info (2) specifies that if the button corresponding to Button_info (2) is in the normal state ("-1," button), a triangle figure with "-1” is drawn. When the "-1" button is in the selected state, it is specified that the triangle with "-1” be drawn in an emphasized manner. Will be treated as a "-1" button, intended to skip to the previous still image.
  • the statejnfo of Button_info (3) is defined to draw a triangle with "+10" when the button ("+10" button) corresponding to Button_info (3) is in the normal state. I have. When the "+10” button is in the selected state, “+10” is drawn in an emphasized manner. By vigorous regulations, the "+10” button is treated as a “+10” button, which is intended to skip to a still image 10 frames later.
  • the statejnfo of Button_info (4) is defined to draw a triangle with "-10" when the button ("-10" button) corresponding to Button_info (4) is in the normal state. I have. When the "-10" button is in the selected state, "-10” is drawn in an emphasized manner. By virtue of the powerful rules, the "-10" button is treated as a "-10” button, which is intended to skip to the previous 10-frame still image.
  • the neighborjnfo of Buttonjnfo (l) is specified to move the focus to the "top” button with the number "0" when the upper key is pressed, and to the "-1” button with the number “2" when the left key is pressed. It is stipulated that the focus be moved to the "+10" button having the number 3 when the right key is pressed.
  • the neighborjnfo of Button_info (3) is defined to move the focus to the "+” button having "1" number when the left key is pressed.
  • the neighbor_nfo of Button_info (4) is defined to shift the focus to the "-1" button having the number "2" when the right key is pressed.
  • FIG. 32 is a diagram showing a state transition in a menu displayed in a slide show.
  • the focus movement can be moved to the “ ⁇ 1” button (hhl).
  • the focus can be moved to the "+10” button (hh2), and the focus can be moved to the "+10” button. If the left key is pressed when there is a, the focus movement can be returned to the "+ ⁇ button (hh4). When the up key is pressed in the state where the focus movement exists in the "+ ⁇ ” button, move the focus movement to the "top” button. Power S can be (hh3).
  • buttons are the first, next, one before, ten after, ten It is intended to skip forward.
  • the focus moves on the buttons as the user presses the up / down / left / right keys, so the "+ ⁇ button ⁇ " -10 " Any of the buttons can be selected by the user.
  • the navigation command of Buttonjnfo (O) is specified to execute Jmp PLMark (l) when the confirmation operation is performed on the "top” button.
  • the navigation command of Buttonjnfo (l) is defined to execute Jmp PLMark ( X + l) when the "+ ⁇ ⁇ ⁇ " button is confirmed.
  • the navigation command of Button_info (2) is specified to execute Jmp PLMark (x-1) when the confirmation operation is performed on the "-1" button.
  • the navigation command of Button_info (3) is specified to execute Jmp PLMark ( X + 10) when the confirmation operation is performed on the "+10" button.
  • These navigation commands specify a PLMark as a branch destination.
  • the value in parentheses for PLMark specifies the picture to branch to. That is, PLMark (l) is a PLMark indicating the first picture, and PLMark (x + l) is a PLMark indicating the x + 1st picture.
  • PLMark (x-l) is a PLMark indicating the x-1st picture.
  • PLMark (x + 10) is a PLMark indicating the x + 10th picture.
  • PLMark (x-10) is a PLMark indicating the x-10th picture.
  • the navigation command in each button information specifies these PLMark (l), (x + l), (x-l), (x + 10), (x-10) as branch destinations. Therefore, when each button is confirmed, from the Xth still image, the first still image, ⁇ + 1st still image, x-1st still image, x + 10th still image The still image and the x-10th still image are randomly accessed.
  • FIG. 33 is a diagram showing a branch by a navigation command of a slide show.
  • the first row of the figure shows a plurality of pictures constituting a slide show and branches to these pictures.
  • the second row shows the time axis of the slide show, the third row shows the set entry map for the picture row of the second row, and the fourth row shows TS packets on the BD-ROM. Indicates a column.
  • the first arrow in the figure indicates the navigation commands OmpPLMark (l), J mpPLMark (x + l), JmpPLMark (xl), JmpPLMark (x + 10), shown in FIG. Symbolically shows the branch by JmpPLMark (x-10), which is the top still image, the next still image, the previous still image, the 10 still image, and the 10 still image Since these branches are based on the navigation command shown in Fig. 30, these branches allow the user to reproduce an arbitrary still image by his / her own operation.
  • the playback time of each of the first still image, the next still image, the previous still image, the tenth still image, and the tenth still image is specified as PTS_EP_start in the EP_map. If so, a random access to a desired access position without performing analysis on the stream can be performed. At the time of interactive reproduction by the navigation command, a desired still image can be read out without passing through a nearby entry position, so that the interactive reproduction can be executed with high efficiency.
  • the present invention can be implemented also by the form of the implementation in which (B), (C) and (D) are changed.
  • Each invention according to the claims of the present application is described as an expanded description or a generalized description of the above-described plurality of embodiments and their modifications. The degree of extension or generalization is based on the state of the art at the time of filing of the field of the invention.
  • the recording medium according to the present invention is implemented as a BD-ROM.
  • the recording medium of the present invention is characterized by EPjnap to be recorded. It does not depend on physical properties. Any recording medium that can record EPjnap may be used.
  • optical discs such as DVD-ROM, DVD-RAM, DVD-RW, DVD-R, DVD + RW, DVD + R, CD-R, CD-RW, and magneto-optical discs such as PD and MO may be used. ! / ⁇ .
  • a semiconductor memory card such as a compact flash (registered trademark) card, a smart media, a memory stick, a multimedia card, and a PCM-CIA card may be used.
  • Magnetic recording disks such as a flexible disk, SuperDisk, Zip, Clik! (0, ORB, Jaz, SparQ, SyJet, EZFley, removable hard disk drive (ii) such as a microdrive, etc.) It may be a built-in hard disk.
  • the playback device in all the embodiments is configured such that the AVClip recorded on the BD-ROM is decoded and then output to the TV, and the playback device is only a BD-ROM drive. Elements may be provided on the TV. In this case, the playback device and the TV can be incorporated in a home network connected by IEEE1394.
  • the playback device in the embodiment may be a playback device integrated with a force display that has been used by being connected to a television.
  • the system LSI integrated circuit
  • the digital stream in each embodiment may be a DVD-Video standard or a DVD-Video Recording standard VOB (VideoObject) which was an AVClip of the BD-ROM standard.
  • VOB is a program stream compliant with ISO / IEC13818-1 standard obtained by multiplexing a video stream and an audio stream.
  • the video stream in AVClip may be MPEG4 or WMV.
  • the audio stream may be in a Linear-PCM format, a Dolby-AC3 format, an MP3 format, an MPEG-AAC format, or a dts format.
  • the slide show in the first embodiment is a TS for Timebased SlideShow.
  • the description has been made on the assumption that the AVClip used for TS for MainPath of the Browsable SlideShow or the AVClip used for SubPath of the Browsable SlideShow may be used. That is, EPjnap may be set in the Clip information corresponding to the AVClip used in TS for MainPath of the Browsable SlideShow to indicate the playback time and recording position of each picture.
  • the recording medium and the playback device according to the present invention may be used for personal use, such as in a home theater system.
  • the recording medium and the reproducing apparatus according to the present invention can be used in the field of industrial product production. Or can be used. From this, the recording medium and the reproducing apparatus according to the present invention have industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

　BD-ROMには、ビデオストリームと、エントリーマップとが対応づけられ記録されている。スライドショーを構成するビデオストリームは、複数のIDRピクチャからなり、これに対応するエントリーマップ(EP_map)は、ビデオストリームにおける各IDRピクチャのエントリー時刻(PTS_EP_start)を、エントリー位置(SPN_EP_start)と対応づけて示す。 　application_typeは、ビデオストリームを構成する個々のピクチャデータについてのエントリー情報が、EP_mapに存在していて、個々のピクチャデータは、単独でデコードされる旨を示すことを示す。

Description

明 細 書
記録媒体、再生装置、プログラム、再生方法
技術分野
[0001] 本発明は、ランダムアクセス技術の技術分野に属する発明である。
背景技術
[0002] ランダムアクセス技術とは、デジタルストリームがもつ時間軸上の任意の一時点を、 デジタルストリーム上の記録位置に変換して、その記録位置力 の再生を開始する 技術であり、 BD- ROMや DVD-Videoのような、記録媒体に記録されているデジタルス トリームを再生するにあたって、なくてはならない基盤技術である。
デジタルストリームは、 MPEG2-Video、 MPEG4-AVC等の可変長符号化方式により 符号化されており、フレーム当たりの情報量にばらつきがある。このことから、ランダム アクセスを実行する際、上述した変換を行うにあたっては、エントリーマップの参照が 必要になる。ここでエントリーマップとは、時間軸上の複数のエントリー時刻を、デジタ ルストリームにおける複数のエントリー位置に対応づけて示す情報であり、エントリー マップにおける複数のエントリー時刻力 1秒という時間精度を有している場合、 1秒と いう時間精度でのランダムアクセスを、高効率に行うことができる。
[0003] ビデオストリームに対するランダムアクセスでは、 GOPの先頭に存在する I(Intra)ピク チヤを探索する必要がある。 Iピクチャの探索を支援するような、データ構造について は下記の特許文献に記載された先行技術がある。
特許文献 1：特開 2000-228656号公報
発明の開示
発明が解決しょうとする課題
[0004] 時間軸をもつアプリケーションには、映画の他にスライドショーがある。スライドショー とは、複数の静止画力 なり、各静止画が、予め定められた時間軸に沿って再生され るアプリケーションをいう。スライドショーも、再生のための時間軸を有しているので、 時間軸上の複数のエントリー時刻を、エントリー位置に対応づけて示しておくことによ り、時間軸上の任意の時点から、ストリーム上の記録位置を導くことができ、かかる記 録位置からの再生を実行することができる。
[0005] ところ力スライドショーは、静止画から構成されて!、ることから、映画よりも、高精度な ランダムアクセスが要求される。高精度なランダムアクセスとは、 1枚先、 10枚先という ように、 "一枚のピクチャ"をアクセス単位にしたランダムアクセスである。ビデオストリ ームのエントリーマップは、 1秒間隔というように、 1秒程度の時間精度をもち、この 1秒 という時間間隔には、 20〜30枚のピクチャが包含され得る。そのため、上述したェント リーマップを用いてピクチャ精度でのランダムアクセスを実現しょうとすると、エントリー マップの参照だけでは足りず、ストリームに対する解析が必要になる。
[0006] ここでの"ストリームの解析"とは、エントリーマップに記載されているエントリー位置 から、ピクチャのヘッダを取り出し、このヘッダからピクチャのサイズを読み出して、そ のサイズに基づき、次のピクチヤの記録位置を特定するという処理を、何回も繰り返し 、所望のピクチャの記録位置まで迪りつくというものである。かかる解析は、ストリーム に対する高頻度のアクセスを伴うものなので、エントリー位置から 3枚先、 5枚先のピク チヤを読み出すだけでも、相当の時間がかかる。ピクチャ精度のランダムアクセスに 相当の時間がかかるため、ユーザ操作に即応して、前後のピクチャを表示させたり、 1 0枚前後のピクチャを表示させうる機能をスライドショーに追加しょうとしても、制作者 サイドが期待するような、使 、勝手にならな 、と 、う問題点がある。
[0007] 本発明の目的は、スライドショーにおけるランダムアクセスを、高速に実現することが できる記録媒体を提供することである。
課題を解決するための手段
[0008] 上記目的を達成するため、本発明に係る記録媒体は、ビデオストリームと、ストリー ム管理情報とが記録されており、ビデオストリームは、複数のピクチャデータを含み、 ストリーム管理情報は、エントリーマップを含み、エントリーマップは、ピクチャデータ 毎の再生時刻に対応付けて、ビデオストリームにおける各ピクチャデータのエントリー アドレスを示しており、ビデオストリームに含まれる全てのピクチャデータのエントリー アドレスがエントリーマップに含まれて 、ることを特徴として 、る。
発明の効果
[0009] スライドショーに対するエントリーマップは、ビデオストリームにおけるピクチャ毎のェ ントリーアドレスを再生時刻に対応づけて示しているので、 1枚先、 3枚先というように、 ピクチャ精度のランダムアクセスが要求されたとしても、ビデオストリームの解析を伴う ことなく、ピクチャ精度のランダムアクセスを実現することができる。
時間軸上の任意の時点力もビデオストリーム上の記録位置を導くことができ、また、 1枚先、 3枚先と 、ぅピクチャ精度でのランダムアクセスを実現することができるので、 ユーザ操作に即応して、前後のピクチャを表示させたり、数枚前後のピクチャを表示 させうるアプリケーションを制作することができる。
[0010] ここでストリーム管理情報は更に、フラグを含み、このフラグが、前記ビデオストリー ムを構成する全てのピクチャデータのエントリーアドレスがエントリーマップに含まれて いることを保証している。
スライドショーに対するエントリーマップのデータ構造力 外観上、動画に対するェ ントリーマップのデータ構造と同一であっても、再生装置は、動画再生と同じ再生制 御を実行しつつ、フラグが上述した旨を示している場合のみ、ピクチャ精度のランダ ムアクセスを実行すればよい。再生装置は、動画再生との互換性を維持する形で、ピ クチャ精度のランダムアクセスを実現することができる。これにより、動画再生と、スラ イドショー再生との両機能を兼備した再生装置の普及を促進することができる。
図面の簡単な説明
[0011] [図 1]本発明に係る記録媒体の使用行為についての形態を示す図である。
[図 2]BD- ROMの内部構成を示す図である。
[図 3]拡張子. m2tsが付与されたファイルがどのように構成されているかを模式的に示 す図である。
[図 4]AVClipを構成する TSパケットがどのような過程を経て BD-ROMに書き込まれる かを示す図である。
[図 5] (a)映画に用いられるビデオストリームの内部構成を示す図である。
[0012] (b)スライドショーに用いられるビデオストリームの内部構成を示す図である。
[図 6] (a) IDRピクチャの内部構成を示す図である。 (b) Non-IDR Iピクチャの内部構 成を示す。 (c) Non-IDR Iピクチャにおける依存関係を示す。
[図 7]IDRピクチャ、 Non-IDR Iピクチャが TSパケットに変換される過程を示す図である [図 8]スライドショーにおける IDRピクチャ力 BD-ROMにどのように記録されるかを図 である。
[図 9]スライドショーの再生進行を示す図である。
[図 10]Clip情報の内部構成を示す図である。
[図 11] (a)ビデオストリームについての Stream_Coding_Infoを示す。
(b)オーディオストリームにつ 、ての Stream— Coding— Infoを示す。
[図 12]Clip情報における Clip infoの内部構成を示す図である。
[図 13]映画のビデオストリームに対する EPjnap設定を示す図である。
[図 14]図 13における Entry Point#l〜Entry Point#5の PTS_EP_start、 SPN_EP_startを 、 EP丄 ow、 EP_Highの組みで表現したものである。
[図 15]図 13のビデオストリームに対するランダムアクセスがどのようになされるかを示 す図である。
[図 16]スライドショーに対し、設定された EPjnapの内部構成を示す図である。
[図 17]時間軸上の一時点へのランダムアクセスを、図 16と同様の表記で、示した図 である。
[図 18]本発明に係る再生装置の内部構成を示す図である。
[図 19]映画に用いられるビデオストリームにおいて、時間情報を Iピクチャアドレスに変 換する手順を示すフローチャートである。
[図 20]スライドショーに用いられるビデオストリームにおいて、時間情報を Iピクチャアド レスに変換する手順を示すフローチャートである。
[図 21]PlayList情報の構成を示す図である。
[図 22]AVClipと、 PlayList情報との関係を示す図である。
[図 23]第 2実施形態に係る PlayList情報の、複数の PLMark情報の内部構成を示す 図である。
[図 24]PLmark情報によるチャプター定義を示す図である。
[図 25]スライドショーで用いられるビデオストリームに対する、 PLMark設定の具体例を 示す図である。 [図 26]チャプターサーチの処理手順を示すフローチャートである。
[図 27]チャプタースキップの処理手順を示すフローチャートである。
[図 28]第 3実施形態に係る、 AVClipの構成を示す図である。
[図 29] (a) IGストリームの内部構成を示す図である。
(b) ICSの内部構成を示す図である。
[図 30]スライドショーにおける対話制御を規定する ICSの一例を示す図である。
[図 31] (a)〜（c)ビデオストリームの再生時点力 時点 txに到達した際、表示されるメ ニューを示す図である。
[図 32]スライドショーで表示されるメニューにおける状態遷移を示す図である。
[図 33]スライドショーのナビゲーシヨンコマンドによる分岐を示す図である。
符号の説明
1 BDドライブ
2 Arrival time Clock Counter
3 source de— packetetizer
4 PID Filter4
5 Transport Buffer5
6 Multiplexed Buffer6
7 Coded Picture Buffer7
8 ビデオデコーダ 8
10 Decoded Picture Buffer 10
11 ビデオプレーン 11
12 Transport Buffer 12
13 Coded Data Buffer 13
14 Stream Graphics Processorl4
15 Object Buffer 15
15 Composition Buffer 16
17 Composition Controller 17
18 Presentation Graphicsプレ ~~ン 18 CUJT部 19
Transport Buffer20
Coded Data Buffer21
Stream Grapnics Processor22
Object Buffer 23
Composition Buffer24
Composition Controller25
Intaractive Graphicsプレ ~~ン 26
CUJT部 27
合成部 28
合成部 29
スィッチ 30
Network Device31
Local Storage 32
Arrival fime し IOCKし ounter33
Source De-Packetizer34
PIDフィルタ
スィッチ
Transport Buffer
Elementary Buffer
オーディオデコーダ
Transport Buffer
ノ ッファ
テキスト字幕デコーダ シナリ才メモリ
制御部
PSRセット
BD-ROM 200 再生装置
300 リモコン
400 テレビ
発明を実施するための最良の形態
[0016] (第 1実施形態）
以降、本発明に係る記録媒体の実施形態について説明する。先ず始めに、本発明 に係る記録媒体の実施行為のうち、使用行為についての形態を説明する。図 1は、 本発明に係る記録媒体の、使用行為についての形態を示す図である。図 1において 、本発明に係る記録媒体は、 BD- ROM100である。この BD- ROM100は、再生装置 2 00、リモコン 300、テレビ 400により形成されるホームシアターシステムに、映画作品 を供給するという用途に供される。
[0017] 以上が本発明に係る記録媒体の使用形態についての説明である。続いて本発明 に係る記録媒体の実施行為のうち、生産行為についての形態について説明する。本 発明に係る記録媒体は、 BD-ROMの応用層に対する改良により実施することができ る。図 2は、 BD-ROMの内部構成を示す図である。
本図の第 4段目に BD- ROMを示し、第 3段目に BD- ROM上のトラックを示す。本図 のトラックは、 BD-ROMの内周力も外周にかけて螺旋状に形成されているトラックを、 横方向に引き伸ばして描画している。このトラックは、リードイン領域と、ボリューム領 域と、リードアウト領域と力 なる。本図のボリューム領域は、物理層、ファイルシステ ム層、応用層というレイヤモデルをもつ。ディレクトリ構造を用いて BD-ROMの応用層 フォーマット (アプリケーションフォーマット)を表現すると、図中の第 1段目のようになる 。この第 1段目において BD- ROMには、 Rootディレクトリの下に、 BDMVディレクトリが ある。
[0018] BDMVディレクトリの配下には、 PLAYLISTディレクトリ、 CLIPINFディレクトリ、 STREA Mディレクトリと呼ばれる 3つのサブディレクトリが存在する。
STREAMディレクトリには、 、わばデジタルストリーム本体となるファイル群を格納し ているディレクトリであり、拡張子 m2tsが付与されたファイル (00001.m2ts,00002.m2ts, 00003.m2ts)が存在する。 [0019] PLAYLISTディレクトリは、拡張子 mplsが付与されたファイル (00001.mpls,00002.mpls ,00003mpls)が存在する。
CLIPINFディレクトリには、拡張子 clpiが付与されたファイル (00001.clpi,00002.clpi,0 0003.clpi)が存在する。
< AVClipの構成 >
続いて拡張子. m2tsが付与されたファイルについて説明する。図 3は、拡張子. m2ts が付与されたファイルがどのように構成されているかを模式的に示す図である。拡張 子. m2tsが付与されたファイル (00001.m2ts,00002.m2ts,00003.m2ts )は、 AVClip を格納している。 AVClipは (第 4段目）、複数のビデオフレーム (ピクチャ pjl, 2,3)力もな るビデオストリーム、複数のオーディオフレームカゝらなるオーディオストリームを (第 1段 目）、 PESパケット列に変換し (第 2段目)、更に TSパケットに変換して (第 3段目)、これら を多重化することで構成される。
[0020] 尚、 AVClipには、字幕系のプレゼンテーショングラフィクスストリーム (PGストリーム） や対話系のインタラクティブグラフィクスストリーム (IGストリーム)が多重化されることも ある。また、テキストコードにより表現された字幕データ (テキスト字幕ストリーム)が、 AV Clipとして記録されることちある。
続いて、 MPEG2-TS形式のデジタルストリームである AVClipが、 BD- ROMにどのよう に書き込まれるかを説明する。図 4は、 AVClipを構成する TSパケットがどのような過程 を経て BD-ROMに書き込まれるかを示す図である。本図の第 1段目に AVClipを構成 する TSパケットを示す。
[0021] AVClipを構成する TSパケットは、第 2段目に示すように TS_extra_header (図中の「EX 」)が付される。
第 3段目、第 4段目は、 BD- ROMの物理単位と、 TSパケットとの対応関係を示す。 第 4段目に示すように、 BD- ROM上には複数セクタが形成されている。 extra.header 付き TSパケット (以下 EX付き TSパケットと略す)は、 32個毎にグループ化されて、 3つの セクタに書き込まれる。 32個の EX付き TSパケットからなるグループは、 6144バイト (=32 X 192)であり、これは 3個のセクタサイズ 6144バイト (=2048 X 3)と一致する。 3個のセク タに収められた 32個の EX付き TSパケットを" Aligned Unit"といい、 BD- ROMへの書き 込みにあたっては、 Aligned Unit単位で暗号化がなされる。
[0022] 第 5段目にお 、てセクタは、 32個単位で誤り訂正符号が付され、 ECCブロックを構 成する。再生装置は Aligned Unitの単位で BD- ROMをアクセスする限り、 32個の完結 した EX付き TSパケットを得ることができる。以上が BD- ROMに対する AVClipの書き込 みのプロセスである。
<ビデ才ストリーム >
ビデオストリームの内部構成について説明する。図 5は、ビデオストリームの内部構 成を示す図である。ビデオストリームには、映画により利用されるものと、スライドショー により利用されるものの 2つのタイプがある。本実施形態において、これら映画、スライ ドショーで用いられるビデオストリームは何れも MPEG4-AVCで符号化されて!/、る点 で共通する。つまり、符号ィ匕方式の点において共通するものとする。
[0023] 図 5 (a)は、映画に用いられるビデオストリームの内部構成を示す図である。図 5 (a) におけるビデオストリームは、符号ィ匕順序に配置された複数のピクチャ力もなる。 図中の Ι,Ρ,Βは、それぞれ Iピクチャ、 Βピクチャ、 Ρピクチャを意味する。 Iピクチャには 、 IDRピクチャと、 Non-IDR Iピクチャとの 2種類がある。 Non-IDR Iピクチャ、 Pピクチャ 、 Bピクチャは、他のピクチヤとのフレーム相関性に基づき圧縮符号ィ匕されている。 B ピクチャとは、 Bidirectionallypredictive(B)形式のスライスデータからなるピクチャをい い、 Pピクチャとは、 Predictive(P)形式のスライスデータからなるピクチャをいう。 Bピク チヤには、 refrenceBピクチャと、 nonrefrenceBピクチャとがある。
[0024] 図 5 (a)では、 Non-IDR Iピクチャを "I"と記述しており、 IDRピクチャを" IDR"と記述し ている。以降、同様の表記を用いる。以上が映画に用いられる、ビデオストリームであ る。
続いて IDRピクチャ及び Non-IDR Iピクチャの内部構成について説明する。図 6 (a) は、 IDRピクチャの内部構成を示す図である。本図に示すように IDRピクチャは、複数 の Intra形式のスライスデータからなる。図 6 (b)は、 Non- IDR Iピクチャの内部構成を 示す。 IDRピクチャ力 lntra形式のスライスデータのみから構成されているのに対し、 No n-IDR Iピクチャは Intra形式のスライスデータ、 P形式のスライスデータ、 B开式のスラ イスデータ力も構成されている。図 6 (c)は、 Non-IDR Iピクチャにおける依存関係を 示す。 Non- IDR Iピクチャは、 Β,Ρスライスデータから構成されうるので、他のピクチヤと の依存関係をもちうる。
[0025] < BD- ROMへの記録 >
続いて IDRピクチャ、 Non-IDR Iピクチャが、どのようにして TSパケットに変換され、 B D- ROMに記録されるかについて説明する。図 7は、 IDRピクチャ、 Non-IDR Iピクチャ が TSパケットに変換される過程を示す図である。図中の第 1段目は、 IDRピクチャ、 No n-IDR Iピクチャを示す。第 2段目は、 MPEG4-AVCに規定された Access Unitを示す。 IDRピクチャ、 Non- IDR Iピクチャを構成する複数のスライスデータは、シーケンシャル に配置され、 AUD(Access Unit Delimiter),SPS(Sequence Parameter Set),PPS (Picture Parameter Set) , SEI(Supplemental Enhanced info)Z)付カロされることにより、 Access Uni tに変換されることになる。
[0026] AUD,SPS,PPS,SEI、 Access Unitのそれぞれは、 MPEG4-AVCに規定された情報で あり、 ITU-T RecommendationH.264等の様々な文献に記載されているので、詳細に ついては、これらの文献を参照されたい。ここで重要であるのは、 AUD,SPS,PPS,SEI が再生装置に供給されることがランダムアクセスの必須条件になるという点である。 第 3段目は NAL unitを示す。第 2段目における AUD,SPS,PPS,SEIに対し、ヘッダを 付カロすることにより、 AUD,SPS,PPS,SEI、スライスデータは、それぞれ NAL
unitに変換されることになる。 NAL unitとは、 MPEG4- AVCのネットワーク抽象レイヤ (N etwork Abstraction Layer)において、規定された単位であり、 ITU-T
Recommendation H.264等の様々な文献に記載されているので、詳細についてはこ れらの文献を参照されたい。ここで重要であるのは、 AUD,SPS,PPS,SEI,スライスデー タは、それぞれ独立した NALunitに変換されているので、 AUD,SPS,PPS,SEI,スライス データのそれぞれは、ネットワーク抽象レイヤにおいて、それぞれ独立に取り扱われ るという点である。
[0027] 1つのピクチャを変換することで得られた複数の NAL unitは、第 4段目に示すように P ESパケットに変換される。そして TSパケットに変換されて BD-ROM上に記録される。
1つの GOPを再生するには、その GOPの先頭に位置する IDRピクチャ、 Non-IDR Iピ クチャを構成する NAL unitのうち、 Access Unit Delimiterを含むものをデコーダに投 入せねばならない。つまり Access Unit Delimiterを含む NAL unitが、 IDRピクチャ、 No n-IDR Iピクチャをデコードするための 1つの指標になる。この Access Unit Delimiterを 含む NAL unitを、本実施形態では点 (Point)として扱う。そして再生装置は、ビデオス トリームを再生するにあたって、 Access Unit Delimiterを含む NAL unitを、 Non-IDR I ピクチャ、 IDRピクチャを再生するためのエントリー位置として解釈する。従って、 AVC1 ipにおいて、ランダムアクセスを実行するには、 IDRピクチャ， Non-IDR Iピクチャの Ac cess Unit Delimiterが何処に存在するかを、把握することが非常に重要になる。以上 が映画に用いられる、 MPEG4-AVC形式のビデオストリームの構成である。
[0028]
<スライドショー >
続いて、スライドショーに用いられるビデオストリームについて説明する。図 5 (b)は、 スライドショーに用いられるビデオストリームの内部構成を示す図である。本図に示す ように、スライドショーに用いられるビデオストリームは、複数の静止画データから構成 される。これらの静止画データは、何れも、 IDRピクチャである。つまりスライドショーで は、どのピクチャも単体でデコードされるように、 IDRピクチャでデコードされているの である。
[0029] 本実施形態におけるスライドショーは、ビデオストリームとオーディオストリームとが 多重化されており、ビデオストリームにおける個々の静止画力 オーディオストリーム の再生進行に沿って再生されるタイプのスライドショー (Timebased SlideShow)である。
BD-ROMに記録されうるスライドショーには、オーディオストリームが多重されておら ず、オーディオストリームの再生とは無関係に、静止画の再生が進行するスライドショ 一 (Browsable SlideShow)が他に存在する。
[0030] これらのうち映画及び Timebased SlideShowは、何れも時間軸をもっているので、こ れらに対象を絞って説明を進めてゆく。
スライドショーを構成するビデオストリームの内部構成について説明する。 図 8は、スライドショーにおける IDRピクチャ力 BD- ROMにどのように記録される力 を図である。 BD-ROMへの記録は、図 7と同様である。つまりスライドショーを構成す る IDRピクチャは、複数のスライスデータ力 なるので、各スライスデータを、動画の ID Rピクチャ同様、 NAL unitに変換して、 BD- ROMに記録するのである。本図に示す記 録が、図 7のものと異なるのは、ピクチャを構成するスライスデータの末尾に、 "End of Streamコード"がある点である。この End of Streamコードは、デコーダ動作の凍結 (Dis play Frozen)を再生装置に命じる終端コードであり、スライスデータと同様、 1つの NAL unitに変換されて BD- ROMに記録される。
この図 8に示す IDRピクチャ力 順次デコーダに供給されることにより、図 9に示すよ うに、スライドショーの再生は進行する。図 9は、スライドショーの再生進行を示す図で ある。本図の第 4段目は、 TSパケット列を示し、第 3段目は、この第 4段目の TSパケット を変換することで得られた PESパケット列を示す。第 2段目は、スライドショーの時間軸 を示し、第 1段目は、スライドショーを構成する個々の IDRピクチャを示す。この第 1段 目の IDRピクチャは、第 3段目の PESパケットにおける PTSに示される時点に表示され る。また第 3段目の PESパケットには、図 8に示した End of Streamコードがあるので、再 生装置は、 PESパケットの PTSに示される時点において IDRピクチャを表示した後、デ コーダ動作を凍結した状態 (Display Frozen)になる。このデコーダ動作の凍結状態は 、次の IDRピクチャの表示がなされるまで、継続することになる。 PESパケットの PTSに 示された時点における表示と、 End of Streamコードによるデコーダ動作凍結とを繰り 返すことにより、スライドショーを構成する個々の IDRピクチャは、順次再生されてゆく 。以上が、スライドショーの再生進行である。
< Clip情報 >
続 、て拡張子 .clpiが付与されたファイルにつ 、て説明する。拡張子 .clpiが付与され たファイル (0000 l.clpi,00002. clpi,00003. clpi )は、 Clip情報を格納して!/、る。 Clip 情報は、個々の AVClipについての管理情報である。図 10は、 Clip情報の内部構成 を示す図である。本図の左側に示すように Clip情報は、
OAVClipファイルの属性情報を格納した『ClipInfo0』、
ii) ATC Sequence'STC Sequenceに関する情報を格納した『Sequence Info0』
iii) Program Sequenceに関する情報を格納した『Program Info0』
iv)『Characteristic Point Info(CPl0)』からなる。
図中の引き出し線 culは、 i番目の Program Sequence(Program Sequence(O)の構成を クローズアップしている。本引き出し線に示すように、 Program
Sequence(i)に対する Program Infoは、 Stream— PIDと、 Stream— Coding—Infoとの糸且みを Ns (0個配列してなる (図中の Stream_PID[i](0)、 Stream_Coding_Info(i,0)〜Stream_PID[i]( Ns(i)— 1)、 Stream— Coding—Info(i,Ns(i)—l))。
[0032] Stream_PIDは、 AVClipを構成する個々のエレメンタリストリームについてのパケット 識別子を示し、 Stream_Coding_Infoは、 AVClipを構成する個々のエレメンタリストリー ムにつ 、ての符号化方式を示す。
図 11 (a)は、ビデオストリームについての Stream_Coding_Infoを示し、図 11 (b)は、 オーディオストリームにつ 、ての Stream_CodingJnfoを示す。ビデオストリームの Strea m_Coding_Infoは、図 11 (a)〖こ示すように、ビデオストリームの符号化方式力 MPEG4 - AVC、 MPEG2- Videoの何れであるかを示す『Stream_Coding_type』と、ビデオストリー ムの表示方式が 480i,576i,480p,1080i,720p,1080pの何れであるかを示す『Video_form at』,ビデオストリームのフレームレートが 23.976Hz,29.97Hz,59.94Hzの何れである力 を示す『frame_rate』、ビデオストリームにおけるピクチャのアスペクト比が 4:3, 16:9の何 れであるかを示す『aspect_ratio』を含む。
[0033] 図 11 (b)は、オーディオストリームについての Stream_Coding_Infoを示す。本図に示 すようにオーディオストリームにつ 、ての Stream_CodingJnfoは、オーディオストリーム の符号化方式力 sLPCM,Dolby-AC3,Dtsの何れであるかを示す『Stream_Coding_Type 』、オーディオストリームの出力形式がステレオ、モノラル、マルチの何れであるかを示 す『audio_Presentation_type』、オーディオストリームのサンプリング周波数を示す『Sam pling— Frenquency』、ォーティォストリームに; <TJ心する ¾ を示す『audio— language— cod e』からなる。
[0034] この Stream_Coding_Infoを参照することにより、 AVClipにおける複数のエレメンタリス トリームのうち、どれが MPEG4-AVC形式であるかを知得することができる。
< CPI(EP_map) >
図 10に戻って、 CPIの説明を行う。図中の引き出し線 cu2は、 CPIの構成をクローズ アップしている。引き出し線 cu2に示すように、 CPIは EP_mapからなる。 EPjnapは、 Ne 個の EP— map— for— one— stream— PID(EP— map— for— one— stream— PID(0)〜EP— map— for— one— str eam_PID(Ne- 1))からなる。これら EP_map_for_one_stream_PIDは、 AVClipに属する個々 のエレメンタリストリームについての EP_mapである。 EP_mapは、 1つのエレメンタリストリ ーム上において、 Access Unit Delimiterが存在するエントリー位置のパケット番号 (SP N_EP_start)を、エントリー時刻 (PTS_EP_start)と対応づけて示す情報である。図中の引 き出し線 cu3は、 EP_map_for_one_stream_PIDの内部構成をクローズアップして 、る。
[0035] これによると、 EP_map_for_one_stream_PIDは、 Nc個の EP_High(EP_High(0)〜EP_High (Nc-1))と、 Nf個の EP丄 ow(EP丄 ow(0)〜EP丄 ow(Nf-l》とからなることがわかる。ここで E P— Highは、 Access Unit(Non- IDR Iピクチャ、 IDRピクチャ)の SPN— EP— start及び PTS— EP —startの上位ビットを表す役割をもち、 EP丄 owは、 Access Unit(Non- IDR Iピクチャ、 ID Rピクチャ)の SPN_EP_start及び PTS_EP_startの下位ビットを示す役割をもつ。
[0036] 図中の引き出し線 cu4は、 EP_Highの内部構成をクローズアップしている。この引き 出し線に示すように、 EP_High(i)は、 EP丄 owに対する参照値である『ref_to_EP丄 ow_id[i ]』と、 Access Unit(Non-IDR Iピクチャ、 IDRピクチャ)の PTSの上位ビットを示す『PTS_E P_High[i]』と、 Access Unit(Non- IDR Iピクチャ、 IDRピクチャ)の SPNの上位ビットを示 す『SPN_EP_High[i]』と力もなる。ここで iとは、任意の EP_Highを識別するための識別子 である。
[0037] 図中の引き出し線 cu5は、 EP丄 owの構成をクローズアップしている。引き出し線 cu5 に示すように、 EP丄 owは、対応する Access Unitが IDRピクチャか否かを示す『is_angle — change_point(EP丄 ow_id)』と、対応する Access Unitのサイズを示す『し end_position_off set(EP丄 ow_id)』と、対応する Access Unit(Non- IDR Iピクチャ、 IDRピクチャ)の PTSの 下位ビットを示す『PTS_EP丄 ow(EP丄 owjd)』と、対応する Access Unit(Non- IDR Iピク チヤ、 IDRピクチャ)の SPNの下位ビットを示す『SPN_EP丄 ow(EP丄 ow_id)』とからなる。こ こで EP丄 owjdとは、任意の EP丄 owを識別するための識別子である。
[0038] これらの EP_mapのデータ構造は、基本的には上述した特許文献等に記載されたも のであり、本明細書ではこれ以上詳しく触れな 、。
続いて、 Clip情報における Clip infoについて説明する。図 12は、 Clip情報における Clip infoの内部構成を示す図である。図中の引き出し線は Clip infoOの構成をクロー ズアップしている。この引き出し線に示すように、 Clip infoOは、デジタルストリームの 類型を示す" clip_stream_type",本 AVClipを利用するアプリケーションの類型を示す" a pplication_type",AVClipの記録レートを示す "TS_recording_rate",AVClipを構成する TSパケット数を示す" number_of_source_packet"から構成されて 、ることがわ力る。この うち clip_stream_typeは、本 Clip情報に対応する AVClip力 Movie Application.TS for Timeoased SlideShow.Tb for MainPath of the Brows a Die SlideShow.TS for SubPath of the Browsable SlideShowの何れであるかを示す。具体的には、
a)clip_stream_type = lである場合、 AVClipの類型は、 Movie Applicationであることを 示す。
[0039] b)clip_stream_type = 2である場合、 AVClipの類型は、 TS for Timebased SlideShow であることを示す。
c) clip— stream— type=3である場合、 AVClipの類型は、 TS for MainPath of the Browsa ble SlideShowであることを示す。ここで" MainPath"とは、 Browsable SlideShowを構成 するビデオストリーム一オーディオストリームの組みのうち、ビデオストリームであること を意味する。
d) clip_stream_type=4である場合、 AVClipの類型は、 TS for SubPath of the Browsabl e SlideShowであることを示す。ここで" SubPath"とは、 Browsable SlideShowを構成する ビデオストリーム一オーディオストリームの組みのうち、オーディオストリームであること を意味する。
[0040]
図 12における矢印 ct3,ct4は、この application_typeがもたらす副次的な意味内容を 示す。副次的な意味内容とは、 application_typeがそれぞれの値に設定された際、 EP_ mapのデータ構造がどのようなものになるかを意味する。
図中の矢印 ct4は、 application_typeが 1,4である場合、 EP_mapがどのようなデータ構 造になるかを示す。具体的にいうと、 application_typeが 1,4である場合、 EP_mapは、隣 り合う 2つの PTS_EP_startの値の間隔力 1秒未満になればょ 、ことを意味する。
[0041] 図中の矢印 ct3は、 application_typeが 2,3である場合、 EP_mapがどのようなデータ構 造になるかを示す。具体的にいうと、 application_typeが 2,3である場合、 AVClipの全て のピクチャを指し示すように、 PTS_EP_startの値が設定されることを意味する。つまり A VClipの全てのピクチャが EPjnapにて指し示されて!/、ることを保証して 、る。
application_typeに、力かる副次的な意味をもたせることの、技術的意義について説 明する。
[0042] ここでスライドショーを作成するにあたって、全てのピクチャデータを IDRピクチャに 設定するというというのは、 1つの考え方にすぎない。他のピクチヤとの相関性を用い て圧縮された Pピクチャゃ 2枚以上の前後のピクチャとの相関性を用いて圧縮された B ピクチャを用いることで、ビデオストリームを構成してもよい。従ってォーサリング者に よっては、 Pピクチャや Bピクチャを用いてスライドショーを構成しょうとする力もしれな い。
[0043] ところが Pピクチャや Bピクチャは、参照しているピクチヤがないとデコードすることが できない。そのため、ユーザー操作により、スライドショーを構成する任意のピクチャを 再生しょうとすると、間近にある参照ピクチャをデコードして力 でないと、所望のピク チヤをデコードすることが不可能になる。
所望のピクチャを再生する度に、そのピクチヤが参照して 、る全てのピクチャをデコ ードせねばならな 、ので、 Pピクチャや Bピクチヤからスライドショーを構成しょうとする と、操作性が悪い、スライドショーを制作することになりかねない。
[0044] スライドショーは、動画のように、ある決まった順番で、個々のピクチャデータが再生 されるとは限らない。ユーザー操作により、任意のピクチャデータを再生するといぅ処 理が必要になる。そこで、本実施形態では、どこ力もでも再生できることを保証するた めに、スライドショーを構成するビデオストリームは、単独でデコード可能なイントラ符 号ィ匕された IDRピクチャ力も構成している。つまり、 Pピクチャや Bピクチャカもスライド ショーを構成するという考えを排斥し、スライドショーを構成する全てのピクチャを、 ID Rピクチャにエンコードしている。
[0045] これに伴い、スライドショーにおいては、全てのピクチャのエントリー位置及びェント リー時刻を EP_mapに指し示しておく。こうすることにより、ユーザがどのピクチャデータ をデコードしょうとしても、そのピクチャデータをデコーダに供給するだけで、任意の 静止画を再生に供することができる。
ビデオストリームがスライドショーに用いられるものであるか否かは、 Clipjnfoにおけ る applicationj pe〖こ示されているので、この application_typeカ 'スライドショーを示し て!、る力否力 'は、 "ビデオストリームを構成する各ピクチャデータの位置及び再生開 始時刻が、 EPjnapにより示されているか否力 'という副次的な意味をもつことになる。
[0046] Clipjnfoの application_typeがかかる意味をもつので、再生装置はこれから再生しよ うとする AVClipの Clipjnfoを参照することにより、ビデオストリームを構成する各ピクチ ャが IDRピクチャであり他のどのピクチャも参照していないこと、そして、何れのピクチ ャも、 EPjnap力も指示されて 、ることを再生装置は知得することができる。
故に再生装置は、スライドショーを再生するにあたって、この application_typeを参照 することにより、前後のピクチャをデコードせずとも、所望のピクチャをデコードすること ができる。
[0047] 以上が、 application_type及び EP_mapの技術的意義である。
以下、具体例を通じて、映画と、スライドショーとの EP_map設定の違いについて説明 する。図 13は、映画のビデオストリーム (application_type=lor4)に対する EP_map設定 を示す図である。第 1段目は、表示順序に配置された複数のピクチャを示し、第 2段目 は、そのピクチヤにおける時間軸を示す。第 4段目は、 BD-ROM上の TSパケット列を 示し、第 3段目は、 EP_mapの設定を示す。
[0048] 第 2段目の時間軸にお!、て、時点 tl〜t7に、 Access Unit(Non- IDR Iピクチャ、 IDRピ クチャ)が存在するものとする。そしてこれらの tl〜t7のうち、 tl〜t3の時間間隔、 t3〜t 5の時間間隔、 t5〜t7の時間間隔が、 1秒程度であるとすると、映画に用いられるビデ ォストリームにおける EP_mapは、 tl〜t7のうち、 tl,t3,t5をエントリー時刻 (PTS_EP_start )として設定し、これに対応づけて記録位置 (SPN_EP_start)を示すよう、設定される。ま た、 Entry Point#l〜Entry Point#4のうち、 Entry Point#l、 Entry Point#3は、 IDRピク チヤに対応しているので、 is_angle_change_pointは "Γに設定される。それ以外の Entr y Point#2、 Entry Point#4における is_angle_change_pointは、 "0，，に設定される。
[0049] 図 14は、図 13における Entry Point#l〜Entry Point#5の PTS_EP_start、 SPN_EP_sta rtを、 EP丄 ow、 EP_Highの組みで表現したものである。本図の左側に EP丄 owを示し、 右側に EP_Highを示す。
図 14左側の EP丄 ow(0)〜(Nf- 1)のうち、 EP丄 ow(i)〜(i+l)の PTS_EP丄 owは、 tl,t3,t5, t7の下位ビットを示す。 EP丄 ow(0)〜(Nf-l)のうち、 EP丄 ow(i)〜G+l)の SPN_EP_Highは 、 nl,n3,n5,n7の下位ビットを示す。
[0050] 図 14右側は、 EP_mapにおける EP_High(0)〜(Nc-l)を示す。ここで tl,t3,t5,t7は共通 の上位ビットをもっており、また nl,n3,n5,n7も共通の上位ビットをもっているとすると、 この共通の上位ビットが、 PTS_EP_High,SPN_EP_Highに記述される。そして EP_Highに 対応する reむ o_EP丄 OWjdは、 tl,t3,t5,t7、 nl,n3,n5,n7にあたる EP丄 owのうち、先頭 のもの (EP丄 ow(0)を示すように設定しておく。こうすることにより、 PTS_EP_start、 SPN_E P_startの共通の上位ビットは、 EP_Highにより表現されることになる。
[0051] そして EP丄 ow(i)〜(i+3)における is_angle_change_point(i)〜(i+3)のうち、（i),(i+2)は、対 応する Access Unitが IDRピクチャであるので、 is_angle_change_pointは" Γに設定され ている。（i+l),(i+3)は、対応する Access Unit力 on- IDR Iピクチャであるので、 is_angle_ change_pointは" 0"に設定されて 、る。
映画のような動画アプリケーションの場合は一度再生を開始すれば、以降のピクチ ャを連続的にデコードするため、 EPjnapは、すべての Access Unitを指定しておく必 要はなぐ最低限再生開始したい点にのみ EPjnapのエントリーが設定されていれば よい。このように映画に用いられるビデオストリームにあたっては、隣り合う PTS_EP_sta rtの値力 1秒未満になるように設定されればよいから、 t2,t4,t6に存在するピクチャの ように、隣りの Access Unitとの時間間隔力 秒程度になる Access Unitについては、 その再生時点が PTS_EP_startにて指示されないものも現れる。図 15は、図 13のビデ ォストリームに対するランダムアクセスがどのようになされるかを示す図である。
[0052] ここで図中の In_time(=t6)から、ランダムアクセスを実行する場合を考える。図 15で は、 t6そのものは、 PTS_EP_startにより指示されてはおらず、 t5が、 PTS_EP_startに指 示されて 、る。そしてこの t5に対応する Entry_Pointは、 is_angle_change_point=lに設定 され、 IDRピクチャであることを示しているので、この t5の再生時点に位置する IDRピク チヤの経由が必要になる。何故なら、 IDRピクチャからランダムアクセスのアクセス先ま でのピクチャを BD- ROMから読み出せば、ランダムアクセスのアクセス先のデコードに 必要な全ての参照ピクチャをデコーダ内に準備することができるからである。
[0053] 図中第 4段目の kelは、この t5への経由を象徴的に示している。し力し、ランダムァク セスのアクセスをダイレクトにアクセスできないので、この経由が、ランダムアクセスの オーバーヘッドになる。
続 、て、 application_typeがスライドショー (application_type=2or3)である場合の、 EP_ map設定について説明する。時間軸上の複数の時点 (tl〜t7)において、再生がなさ れるよう、 PTSが設定された IDRピクチャ力 スライドショー内に存在するものとする。こ の場合、このスライドショーに対する EP_map設定は、図 16のようになる。図 16は、スラ イドショーに対し、設定された EP_mapの内部構成を示す図である。
[0054] スライドショーでは、全てのピクチャを指示するよう EP_mapを設定するので、 EP_map における個々の Entry_Point#l〜#7は、スライドショーにおける個々の IDRピクチャの 再生時点 tl,t2,t3,t4,t5,t6,t7を、エントリー時刻 (PTS_EP_start)として特定し、エントリ 一位置 (SPN_EP_start)と対応づけていることがわ力る。
こうして、各 IDRピクチャの再生時点力 エントリー時刻として、 EP_mapにより指定さ れるので、 tl〜t7のうち、どれかをランダムアクセスのアクセス先に選ぶ場合でも、先 行する IDRピクチャを経由するという迂回のオーバーヘッドが発生することはない。図 17は、時間軸上の一時点へのランダムアクセスを、図 16と同様の表記で、示した図 である。本図における第 1段目〜第 4段目は、図 16と同様である。第 2段目における時 点 t2,t4,t6のうち、 t6をアクセス先にしてランダムアクセスを実行しょうとすると、時点 t6 そのものが、 PTS_EP_startに指示されているので、先の IDRピクチャを経由することな く、時点 t6にあたる、記録位置 (SPN=N6)をアクセスすることができる。
[0055] オーバーヘッドの発生がないように、全てのピクチャが IDRピクチャにエンコードされ 、どのピクチヤの再生時点も、 PTS_EP_startにより指示されているので、スライドショー における、時間情報を用いたランダムアクセスを高速に実行することができる。
上述したような EP_map設定に伴!、、 CLIP.INFOにおける Application_Typeを 2又は 3 に示しておけば、スライドショーを構成するすべてのピクチヤに対して EP_map上にェ ントリーが存在することが識別できるので、 EPjnapのエントリーを参照することにより、 読み出すデータの範囲が判明し、前後のストリームを余分に解析する必要がなくなる
[0056] 以上が、本実施形態に力かる Clip情報についての説明である。尚、拡張子" mpls" が付与されたファイルについては、本実施形態での説明を省略し、第 2実施形態で 説明するものとする。
以上で本発明に係る記録媒体にっ ヽての説明を終わる。続ヽて本発明に係る再生 装置について説明する。
[0057] <再生装置の内部構成 >
図 18は、本発明に係る再生装置の内部構成を示す図である。本発明に係る再生 装置は、本図に示す内部構成に基づき、工業的に生産される。本発明に係る再生装 置は、主としてシステム LSIと、ドライブ装置という 2つのパーツからなり、これらのパー ッを装置のキャビネット及び基板に実装することで工業的に生産することができる。シ ステム LSIは、再生装置の機能を果たす様々な処理部を集積した集積回路である。こ うして生産される再生装置は、 BDドライブ 1、 Arrival
time CIOC し ounter2、 Source de— packetetizer 5、 PID Filter4、 Transport Buffer5、 M ultiplexed Buffer 6, Coded Picture Buffer 7,ビデオデコーダ 8、 Decoded Picture Buff erlO、ビデオプレーン 11、 Transport Buffer 12, Coded Data Buffer 13, Stream Grap hies Processorl4、 Object Bufferl5、 Composition Bufferl6、 Composition Controller 17、 Presentation Graphicsプレーン 18、 CLUT部 19、 Transport Buffer 20, Coded D ata Buffer21、 Stream Graphics Processor22、 Ooject Buffer23、 Composition Buffer 24、 Composition Controller25、 Intaractive Graphicsプレーン 26、 CLUT部 27、合成 部 28、合成部 29、スィッチ 30、 Network Device31、 Local Storage32、 Arrival Time Clock Counter33、 Source De- Packetizer34、 PIDフィルタ 35、スィッチ 36、 Transpor t Buffer37、 Elementary Buffer38、オーディオデコーダ 39、 Transport Buffer40、バッ ファ 41、テキスト字幕デコーダ 42、シナリオメモリ 43、制御部 44、 PSRセット 46から構 成される。本図における内部構成は、 MPEGの T-STDモデルをベースとしたデコーダ モデルであり、ダウンコンバートを想定した含めたデコーダモデルになっている。本図 において一点鎖線で囲んだ部位は、システム LSIとして、ワンチップィ匕されている部位 を示す。
[0058] BD— ROMドライブ 1は、 BD— ROMのローデイング/イジェクトを行い、 BD— ROMに対 するアクセスを実行して、 32個のセクタ力もなる Aligned Unitを BD-ROMから読み出す Arrival time Clock Counter2は、 27MHzの水晶発振器 (27MHz X- tal)に基づき、 Ar rival Time Clockを生成する。 Arrival Time Clockとは、 TSパケットに付与された ATS の基準となる時間軸を規定するクロック信号である。
[0059] Source de- packetetizer3は、 BD- ROMから 32個のセクタからなる Aligned Unitが読 み出されれば、 Aligned Unitを構成するそれぞれの TSパケットから、 TP_extra_header を取り外して、 TSパケットのみを PIDフィルタ 4に出力する。 Source
De- Packetizer3による PIDフィルタ 4への出力は、 Arrival time Clock Counter2が経 時して 、る時刻が、 TP_extra_headerに示される ATSになったタイミングになされる。 PI Dフィルタ 4への出力は、 ATSに従いなされるので、たとえ BD- ROMからの読み出しに 1倍速、 2倍速といった速度差があっても、 PIDフィルタ 4への TSパケット出力は、 Arriv al Time Clockが経時する現在時間に従いなされることになる。
[0060] PID Filter4は、 TSパケットに付カ卩されている PIDを参照することにより、 TSパケットが 、ビデオストリーム、 PGストリーム、 IGストリームの何れに帰属するのかを判定して、 Tra nsport Buffer5、 Transport Bufferl2、 Transport Buffer20、 Transport Bufferd7のと れかに出力する。
Transport Buffer(TB)5は、ビデオストリームに帰属する TSパケットが PIDフィルタ 4か ら出力された際、一旦蓄積されるノ ッファである。
[0061] Multiplexed Buffer(MB)6は、 Transport Buffer5から Elementary Buffer7にビデオスト リームを出力するにあたって、ー且 PESパケットを蓄積しておくためのバッファである。
Coded Picture Buffer(CPB)7は、符号化状態にあるピクチャ (Non- IDR Iピクチャ、 ID Rピクチャ、 Bピクチャ、 Pピクチャ)が格納されるバッファである。
[0062] ビデオデコーダ 8は、ビデオエレメンタリストリームの個々のフレーム画像を所定の 復号時刻（DTS)ごとにデコードすることにより複数フレーム画像を得て、 Decoded Pict ure BufferlOに書き込む。
Decoded Picture BufferlOは、復号されたピクチャが書き込まれるバッファである。 ビデオプレーン 11は、非圧縮形式のピクチャを格納しておくためのプレーンである 。プレーンとは、再生装置において一画面分の画素データを格納しておくためのメモ リ領域である。ビデオプレーン 11における解像度は 1920 X 1080であり、このビデオプ レーン 11に格納されたピクチャデータは、 16ビットの YUV値で表現された画素データ により構成される。
[0063] Transport Buffer(TB)12は、 PGストリームに帰属する TSパケットが PIDフィルタ 4から 出力された際、一旦蓄積されるバッファである。
Coded Data Buffer(CDB)13は、 PGストリームを構成する PESパケットが格納されるバ ッファである。
Stream Graphics Processor(SGP)14は、グラフィクスデータを格納した PESパケット（ ODS)をデコードして、デコードにより得られたインデックスカラー力もなる非圧縮状態
Buffer 15に書き込む。
[0064] Object Bufferl5は、 Stream Graphics Processorl4のデコードにより得られたグラフ イクスオブジェクトが配置される。
Composition Buffer 16は、グラフィクスデータ描画のための制御情報 (PCS)が配置さ れるメモリである。
Graphics Controller 17は、 Composition Bufferl6に配置された PCSを解読して、解 読結果に基づく制御をする。
[0065] Presentation Graphicsプレーン 18は、一画面分の領域をもったメモリであり、一画 面分の非圧縮グラフィクスを格納することができる。本プレーンにおける解像度は 192 0 X 1080であり、 Presentation Graphicsプレーン 18中の非圧縮グラフィクスの各画素 は 8ビットのインデックスカラーで表現される。 CLUT(Color Lookup Table)を用いてか 力るインデックスカラーを変換することにより、 Presentation Graphicsプレーン 18に格 納された非圧縮グラフィクスは、表示に供される。
[0066] CLUT部 19は、 Presentation Graphicsプレーン 18に格納された非圧縮グラフィクス におけるインデックスカラーを、 Y,Cr,Cb値に変換する。
Transport Buffer(TB)20は、 IGストリームに帰属する TSパケットがー且蓄積されるバ ッファである。
Coded Data Buffer(CDB)21は、 IGストリームを構成する PESパケットが格納されるバ ッファである。
[0067] Stream Graphics Processor(SGP)22は、グラフィクスデータを格納した PESパケットを デコードして、デコードにより得られたインデックスカラーからなる非圧縮状態のビット マップをグラフィクスオブジェクトとして ObjectBuffer23に書き込む。
Object Buffer23は、 Stream Graphics Processor22のデコードにより得られたグラフ イクスオブジェクトが配置される。
[0068] Composition Buffer24は、グラフィクスデータ描画のための制御情報が配置されるメ モリである。
Graphics Controller25は、 Composition Buffer24に配置された制御情報を解読し て、解読結果に基づく制御をする。
Interactive (graphicsプレ ~~ン 26【ま、 Stream urapnics Processor(SGP)22によるアコ ードで得られた非圧縮グラフィクスが書き込まれる。本プレーンにおける解像度は 192 0 X 1080であり、 Intaractive Graphicsプレーン 26中の非圧縮グラフィクスの各画素は 8ビットのインデックスカラーで表現される。 CLUT(Color Lookup Table)を用いてかか るインデックスカラーを変換することにより、 Intaractive Graphicsプレーン 26に格納さ れた非圧縮グラフィクスは、表示に供される。
[0069] CLUT部 27は、 Interactive Graphicsプレーン 26に格納された非圧縮グラフィクスに おけるインデックスカラーを、 Y,Cr,Cb値に変換する。
合成部 28はビデオプレーン 11に格納された非圧縮状態のフレーム画像と、 Presen tation Graphicsプレーン 18に格納された非圧縮状態のグラフィクスオブジェクトとを 合成させる。カゝかる合成により、動画像上に、字幕が重ね合わされた合成画像を得る ことができる。
[0070] 合成部 29は、 Interactive Graphicsプレーン 26に格納された非圧縮状態のグラフィ タスオブジェクトと、合成部 28の出力である合成画像 (非圧縮状態のピクチャデータと 、 Presentation Graphicsプレーン 18の非圧縮グラフィクスオブジェクトとを合成したも の)とを合成する。
スィッチ 30は、 BD- ROMから読み出された TSパケット、 Local Storage32から読み出 された TSパケットの何れか一方を、選択的に Transport Buffer20に供給する。 [0071] Network Device31は、再生装置における通信機能を実現するものであり、 URLにあ たる webサイトとの TCPコネクション、 FTPコネクション等を確立する。
Local Storage32は、様々な記録媒体及び通信媒体から供給されたコンテンツを格 納しておくためのハードディスクである。 Network Device31により確立されたコネクシ ヨンを通じて webサイトからダウンロードされたコンテンツ等も、この Local Storage32に 格納される。
[0072] Source de- packetetizer34は、 Local Storage32から読み出された AVClipの TSパケ ット力ら、 TP_extra_headerを取り外して、 TSパケットのみを PIDフィルタ 35に出力する。 Source de— packetizer34による PIDフィルタ 35への出力は、 Arrival Time Clock Coun ter33が経時している時刻力 TP_extra_headerに示される ATSになったタイミングにな される。
[0073] PIDフィルタ 35は、 Local Storage32から読み出された TSパケットを、 IGストリームデ コーダ側、オーディオデコーダ側、テキスト字幕デコーダ側の何れか〖こ切り換える。 スィッチ 36は、 BD- ROMから読み出された TSパケット、 Local Storage32から読み出 された TSパケットのどちらかをオーディオデコーダ 39側に許可要求する。
Transport Buffer(TB)37は、オーディオストリームに帰属する TSパケットを蓄積する
[0074] Elementary Buffer(EB)38は、オーディオストリームを構成する PESパケットが格納さ れるバッファである。
オーディオデコーダ 39は、 Elementary Buffer38から出力された PESパケットを復号 して、非圧縮形式のオーディオデータを出力する。
Transport Buffer(TB)40は、テキスト字幕ストリームに帰属する TSパケットを蓄積す る。
[0075] Elementary Buffer(EB)41は、テキスト字幕ストリームを構成する PESパケットが格納 されるバッファである。
テキスト字幕デコーダ 42は、ノッファ 41に読み出された PESパケットをデコードして 、表示に供する。このデコードは、 Local Storage32から別途読み出されるフォントを 用いて、テキスト字幕ストリーム中のテキスト文字列を、ビットマップに展開することで なされる。デコードにより得られたテキスト字幕は、 Presentation Graphicsプレーン 18 に書き込まれる。
[0076] シナリオメモリ 43は、カレントの Clip情報を格納しておくためのメモリである。カレント Clip情報とは、 BD-ROMに記録されている複数 Clip情報のうち、現在処理対象になつ ているものをいう。
制御部 44は、命令 ROMと、 CPUとからなり、命令 ROMに格納されているソフトウェア を実行して、再生装置全体の制御を実行する。この制御の内容は、ユーザ操作に応 じて発生するユーザイベント、及び、 PSRセット 46における各 PSRの設定値に応じて 動的に変化する。
[0077] PSRセット 46は、再生装置に内蔵される不揮発性のレジスタであり、 64個の Player S tatus Register(PSR(l)〜(64》と、 4096個の General Purpose Register (GPR)とからなる 。 64個の Player Status Register(PSR)は、それぞれ現在の再生時点等、再生装置に おける諸状態を示す。 64個の PSR(PSR(1)〜(64》のうち PSR(8)は、 0〜OxFFFFFFFF の値に設定されることで、 45KHzの時間精度を用いて現在の再生時点 (カレント PTM) を示す。
[0078] 以上が再生装置の内部構成である。
続、て制御部 44の処理手順につ 、て説明する。
制御部 44は、 MPEG4-AVC形式のビデオストリームの再生時にお!、てランダムァク セスを実行するよう、 BDドライブ 1、ビデオデコーダ 8を制御する。
一方ランダムアクセスには、タイムサーチがある。タイムサーチとは、 "何時何分何秒 "に再生せよという時間情報をユーザ力 受け付けて、指示された再生開始時点にあ たる位置から、ビデオストリームを再生する技術である。この際制御部 44は、時間情 報を BD- ROM上の Access Unitアドレス (Iピクチャアドレスともいう）に変換するという変 換処理を行い、 Access Unitのアドレスを求めてから、そのアドレス以降の TSパケット を BD- ROM力も読み出させ、その TSパケットを順次デコーダに投入する。
[0079] これらの制御の根幹にあるのは、時間情報力も Access Unitアドレスを導く処理であ る。図 19は、映画に用いられるビデオストリームにおいて、時間情報を Access Unitァ ドレスに変換する手順を示すフローチャートである。本フローチャートにおいて、ラン ダムアクセスのアクセス先を示す時間情報を In_timeと表記して!/、る。図 19のステップ S1では、 In_timeを PTS_EP_startとし、ステップ S2では、 PTS_EP_startに最も近い、 EP_ High_id、 EP丄 owjdの組みを求める。ここで EP_High_idとは、 In_time以前の時点を示す EP_Highであって、 In_timeに最も近いものを特定する識別子である。一方、 EP丄 owjd とは、 EP_High[EP_High_id]以降、 In_time以前の時点を示す EP丄 owであって、 In_time に最も近 、ものを特定する識別子である。
[0080] EP_High_idを求めるため、制御部 44は、複数 EP_Highの PTS_EP_Highに示される時 間幅を足し合わせてゆく。ここで PTS_EP_Highに示される時間幅とは、 PTS_EP_Highを 上位ビットとする時間の単位である。そして何個目の EP_High_idにおいて、時間幅の 総和∑力 ¾_timeを越えるかを判定する。ここで k個目の EP_High_idにおいて、時間幅 の総和∑が In_timeを越えた場合、この kから 1を減じた数値 (k- 1)を、 EP_High_idとする
[0081] EP丄 owjdを求めるため、制御部 44は、 PTS_EP_High(EP_High_id)までの総和∑に、 複数 EP丄 owの PTS_EP丄 owに示される時間幅を足し合わせてゆく。そして何個目の E P丄 owjdにおいて、時間幅の総和力 ¾_timeを越えるかを判定する。ここで h個目の EP 丄 owjdにお!/、て、時間幅の総和力 ¾_timeを越えた場合、この hから 1を減じた数値 (h- 1)を、 EP丄 owjdとする。
[0082] このようにして求められた EP_High_id及び EP丄 owjdの組みにより、 In_timeに最も近 い Entry Pointが特定されることになる。
こうして EP丄 owjdを求めれば、ステップ S3〜ステップ S5からなるループ処理に移 行する。 EP丄 owjdを変数 jに代入した上で (ステップ S3)、ステップ S4〜ステップ S5か らなるループ処理を実行するというものである。このループ処理は、ステップ S5が Yes と判定されるまで、変数 jのデクリメント (ステップ S4)を繰り返すものである。このステツ プ S5は、変数 jにて特定される Entry Pointの is_angle_change_point(PTS_EP丄 ow[j].is_a ngle_change_point)力 iであるか否かを判定するものであり、変数 jにて特定される Entry Pointの is_angle_change_pointが連続して" 0"を示して 、る限り、このループ処理は繰 り返し実行される。
[0083] 変数 jにて特定される Entry Pointの is_angle_change_pointが "1 "になれば、このルー プ処理は終了することになる。ステップ S5が Yesになれば、変数 jを EP丄 owjdに代入 し (ステップ S6)、この EP丄 owjdに最も近い reむ o_EP丄 ow_id[i]を有する EP_High[i]を求 める (ステップ S7)。こうして EP丄 owjdと、 iとが求められれば、 SPN_EP丄 ow[EP丄 owjd] と、 SPN_EP_High[i]とから SPN_EP_Startを求めて (ステップ S8)、この SPN_EP_Startを、 A ccess Unitアドレスに変換する (ステップ S 9)。
[0084] ここで SPNは、 TSパケットのシリアル番号であるので、この SPNに基づき TSパケットを 読み出すには、 SPNを相対セクタ数に変換する必要がある。ここで図 4に示したように 、 TSパケットは 32個毎に 1つの Aligned Unitに変換され、 3つのセクタに記録されるの で、 SPNを 32で割ることにより商を得て、その商を、 Access Unitが存在する Aligned Un itの番号として解釈する。こうして得られた Aligned Unit番号に 3を乗ずることにより、 SP Nに最も近い Aligned Unitのセクタアドレスを求めることができる。こうして得られたセク タアドレスは、 1つの AVClipファイルの先頭からの相対セクタ数なので、この相対セク タ数をファイルポインタに設定して、 AVClipを読み出すことにより、 Access Unitをビデ ォデコーダ 8に読み出すことができる。
[0085] 図 20は、スライドショーに用いられるビデオストリームにおいて、時間情報を Access Unitアドレスに変換する手順を示すフローチャートである。
スライドショーでは、ビデオストリームにおける全てのピクチャが IDRピクチャであり、 その再生時点が PTS_EP_startにて指定されているので、図 19のステップ S3〜ステツ プ S7の処理を行うことなく、 In_timeを IDRピクチャのアドレスに変換することができる。 具体的にいうなら、 S1では、 In_timeを PTS_EP_startとし、ステップ S2では、 PTS_EP_sta rtに最も近い、 EP_High_id、 EP丄 owjdの組みを求めて、 SPN_EP丄 ow[EP丄 owjd]と、 S PN_EP_High[EP_High_id]とから SPN_EP_Startを求めることにより (ステップ S8)、 Access Unitアドレスを得ればよい (ステップ S 9)。つまり、 Access Unitアドレスを得るための変 換手順が大幅に簡略化されることになる。
[0086] ここで、スライドショー再生の場合であっても、図 19におけるステップ S1の手順を実 行する。つまり EP_High_idを求めるため、制御部 44は、複数 EP_Highの PTS_EP_High に示される時間幅を足し合わせてゆく。そして何個目の EP_High_idにおいて、時間幅 の総和∑が In_timeを越えるかを判定する。ここで k個目の EP_Highjdにおいて、時間 幅の総和∑が In_timeを越えた場合、この kから 1を減じた数値 (k- 1)を、 EP_High_idとす る。
[0087] また EP丄 owjdを求めるため、制御部 44は、 PTS_EP_High(EP_Highjd)までの総和∑ に、複数 EP丄 owの PTS_EP丄 owに示される時間幅を足し合わせてゆく。そして何個目 の EP丄 owjdにおいて、時間幅の総和が In_timeを越えるかを判定する。ここで h個目 の EP丄 owjdにおいて、時間幅の総和力ln_timeを越えた場合、この hから 1を減じた数 値 (h-1)を、 EP丄 owjdとする。
[0088] このようにして求められた EP_High_id及び EP丄 owjdの組みにより、 In_timeに合致す る Entry Point又は最も近い Entry Pointが特定されることになる。
以上の手順により、 In_timeに合致する PTS_EP_startが存在する場合、 EPjnapにお ける PTS_EP_startのうち、 In_timeに合致するものに対応する SPN_EP_startからのピクチ ャデータの読み出しと、再生を実行することができる。
[0089] EPjnapにおける PTS_EP_startのうち、当該時点に合致するものが存在しない場合、 I n_timeに最も近!、PTS_EP_startに対応する、 SPN_EP_startからのピクチャデータの読 み出しと、再生とを実行することになる。
以上のように本実施形態によれば、ユーザの操作により前後の映像を表示せず、ス キップ操作などにより順序に関係なく静止画を表示する必要があるスライドショーに おいて、すべての静止画を IDRピクチャで構成して、 EPjnapで指定しておき、ストリー ム解析が必要になるようにしている。
[0090] また、各 Access Unit(Non- IDR Iピクチャ、 IDRピクチャ)を EPjnapにおける Entry_Poin tで指定しており、必要な Access Unitのデータのみを直接アクセスしてデータを読み 込み、デコーダに流すことができるため、アクセス効率がよぐ表示までの時間も短く てすむ。
なお、前記ビデオストリームを構成する全てのピクチャデータのエントリーアドレスが EPjnapに含まれて!/、ることを保証するフラグを、 EPjnapある!/、は関連するナビゲーシ ヨン情報内の一箇所に記録して 、てもよ 、。
[0091] (第 2実施形態）
第 2実施形態は、スライドショーにおける時間軸上に、チャプターを設定する改良に 関する。以降、チャプター定義のための情報について説明する。
このチャプター定義のための情報は、 PlayList情報であり、拡張子" mpls"が付与さ れたファイル内に存在する。以降、 PlayList情報について説明する。
[0092] < PlayList情報 >
拡張子" mpls"が付与されたファイル (00001.mpls,00002.mpls,00003.mpls )は、
PlayList情報を格納したファイルである。 PlayList情報は、 AVClipを参照して PlayList と呼ばれる再生経路を定義する情報である。図 21は、 PlayList情報の構成を示す図 であり、本図の左側に示すように、 PlayList情報は、複数の Playltem情報力もなる。 Pla yltemとは、 1つ以上の AVClip時間軸上において、 In_Time,Out_Timeを指定すること で定義される再生区間である。 Playltem情報を複数配置させることで、複数再生区間 力もなる PlayList(PL)が定義される。図中の破線 hslは、 Playltem情報の内部構成をク ローズアップしている。本図に示すように Playltem情報は、対応する Clip情報を示す『 Clip_information_file_name』と、対応する AVClipの符号化方式を示す『Clip_codecjnde ntifier』と、 AVClipの再生を開始すべき時刻を示す『In_time』と、 AVClipの再生を終了 すべき時刻を示す『Out_time』と、『Still_mode』と、『Still_time』とからなる。図 22は、 AV Clipと、 PlayList情報との関係を示す図である。第 1段目は AVClip力もつ時間軸を示 し、第 2段目は、 PlayList力もつ時間軸 (PL時間軸という)を示す。 PlayList情報は、 Play Item#l,#2,#3という 3つの Playltem情報を含んでおり、これら Playltem#l,#2,#3の In_tim e,Out_timeにより、 3つの再生区間が定義されることになる。これらの再生区間を配列 させると、 AVClip時間軸とは異なる時間軸が定義されることになる。これが第 2段目に 示す PL時間軸である。このように、 Playltem情報の定義により、 AVClipとは異なる時 間軸の定義が可能になる。
[0093] この PlayList情報を構成する情報要素にぉ 、て特徴的であるのは、 StilLmode及び S till—timeである。
『Still_mode』は、 In_timeから Out_timeまでのピクチャを再生するにあたって、最後の ピクチャデータを静止表示するか否かを示す。 "00"に設定された場合、 StilLmodeは 、静止表示を継続しない旨を表し、 "01"に設定された場合、 StilLmodeは、静止表示 を有限時間継続する旨を示す。 "01"に設定された場合の、静止表示の時間長は、 St ilLtimeに設定される。 "02"に設定された場合、 StilLmodeは、静止表示を無限時間継 続する旨を示す。静止表示を無限時間継続する場合の表示解除は、ユーザからの 明示の操作による。
[0094] 『Still_time』は、 StilLmodeが 01に設定された場合、静止表示を継続させる時間長を 秒単位で表す。
以上が、本実施形態に係る Playltem情報についての説明である。続いて PLMark情 報についてである。
図 23は、第 2実施形態に係る PlayList情報の、複数の PLMark情報の内部構成を示 す図である。図 23における PLmark情報 (PLmarkO)は、 PL時間軸のうち、任意の区間 を、チャプター点として指定する情報である。図 23の引き出し線 pmlに示すように PL mark情報は、『ref_to_PlayItem_Id』と、『mark_time_stamp』とを含む。図 24は、 PLmark 情報によるチャプター定義を示す図である。本図において第 1段目は、 AVClip時間 軸を示し、第 2段目は PL時間軸を示す。図中の矢印 pkl,2は、 PLmark情報における P1 ayltem指定 (ref_to_PlayItem_Id)と、一時点の指定 (mark_time_stamp)とを示す。これらの 指定により PL時間軸には、 3つのチャプター (Chapter#l,#2,#3)が定義されることにな る。以上が PLmarkについての説明である。
[0095] 図 25は、 PlayList情報によるスライドショーの指定を示す図である。本図の第 2段目 は、 Playltem情報を示す。この第 2段目は、 6つの Playltem情報 #1〜#6からなる。図中 の矢印 ytl, 2,3,4,5,6は、 Playltem情報における In_time、 OuUimeによる指定を象徴的 に示し、矢印 stl,2,3,4,5,6は、 StilLTimeによる指定を象徴的に示す。この矢印力らも わ力るように Playltem情報は、ビデオストリームにおける個々のピクチャデータを指定 するよう設定されている。また StilLTimeは、後続するピクチャデータを表示するまでの 間隔を示すよう、設定されている。このようにスライドショーを構成する個々のピクチャ データは、それぞれ 6つの Playltem情報により、再生開始点及び再生終了点として指 定されているのである。
[0096] 図 25の第 1段目は、 PLMark情報を示す。この第 1段目には、 6つの PLMark情報 #1 〜#6が存在する。矢印 ktl, 2,3,4,5,6は、 PLMark情報の ref_to_PlayItem_Idによる指定 を示す。この矢印からもわかるように、 PLMark情報の ref_to_PlayItem_Idは、 Playltem 情報のそれぞれを指定して ヽることがゎカゝる。
続いて Playltem情報による再生について説明する。スライドショーにおける個々のピ クチャデータ力 Playltem情報及び PLMark情報により指定されて 、るので制御部 44 は、 Playltem情報の In_time、 Out_timeを、 EP_mapを用いて、 AVClipにおける SPNに変 換し、そしてその SPNに存在するピクチャデータをデコーダに投入する。こうすること により、 Playltem情報の In_time、 Out_timeにて指定されているピクチャデータが表示さ れること〖こなる。その後、 StilLTimeに示されている期間だけ、表示の静止を継続する 。以上のような処理を、全ての Playltem情報について繰り返すことにより、本実施形態 に係る制御部 44は、スライドショーを再生する。
[0097] スライドショーを構成する個々のピクチャデータは、 Playltem情報及び PLMark情報 を用いて指定されて!ヽるので、チャプタースキップやチャプターサーチと!/ヽうような機 能により、前後のピクチャデータを再生させてゆくことができる。
チャプターサーチ機能とは、 PLMark情報に記述されて!、る reむ o_PlayItem_Idに対 応する Playltem情報を、複数の Playltem情報の中から特定して、特定した Playltem情 報が定義されて 、る AVClipにお!/、て、 PLMark情報に記述された mark_time_stampに 示される位置からのランダムアクセスを行うものであり、この際、制御部 44は、複数の Entry Pointのうち、 PLMark情報に記述された mark_time_stampに最も近 、PTS_EP_sta rtをもつ Entry Pointを特定して、特定した Entry Pointの SPN_EP_startに対応する Acce ss Unitアドレスからの再生を行わせる。
[0098] チャプタースキップは、現在の再生位置にあたるチャプターの直前又は直後のチヤ プターを規定する PLMark情報を特定して、その PLMark情報に対するチャプターサ ーチを実行するものである。上述のように、 PLMark情報の mark_time_stampにて指定 されるピクチャは、 IDRピクチャにエンコードされており、 is_angle_change_point"=l"に 設定された Entry Pointの PTS_EP_startは、この IDRピクチャの再生時刻を示している ので、 Entry Pointの SPN_EP_startに示される位置以降のピクチャを読み出すことによ り、 IDRピクチャをビデオデコーダ 8に供給することができる。
[0099] 以降、フローチャートを参照しながら、チャプターサーチ及びチャプタースキップの 処理手順について説明する。図 26は、チャプターサーチの処理手順を示すフローチ ヤートである。
本フローチャートにおいて先ずチャプターメニューにおけるチャプター選択を待ち（ ステップ S 124)、チャプター選択がなされれば、選択されたチャプターにあたる PLMa rk情報をカレント PlayListMarkとする (ステップ SI 25)。ステップ SI 26では、カレント P1 ayListMarkの reむ o_PlayItem_Idに記述されて 、る PIを、 Playltemfeに設定し、ステップ S 127では、 Playltemfeの Clip jnformation_file_nameで指定される Clip情報を読み込 む。ステップ S128では、カレント Clip情報の EP_mapを用いて、カレント PlayListMark の mark_time_stampを、 Access Unitアドレス uに変換する。ここで PLMark情報の mark_t ime_stampで指示されて ヽるピクチャは、 is_angle_change_point"=l"に設定された Entr y Pointにより指示されている。そのため、 Access Unitアドレス uは、 IDRピクチャのアド レスを指示することになる。
[0100] 一方ステップ S 129では、 Playltemfeの OuUimeを,カレント Clip情報の EP_mapを用 いて, Access Unitアドレス Vに変換する。ステップ S 130は、カレント PlayListMarkの mar k_time_stampから Playltemfeの OuUimeまでの出力をデコーダに命じる。以上がチヤ プターサーチの処理手順である。続、てチャプタースキップの処理手順にっ 、て説 明する。図 27は、チャプタースキップの処理手順を示すフローチャートである。
[0101] ステップ S131はリモコンに対する SkipNextキー、 SkipBackキーに対する操作待ちを 行う。もし操作がなされれば、ステップ S 132を実行する。ステップ S 132は、押下され たのが SkipNextキーである力、 SkipBackキーであるかの判定であり、 SkipBackキーで あるならステップ S133において方向フラグを- 1に設定し、 SkipNextキーであるならス テツプ S134において方向フラグを +1に設定する。
[0102] ステップ S135は、カレント PI及びカレント PTMを変換して、カレント PLMarkを特定す るステップであり、ステップ S136は、カレント PLMarkの番号に方向フラグの値を足し た番号を、カレント PlayListMarkの番号として設定する。ここで SkipNextキーであるな ら方向フラグは +1に設定されて 、るのでカレント PlayListMarkはインクリメントされるこ とになる。 SkipBackキーであるなら方向フラグは- 1に設定されているので、カレント Pla yListMarkはデクリメントされることになる。このようにして PLMark情報を設定すれば、 図 25同様、ステップ S 126〜ステップ S 130の処理手順を実行することにより、 TSパケ ット読み出しを行う。
[0103] 以上が PLMark情報に基づぐ再生を行う際の再生装置の処理手順である。
ここで図 25に示したビデオストリームに対し、 PLMarkを設定する場合の設定例につ いて説明する。スライドショーにおいて再生されうる各静止画力 第 1段目における 6 つの PLMark#l〜#6にて指定されているので、本図の時点 tl,t2,t3,t4,t5,t6の静止画 が、チャプターサーチ及びチャプタースキップの対象になりうる。
[0104] また、第 4段目の時間軸における、それぞれの時点 tl,t2,t3,t4,t5,t6は、何れも、第
5段目の EP_map〖こおいて、 PTS_EP_startとして指定されるので、チャプターサーチ及 びチャプタースキップにあたっては、 "先の IDRピクチャを経由する"との迂回を行うこ となぐ所望のチャプターへのランダムアクセスを実行することができる。チャプターサ ーチ及びチャプタースキップを実行するにあたって、先の IDRピクチャの経由を行うこ となぐ所望の静止画を読み出すことができるので、スライドショーであっても、チヤプ ターサーチ及びチャプタースキップを、高効率に実行することができる。
[0105] 以上のように本実施形態によれば、チャプターサーチ及びチャプタースキップを実 行するにあたって、先の IDRピクチャの経由を行うことなぐ所望の静止画を読み出す ことができるので、スライドショーであっても、チャプターサーチ及びチャプタースキッ プを、高効率に実行することができる。
(第 3実施形態）
本実施形態は、第 1実施形態、第 2実施形態の応用であり、対話的な制御をスライ ドショーに導入するものである。力かる対話制御を導入するため、 AVClipは、図 3に 示したビデオストリーム及びオーディオストリームの他に、 IGストリームを多重化した構 成になっている。図 28は、第 3実施形態に係る、 AVClipの構成を示す図であり、本図 に示すように AVClipは (中段)、複数のビデオフレーム (ピクチャ pjl, 2,3)からなるビデオ ストリーム、複数のオーディオフレーム力もなるオーディオストリームを (上 1段目）、 PES パケット列に変換し (上 2段目)、更に TSパケットに変換し (上 3段目)、同じく対話系のィ ンタラタティブグラフィクスストリーム (下 2段目の IGストリーム)を TSパケットに変換して（ 下 3段目）、これらを多重化することで構成されていることがわかる。図 29は、 IGストリ ームの内部構成を示す図である。 [0106] イングフクティブクフスイクスストリ ~~ム【ま、 ICSQnteractive Composition Segment) ^ P DS(Palette Difinition Segment), ODS(Object Definition Segment)ゝ END(END of Disp lay Set Segment)と呼ばれる機能セグメントからなる。
ODS(Object Definition Segment)は、ボタンを描画するにあたっての絵柄のグラフィ タスを定義するグラフィクスデータである。
[0107] PDS(Palette Difinition Segment)は、グラフィクスデータの描画にあたっての、発色を 規定する機能セグメントである。
ICS(Interactive Composition Segment)は、ユーザ操作に応じてボタンの状態を変 ィ匕させるという対話制御を規定する機能セグメントである。
図 29 (b)は、 ICSの内部構成を示す図である。 ICSは、複数のボタン情報力もなる。 ボタン情報は、対話制御画面における個々のボタンに対応するものである。具体的 にいうと、対応するボタンにフォーカスが存在する状態において、移動キーの押下が なされた場合、どのボタンにフォーカス移動を移動させるかを示す『neighbor_info』と、 対応するボタンのノーマル状態、セレクテッド状態といった各状態を、どの ODSで表 現するかを示す『statejnfo』と、対応ボタンの確定時において、再生装置に実行させ るべき『ナビゲーシヨンコマンド』とからなる。
[0108] 以上説明した IGストリームのデータ構造は、以下の公知文献に記載されている内容 を要約したものである。より、詳しい技術内容については、以下の公知文献を参照さ れたい。
国際公開公報 WO 2004/077826号公報
以降、 ICSの具体例について説明する。
[0109] ここで ICSが、 state_info、 neighbor jnfo、ナビゲーシヨンコマンドは、図 30に示すよう に設定されているものとする。図 30は、スライドショーにおける対話制御を規定する IC Sの一例を示す図である。
丄. state— info
Buttonjnfo(O)の statejnfoは、 Buttonjnfo(O)に対応するボタン ("top"ボタン)がノーマ ル状態である場合、 "top"が付された三角図形を描画するよう規定されている。また" t op"ボタンにフォーカスが存在する場合 (セレクテッド状態である場合)、 "top"が付され た三角図形を強調態様で描画するよう規定されている。力かる規定により、 "top"ボタ ンは、先頭の静止画へのスキップを意図する、 "top"ボタンとして扱われることになる。
[0110] Buttonjnfo(l)の statejnfoは、 Buttonjnfo(l)に対応するボタン ("+Γボタン)がノーマ ル状態である場合、 "+Γが付された三角図形を描画するよう規定されている。また" + 1 "ボタンがセレクテッド状態である場合、 "+Γが付された三角図形を強調態様で描 画するよう規定されている。力かる規定により、 "+Γボタンは、 1つ後の静止画へのス キップを意図する、 "+Γボタンとして扱われることになる。
[0111] Button_info(2)の statejnfoは、 Button_info(2)に対応するボタン ("- 1，，ボタン)がノーマ ル状態である場合、 "-1 "が付された三角図形を描画するよう規定されている。また" - 1 "ボタンがセレクテッド状態である場合、 "-1 "が付された三角図形を強調態様で描 画するよう規定されている。力かる規定により、 "-1 "ボタンは、 1つ前の静止画へのス キップを意図する、 "-1 "ボタンとして扱われることになる。
[0112] Button_info(3)の statejnfoは、 Button_info(3)に対応するボタン ("+10"ボタン)がノー マル状態である場合、 "+10"が付された三角形を描画するよう規定されている。また" +10"ボタンがセレクテッド状態である場合、 "+10"を強調態様で描画するよう規定され ている。力かる規定により、 "+10"ボタンは、 10枚後の静止画へのスキップを意図する 、 "+10"ボタンとして扱われることになる。
[0113] Button_info(4)の statejnfoは、 Button_info(4)に対応するボタン ("-10"ボタン)がノー マル状態である場合、 "-10"が付された三角形を描画するよう規定されている。また" -10"ボタンがセレクテッド状態である場合、 "-10"を強調態様で描画するよう規定され ている。力かる規定により、 "-10"ボタンは、 10枚前の静止画へのスキップを意図する 、 "-10"ボタンとして扱われることになる。
[0114] ここで、図 31 (a)に示すように、 "top"ボタン〜" -10"ボタンの statejnfoにより指定さ れるグラフィクスは、 IGストリームにおいて ODS内に存在するものとする。 statejnfoがこ のような内容に設定されており、そして ICSにおける PTSが、図 31 (b)に示すように、 時間軸において、 X枚目のピクチャが表示される時点 txを指し示しているものとする。 そうすると、ビデオストリームの再生時点力 時点 tx到達すると、図 31 (c)のようなメ- ユーが、 X枚目の静止画と合成されて表示されることになる。 [0115]
2. ICSにおける neighbor— info
図 30にお!/、て、各オブジェクト Bの neighborjnfoを参照すると
Buttonjnfo(O)の neighborjnfoは、左キー押下時に" 2"の番号を有する 'し1 "ボタンに フォーカスを移動し、右キー押下時に "Γの番号を有する" +Γボタンにフォーカスを 移動するよう規定され、
Buttonjnfo(l)の neighborjnfoは、上キー押下時に" 0"の番号を有する" top"ボタン にフォーカスを移動するよう規定され、左キー押下時に" 2"の番号を有する "-1 "ボタ ンにフォーカスを移動し、右キー押下時に 3の番号を有する" +10"ボタンにフォーカス を移動するよう規定されて ヽる。
[0116] Button_info(2)の neighborjnfoは、左キー押下時に 4の番号を有する" -10"ボタンに フォーカスを移動し、右キー押下時に "Γの番号を有する" +Γボタンにフォーカスを 移動するよう、上キー押下時に" 0"の番号を有する" top"ボタンにフォーカスを移動す るよう規定され、
Button_info(3)の neighborjnfoは、左キー押下時に "1 "の番号を有する" +Γボタンに フォーカスを移動するよう規定されて 、る。
[0117] Button_info(4)の neighborjnfoは、右キー押下時に" 2"の番号を有する "-1 "ボタンに フォーカスを移動するよう規定されて 、る。
以上の neighborjnfoの規定により、図 32に示すような状態遷移を実現することがで きる。図 32は、スライドショーで表示されるメニューにおける状態遷移を示す図である
[0118] つまり、 "+Γボタンにフォーカス移動が存在する状態において、左キーが押下され た場合、 "-1 "ボタンにフォーカス移動を移動させることができる (hhl)。
"+Γボタンにフォーカス移動が存在する状態において、右キーが押下された場合、 "+10"ボタンにフォーカス移動を移動させることができる (hh2)。更に、 "+10"ボタンにフ オーカス移動が存在する場合において、左キーが押下された場合、 "+Γボタンにフ オーカス移動を戻すことができる (hh4)。 "+Γボタンにフォーカス移動が存在する状態 において、上キーが押下された場合、 "top"ボタンにフォーカス移動を移動させること 力 Sできる (hh3)。
上述したように、 "top"ボタン、 "+Γボタン、 "-1 "ボタン、 "+10"ボタン、 "-10"ボタン は、先頭、 1枚後、 1枚前、 10枚後、 10枚前へのスキップを意図するものである。またこ れらのボタンの表示時において、ユーザによる上下左右キーの押下に従い、ボタン 上のフォーカス移動を移動するので、 "+Γボタン〜" -10"ボタンのうち任意のものを、 ユーザは選択対象にすることができる。
3.ICSにおけるナビゲーシヨンコマンド
Buttonjnfo(O)のナビゲーシヨンコマンドは、 "top"ボタンに対し確定操作がなされた 場合、 Jmp PLMark(l)を実行するよう規定されている。
[0119] Buttonjnfo(l)のナビゲーシヨンコマンドは、 "+Γボタンに対し確定操作がなされた 場合、 Jmp PLMark(X+l)を実行するよう規定されている。
Button_info(2)のナビゲーシヨンコマンドは、 "-1 "ボタンに対し確定操作がなされた 場合、 Jmp PLMark(x- 1)を実行するよう規定されている。
Button_info(3)のナビゲーシヨンコマンドは、 "+10"ボタンに対し確定操作がなされた 場合、 Jmp PLMark(X+10)を実行するよう規定されている。
[0120] これらのナビゲーシヨンコマンドは、 PLMarkを分岐先に指定するものである。 PLMar kについての括弧内の数値は、分岐先となるピクチャを特定する。つまり PLMark(l)は 、 1枚目のピクチャを指し示す PLMarkであり、 PLMark(x+l)は、 x+1枚目のピクチャを 指し示す PLMarkである。 PLMark(x-l)は、 x-1枚目のピクチャを指し示す PLMarkであ る。 PLMark(x+10)は、 x+10枚目のピクチャを指し示す PLMarkである。 PLMark(x- 10) は、 x-10枚目のピクチャを指し示す PLMarkである。
[0121] 各ボタン情報におけるナビゲーシヨンコマンドは、これらの PLMark(l),(x+l),(x- l),(x +10),(x-10)を分岐先に指定するものであるから、各ボタンの確定時において、 X枚目 の静止画から、 1枚目の静止画 ,χ+1枚目の静止画, x-1枚目の静止画, x+10枚目の静 止画, x-10枚目の静止画へのランダムアクセスがなされることになる。
図 30のようなフォーカス移動により、ユーザは任意のボタンにフォーカス移動を移 動させることができるので、どれかのボタンにフォーカス移動がある状態で、ユーザが 確定操作を行った場合、その確定操作がなされたボタンに対応するナビゲーシヨンコ マンドを、再生装置に実行させて、図 32に示すような分岐を実行させることができる。 図 33は、スライドショーのナビゲーシヨンコマンドによる分岐を示す図である本図の第 1段目は、スライドショーを構成する複数のピクチャと、これらピクチャへの分岐を示す 。第 2段目は、スライドショーの時間軸であり、第 3段目は、第 2段目のピクチャ列に対 し、設定されたエントリーマップを、第 4段目は、 BD- ROM上の TSパケット列を示す。
[0122] 本図の第 1段目の矢印は、図 30に示した各ナビゲーシヨンコマンド OmpPLMark(l),J mpPLMark(x+l),JmpPLMark(x— l),JmpPLMark(x+10),JmpPLMark(x— 10》による分岐を 象徴的に示す。この分岐により、先頭の静止画、 1枚後の静止画、 1枚前の静止画、 1 0枚後の静止画、 10枚前の静止画が再生されることになる。これらの分岐は、図 30に 示したナビゲーシヨンコマンドに基づものなので、かかる分岐により、ユーザは自身の 操作により、任意の静止画を再生させることができる。
[0123] ここで、先頭の静止画、 1枚後の静止画、 1枚前の静止画、 10枚後の静止画、 10枚 前の静止画のそれぞれの再生時点力 EP_mapにおいて、 PTS_EP_startとして指定さ れているとすると、ストリームに対する解析を伴うことなぐ所望のアクセス位置へのラ ンダムアクセスを実行することができる。ナビゲーシヨンコマンドによる対話的な再生 にあたって、間近のエントリー位置の経由を行うことなぐ所望の静止画を読み出すこ とができるので、対話的な再生を、高効率に実行することができる。
[0124] (備考）
以上の説明は、本発明の全ての実施行為の形態を示している訳ではない。下記 (A
)(B)(C)(D) の変更を施した実施行為の形態によっても、本発明の実施は可能と なる。本願の請求項に係る各発明は、以上に記載した複数の実施形態及びそれらの 変形形態を拡張した記載、ないし、一般ィ匕した記載としている。拡張ないし一般化の 程度は、本発明の技術分野の、出願当時の技術水準の特性に基づく。
[0125] (A)全ての実施形態では、本発明に係る記録媒体を BD-ROMとして実施した力 本 発明の記録媒体は、記録される EPjnapに特徴があり、この特徴は、 BD-ROMの物理 的性質に依存するものではない。 EPjnapを記録しうる記録媒体なら、どのような記録 媒体であってもよい。例えば、 DVD-ROM,DVD-RAM,DVD-RW,DVD-R,DVD+RW, DVD+R,CD-R,CD-RW等の光ディスク、 PD,MO等の光磁気ディスクであってもよ!/ヽ。 また、コンパクトフラッシュ (登録商標)カード、スマートメディア、メモリスティック、マル チメディアカード、 PCM-CIAカード等の半導体メモリカードであってもよい。フレキシ ブルディスク、 SuperDisk,Zip,Clik!等の磁気記録ディスク (0、 ORB,Jaz,SparQ,SyJet,E ZFley,マイクロドライブ等のリムーバブルハードディスクドライブ (ii)であってもよ 、。更 に、機器内蔵型のハードディスクであってもよい。
[0126] (B)全ての実施形態における再生装置は、 BD-ROMに記録された AVClipをデコー ドした上で TVに出力していた力 再生装置を BD-ROMドライブのみとし、これ以外の 構成要素を TVに具備させてもよい。この場合、再生装置と、 TVとを IEEE1394で接続 されたホームネットワークに組み入れることができる。また、実施形態における再生装 置は、テレビと接続して利用されるタイプであった力 ディスプレイと一体型となった再 生装置であってもよい。更に、各実施形態の再生装置において、処理の本質的部分 をなすシステム LSI (集積回路)のみを、実施としてもょ 、。
[0127] (C)各フローチャートに示したプログラムによる情報処理は、ハードウェア資源を用い て具体的に実現されていることから、上記フローチャートに処理手順を示したプロダラ ムは、単体で発明として成立する。全ての実施形態は、再生装置に組み込まれた態 様で、本発明に係るプログラムの実施行為についての実施形態を示した力 再生装 置力も分離して、各実施形態に示したプログラム単体を実施してもよい。プログラム単 体の実施行為には、これらのプログラムを生産する行為 (1)や、有償 ·無償によりプロ グラムを譲渡する行為 (2)、貸与する行為 (3)、輸入する行為 (4)、双方向の電子通信 回線を介して公衆に提供する行為 (5)、店頭、カタログ勧誘、パンフレット配布により、 プログラムの譲渡や貸渡を、一般ユーザに申し出る行為 (6)がある。
[0128] (D)各実施形態におけるデジタルストリームは、 BD- ROM規格の AVClipであった力 DVD- Video規格、 DVD- Video Recording規格の VOB(VideoObject)であってもよい。 VOBは、ビデオストリーム、オーディオストリームを多重化することにより得られた ISO/I EC13818-1規格準拠のプログラムストリームである。また AVClipにおけるビデオストリ ームは、 MPEG4や WMV方式であってもよい。更にオーディオストリームは、 Linear- P CM方式、 Dolby- AC3方式、 MP3方式、 MPEG- AAC方式、 dts方式であってもよい。
[0129] (E)第 1実施形態におけるスライドショーは、 TS for Timebased SlideShowであることを 前提にして説明を行ったが、 TS for MainPath of the Browsable SlideShowに用いられ る AVClipや、 SubPath of the Browsable SlideShowに用いられる AVClipであってもよい 。つまり TS for MainPath of the Browsable SlideShowに用いられる AVClipに対応する Clip情報にお 、て、各ピクチャの再生時点及び記録位置を示すよう EPjnapを設定し ておいてもよい。
[0130] (F)各実施形態では MPEG4-AVC ^ゃ^丁とも呼ばれる）をもとに説明したが、 MPEG2ビデオストリームであってもよぐまた、その他の形式の画像形式 (VC-1)の場 合でも単独でデコード可能な画像であれば、容易に応用可能である。
産業上の利用可能性
[0131] 本発明に係る記録媒体及び再生装置は、ホームシアターシステムでの利用のよう に、個人的な用途で利用されることがありうる。しかし本発明は、上記実施形態に内 部構成が開示されており、この内部構成に基づき量産することが明らかであるので、 本発明に係る記録媒体及び再生装置は、工業製品の生産分野において生産し、又 は、使用することができる。このことから本発明に係る記録媒体及び再生装置は、産 業上の利用可能性を有する。

Claims

請求の範囲
[1] ビデオストリームと、ストリーム管理情報とが記録された記録媒体であって、
ビデオストリームは、複数のピクチャデータを含み、
ストリーム管理情報は、エントリーマップを含み、
エントリーマップは、ピクチャデータ毎の再生時刻に対応付けて、ビデオストリーム における各ピクチャデータのエントリーアドレスを示しており、
ビデオストリームに含まれる全てのピクチャデータのエントリーアドレスがエントリーマ ップに含まれていることを特徴とする、記録媒体。
[2] ストリーム管理情報は更に、フラグを含み、
前記フラグは、
前記ビデオストリームを構成する全てのピクチャデータのエントリーアドレスがェント リーマップに含まれて 、ることを保証する、請求項 1記載の記録媒体。
[3] 各ピクチャデータは、タイムスタンプと、エンドコードとを含み、
タイムスタンプは、
スライドショーの時間軸におけるピクチャデータの表示タイミングを示す、請求項 1 記載の記録媒体。
[4] ビデオストリームを構成するピクチャデータのそれぞれを、所定の時間軸に沿って再 生することにより、スライドショーの再生を行う再生装置であって、
記録媒体に記録されたビデオストリームを構成するピクチャデータを、記録媒体から 読み出す読出手段と、
読み出されたピクチャデータを再生する再生手段と、
読出手段及び再生手段を制御する制御手段とを備え、
前記記録媒体には、複数のエントリー情報力 なるエントリーマップが記録されてお り、
前記制御手段は、
前記時間軸における任意の時点力 の再生が命じられた場合、エントリーマップに おけるエントリー時刻のうち、当該時点に合致するものに対応するエントリーアドレス 力 のピクチャデータの読み出しを読出手段に行わせ、読み出されたピクチャデータ を再生手段に再生させる、ことを特徴とする再生装置。
[5] エントリーマップにおけるエントリー時刻のうち、当該時点に合致するものが存在しな い場合、前記制御手段は、特定されたエントリー時刻に最も近いものに対応する、ェ ントリーアドレスからのピクチャデータの読み出しを読出手段に行わせる、請求項 4記 載の再生装置。
[6] 各ピクチャデータは、タイムスタンプと、エンドコードとを含み、
前記再生手段は、
前記時間軸における現在の再生時点が、タイムスタンプに示される表示タイミング になった際、ピクチャデータのデコードを行い、デコード後、エンドコードに基づぐデ コーダ動作の凍結を行うものであり、
前記制御手段は、
時間軸における任意の時点力 の再生が命じられた場合、その時点を現在の再生 時点としたデコード動作を、再生手段に行わせる、請求項 4記載の再生装置。
[7] ビデオストリームを構成するピクチャデータのそれぞれを、所定の時間軸に沿って再 生することにより、スライドショーの再生をコンピュータに実行させるプログラムであつ て、
記録媒体に記録されたビデオストリームを構成するピクチャデータを、記録媒体から 読み出す読出ステップと、
読み出されたピクチャデータを再生する再生ステップと、
読出ステップ及び再生ステップを制御する制御ステップとをコンピュータに実行させ 前記記録媒体には、複数のエントリー情報力 なるエントリーマップが記録されてお り、
前記制御ステップは、
前記時間軸における任意の時点力 の再生が命じられた場合、エントリーマップに おけるエントリー時刻のうち、当該時点に合致するものに対応するエントリーアドレス 力 のピクチャデータの読み出しを読出ステップに行わせ、読み出されたピクチャデ ータを再生ステップに再生させる、ことを特徴とするプログラム。
[8] エントリーマップにおけるエントリー時刻のうち、当該時点に合致するものが存在しな い場合、前記制御ステップは、特定されたエントリー時刻に最も近いものに対応する 、エントリーアドレスからのピクチャデータの読み出しを読出手段に行わせる
ことを特徴とする請求項 7記載のプログラム。
[9] ビデオストリームを構成するピクチャデータのそれぞれを、所定の時間軸に沿って再 生することにより、スライドショーの再生を行う再生方法であって、
記録媒体に記録されたビデオストリームを構成するピクチャデータを、記録媒体から 読み出す読出ステップと、
読み出されたピクチャデータを再生する再生ステップと、
読出ステップ及び再生ステップを制御する制御ステップとを有し、
前記記録媒体には、複数のエントリー情報力 なるエントリーマップが記録されてお り、
前記制御ステップは、
前記時間軸における任意の時点力 の再生が命じられた場合、エントリーマップに おけるエントリー時刻のうち、当該時点に合致するものに対応するエントリーアドレス 力 のピクチャデータの読み出しを読出ステップに行わせ、読み出されたピクチャデ ータを再生ステップに再生させる、ことを特徴とする再生方法。
[10] エントリーマップにおけるエントリー時刻のうち、当該時点に合致するものが存在しな い場合、前記制御手段は、特定されたエントリー時刻に最も近いものに対応する、ェ ントリーアドレスからのピクチャデータの読み出しを読出手段に行わせる
ことを特徴とする請求項 9記載の再生方法。
PCT/JP2005/010145 2004-02-06 2005-06-02 記録媒体、再生装置、プログラム、再生方法 WO2005120061A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US11/579,223 US8326116B2 (en) 2004-06-02 2005-06-02 Recording medium, reproduction device program, and reproduction method
JP2006519582A JP4027408B2 (ja) 2004-06-02 2005-06-02 再生装置、プログラム、再生方法
EP05745975A EP1761055A4 (en) 2004-06-02 2005-06-02 RECORDING MEDIUM, PLAYING DEVICE, PROGRAM AND PLAYING PROCESS
CN2005800180408A CN1965576B (zh) 2004-06-02 2005-06-02 记录方法、再现装置、再现方法
US11/835,291 US8391672B2 (en) 2004-02-06 2007-08-07 Recording medium, reproduction device, program, and reproduction method
US11/835,304 US20080002947A1 (en) 2004-02-06 2007-08-07 Recording medium, reproduction device, program and reproduction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-164203 2004-02-06
JP2004164203 2004-06-02

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US11/579,223 A-371-Of-International US8326116B2 (en) 2004-06-02 2005-06-02 Recording medium, reproduction device program, and reproduction method
US11/835,291 Division US8391672B2 (en) 2004-02-06 2007-08-07 Recording medium, reproduction device, program, and reproduction method
US11/835,304 Division US20080002947A1 (en) 2004-02-06 2007-08-07 Recording medium, reproduction device, program and reproduction method

Publications (1)

Publication Number Publication Date
WO2005120061A1 true WO2005120061A1 (ja) 2005-12-15

Family

ID=35463205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/010145 WO2005120061A1 (ja) 2004-02-06 2005-06-02 記録媒体、再生装置、プログラム、再生方法

Country Status (7)

Country Link
US (1) US8326116B2 (ja)
EP (3) EP1858014B1 (ja)
JP (1) JP4027408B2 (ja)
KR (2) KR100884149B1 (ja)
CN (3) CN101114504B (ja)
DE (1) DE602005017824D1 (ja)
WO (1) WO2005120061A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008010084A (ja) * 2006-06-29 2008-01-17 Onkyo Corp コンテンツ選択装置及びコンテンツ選択プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574748B2 (ja) * 2009-02-19 2010-11-04 パナソニック株式会社 記録媒体、再生装置、記録方法、記録媒体再生システム
TWI652935B (zh) * 2012-09-28 2019-03-01 Ｖｉｄ衡器股份有限公司 視訊編碼方法及裝置
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
CN111933189B (zh) * 2014-09-12 2022-01-04 松下电器（美国）知识产权公司 再现装置以及再现方法
US20210352241A1 (en) * 2017-08-30 2021-11-11 Panasonic Intellectual Property Management Co., Ltd. Recording method and recording apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284065A (ja) * 1994-04-06 1995-10-27 Sony Corp オーディオ情報と動画像情報との再生方法
JP2002158972A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123356A (ja) 1993-10-21 1995-05-12 Matsushita Electric Ind Co Ltd 記録媒体と圧縮画像再生装置
EP0952736B1 (en) 1994-04-06 2006-06-07 Sony Corporation Reproducing recording media
US5970205A (en) 1994-04-06 1999-10-19 Sony Corporation Method and apparatus for performing variable speed reproduction of compressed video data
WO1999014754A1 (en) * 1997-09-17 1999-03-25 Matsushita Electric Industrial Co., Ltd. Optical disc, recording apparatus, and computer-readable recording medium
JP2000067522A (ja) 1998-08-25 2000-03-03 Sony Corp 情報再生装置および方法、情報記録装置および方法、提供媒体、並びに記録媒体
KR100469523B1 (ko) * 1998-10-12 2005-02-02 마츠시타 덴끼 산교 가부시키가이샤 데이터의 기록 또는 재생을 위한 정보 기록 매체, 장치 및방법
JP3058870B1 (ja) 1999-02-05 2000-07-04 株式会社次世代デジタルテレビジョン放送システム研究所 Ａｆｃ回路
US6369835B1 (en) * 1999-05-18 2002-04-09 Microsoft Corporation Method and system for generating a movie file from a slide show presentation
JP4489248B2 (ja) 1999-06-02 2010-06-23 パナソニック株式会社 光ディスク、光ディスクに対してデータの記録、再生を行なう装置及び方法
US6480539B1 (en) 1999-09-10 2002-11-12 Thomson Licensing S.A. Video encoding method and apparatus
JP4389365B2 (ja) 1999-09-29 2009-12-24 ソニー株式会社 トランスポートストリーム記録装置および方法、トランスポートストリーム再生装置および方法、並びにプログラム記録媒体
JP3558048B2 (ja) 2001-03-30 2004-08-25 ミノルタ株式会社 ファイル記録方式及びファイル処理方式及び画像表示装置及び画像編集装置
JP2002330402A (ja) 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 情報記録媒体、情報記録媒体に情報を記録、再生する装置
US6931071B2 (en) * 2001-08-31 2005-08-16 Stmicroelectronics, Inc. Apparatus and method for synchronizing video and audio MPEG streams in a video playback device
AU2002252630A1 (en) * 2002-02-08 2003-09-02 David Lively Centralized digital video recording system with bookmarking and playback from multiple locations
JP4542301B2 (ja) * 2002-02-27 2010-09-15 ホットアルバムコム株式会社 動画データ生成システム及び動画データ生成方法
US7200321B2 (en) 2002-04-19 2007-04-03 Tivo Inc. Method and apparatus for creating an expanded functionality digital video disc
US7496283B2 (en) 2002-06-28 2009-02-24 Microsoft Corporation Methods and systems for processing digital data rate and directional playback changes
BR0306158A (pt) 2002-09-05 2004-10-19 Lg Electronics Inc Meio de gravação tendo estrutura de dados para gerenciar reprodução de imagens fotográficas nele gravadas e métodos e aparelhos de gravação e reprodução
EP1403778A1 (en) 2002-09-27 2004-03-31 Sony International (Europe) GmbH Adaptive multimedia integration language (AMIL) for adaptive multimedia applications and presentations
JP2004128766A (ja) 2002-10-01 2004-04-22 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、情報記録プログラム、並びに情報再生プログラム
US20040067042A1 (en) * 2002-10-07 2004-04-08 Hughes Robert K. Extended time-code for multimedia presentations
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
MY141419A (en) * 2003-01-20 2010-04-30 Lg Electronics Inc Recording medium having data structure for managing reproduction of still pictures recorded thereon and recording and reproducing methods and apparatuses
DE602004026650D1 (de) 2003-02-28 2010-05-27 Panasonic Corp Aufzeichnungsmedium, Wiedergabevorrichtung, Aufzeichnungsprogramm und Wiedergabeverfahren
JP4047764B2 (ja) * 2003-05-13 2008-02-13 株式会社東芝 情報記憶媒体、情報再生装置、情報再生方法
PT2088779E (pt) 2003-07-03 2011-03-07 Panasonic Corp Meio de gravação, aparelho de leitura, método de gravação, circuito integrado, programa e método de leitura
US7227899B2 (en) * 2003-08-13 2007-06-05 Skystream Networks Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using interpolation of packet arrival times
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
PL2357814T3 (pl) * 2004-08-17 2012-10-31 Panasonic Corp Urządzenie i sposób kodowania obrazu
CN101835046B (zh) * 2004-08-31 2013-01-23 松下电器产业株式会社 运动图像编码方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284065A (ja) * 1994-04-06 1995-10-27 Sony Corp オーディオ情報と動画像情報との再生方法
JP2002158972A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1761055A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008010084A (ja) * 2006-06-29 2008-01-17 Onkyo Corp コンテンツ選択装置及びコンテンツ選択プログラム

Also Published As

Publication number Publication date
DE602005017824D1 (de) 2009-12-31
CN101114504A (zh) 2008-01-30
EP1858014A2 (en) 2007-11-21
JP4027408B2 (ja) 2007-12-26
CN1965576A (zh) 2007-05-16
EP1858014B1 (en) 2009-11-18
KR20070100357A (ko) 2007-10-10
EP1858014A3 (en) 2008-08-27
EP1858015B1 (en) 2015-10-14
CN101115176A (zh) 2008-01-30
EP1761055A1 (en) 2007-03-07
EP1761055A4 (en) 2007-05-30
US8326116B2 (en) 2012-12-04
KR20070100358A (ko) 2007-10-10
KR100884149B1 (ko) 2009-02-17
JPWO2005120061A1 (ja) 2008-04-03
CN100596184C (zh) 2010-03-24
CN1965576B (zh) 2012-06-20
EP1858015A2 (en) 2007-11-21
KR100884150B1 (ko) 2009-02-17
EP1858015A3 (en) 2008-08-27
US20080089662A1 (en) 2008-04-17
CN101114504B (zh) 2010-06-02

Similar Documents

Publication Publication Date Title
TWI401955B (zh) A reproducing apparatus, a recording medium reproducing program, a reproducing method, and a reproducing system
TWI405466B (zh) A regeneration device, a regeneration program, a regeneration method, and a regeneration system
JP4295801B2 (ja) 記録方法、記録媒体再生システム
JP4027408B2 (ja) 再生装置、プログラム、再生方法
US20040114909A1 (en) Recording medium having data structure for managing reproduction of multiple audio streams recorded thereon and recording and reproducing methods and apparatuses
US20040096191A1 (en) Recording medium having data structure for managing reproduction of multiple graphics streams recorded thereon and recording and reproducing methods and apparatuses
JP4308863B2 (ja) 再生装置、記録方法、再生方法、プログラム
JP4764855B2 (ja) 記録方法、再生システム
US7783160B2 (en) Recording medium having data structure for managing reproduction of interleaved multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
JP4658986B2 (ja) システムｌｓｉ
JP4204621B2 (ja) 再生装置、記録方法、再生方法、プログラム
US20040101283A1 (en) Recording medium having data structure for managing reproduction of multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
KR100884148B1 (ko) 슬라이드 쇼에서 랜덤 액세스를 고속으로 실현할 수 있는 기록매체, 재생장치, 컴퓨터 판독 가능한 기록매체, 기록방법, 재생방법
US7336889B2 (en) Recording medium having data structure for managing presentation duration of still pictures recorded thereon and recording and reproducing methods and apparatuses
AU2003276758B2 (en) Recording medium having data structure for managing reproduction of multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2006519582

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 200580018040.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWE Wipo information: entry into national phase

Ref document number: 2005745975

Country of ref document: EP

Ref document number: 1020067025673

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020067025673

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005745975

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11579223

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 11579223

Country of ref document: US