WO2010076846A1 - 記録媒体、再生装置、及び集積回路 - Google Patents
記録媒体、再生装置、及び集積回路 Download PDFInfo
- Publication number
- WO2010076846A1 WO2010076846A1 PCT/JP2009/006563 JP2009006563W WO2010076846A1 WO 2010076846 A1 WO2010076846 A1 WO 2010076846A1 JP 2009006563 W JP2009006563 W JP 2009006563W WO 2010076846 A1 WO2010076846 A1 WO 2010076846A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- view
- video
- extent
- stream
- playback
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
- G11B2020/10814—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer underrun
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
- G11B2020/1218—Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc
- G11B2020/1224—Formatting, e.g. arrangement of data block or words on the record carriers on discs wherein the formatting concerns a specific area of the disc extent, i.e. a set of sectors which numbers form a continuous ascending sequence
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Definitions
- the present invention relates to a technique for reproducing a stereoscopic video, that is, a three-dimensional (3D) video, and more particularly to allocation of a video stream on a recording medium.
- 2D playback device means a conventional playback device capable of playing only a planar view video, that is, a two-dimensional (2D) video
- 3D playback device means playback capable of playing 3D video. Means device.
- the 3D playback device can also play back 2D video.
- FIG. 63 is a schematic diagram showing a technique for ensuring compatibility with a 2D playback device for an optical disc on which 3D video content is recorded (see, for example, Patent Document 1).
- the optical disc 6301 stores two types of AV (Audio Visual) stream files. One of them is a 2D / left-view stream file, and the other is a right-view stream file.
- the 2D / left view stream file includes a 2D / left view stream.
- the “2D / left-view stream” represents a 2D video to be viewed by the viewer's left eye when reproducing the 3D video, that is, “left view”, and represents the 2D video itself when reproducing the 2D video.
- the right-view stream file includes a right-view stream.
- the “right view stream” represents a 2D video to be viewed by the viewer's right eye during playback of the 3D video, that is, “light view”.
- the frame rate is the same between the left and right video streams, but the frame display timing is shifted by half the frame period. For example, when the frame rate of each video stream is 24 frames per second, the frames of the left view stream and the right view stream are alternately displayed every 1/48 seconds.
- Each stream file is divided into a plurality of extents 6302A-C and 6303A-C on the optical disc 6301 as shown in FIG.
- Each extent includes one or more GOPs (Group of Pictures) and is read in a batch by the optical disk drive.
- GOPs Group of Pictures
- the left view extent 6302A-C and the right view extent 6303A-C are alternately arranged on the track 6301A of the optical disc 6301.
- the playback time is equal between two adjacent extents 6302A-6303A, 6302B-6303B, 6302C-6303C.
- Such arrangement of extents is referred to as “interleaved arrangement”. Extents recorded in the interleaved arrangement are used for both 3D video playback and 2D video playback as described below.
- the optical disc drive 6304A reads out only the left-view extent 6302A-C from the top out of the extents on the optical disc 6301, and skips reading of the right-view extent 6303A-C. Further, the video decoder 6304B sequentially decodes the extents read by the optical disc drive 6304A into the left view frame 6306L. Thereby, since only the left view is displayed on the display device 6307, a normal 2D image can be seen by the viewer.
- the optical disc drive 6305A expresses the left view extent and the right view extent alternately from the optical disc 6301, it reads out in the order of 6302A, 6303A, 6302B, 6303B, 6302C, 6303C. Further, from each read extent, the 2D / left-view stream is sent to the left video decoder 6305L, and the right-view stream is sent to the right video decoder 6305R. Each video decoder 6305L, 6305R alternately decodes each video stream into video frames 6306L, 6306R. Accordingly, the left view and the right view are alternately displayed on the display device 6308.
- the shutter glasses 6309 make the left and right lenses opaque alternately in synchronization with the screen switching by the display device 6308. Accordingly, a viewer wearing the shutter glasses 6309 sees the video displayed on the display device 6308 as a 3D video.
- the interleaved arrangement of extents is used as described above. Accordingly, the recording medium can be used for both 2D video playback and 3D video playback.
- the optical disc drive 6304A when 2D video is reproduced from an interleaved extent group, the optical disc drive 6304A performs “jump” for each recording area of the right-view extent 6303A-C. That is, the optical disc drive 6304A skips reading of data from the recording area.
- the data amount that is, the size of each left-view extent 6302A-C must be larger than the buffer underflow during the jump period.
- the right-view extent 6303A-C is not read during the period in which the left-view extent 6302A-C is being read. Accordingly, during that period, the data of the right-view extent 6303A-C stored in the buffer in the 3D playback device 6305 decreases with the processing of the right video decoder 6305R. Conversely, during the period when the right-view extent 6303A-C is being read, the data of the left-view extent 6302A-C accumulated in the buffer decreases with the processing of the left video decoder 6305L.
- each of the left and right extents 6302A-C and 6303A-C is such that the data of the other extent in the buffer is depleted during the reading period of one extent. Must be more than preventable.
- the 3D playback device can play back, for example, 3D video images having different binocular parallax from the same recording medium by combining the left-view stream and different right-view streams.
- a combination of a video stream representing 2D video and a “depth map stream” may be recorded on the recording medium.
- the 2D video represents a video projected from the 3D video to the virtual 2D screen.
- the depth map stream includes a depth map of each frame of the 3D video.
- the depth map represents the depth of the 3D video with respect to the 2D screen in units of pixels.
- the 3D playback device can play back 3D video by configuring a combination of the left-view stream and the right-view stream from the combination of these streams.
- the 2D / left-view stream described above may be used as a video stream representing 2D video.
- a depth map stream is recorded on the recording medium in addition to the 2D / left-view stream and the right-view stream.
- An object of the present invention is to provide a recording medium in which two or more types of stream files are stored in a more appropriate arrangement so that the capacity of the buffer in the playback apparatus can be further reduced without causing an underflow. There is.
- the base-view stream file and the dependent-view stream file are recorded on the recording medium according to the present invention.
- the base view stream file is used for reproducing a planar view video.
- the dependent-view stream file is combined with the base-view stream file and used to play a stereoscopic video.
- the recording medium further includes a continuous area in which a plurality of base-view extents belonging to the base-view stream file and a plurality of dependent-view extents belonging to the dependent-view stream file are alternately arranged.
- the size of each base view extent is set to the larger one of the first lower limit value and the second lower limit value.
- the first lower limit value is determined so as not to cause a buffer underflow in the playback device during a jump period from each base view extent to the next base view extent during playback of a planar video.
- the second lower limit value is determined so that a buffer underflow does not occur in the playback device during the read-out period of the dependent view extent next to each base view extent when the stereoscopic video is played back.
- the size of each dependent view extent has a third lower limit value as a lower limit.
- the third lower limit value is determined so as not to cause a buffer underflow in the playback device during the read-out period of the base view extent next to each dependent view extent when the stereoscopic video is played back.
- each of the extents can be reduced so that the capacity can be further reduced without causing an underflow in the buffer in the playback apparatus when either a planar video or a stereoscopic video is played back from the recording medium. It is easy to design the size appropriately.
- FIG. 5 is a schematic diagram showing pictures included in the video stream shown in FIG. 5 in order of display time.
- Schematic diagram showing details of the data structure of the video stream shown in FIG. Schematic diagram showing details of a method for storing a video stream in the PES packet shown in FIG.
- FIG. 11 Schematic diagram showing the format of TS packets and source packets constituting the 2D AV stream file shown in FIG.
- FIG. 11 Schematic diagram showing the data structure of the stream attribute information shown in FIG.
- A Schematic diagram showing the data structure of the entry map shown in FIG. 11,
- b Among the source packets included in the first AV stream file, those associated with each EP_ID by the entry map
- Schematic diagram showing Schematic diagram showing the data structure of a 2D playlist file Schematic diagram showing the data structure of the play item information shown in FIG. FIG.
- FIG. 15 is a schematic diagram showing a relationship between playback sections defined by each piece of play item information to be connected when the connection condition shown in FIG. 15 is “5” or “6”.
- Functional block diagram of the system target decoder shown in FIG. Schematic diagram showing the physical arrangement of extents on the BD-ROM disc shown in FIG.
- Table showing an example of the relationship between jump distance and jump time specified for a BD-ROM disc
- Table showing an example of the physical arrangement of each extent when 2D video is successively played sequentially from three different parts of an AV stream file
- Schematic diagram for explaining the playback principle of stereoscopic video by a method using parallax video
- the schematic diagram which shows the example which comprises a left view and a right view from the combination of 2D image
- FIG. 1 Schematic diagram showing the relationship between a movie object, a BD-J object, and three types of playlist files related to playback of 3D video described in the index table Flow chart for selecting a playlist file to be played back when a 3D video title is selected
- FIG. 2nd playlist file The schematic diagram which shows an example of each structure of the 1st playlist file and 3rd playlist file which are shown by FIG.
- FIG. 3D playlist file Schematic diagram showing another example of each structure of the first playlist file and the 3D playlist file
- A Schematic diagram showing the elementary stream multiplexed in the second AV stream file shown in FIG. 2,
- Schematic diagram showing a stream Schematic diagram showing pictures included in the left-view stream and pictures included in the right-view stream in order of display time The schematic diagram which shows the relationship between PTS and DTS allocated to each picture of a base view stream and a dependent view stream Schematic diagram showing the data structure of the video access unit in the left view stream, right view stream, and depth map stream
- the schematic diagram which shows the value of the decoding counter allocated to each picture of a base view stream and a dependent view stream (A) Schematic diagram showing data structure of base-view clip information file, (b) Schematic diagram showing data structure of dependent-view clip information file Schematic diagram showing the data structure of the 3D metadata shown in FIG. (A) Schematic diagram showing data structure of entry map of dependent view clip information file shown in (b) of FIG.
- FIG. 43 is a schematic diagram showing a cropping process performed by each of the first cropping processing unit and the third cropping processing unit shown in FIG. 44 is a schematic diagram showing a left view and a right view superimposed by the cropping process shown in FIG. 44 and a 3D image perceived by the viewer from them.
- FIG. 49 is a schematic diagram showing entry points set for the nth extent combination Dn, Rn, Ln in the interleaved arrangement shown in FIG. 49 and the playback path during jump playback.
- FIG. 49 is a graph showing the transition of the amount of data stored in the first read buffer when the 2D playback device plays back 2D video from the extent group shown in FIG. 49 is a graph showing changes in the amount of data stored in each read buffer when the 3D playback device plays back 3D video in the L / R mode from the extent group shown in FIG. 49 is a graph showing changes in the amount of data stored in each read buffer when the 3D playback device plays back 3D video in the depth mode from the extent group shown in FIG.
- Schematic diagram showing the arrangement of extent groups belonging to each file when only two types of 2D / left-view stream file and right-view stream file are recorded on the BD-ROM disc.
- FIG. 49 Schematic diagram showing jump J LY associated with layer switching occurring in the 3D video playback path in L / R mode, and jump J BDJ associated with BD-J object file read processing Graph showing the transition of the amount of data stored in each read buffer when a margin time is added to the zero sector transition time
- Schematic diagram showing the relationship between the jump-in reproduction prohibited section and the transition of the accumulated data amount of the first read buffer 49 is a schematic diagram showing the arrangement of extent groups when an extent belonging to a file different from the AV stream file is inserted in the interleaved extent groups shown in FIG. Graph showing the transition of the amount of data stored in each read buffer when another method is used to secure a buffer margin for each read buffer.
- FIG. 5 is a block diagram showing an internal configuration of a recording apparatus according to Embodiment 2 of the invention.
- 61 is a schematic diagram showing processing for calculating depth information from left and right pictures by the video encoder shown in FIG. Schematic diagram showing a technique for ensuring compatibility with a 2D playback device for an optical disc on which 3D video content is recorded.
- FIG. 1 is a schematic diagram showing a home theater system using a recording medium according to Embodiment 1 of the present invention.
- the recording medium 101 is a read-only Blu-ray Disc (BD), that is, a BD-ROM disc.
- the recording medium 101 may be another portable recording medium, for example, a semiconductor memory device such as an optical disk, a removable hard disk drive (HDD), or an SD memory card using another method such as a DVD.
- the recording medium, that is, the BD-ROM disc 101 stores movie content based on 3D video.
- the home theater system includes a playback device 102, a display device 103, shutter glasses 104, and a remote controller 105.
- the playback device 102 is equipped with a BD-ROM drive 121.
- the BD-ROM drive 121 is an optical disk drive conforming to the BD-ROM system.
- the playback device 102 uses the BD-ROM drive 121 to read movie content from the BD-ROM disc 101.
- the playback device 102 further decodes the movie content into video data / audio data.
- the video data includes only video frames of either the left view or the right view.
- the playback device 102 is a 3D playback device and the display device 103 can support playback of 3D video
- the video data includes both left-view and right-view video frames.
- the playback device 102 is connected to the display device 103 via an HDMI (High-Definition Multimedia Interface) cable 122.
- the playback device 102 converts the video data / audio data into an HDMI video / audio signal, and transmits the converted video / audio data to the display device 103 via the HDMI cable 122.
- the playback device 102 is a 2D playback device or when the display device 103 can only support playback of 2D video, only the video frame of either the left view or the right view is multiplexed on the video signal. It has become.
- both left-view and right-view video frames are multiplexed in a video signal in a time division manner.
- the playback device 102 exchanges CEC messages with the display device 103 through the HDMI cable 122.
- the playback device 102 inquires of the display device 103 whether or not playback of 3D video is possible.
- the display device 103 is a liquid crystal display.
- the display device 103 may be a flat panel display or projector of another type such as a plasma display and an organic EL display.
- the display device 103 reproduces the video on the screen 131 according to the video signal, and generates sound from the built-in speaker according to the audio signal.
- the playback device 102 is a 2D playback device, or when the display device 103 can only support playback of 2D video, only one of the left view and the right view is reproduced on the screen 131.
- the playback device 102 is a 3D playback device and the display device 103 can support 3D video, a left view and a right view are alternately reproduced on the screen 131.
- the display device 103 When the display device 103 can support 3D video reproduction, the display device 103 further includes a left / right signal transmission unit 132.
- the display device 103 uses this to send a left / right signal LR to the shutter glasses 104 by infrared or radio.
- the left / right signal LR indicates whether the video displayed on the screen 131 at that time is a left view or a right view.
- the display device 103 identifies the left view frame and the right view frame from the control signal accompanying the video signal, and synchronizes the switching of the waveform of the left and right signal LR with the switching of the frame.
- the shutter glasses 104 include two liquid crystal display panels 141L and 141R and a left / right signal receiving unit 142.
- the liquid crystal display panels 141L and 141R constitute left and right lens portions.
- the left / right signal receiving unit 142 receives the left / right signal LR and sends signals to the left and right liquid crystal display panels 141L and 141R in accordance with the change in the waveform.
- Each of the liquid crystal display panels 141L and 141R transmits or blocks light uniformly in its entirety according to the signal.
- the left / right signal LR indicates left-view display
- the left-eye liquid crystal display panel 141L transmits light
- the right-eye liquid crystal display panel 141R blocks light.
- the left / right signal LR indicates a right view display.
- the two liquid crystal display panels 141L and 141R alternately transmit light in synchronization with the frame switching.
- the left view is reflected only in the viewer's left eye
- the right view is reflected only in the right eye.
- the viewer perceives the difference between the images shown in each eye as binocular parallax with respect to one stereoscopic object, so that the video looks stereoscopic.
- the remote control 105 includes an operation unit and a transmission unit.
- the operation unit includes a plurality of buttons. Each button is associated with each function of the playback device 102 or the display device 103, such as turning on / off the power or starting or stopping playback of the BD-ROM disc 101.
- the operation unit detects pressing of each button by the user, and passes a signal specifying the button to the transmission unit.
- the transmission unit transmits the signal to the playback device 102 or the display device 103 as an infrared or wireless signal IR. Thereby, the user can remotely operate the playback device 102 or the display device 103.
- FIG. 2 is a schematic diagram showing a data structure on the BD-ROM disc 101.
- a BCA (BursturCutting Area) 201 is provided at the innermost periphery of the data recording area on the BD-ROM disc 101. Access to the BCA is permitted only by the BD-ROM drive 121, and access by the application program is prohibited. Thereby, the BCA 201 is used for copyright protection technology.
- tracks are formed in a spiral shape from the inner periphery to the outer periphery. In FIG. 2, the track 202 is depicted as being virtually stretched in the horizontal direction.
- the left side of the track 202 represents the inner periphery of the disc 101, and the right side represents the outer periphery.
- the track 202 includes a lead-in area 202A, a volume area 202B, and a lead-out area 202C in order from the inner periphery.
- the lead-in area 202A is provided immediately outside the BCA 201.
- the lead-in area 202A includes information necessary for accessing the volume area 202B, such as the size and physical address of data recorded in the volume area 202B.
- the lead-out area 202C is provided at the outermost periphery of the data recording area and indicates the end of the volume area 202B.
- the volume area 202B includes application data such as video and audio.
- the volume area 202B is divided into small areas called “sectors”. Each sector is assigned a serial number in order from the top of the volume area 202B. This serial number is called a logical address (or logical block number). Reading data from the BD-ROM disc 101 is executed by designating the logical address of the sector in which the data is stored. Thus, the volume area 202B can be accessed on a sector basis. Further, in the BD-ROM disc 101, the logical address is substantially equal to the physical address. That is, the physical address is substantially continuous in the area where the logical address is continuous. Therefore, the BD-ROM drive 121 can continuously read data from sectors having consecutive logical addresses without causing the optical pickup to seek.
- the UDF Universal Disc Format
- the file system may be ISO 9660.
- data recorded in the volume area 202B is expressed in a directory / file format. That is, these data can be accessed in directory units or file units.
- the volume area 202B includes a directory area, a file set descriptor recording area, and a terminal descriptor recording area.
- the “file set descriptor” indicates a logical block number (LBN) of a sector in which a file entry of the root directory is recorded in the directory area.
- the “end descriptor” indicates the end of the file set descriptor.
- Each directory area has a common data structure.
- Each directory area includes, in particular, recording areas for file entries, directory files, and subordinate files.
- “File entry” includes a descriptor tag, an ICB tag, and an allocation descriptor.
- “Descriptor tag” indicates that the data including the descriptor tag is a file entry. For example, when the value of the descriptor tag is “261”, the data is a file entry.
- the “ICB tag” indicates attribute information of the file entry itself.
- the “allocation descriptor” indicates the LBN of the sector in which the directory file belonging to the same directory area is recorded.
- “Directory file” includes a file identification descriptor of a lower directory and a file identification descriptor of a lower file.
- the “file identifier descriptor of the lower directory” is information for accessing the lower directory directly under the directory recorded in the directory area.
- This file identification descriptor includes, in particular, identification information of the subordinate directory, the length of the directory name, the file entry address, and the directory name itself.
- the file entry address indicates the LBN of the sector in which the file entry of the lower directory is recorded.
- the “file identifier descriptor of the lower file” is information for accessing the lower file immediately under the directory recorded in the directory area.
- This file identification descriptor includes the identification information of the lower file, the length of the file name, the file entry address, and the file name itself.
- the file entry address indicates the LBN of the file entry of the lower file.
- “Subordinate file” includes the file entry and substance of the subordinate file immediately under the directory recorded in the directory area.
- the “file entry” includes a descriptor tag, an ICB tag, and an allocation descriptor.
- “Descriptor tag” indicates that the data including the descriptor tag is a file entry.
- the “ICB tag” indicates attribute information of the file entry itself.
- the “allocation descriptor” indicates the arrangement of each extent constituting the entity of the lower file.
- “extent” means a data string in which logical addresses are continuous. One allocation descriptor is provided for each extent. Therefore, when the subordinate file is divided into a plurality of extents, the file entry includes a plurality of allocation descriptors.
- the allocation descriptor includes the size and LBN of each extent.
- the upper 2 bits of the allocation descriptor indicate whether or not an extent is actually recorded in the sector of the LBN. That is, when the upper 2 bits are “0”, it indicates that the extent has been allocated and recorded for the sector, and when it is “1”, the extent has been allocated to the sector. Indicates unrecorded.
- the allocation descriptor of the file entry of each file the logical address of each extent constituting the file can be known.
- the file system for the volume area 202B Similar to the above-described file system using UDF, in the file system for the volume area 202B, generally, when each file recorded in the volume area 202B is divided into a plurality of extents, Information indicating the arrangement of extents is recorded together with the volume area 202B. By referring to the information, it is possible to know the arrangement of each extent, particularly its logical address.
- BDMV BD Movie directory 242
- An index file (index.bdmv) 242A and a movie object file (MovieObject.bdmv) 242B are placed immediately below the BDMV directory 242.
- the index file 242A is information for managing the entire content recorded on the BD-ROM disc 101.
- the information includes information for causing the playback device to recognize the content, and an index table.
- the index table defines the correspondence between titles constituting the content and programs for controlling the operation of the playback apparatus. This program is called “object”.
- Object types include a movie object and a BD-J (BD Java (registered trademark)) object.
- FIG. 3 is a schematic diagram showing the index table 310 in the index file 242A.
- the control unit of the playback device 102 refers to a corresponding item in the index table 310 and retrieves an object associated with the item from the disc 101. call.
- the control unit further executes various processes according to the called object.
- an item “first play” 301 specifies an object to be called when the disc 101 is inserted into the BD-ROM drive 121.
- an object for displaying a menu on the display device 103 when a command “return to menu” is input by a user operation is designated.
- title k titles constituting the content on the disc 101 are individually assigned. For example, when a title to be played is specified by a user operation, an object for playing a video from an AV stream file corresponding to the title is specified in the item “title k” to which the title is assigned. ing.
- the movie object file 242B generally includes a plurality of movie objects. Each movie object includes a sequence of navigation commands.
- the navigation command is a control command for causing the playback apparatus to execute playback processing similar to playback processing by a general DVD player.
- Types of navigation commands include, for example, an instruction to read a playlist file corresponding to a title, an instruction to reproduce an AV stream file indicated by the playlist file, and an instruction to transition to another title.
- the navigation command is written in an interpreted language and is decoded by an interpreter incorporated in the playback apparatus, that is, a job control program, and causes the control unit to execute a desired job.
- a navigation command consists of an opcode and an operand.
- the opcode indicates the content of an operation to be performed by the playback device, such as title branching, playback, and computation.
- the operand indicates identification information of the operation target such as a title number.
- the control unit of the playback device 102 calls each movie object in accordance with a user operation, and executes navigation commands included in the movie object in the order of the columns.
- the playback device 102 first displays a menu on the display device 103 and causes the user to select a command, as in a general DVD player.
- the playback device 102 dynamically changes the progress of the video to be played back, such as starting / stopping playback of the title and switching to another title.
- the BDMV directory 242 further includes a playlist (PLAYLIST) directory 243, a clip information (CLIPINF) directory 244, a stream (STREAM) directory 245, a BD-J object (BDJO: BD Java Object).
- a directory 246 and a Java archive (JAR: Java Archive) directory 247 are included.
- AV stream file is an entity of video content and represents video, audio, subtitles, and the like.
- Types of AV stream files include 2D AV stream files, left view stream files, right view stream files, and depth map AV stream files.
- the “2D AV stream file” means an AV stream file that can be used independently for playback of 2D video.
- Left view stream file means an AV stream file representing a left view of 3D video.
- Light view stream file means an AV stream file representing a right view of 3D video.
- the left-view stream file and the right-view stream file are used as a pair for displaying 3D video.
- the “depth map AV stream file” means an AV stream file representing a depth map of 3D video.
- the depth map AV stream file is used for 3D video reproduction in combination with the 2D AV stream file.
- the first AV stream file (00001.m2ts) 245A is a 2D AV stream file and a left-view stream file.
- the second AV stream file (00002.m2ts) 245B is a right-view stream file, and is used for playback of 3D video in combination with the first AV stream file 245A.
- the third AV stream file (00003.m2ts) 245C is a depth map AV stream file, and is used for playback of 3D video in combination with the first AV stream file 245A.
- the “clip information file” is associated with an AV stream file on a one-to-one basis, and mainly represents a correspondence relationship between a video display time represented by the AV stream file and a logical address in the AV stream file.
- the types of clip information files include 2D clip information files, left-view clip information files, right-view clip information files, and depth map clip information files, which are 2D AV stream files and left-view stream files, respectively.
- the first clip information file (00001.clpi) 244A is a 2D clip information file and a left-view clip information file, and the first AV stream file (00001.m2ts) 245A. Is associated with.
- the second clip information file (00002.clpi) 244B is a right-view clip information file and is associated with the second AV stream file (00002.m2ts) 245B.
- the third clip information file (00003.clpi) 244C is a depth map clip information file and is associated with the third AV stream file (00003.m2ts) 245C.
- the “playlist file” defines the playback path of the AV stream file, that is, the part to be decoded of the AV stream file and the decoding order thereof.
- 2D playlist file refers to a playlist file that defines the playback path of a 2D AV stream file.
- the “3D playlist file” is a playback path of a pair of a left-view stream file and a right-view stream file, or a playback path of a pair of a 2D AV stream file and a depth map AV stream file.
- a playlist file that defines The first playlist file (00001.mpls) 243A is a 2D playlist file, and both the second playlist file (00002.mpls) 243B and the third playlist file (00003.mpls) 243C are both. It is a 3D playlist file.
- the second playlist file 243B is used.
- the third playlist file 243C is used.
- a BD-J object file (XXXXX.bdjo) 246A is placed in the BDJO directory 246, a BD-J object file (XXXXX.bdjo) 246A is placed.
- the BD-J object file 246A includes one BD-J object.
- the BD-J object is a bytecode program for causing a Java virtual machine installed in the playback apparatus 102 to execute title playback processing and graphics video rendering processing.
- the BD-J object is described in a compiler type language such as Java language.
- the BD-J object includes an application management table and identification information of a playlist file to be referenced.
- the application management table is a list of Java application programs to be executed by the Java virtual machine and their execution timing (life cycle).
- the identification information of the playlist file to be referenced is information for identifying the playlist file corresponding to the reproduction target title.
- the Java virtual machine calls each BD-J object according to a user operation or an application program, and executes the Java application program according to an application management table included in the BD-J object.
- the playback device 102 dynamically changes the progress of the video of each title to be played back, or causes the display device 103 to display the graphics video independently of the title video.
- the JAR file 247A generally includes a plurality of Java application program bodies to be executed in accordance with the application management table indicated by the BD-J object.
- the Java application program is a bytecode program written in a compiler type language such as the Java language, like the BD-J object.
- the types of Java application programs include those that cause the Java virtual machine to execute title playback processing, and those that cause the Java virtual machine to execute graphics video rendering processing.
- the JAR file 247A is a Java archive file, and when it is read by the playback device 102, it is expanded in its internal memory. Thereby, a Java application program is stored in the memory.
- the directory / file structure 204 includes a ROOT directory area, a BDMV directory area, a PLAYLIST directory area, a CLIPINF directory area, a STREAM directory area, a BDJO directory area, and a JAR directory on the volume area 202B of the BD-ROM disc 101. It is configured as an area.
- a file entry in the BDMV directory can be reached from the file entry in the ROOT directory, and further, a file entry in the PLAYLIST directory can be reached from the file entry in the BDMV directory.
- each file entry in the CLIPINF directory, the STREAM directory, the BDJO directory, and the JAR directory area can be reached from the file entry in the BDMV directory.
- the movie object MVO-2D associated with the item “title 1” includes a group of instructions related to 2D video playback processing using the first playlist file 243A.
- the first playlist file 243A is read from the disc 101 according to the movie object MVO-2D, and the 2D video image is read along the playback path defined therein. Playback processing is executed.
- the BD-J object BDJO-2D associated with the item “title 2” is an application management table related to 2D video playback processing using the first playlist file 243A. including.
- the Java application program is called from the JAR file 247A and executed according to the application management table in the BD-J object BDJO-2D.
- the first playlist file 243A is read from the disc 101, and 2D video playback processing is executed along the playback path defined therein.
- the first AV stream file 245A is a digital stream in the MPEG-2 transport stream (TS) format.
- a plurality of elementary streams are multiplexed in the first AV stream file 245A.
- FIG. 4 is a schematic diagram showing elementary streams multiplexed in the first AV stream file 245A.
- the first AV stream file 245A includes a primary video stream 401, primary audio streams 402A and 402B, presentation graphics (PG) streams 403A and 403B, and interactive graphics (IG).
- PG presentation graphics
- IG interactive graphics
- a stream 404, secondary video streams 405A and 405B, and a secondary audio stream 406 are included.
- the primary video stream 401 represents the main video of the movie
- the secondary video streams 405A and 405B represent the sub-video.
- the main video means a main video of content such as a main video of a movie, for example, one displayed on the entire screen.
- the sub-picture means a picture that is displayed on the screen simultaneously with the main picture by using a picture-in-picture method, such as a picture that is displayed on a small screen in the main picture.
- Each video stream is encoded by a moving image compression encoding method such as MPEG-2, MPEG-4 AVC, or SMPTE VC-1.
- Primary audio streams 402A and 402B represent the main audio of a movie.
- Secondary audio stream 406 represents the sub audio to be mixed with the main audio.
- Each audio stream is AC-3, Dolby Digital Plus (Dolby Digital Plus: “Dolby Digital” is a registered trademark), MLP, DTS (Digital Theater System: registered trademark), DTS-HD, or linear PCM ( It is encoded by a method such as Pulse (Code Modulation).
- the PG streams 403A and 403B represent movie subtitles.
- the subtitle language differs between the two PG streams 403A and 403B.
- the IG stream 404 represents a graphics component for a graphic user interface (GUI) for configuring an interactive screen on the screen 131 of the display device 103 and its arrangement.
- GUI graphic user interface
- Elementary streams 401-406 are identified by a packet ID (PID).
- PID packet ID
- the primary video stream 401 is assigned the hexadecimal value 0x1011 as the PID.
- the primary audio streams 402A and 402B are assigned any value from 0x1100 to 0x111F as the PID. Any value from 0x1200 to 0x121F is assigned as the PID to the PG streams 403A and 403B.
- the IG stream 404 is assigned any value from 0x1400 to 0x141F as the PID.
- Secondary video streams 405A and 405B are assigned any value from 0x1B00 to 0x1B1F as the PID.
- the secondary audio stream 406 is assigned any value from 0x1A00 to 0x1A1F as the PID.
- FIG. 5 is a schematic diagram showing the arrangement of the packets of the elementary streams 501, 504, 507, and 510 multiplexed in the 2D / AV stream file 513.
- a video stream 501 composed of a plurality of video frames 501 is converted into a sequence of PES packets 502.
- each PES packet 502 is converted into a TS packet 503.
- an audio stream composed of a plurality of audio frames 504 is converted into a sequence of PES packets 505 and then converted into a sequence of TS packets 506.
- the PG stream 507 and the IG stream 510 are converted into a sequence of PES packets 508 and 511, and then converted into a sequence of TS packets 509 and 512.
- these TS packets 503, 506, 509, and 512 are multiplexed into one stream 513 by time division. In this way, the 2D AV stream file 513 is configured.
- FIG. 6 is a schematic diagram showing pictures 611-614,..., 621-624 included in the video stream 600 in the order of display time.
- Each picture 611-614, 621-624 represents one frame or one field of video data.
- the pictures 611-614 and 621-624 are compressed by the above-described moving image compression encoding method such as MPEG-2.
- inter-picture predictive coding For compression of each picture by the above encoding method, redundancy in the spatial direction and temporal direction of the picture is used.
- intra-picture coding coding of a picture that uses only redundancy in the spatial direction.
- inter-picture predictive coding coding of a picture using redundancy in the time direction, that is, data closeness between a plurality of pictures in the display order.
- inter-picture predictive coding first, another picture whose display time is before or after the picture to be coded is set as a reference picture. Next, a motion vector is detected between the picture to be encoded and the reference picture, and motion compensation is performed using the motion vector. Further, a difference value between the motion-compensated picture and the picture to be encoded is obtained, and redundancy in the spatial direction is removed from the difference value.
- the data amount of each picture is compressed.
- a picture included in the video stream 600 is generally divided into a plurality of GOPs 610 and 620.
- GOP refers to a sequence of a plurality of consecutive pictures starting from the I picture.
- I picture refers to a picture compressed by intra-picture coding.
- a GOP generally includes a P picture and a B picture in addition to an I picture.
- P picture refers to a picture compressed by inter-picture predictive coding, in which one I picture or another P picture whose display time is earlier than that is used as a reference picture.
- B picture refers to a picture compressed by inter-picture predictive coding, in which two I-pictures or P-pictures whose display time is earlier or later are used as reference pictures.
- each GOP 610 and 620 are compressed in the following order.
- the first picture of each GOP 610 and 620 is compressed into an I 0 picture 611 and an I 7 picture 621.
- the subscript number indicates a serial number assigned to each picture in order of display time.
- the fourth picture of each GOP 610, 620 is a P 3 picture 614 with the I 0 picture 611, I 7 picture 621 in the same GOP as the respective reference pictures.
- P 10 picture 624 is compressed.
- the second and third pictures of the first GOP 610 are compressed into a B 1 picture 612 and a B 2 picture 613, respectively, using the previous I 0 picture 611 and the subsequent P 3 picture 614 as reference pictures.
- the second and third pictures of the second GOP 620 are compressed into a B 8 picture 622 and a B 9 picture 623, respectively, using the previous I 7 picture 621 and the subsequent P 10 picture 624 as reference pictures.
- the 1GOP610 if the picture following the P 3 picture 614 is further present, they are also compressed in the same manner.
- each GOP since each GOP always includes an I picture at the head, each picture can be decoded for each GOP.
- the I 0 picture 611 is decoded alone.
- the P 3 picture 614 is decoded using the decoded I 0 picture 611.
- the B 1 picture 612 and the B 2 picture 613 are decoded.
- the video stream 600 can be randomly accessed in GOP units. Therefore, editing and playback of the video stream 600 can be executed in GOP units.
- FIG. 7 is a schematic diagram showing details of the data structure of the video stream 700.
- each GOP 710, 720 constituting the actual video stream 700 in addition to the GOP entities 610, 620 shown in FIG. are granted individually.
- the combination of this header and the entity of each picture is called a “video access unit”. That is, in each GOP 710, 720, one video access unit 711, 712,... Is configured for each picture.
- Each picture can be read from the video stream 700 in units of video access units.
- the video access unit 711 at the head of each GOP 710 and 720 includes an I picture 611 entity and a header.
- the entity of the I picture 611 is stored in the compressed picture data 711E.
- the header includes an access unit (AU) identification code 711A, a sequence header 711B, a picture header 711C, and supplementary data 711D.
- the AU identification code 711A is a predetermined code indicating the head of each video access unit.
- the sequence header 711B is also referred to as a GOP header, and includes information common to the entire GOP 710, such as resolution, frame rate, aspect ratio, and bit rate.
- the picture header 711C includes information necessary for decoding the I picture 611, such as the type of encoding method.
- the supplementary data 711D includes additional information other than decoding of the I picture 611, for example, character information indicating closed captioning, and time code information.
- the second and subsequent video access units 712 of each GOP 710 and 720 have the same structure as the first video access unit 711 except that the header does not include the sequence header 711B.
- the specific content of each part of the video access units 711 and 712 differs depending on the encoding method of the video stream 700.
- the video access unit 711 is composed of a plurality of NAL units, and the AU identification code 711A, the sequence header 711B, the picture header 711C, and the supplemental data 711D are respectively It corresponds to AU delimiter (Access Unit Delimiter), SPS (sequence parameter set), PPS (picture parameter set), and SEI (Supplemental Enhancement Information).
- AU delimiter Access Unit Delimiter
- SPS sequence parameter set
- PPS picture parameter set
- SEI Supplemental Enhancement Information
- FIG. 8 is a schematic diagram showing details of a method of storing the video stream 801 in the PES packet 802.
- pictures are multiplexed in the coding order, not in the display time order. That is, as shown in FIG. 8, in each video access unit constituting the video stream 801, an I picture yy1, a P picture yy2, a B picture yy3, yy4,. Yes.
- the I picture yy1 is used as a reference picture for encoding the P picture yy2, and the I picture yy1 and the P picture yy2 are used as reference pictures for encoding the B pictures yy3 and yy4.
- Those video access units are stored one by one in different PES packets 802. Referring to FIG.
- each PES packet 802 includes a PES payload 802P and a PES header 802H.
- Each video access unit is stored in the PES payload 802P.
- each PES header 802H includes the display time of a picture stored in the PES payload 802P of the same PES packet 802, that is, PTS (Presentation Time-Stamp), and the decoding time of the picture, that is, DTS (Decoding Time-Stamp). including.
- PTS Presentation Time-Stamp
- DTS Decoding Time-Stamp
- each PES payload of a series of PES packets includes the PTS of data stored in the PES payload of the PES packet.
- FIG. 9 is a schematic diagram showing the format of the TS packet 901 and the source packet 902 constituting the 2D AV stream file 513 shown in FIG.
- the TS packet 901 is a packet having a length of 188 bytes, and includes a 4-byte length TS header 901H and a 184-byte length TS payload 901P, as shown in FIG.
- Each PES packet in which each elementary stream shown in FIG. 5 is stored is generally divided into a plurality of parts, and each part is stored in a TS payload 901P of a different TS packet 901.
- the TS header 901H includes a PID.
- the PID indicates an elementary stream to which the data stored in the PES payload 802P belongs when the PES packet 802 is restored from the data stored in the TS payload 901P of the same TS packet 901.
- TP_Extra_Header a 4-byte length header
- the header 902H particularly includes ATS (Arrival_Time_Stamp). ATS indicates the time at which the TS packet 901 should start to be transferred to a PID filter in the system target decoder described later.
- a 192-byte packet 902 composed of a combination of the header 902H and the TS packet 901 is referred to as a “source packet”.
- This source packet 902 is written in the 2D AV stream file 513.
- a plurality of source packets 902 are arranged in order in the 2D AV stream file 513 as shown in FIG.
- Each source packet 902 is assigned serial numbers 0, 1, 2,... In order from the top of the 2D AV stream file 513. This serial number is referred to as “SPN (source packet number)”.
- the types of TS packets included in the AV stream file include, in addition to those converted from the elementary streams shown in FIGS. 4 and 5, PAT (Program Association Table), PMT (Program Map Table), and There is PCR (Program Clock Reference).
- PCR, PMT, and PAT are defined in the European digital broadcasting standard, and originally have a role of defining a partial transport stream constituting one program.
- the AV stream file is also defined in the same manner as the partial transport stream.
- PAT indicates the PID of the PMT included in the same AV stream file.
- the PID of the PAT itself is 0.
- the PMT includes the PID of each elementary stream representing video / audio / subtitles and the attribute information included in the same AV stream file.
- the PMT further includes various descriptors (also referred to as descriptors) regarding the AV stream file.
- the descriptor includes copy control information indicating permission / prohibition of copying of the AV stream file.
- the PCR includes information indicating the value of STC (System Time Clock) that should correspond to the ATS of the packet.
- STC System Time Clock
- STC System Time Clock
- ATC Arriv Time Clock
- FIG. 10 is a schematic diagram showing the data structure of the PMT 1010.
- the PMT 1010 includes a PMT header 1001, a plurality of descriptors 1002, and a plurality of stream information 1003 in order from the top.
- the PMT header 1001 indicates the length of data included in the PMT 1010.
- Each descriptor 1002 is a descriptor relating to the entire AV stream file including the PMT 1010.
- the above-described copy control information is included in one of the descriptors 1002.
- the stream information 1003 is information about each elementary stream included in the AV stream file, and is assigned to different elementary streams one by one.
- Each stream information 1003 includes a stream type 1003A, a PID 1003B, and a stream descriptor 1003C.
- the stream type 1003A includes identification information of a codec used for compressing the elementary stream.
- PID1003B indicates the PID of the elementary stream.
- the stream descriptor 1003C includes attribute information of the elementary
- the decoder in the playback device can process the AV stream file in the same manner as a partial transport stream compliant with the European digital broadcasting standard. Thereby, compatibility between the playback device for the BD-ROM disc 101 and a terminal device compliant with the European digital broadcasting standard can be ensured.
- FIG. 11 is a schematic diagram showing a data structure of a portion used as a 2D clip information file in the first clip information file (00001.clpi) 244A.
- a 2D clip information file generally has this data structure.
- the first clip information file 244A includes clip information 1101, stream attribute information 1102, and an entry map 1103.
- the clip information 1101 includes a system rate 1101A, a playback start time 1101B, and a playback end time 1101C, as shown in FIG.
- the system rate 1101A indicates the maximum transfer rate when the “TS packet” in the first AV stream file 245A is transferred from the read buffer to the system target decoder in the playback device 102.
- the read buffer and system target decoder will be described later.
- the ATS interval of the source packet is set so that the transfer rate of the TS packet can be suppressed below the system rate.
- the reproduction start time 1101B indicates the PTS of the first video access unit of the first AV stream file 245A, for example, the PTS of the first video frame.
- the playback end time 1101C indicates an STC value delayed by a predetermined amount from the PTS of the video access unit at the end of the first AV stream file 245A, for example, a value obtained by adding the playback time per frame to the PTS of the video frame at the end. .
- FIG. 12 is a schematic diagram showing the data structure of the stream attribute information 1102.
- the stream attribute information 1102 is a correspondence table between the PID 1201 of each elementary stream included in the first AV stream file 245A and the attribute information 1202, as shown in FIG.
- the attribute information 1202 is different for each of the video stream, the audio stream, the PG stream, and the IG stream.
- the attribute information 1210 associated with the PID 0x1011 of the primary video stream includes the codec type 1211 used for compression of the video stream, the resolution 1212 of each picture constituting the video stream, and the aspect ratio 1213. , And a frame rate 1214.
- the attribute information 1220 associated with the PID 0x1101 of the primary audio stream includes the codec type 1221 used for compression of the audio stream, the number of channels 1222 included in the audio stream, the language 1223, and sampling. Includes frequency 1224.
- the attribute information 1202 is used by the playback device 102 to initialize the decoder.
- FIG. 13 is a schematic diagram showing the data structure of the entry map 1103.
- the entry map 1103 includes a table 1300 allocated for each video stream in the first AV stream file 245A, as shown in FIG. Each table 1300 is associated with the PID of the video stream to which it is assigned.
- Each table 1300 includes an entry map header 1301 and a plurality of entry points 1302.
- the entry map header 1301 includes the PID associated with the table 1300 and the total number of entry points 1302 included in the table 1300.
- the entry point 1302 associates a pair of PTS 1303 and SPN 1304 with a different entry point ID (EP_ID) 1305 individually.
- the PTS 1303 is equal to the PTS of any I picture included in the video stream to which each portion 1300 is assigned.
- SPN 1304 is equal to the leading SPN of the source packet group in which the I picture is stored.
- FIG. 13 is a schematic diagram showing source packets included in the first AV stream file 245A that are associated with each EP_ID 1305 by the entry map 1103.
- the playback device 102 can specify the SPN in the first AV stream file 245A corresponding to the scene at an arbitrary time point during the playback period of the video from the video stream. For example, in special playback such as fast forward playback and rewind playback, the playback device 102 specifies the source packets of SPN 1304 associated with each EP_ID 1305 from the entry map 1103, and selectively extracts and decodes them. Thereby, the I picture is selectively reproduced. In this way, the playback device 102 can efficiently process special playback without analyzing the first AV stream file 245A itself.
- FIG. 14 is a schematic diagram showing the data structure of the 2D playlist file 1400.
- the first playlist file 243A shown in FIG. 2 has this data structure.
- the 2D playlist file 1400 defines the playback path of the 2D AV stream file 1404, that is, the parts P1, P2, and P3 to be decoded of the 2D AV stream file 1404 and the decoding order thereof.
- the 2D playlist file 1400 defines the range of each part P1, P2, and P3 with PTS.
- the specified PTS is converted into an SPN in the AV stream file 1404 using a clip information file 1403 associated with the 2D AV stream file 1404.
- the range of each part P1, P2, P3 is specified by SPN.
- any of the portions P1, P2, and P3 may be a part of an AV stream file different from the 2D AV stream file 1404.
- the 2D playlist file 1400 includes one or more play item (PI) information 1401.
- Each play item information 1401 is identified by a unique play item ID.
- Each play item information 1401 defines different playback sections in the playback path with a pair of PTSs.
- the first play item information PI # 1 defines the first playback section as a pair of PTST1 representing the start time and PTST2 representing the end time.
- the start time T1 and the end time T2 are converted into SPNA1 and A2 in the 2D AV stream file 1404 using the 2D clip information file 1403, respectively.
- the range of the portion P1 to be decoded in the reproduction section is specified by SPNA1 and A2 at both ends thereof.
- the description order is the playback path of the corresponding playback section. Represents the order within.
- a series of playback paths obtained by connecting playback sections defined by each play item information 1401 is referred to as a “main path”.
- a series of play item information PI # 1-3 that defines the main path may also be referred to as “main path” 1405.
- the 2D playlist file 1400 further includes an entry mark 1402.
- An entry mark 1402 indicates a point in the main path 1405 at which playback should actually start.
- the entry mark 1402 can be given in the playback section defined by the play item information 1401. For example, as shown in FIG. 14, a plurality of entry marks 1402 may be set for one play item information PI # 1.
- the entry mark 1402 is particularly used for searching for the reproduction start position in cueing reproduction. For example, when the 2D playlist file 1400 defines a movie title playback path, an entry mark 1402 is added to the beginning of each chapter. Thereby, the playback device 102 can play back the movie title for each chapter.
- FIG. 15 is a schematic diagram showing the data structure of play item information 1500.
- play item information 1500 includes reference clip information 1501, playback start time 1502, playback end time 1503, connection condition 1504, and stream selection table 1505.
- the reference clip information 1501 is information for identifying a clip information file necessary for conversion from PTS to SPN.
- the reproduction start time 1502 and the reproduction end time 1503 indicate the PTSs at the beginning and the end of the portion to be decoded of the AV stream file.
- the playback device 102 refers to the entry map from the clip information file indicated by the reference clip information 1501, and acquires SPNs corresponding to the playback start time 1502 and playback end time 1503, respectively. Thereby, the part to be read from the AV stream file is specified, and the reproduction process is performed on the part.
- connection condition 1504 connects the video in the playback section specified by the playback start time 1502 and the playback end time 1503 to the video in the playback section specified by the previous play item information on the main path. Specify the conditions for when. For example, there are three types of connection conditions 1504: “1”, “5”, and “6”. When the connection condition 1504 is “1”, the video played from the AV stream file portion specified by the play item information is played from the AV stream file portion specified by the immediately preceding play item information. It is not always necessary to be seamlessly connected to the video to be played. On the other hand, when the connection condition 1504 is “5” or “6”, both images must be seamlessly connected.
- FIG. 16 is a schematic diagram showing a relationship between playback sections defined by each play item information to be connected when the connection condition 1504 is “5” or “6”.
- the STC may be interrupted between the two play item information PI # 1 and PI # 2. That is, the PSTTE at the end of the first portion 1601 of the AV stream file defined by the first play item information PI # 1 positioned on the front on the main path and the second play item information PI # 2 positioned after the first play item information PI # 1 are defined.
- the second PTSTS of the second part 1602 of the AV stream file may be discontinuous. However, some constraints must be met.
- the portions 1601 and 1602 must be created so that the decoder can continue the decoding process smoothly. Furthermore, the end frame of the audio stream included in the first portion 1601 must overlap the first frame of the audio stream included in the second portion 1602.
- the connection condition 1504 is “6”, as shown in FIG. 16B, the first part 1601 and the second part 1602 are a series of parts in the decoding process of the decoder. It must be something that can be handled. That is, both the STC and the ATC must be continuous between the first portion 1601 and the second portion 1602.
- the stream selection table 1505 shows a list of elementary streams that can be selected from AV stream files by the decoder in the playback apparatus 102 between the playback start time 1502 and the playback end time 1503.
- the stream selection table 1505 specifically includes a plurality of stream entries 1509. Each stream entry 1509 includes a stream selection number 1506, stream path information 1507, and stream identification information 1508.
- the stream selection number 1506 is a serial number of each stream entry 1509 and is used by the playback apparatus 102 to identify an elementary stream.
- the stream path information 1507 is information indicating the AV stream file to which the selected elementary stream belongs.
- the stream path information 1507 indicates “main path”
- the AV stream file corresponds to the clip information file indicated by the reference clip information 1501.
- the sub play item information includes the playback section defined by the sub play item information between the playback start time 1502 and the playback end time 1503. The sub path and sub play item information will be described in the next section.
- the stream identification information 1508 indicates the PID of the elementary stream multiplexed in the AV stream file specified by the stream path information 1507.
- the elementary stream indicated by this PID can be selected between the reproduction start time 1502 and the reproduction end time 1503.
- attribute information of each elementary stream is also recorded in the stream entry 1509.
- each attribute information of an audio stream, a PG stream, and an IG stream indicates a language type.
- FIG. 17 is a schematic diagram showing the data structure of the 2D playlist file 1700 when the playback path includes a sub path.
- the 2D playlist file 1700 may define one or more sub-paths in addition to the main path 1701.
- Each of the sub-paths 1702 and 1703 indicates a reproduction path parallel to the main path 1701.
- Subpaths 1702 and 1703 are assigned serial numbers in the order registered in the 2D playlist file 1700. The serial number is used as a sub path ID for identifying each sub path.
- Each of the sub-paths 1702 and 1703 is defined by each sub-playitem information # 1-3 so that the main path 1701 is a series of playback paths obtained by connecting the playback sections defined by each playitem information # 1-3.
- each sub play item information 1702A includes reference clip information, a reproduction start time, and a reproduction end time.
- the PG stream is selected from the AV stream file corresponding to the clip information file indicated by the reference clip information of the sub play item information # 2 in the playback section of the play item information # 2.
- # 1 is selected as a decoding target.
- the sub play item information further includes a field called SP connection condition.
- the SP connection condition has the same meaning as the connection condition of the play item information. That is, when the SP connection condition is “5” or “6”, the connection condition is “5” or “6” for each part of the AV stream file defined by the adjacent two sub play item information. The same condition as above should be satisfied.
- FIG. 18 is a functional block diagram of the 2D playback device 1800.
- the 2D playback device 1800 includes a BD-ROM drive 1801, a playback unit 1800A, and a control unit 1800B.
- the playback unit 1800A includes a read buffer 1802, a system target decoder 1803, and a plane adder 1810.
- the control unit 1800B includes a dynamic scenario memory 1804, a static scenario memory 1805, a program execution unit 1806, a playback control unit 1807, a player variable storage unit 1808, and a user event processing unit 1809.
- the reproducing unit 1800A and the control unit 1800B are mounted on different integrated circuits. In addition, both may be integrated into a single integrated circuit.
- the BD-ROM drive 1801 includes an optical pickup, that is, an optical head.
- the optical head includes a semiconductor laser, a collimator lens, a beam splitter, an objective lens, a condenser lens, and a photodetector. The light beam emitted from the semiconductor laser passes through the collimator lens, the beam splitter, and the objective lens in order, and is collected on the recording layer of the BD-ROM disc 101.
- the collected light beam is reflected / diffracted by the recording layer.
- the reflected / diffracted light is collected on a photodetector through an objective lens, a beam splitter, and a condenser lens.
- the photodetector generates a reproduction signal having a level corresponding to the amount of collected light. Further, data is demodulated from the reproduced signal.
- the BD-ROM drive 1801 reads data from the BD-ROM disc 101 in accordance with a request from the playback control unit 1807.
- the AV stream file is transferred to the read buffer 1802, and dynamic scenario information such as an index file, a movie object file, and a BD-J object file is stored in the dynamic scenario memory 1804.
- the playlist file and the clip information file, that is, the static scenario information is transferred to the static scenario memory 1805.
- the read buffer 1802, the dynamic scenario memory 1804, and the static scenario memory 1805 are all buffer memories.
- a memory element in the reproduction unit 1800A is used as the read buffer 1802
- a memory element in the control unit 1800B is used as the dynamic scenario memory 1804 and the static scenario memory 1805.
- different areas of a single memory element may be used as the buffer memories 1802, 1804, 1805.
- the read buffer 1802 stores an AV stream file
- the dynamic scenario memory 1804 stores dynamic scenario information
- the static scenario memory 1805 stores static scenario information.
- the system target decoder 1803 reads the AV stream file from the read buffer 1802 in units of source packets, performs demultiplexing processing, and further performs decoding processing on each separated elementary stream.
- information necessary for decoding each elementary stream such as the type of codec and the attribute of the stream, is transferred from the reproduction control unit 1807 to the system target decoder 1803 in advance.
- the system target decoder 1803 further converts the decoded primary video stream, secondary video stream, IG stream, and PG stream into a main video plane data, a sub video plane, Data, IG plane data, and PG plane data are transmitted.
- the system target decoder 1803 mixes the decoded primary audio stream and secondary audio stream and sends them to an audio output device such as the built-in speaker 103A of the display device 103.
- the system target decoder 1803 receives graphics data from the program execution unit 1806.
- the graphics data is for displaying graphics such as a GUI menu on the screen, and is represented by raster data such as JPEG or PNG.
- the system target decoder 1803 processes the graphics data and sends it out as image plane data. Details of the system target decoder 1803 will be described later.
- the user event processing unit 1809 detects a user operation through the remote control 105 or the front panel of the playback device 102, and requests the program execution unit 1806 or the playback control unit 1807 to perform processing according to the operation content. For example, when the user presses a button on the remote controller 105 and instructs to display a pop-up menu, the user event processing unit 1809 detects the press and identifies the button. The user event processing unit 1809 further requests the program execution unit 1806 to execute a command corresponding to the button, that is, a pop-up menu display process. On the other hand, for example, when the user presses the fast forward or rewind button of the remote controller 105, the user event processing unit 1809 detects the press and identifies the button. The user event processing unit 1809 further requests the playback control unit 1807 to perform fast forward or rewind processing of the currently played playlist.
- the playback control unit 1807 transfers various data such as an AV stream file and an index file from the BD-ROM disc 101 to the read buffer 1802, the dynamic scenario memory 1804, and the static scenario memory 1805.
- a file system for managing the directory / file structure 204 shown in FIG. 2 is used. That is, the playback control unit 1807 uses the file open system call to cause the BD-ROM drive 1801 to transfer various files to the buffer memories 1802, 1804, and 1805.
- file open means the following series of processing. First, a file name to be searched is given to the file system by a system call, and the file name is searched from the directory / file structure 204.
- the file entry of the transfer target file is transferred to the memory in the reproduction control unit 1807, and an FCB (File Control Block) is generated in the memory.
- FCB File Control Block
- the file handle of the file to be transferred is returned from the file system to the playback control unit 1807.
- the playback control unit 1807 presents the file handle to the BD-ROM drive 1801, so that the transfer target file is transferred from the BD-ROM disc 101 to the buffer memories 1802, 1804, 1805 to the BD-ROM drive 1801. Can be transferred.
- the playback control unit 1807 controls the BD-ROM drive 1801 and the system target decoder 1803 to decode video data and audio data from the AV stream file. Specifically, the playback control unit 1807 first reads out the playlist file from the static scenario memory 1805 in response to a command from the program execution unit 1806 or a request from the user event processing unit 1809 and stores the contents. Interpret. Next, the playback control unit 1807 designates the AV stream file to be played back to the BD-ROM drive 1801 and the system target decoder 1803 in accordance with the interpreted contents, particularly the playback path, and reads and decodes them. Instruct processing. Such reproduction processing based on a playlist file is called “playlist reproduction”.
- the playback control unit 1807 sets various player variables in the player variable storage unit 1808 using static scenario information.
- the playback control unit 1807 further refers to these player variables, designates an elementary stream to be decoded to the system target decoder 1803, and provides information necessary for decoding each elementary stream.
- the player variable storage unit 1808 is a register group for storing player variables.
- the types of player variables include system parameters (SPRM) and general-purpose parameters (GPRM).
- SPRM indicates the state of the playback device 102.
- FIG. 19 is a list of SPRMs. Each SPRM is assigned a serial number 1901, and a variable value 1802 is individually associated with each serial number 1901.
- the main SPRM contents are as follows. Here, the numbers in parentheses indicate the serial numbers 1901.
- SPRM (10) indicates the PTS of the picture being decoded, and is updated each time the picture is decoded and written to the main video plane memory. Therefore, the current playback time can be known by referring to SPRM (10).
- the SPRM (16) audio stream language code and the SPRM (18) subtitle stream language code indicate default language codes of the playback device 102. They can be changed by the user using an OSD (On Screen Display) of the playback apparatus 102, or can be changed to an application program through the program execution unit 1806. For example, when SPRM (16) indicates “English”, the playback control unit 1807 first selects a stream entry including the language code of “English” from the stream selection table in the play item information in the playlist playback processing. Search for. Next, the playback control unit 1807 extracts the PID from the stream identification information of the stream entry and passes it to the system target decoder 1803. Thereby, the audio stream of that PID is selected and decoded by the system target decoder 1803. These processes can be executed by the playback control unit 1807 using a movie object file or a BD-J object file.
- the playback control unit 1807 updates player variables according to changes in the playback state during playback processing.
- the playback control unit 1807 updates SPRM (1), SPRM (2), SPRM (21), and SPRM (22). They indicate the stream selection numbers of the audio stream, subtitle stream, secondary video stream, and secondary audio stream that are being processed in order.
- SPRM (1) is changed by the program execution unit 1806.
- the playback control unit 1807 first searches the stream selection table in the play item information currently being played back for a stream entry including a stream selection number equal to the stream selection number indicated by the changed SPRM (1). To do.
- the playback control unit 1807 extracts the PID from the stream identification information in the stream entry and passes it to the system target decoder 1803. Thereby, the audio stream of that PID is selected and decoded by the system target decoder 1803. In this way, the audio stream to be reproduced is switched.
- subtitles and secondary video streams to be reproduced can be switched.
- the program execution unit 1806 is a processor, and executes programs stored in a movie object file and a BD-J object file.
- the program execution unit 1806 performs the following control in accordance with each program: (1) Instruct the playback control unit 1807 to perform playlist playback processing; (2) Graphics data for menus or games PNG or JPEG raster data is generated, transferred to the system target decoder 1803, and synthesized with other video data.
- the specific contents of these controls can be designed relatively freely through program design. That is, those control contents are determined by the movie object file and BD-J object file programming steps in the authoring step of the BD-ROM disc 101.
- the plane adder 1810 receives main video plane data, sub-video plane data, IG plane data, PG plane data, and image plane data from the system target decoder 1803 and superimposes them on each other Are combined into one video frame or field.
- the combined video data is sent to the display device 103 and displayed on the screen.
- FIG. 20 is a functional block diagram of the system target decoder 1803.
- the system target decoder 1803 includes a source depacketizer 2010, an ATC counter 2020, a first 27 MHz clock 2030, a PID filter 2040, an STC counter (STC1) 2050, a second 27 MHz clock 2060, a main Video decoder 2070, sub video decoder 2071, PG decoder 2072, IG decoder 2073, main audio decoder 2074, sub audio decoder 2075, image processor 2080, main video plane memory 2090, sub video plane memory 2091, PG plane memory 2092, an IG plane memory 2093, an image plane memory 2094, and an audio mixer 2095.
- STC1 STC counter
- the source depacketizer 2010 reads the source packet from the read buffer 1802, extracts the TS packet from the source packet, and sends it to the PID filter 2040.
- the source depacketizer 2010 further adjusts the transmission time according to the ATS of each source packet. Specifically, the source depacketizer 2010 first monitors the ATC value generated by the ATC counter 2020. Here, the value of ATC is incremented by the ATC counter 2020 according to the pulse of the clock signal of the first 27 MHz clock 2030. Next, at the moment when the ATC value matches the ATS of the source packet, the source depacketizer 2010 transfers the TS packet extracted from the source packet to the PID filter 2040 at the recording rate R TS1 .
- the PID filter 2040 first selects a TS packet sent from the source depacketizer 2010 whose PID matches the PID designated in advance by the playback control unit 1807. The PID filter 2040 then forwards the selected TS packet to each decoder 2070-2075 according to the PID. For example, when the PID is 0x1011, the TS packet is transferred to the main video decoder 2070.
- the corresponding TS packets are the sub video decoder 2071, the main audio decoder 2074, respectively. Are transferred to the sub audio decoder 2075, the PG decoder 2072, and the IG decoder 2073.
- the PID filter 2040 further detects a PCR from the TS packet using the PID of each TS packet. At that time, the PID filter 2040 sets the value of the STC counter 2050 to a predetermined value. Here, the value of the STC counter 2050 is incremented according to the pulse of the clock signal of the second 27 MHz clock 2060. The value to be set in the STC counter 2050 is instructed from the reproduction control unit 1807 to the PID filter 2040 in advance. Each decoder 2070-2075 uses the value of the STC counter 2050 as the STC. That is, the timing of the decoding process for the TS packet transmitted from the PID filter 2040 is matched with the PTS or DTS indicated by the TS packet.
- the main video decoder 2070 includes TB (Transport Stream Buffer) 2001, MB (Multiplexing Buffer) 2002, EB (Elementary Stream Buffer) 2003, compressed video decoder (Dec) 2004, and DPB ( Decoded (Picture Buffer) 2005 is included.
- TB2001, MB2002, EB2003, and DPB2005 are all buffer memories, and each use one area of a memory element built in main video decoder 2070. In addition, any or all of them may be separated into different memory elements.
- the TB 2001 stores the TS packets received from the PID filter 2040 as they are.
- MB2002 stores the PES packet restored from the TS packet stored in TB2001.
- the TS header is removed from the TS packet.
- the EB 2003 extracts and stores the encoded video access unit from the PES packet.
- the video access unit stores compressed pictures, that is, I pictures, B pictures, and P pictures.
- the PES header is removed from the PES packet.
- the compressed video decoder 2004 decodes each video access unit in the MB2002 at the DTS time indicated by the original TS packet.
- the compressed video decoder 2004 switches the decoding method according to the compression encoding method of the compressed picture stored in the video access unit, for example, MPEG-2, MPEG-4 AVC, and VC1, and the stream attribute. .
- the compressed video decoder 2004 further transfers the decoded picture, that is, the video frame or field, to the DPB 2005.
- DPB2005 temporarily holds the decoded picture.
- the compressed video decoder 2004 refers to the decoded picture held in the DPB 2005 when decoding the P picture and the B picture.
- the DPB 2005 further writes each held picture to the main video plane memory 2090 at the PTS time indicated by the original TS packet.
- the sub video decoder 2071 includes the same configuration as the main video decoder 2070.
- the sub-picture decoder 2071 first decodes the TS packet of the secondary video stream received from the PID filter 2040 into an uncompressed picture.
- the sub-picture decoder 2071 writes an uncompressed picture into the sub-picture plane memory 2091 at the PTS time indicated by the TS packet.
- the PG decoder 2072 decodes the TS packet received from the PID filter 2040 into uncompressed graphics data, and writes it into the PG plane memory 2092 at the PTS time indicated by the TS packet.
- the IG decoder 2073 decodes the TS packet received from the PID filter 2040 into uncompressed graphics data, and writes it into the IG plane memory 2093 at the PTS time indicated by the TS packet.
- the main audio decoder 2074 first stores TS packets received from the PID filter 2040 in a built-in buffer. The main audio decoder 2074 then removes the TS header and PES header from each TS packet in the buffer and decodes the remaining data into uncompressed LPCM audio data. The main audio decoder 2074 further sends the audio data to the audio mixer 2095 at the PTS time indicated by the original TS packet. The main audio decoder 2074 switches the decoding method of the compressed audio data according to the compression encoding method of the primary audio stream included in the TS packet, for example, AC-3 or DTS, and the stream attribute.
- the sub audio decoder 2075 includes the same configuration as the main audio decoder 2074.
- the secondary audio decoder 2075 decodes the TS packet of the secondary audio stream received from the PID filter 2040 into uncompressed LPCM audio data.
- the sub audio decoder 2075 sends uncompressed LPCM audio data to the audio mixer 2095 at the PTS time indicated by the TS packet.
- the sub audio decoder 2075 switches the decoding method of the compressed audio data according to the compression encoding method of the secondary audio stream included in the TS packet, for example, Dolby Digital Plus, DTS-HD LBR, and stream attributes.
- the audio mixer 2095 performs mixing (sound superposition) using uncompressed audio data received from the main audio decoder 2074 and the sub audio decoder 2075, respectively.
- the audio mixer 2095 further sends the synthesized sound obtained by the mixing to the built-in speaker 103A of the display device 103 or the like.
- the image processor 2080 receives graphics data, that is, PNG or JPEG raster data from the program execution unit 1806. The image processor 2080 then processes the graphics data appropriately and writes it to the image plane memory 2094.
- seamless playback refers to smooth playback of video and audio from an AV stream file without interruption.
- the AV stream file is recorded on the BD-ROM disc 101 as a set of extents.
- logical addresses are continuous in one extent.
- the logical address is substantially equal to the physical address. Therefore, the physical addresses are substantially continuous within one extent. Therefore, the BD-ROM drive 1801 can continuously read one extent without causing the optical pickup to seek.
- Each extent is generally recorded in a plurality of physically continuous sectors in the volume area 202B shown in FIG. These sectors belong to the AV stream file recording area in the STREAM directory area. Therefore, the logical address of each extent can be known from the allocation descriptor recorded in the file entry in the recording area.
- FIG. 21 is a schematic diagram showing the physical arrangement of extents on the BD-ROM disc 101.
- an AV stream file 2100 is divided into three extents 2101A, 2101B, and 2101C and recorded on a track 202 of a disc 101.
- each extent 2101A-C itself is continuous, but discontinuous between different extents.
- the physical arrangement of these extents 2101A-C only needs to satisfy the following conditions.
- the arrow group A1 shown in FIG. As indicated by the arrow group A1, in the reproduction of the video from the AV stream file 2100, the extents 2101A-C are sequentially read out to the reproduction device 102.
- the BD-ROM drive 1801 temporarily stops the reading operation by the optical pickup, increases the rotational speed of the BD-ROM disc 101, and increases the front end TB of the next extent 2101B. Is quickly moved to the position of the optical pickup.
- an operation for temporarily stopping the reading operation of the optical pickup and positioning the optical pickup on the next reading target area during this time is called “jump”.
- a period during which a jump is performed on the reproduction path A1, that is, a “jump period” is indicated by convex portions J1 and J2 in the reproduction path A1.
- the types of jump include track jump and focus jump in addition to the operation of increasing / decreasing the rotation speed of the BD-ROM disc 101.
- the track jump is an operation for moving the optical pickup in the radial direction of the disk.
- Focus jump refers to an operation of moving the focus of the optical pickup from one recording layer to another when the BD-ROM disc 101 is a multi-layer disc.
- These jumps are generally called “long jumps” because the seek time is generally long and the number of sectors skipped by the jump is large.
- the reading operation by the optical pickup stops. Therefore, data is not read from the corresponding portions G1 and G2 on the track 202 in the jump periods J1 and J2 shown in FIG.
- the length of the portion where the read operation is skipped during the jump period is referred to as “jump distance”.
- the jump distance is usually represented by the number of sectors in that portion.
- the long jump is defined as a jump whose jump distance exceeds a predetermined threshold.
- the threshold is defined as 40000 sectors depending on the type of BD-ROM disc and the performance related to the reading process of the BD-ROM drive.
- the BD-ROM drive 1801 cannot read data from the BD-ROM disc 101.
- the playback device 102 In order for the playback device 102 to seamlessly play back video from the AV stream file 2100, it is only necessary that the system target decoder 1803 can continue the decoding process even during the jump period and can maintain continuous output of the decoded video data. .
- a device for this is necessary for the physical arrangement of extents on the disk 101.
- FIG. 22 is a schematic diagram showing a playback processing system in the 2D playback device shown in FIG.
- the reproduction processing system converts the AV stream file read from the BD-ROM disc 101 into video data VD and audio data AD.
- the BD-ROM drive 1801 reads an AV stream file from the BD-ROM disc 101 in units of extents, and stores them in the read buffer 1802 at a reading speed Rud .
- the system target decoder 1803 reads a source packet from each extent in the read buffer 1802 at an average transfer rate R ext and decodes it into video data VD and audio data AD.
- the average transfer rate R ext does not exceed 192/188 times the system rate 1101A shown in FIG.
- FIG. 23 is a graph showing the transition of the data amount DA accumulated in the read buffer 1802 during the AV stream file playback processing period. The graph is obtained when video is reproduced in order from the three extents 2101A-C shown in FIG.
- the first extent 2101A is read from the BD-ROM disc 101 to the read buffer 1802.
- the accumulated data amount DA increases at a speed equal to the difference R ud ⁇ R ext between the read speed R ud and the average transfer speed R ext as indicated by an arrow 2301 in FIG. .
- the jump J1 is performed up to the front end TB of the next extent 2101B.
- the accumulated data amount DA decreases at the average transfer rate R ext .
- the amount of data stored in the read buffer 1802 in the read period PR1 that is, the size of the first extent 2101A is transferred from the read buffer 1802 to the system target decoder 1803 from the read period PR1 to the jump period PRJ.
- the accumulated data amount DA returns to the value at the start of the read period PR1 at the end of the jump period PRJ.
- reading of the next extent 2101B is started following the jump J1.
- the accumulated data amount DA again increases at a rate equal to the difference R ud ⁇ R ext of the data transfer rate.
- the BD-ROM drive 1801 performs reading / transfer operations intermittently, not continuously as indicated by arrows 2301 and 2303 in FIG. This prevents the accumulated data amount DA from exceeding the capacity of the read buffer 1802 during the read periods PR1 and PR2 of each extent, that is, prevents the read buffer 1802 from overflowing. Accordingly, the arrows 2301 and 2303 in FIG. 23 approximately represent an increase that is actually stepped as a linear increase.
- the data is supplied from the read buffer 1802 to the system target decoder 1803 throughout the jump period PRJ. It is necessary to maintain the continuous output of the decoder 1803. As is apparent from FIG. 23, if the size of the first extent 2101A is at least equal to the amount of data transferred from the read buffer 1802 to the system target decoder 1803 over the read period PR1 and the jump period PRJ, the jump The accumulated data amount DA does not reach 0 during the period PRJ. That is, the read buffer 1802 does not cause an underflow.
- the system target decoder 1803 can maintain the continuous output of the video data during the jump period PRJ, and the video can be seamlessly reproduced from the video data. Therefore, for seamless playback of video, the size S ext of the first extent 2101A only needs to satisfy the following equation (1):
- the jump time T jump represents the length of the jump period PRJ in seconds.
- the read speed R ud represents the data read speed from the BD-ROM disc 101 to the read buffer 1802 in bits / second.
- the average transfer rate R ext represents the average transfer rate in bits / second when the source packet included in each extent is transferred from the read buffer 1802 to the system target decoder 1803.
- the reason why the average transfer rate R ext is divided by the number “8” in the second line of the formula (1) is to convert the unit of the extent size S ext from bit to byte. That is, the extent size S ext is expressed in bytes.
- the function CEIL () means an operation of rounding up the fractional part of the numerical value in parentheses.
- the lower limit value of the extent size S ext represented by the right side of Expression (1) is referred to as “minimum extent size”.
- the average transfer rate R ext is evaluated by using a value obtained by dividing the extent size expressed in bits by the extent ATC time.
- the “extent ATC time” represents the range of ATS given to each source packet in the extent, that is, the time interval from the ATS of the first source packet of the extent to the ATS of the first source packet of the next extent. Defined as the value of ATC. Therefore, the extent ATC time is equal to the time required to transfer the entire data included in the extent from the read buffer 1802 to the system target decoder 1803.
- the maximum value of the jump time T jump at which seamless playback is possible is limited. That is, even if the accumulated data amount DA is full in the read buffer 1802, if the jump time T jump is too long because the jump distance to the next extent is excessive, the accumulated data amount DA during the jump period PRJ. May reach 0 and the data in the read buffer 1802 may be exhausted. If so, the video data output from the system target decoder 1803 is interrupted, and seamless playback cannot be realized.
- FIG. 24 is a table showing an example of the relationship between the jump distance S jump and the jump time T jump defined for the BD-ROM disc.
- the jump times T jump are 250 msec, 300 msec, 350 msec, 700 msec, and 1400 msec, respectively.
- the minimum extent size is calculated according to the definition of FIG. Further, based on the minimum extent size, the AV stream file is divided into a plurality of extents and arranged on the BD-ROM disc 101. With such a BD-ROM disc 101, the BD-ROM drive 1801 of the playback device 102 can seamlessly play back video from the BD-ROM disc 101 in accordance with the rules of FIG.
- the BD-ROM disc 101 is a multi-layer disc and the recording layer of the reading source is switched to another recording layer, in addition to the jump time T jump specified in FIG. An additional 350 milliseconds is required for the switching operation.
- this time is referred to as “layer switching time”. Therefore, when there is a layer boundary between the two extents to be read in succession, based on the sum of the inter-jump time T jump and Sosetsu-over corresponding to the jump distance S jump between these extents, the minimum extent The size is determined.
- the extent at the end of the part located in the front on the playback path and the arrangement of the first extent in the portion located later should satisfy the following condition.
- the size of the end extent is at least equal to the minimum extent size calculated from the jump distance to the head extent.
- the jump distance does not exceed the maximum jump distance.
- FIG. 25 is a schematic diagram showing an example of the physical arrangement of each extent when 2D video is successively reproduced sequentially from three different portions 2511 to 2513 of the AV stream file.
- the playlist file 2500 includes three pieces of play item information (PI # 1-3) 2501 to 2503.
- the playback section defined by each play item information 2501-2503 is the whole of three different portions 2511-2513.
- Each portion 2511-2513 is recorded on the track 202 of the BD-ROM disc 101 by being divided into a plurality of extents 2521A, 2521B, 2522A, 2522B, 2523,.
- the sizes of the extents 2521A and 2521B are at least equal to the minimum extent size for each.
- the minimum extent size for the first extent 2521A is calculated from the jump distance G1 from the extent 2521A to the next extent 2521B.
- the minimum extent size for the end extent 2521B is calculated from the jump distance G2 from the extent 2521B to the first extent 2522A of the second portion 2512. Furthermore, neither jump distance G1 nor G2 exceeds the maximum jump distance.
- the sizes of the extents 2522A and 2522B are at least equal to the minimum extent size for each, and each minimum extent size is calculated from the jump distances G3 and G4 between the extents. Furthermore, neither jump distance G3 nor G4 exceeds the maximum jump distance.
- the read buffer 1802 can supply data to the system target decoder 1803 without causing underflow during any jump period. Accordingly, during any jump period, the system target decoder 1803 can continue the decoding process and maintain a continuous output of the decoded video data. In this way, 2D video can be seamlessly reproduced from the portions 2511-2513.
- 3D video playback methods are roughly classified into two methods: a method using holography technology and a method using parallax video.
- the feature of the method using the holography technology is that by giving almost the same information as the optical information given to human vision from a real three-dimensional object to the viewer's vision, the object in the image is given to the viewer. It is in the point which shows in three dimensions.
- the technology of using this method for displaying moving images has been established theoretically.
- a computer capable of processing enormous operations in real time, which is necessary for displaying the moving image, and a display device with an ultra-high resolution of several thousand per mm are still very difficult to realize with current technology. difficult. Therefore, at present, there is almost no prospect of commercializing this method for commercial use.
- parallax image refers to a pair of 2D images that appear in each eye of a viewer viewing a scene, that is, a pair of a left view and a right view.
- a feature of the method using the parallax image is that a left view and a right view of one scene are reproduced so as to be visible only to each eye of the viewer, so that the viewer can see the scene three-dimensionally.
- FIG. 26 is a schematic diagram for explaining the principle of playback of 3D video (stereoscopic video) by a method using parallax video.
- FIG. 26A is a view of the viewer 2601 looking from above the cube 2602 placed in front of the face.
- FIGS. 26B and 26C respectively show the appearance of the cube 2602 that can be seen by the viewer 2601 at the left eye 2601L and the right eye 2601R as a 2D image.
- the appearance of each visible cube 2602 is slightly different. From this difference in appearance, that is, binocular parallax, the viewer 2601 can recognize the cube 2602 three-dimensionally.
- a left and right 2D image having different viewpoints for example, a cube 2602 shown in FIG.
- the position of each viewpoint is determined from the binocular parallax of the viewer 2601.
- each 2D video is reproduced so as to be visible only to the viewers 2601's eyes. Accordingly, the viewer 2601 can see the scene reproduced on the screen, that is, the image of the cube 2602 in three dimensions.
- the method using the parallax image is advantageous in that it is only necessary to prepare a 2D image that can be viewed from at most two viewpoints.
- each lens is formed of, for example, a liquid crystal panel.
- Each lens alternately transmits or blocks the light uniformly in its entirety in synchronization with the switching of the 2D image on the screen. That is, each lens functions as a shutter that periodically closes the viewer's eyes. More specifically, during the period in which the left image is displayed on the screen, the shutter glasses allow the left lens to transmit light and the right lens to block light. Conversely, during the period in which the right image is displayed on the screen, the shutter glasses transmit light to the right lens and block light to the left lens. As a result, the viewer's eyes see the left and right video afterimages as a single 3D video.
- the left and right images are alternately displayed at a fixed period. For example, when 24 video frames per second are displayed in 2D video playback, 48 video frames per second are displayed together with left and right video in 3D video playback. Therefore, a display device that can quickly rewrite the screen is suitable for this method.
- the left and right video frames are divided into strip-like small areas that are elongated in the vertical direction, and the small areas of the left and right video frames are alternately arranged in the horizontal direction and displayed simultaneously on one screen.
- the surface of the screen is covered with a lenticular lens.
- the lenticular lens is a single sheet formed by arranging a plurality of elongate eyelid lenses in parallel. Each heel lens extends in the vertical direction on the surface of the screen.
- a vertically polarized filter may be installed in the display area of the left video frame, and a horizontally polarized filter may be installed in the display area of the right video frame.
- a longitudinal polarization filter is installed on the left lens, and a lateral polarization filter is installed on the right lens. Accordingly, since the left and right images are visible only to the viewer's eyes, the viewer can be shown a 3D image.
- the 3D video content may be composed of a combination of 2D video and depth map in addition to the case where the 3D video content is composed of a combination of left and right videos from the beginning.
- the 2D video represents a projection from the 3D video to be reproduced to the virtual 2D screen
- the depth map represents the depth of each part of the 3D video with respect to the 2D screen in units of pixels.
- FIG. 27 is a schematic diagram illustrating an example in which a left view 2703L and a right view 2703R are configured from a combination of a 2D video 2701 and a depth map 2702.
- a disk 2711 is displayed in the background 2712.
- the depth map 2702 indicates the depth of each part in the 2D video 2701 for each pixel.
- the depth of the display area 2721 of the disk 2711 is in front of the screen, and the depth of the display area 2722 of the background 2712 is deeper than the screen.
- the parallax video generation unit 2700 first calculates the binocular parallax of each part in the 2D video 2701 from the depth of each part indicated by the depth map 2702. Next, the parallax video generation unit 2700 configures the left view 2703L and the right view 2703R by moving the display position of each part in the 2D video 2701 to the left and right according to the calculated binocular parallax.
- the parallax image generation unit 2700 displays the display position of the disk 2731L in the left view 2703L with respect to the display position of the disk 2711 in the 2D image 2701, half of the binocular parallax S1.
- the display position of the disk 2731R in the right view 2703R is moved to the left by half S1 of the binocular parallax.
- the parallax video generation unit 2700 moves the display position of the background 2732L in the left view 2703L to the left by half S2 of the binocular parallax with respect to the display position of the background 2712 in the 2D video 2701,
- the display position of the background 2732R is moved to the right by half S2 of the binocular parallax. Thereby, the viewer can see the background 2712 behind the screen.
- a 3D video playback system using a parallax video method has already been established and generally used for movie theaters and amusement park attractions. Therefore, this method is also effective for practical use of a home theater system capable of reproducing 3D video.
- a continuous separation method or a method using polarized glasses is assumed.
- the present invention is applicable to other methods than those methods as long as they use parallax images. It will be apparent to those skilled in the art from the description of the embodiments described below.
- the data structure of each file related to playback of 3D video content in the file group in the BDMV directory 242 shown in FIG. 2 will be described.
- the basic part of the data structure is the same as the data structure of the 2D video content shown in FIG. 2-17. Therefore, in the following, an extended part and a changed part from the data structure of the 2D video content will be described, and the above description is used for the basic part.
- FIG. 28 is a schematic diagram showing the relationship between the movie object MVO-3D and the BD-J object BDJO-3D related to the playback of 3D video described in the index table 310, and the three types of playlist files 243A-C. It is.
- the first playlist file (00001.mpls) 243A is a 2D playlist file.
- the second playlist file (00002.mpls) 243B and the third playlist file (00003.mpls) 243C are 3D playlist files.
- the item “title 3” and the item “title 4” are assigned to the title of the 3D video.
- the movie object MVO-3D associated with the item “title 3” has one of the other two 243B and 243C in addition to a command group related to 2D video playback processing using the first playlist file 243A. It includes a command group related to the playback processing of the 3D video used.
- the application management table includes other Java application programs related to 2D video playback processing using the first playlist file 243A, as well as other A Java application program relating to 3D video playback processing using either one of the two 243B or 243C is defined.
- the playback device 102 calls and executes the movie object MVO-3D with reference to the item “title 3” in the index table 310.
- the playback device 102 first performs the following four types of discrimination processing: (1) Whether the playback device 102 itself supports playback of 3D video, or (2) the user selects playback of 3D video. (3) whether or not the display device 103 supports 3D video playback, and (4) the 3D video playback mode of the playback device 102 is either L / R mode or depth mode. Is it there?
- L / R (left / right) mode means a mode for playing 3D video from a combination of a left-view stream file and a right-view stream file, and is referred to as “depth mode”.
- depth mode Means a mode for reproducing 3D video from a combination of a 2D AV stream file and a depth map AV stream file.
- FIG. 29 is a flowchart of a process for selecting a playlist file to be played back when a 3D video title is selected.
- the selection process is executed according to the movie object MVO-3D.
- the selection process is executed according to the Java application program defined in the BD-J object BDJO-3D.
- the SPRM shown in FIG. 19 further includes the following two types of flags: (A) “The playback device 102 can support only playback of 2D video. A flag for identifying whether or not 3D video playback is possible, and (B) “3D video playback mode of playback device 102 is either L / R mode or depth mode” Flag to identify "is there". Specifically, it is assumed that SPRM (24) includes flag (A) and SPRM (25) includes flag (B). Furthermore, it is assumed that the value of each flag indicates the following items: When SPRM (24) is “0”, the playback device 102 can support only playback of 2D video, and is “1”. Can also support 3D video playback. When SPRM (25) is “0”, the 3D video playback mode of the playback device 102 is L / R mode, and when it is “1”, it is depth mode.
- step S2901 the playback device 102 checks the value of SPRM (24). If the value is 0, processing proceeds to step S2905. If the value is 1, the process proceeds to step S2902.
- step S2902 the playback device 102 displays a menu on the display device 103, and causes the user to select playback of either 2D video or 3D video.
- the process proceeds to step S2905.
- the process proceeds to step S2903.
- step S2903 the playback device 102 checks whether the display device 103 supports 3D video playback. Specifically, the playback device 102 exchanges CEC messages with the display device 103 via the HDMI cable 122, and inquires of the display device 103 whether the display device 103 supports 3D video playback. When the display device 103 does not support 3D video reproduction, the process proceeds to step S2905. When the display apparatus 103 supports the 3D video reproduction, the process proceeds to step S2904.
- step S2904 the playback device 102 checks the value of SPRM (25). When the value is 0, the process proceeds to step S2906. When the value is 1, the process proceeds to step S2907.
- step S2905 the playback device 102 selects the first playlist file 243A as a playback target. At that time, the playback device 102 may cause the display device 103 to display the reason why playback of 3D video is not selected.
- step S2906 the playback device 102 selects the second playlist file 243B as a playback target.
- step S2907 the playback device 102 selects the third playlist file 243C as a playback target.
- FIG. 30 is a schematic diagram showing an example of each structure of the first playlist file 243A and the second playlist file 243B.
- the first AV clip group 3001 is composed of portions LCL1-3 in the first AV stream file 245A.
- the second AV clip group 3002 includes a portion RCL1-3 in the second AV stream file 245B.
- Both the main path 3003 of the first playlist file 243A and the main path 3004 of the second playlist file 243B include three pieces of play item information # 1-3. Any play item information # 1-3 defines a playback section in the first AV clip group 3001.
- the second playlist file 243B further includes a sub path 3005.
- the sub path 3005 includes three sub play item information # 1-3, and each sub play item information # 1-3 defines a playback section in the second AV clip group 3002.
- the sub play item information # 1-3 has a one-to-one correspondence with the play item information # 1-3.
- the length of the playback section of each sub play item information is equal to the length of the playback section of the corresponding play item information.
- Subpath 3005 further includes subpath type 3006.
- “sub-path type” indicates whether or not the reproduction processing should be synchronized between the main path and the sub-path.
- the value of the subpath type 3006 is “3D ⁇ L / R”. The value indicates that the sub-path 3005 is to be used for 3D video playback in the L / R mode, and particularly defines the playback path of the right-view stream file.
- the playback device 102 plays back 2D video from the first AV clip group 3001 according to the main path 3003.
- the playback device 102 executes playback of 3D video in the L / R mode.
- the playback device 102 plays back the left view from the first AV clip group 3001 according to the main path 3004 of the second playlist file 243B, and plays the right view from the second AV clip group 3002 according to the sub path 3005.
- the playback device 102 detects that the value of the sub path type 3006 is “3D ⁇ L / R”, and synchronizes the playback processing between the main path 3004 and the sub path 3005. In this way, 3D video playback in the L / R mode is performed.
- the first AV clip group 3001 is shared by 2D video playback and 3D video playback in the L / R mode.
- Each play item information of the second playlist file 243B includes a 2D / left-view stream entry and a right-view stream entry in the stream selection table 1505 shown in FIG. Have been added.
- the contents of the stream entry 1509 such as the frame rate, resolution, and video format, are the same for the 2D / left-view stream and the right-view stream.
- the stream entry 1509 may further include a flag for identifying the 2D / left view stream and the right view stream.
- FIG. 31 is a schematic diagram showing an example of each structure of the first playlist file 243A and the third playlist file 243C.
- the first AV clip group 3101 is composed of a portion LCL1-3 in the first AV stream file 245A.
- the third AV clip group 3102 includes a portion DCL1-3 in the third AV stream file 245C.
- Both the main path 3103 of the first playlist file 243A and the main path 3104 of the third playlist file 243C include three pieces of play item information # 1-3. Any play item information # 1-3 defines a playback section in the first AV clip group 3101.
- the third playlist file 243C further includes a sub path 3105.
- the sub path 3105 includes three sub play item information # 1-3, and each sub play item information # 1-3 defines a playback section in the third AV clip group 3102.
- the sub play item information # 1-3 has a one-to-one correspondence with the play item information # 1-3.
- the length of the playback section of each sub play item information is equal to the length of the playback section of the corresponding play item information.
- the value of the sub-path type 3106 is “3D depth”. The value indicates that the sub path 3105 is to be used for 3D video playback in the depth mode, and in particular specifies the playback path of the depth map AV stream file.
- the playback device 102 plays back 2D video from the first AV clip group 3101 according to the main path 3103.
- the playback device 102 executes playback of 3D video in the depth mode.
- the playback device 102 plays back 2D video from the first AV clip group 3101 according to the main path 3104 of the third playlist file 243C, and plays back the depth map from the third AV clip group 3102 according to the sub path 3105.
- the playback device 102 detects that the value of the sub path type 3006 is “3D depth”, and synchronizes the playback processing between the main path 3104 and the sub path 3105.
- the playback device 102 further generates a pair of a left view and a right view from the played back 2D video and the depth map.
- the 3D video is reproduced in the depth mode.
- the third AV clip group 3102 is used in combination with the first AV clip group 3101.
- a stream entry of a depth map stream is added in the stream selection table 1505 shown in FIG.
- the contents of the stream entry 1509 are common to the primary video stream and the depth map stream.
- the stream entry 1509 may further include a flag for identifying the primary video stream and the depth map stream.
- FIG. 32 is a schematic diagram showing another example of each structure of the first playlist file 243A and the 3D playlist file 3200.
- the first AV clip group 3201 includes a portion LCL1-3 in the first AV stream file 245A.
- the second AV clip group 3202R is composed of a portion RCL1-3 in the second AV stream file 245B.
- the third AV clip group 3202D is composed of portions DCL1-3 in the third AV stream file 245C.
- the main path 3103 of the first playlist file 243A and the main path 3204 of the 3D playlist file 3200 each include three pieces of play item information # 1-3. Any play item information # 1-3 defines a playback section in the first AV clip group 3201.
- the 3D playlist file 3200 is different from both the second playlist file 243B and the third playlist file 243C, and includes two types of sub-paths.
- the sub path type 3206R is “3D ⁇ L / R”, and each sub play item information # 1-3 defines a playback section in the second AV clip group 3202R.
- the sub path type 3206D is “3D depth”, and each sub play item information # 1-3 defines a playback section in the third AV clip group 3202D.
- Each sub play item information # 1-3 has a one-to-one correspondence with play item information # 1-3.
- the length of the playback section of each sub play item information is equal to the length of the playback section of the corresponding play item information.
- the playback target is switched between the two types of sub-paths 3205R and 3205D, so that the playback device 102 changes its playback mode to L / R mode and depth. You can switch between modes. In particular, the switching process can be realized more quickly than the switching process between the second playlist file 243B and the third playlist file 243C.
- the 3D playlist file may include a plurality of sub-paths having the same sub-path type.
- the STREAM directory of the BD-ROM disc 101 may include two or more types of right-view stream files for one left-view stream file.
- the 3D playlist file is provided with a plurality of subpaths having the subpath type “3D ⁇ L / R”. These sub-paths individually define the playback path of each right-view stream file.
- two or more types of depth map AV stream files may be included in one 2D AV stream file.
- the 3D playlist file is provided with a plurality of subpaths whose subpath type is “3D depth”. These sub-paths individually define the playback path of each depth map AV stream file.
- the sub-path to be played is quickly switched according to, for example, the user's operation, so that the binocular parallax can be achieved without substantially interrupting the 3D video. Can be changed. Thereby, the user can easily select a desired 3D image with binocular parallax.
- 33 (a) and 33 (b) are schematic diagrams showing elementary streams multiplexed in the second AV stream file 245B and the third AV stream file 245C, respectively.
- both the second AV stream file 245B and the third AV stream file 245C include only primary video streams 3321 and 3331.
- the primary video stream 3321 in the second AV stream file 245B represents a right-view stream
- the primary video stream 3331 in the third AV stream file 245C represents a depth map stream.
- FIG. 34 is a schematic diagram showing pictures 3411-3414 included in the left-view stream 3410, and pictures 3421-3424 included in the right-view stream 3420 in the order of display time.
- Each picture 3411-3414, 3421-3424 represents one frame or one field of video data.
- each picture 3411-3414 in the left view stream 3410 is compressed by inter-picture predictive coding.
- the encoding method is exactly the same as the encoding method of each picture in the video stream 600 shown in FIG. Specifically, first, the top picture of the GOP is compressed into an I 0 picture 3411 by intra-picture coding. Here, the subscript number indicates a serial number assigned to each picture in order of display time. Next, the fourth picture is compressed into a P 3 picture 3414 using the I 0 picture 3411 as a reference picture, as indicated by an arrow in FIG.
- the second and third pictures are compressed into a Br 1 picture 342 and a Br 2 picture 3413, respectively, using the previous I 0 picture 3411 and the subsequent P 3 picture 3414 as reference pictures.
- the “Br picture” refers to a B picture that is used as a reference picture in inter-picture predictive coding for other pictures.
- Each picture 3421-3424 in the right-view stream 3420 is compressed by inter-picture predictive coding. However, unlike the encoding method of each picture 3411-3414 in the left-view stream 3410, the encoding method also uses redundancy between the left and right images in addition to the redundancy in the time direction of the images. To do. That is, the reference picture of each picture 3421-3424 is selected not only from the same stream 3420 but also from the left-view stream 3410, as indicated by the arrows in FIG. Each picture 3421-3424 in the right-view stream 3420 and its reference picture selected from the left-view stream 3410 have substantially the same display time. That is, each picture represents a right view and a left view of the same scene of 3D video.
- the first picture in the right-view stream 3420 is compressed into a P 0 picture 3421 using the I 0 picture 3411 in the left-view stream 3410 as a reference picture.
- the fourth picture is compressed into a P 3 picture 3424 using the P 0 picture 3421 and the P 3 picture 3414 in the left view stream 3410 as reference pictures.
- the second picture is compressed into a B 1 picture using the Br 1 picture 3412 in the left view stream 3410 as a reference picture.
- the third picture is compressed into a B 2 picture using the Br 2 picture 3413 in the left view stream 3410 as a reference picture.
- MPEG-4 AVC / H. H.264 modified standards are known.
- MVC was established in July 2008 by JVT (Joint Video Team), a joint project between ISO / IEC MPEG and ITU-T VCEG, and is used to encode videos that can be viewed from multiple viewpoints. Is the standard.
- JVT Joint Video Team
- MVC not only the similarity in the temporal direction of video but also the similarity between videos with different viewpoints is used for inter-picture predictive coding.
- the video compression rate is higher than the predictive coding in which the video viewed from each viewpoint is individually compressed.
- each picture in the left-view stream 3410 is used as a reference picture for compression of each picture in the right-view stream 3420. Therefore, unlike the left-view stream 3410, the right-view stream 3420 cannot be decoded alone. However, since the correlation between the left view and the right view is high, each picture in the right view stream 3420 is generally significantly more compressed than each picture in the left view stream 3410, i.e., the amount of data. Is remarkably small.
- Each picture in the depth map stream is compressed by inter-picture predictive coding that is exactly the same as the coding method of each picture in the video stream 600 shown in FIG.
- the encoding method is equal to the encoding method of the right-view stream.
- the depth map stream is also encoded in the MVC format. In this case, the depth map stream cannot be decoded alone, as in the right view stream.
- the playback device 102 can smoothly switch between the right-view stream and the depth map stream when the 3D video playback mode is switched between the L / R mode and the depth mode.
- a video stream that can be decoded independently and used for playback of a planar view video such as a left-view stream 3410
- a base-view stream an AV stream file including a base view stream
- a base view stream file an AV stream file including a base view stream
- a base view stream is required for decoding, and a video stream used for stereoscopic video playback is combined with the base-view stream. It is called “Dependent View Stream”.
- an AV stream file including a dependent view stream is referred to as a “dependent view stream file”.
- FIG. 35 is a schematic diagram showing the relationship between the PTS and DTS assigned to each picture of the base-view stream 3501 and the dependent-view stream 3502.
- the same PTS and the same DTS are assigned to a pair of pictures used to display the same frame or field of 3D video.
- the top frame or field of the 3D video is reproduced from the combination of the I 1 picture 3511 of the base view stream 3501 and the P 1 picture 3521 of the dependent view stream 3502. Therefore, in these picture pairs 3511 and 3521, PTS is equal and DTS is equal.
- the subscript number indicates a serial number assigned to each picture in the order of DTS.
- each video stream 3501, 3502 ie P 2 picture 3512 and P 2 picture 3522, have the same PTS and the same DTS.
- the third picture of each video stream 3501, 3502 that is, the Br 3 picture 3513 and the B 3 picture 3523, the PTS and the DTS are equal. The same applies to the Br 4 picture 3514 and the B 4 picture 3524.
- one video access unit is provided for each picture in the GOP constituting both the actual base-view stream and the dependent-view stream. It is configured.
- the sequence header includes the same resolution, the same frame rate, and the same aspect ratio. .
- the frame rate is equal to the value when the base-view stream is decoded alone by the 2D playback device.
- a pair of video access units including pictures having the same PTS and the same DTS between the base-view stream 3501 and the dependent-view stream 3502 is referred to as a “3D video access unit”.
- the decoder of the 3D playback device causes the base-view stream 3501 and the dependent-view stream 3502 to be processed in parallel in units of 3D video access units. Can be easily done. This ensures that a pair of pictures to be used to display the same frame or field of 3D video is processed in parallel by the decoder.
- FIG. 36 is a schematic diagram showing a data structure of the video access unit 3600 in the left view stream, the right view stream, and the depth map stream.
- the video access unit 3600 further includes decoding switch information 3601 in addition to the data structure shown in FIG.
- the decoding switch information 3601 is stored in the supplement data 711D, that is, in the SEI message in MPEG-4 AVC.
- the decoding switch information 3601 is information for allowing the decoder of the 3D playback device to easily specify the video access unit to be decoded.
- the decoder of the 3D playback device alternately decodes the base-view stream and the dependent-view stream in units of video access units.
- each video access unit includes decoding switch information 3601 in addition to the DTS.
- the decryption switch information 3601 includes a next access unit type 3602, a next access unit size 3603, and a decryption counter 3604.
- the next access unit type 3602 indicates whether a video access unit to be decoded next belongs to a base-view stream or a dependent-view stream. For example, when the value of the next access unit type 3602 is “1”, the video access unit to be decoded next belongs to the base view stream, and when it is “2”, the dependent view type Belongs to a stream. When the value of the next access unit type 3602 is “0”, the current video access unit is located at the end of the stream to be decoded, and there is no video access unit to be decoded next.
- the next access unit size 3603 indicates the size of the video access unit to be decoded next.
- the decoder in the 3D playback device can specify the size without analyzing the structure of the video access unit itself. Thus, the decoder can easily extract the video access unit from the buffer.
- the decoding counter 3604 indicates the order in which the video access unit to which it belongs is decoded. The order is counted from the video access unit that contains the I picture in the base view stream.
- FIG. 37 is a schematic diagram showing decoding counter values 3604A and 3604B assigned to the pictures of the base-view stream 3701 and the dependent-view stream 3702. As shown in FIGS. 37A and 37B, there are two ways of assigning the values.
- the decoding counter values 3604A and 3604B are alternately incremented between the base-view stream 3701 and the dependent-view stream 3702. For example, “1” is assigned as the decoding counter value 3604A to the I picture 3711 in the base-view stream 3701. Next, “2” is assigned as the decoding counter value 3604B to the P picture 3721 in the dependent-view stream 3702 to be decoded. Furthermore, “3” is assigned as the decoding counter value 3604A to the P picture 3712 in the base view stream 3701 to be decoded next.
- the decoder can immediately identify the missing picture from the decoding counter values 3604A and 3604B. it can. Therefore, the decoder can perform error processing appropriately and quickly.
- the decoder reads and holds the decoding counter value 3604B of the video access unit in the decoding process of the P picture 3722 included in the second video access unit of the dependent-view stream 3702. Accordingly, the decoder can predict the decoding counter value 3604A of the video access unit to be processed next. More specifically, the decoding counter value 3604B in the video access unit including the P picture 3722 is “4”. Accordingly, the decoding counter value 3604A of the video access unit to be read next is predicted to be “5”.
- the decoding counter value 3604A is “7”. Therefore, the decoder can detect that one video access unit has been missed. Therefore, the decoder performs an error such as “the B picture 3723 extracted from the third video access unit of the dependent view stream 3702 is skipped because the Br picture 3713 to be referred to is missing”. Processing can be executed. In this way, the decoder checks the decoding counter values 3604A and 3604B for each decoding process. Thereby, the decoder can quickly detect a video access unit reading error and can perform appropriate error processing quickly. As a result, it is possible to prevent noise from being mixed into the reproduced video.
- the decoding counter values 3604C and 3604D are incremented for each of the video streams 3701 and 3702. Accordingly, the decoding counter values 3604C and 3604D are equal between a pair of pictures in the same 3D video access unit.
- the decoder decodes one video access unit of the base-view stream 3701 “the value 3604C of the decoding counter is the video access unit of the dependent-view stream 3702 to be decoded next. Is equal to the decoding counter value 3604D ”.
- the decoder decodes one video access unit of the dependent-view stream 3702 “the value obtained by adding 1 to the decoding counter value 3604D is the base-view stream 3701 to be decoded next.
- the decoding counter value of the video access unit is equal to 3604C ”. Therefore, the decoder can quickly detect a video access unit reading error from the decoding counter values 3604C and 3604D at any time, and can execute appropriate error processing quickly. As a result, it is possible to prevent noise from being mixed into the reproduced video.
- 38 (a) and 38 (b) are schematic diagrams showing the data structures of a base view / clip information file 3801 and a dependent view / clip information file 3802, respectively.
- the “base view clip information file” is a clip information file to be associated with the base view stream file, and corresponds to a 2D / left view clip information file in this embodiment.
- the “dependent view clip information file” is a clip information file to be associated with the dependent view stream file. In this embodiment, it corresponds to a right view clip information file and a depth map clip information file.
- Each clip information file 3801 and 3802 includes clip information 3811 and 3821, stream attribute information 3812 and 3822, and entry maps 3813 and 3823, similarly to the 2D clip information file shown in FIG.
- the base view clip information file 3801 further includes 3D metadata 3814.
- conditions are imposed on the stream attribute information 3822 of the dependent view clip information file 3802, and information is added to the entry map 3823.
- FIG. 39 is a schematic diagram showing the data structure of 3D metadata 3814.
- the 3D metadata 3814 is information used for the cropping process for each of the PG stream, the IG stream, and the secondary video stream multiplexed in the base-view stream file.
- “Cropping processing” refers to processing for giving a sense of depth to 2D video played back from each stream. In the processing, a pair of a left view and a right view is generated by displacing each 2D video image in the horizontal direction. The amount of displacement at that time corresponds to binocular parallax that produces a sense of depth to be given to the 2D video.
- the 3D metadata 3814 includes a value representing the amount of displacement in the number of pixels, that is, an “offset value”.
- the 3D metadata 3814 includes a table 3901 for each PID of the PG stream, the IG stream, and the secondary video stream.
- Each table 3901 generally describes a plurality of pairs of PTS 3902 and offset values 3903.
- the PTS 3902 indicates the display time of one frame or field in the PG stream, IG stream, and secondary video stream.
- the offset value 3903 represents an offset value for the frame or field to which the PTS 3902 is assigned.
- the offset value 3903 may be a negative value.
- a pair 3904 of the PTS 3902 and the offset value 3903 is referred to as an “offset entry”. The valid interval of each offset entry is from the PTS of the offset entry to the PTS of the next offset entry. In the example of FIG.
- the PTS of offset entry # 1 is 180000
- the PTS of offset entry # 2 is 270000
- the PTS of offset entry # 3 is 360000.
- the offset value “+5” of the offset entry # 1 is valid in the STC range 3904A from 180000 to 270000
- the offset entry # 2 The offset value “+3” is valid in the STC range 3904B from 270000 to 360000.
- the dependent view stream is compressed using the base view stream. Therefore, the dependent-view stream has the same base-view stream and video stream attributes.
- the entry map 3823 includes a table 4001 assigned to the dependent view stream.
- the table 4001 includes an entry map header 4011 and a plurality of entry points 4012.
- the entry map header 4011 indicates the PID of the dependent view stream assigned to the table 4001, that is, 0x1012 or 0x1013.
- Each entry point 4012 associates a pair of PTS 4013 and SPN 4014 with one EP_ID 4016.
- the PTS 4013 is equal to the PTS of the first picture of any GOP included in the dependent-view stream.
- the SPN 4014 is equal to the first SPN of the source packet group in which the picture is stored.
- the PTS 4013 of the entry point 4012 is equal to the PTS of the entry point in the table assigned to the base view stream in the entry map 3813 of the base view clip information file 3801. That is, whenever an entry point is set at the beginning of a source packet group including one of a pair of pictures included in the same 3D video access unit, an entry point is also present at the beginning of the source packet group including the other. Is set.
- FIG. 41 is a schematic diagram showing examples of entry points set in the base-view stream 4110 and the dependent-view stream 4120.
- GOPs in the same order counted from the beginning represent videos in the same reproduction period.
- entry points 4101B, 4103B, and 4105B are set at the heads of the first GOP # 1, the third GOP # 3, and the fifth GOP # 5.
- entry points 4101D, 4103D, and 4105D are set at the heads of the first GOP # 1, the third GOP # 3, and the fifth GOP # 5. .
- the 3D playback apparatus starts to jump-play 3D video from GOP # 3
- the SPN at the head of the source packet group to be played back can be immediately obtained from the corresponding entry points 4103B and 4103D.
- the response speed of processing that requires random access to the video stream, such as dive playback can be improved also in playback of 3D video.
- each entry point 4012 further includes an extent start flag 4015.
- the extent start flag 4015 indicates that the source packet specified by the SPN 4014 of the same entry point 4012 among the source packet group storing the dependent view stream is the head of one of the extents on the BD-ROM disc 101.
- FIG. 40B is a schematic diagram showing the relationship between the SPN indicated by the entry point and the extent on the BD-ROM disc 101.
- the value of the extent start flag 4015 is “1”.
- the SPN 4014 value “3” of the same entry point indicates the SPN of the source packet located at the head of the first extent 4022 on the track 202 of the disk 101.
- the value of the extent start flag 4015 is “0”.
- the value “1500” of the SPN 4014 indicates the SPN of the source packet recorded in the portion other than the top of the first extent 4022.
- the value of the extent start flag 4015 is “1”.
- the 3D playback device can determine the size of the first extent 4022 from the size of the range.
- the 3D playback device can specify the range to be read to the BD-ROM drive without obtaining the logical address range of the first extent 4022 from the file system in the reading process of the first extent 4022. Thereby, the 3D playback device can quickly execute the reading process. Further, the entry point 4012 is always set to the source packet group in which the dependent-view stream is stored at the head of each extent on the BD-ROM disc 101. Therefore, the 3D playback device can quickly execute the reading process of any extent.
- the same extent start flag is included in each entry point in the entry map of the base view clip information file 3801. Therefore, the 3D playback device can acquire the size of each extent in which the base view stream is stored from the extent start flag 4015. Therefore, the 3D playback device can quickly read the extents from the BD-ROM disc 101.
- each entry map header 4011 includes an extent start type.
- the extent start type which of the extent storing the base-view stream and the extent storing the dependent-view stream is placed on the track 202 of the BD-ROM disc 101 is placed in front. Indicates. Therefore, the 3D playback device can easily determine which of the video streams is to be read first from the BD-ROM drive by referring to the extent start type.
- a configuration necessary for the playback device 102 to play back the 3D video content from the BD-ROM disc 101 that is, a configuration required as a 3D playback device
- the basic part of the configuration is the same as that of the 2D playback device shown in FIGS. 18-20. Therefore, hereinafter, an extended part and a changed part from the configuration of the 2D playback device will be described, and the description of the 2D playback device will be used for the basic part.
- the configuration used for 2D video playback processing according to the 2D playlist file that defines the playback path of 2D video that is, 2D playlist playback processing
- FIG. 42 is a functional block diagram of the 3D playback device 4200.
- the 3D playback device 4200 includes a BD-ROM drive 4201, a playback unit 4200A, and a control unit 4200B.
- the playback unit 4200A includes a switch 4212, a first read buffer 4221, a second read buffer 4222, a system target decoder 4203, and a plane adder 4210.
- the control unit 4200B includes a dynamic scenario memory 4204, a static scenario memory 4205, a program execution unit 4206, a playback control unit 4207, a player variable storage unit 4208, and a user event processing unit 4209.
- the reproduction unit 4200A and the control unit 4200B are mounted on different integrated circuits.
- both may be integrated into a single integrated circuit.
- the dynamic scenario memory 4204, the static scenario memory 4205, the program execution unit 4206, and the user event processing unit 4209 are the same as those in the 2D playback device shown in FIG. Accordingly, the description of the 2D playback device is cited for details thereof.
- the BD-ROM drive 4201 includes the same components as those in the 2D playback device 1801 shown in FIG. Read data. Among the data, the AV stream file is selectively transferred from the BD-ROM drive 4201 to either the first read buffer 4221 or the second read buffer 4222. Specifically, first, the BD-ROM drive 4201 alternately receives a read request for each of the base-view stream file and the dependent-view stream file from the reproduction control unit 4207 in units of extents. In response to these requests, the BD-ROM drive 4201 alternately transfers extents belonging to each AV stream file to the switch 4212.
- the switch 4212 sends out those extents belonging to the base-view stream file to the first read buffer 4221 and sends out those belonging to the dependent-view stream file to the second read buffer 4222. .
- both the base-view stream file and the dependent-view stream file must be transferred to the read buffers 4221 and 4222 in parallel. Therefore, the BD-ROM drive 4201 is required to have an access speed higher than that of the BD-ROM drive 1801 in the 2D playback device.
- Both the first read buffer 4221 and the second read buffer 4222 are buffer memories using memory elements in the playback unit 4200A. In particular, different regions within a single memory device are used as each read buffer 4221, 4222. In addition, different memory elements may be used individually as the read buffers 4221 and 4222, respectively.
- the first read buffer 4221 stores the base view stream file transferred from the BD-ROM drive 4201.
- the second read buffer 4222 stores the dependent-view stream file transferred from the BD-ROM drive 4201.
- the playback control unit 4207 When the playback control unit 4207 is instructed by the program execution unit 4206 or the like to perform 3D playlist playback processing, the playback control unit 4207 first refers to the 3D playlist file stored in the static scenario memory 4205. For example, as shown in FIGS. 30 and 31, the 3D playlist files 243B and 243C define main paths 3004 and 3104 and sub-paths 3005 and 3105. Next, the playback control unit 4207 sequentially reads out the play item information # 1-3 from the main paths 3004 and 3104, and uses them to specify the base view stream file portion LCL1-3 in order. .
- the playback control unit 4207 further reads the sub play item information # 1-3 in order from the sub paths 3005 and 3105, and uses them to use the dependent view stream file portion RCL1-3, Specify DCL1-3 in order. Thereafter, the playback control unit 4207 accesses the static scenario memory 4205 and refers to the entry maps 1103 and 3823 shown in FIGS. 13 and 40 among the clip information files associated with each part. As a result, the playback control unit 4207 determines whether the extent at the playback start point is the base view stream file or dependent view stream file from the extent start type described in the entry map headers 1301 and 4011. It is judged whether it belongs to. From the determination result, the playback control unit 4207 determines the initial position of the switch 4212.
- the playback control unit 4207 requests the BD-ROM drive 4201 to alternately read the base view stream file and the dependent view stream file from the playback start point in extent units. In particular, of both AV stream files, reading is requested first from the direction indicated by the above determination result.
- the playback control unit 4207 reads out the 3D metadata 3814 shown in FIG. 39 from the base view clip information file stored in the static scenario memory 4205, and adds a plane addition unit. Transfer to 4210.
- the system target decoder 4203 first alternates between a base-view stream file stored in the first read buffer 4221 and a dependent-view stream file stored in the second read buffer 4222. Read source packets and separate each elementary stream from them by demultiplexing. Next, the system target decoder 4203 individually performs decoding processing on each elementary stream. The system target decoder 4203 further stores the decoded base-view stream, dependent-view stream, secondary video stream, IG stream, and PG stream, respectively, in a built-in dedicated memory, that is, 2D / left video. Write to the plane memory, right video plane memory, sub-video plane memory, IG plane memory, and PG plane memory. Details of the system target decoder 4203 will be described later.
- the player variable storage unit 4208 includes the SPRM shown in FIG. 19 as in the 2D playback device.
- any two of the SPRMs (24) to (32) which are spares in FIG. 19 include the two types of flags (A) and (B), respectively.
- SPRM (24) includes a flag (A)
- SPRM (25) includes a flag (B).
- SPRM (24) is “0”
- the playback device 102 can support only playback of 2D video, and when it is “1”, it can also support playback of 3D video.
- SPRM (25) is “0”
- the 3D video playback mode of the playback device 102 is L / R mode, and when it is “1”, it is depth mode.
- the plane adder 4210 receives 2D / left video plane data, right video plane data, sub-video plane data, IG plane data, PG plane data, and image plane data from the system target decoder 4203. Receive them and superimpose them into one video frame or field. The combined video frame or field is sent to the display device 103 and displayed on the screen.
- FIG. 43 is a functional block diagram of the plane adder 4210.
- the plane addition unit 4210 includes a parallax image generation unit 4320, a switch 4310, four addition units 4311-4314, and four cropping processing units 4321-4324.
- the parallax video generation unit 4320 receives 2D / left video plane data 4301 and right video plane data 4302 from the system target decoder 4203.
- the 2D / left video plane data 4301 represents one video frame or field in the left view stream
- the right video plane data 4302 is a right view. Represents one video frame or field in the stream.
- the parallax video generation unit 4320 sends the 2D / left video plane data 4301 and the right video plane data 4302 as they are to the switch 4310.
- the 2D / left video plane data 4301 represents one video frame or field in the 2D video stream
- the right video plane data 4302 represents the video frame or field. Represents the depth map of.
- the parallax video generation unit 4320 first calculates the binocular parallax of each unit in the video frame or field from the depth map. Next, the parallax video generation unit 4320 moves the display position of each part in the video frame or field to the left or right according to the calculated binocular parallax, and displays the video frame or the left view and the right view respectively. Configure the field.
- the parallax video generation unit 4320 further sends the left and right video frames or fields to the switch 4310 as 2D / left video plane data 4301 and right video plane data 4302.
- the switch 4310 sends 2D / left video plane data 4301 and right video plane data 4302 having the same PTS to the first adder 4311 in that order.
- the first addition unit 4311 alternately receives 2D / left video plane data 4301 and right video plane data 4302 from the switch 4310.
- the first cropping processing unit 4321 alternately receives a pair of sub-picture plane data representing a left view and a right view.
- the first adder 4311 superimposes sub-picture plane data representing the left view on the 2D / left video plane data 4301, and sub-picture planes representing the right view on the right video plane data 4302. Superimpose data.
- the superimposed left and right video plane data are alternately sent to the second adder 4312.
- the second adder 4312 receives the left and right video plane data from the first adder 4311 alternately.
- the second cropping processing unit 4322 alternately receives a pair of PG plane data representing the left view and the right view.
- the second addition unit 4312 superimposes the PG plane data representing the left view on the video plane data representing the left view, and the PG plane representing the right view is superimposed on the video plane data representing the right view. Superimpose data.
- the left and right video plane data after superposition are alternately sent to the third adder 4313.
- the third adder 4313 receives left and right video plane data from the second adder 4312 alternately.
- the third cropping processing unit 4323 alternately receives a pair of IG plane data representing the left view and the right view.
- the third adding unit 4313 superimposes the IG plane data representing the left view on the video plane data representing the left view, and the IG plane representing the right view on the video plane data representing the right view. Superimpose data.
- the superimposed left and right video plane data are alternately sent to the fourth adder 4314.
- the fourth adder 4314 receives the left and right video plane data from the third adder 4313 alternately.
- the fourth cropping processing unit 4324 alternately receives a pair of image plane data representing a left view and a right view.
- the fourth addition unit 4314 superimposes image plane data representing the left view on the video plane data representing the left view, and image image representing the right view on the video plane data representing the right view. Superimpose plane data.
- the superimposed left and right video plane data are alternately sent to the display device 103.
- 2D / left video plane data 4301, right video plane data 4302, sub-video plane data 4303, IG plane data 4304, PG plane data 4305, And the image plane data 4306 are superimposed in that order.
- the video indicated by each plane data is superimposed on the screen of the display device 103 in the order of 2D / left video plane or right video plane, sub-video plane, IG plane, PG plane, and image plane. Is displayed.
- the first cropping processing unit 4321 performs cropping processing on the sub-picture plane data 4303 using the 3D metadata 3814. Thereby, the sub-picture plane data 4303 is converted into a pair of sub-picture plane data representing the left view and the right view, and is alternately transmitted.
- the second cropping processing unit 4322 performs the cropping process on the PG plane data 4304 using the 3D metadata 3814. Thereby, the PG plane data 4304 is converted into a pair of PG plane data representing a left view and a right view, and is alternately transmitted.
- the third cropping processing unit 4323 performs the cropping process on the IG plane data 4305 using the 3D metadata 3814. Thereby, the IG plane data 4305 is converted into a pair of IG plane data representing the left view and the right view, and is alternately transmitted.
- FIG. 44 is a schematic diagram showing a cropping process performed by each of the first cropping processing unit 4321 to the third cropping processing unit 4323.
- a cropping process for the PG plane data 4304 by the second cropping unit 4322 is taken as an example.
- the second cropping unit 4322 searches the table 3901 for an offset entry 3904 that is currently valid, and obtains the offset value 3903.
- the video plane data on which the PG plane data 4304 is to be superimposed is 2D / left video plane data 4301, the second cropping unit 4322, as shown in FIG.
- the position of the PG plane data 4304 is displaced in the horizontal direction by the number of pixels 4401L equal to the acquired offset value with respect to the position of the left video plane data 4301. At that time, if the offset value is positive, the PG plane data 4304 is displaced to the right, and if it is negative, the PG plane data 4304 is displaced to the left. Thereafter, the second cropping processing unit 4322 removes the region 4402L of the PG plane data 4304 protruding from the range of the 2D / left video plane data 4301 and superimposes the remaining region 4403L on the 2D / left video plane data 4301. To do.
- the second cropping unit 4322 positions the right video plane data 4302.
- the position of the PG plane data 4304 is displaced in the horizontal direction by the number of pixels 4401R equal to the offset value.
- the PG plane data 4304 is displaced to the left if the offset value is positive, and to the right if the offset value is negative.
- the second cropping processing unit 4322 then removes the region 4402R of the PG plane data 4304 that protrudes from the range of the right video plane data 4302, as in the case shown in FIG.
- the region 4403R is superimposed on the right video plane data 4302.
- the first cropping processing unit 4321 performs cropping processing on the sub-picture plane data 4303 in the same manner
- the third cropping processing unit 4323 performs cropping processing on the IG plane data 4305 in the same manner.
- FIG. 45 is a schematic diagram showing the left view and the right view superimposed by the cropping process shown in FIG. 44, and the 3D video perceived by the viewer from them.
- the region 4503L on the left side of the PG plane 4502 is It looks like it overlaps the left image plane 4501L.
- the subtitle 2D video 4504 in the PG plane 4502 appears to be displaced to the right by the offset value 4401L from the original position.
- the right view as shown in FIG.
- the PG plane 4502 is displaced to the left by the offset value 4401R with respect to the right video plane 4501R.
- 4503R appears to overlap the right image plane 4501R.
- the subtitle 2D video 4504 in the PG plane 4502 appears to be displaced to the left by an offset value 4401R from the original position.
- the viewer 4505 sees the subtitle 3D video 4504 in front of the video plane 4506.
- a pair of plane data representing a left view and a right view is created from one plane data by using clipping processing.
- a parallax image can be reproduced. That is, a depth feeling can be given to a planar image.
- the image plane data 4306 is obtained by decoding the graphics data transferred from the program execution unit 4206 to the system target decoder 4203 by the system target decoder 4203. .
- the graphics data is raster data such as JPEG or PNG, and represents a GUI graphics part such as a menu.
- the fourth cropping processing unit 4324 performs cropping processing on the image plane data 4306 in the same manner as the other cropping processing units 4321 to 4323. However, unlike the other cropping processing units 4321 to 4323, the fourth cropping processing unit 4324 reads the offset value from the offset information specified by the program API 4330 instead of the 3D metadata 3814.
- the program API 4330 is executed by the program execution unit 4206. Thereby, offset information corresponding to the depth of the image represented by the graphics data is calculated and passed to the fourth cropping processing unit 4324.
- the plane adder 4210 converts the output format of the plane data synthesized by the four adders 4311-4314 into a 3D video display method by the output device of the data such as the display device 103. Convert together. For example, when the output destination apparatus uses the temporal separation method, the plane adder 4210 transmits the combined plane data as one video frame or field. On the other hand, when the output destination device uses a lenticular lens, the plane adder 4210 uses the built-in buffer memory to combine the left and right video plane data into one video frame or field, and then sends it out. . Specifically, the plane adder 4210 temporarily stores the previously synthesized left video plane data in its buffer memory.
- the plane adder 4210 combines the plane data of the right video and further combines with the plane data of the left video held in the buffer memory.
- the plane data of the left and right images are divided into strip-like small areas that are elongated in the vertical direction, and the small areas are alternately arranged in one frame or field in the horizontal direction to form one frame or Reconstructed into a field. In this way, the plane data of the left and right videos are combined into one video frame or field.
- the plane adder 4210 sends the combined video frame or field to the output destination device.
- FIG. 46 is a functional block diagram of the system target decoder 4203 shown in FIG.
- the components shown in FIG. 46 differ from those of the 2D playback device shown in FIG. 20 in the following two points: (1) The input system from the read buffer to the main video decoder is duplicated. And (2) the main video decoder is a 3D video decoder and can alternately decode the base-view stream and the dependent-view stream.
- the sub video decoder, IG decoder, PG decoder, main audio decoder, sub audio decoder, audio mixer, image processor, and each plane memory are the same as those of the 2D playback device shown in FIG. . Therefore, in the following, among the components shown in FIG. 46, those different from those shown in FIG. 20 will be described, and the description of FIG. 20 will be cited for details of similar components.
- the first source depacketizer 4611 reads the source packet from the first read buffer 4221, extracts the TS packet from the source packet, and sends it to the first PID filter 4613.
- the second source depacketizer 4612 reads the source packet from the second read buffer 4222, extracts the TS packet from the source packet, and sends it to the second PID filter 4614.
- Each source / depacketizer 4611 and 4612 further adjusts the transmission time of each TS packet according to the ATS of each source packet. Since the adjustment method is the same as that of the source depacketizer 2010 shown in FIG. 20, the description of FIG. 20 is used for details thereof.
- the first PID filter 4613 compares the PID of the TS packet received from the first source / depacketizer 4611 with the PID designated in advance by the reproduction control unit 4207. When both PIDs coincide with each other, the first PID filter 4613 converts the TS packet into TB (1) 4601, a sub video decoder, an IG decoder, a PG decoder, an audio decoder, and a sub decoder in the 3D video decoder 4615 according to the PID. Transfer to one of the audio decoders. Similarly, the second PID filter 4614 transfers each TS packet received from the second source / depacketizer 4612 to each decoder according to the PID.
- the dependent-view stream file generally includes only the dependent-view stream. Therefore, in the 3D playlist reproduction, the second PID filter 4614 mainly transfers the TS packet to the TB (2) 4608 in the 3D video decoder 4615.
- the 3D video decoder 4615 includes TB (1) 4601, MB (1) 4602, EB (1) 4603, TB (2) 4608, MB (2) 4609, EB (2) 4610, buffer.
- a switch 4606, a compressed video decoder 4604, a DPB 4605, and a picture switch 4607 are included.
- TB (1) 4601, MB (1) 4602, EB (1) 4603, TB (2) 4608, MB (2) 4609, EB (2) 4610, and DPB 4605 are all buffer memories. Each buffer memory uses a region of a memory element built in the 3D video decoder 4615. In addition, any or all of the buffer memories may be separated into different memory elements.
- TB (1) 4601 receives TS packets including the base-view stream from the first PID filter 4613 and accumulates them as they are.
- the MB (1) 4602 restores and stores the PES packet from the TS packet stored in the TB (1) 4601. At that time, the TS header is removed from each TS packet.
- the EB (1) 4603 extracts and stores the encoded video access unit from the PES packet stored in the MB (1) 4602. At that time, the PES header is removed from each PES packet.
- TB (2) 4608 receives the TS packet including the dependent-view stream from the second PID filter 4614 and stores it as it is.
- the MB (2) 4609 restores and stores the PES packet from the TS packet stored in the TB (2) 4608. At that time, the TS header is removed from each TS packet.
- the EB (2) 4610 extracts and stores the encoded video access unit from the PES packet stored in the MB (2) 4609. At that time, the PES header is removed from each PES packet.
- the buffer switch 4606 transfers the video access unit stored in each of the EB (1) 4603 and the EB (2) 4610 to the compressed video decoder 4604 at the DTS time indicated by the original TS packet.
- the buffer switch 4606 selects the one stored in EB (1) 4603 out of a pair of video access units having the same DTS stored in EB (1) 4603 and EB (2) 4610, respectively. Transfer to the compressed video decoder 4604 first.
- the buffer switch 4606 may return the decoding switch information 3601 in the video access unit 3600 shown in FIG. 36 from the compressed video decoder 4604. In that case, the buffer switch 4606 can use the decoding switch information 3601 to determine from EB (1) 4603 or EB (2) 4610 the video access unit to be transferred next.
- the compressed video decoder 4604 decodes the video access unit transferred from the buffer switch 4606.
- the compressed video decoder 4604 switches the decoding method according to the encoding format of the compressed picture stored in the video access unit, for example, MPEG2, MPEG4AVC and VC1, and the stream attribute.
- the compressed video decoder 4604 further transfers the decoded picture, that is, the video frame or field, to the DPB 4605.
- the DPB 4605 temporarily holds the decoded picture.
- the compressed video decoder 4604 refers to the decoded picture held in the DPB 4605.
- the DPB 4605 further transfers each held picture to the picture switch 4607 at the PTS time indicated by the original TS packet.
- the picture switch 4607 writes the picture transferred from the compressed video decoder 4604 into either the 2D / left video plane memory 4620 or the right video plane memory 4621.
- the picture switch 4607 writes the picture to the 2D / left video plane memory 4620, and when the picture belongs to the right-view stream, writes to the right video plane memory 4621.
- FIG. 47 is a schematic diagram showing the arrangement on the disk 101 of extents belonging to both AV stream files.
- the entire base-view stream file is continuously recorded on the disk 101 as one extent 4701, and then one dependent-view stream file is recorded. Assume that the whole is recorded as one extent 4702.
- the buffer capacity available for the processing is generally limited. Accordingly, the playback path of the 3D video advances alternately through the extents 4701 and 4702 as indicated by arrows (1) to (4) in FIG. Accordingly, as indicated by a broken line in FIG. 47A, a jump occurs whenever the extent to be read is switched from one to the other. In particular, the jump distance is as long as the entire AV stream file. As a result, it is difficult to keep reading of each AV stream file by the BD-ROM drive in time for the decoding process by the 3D video decoder, so it is difficult to reliably continue seamless reproduction.
- the extents of both AV stream files are recorded in an interleaved arrangement. Specifically, one base-view stream file is divided into a plurality of extents 4701A, 4701B,..., And one dependent-view stream file is divided into a plurality of extents 4702A, 4702B,. Further, the extents of both AV stream files are alternately arranged on the disk 101. In this case, the 3D video playback path advances in order from the top of each extent 4701A, 4701B, 4702A, 4702B,... As indicated by arrows (1) to (4) in FIG. . As a result, the 3D playback device can alternately read both AV stream files in units of extents without causing a jump similar to the entire AV stream file. This is advantageous for seamless playback of 3D video.
- FIG. 48 is a schematic diagram showing the relationship between the reproduction time and the reproduction path.
- the 3D video playback path alternates the extents 4801 and 4802 of each AV stream file as indicated by the arrow 4810 in FIG. It is preferable to advance by the same playback time, for example, one second. However, in that case, as indicated by a broken line in FIG. 48A, a jump occurs during the reading of the extent 4801 having a long playback time of the video stream.
- each AV stream file portion having the same playback period is included in a pair of adjacent extents.
- the playback time of the video stream is equal between these extents.
- the playback time of the video stream is equal to 1 second in the first extent 4801A of the base-view stream file and the first extent 4802A of the dependent-view stream file
- each AV stream file In the second extents 4801B and 4802B the playback time of the video stream is equal to 0.7 seconds.
- the 3D video playback path advances sequentially from the top of each extent 4801A, 4802A, 4801B, 4802B,... As indicated by arrow 4820 in FIG.
- no jump occurs during the reading of any extent. Therefore, the 3D playback device can read each extent continuously without causing a jump. It is further advantageous for seamless playback of 3D video.
- the head of each extent belonging to the base view stream file includes an I picture of the base view stream
- the head of each extent belonging to the dependent view stream file includes a P picture of the dependent view stream.
- the P picture is compressed using the I picture of the base-view stream as a reference picture.
- the 3D playback device can specify the size of each extent using the entry point of the clip information file. Therefore, the 3D playback device can simplify the process of alternately reading the extents of both AV stream files from the BD-ROM disc 101.
- FIG. 49 is a schematic diagram showing the arrangement on the BD-ROM disc 101 of extent groups belonging to each of the 2D / left-view stream file, right-view stream file, and depth map stream file. .
- Each AV stream file corresponds to each of the three types of AV stream files 245A-245C shown in FIG. Referring to FIG. 49, those extent groups are recorded in an interleaved arrangement, similar to that shown in FIG. 47 (b). Specifically, first, the 2D / left-view stream file is divided into a plurality of extents L1, L2, L3,..., And the right-view stream file is divided into a plurality of extents R1, R2, R3,. The depth map stream file is divided into a plurality of extents D1, D2, D3,.
- extents L1, L2, L3, ... belonging to the 2D / left-view stream file are referred to as “left-view extents”
- extents R1, R2, R3, ... belonging to the right-view stream file are referred to as “right-view”.
- the extents D1, D2, D3,... Belonging to the depth map stream file are called “depth maps extents”.
- the left view extent L1-3, right view extent R1-3, and depth map extent D1-3 are alternately arranged one by one. In the interleaved arrangement, as in the case shown in FIG. 48B, each AV stream file portion having the same reproduction period is individually included in three consecutive extents. In particular, the playback time of the video stream is equal between these extents.
- a leading left-view extent L1, a leading right-view extent R1, and a leading depth map extent D1 are sequentially arranged.
- the AV stream file portion included in each of the extents L1, R1, and D1 has the same playback period and the same video stream playback time. The same applies to the next three consecutive extents L2, R2, and D2.
- the arrangement order is constant for every three consecutive extents, that is, for each combination of a left view extent, a right view extent, and a depth map extent with the same playback period. .
- they are arranged in order from the smallest extent.
- a picture included in the first right-view extent R1 is compressed using the picture included in the first left-view extent L1 as a reference picture.
- the amount of data per pixel of the depth map that is, the number of bits of the depth value is generally larger than the amount of data per pixel of the picture included in the 2D / left view stream, that is, the number of bits of the color coordinate value and the ⁇ value. small.
- the base-view stream file is different from the dependent-view stream file, and in addition to the primary video stream, the primary audio stream, etc. Includes elementary streams. Therefore, the size S ext2 [1] of the first right-view extent R1 and the size S ext3 [1] of the first depth-map extent D1 are generally both the size S ext1 [1] of the first left-view extent L1. ]: S ext2 [1] ⁇ S ext1 [1], S ext3 [1] ⁇ S ext1 [1]. Therefore, in FIG. 49, the head depth map extent D1, the head right view extent R1, and the head left view extent L1 are arranged in this order. The order of the next three extents D2, R2, and L2 is the same.
- FIG. 49 shows a playback path 4901 when the 2D playback device plays back 2D video, a playback path 4902 when the 3D playback device plays back 3D video in the L / R mode, and a 3D playback device depth. Reproduction paths 4903 when reproducing in the mode are shown.
- the 2D video playback path 4901 passes only through the left-view extent. For example, first, the first left-view extent L1 is read, and the reading of the depth map extent D2 and the right-view extent R2 immediately after that is skipped by the first jump J2D1 . Subsequently, the second left-view extent L2 is read, and the reading of the depth map extent D3 and the right-view extent R3 immediately after that is skipped by the second jump J2D2 .
- the 3D video playback path 4902 in the L / R mode alternately passes through the left-view extent and the right-view extent. For example, first, the first right-view extent R1 and the first left-view extent L1 are successively read. The first zero sector transition J 0 1 occurs between these extents R1, L1.
- Zero sector transition refers to movement of the optical pickup between two consecutive extents of logical addresses.
- the BD-ROM disc 101 is rotated so that the position of the optical pickup moves from the rear end of the extent read immediately before to the beginning of the next extent to be read. Meanwhile, the optical pickup temporarily stops the reading operation and waits.
- the zero sector transition period may include a period during which an error correction code (ECC) following each extent is read and error correction using the read, that is, an ECC correction time.
- ECC error correction code
- One parameter represents the time required for actual zero-sector transition, and is specified to a value of, for example, 20 milliseconds or less based on the movement time of the optical pickup and the ECC correction time. However, in the period in which the extent reading is continuously performed, the waiting time of the optical pickup at the zero sector transition and the ECC correction time are both short enough to be ignored, so this parameter may be regarded as 0. .
- the other parameter is called “margin time”.
- the margin time is set so that the amount of data stored in each of the read buffers 4221 and 4222 increases little by little whenever a pair of base view extent and dependent view extent is decoded. Details of the margin time will be described later.
- the first jump J LR 1 occurs, and reading of the depth map extent D2 immediately after that is skipped. Subsequently, the second right-view extent R2 and the second left-view extent L2 are continuously read across the second zero-sector transition J 0 2. Further, the second time jump J LR 2 is the second reading of the depth map extents D3 is skipped.
- the 3D video playback path 4903 in the depth mode alternately passes through the left-view extent and the depth map extent. For example, first, the first depth map extent D1 is read out, and reading of the right-view extent R1 immediately after that is skipped by the first jump J LD 1. Subsequently, the first left-view extent L1 and the second depth-map extent D2 are continuously read across the first zero-sector transition J 0 1, and the right-view extent R2 immediately after that is read. Reading is skipped by the second jump J LD 2.
- the 3D video playback paths 4902 and 4903 may be advanced in the order on the disk 101. Therefore, as in the case shown in FIG. 47 (b), the 3D playback device can sufficiently reduce the jump distance in comparison with the entire AV stream file in both the L / R mode and the depth mode. . Further, in FIG. 49, three types of extents having the same reproduction period are continuously arranged. Therefore, as in the case shown in FIG. 48B, the 3D playback device can continuously read any extent without causing a jump during the reading. In addition, since the arrangement order is constant for each of three consecutive extents, the 3D video playback paths 4902 and 4903 are both configured by repeating a certain pattern.
- the 3D playback device can repeat each read request of the base-view extent and the dependent-view extent to the BD-ROM drive in a constant pattern in both the L / R mode and the depth mode. . Furthermore, in each combination of the base view extent and the dependent view extent having the same playback period, the dependent view extent is read first. Therefore, the 3D playback device can reduce the capacity of the buffer compared to the reverse case.
- extent groups belonging to a series of portions of the AV stream file may be arranged over two recording layers.
- the subsequent extent group since the layer boundary is set immediately after the base view extent, in the next recording layer, the subsequent extent group should be placed at the beginning of the combination of extents having the same playback period. They are arranged in order.
- the layer boundary LB is set immediately after the third left-view extent L3, and subsequent extents are arranged in order from the fourth depth map extent D4 in the next recording layer. Has been.
- jump J LY for over a layer boundary LB, zero sector transition J 0 1, J 0 2, ... with other jump J 2D 1, J 2D 2 ,..., J LR 1, J LR 2,..., J LD 1, J LD 2 ,.
- the jump time is evaluated with a layer switching time, that is, a value longer by 350 milliseconds than the value associated with the jump distance according to the rules shown in FIG.
- FIG. 50 is a schematic diagram showing entry points set for the n-th extent combination Dn, Rn, Ln in the interleaved arrangement shown in FIG. 49 and the playback path at the time of jump playback. .
- four entry points are set in each extent Dn, Rn, and Ln.
- the PTSs are the same among those having the same order counted from the top, as shown in FIG.
- the first entry point EPR1 of the right-view extent Rn has the same PTS as the first entry point EPL1 of the left-view extent Ln
- the second entry point EPR2 of the right-view extent Rn is the left-view extent.
- the second entry point EPL2 of Ln and PTS are equal.
- FIG. 50 further shows two types of playback paths 5001 and 5002 that can be selected when performing 3D video jump playback from the third entry point EPR3 of the right-view extent Rn.
- Each of the playback paths 5001 and 5002 first proceeds on the right-view extent Rn from the third entry point EPR3 to the end.
- a jump JEP occurs from the end of the right-view extent Rn to the third entry point EPL3 of the left-view extent Ln.
- the first playback path 5001 proceeds on the left view extent Ln from its third entry point EPL3.
- the second playback path 5002 continues from the end of the right-view extent Rn to the beginning of the left-view extent Ln and further proceeds on the left-view extent Ln as it is.
- the source packets included in the range from the first entry point EPL1 to the third entry point EPL3 of the left view extent Ln are discarded without being decoded.
- the two types of playback paths 5001 and 5002 are selected as follows.
- the jump distance of the jump JEP that is, the number of sectors from the first entry point EPL1 to the third entry point EPL3 of the left-view extent Ln is shown in FIG. 38 (a). It is calculated from the entry map 3823 of the clip information file 3801.
- the jump time T jump-EP corresponding to the jump distance is determined as the maximum jump time of the jump JEP.
- the time T read-EP required for the BD-ROM drive 4201 to read the left-view extent Ln from the first entry point EPL1 to the third entry point EPL3 to the first read buffer 4221 is BD-ROM.
- the time T read-EP is compared with the jump time T jump-EP .
- the former time T read-EP is shorter than the latter time T jump-EP , that is, T read-EP ⁇ T jump-EP
- the first reproduction path 5001 is selected.
- the former time T read-EP is longer than the latter time T jump-EP , that is, T read-EP > T jump-EP
- the second reproduction path 5002 is selected. In this way, the decoding process in the range from the first entry point EPL1 to the third entry point EPL3 of the left view extent Ln is skipped as quickly as possible. As a result, it is possible to reduce the time until video playback is actually started during jump playback.
- FIG. 51 is a schematic diagram showing a playback processing system in the 3D playback device shown in FIG.
- the reproduction processing system converts the base view stream file and the dependent view stream file read from the BD-ROM disc 101 into 3D video data VD and audio data AD.
- the BD-ROM drive 4201 alternately reads both AV stream files in extent units, and alternately reads the speed R ud-3D (to the first read buffer 4221 and the second read buffer 4222). (Bit / second). This speed Rud-3D is referred to as “3D video reading speed”.
- the 3D video reading speed R ud-3D is, for example, 72 Mbps.
- the system target decoder 4203 reads the source packet from the first read buffer 4221 at an average transfer rate R ext1-3D (bits / second). This average transfer rate R ext1-3D is referred to as “left-view transfer rate”.
- the left-view transfer rate R ext1-3D is generally different for each extent.
- the maximum value R max1-3D of the left-view transfer rate R ext1-3D is equal to 192/188 times the system rate for 2D / left-view stream files.
- the system target decoder 4203 reads the source packet including a part of the right-view stream file from the second read buffer 4222 at the first average transfer rate R ext2 (bit / second), and the depth map stream.
- the first average transfer rate R ext2 is referred to as “right-view transfer rate”
- the second average transfer rate R ext3 is referred to as “depth map transfer rate”. Both transfer rates R ext2 and R ext3 are generally different for each extent.
- the maximum value R max2 of the right-view transfer rate R ext2 is equal to 192/188 times the system rate for the right-view stream file
- the maximum value R max3 of the depth map transfer rate R ext3 is the system rate for the depth-map stream file Is equal to 192/188 times.
- the system rate is described in the clip information in the clip information file as shown in FIGS.
- the 3D video reading speed R ud -3D may be equal to or higher than the maximum value R max1-3D , R max2 , R max3 of each transfer rate as shown in the following equation (2):
- the playback processing system in the 3D playback device shown in FIG. 51 can also be used as a 2D video playback processing system from the BD-ROM disc 101.
- the BD-ROM drive 4201 stores only the left-view extent in the first read buffer 4221 at a speed R ud-2D (bits / second). This speed Rud-2D is referred to as “2D video reading speed”.
- the 2D video reading speed R ud-2D is, for example, 54 Mbps.
- the system target decoder 4203 reads the source packet from the first read buffer 4221 at an average transfer rate R ext1-2D (bits / second). This average transfer rate R ext1-2D is referred to as “2D video transfer rate”.
- the 2D video transfer rate R ext1-2D generally differs for each extent.
- the maximum value R max1-2D of the 2D video transfer rate R ext1-2D is equal to 192/188 times the system rate for 2D / left-view stream files.
- the 2D video reading speed R ud- 2D needs to be higher than the maximum value R max1-2D of the 2D video transfer speed as shown in the following equation (3):
- FIG. 52 is a graph showing a transition of the accumulated data amount DA1 of the first read buffer 4221 when the 2D playback device plays back 2D video from the extent group shown in FIG.
- the first left-view extent L1 is read from the BD-ROM disc 101 to the first read buffer 4221.
- the accumulated data amount DA1 is between the 2D video readout speed R ud-2D and the 2D video transfer speed R ext1-2D [1].
- the difference between R ud-2D and R ext1-2D increases at a rate equal to [1].
- jump J 2D 1 occurs.
- the amount of data stored in the first read buffer 4221 during the read period PR 2D 1, that is, the size S ext1 [1] of the first left-view extent L1 is changed from the read period PR 2D 1 to the jump period PJ.
- the accumulated data amount DA1 decreases only to the value at the end of the jump period PJ 2D 1 and at the start of the read period PR 2D 1.
- reading of the next left-view extent L2 is started.
- the readout period PR 2D 2 as shown by the arrow 5203 in FIG. 52, the accumulated data amount DA1 increases again at a speed equal to the difference R ud-2D ⁇ R ext1-2D [2] of the data transfer rate. To do.
- the transition of the accumulated data amount DA1 is not limited to the first two left-view extents L1 and L2, but the n-th and (n + 1) -th left-view extents Ln and L (n + 1) (the integer n is 2 or more)
- the size S ext1 [n] of the nth left-view extent Ln is at least equal to the minimum extent size represented by the right side of the following equation (4):
- the jump time T jump-2D [n] is the length of the jump period from the end of the nth left-view extent Ln to the tip of the (n + 1) th left-view extent L (n + 1). Expressed in seconds.
- the first parameter TJ [n] is the number of sectors from the end of the nth left-view extent Ln to the tip of the (n + 1) th left-view extent L (n + 1) according to the rules shown in FIG. Represents the value associated with the jump distance.
- the second parameter TL [n] is a layer switching time, that is, 350 ms.
- 0 is represented.
- the interval between the nth and (n + 1) th left-view extents Ln and L (n + 1) may be smaller than the maximum jump distance.
- the maximum jump distance is equal to the value associated with the jump time T jump-2D [n] according to the rule shown in FIG.
- the read buffers 4221 and 4222 do not underflow due to data transfer to the system target decoder 4203 while the extent reading is stopped. A sufficient amount of data may be stored in each of the read buffers 4221 and 4222 during the extent reading period.
- FIG. 53 is a graph showing changes in the accumulated data amounts DA1 and DA2 of the read buffers 4221 and 4222 when the 3D playback device plays back 3D video in the L / R mode from the extent group shown in FIG. It is.
- the right view extent and the left view extent are already read from the first pair R1, L1 to the (n-1) th pair R (n-1), L (n-1) in order.
- the data is read into the buffers 4221 and 4222 and the integer n is sufficiently larger than 1.
- the accumulated data amounts DA1 and DA2 of both read buffers 4221 and 4222 are already maintained at the lower limit values UL1 and UL2, respectively.
- buffer margin These lower limit values UL1 and UL2 are referred to as “buffer margin”. Further, it is assumed that the zero sector transition time T jump-0 is equal to a value that does not include a margin time, that is, a specified value that is evaluated only by the time required for actual zero sector transition. A method for securing the buffer margins UL1 and UL2 will be described later.
- the nth right-view extent Rn is transferred from the BD-ROM disc 101 to the second read buffer during the (2n-1) read period PR R n. Read to 4222.
- the accumulated data amount DA2 of the second read buffer 4222 is set to the 3D video reading speed R ud-3D and the write.
- the difference between the view transfer rate R ext2 [n] increases at a rate equal to R ud-3D ⁇ R ext2 [n].
- the accumulated data amount DA1 of the first read buffer 4221 decreases at the left-view transfer rate R ext1-3D [n].
- the nth zero sector transition J 0 n occurs.
- the nth zero sector transition period PJ 0 n reading of data from the BD-ROM disc 101 is stopped. Accordingly, the accumulated data amount DA1 of the first read buffer 4221 decreases at the left-view transfer rate R ext1-3D [n ⁇ 1], and the accumulated data amount DA2 of the second read buffer 4222 becomes the right-view transfer rate R ext2 [ Decrease with n].
- the second n read period PR L n is started from the end of the nth zero sector transition period PJ 0 n.
- the nth left-view extent Ln is read from the BD-ROM disc 101 to the first read buffer 4221. Therefore, as shown in FIG. 53 (a), the accumulated data amount DA1 of the first read buffer 4221 is determined by the 3D video reading speed R ud-3D and the left view transfer speed R ext1-3D [n]. Increase at a rate equal to the difference between R ud-3D -R ext1-3D [n].
- the accumulated data amount DA2 of the second read buffer 4222 decreases at the right-view transfer rate R ext2 [n].
- the amount of data stored in the second read buffer 4222 during the (2n-1) th read period PR R n is at least the (2n-1) th It is equal to the amount of data transferred from the second read buffer 4222 to the system target decoder 4203 over the read period PR R n to the jump period PJ LR n. Accordingly, when the jump period PJ LR n ends, as shown in (b) of FIG. 53, the accumulated data amount DA2 in the second read buffer 4222 does not fall below a second buffer margin amount UL2.
- the (2n + 1) th read period PR R (n + 1) is started from the end of the jump period PJ LR n.
- the (n + 1) th right-view extent R (n + 1) is read from the BD-ROM disc 101 to the second read buffer 4222. Therefore, as shown in FIG. 53B, the accumulated data amount DA2 of the second read buffer 4222 is between the 3D video reading speed R ud-3D and the right view transfer speed R ext2 [n + 1]. Increase at a rate equal to the difference R ud-3D ⁇ R ext2 [n + 1].
- the accumulated data amount DA1 of the first read buffer 4221 continues to decrease at the left-view transfer rate R ext1-3D [n].
- the amount of data stored in the first read buffer 4221 in the second n read period PR L n is at least from the second n read period PR L n. (N + 1) Equal to the amount of data transferred from the first read buffer 4221 to the system target decoder 4203 over the zero sector transition period PJ 0 (n + 1). Therefore, at the end of the (n + 1) th zero sector transition period PJ 0 (n + 1), as shown in FIG. 53A, the accumulated data amount DA1 of the first read buffer 4221 is equal to the first buffer margin. The amount is not less than UL1.
- the (2n + 2) read period PR L (n + 1) is started from the end of the (n + 1) th zero sector transition period PJ 0 (n + 1).
- the (n + 1) th left-view extent L (n + 1) is read from the BD-ROM disc 101 to the first read buffer 4221. Therefore, as shown in FIG. 53A, the accumulated data amount DA1 of the first read buffer 4221 is 3D video read speed R ud-3D and left view transfer speed R ext1-3D [n + 1].
- the difference between R ud-3D -R ext1-3D increases at a rate equal to [n + 1].
- the accumulated data amount DA2 of the second read buffer 4222 continues to decrease at the right-view transfer rate R ext2 [n + 1].
- the transition of the accumulated data amounts DA1 and DA2 is the same for the (n + 2) th and subsequent extents. Therefore, from the right-view extents Rn, R (n + 1),... And the left-view extents Ln, L (n + 1),. It is sufficient that the following two conditional expressions are satisfied.
- the size S ext1 [n] of the nth left-view extent Ln is at least the first read buffer from the second n read period PR L n to the (n + 1) th zero sector transition period PJ 0 (n + 1). It is equal to the amount of data transferred from 4221 to the system target decoder 4203.
- the length of the second n readout period PR L n is the value S ext1 [n] / R obtained by dividing the size S ext1 [n] of the nth left-view extent Ln by the 3D video readout speed R ud-3D. Equivalent to ud-3D .
- the length of the (2n + 1) readout period PR R (n + 1) is a value S obtained by dividing the size S ext2 [n + 1] of the (n + 1) th right-view extent R (n + 1) by the 3D video readout speed R ud-3D Equal to ext2 [n + 1] / R ud-3D . Accordingly, the size S ext1 [n] of the nth left-view extent Ln is at least equal to the minimum extent size represented by the right side of the following equation (5):
- the size S ext2 [n] of the nth right-view extent Rn is at least from the second read buffer 4222 to the system from the (2n ⁇ 1) th read period PR R n to the nth jump period PJ LR n.
- the length of the (2n ⁇ 1) -th read period PR R n is a value S ext2 [value obtained by dividing the size S ext2 [n] of the n-th right-view extent Rn by the 3D video read speed R ud-3D . n] / R equal to ud-3D . Therefore, the size S ext2 [n] of the nth right-view extent Rn is at least equal to the minimum extent size represented by the right side of the following equation (6):
- the jump time T jump-3D [n] is the jump from the end of the nth left-view extent Ln to the tip of the (n + 1) th right-view extent R (n + 1).
- the first parameter TJ [n] is the number of sectors from the end of the nth left-view extent Ln to the tip of the (n + 1) th right-view extent R (n + 1) according to the rules shown in FIG. Represents the value associated with the jump distance.
- the second parameter TL [n] is the layer switching time, that is, 350 ms.
- the depth map extents D1, D2,... Therefore, while an extent is being read in one of the two read buffers 4221 and 4222, no extent is read in the other. Further, in the playback path 4903, jumps J LD 1, J LD 2,... Occur for each recording area of right-view extents R2, R3,. On the other hand, data transfer from the read buffers 4221 and 4222 to the system target decoder 4203 is continued. Therefore, in order for the 3D playback device to seamlessly play back 3D video, the read buffers 4221 and 4222 do not underflow due to data transfer to the system target decoder 4203 while the extent reading is stopped. A sufficient amount of data may be stored in each of the read buffers 4221 and 4222 during the extent reading period.
- FIG. 54 is a graph showing the transition of the accumulated data amounts DA1 and DA2 in the read buffers 4221 and 4222 when the 3D playback device plays back 3D video in the depth mode from the extent group shown in FIG. is there.
- the depth map extent and left view extent are already read from the first pair D1, L1 to the (n-1) th pair D (n-1), L (n-1) in order.
- the data is read into the buffers 4221 and 4222 and the integer n is sufficiently larger than 1.
- the accumulated data amounts DA1 and DA2 of both read buffers 4221 and 4222 are already maintained at the buffer margin amounts UL1 and UL2, respectively.
- the zero sector transition time T jump-0 is equal to a value that does not include a margin time, that is, a specified value that is evaluated only by the time required for actual zero sector transition.
- the nth depth map extent Dn is transferred from the BD-ROM disc 101 to the second read buffer in the (2n-1) read period PR D n. Read to 4222.
- the accumulated data amount DA2 of the second read buffer 4222 is equal to the 3D video reading speed R ud-3D and the depth.
- the difference between the map transfer rate R ext3 [n] increases at a rate equal to R ud-3D ⁇ R ext3 [n].
- the accumulated data amount DA1 of the first read buffer 4221 decreases at the left-view transfer rate R ext1-3D [n ⁇ 1].
- the nth jump J LD n occurs.
- the n-th jump period PJ LD n reading of the right-view extent Rn located immediately after the n-th depth map extent Dn is skipped, so reading of data from the BD-ROM disc 101 is stopped. Therefore, in the n-th jump period PJ LD n, as shown in FIG. 54A, the accumulated data amount DA1 of the first read buffer 4221 is the left-view transfer rate R ext1-3D [n ⁇ 1]. Decrease. On the other hand, as shown in FIG. 54B, the accumulated data amount DA2 of the second read buffer 4222 decreases at the depth map transfer rate R ext3 [n].
- the second n read period PR L n is started from the end point of the nth jump period PJ LD n.
- the nth left-view extent Ln is read from the BD-ROM disc 101 to the first read buffer 4221. Therefore, as shown in FIG. 54 (a), the accumulated data amount DA1 of the first read buffer 4221 is determined by the 3D video reading speed R ud-3D and the left view transfer speed R ext1-3D [n]. Increase at a rate equal to the difference between R ud-3D -R ext1-3D [n].
- the accumulated data amount DA2 of the second read buffer 4222 continues to decrease at the depth map transfer rate R ext3 [n].
- the nth zero sector transition J 0 n occurs.
- the nth zero sector transition period PJ 0 n reading of data from the BD-ROM disc 101 is stopped. Accordingly, the accumulated data amount DA1 of the first read buffer 4221 decreases at the left-view transfer rate R ext1-3D [n], and the accumulated data amount DA2 of the second read buffer 4222 becomes the depth map transfer rate R ext3 [n]. Decrease.
- the amount of data stored in the second read buffer 4222 during the (2n ⁇ 1) th read period PR D n is at least (2n ⁇ 1) th. It is equal to the amount of data transferred from the second read buffer 4222 to the system target decoder 4203 over the read period PR D n to the nth zero sector transition period PJ 0 n. Therefore, at the end of the nth zero sector transition period PJ 0 n, as shown in FIG. 54B, the accumulated data amount DA2 of the second read buffer 4222 falls below the second buffer margin amount UL2. Absent.
- the (2n + 1) th read period PR D (n + 1) is started from the end point of the nth zero sector transition period PJ 0 n.
- the (n + 1) th depth map extent D (n + 1) is read from the BD-ROM disc 101 to the second read buffer 4222.
- the accumulated data amount DA1 of the first read buffer 4221 continues to decrease at the left-view transfer rate R ext1-3D [n].
- the accumulated data amount DA2 of the second read buffer 4222 is between the 3D video reading speed R ud-3D and the depth map transfer speed R ext3 [n + 1]. Increase at a rate equal to the difference R ud-3D -R ext3 [n + 1].
- the (2n + 2) th read period PR L (n + 1) is started from the end of the (n + 1) th jump period PJ LD (n + 1).
- the (n + 1) th left-view extent L (n + 1) is read from the BD-ROM disc 101 to the first read buffer 4221.
- the accumulated data amount DA1 of the first read buffer 4221 is 3D video reading speed R ud-3D and left view transfer speed R ext1-3D [n + 1].
- the difference between R ud-3D -R ext1-3D increases at a rate equal to [n + 1].
- the accumulated data amount DA2 of the second read buffer 4222 continues to decrease at the depth map transfer rate R ext3 [n + 1].
- the amount of data stored in the first read buffer 4221 in the second n read period PR L n is at least from the second n read period PR L n ( n + 1) equal to the amount of data transferred from the first read buffer 4221 to the system target decoder 4203 over the jump period PJ LD (n + 1). Therefore, at the end of the (n + 1) th jump period PJ LD (n + 1), as shown in FIG. 54A, the accumulated data amount DA1 of the first read buffer 4221 is less than the first buffer margin amount UL1. Not below.
- the transition of the accumulated data amounts DA1 and DA2 is the same for the (n + 2) th and subsequent extents. Therefore, in order to seamlessly play back 3D images from depth map extents Dn, D (n + 1),... And left view extents Ln, L (n + 1),. It is sufficient that the following two conditional expressions are satisfied.
- the size S ext1 [n] of the n-th left-view extent Ln is at least from the first read buffer 4221 over the system from the second n read period PR L n to the (n + 1) th jump period PJ LD (n + 1).
- the length of the second n readout period PR L n is the value S ext1 [n] / R obtained by dividing the size S ext1 [n] of the nth left-view extent Ln by the 3D video readout speed R ud-3D. Equivalent to ud-3D .
- the length of the (2n + 1) readout period PR D (n + 1) is a value S obtained by dividing the size S ext3 [n + 1] of the (n + 1) th depth map extent D (n + 1) by the 3D video readout speed R ud-3D. Equal to ext3 [n + 1] / R ud-3D . Therefore, the size S ext1 [n] of the nth left-view extent Ln is at least equal to the minimum extent size represented by the right side of the following equation (7):
- the size S ext3 [n] of the nth depth map extent Dn is at least the second read buffer over the (2n ⁇ 1) th read period PR D n to the nth zero sector transition period PJ 0 n. It is equal to the amount of data transferred from 4222 to system target decoder 4203.
- the length of the (2n ⁇ 1) th read period PR D n is a value obtained by dividing the size S ext3 [n] of the nth depth map extent Dn by the 3D video read speed R ud-3D S ext3 [ n] / R equal to ud-3D . Therefore, the size S ext3 [n] of the nth depth map extent Dn is at least equal to the minimum extent size represented by the right side of the following equation (8):
- the jump time T jump-3D [n] is the jump period PJ LD n from the end of the nth depth map extent Dn to the tip of the nth left view extent Ln. Express length in seconds. More specifically, the jump time T jump-3D [n] is the number of sectors from the end of the nth depth map extent Dn to the tip of the nth left view extent Ln according to the rules shown in FIG. That is, it is equal to the value associated with the jump distance.
- the zero sector transition time T jump-0 [n] is the actual value when there is no layer boundary LB between the nth left-view extent Ln and the (n + 1) th depth map extent D (n + 1). It is equal to the specified value evaluated only in the time required for zero sector transition.
- the zero sector transition time T jump-0 [n] is It is replaced with the jump time to cross the layer boundary LB.
- the jump time is determined from the value associated with the number of sectors between the nth left-view extent Ln and the (n + 1) th depth map extent D (n + 1) according to the rules shown in FIG.
- the layer switching time i.e., 350 ms is longer.
- each extent may be designed so as to satisfy all the above equations (4) to (8).
- the minimum extent size of the 2D / left-view stream file is equal to the maximum of the right sides of equations (4), (5), and (7).
- FIG. 55 is a schematic diagram showing the arrangement of extent groups belonging to each file when only two types of 2D / left-view stream file and right-view stream file are recorded on the BD-ROM disc. is there.
- these two types of extent groups are recorded in an interleaved arrangement.
- each AV stream file part having the same reproduction period is individually included in two adjacent extents.
- the playback time of the video stream is equal between these extents.
- the first right-view extent R1 and the first left-view extent L1 are adjacent to each other, the reproduction periods thereof are the same, and the reproduction times of the video streams are equal. Also for this arrangement, the conditions for the size of each extent necessary for both 2D video seamless playback and 3D video seamless playback are obtained in the same manner as for the arrangement shown in FIG.
- the extent group shown in FIG. 55 is different from the extent group shown in FIG. 49 and does not include a depth map extent.
- the 2D video playback path 5501 is different from the 2D video playback path 4901 shown in FIG. 49 in that the nth and (n + 1) th left-view extents Ln and L (n + 1) (the integer n is 2). This is the only jump distance between them. Therefore, in order to seamlessly play back 2D video, the size S ext1 [n] of the nth left-view extent Ln only needs to satisfy Expression (4).
- Equations (9) and (10) are equivalent to Equations (5) and (6), respectively, in which jump time T jump-3D is replaced with zero sector transition time T jump-0 :
- the minimum extent size of the 2D / left-view stream file is equal to the maximum of the right sides of the equations (4) and (9).
- the zero sector transition time T jump-0 [n] in the equations (9) and (10) is It may be considered 0. That is, the size S ext1 [n] of the nth left-view extent Ln and the size S ext2 [n] of the nth right-view extent Rn need only satisfy the following expressions:
- the lower limit values UL1 and UL2 of the accumulated data amounts DA1 and DA2 of both the read buffers 4221 and 4222 represent the respective buffer margin amounts.
- the “buffer margin” means that each read buffer 4221 is mainly used during AV stream file reading period in order to prevent an underflow caused by switching of a recording layer to be read and interruption of reading processing of another file.
- 4222 is the lower limit value of the accumulated data amount to be maintained.
- the other files include files other than the AV stream file shown in FIG. 2, for example, a movie object file 242B, a BD-J object file 246A, and a JAR file 247A.
- FIG. 56 is a schematic diagram showing a jump J LY associated with layer switching that occurs in the 3D video playback path in the L / R mode and a jump J BDJ associated with the reading process of the BD-J object file 246A.
- the buffer margins UL1 and UL2 required for these jumps J LY and J BDJ are calculated as follows.
- the maximum jump time T jump-LY is determined by the jump distance, that is, the number of sectors between extents Ln and D (n + 1) before and after the layer boundary LB according to the rules shown in FIG. It is equal to the sum of the associated value and the layer switching time.
- the left view transfer rate R ext1-3D does not exceed the maximum value R max1-3D from the equation (2). Therefore, the amount of data consumed from the first read buffer 4221 during the jump period associated with layer switching does not exceed the product of the maximum value R max1-3D of the left view transfer rate and the maximum jump time T jump-LY .
- the product value is determined as the first buffer margin UL1. That is, the first buffer margin UL1 is calculated by the following equation (11):
- the product of the maximum value of the data amount consumed from the second read buffer 4222 during the jump period associated with layer switching, that is, the maximum value R max2 of the right-view transfer rate and the maximum jump time T jump-LY is the second. Determined as buffer margin UL2. That is, the second buffer margin UL2 is calculated by the following equation (12):
- the first jump J BDJ 1 occurs as shown in FIG.
- the jump time T BDJ is defined in advance as a constant value, for example, 900 milliseconds.
- the BD-J object file 246A is read.
- the time required for the reading is 8 ⁇ S BDJ [n] / R ud-3D obtained by dividing 8 times the size S BDJ of the extent belonging to the file 246A by the 3D video reading speed R ud-3D. equal.
- a second jump J BDJ 2 occurs.
- the jump time T BDJ is equal to the first jump time, eg 900 ms.
- the first buffer margin UL1 is calculated by the following equation (13):
- the second buffer margin UL2 is calculated by the following equation (14):
- the first buffer margin UL1 is set to the larger one of the values represented by the right side of the equations (11) and (13).
- the second buffer margin amount UL2 is set to the larger one of the values represented by the right sides of the equations (12) and (14).
- the buffer margins UL1 and UL2 are secured as described below.
- a margin time is added to the zero sector transition time T jump-0 [n] to be substituted into the equations (5) to (8).
- the margin time is, for example, 100 milliseconds.
- FIG. 57 is a graph showing changes in the accumulated data amounts DA1 and DA2 of the read buffers 4221 and 4222 when a margin time is added to the zero sector transition time.
- 3D video is reproduced in the L / R mode from the beginning of the extent group shown in FIG. The description is similarly applied to a case where 3D video is reproduced in the depth mode and also when 3D video is reproduced from an arbitrary extent by dive reproduction.
- the first read period PR R right-view extents R1 of the top 1 is read from the BD-ROM disc 101 to the second read buffer 4222.
- the system target decoder 4203 waits. Accordingly, in the first readout period PR R 1, as shown in FIG. 57B, the accumulated data amount DA2 of the second read buffer 4222 increases from 0 at the 3D video readout speed R ud-3D . .
- the first zero sector transition J 0 1 occurs.
- the first zero sector transition period PJ 0 reading of data from the BD-ROM disc 101 is stopped.
- the system target decoder 4203 continues to wait. Accordingly, in the first zero sector transition period PJ 0 1, the accumulated data amount DA1 of the first read buffer 4221 and the accumulated data amount DA2 of the second read buffer 4222 are both kept constant.
- the system target decoder 4203 starts the decoding process from the second read period PR L 1.
- the accumulated data amount DA1 of the first read buffer 4221 is determined by the 3D video read speed R ud-3D and the left view transfer speed R ext1-3D [1].
- the difference between R ud-3D -R ext1-3D increases from 0 at a rate equal to [1].
- the accumulated data amount DA2 of the second read buffer 4222 decreases at the right-view transfer rate R ext2 [1].
- the first jump J LR 1 occurs.
- the first jump period PJ LR 1 reading of the second depth map extent D2 located immediately after the first left-view extent L1 is skipped, so reading of data from the BD-ROM disc 101 is stopped. . Therefore, in the first jump period PJ LR 1, as shown in FIG. 57A, the accumulated data amount DA1 of the first read buffer 4221 decreases at the left-view transfer rate R ext1-3D [1]. To do.
- the accumulated data amount DA2 of the second read buffer 4222 decreases at the right-view transfer rate R ext2 [1].
- the amount of data stored in the second read buffer 4222 in the first read period PR R 1, that is, the size S ext2 [1] of the first right-view extent R 1 is at least the minimum expressed by the right side of the equation (6). Equal to extent size.
- a margin time for example, 100 milliseconds is added to the zero sector transition time T jump-0 [1].
- no data is transferred from the second read buffer 4222 to the system target decoder 4203 in the first read period PR R 1.
- the size S ext2 [1] of the first right-view extents R1 is transferred over a first jump period PJ LR 1 from the second reading period PR L 1 from the second read buffer 4222 to the system target decoder 4203 It is larger than the amount of data.
- the accumulated data amount DA2 in the second read buffer 4222 increase to a larger value DM2 than 0.
- third read period PR R 2 is started.
- the second right-view extent R 2 is read from the BD-ROM disc 101 to the second read buffer 4222. Therefore, as shown in FIG. 57 (b), the accumulated data amount DA2 of the second read buffer 4222 is between the 3D video read speed R ud-3D and the right view transfer speed R ext2 [2]. The difference between R ud-3D -R ext2 [2] increases at a rate equal to.
- the accumulated data amount DA1 of the first read buffer 4221 continues to decrease at the left-view transfer rate R ext1-3D [1].
- the amount of data stored in the first read buffer 4221 in the second read period PR L 1, that is, the size S ext1 [1] of the first left-view extent L1 is at least the minimum represented by the right side of the equation (5). Equal to extent size.
- a margin time for example, 100 milliseconds is added to the zero sector transition time T jump-0 [2].
- the size S ext1 [1] of the top of the left-view extents L1, the second readout period PR L 1 from the second zero sector transition period PJ 0 2 over the first read buffer 4221 from the system target decoder 4203 Larger than the amount of data transferred to As a result, at the end of the second zero sector transition period PJ 0 2, the accumulated data amount DA1 of the first read buffer 4221 is a value DM1 greater than 0, as shown in FIG. Will increase.
- the accumulated data amounts DA1 and DA2 of the read buffers 4221 and 4222 continue to increase by the values DM1 and DM2 unless a large jump occurs. Accordingly, when the accumulated data amounts DA1 and DA2 exceed a predetermined threshold, the 3D playback device causes the BD-ROM drive 4201 to intermittently perform the read / transfer operation. As a result, the 3D video reading speed Rud-3D decreases, and the increase speed of the accumulated data amounts DA1 and DA2 can be suppressed. In this way, overflow of each read buffer 4221 and 4222 can be avoided.
- the minimum capacity required for each read buffer 4221 and 4222 is calculated as follows.
- the capacity RB1 [n] of the first read buffer 4221 is expressed by the following equation (15) in either the L / R mode or the depth mode: )
- the capacity RB2 LR [n] of the second read buffer 4222 should satisfy the following equation (16). :
- both right-view extents have the possibility of being read out first by jump-in reproduction.
- the system target decoder 4203 keeps the second read buffer until the entire right-view extent to be read first is stored in the second read buffer 4222. Does not read data from buffer 4222. Accordingly, the capacity RB2 LR [n] of the second read buffer 4222 is different from the capacity RB1 [n] of the first read buffer 4221, and “from the size S ext2 [n] of at least the nth right-view extent Rn. Is even greater.
- the capacity RB2 LD [n] of the second read buffer 4222 should satisfy the following equation (17):
- any depth map extent has the possibility of being read out first by jumping playback. Therefore, the capacity RB2 LD [n] of the second read buffer 4222 further satisfies the condition that “the size is at least larger than the size S ext3 [n] of the nth depth map extent Dn”.
- the lower limit value for each size of the base view extent and the dependent view extent is clearly shown on each right side of the equations (4), (5), and (6). It is expressed in As a result, when reproducing either 2D video or 3D video from the BD-ROM disc 101, each capacity can be further reduced without causing underflow in either of the read buffers 4221 and 4222. In addition, it is easy to appropriately design the size of each extent.
- Embodiment 1 of the present invention relates to the arrangement of extents when 3D video is stored in a recording medium.
- the present invention may be used when storing a high frame rate video on a recording medium.
- a high frame rate video is divided into an odd-numbered frame group and an even-numbered frame group, which are regarded as a base-view stream and a dependent-view stream, respectively.
- What is necessary is just to record on a recording medium by arrangement
- a playback apparatus that can only play back video at a normal frame rate may play back video of an odd-numbered frame group from the recording medium.
- a playback apparatus capable of playing back video at a high frame rate can selectively play back video of only the odd-numbered frame group and video of both frame groups. In this way, it is possible to ensure compatibility with a playback apparatus that can only play back video at a normal frame rate on a recording medium that stores video at a high frame rate.
- the left view stream is assumed as the base view stream.
- the right-view stream may be a base-view stream.
- the left-view stream may be compressed as a dependent-view stream using the right-view stream.
- the extent ATC time is accurately calculated when the average transfer rate R ext of the data from the read buffer 1802 shown in FIG. 22 to the system target recorder 1803 is evaluated.
- the size of each extent may be aligned to a certain multiple of the source packet length. Further, when any extent includes more source packets than the multiple, the product of the number of source packets exceeding the multiple and the transfer time per source packet is set to the extent ATC time corresponding to the multiple.
- the added value may be regarded as the extent ATC time of the extent.
- the extent ATC time may be defined as a value obtained by adding the transfer time per source packet to the time interval from the ATS of the source packet at the head of one extent to the ATS of the source packet at the end of the same extent. Good. In that case, the calculation of the extent ATC time does not require the reference of the next extent, and thus the calculation can be simplified. Note that in the calculation of the extent ATC time described above, it must be considered that wraparound occurs in the ATS.
- PTS and DTS are equal between a pair of pictures belonging to the same 3D video access unit.
- the PTS and DTS assigned to one of the pair of pictures may be delayed by a predetermined amount, for example, by half a period, than those assigned to the other.
- the switch 4310 shown in FIG. 43 may send 2D / left video plane data 4301 and right video plane data 4302 to the first addition unit 4311 in the order of PTS.
- the buffer switch 4606 shown in FIG. 46 displays the video access unit stored in each of EB (1) 4603 and EB (2) 4610 according to the time of the DTS indicated by the original TS packet. It may be transferred to the compressed video decoder 4604.
- the video stream attribute information relating to the dependent-view stream is used to decode the stream. May include a flag indicating that reference to the base-view stream is required. Further, the identification information of the AV stream file including the base view stream may be added together with the video stream attribute information. In that case, in the authoring process of the BD-ROM disc 101, when verifying whether or not the data to be recorded on the disc 101 is created in the prescribed format, the above additional information is used to The validity of the correspondence between the view stream and the dependent view stream can be determined.
- the 3D metadata 3814 shown in FIG. 39 may be set for each plane, for example, unlike the setting for each PID shown in the figure. Thereby, the 3D playback device can simplify the analysis processing of the 3D metadata. In addition, in consideration of the performance of the 3D playback device for plane synthesis processing, a condition of, for example, 1 second or more may be imposed on the length of the effective section of the offset entry.
- an extent start flag 4015 is newly added to each entry point 4012.
- the 1-bit area in each entry point 4012 already reserved for the angle switching flag may be used as the area of the extent start flag 4015.
- the “angle switching flag” is a flag indicating whether or not the entry point is set at a position where the angle can be switched when the AV stream file represents a multi-angle video.
- the 1-bit area in combination with the “angle switching flag” and the “extent start flag” the total bit amount of the entry map 3823 can be reduced.
- another flag indicating which flag area is used as the flag area may be newly added to the entry map header 4011.
- the 3D playback device can quickly interpret the flag in the 1-bit area by checking this flag. Therefore, the 3D playback device can quickly switch between multi-angle video playback processing and 3D video playback processing.
- information different from the extent start flag 4015 may be used to determine the size of each extent belonging to the AV stream file.
- a list of the extent sizes may be stored in the clip information file as metadata.
- a plurality of bits associated one-to-one with the entry points in the entry map may be stored separately from the entry map. Each bit is set to “1” only when the associated entry point is set at the beginning of the extent.
- the three types of extents Dn, Rn, and Ln having the same reproduction period all have the same extent ATC time. That is, the ATS difference between the first source packet of each extent and the first source packet of the next extent is the same between these extents (however, in calculating the difference, it is considered that a wrap around occurs in the ATS. Have been).
- the first source depacketizer 4611 extracts TS packets from all the source packets in the base-view extent Ln, sends them to the first PID filter 4613, and the second source depacketizer 4612.
- the 3D video decoder 4615 can easily synchronize the decoding process of the TS packet between the base-view stream and the dependent-view stream.
- the extent group shown in FIG. 49 may include two or more types of different right-view streams instead of the depth map stream.
- the extents belonging to each stream may be alternately arranged on the track of the BD-ROM disc 101 as in the interleaved arrangement shown in FIG.
- the size of each extent may satisfy the same conditional expression as Expressions (4)-(8). Specifically:
- N types of dependent-view stream files from 1 to N are recorded for a common base-view stream file.
- the integer N is 2 or more.
- (K-1) Dependent view extents are alternately arranged one by one.
- the nth (k ⁇ 1) th dependent view is placed between the nth baseview extent and the (n + 1) th baseview extent. An extent is placed.
- the size S ext1 [n] of the n th (n 2, 3,%) Base view extent and the n th (k ⁇ 1) dependent
- the size of the view extent S extk [n] should satisfy the following conditional expression.
- the jump from the nth base view extent (the integer n is sufficiently large) to the (n + 1) th baseview extent takes time T jump-2D [n], and each base The view extent is read to the first read buffer 4221 at the speed R ud-2D , and the base view stream file from the first read buffer 4221 to the system target decoder 4203 has an average speed R ext1-2D [ When transferred with n], the size S ext1 [n] of the nth base-view extent should satisfy equation (18):
- the jump from the nth base view extent to the nth (k-1) dependent view extent takes time TF jump-k-3D [n]
- the nth The jump from the (k-1) dependent view extent to the (n + 1) th base view extent takes time TB jump-k-3D [n]
- each base view extent is the first lead Read to buffer 4221 at speed R ud-3D
- each (k-1) dependent view extent is read to second read buffer 4222 at speed R ud-3D
- first read When the base-view stream file is transferred from the buffer 4221 to the system target decoder 4203 at the average rate R ext1-3D [n], the size S ext1 [n] of the n-th base-view extent is expressed by the equation (19).
- FIG. 58 is a schematic diagram showing the relationship between the jump-in reproduction prohibited section 5801 and the transition of the accumulated data amount DA1 in the first read buffer 4221.
- the jump-in reproduction prohibition section 5801 is set for a predetermined number of extent groups arranged consecutively immediately before the layer boundary LB. In the diving reproduction prohibited section 5801, diving reproduction is prohibited.
- the first entry point 5811 is located before the jump-in reproduction prohibited section 5801, and jump-in reproduction from there is permitted.
- the second entry point 5812 is located in the jump-in reproduction prohibited section 5801, jump-in reproduction from there is prohibited.
- FIG. 58B is a graph showing the transition of the accumulated data amount DA1 of the first read buffer 4221 at the time of jump reproduction from the first entry point 5811.
- the jump-in reproduction is performed in the L / R mode, and the left-view extent L included in the range from the first entry point 5811 to the layer boundary LB is determined according to the reproduction path 5810 shown in FIG.
- the data is read into the first read buffer 4221.
- the accumulated data amount DA1 increases each time one left-view extent L is processed.
- the left-view extent 5802 located immediately before the layer boundary LB is read into the first read buffer 4221
- the accumulated data amount DA1 exceeds the first buffer margin amount UL1. Therefore, the first read buffer 4221 does not underflow from the start time of the jump J LY that occurs immediately after that until the time when the tip of the next left-view extent 5803 is read.
- the length of the jump-in reproduction prohibited section 5801 should satisfy the following two conditions: (A) Left view extent arranged from the beginning of the jump-in reproduction prohibited section 5801 to immediately before the layer boundary LB Exceeds the value obtained by dividing the first buffer margin UL1 by the margin time, and (B) the number of right-view extents arranged from the beginning of the section to immediately before the layer boundary LB is the second Exceeds the buffer margin UL2 divided by the margin time.
- the dive playback prohibited section 5801 is designated as follows for the 3D playback device. First, in the clip information file corresponding to the AV stream file to which each extent belongs, a jump reproduction prohibition mark is added to each entry point 4012 in the entry map 3823 shown in FIG.
- the “jump reproduction prohibition mark” is a flag and indicates whether or not the position in the extent indicated by the entry point is included in the jump reproduction prohibition section 5801.
- the playback control unit 4207 shown in FIG. 42 refers to the jump-in prohibition mark in the clip information file. Accordingly, the 3D playback device can determine whether or not the start position of the jump playback is included in the jump playback prohibited section 5801.
- the “jump reproduction prohibition mark” may be included in the play item information in the 3D playlist file 243B shown in FIG.
- the 3D playback device can determine whether or not jumping playback is permitted by making the playback control unit 4207 refer to the jumping playback prohibition mark in the 3D playlist file. .
- FIG. 59 is a schematic diagram showing the arrangement of extent groups in that case. Referring to FIG. 59, one extent Ex is inserted between the nth left-view extent Ln and the (n + 1) th depth map extent D (n + 1). The file to which the extent Ex belongs is different from any AV stream file.
- extent groups D (n ⁇ m + 1), R (n ⁇ m + 1), L (n ⁇ m + 1), D (n ⁇ m + 2), R ( Insertion of extents belonging to files other than AV stream files is prohibited between n ⁇ m + 2), L (n ⁇ m + 2),..., Dn, Rn, and Ln.
- the integer m is at least equal to a value obtained by dividing the buffer margin amounts UL1 and UL2 by the margin time.
- the size of the extent Ex is desirably set so that the interval between the two left-view extents Ln and L (n + 1) positioned before and after the extent Ex does not exceed 40000 sectors.
- the buffer margins UL1 and UL2 are secured.
- the buffer margin amounts UL1 and UL2 may be secured immediately after the AV stream file is read into the read buffers 4221 and 4222 by the method described below. In this method, immediately after the BD-ROM drive 4201 starts reading the AV stream file, in addition to the reading period of the first dependent-view extent, the reading of the first base-view extent starts.
- the system target decoder 4203 is made to wait for the decoding process until a predetermined time elapses.
- the predetermined time is set so that a sufficient amount of data is accumulated in each of the read buffers 4221 and 4222 during the standby period. Thereby, at the time when reading of the second base-view extent and dependent-view extent is started, the accumulated data amounts DA1 and DA2 are already maintained at the buffer margin amounts UL1 and UL2, respectively.
- FIG. 60 is a graph showing the transition of the accumulated data amounts DA1 and DA2 in the read buffers 4221 and 4222 when the method is used for the extent group shown in FIG.
- 3D video is reproduced in the L / R mode from the tip of the extent group.
- the description is similarly applied to a case where 3D video is reproduced in the depth mode and also when 3D video is reproduced from an arbitrary extent by dive reproduction.
- the size of each extent has already been determined so as to satisfy the expressions (5) and (6).
- the zero sector transition time T jump-0 [•] to be substituted into the equations (5) and (6) may not include the margin time.
- the first right-view extent R 1 is read from the BD-ROM disc 101 to the second read buffer 4222.
- the accumulated data amount DA2 of the second read buffer 4222 increases from 0 at the 3D video readout speed R ud-3D .
- First zero sector transition period PJ 0 1 is started from the first end of the read period PR R 1. During the first zero sector transition period PJ 0 1, reading of data from the BD-ROM disc 101 is stopped. Accordingly, the accumulated data amounts DA1 and DA2 of any of the read buffers 4221 and 4222 are kept constant.
- second read period PR L 1 is started.
- the first left-view extent L 1 is read from the BD-ROM disc 101 to the first read buffer 4221.
- the system target decoder 4203 continues the wait state. Therefore, as shown in FIG. 60A, the accumulated data amount DA1 of the first read buffer 4221 increases from 0 at the 3D video reading speed Rud-3D .
- the accumulated data amount DA2 of the second read buffer 4222 is kept constant.
- the system target decoder 4203 starts, starts decoding from the read buffers 4221,4222 reads the source packet. Therefore, as shown in FIG. 60A, the increasing speed of the accumulated data amount DA1 of the first read buffer 4221 is changed from the 3D video reading speed R ud-3D to the left view transfer speed R ext1-3D [1 ] Reduced. On the other hand, as shown in FIG. 60B, the accumulated data amount DA2 of the second read buffer 4222 decreases at the right-view transfer rate R ext2 [1].
- the first jump J LR 1 is performed to the next right-view extent R2 beyond the depth map extent D2 immediately after that.
- the first jump period PJ LR 1 reading of data from the BD-ROM disc 101 is stopped. Accordingly, as shown in FIG. 60A, the accumulated data amount DA1 of the first read buffer 4221 decreases at the left-view transfer rate R ext1-3D [1].
- the accumulated data amount DA2 of the second read buffer 4222 continues to decrease at the right-view transfer rate R ext2 [1].
- third read period PR R 2 is started.
- the second right-view extent R 2 is read from the BD-ROM disc 101 to the second read buffer 4222. Therefore, as shown in FIG. 60B, the accumulated data amount DA2 of the second read buffer 4222 is between the 3D video read speed R ud-3D and the right view transfer speed R ext2 [2]. The difference between R ud-3D -R ext2 [2] increases at a rate equal to.
- the accumulated data amount DA1 of the first read buffer 4221 continues to decrease at the left-view transfer rate R ext1-3D [1].
- the second zero sector transition period PJ 0 2 is started.
- the second zero sector transition period PJ 0 2 reading of data from the BD-ROM disc 101 is stopped. Therefore, the accumulated data amount DA1 of the first read buffer 4221 decreases at the left-view transfer rate R ext1-3D [1], and the accumulated data amount DA2 of the second read buffer 4222 becomes the right-view transfer rate R ext2 [2]. Decrease.
- the accumulated data amount DA1, DA2 of the read buffers 4221,4222 As shown the transition shown in Figure 53, the size of each extent is designed Just do it. That is, each time one extent is processed, the accumulated data amounts DA1 and DA2 of the read buffers 4221 and 4222 need only return to the buffer margin amounts UL1 and UL2. Accordingly, the zero sector transition time T jump-0 [•] to be substituted into the equations (5) and (6) may not include the margin time.
- the extents read out first are not limited to the first extents R1 and L1, but may be arbitrary extents Rn and Ln (however, those in the section where jump playback is prohibited). Therefore, from the above, the predetermined time dt should satisfy the following expressions (21) and (22) for an arbitrary integer n:
- the capacity RB1 [n] of the first read buffer 4221 may satisfy the following equation (23) instead of the equation (15):
- the accumulated data amount DA2 of the second read buffer 4222 is at least equal to the size of the first right-view extent R1. That's fine. Therefore, in order to read the nth right-view extent Rn, the capacity RB2 [n] of the second read buffer 4222 may satisfy the above equation (16).
- the recording device is a so-called authoring device.
- the authoring device is usually installed in a production studio for distributing movie content and used by authoring staff.
- the recording device first converts the movie content into a digital stream of a compression encoding method in accordance with the MPEG standard, that is, an AV stream file.
- the recording device then generates a scenario.
- the scenario is information that defines the playback method of each title included in the movie content, and specifically includes the dynamic scenario information and the static scenario information.
- the recording device then generates a volume image or update kit for the BD-ROM disc from the above digital stream and scenario.
- the recording apparatus records the volume image on the recording medium using the extent arrangement according to the first embodiment.
- FIG. 61 is a block diagram showing the internal configuration of the recording apparatus.
- the recording apparatus includes a video encoder 6101, a material production unit 6102, a scenario generation unit 6103, a BD program production unit 6104, a multiplexing processing unit 6105, a format processing unit 6106, and a database unit 6107.
- the database unit 6107 is a non-volatile storage device built in the recording device, and in particular a hard disk drive (HDD).
- the database unit 6107 may be an HDD externally attached to the recording device, or may be a non-volatile semiconductor memory device built in or externally attached to the recording device.
- the video encoder 6101 receives video data such as uncompressed bitmap data from the authoring staff, and compresses it by a compression encoding method such as MPEG4-AVC or MPEG2. As a result, the main video data is converted into a primary video stream, and the sub-video data is converted into a secondary video stream. In particular, 3D video data is converted into a 2D / left-view stream and a right-view stream.
- Video encoder 6101 forms a 2D / left-view stream as a base-view stream by predictive coding between its own pictures, as shown in FIG. It forms as a dependent view stream by predictive coding between not only pictures but also 2D / left view stream pictures. Note that the right-view stream may be formed as a base-view stream. Further, the left view stream may be formed as a dependent view stream.
- Each video stream 6111 after conversion is stored in the database unit 6107.
- the video encoder 6101 further detects a motion vector of each image between the left video and the right video in the inter-picture predictive coding process, and obtains depth information of each image in the 3D video from them. calculate.
- the calculated depth information of each image is organized into frame depth information 6110 and stored in the database unit 6107.
- FIG. 62 is a schematic diagram showing processing for calculating depth information from the left and right pictures by the video encoder 6101.
- the video encoder 6101 first compresses each picture using the redundancy between the left and right pictures. At that time, the video encoder 6101 detects the motion vector of each image between both pictures by comparing the left and right pictures before compression for each 8 ⁇ 8 or 16 ⁇ 16 pixel matrix, that is, for each macroblock. . Specifically, as shown in FIGS. 62A and 62B, first, the left video picture 6201 and the right video picture 6202 are each divided into a matrix of macroblocks 6203. Next, image data is compared between both pictures 6201 and 6202 for each macroblock 6203, and a motion vector of each image is detected from the result. For example, the area representing the “house” image 6204 is substantially equal between both pictures 6201 and 6202. Therefore, no motion vector is detected from these areas. On the other hand, the area representing the “sphere” image 6205 is substantially different between the pictures 6201 and 6202. Accordingly, motion vectors representing the displacement of the “sphere” image 6205 are detected from these regions.
- the video encoder 6101 uses the detected motion vector for compression of the pictures 6201 and 6202, and also for binocular parallax calculation of the video represented by the image data 6204 and 6205. From the binocular parallax obtained in this way, the video encoder 6101 further calculates the “depth” of each image, such as “house” and “sphere” images 6204 and 6205. Information representing the depth of each image is arranged in a matrix 6206 having the same size as the macroblock matrix of each picture 6201 and 6202, for example, as shown in FIG. 61 includes this matrix 6206. The frame depth information 6110 shown in FIG. The block 6207 in the matrix 6206 has a one-to-one correspondence with the macroblock 6203 in each of the pictures 6201 and 6202.
- Each block 6207 represents the depth of the image represented by the corresponding macroblock 6203, for example, with a depth of 8 bits.
- the depth of the “sphere” image 6205 is recorded in each block in the area 6208 of the matrix 6206.
- the area 6208 corresponds to the entire area in each picture 6201 and 6202 representing the image 6205.
- the material production unit 6102 creates elementary streams other than the video stream, for example, an audio stream 6112, a PG stream 6113, and an IG stream 6114, and stores them in the database unit 6107.
- the material production unit 6102 receives uncompressed LPCM audio data from the authoring staff, encodes it with a compression encoding method such as AC-3, and converts it into an audio stream 6112.
- the material production unit 6102 receives the caption information file from the authoring staff, and creates the PG stream 6113 accordingly.
- the caption information file defines image data representing captions, display timing of the captions, and visual effects such as fade-in / fade-out to be added to the captions.
- the material production unit 6102 receives bitmap data and a menu file from the authoring staff, and creates an IG stream 6114 according to them.
- Bitmap data represents a menu image.
- the menu file defines the state transition of each button arranged in the menu and the visual effect to be applied to each button.
- the scenario generation unit 6103 creates BD-ROM scenario data 6115 according to an instruction received from the authoring staff via the GUI, and stores it in the database unit 6107.
- the BD-ROM scenario data 6115 is a file group that defines a playback method of each elementary stream 6111-6114 stored in the database unit 6107.
- the BD-ROM scenario data 6115 includes an index file 242A, a movie object file 242B, and a playlist file 243A-C among the files shown in FIG.
- the scenario generation unit 6103 further creates a parameter file 6116 and sends it to the multiplexing processing unit 6105.
- the parameter file 6116 defines a stream to be multiplexed in each AV stream file among the elementary streams 6111-6114 stored in the database unit 6107.
- the BD program creation unit 6104 provides a programming environment for BD-J objects and Java application programs to the authoring staff.
- the BD program creation unit 6104 receives a request from the user through the GUI, and creates a source code of each program according to the request.
- the BD program creation unit 6104 further creates a BD-J object file 246A from the BD-J object, and compresses the Java application program into the JAR file 247A. These files 246A and 247A are sent to the format processing unit 6106.
- the BD-J object is programmed as follows:
- the BD-J object sends the graphics data for GUI to the system execution target 4206 shown in FIG.
- the data is sent to the decoder 4203.
- the BD-J object further causes the system target decoder 4203 to process the graphics data as image plane data 4306 shown in FIG.
- the BD program creation unit 6104 may set offset information for the image plane data 4306 in the BD-J object using the frame depth information 6110 stored in the database unit 6107.
- the multiplexing processing unit 6105 multiplexes each elementary stream 6111-6114 stored in the database unit 6107 into an MPEG2-TS stream file according to the parameter file 6116. Specifically, as shown in FIG. 5, each elementary stream 6111-6114 is converted into a source packet sequence, and the source packets in each sequence are combined into one sequence to form one stream file. . In this way, the AV stream file 245A-C shown in FIG. 2 is created.
- the multiplexing processing unit 6105 creates a clip information file to be associated with each AV stream file 245A-C according to the following procedure.
- the entry maps 1103 and 3823 shown in FIGS. 13 and 40 are generated.
- the stream attribute information 1102 shown in FIG. 12 is extracted from each elementary stream to be multiplexed for each AV stream file.
- a pair of an entry map and stream attribute information is associated with clip information indicating each AV stream file.
- the format processing unit 6106 includes a BD-ROM scenario data 6115 stored in the database unit 6107, a program file group such as a BD-J object file created by the BD program creation unit 6104, and a multiplexing processing unit 6105.
- a BD-ROM disc image 6120 having the directory structure 204 shown in FIG. 2 is created from the generated AV stream file and clip information file.
- UDF is used as a file system.
- the format processing unit 6106 refers to the entry map of the corresponding clip information file when creating the file entry of the AV stream file. Thereby, the SPN of each entry point is used to create each allocation descriptor.
- each allocation descriptor is created so that three types of extents are alternately arranged in order from the depth map extent as shown in FIG. . Further, the size of each extent is designed to satisfy the equations (4) to (8), and based on this, the value of the logical address to be represented by each allocation descriptor is determined.
- the format processing unit 6106 uses the frame depth information 6110 stored in the database unit 6107 to convert the 3D metadata 3814 shown in FIG. 39 into the secondary video stream 6111, the PG stream 6113, and the IG Created for each of the streams 6114.
- the arrangement of the image data in the left and right video frames is automatically adjusted so that the 3D video represented by each stream is not displayed in the same viewing direction as the 3D video represented by the other streams.
- the offset value for each video frame is automatically adjusted so that the depths of the 3D video represented by each stream do not overlap each other.
- the BD-ROM disc image 6120 generated by the format processing unit 6106 is then converted into BD-ROM press data. Further, this data is recorded on the master of the BD-ROM disc. By using this master for the pressing process, mass production of the BD-ROM disc 101 according to the first embodiment of the present invention can be realized.
- the recording medium according to the first embodiment of the present invention includes all removable media that can be used as package media, such as a portable semiconductor memory device including an SD memory card, in addition to an optical disk.
- a portable semiconductor memory device including an SD memory card in addition to an optical disk.
- an optical disk on which data is recorded in advance that is, an existing read-only optical disk such as a BD-ROM or a DVD-ROM is taken as an example.
- embodiments of the present invention are not limited thereto.
- the terminal device may be incorporated in the playback device or may be a device different from the playback device.
- a data reading unit of a reproducing apparatus when a semiconductor memory card is used as a recording medium according to Embodiment 1 of the present invention instead of an optical disk will be described.
- the portion of the playback device that reads data from the optical disc is configured by, for example, an optical disc drive.
- the portion for reading data from the semiconductor memory card is constituted by a dedicated interface (I / F). More specifically, a card slot is provided in the playback device, and the above I / F is mounted therein. When the semiconductor memory card is inserted into the card slot, the semiconductor memory card is electrically connected to the playback device through the I / F. Further, data is read from the semiconductor memory card to the playback device through the I / F.
- Some data recorded on the BD-ROM disc may be encrypted, for example, from the viewpoint of copyright protection or improvement of data confidentiality.
- the encrypted data includes, for example, a video stream, an audio stream, or other stream. In that case, the encrypted data is decrypted as follows.
- the playback apparatus stores in advance a part of data necessary for generating a “key” for decrypting encrypted data on the BD-ROM disc, that is, a device key.
- a device key On the other hand, in the BD-ROM disc, another part of the data necessary for generating the “key”, that is, the MKB (media key block) and the encrypted data of the “key” itself, that is, the encrypted title key are stored. And are recorded.
- the device key, MKB, and encrypted title key are associated with each other, and are also associated with a specific identifier written in the BCA 201 on the BD-ROM disc 101 shown in FIG. Yes. If the combination of the device key, MKB, encrypted title key, and volume ID is not correct, the encrypted data cannot be decrypted.
- the above-mentioned “key”, that is, the title key is generated only when these combinations are correct. Specifically, first, the encrypted title key is decrypted using the device key, MKB, and volume ID. Only when the title key can be derived thereby, the encrypted data can be decrypted using the title key as the “key”.
- the playback device Even if the playback device tries to play back the encrypted data on the BD-ROM disc, for example, the device key previously associated with the encrypted title key, MKB, and volume ID on the BD-ROM disc is stored in the playback device. If it is not stored, the encrypted data cannot be reproduced. This is because the key necessary for decrypting the encrypted data, ie, the title key, cannot be derived unless the encrypted title key is decrypted with the correct combination of the MKB, device key, and volume ID.
- the protected stream is encrypted with the title key and recorded on the BD-ROM disc.
- a key is generated from a combination of the MKB, device key, and volume ID, and the title key is encrypted with the key and converted into an encrypted title key.
- the MKB, the volume ID, and the encrypted title key are recorded on the BD-ROM disc.
- the encrypted video stream and / or audio stream can be decrypted by the decoder only from the BD-ROM disc with the playback apparatus having the device key used for generating the key. In this way, the copyright of the data recorded on the BD-ROM disc can be protected.
- the above-described mechanism for protecting the copyright of data on a BD-ROM disc can be applied to other than the BD-ROM disc.
- the present invention can be applied to a readable / writable semiconductor memory device, particularly a portable semiconductor memory card such as an SD card.
- Distribution data Data such as a 3D video AV stream file (hereinafter referred to as distribution data) is transmitted to the playback apparatus according to the first embodiment of the present invention using electronic distribution, and the distribution data is further transmitted to the playback apparatus as a semiconductor memory card.
- the processing to be recorded in will be described below. The following operation may be performed by a terminal device specialized for the processing instead of the above-described playback device. Further, it is assumed that the recording destination semiconductor memory card is an SD memory card.
- the playback device has a card slot. An SD memory card is inserted in the card slot. In this state, the playback device first sends a transmission request for distribution data to a distribution server on the network. At this time, the playback device reads the identification information from the SD memory card, and sends the identification information together with the transmission request to the distribution server.
- the identification information of the SD memory card is, for example, an identification number unique to the SD memory card, more specifically, a serial number of the SD memory card. This identification information is used as the volume ID described above.
- Distribution data is stored in the distribution server.
- data that needs to be protected by encryption such as a video stream and / or an audio stream, is encrypted using a predetermined title key.
- the encrypted data can be decrypted with the same title key.
- the distribution server holds a device key as a secret key shared with the playback device.
- the distribution server further holds a common MKB with the SD memory card.
- the distribution server receives the distribution data transmission request and the SD memory card identification information from the playback device, the distribution server first generates a key from the device key, MKB, and the identification information, and encrypts the title key with the key. To generate an encrypted title key.
- the distribution server generates public key information.
- the public key information includes, for example, the above-described MKB, encrypted title key, signature information, SD memory card identification number, and device list.
- the signature information includes, for example, a hash value of public key information.
- the device list is a list of devices that should be invalidated, that is, devices that have a risk of illegally reproducing encrypted data in distribution data. In the list, for example, a device key of the playback device, an identification number of the playback device, an identification number of various parts such as a decoder built in the playback device, or a function (program) is specified.
- the distribution server further sends distribution data and public key information to the playback device.
- the playback device receives them and records them on the SD memory card through the dedicated I / F in the card slot.
- the encrypted data is decrypted using, for example, public key information as follows.
- the following three types of checks (1) to (3) are performed as public key information authentication. Note that they may be performed in any order.
- the playback device stops the decryption process of the encrypted data. Conversely, when all the results of the above checks (1) to (3) are positive, the playback device recognizes the validity of the public key information and uses the identification information of the device key, MKB, and SD memory card. Then, the encrypted title key in the public key information is decrypted into the title key. The playback device further uses the title key to decrypt the encrypted data into, for example, a video stream and / or an audio stream.
- the above mechanism has the following advantages. If the playback device, parts, and functions (programs) that are at risk of unauthorized use are already known at the time of electronic distribution, these identification information is listed in the device list and distributed as part of public key information. The On the other hand, the playback device that has requested distribution data must always check the identification information in the device list against the identification information of the playback device and its components. As a result, if the playback device or its parts are shown in the device list, even if the combination of the SD memory card identification number, MKB, encrypted title key, and device key is correct, the playback device Public key information cannot be used to decrypt encrypted data in distribution data. Thus, unauthorized use of distribution data can be effectively suppressed.
- the identification information of the semiconductor memory card is stored in a recording area having a particularly high confidentiality among the recording areas in the semiconductor memory card. This is because in the unlikely event that the identification information, for example, the serial number of an SD memory card is tampered with illegally, illegal copying of the SD memory card can be easily performed. That is, if there are a plurality of semiconductor memory cards having the same identification information as a result of the falsification, the above-mentioned check (1) makes it impossible to distinguish between a genuine product and an illegally copied product. Therefore, the identification information of the semiconductor memory card must be recorded in a highly confidential recording area and protected from unauthorized tampering.
- means for configuring such a highly confidential recording area in the semiconductor memory card are as follows. First, another recording area (hereinafter referred to as a second recording area) that is electrically separated from a normal data recording area (hereinafter referred to as a first recording area) is provided. Next, a control circuit dedicated to access to the second recording area is provided in the semiconductor memory card. Thereby, the second recording area can be accessed only through the control circuit. For example, only the encrypted data is recorded in the second recording area, and a circuit for decrypting the encrypted data is incorporated only in the control circuit. As a result, access to data in the second recording area is not possible unless the control circuit decrypts the data. In addition, the address of each data in the second recording area may be held only in the control circuit. In that case, the address of the data in the second recording area can be specified only by the control circuit.
- the application program operating on the playback device acquires data from the distribution server using electronic distribution and records it on the semiconductor memory card
- the following processing is performed.
- the application program issues an access request to the identification information of the semiconductor memory card recorded in the second recording area to the control circuit via the memory card I / F.
- the control circuit first reads the identification information from the second recording area.
- the control circuit sends the identification information to the application program via the memory card I / F.
- the application program sends a transmission request for distribution data together with the identification information to the distribution server.
- the application program further records the public key information and the distribution data received from the distribution server in response to the request in the first recording area in the semiconductor memory card via the memory card I / F.
- the above application program preferably checks whether or not the application program itself has been tampered with before issuing the above access request to the control circuit in the semiconductor memory card.
- the control circuit in the semiconductor memory card For example, X.
- a digital certificate compliant with 509 may be used.
- the distribution data may be recorded in the first recording area in the semiconductor memory card, and access to the distribution data may not be controlled by the control circuit in the semiconductor memory card.
- the AV stream file and the playlist file are recorded on the BD-ROM disc by the pre-recording technology in the authoring system and supplied to the user.
- AV stream files and playlist files are recorded on a writable recording medium such as a BD-RE disc, a BD-R disc, a hard disk, or a semiconductor memory card (hereinafter referred to as a BD-RE disc or the like) by real-time recording. May be recorded and supplied to the user.
- the AV stream file may be a transport stream obtained by the recording device decoding the analog input signal in real time.
- a transport stream obtained by partializing a transport stream digitally input by the recording apparatus may be used.
- a recording device that performs real-time recording includes a video encoder, an audio encoder, a multiplexer, and a source packetizer.
- the video encoder encodes the video signal and converts it into a video stream.
- the audio encoder encodes the audio signal and converts it into an audio stream.
- the multiplexer multiplexes the video stream and the audio stream and converts them into a digital stream in the MPEG2-TS format.
- the source packetizer converts TS packets in the MPEG2-TS format digital stream into source packets.
- the recording device stores each source packet in an AV stream file and writes it on a BD-RE disc or the like.
- the control unit of the recording apparatus In parallel with the AV stream file writing process, the control unit of the recording apparatus generates a clip information file and a playlist file on the memory and writes them on the BD-RE disc or the like. Specifically, when a recording process is requested by the user, the control unit first generates a clip information file in accordance with the AV stream file and writes it on a BD-RE disc or the like. In that case, every time the head of one GOP in the video stream is detected from the transport stream received from the outside, or each time one GOP in the video stream is generated by the video encoder, The control unit obtains the PTS of the I picture located at the head of the GOP and the SPN of the source packet storing the head of the GOP.
- the control unit further adds the pair of PTS and SPN as one entry point to the entry map of the clip information file.
- an “is_angle_change flag” is added to the entry point.
- the is_angle_change flag is set to “ON” when the head of the GOP is an IDR picture, and is set to “OFF” when the head of the GOP is not an IDR picture.
- stream attribute information is further set according to the attribute of the stream to be recorded.
- the playback apparatus may further write the digital stream on the BD-ROM disc 101 to another recording medium by managed copy.
- “Managed copy” means copying a digital stream, a playlist file, a clip information file, and an application program from a read-only recording medium such as a BD-ROM disc to a writable recording medium. This is a technology for permitting only when authentication by communication with is successful.
- the writable recording media are BD-R, BD-RE, DVD-R, DVD-RW, DVD-RAM and other writable optical disks, hard disks, SD memory cards, Memory Stick (registered trademark), and compact. Including portable semiconductor memory devices such as flash (registered trademark), smart media (registered trademark), and multimedia card (registered trademark).
- Managed copy makes it possible to limit the number of backups of data recorded on a read-only recording medium and to charge for backup processing.
- Transcode refers to processing for adapting a digital stream recorded on a copy source disc to an application format of a copy destination recording medium.
- Transcode includes, for example, a process of converting from MPEG2-TS format to MPEG2 program stream format, and a process of re-encoding by reducing the bit rate assigned to each of the video stream and the audio stream.
- an AV stream file, a clip information file, and a playlist file must be generated by the above-described real-time recording.
- the repetition structure “a plurality of information of a predetermined type exists” is defined by describing the initial value of the control variable and the repetition condition in the for statement.
- the data structure “predetermined information is defined when a predetermined condition is satisfied” is defined by describing the condition and a variable to be set when the condition is satisfied in an if statement. .
- the data structure according to the first embodiment is described in a high-level programming language. Therefore, the data structure is converted into a computer-readable code through a translation process by a compiler such as “syntactic analysis”, “optimization”, “resource allocation”, and “code generation”, and recorded on a recording medium.
- the data structure is handled as a part other than the method of the class structure in the object-oriented language, specifically, as an array type member variable in the class structure, and a part of the program is handled. Make it. That is, the data structure is substantially equivalent to the program. Therefore, the data structure should be protected as a computer related invention.
- a reproduction program is recorded on the recording medium as an executable file.
- the reproduction program causes the computer to reproduce the AV stream file according to the playlist file.
- the reproduction program is loaded from a recording medium into a memory device in the computer and then executed by the computer.
- the load process includes a compile process or a link process.
- the reproduction program is divided into a plurality of sections in the memory device. These sections include a text section, a data section, a bss section, and a stack section.
- the text section includes a playback program code string, initial values of variables, and non-rewritable data.
- the data section includes variables having initial values and rewritable data.
- the data section includes, in particular, files that are recorded on the recording medium and accessed from time to time.
- the bss section includes a variable having no initial value.
- the data in the bss section is referred to according to the instruction indicated by the code in the text section.
- an area for the bss section is secured in the RAM in the computer.
- the stack section is a memory area that is temporarily reserved as necessary. Local variables are temporarily used in each process by the playback program. The stack section contains those local variables. When execution of the program is started, variables in the bss section are initialized with zeros, and a necessary memory area is secured in the stack section.
- the playlist file and the clip information file have already been converted into a computer-readable code on the recording medium. Therefore, these files are managed as “non-rewritable data” in the text section or “files accessed at any time” in the data section when the playback program is executed. That is, the playlist file and the clip information file are incorporated in the constituent elements when the playback program is executed. Therefore, the playlist file and the clip information file play a role in the playback program beyond simple data presentation.
- the playback device includes middleware, a system LSI, and other hardware.
- the playback apparatus further includes an interface to the middleware, an interface between the middleware and the system LSI, an interface between the middleware and other hardware, and a user interface. These elements cooperate with each other when incorporated in the playback device. Thereby, a function unique to each element is provided to the playback device.
- the interface to the middleware and the interface between the middleware and the system LSI By appropriately defining the interface to the middleware and the interface between the middleware and the system LSI, the development of the user interface, the middleware, and the system LSI in the playback device can be performed independently, in parallel, and efficiently. Can proceed well. It should be noted that for any interface, such appropriate definitions are generally diverse.
- the present invention relates to a stereoscopic video reproduction technique, and as described above, gives a clear lower limit to each size of a base view extent and a dependent view extent recorded on a recording medium.
- the present invention is clearly industrially applicable.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本発明による記録媒体にはベースビューとディペンデントビューとの各エクステントが交互に並ぶ。ベースビュー・エクステントのサイズは、第1下限値と第2下限値とで大きい方を下限とする。ディペンデントビュー・エクステントのサイズは第3下限値を下限とする。第1下限値は、平面視映像の再生時、ベースビュー・エクステント間のジャンプ中にバッファ・アンダーフローが生じないように決定される。第2下限値は、立体視映像の再生時、各ベースビュー・エクステントの次のディペンデントビュー・エクステントの読み出し期間中にバッファ・アンダーフローが生じないように決定される。第3下限値は、立体視映像の再生時、各ディペンデントビュー・エクステントの次のベースビュー・エクステントの読み出し期間中にバッファ・アンダーフローが生じないように決定される。
Description
本発明は、立体視映像、すなわち3次元(3D)映像の再生技術に関し、特に、記録媒体上でのビデオ・ストリームのアロケーションに関する。
近年、3D映像に対する一般的な関心が高まっている。例えば遊園地では、3D映像を利用したアトラクションが人気を集めている。また、全国各地で、3D映像の映画を上映する映画館が増加している。そのような3D映像への関心の高まりに伴い、3D映像を各家庭でも再生可能にするための技術の開発が進められている。その技術では、3D映像コンテンツを高画質のまま、光ディスク等の可搬性記録媒体に記録することが求められる。更に、2D再生装置に対するその記録媒体の互換性が求められる。すなわち、その記録媒体に記録された3D映像コンテンツから、2D再生装置は2D映像を再生でき、3D再生装置は3D映像を再生できることが望ましい。ここで、「2D再生装置」とは、平面視映像、すなわち2次元(2D)映像のみを再生可能な従来の再生装置を意味し、「3D再生装置」とは、3D映像を再生可能な再生装置を意味する。尚、3D再生装置は2D映像も再生可能である。
図63は、3D映像コンテンツが記録された光ディスクについて、2D再生装置に対する互換性を確保するための技術を示す模式図である(例えば特許文献1参照)。光ディスク6301には二種類のAV(Audio Visual)ストリーム・ファイルが格納されている。そのうちの一方は2D/レフトビュー・ストリーム・ファイルであり、他方はライトビュー・ストリーム・ファイルである。2D/レフトビュー・ストリーム・ファイルは2D/レフトビュー・ストリームを含む。「2D/レフトビュー・ストリーム」は、3D映像の再生では視聴者の左目に見せる2D映像、すなわち「レフトビュー」を表し、2D映像の再生ではその2D映像そのものを表す。ライトビュー・ストリーム・ファイルはライトビュー・ストリームを含む。「ライトビュー・ストリーム」は、3D映像の再生において視聴者の右目に見せる2D映像、すなわち「ライトビュー」を表す。左右のビデオ・ストリーム間では、フレームレートは等しいが、フレームの表示時期はフレーム周期の半分だけずれている。例えば、各ビデオ・ストリームのフレームレートが1秒間に24フレームであるとき、レフトビュー・ストリームとライトビュー・ストリームとの各フレームが1/48秒ごとに交互に表示される。
各ストリーム・ファイルは、図62に示されているように、光ディスク6301上では複数のエクステント6302A-C、6303A-Cに分割されている。各エクステントはGOP(グループ・オブ・ピクチャ)を1以上含み、光ディスクドライブによって一括して読み出される。以下、2D/レフトビュー・ストリーム・ファイルに属するエクステントを「レフトビュー・エクステント」といい、ライトビュー・ストリーム・ファイルに属するエクステントを「ライトビュー・エクステント」という。レフトビュー・エクステント6302A-Cとライトビュー・エクステント6303A-Cとは交互に光ディスク6301のトラック6301A上に配置されている。隣接する2つのエクステント6302A-6303A、6302B-6303B、6302C-6303Cの間では再生時間が等しい。このようなエクステントの配置を「インターリーブ配置」という。インターリーブ配置で記録されたエクステント群は、以下に述べるように、3D映像の再生と2D映像の再生との両方で利用される。
2D再生装置6304では、光ディスクドライブ6304Aが光ディスク6301上のエクステントのうち、レフトビュー・エクステント6302A-Cのみを先頭から順番に読み出し、ライトビュー・エクステント6303A-Cの読み出しをスキップする。更に、映像デコーダ6304Bが、光ディスクドライブ6304Aによって読み出されたエクステントを順次、レフトビュー・フレーム6306Lに復号する。それにより、表示装置6307にはレフトビューのみが表示されるので、視聴者には通常の2D映像が見える。
3D再生装置6305では、光ディスクドライブ6305Aが光ディスク6301からレフトビュー・エクステントとライトビュー・エクステントとを交互に、符号で表せば、6302A、6303A、6302B、6303B、6302C、6303Cの順に読み出す。更に、読み出された各エクステントから、2D/レフトビュー・ストリームは左映像デコーダ6305Lへ送られ、ライトビュー・ストリームは右映像デコーダ6305Rへ送られる。各映像デコーダ6305L、6305Rは交互に各ビデオ・ストリームを映像フレーム6306L、6306Rに復号する。それにより、表示装置6308にはレフトビューとライトビューとが交互に表示される。一方、シャッター眼鏡6309は左右のレンズを、表示装置6308による画面の切り換えに同期して交互に不透明にする。従って、シャッター眼鏡6309をかけた視聴者には、表示装置6308に表示された映像が3D映像に見える。
光ディスクに限らず、記録媒体に3D映像コンテンツを格納するときは、上記のようにエクステントのインターリーブ配置を利用する。それにより、その記録媒体を2D映像の再生と3D映像の再生との両方で利用することができる。
図63に示されているように、インターリーブ配置のエクステント群から2D映像が再生されるとき、光ディスクドライブ6304Aはライトビュー・エクステント6303A-Cの記録領域ごとに「ジャンプ」を行う。すなわち、光ディスクドライブ6304Aがその記録領域からのデータの読み出しをスキップする。ジャンプ期間中、2D再生装置6304内のバッファには光ディスクドライブ6304Aからデータが供給されないので、そのバッファに蓄積されたデータは映像デコーダ6304Bの処理に伴って減少する。従って、2D映像がシームレスに再生されるには、各レフトビュー・エクステント6302A-Cのデータ量すなわちサイズが、ジャンプ期間でのバッファ・アンダーフローを防止可能な程度以上でなければならない。
一方、同じエクステント群から3D映像が再生されるとき、レフトビュー・エクステント6302A-Cが読み出されている期間中、ライトビュー・エクステント6303A-Cは読み出されない。従って、その期間中、3D再生装置6305内のバッファに蓄積されたライトビュー・エクステント6303A-Cのデータは、右映像デコーダ6305Rの処理に伴って減少する。逆に、ライトビュー・エクステント6303A-Cが読み出されている期間中、バッファに蓄積されたレフトビュー・エクステント6302A-Cのデータは、左映像デコーダ6305Lの処理に伴って減少する。従って、3D映像がシームレスに再生されるには、左右の各エクステント6302A-C、6303A-Cのサイズが、一方のエクステントの読み出し期間の途中でバッファ内の他方のエクステントのデータが枯渇することを防止可能な程度以上でなければならない。
記録媒体には更に、共通の2D/レフトビュー・ストリームに対して異なるライトビュー・ストリームが二種類以上記録されていてもよい。その場合、3D再生装置は、レフトビュー・ストリームを異なるライトビュー・ストリームと組み合わせることにより、例えば両眼視差の異なる3D映像を同じ記録媒体から再生できる。
記録媒体にはその他に、2D映像を表すビデオ・ストリームと「デプスマップ・ストリーム」との組み合わせが記録されていてもよい。その2D映像は、3D映像から仮想的な2D画面へ射影された映像を表す。デプスマップ・ストリームは、その3D映像の各フレームのデプスマップを含む。デプスマップは、その3D映像の2D画面に対する奥行きを画素単位で表したものである。3D再生装置は、それらのストリームの組み合わせからレフトビュー・ストリームとライトビュー・ストリームとの組み合わせを構成することにより、3D映像を再生できる。ここで、2D映像を表すビデオ・ストリームとして上記の2D/レフトビュー・ストリームが利用されてもよい。その場合、記録媒体には、2D/レフトビュー・ストリームとライトビュー・ストリームとに加えて、デプスマップ・ストリームが記録される。
それらのように、一つの記録媒体に、左右のビデオ・ストリームの単一の組み合わせに加えて他のビデオ・ストリームが記録されている場合、その記録媒体上では三種類以上のエクステントがインターリーブ配置を構成する。従って、そのエクステント群から3D映像が再生されるとき、光ディスクドライブは2D映像の再生時と同様に、再生対象外のエクステントの記録領域ごとにジャンプを行う。それ故、3D映像がシームレスに再生されるには、各エクステントのサイズが、各ジャンプ期間でのバッファ・アンダーフロー又はいずれかのエクステントのデータの枯渇を防止可能な程度以上でなければならない。
上記のいずれの場合においても、各エクステントのサイズが単純に大きければ、バッファ・アンダーフロー等を防止することはできる。しかし、もしエクステントのサイズが過大であれば、バッファの容量を更に削減することが困難である。それは、再生装置の更なる小型化、及び製造コストの更なる削減を阻むので好ましくない。
本発明の目的は、再生装置内のバッファにアンダーフローを生じさせることなく、その容量を更に削減できるように、二種類以上のストリーム・ファイルが更に適切な配置で格納された記録媒体を提供することにある。
本発明による記録媒体には、ベースビュー・ストリーム・ファイルとディペンデントビュー・ストリーム・ファイルとが記録されている。ベースビュー・ストリーム・ファイルは平面視映像の再生に利用される。ディペンデントビュー・ストリーム・ファイルは、ベースビュー・ストリーム・ファイルと組み合わされて立体視映像の再生に利用される。記録媒体は更に、ベースビュー・ストリーム・ファイルに属する複数のベースビュー・エクステントとディペンデントビュー・ストリーム・ファイルに属する複数のディペンデントビュー・エクステントとが交互に配置された連続領域を含む。各ベースビュー・エクステントのサイズは第1下限値と第2下限値とのいずれか大きい方を下限とする。第1下限値は、平面視映像の再生時、各ベースビュー・エクステントから次のベースビュー・エクステントまでのジャンプ期間に再生装置にバッファ・アンダーフローを生じさせないように決定される。第2下限値は、立体視映像の再生時、各ベースビュー・エクステントの次のディペンデントビュー・エクステントの読み出し期間中に再生装置にバッファ・アンダーフローを生じさせないように決定される。各ディペンデントビュー・エクステントのサイズは第3下限値を下限とする。第3下限値は、立体視映像の再生時、各ディペンデントビュー・エクステントの次のベースビュー・エクステントの読み出し期間中に再生装置にバッファ・アンダーフローを生じさせないように決定される。
本発明による上記の記録媒体では、ベースビュー・エクステントとディペンデントビュー・エクステントとの各サイズに対する下限が明確である。その結果、その記録媒体から平面視映像と立体視映像とのいずれが再生されるときにも再生装置内のバッファにアンダーフローを生じさせることなく、その容量を更に削減できるように、各エクステントのサイズを適切に設計することが容易である。
以下、本発明の好適な実施形態に係る記録媒体及び再生装置について、図面を参照しながら説明する。
《実施形態1》
図1は、本発明の実施形態1による記録媒体を使用するホームシアター・システムを示す模式図である。図1において、その記録媒体101は読み出し専用ブルーレイ・ディスク(BD:Blu-ray Disc)、すなわちBD-ROMディスクである。その記録媒体101はその他の可搬性記録媒体、例えば、DVD等の他方式による光ディスク、リムーバブル・ハードディスクドライブ(HDD)、又はSDメモリカード等の半導体メモリ装置であってもよい。その記録媒体、すなわちBD-ROMディスク101は、3D映像による映画コンテンツを格納している。一方、ホームシアター・システムは、再生装置102、表示装置103、シャッター眼鏡104、及びリモコン105を含む。
再生装置102はBD-ROMドライブ121を搭載している。BD-ROMドライブ121はBD-ROM方式に準拠の光ディスクドライブである。再生装置102はBD-ROMドライブ121を利用して、BD-ROMディスク101から映画コンテンツを読み込む。再生装置102は更に、その映画コンテンツを映像データ/音声データに復号する。ここで、再生装置102が2D再生装置であるとき、又は表示装置103が2D映像の再生にのみ対応可能であるとき、映像データはレフトビュー又はライトビューのいずれか一方の映像フレームのみを含む。一方、再生装置102が3D再生装置であり、かつ表示装置103が3D映像の再生に対応可能であるとき、映像データはレフトビューとライトビューとの両方の映像フレームを含む。
再生装置102はHDMI(High-Definition Multimedia Interface)ケーブル122で表示装置103に接続されている。再生装置102は映像データ/音声データをHDMI方式の映像信号/音声信号に変換し、HDMIケーブル122を通して表示装置103に伝送する。ここで、再生装置102が2D再生装置であるとき、又は表示装置103が2D映像の再生にのみ対応可能であるとき、映像信号にはレフトビュー又はライトビューのいずれか一方の映像フレームのみが多重化されている。一方、再生装置102が3D再生装置であり、かつ表示装置103が3D映像に対応可能であるとき、映像信号にはレフトビューとライトビューとの両方の映像フレームが時分割で多重化されている。再生装置102はその他に、HDMIケーブル122を通して表示装置103との間でCECメッセージを交換する。それにより、再生装置102は表示装置103に対して、3D映像の再生に対応可能か否かを問い合わせる。
表示装置103は液晶ディスプレイである。表示装置103はその他に、プラズマ・ディスプレイ及び有機ELディスプレイ等、他方式のフラットパネル・ディスプレイ又はプロジェクタであってもよい。表示装置103は、映像信号に従って画面131上に映像を再現し、音声信号に従って内蔵のスピーカから音声を発生させる。ここで、再生装置102が2D再生装置であるとき、又は表示装置103が2D映像の再生にのみ対応可能であるとき、画面131上にはレフトビュー又はライトビューのいずれか一方のみが再現される。一方、再生装置102が3D再生装置であり、かつ表示装置103が3D映像に対応可能であるとき、画面131上にはレフトビューとライトビューとが交互に再現される。
表示装置103が3D映像の再生に対応可能であるとき、表示装置103は更に左右信号送信部132を搭載している。表示装置103はそれを利用して左右信号LRを赤外線又は無線でシャッター眼鏡104へ送出する。左右信号LRは、その時点で画面131に表示される映像がレフトビューとライトビューとのいずれであるのかを示す。表示装置103は、映像信号に付随する制御信号からレフトビュー・フレームとライトビュー・フレームとを識別して、左右信号LRの波形の切り換えをフレームの切り換えに同期させる。
シャッター眼鏡104は、二枚の液晶表示パネル141L、141Rと左右信号受信部142とを含む。各液晶表示パネル141L、141Rは左右の各レンズ部分を構成している。左右信号受信部142は左右信号LRを受信し、その波形の変化に応じて左右の液晶表示パネル141L、141Rに信号を送る。各液晶表示パネル141L、141Rはその信号に応じて、光をその全体で一様に透過させ、又は遮断する。特に左右信号LRがレフトビューの表示を示すとき、左目側の液晶表示パネル141Lは光を透過させ、右目側の液晶表示パネル141Rは光を遮断する。左右信号LRがライトビューの表示を示すときはその逆である。このように、二枚の液晶表示パネル141L、141Rは、フレームの切り換えと同期して交互に光を透過させる。その結果、視聴者がシャッター眼鏡104をかけて画面131を見たとき、レフトビューはその視聴者の左目だけに映り、ライトビューはその右目だけに映る。そのとき、その視聴者には、各目に映る映像間の違いが一つの立体的物体に対する両眼視差として知覚されるので、その映像が立体的に見える。
リモコン105は操作部と送信部とを含む。操作部は複数のボタンを含む。各ボタンは、電源のオンオフ、又は、BD-ROMディスク101の再生開始若しくは停止等、再生装置102又は表示装置103の各機能に対応付けられている。操作部はユーザによる各ボタンの押下を検出し、そのボタンを特定する信号を送信部に渡す。送信部はその信号を赤外線又は無線による信号IRで再生装置102又は表示装置103へ送出する。それにより、ユーザは再生装置102又は表示装置103を遠隔操作できる。
<BD-ROMディスク上のデータ構造>
図2は、BD-ROMディスク101上のデータ構造を示す模式図である。図2を参照するに、BD-ROMディスク101上のデータ記録領域の最内周部にはBCA(Burst Cutting Area)201が設けられている。BCAに対してはBD-ROMドライブ121によるアクセスのみが許可され、アプリケーション・プログラムによるアクセスは禁止される。それにより、BCA201は著作権保護技術に利用される。BCA201よりも外側のデータ記録領域にはトラックが、内周から外周へ向けて螺旋状に形成されている。図2にはトラック202が仮想的に横方向に引き伸ばされて描かれている。そのトラック202の左側がディスク101の内周部を表し、右側が外周部を表す。図2に示されているように、トラック202は内周から順に、リードイン領域202A、ボリューム領域202B、及びリードアウト領域202Cを含む。リードイン領域202AはBCA201のすぐ外周側に設けられている。リードイン領域202Aは、ボリューム領域202Bに記録されたデータのサイズ及び物理アドレス等、ボリューム領域202Bへのアクセスに必要な情報を含む。リードアウト領域202Cはデータ記録領域の最外周部に設けられ、ボリューム領域202Bの終端を示す。ボリューム領域202Bは、映像及び音声等のアプリケーション・データを含む。
ボリューム領域202Bは「セクタ」と呼ばれる小領域に分割されている。各セクタにはボリューム領域202Bの先頭から順に通し番号が振られている。この通し番号のことを論理アドレス(又は論理ブロック番号)という。BD-ROMディスク101からのデータの読み出しは、そのデータが格納されたセクタの論理アドレスを指定することによって実行される。こうして、ボリューム領域202Bはセクタ単位でアクセス可能である。BD-ROMディスク101では更に、論理アドレスは物理アドレスと実質的に等しい。すなわち、論理アドレスが連続している領域では物理アドレスも実質的に連続している。従って、BD-ROMドライブ121は、論理アドレスが連続しているセクタからデータを、その光ピックアップにシークを行わせることなく連続して読み出すことができる。
≪BD-ROMディスク上のファイルシステム≫
ボリューム領域202Bに対するファイルシステムとしてはUDF(Universal Disc Format)が採用されている。そのファイルシステムはその他にISO9660であってもよい。そのファイルシステムにより、ボリューム領域202Bに記録されたデータはディレクトリ/ファイル形式で表現される。すなわち、それらのデータはディレクトリ単位又はファイル単位でアクセス可能である。
更に具体的には、そのファイルシステムとしてUDFが利用されるとき、ボリューム領域202Bは、ディレクトリ領域、ファイルセット記述子の記録領域、及び終端記述子の記録領域を含む。「ディレクトリ領域」は一般に複数であり、それぞれが、一つのディレクトリを構成するデータの記録領域である。「ファイルセット記述子」は、ディレクトリ領域のうち、ルートディレクトリのファイル・エントリが記録されているセクタの論理ブロック番号(LBN)を示す。「終端記述子」はファイルセット記述子の終端を示す。
各ディレクトリ領域はいずれも共通のデータ構造を持つ。各ディレクトリ領域は特に、ファイル・エントリ、ディレクトリ・ファイル、及び下位ファイルの各記録領域を含む。
「ファイル・エントリ」は、記述子タグ、ICBタグ、及びアロケーション記述子を含む。「記述子タグ」は、その記述子タグを含むデータがファイル・エントリであることを示す。例えば記述子タグの値が“261”であるとき、そのデータはファイル・エントリである。「ICBタグ」はそのファイル・エントリ自身の属性情報を示す。「アロケーション記述子」は、同じディレクトリ領域に属するディレクトリ・ファイルが記録されたセクタのLBNを示す。
「ディレクトリ・ファイル」は、下位ディレクトリのファイル識別記述子と、下位ファイルのファイル識別記述子とを含む。「下位ディレクトリのファイル識別記述子」は、そのディレクトリ領域に記録されたディレクトリの直下にある下位ディレクトリにアクセスするための情報である。このファイル識別記述子は特に、その下位ディレクトリの識別情報、ディレクトリ名の長さ、ファイル・エントリ・アドレス、及びディレクトリ名そのものを含む。ここで、ファイル・エントリ・アドレスは、その下位ディレクトリのファイル・エントリが記録されたセクタのLBNを示す。「下位ファイルのファイル識別記述子」は、そのディレクトリ領域に記録されたディレクトリの直下にある下位ファイルにアクセスするための情報である。このファイル識別記述子は、その下位ファイルの識別情報、ファイル名の長さ、ファイル・エントリ・アドレス、及びファイル名そのものを含む。ここで、ファイル・エントリ・アドレスは、その下位ファイルのファイル・エントリのLBNを示す。下位ディレクトリ/ファイルのファイル識別記述子を辿ってゆけば、ルートディレクトリのファイル・エントリから下位ディレクトリ/下位ファイルのファイル・エントリに順次、到達することができる。
「下位ファイル」は、そのディレクトリ領域に記録されたディレクトリの直下にある下位ファイルのファイル・エントリと実体とを含む。「ファイル・エントリ」は、記述子タグ、ICBタグ、及びアロケーション記述子を含む。「記述子タグ」は、その記述子タグを含むデータがファイル・エントリであることを示す。「ICBタグ」はそのファイル・エントリ自身の属性情報を示す。「アロケーション記述子」は、その下位ファイルの実体を構成する各エクステントの配置を示す。ここで、「エクステント」は、論理アドレスが連続しているデータ列を意味する。アロケーション記述子は各エクステントに一つずつ設けられる。従って、下位ファイルが複数のエクステントに分割されているとき、ファイル・エントリはアロケーション記述子を複数含む。より具体的には、アロケーション記述子は各エクステントのサイズとLBNとを含む。更に、アロケーション記述子の上位2ビットは、そのLBNのセクタにエクステントが実際に記録されているか否かを示す。すなわち、その上位2ビットが“0”であるとき、そのセクタにはエクステントが割り付け済みであり、かつ記録済みであることを示し、“1”であるとき、そのセクタにエクステントが割り付け済みではあるが未記録であることを示す。各ファイルのファイル・エントリのアロケーション記述子を参照することにより、そのファイルを構成する各エクステントの論理アドレスを知ることができる。
UDFを利用した上記のファイルシステムと同様、ボリューム領域202Bに対するファイルシステムでは一般に、ボリューム領域202Bに記録された各ファイルが複数のエクステントに分割されているとき、上記のアロケーション記述子のように、各エクステントの配置を示す情報がボリューム領域202Bに併せて記録される。その情報を参照することにより、各エクステントの配置、特にその論理アドレスを知ることができる。
≪BD-ROMディスク上のディレクトリ/ファイル構造≫
図2を更に参照するに、BD-ROM101上のディレクトリ/ファイル構造204では、ルート(ROOT)ディレクトリ241の直下にBDムービー(BDMV:BD Movie)ディレクトリ242が置かれている。BDMVディレクトリ242の直下には、インデックス・ファイル(index.bdmv)242Aとムービーオブジェクト・ファイル(MovieObject.bdmv)242Bとが置かれている。
インデックス・ファイル242Aは、BD-ROMディスク101に記録されたコンテンツの全体を管理するための情報である。その情報は特に、そのコンテンツを再生装置に認識させるための情報、及びインデックス・テーブルを含む。インデックス・テーブルは、そのコンテンツを構成するタイトルと、再生装置の動作を制御するためのプログラムとの間の対応関係を規定する。そのプログラムを特に「オブジェクト」という。オブジェクトの種類には、ムービーオブジェクトとBD-J(BD Java (登録商標))オブジェクトとがある。
図3は、インデックス・ファイル242A内のインデックス・テーブル310を示す模式図である。インデックス・テーブル310は、「ファーストプレイ」301、「トップメニュー」302、及び「タイトルk」303(k=1、2、…、n:nは1以上の整数)という項目を含む。各項目にはムービーオブジェクトMVO-2D、MVO-3D、…、又はBD-JオブジェクトBDJO-2D、BDJO-3D、…のいずれかが対応付けられている。ユーザの操作又はアプリケーション・プログラムによってタイトル又はメニューが呼び出される度に、再生装置102の制御部はインデックス・テーブル310の対応する項目を参照して、その項目に対応付けられているオブジェクトをディスク101から呼び出す。制御部は更に、呼び出されたオブジェクトに従って様々な処理を実行する。具体的には、項目「ファーストプレイ」301には、ディスク101がBD-ROMドライブ121へ挿入された時に呼び出されるべきオブジェクトが指定されている。項目「トップメニュー」302には、例えばユーザの操作で「メニューに戻れ」というコマンドが入力された時に表示装置103にメニューを表示させるためのオブジェクトが指定されている。項目「タイトルk」303には、ディスク101上のコンテンツを構成するタイトルが個別に割り当てられている。例えばユーザの操作によって再生対象のタイトルが指定されたとき、そのタイトルが割り当てられている項目「タイトルk」には、そのタイトルに対応するAVストリーム・ファイルから映像を再生するためのオブジェクトが指定されている。
ムービーオブジェクト・ファイル242Bは一般に複数のムービーオブジェクトを含む。各ムービーオブジェクトはナビゲーション・コマンドの列を含む。ナビゲーション・コマンドは、一般的なDVDプレーヤによる再生処理と同様な再生処理を再生装置に実行させるための制御指令である。ナビゲーション・コマンドの種類には、例えば、タイトルに対応するプレイリスト・ファイルの読み出し命令、プレイリスト・ファイルの示すAVストリーム・ファイルの再生命令、及び別のタイトルへの遷移命令がある。ナビゲーション・コマンドはインタプリタ型言語で記述され、再生装置に組み込まれたインタプリタ、すなわちジョブ制御プログラムによって解読され、その制御部に所望のジョブを実行させる。ナビゲーション・コマンドはオペコードとオペランドとから成る。オペコードは、タイトルの分岐と再生及び演算等、再生装置に実行させるべき操作の内容を示す。オペランドは、タイトル番号等、その操作の対象の識別情報を示す。再生装置102の制御部は、例えばユーザの操作に応じて各ムービーオブジェクトを呼び出し、そのムービーオブジェクトに含まれるナビゲーション・コマンドを列の順に実行する。それにより、再生装置102は、一般的なDVDプレーヤと同様に、まず、表示装置103にメニューを表示してユーザにコマンドを選択させる。再生装置102は次に、選択されたコマンドに応じて、タイトルの再生開始/停止、及び別のタイトルへの切り換え等、再生される映像の進行を動的に変化させる。
図2に示されているように、BDMVディレクトリ242は更に、プレイリスト(PLAYLIST)ディレクトリ243、クリップ情報(CLIPINF)ディレクトリ244、ストリーム(STREAM)ディレクトリ245、BD-Jオブジェクト(BDJO:BD Java Object)ディレクトリ246、及びJavaアーカイブ(JAR:Java Archive)ディレクトリ247を含む。
STREAMディレクトリ245には三種類のAVストリーム・ファイル(00001.m2ts)245A、(00002.m2ts)245B、(00003.m2ts)245Cが置かれている。「AVストリーム・ファイル」は映像コンテンツの実体であり、映像・音声・字幕等を表す。AVストリーム・ファイルの種類には、2D・AVストリーム・ファイル、レフトビュー・ストリーム・ファイル、ライトビュー・ストリーム・ファイル、及びデプスマップAVストリーム・ファイルがある。「2D・AVストリーム・ファイル」とは、単独で2D映像の再生に利用可能なAVストリーム・ファイルを意味する。「レフトビュー・ストリーム・ファイル」とは、3D映像のレフトビューを表すAVストリーム・ファイルを意味する。「ライトビュー・ストリーム・ファイル」とは、3D映像のライトビューを表すAVストリーム・ファイルを意味する。レフトビュー・ストリーム・ファイルとライトビュー・ストリーム・ファイルとは一対で3D映像の表示に利用される。「デプスマップAVストリーム・ファイル」とは、3D映像のデプスマップを表すAVストリーム・ファイルを意味する。デプスマップAVストリーム・ファイルは2D・AVストリーム・ファイルとの組み合わせで3D映像の再生に利用される。図2に示されている例では、第1AVストリーム・ファイル(00001.m2ts)245Aは2D・AVストリーム・ファイルであり、かつ、レフトビュー・ストリーム・ファイルでもある。第2AVストリーム・ファイル(00002.m2ts)245Bはライトビュー・ストリーム・ファイルであり、第1AVストリーム・ファイル245Aとの組み合わせで3D映像の再生に利用される。第3AVストリーム・ファイル(00003.m2ts)245CはデプスマップAVストリーム・ファイルであり、第1AVストリーム・ファイル245Aとの組み合わせで3D映像の再生に利用される。
CLIPINFディレクトリ244には三種類のクリップ情報ファイル(00001.clpi)244A、(00002.clpi)244B、(00003.clpi)244Cが置かれている。「クリップ情報ファイル」はAVストリーム・ファイルと一対一に対応付けられ、主にそのAVストリーム・ファイルの表す映像の表示時間とそのAVストリーム・ファイル内の論理アドレスとの間の対応関係を表す。クリップ情報ファイルの種類には、2Dクリップ情報ファイル、レフトビュー・クリップ情報ファイル、ライトビュー・クリップ情報ファイル、及びデプスマップ・クリップ情報ファイルがあり、それぞれ、2D・AVストリーム・ファイル、レフトビュー・ストリーム・ファイル、ライトビュー・ストリーム・ファイル、及びデプスマップAVストリーム・ファイルに対応付けられるべきクリップ情報ファイルをいう。図2に示されている例では、第1クリップ情報ファイル(00001.clpi)244Aは2Dクリップ情報ファイルであり、かつレフトビュー・クリップ情報ファイルでもあり、第1AVストリーム・ファイル(00001.m2ts)245Aに対応付けられている。第2クリップ情報ファイル(00002.clpi)244Bはライトビュー・クリップ情報ファイルであり、第2AVストリーム・ファイル(00002.m2ts)245Bに対応付けられている。第3クリップ情報ファイル(00003.clpi)244Cはデプスマップ・クリップ情報ファイルであり、第3AVストリーム・ファイル(00003.m2ts)245Cに対応付けられている。
PLAYLISTディレクトリ243には三種類のプレイリスト・ファイル(00001.mpls)243A、(00002.mpls)243B、(00003.mpls)243Cが置かれている。「プレイリスト・ファイル」は、AVストリーム・ファイルの再生経路、すなわちAVストリーム・ファイルの復号対象の部分とその復号順とを規定する。プレイリスト・ファイルの種類には2Dプレイリスト・ファイルと3Dプレイリスト・ファイルとがある。「2Dプレイリスト・ファイル」は、2D・AVストリーム・ファイルの再生経路を規定するプレイリスト・ファイルをいう。「3Dプレイリスト・ファイル」は、レフトビュー・ストリーム・ファイルとライトビュー・ストリーム・ファイルとの対の再生経路、又は、2D・AVストリーム・ファイルとデプスマップAVストリーム・ファイルとの対の再生経路を規定するプレイリスト・ファイルをいう。第1プレイリスト・ファイル(00001.mpls)243Aは2Dプレイリスト・ファイルであり、第2プレイリスト・ファイル(00002.mpls)243Bと第3プレイリスト・ファイル(00003.mpls)243Cとはいずれも3Dプレイリスト・ファイルである。特に、レフトビュー・ストリーム・ファイルとライトビュー・ストリーム・ファイルとの組み合わせから3D映像が再生されるとき、第2プレイリスト・ファイル243Bが利用される。一方、2D・AVストリーム・ファイルとデプスマップ・ストリーム・ファイルとの組み合わせから3D映像が再生されるとき、第3プレイリスト・ファイル243Cが利用される。
BDJOディレクトリ246にはBD-Jオブジェクト・ファイル(XXXXX.bdjo)246Aが置かれている。BD-Jオブジェクト・ファイル246AはBD-Jオブジェクトを一つ含む。BD-Jオブジェクトは、再生装置102に実装されたJava仮想マシンに、タイトルの再生処理及びグラフィックス映像の描画処理を実行させるためのバイトコード・プログラムである。BD-Jオブジェクトは、Java言語等のコンパイラ型言語で記述されている。BD-Jオブジェクトは、アプリケーション管理テーブルと、参照対象のプレイリスト・ファイルの識別情報とを含む。アプリケーション管理テーブルは、Java仮想マシンに実行させるべきJavaアプリケーション・プログラムとその実行時期(ライフサイクル)とのリストである。参照対象のプレイリスト・ファイルの識別情報は、再生対象のタイトルに対応するプレイリスト・ファイルを識別するための情報である。Java仮想マシンは、ユーザの操作又はアプリケーション・プログラムに従って各BD-Jオブジェクトを呼び出し、そのBD-Jオブジェクトに含まれるアプリケーション管理テーブルに従ってJavaアプリケーション・プログラムを実行する。それにより、再生装置102は、再生される各タイトルの映像の進行を動的に変化させ、又は、表示装置103にグラフィックス映像をタイトルの映像とは独立に表示させる。
JARディレクトリ247にはJARファイル(YYYYY.jar)247Aが置かれている。JARファイル247Aは、BD-Jオブジェクトの示すアプリケーション管理テーブルに従って実行されるべきJavaアプリケーション・プログラムの本体を一般に複数含む。Javaアプリケーション・プログラムは、BD-Jオブジェクトと同様、Java言語等のコンパイラ型言語で記述されたバイトコード・プログラムである。Javaアプリケーション・プログラムの種類には、Java仮想マシンにタイトルの再生処理を実行させるもの、及び、Java仮想マシンにグラフィックス映像の描画処理を実行させるものが含まれる。JARファイル247AはJavaアーカイブ・ファイルであり、再生装置102に読み込まれたとき、その内部のメモリで展開される。それにより、そのメモリの中にJavaアプリケーション・プログラムが格納される。
ディレクトリ/ファイル構造204は具体的には、BD-ROMディスク101のボリューム領域202B上に、ROOTディレクトリ領域、BDMVディレクトリ領域、PLAYLISTディレクトリ領域、CLIPINFディレクトリ領域、STREAMディレクトリ領域、BDJOディレクトリ領域、及びJARディレクトリ領域として構成されている。上記のファイル識別記述子を辿ってゆけば、ROOTディレクトリのファイル・エントリから各ディレクトリのファイル・エントリに順次、到達することができる。例えば、ROOTディレクトリのファイル・エントリからBDMVディレクトリのファイル・エントリに到達することができ、更に、BDMVディレクトリのファイル・エントリからPLAYLISTディレクトリのファイル・エントリに到達することができる。同様に、BDMVディレクトリのファイル・エントリからは、CLIPINFディレクトリ、STREAMディレクトリ、BDJOディレクトリ、及びJARディレクトリ領域の各ファイル・エントリに到達することができる。
<2D映像コンテンツのデータ構造>
以下、BDMVディレクトリ242内のファイル群のうち、2D映像コンテンツの再生に関する各ファイルのデータ構造について説明する。
≪インデックス・テーブルに記述された各オブジェクト≫
図3に示されている例では、項目「タイトル1」に対応付けられているムービーオブジェクトMVO-2Dが、第1プレイリスト・ファイル243Aを用いた2D映像の再生処理に関する命令群を含む。再生装置102によって項目「タイトル1」が参照されたとき、そのムービーオブジェクトMVO-2Dに従い、第1プレイリスト・ファイル243Aがディスク101から読み出され、それに規定された再生経路に沿って2D映像の再生処理が実行される。
図3に示されている例では更に、項目「タイトル2」に対応付けられているBD-JオブジェクトBDJO-2Dが、第1プレイリスト・ファイル243Aを用いた2D映像の再生処理に関するアプリケーション管理テーブルを含む。再生装置102によって項目「タイトル2」が参照されたとき、そのBD-JオブジェクトBDJO-2D内のアプリケーション管理テーブルに従ってJARファイル247AからJavaアプリケーション・プログラムが呼び出されて実行される。それにより、第1プレイリスト・ファイル243Aがディスク101から読み出され、それに規定された再生経路に沿って2D映像の再生処理が実行される。
≪2D・AVストリーム・ファイル≫
第1AVストリーム・ファイル245AはMPEG-2トランスポート・ストリーム(TS)形式のデジタル・ストリームである。第1AVストリーム・ファイル245Aの中には複数のエレメンタリ・ストリームが多重化されている。図4は、第1AVストリーム・ファイル245Aに多重化されたエレメンタリ・ストリームを示す模式図である。図4を参照するに、第1AVストリーム・ファイル245Aは、プライマリ・ビデオ・ストリーム401、プライマリ・オーディオ・ストリーム402A、402B、プレゼンテーション・グラフィックス(PG)ストリーム403A、403B、インタラクティブ・グラフィックス(IG)ストリーム404、セカンダリ・ビデオ・ストリーム405A、405B、及びセカンダリ・オーディオ・ストリーム406を含む。
プライマリ・ビデオ・ストリーム401は映画の主映像を表し、セカンダリ・ビデオ・ストリーム405A、405Bは副映像を表す。ここで、主映像とは、映画の本編の映像等、コンテンツの主要な映像を意味し、例えば画面全体に表示されるものを指す。一方、副映像とは、例えば主映像の中に小さな画面で表示される映像のように、ピクチャ・イン・ピクチャ方式を利用して主映像と同時に画面に表示される映像を意味する。各ビデオ・ストリームは、MPEG-2、MPEG-4 AVC、又はSMPTE VC-1等の動画圧縮符号化方式で符号化されている。
プライマリ・オーディオ・ストリーム402A、402Bは映画の主音声を表す。ここで、二つのプライマリ・オーディオ・ストリーム402A、402Bの間では言語が異なる。セカンダリ・オーディオ・ストリーム406は、その主音声とミキシングされるべき副音声を表す。各オーディオ・ストリームは、AC-3、ドルビー・デジタル・プラス(Dolby Digital Plus:「ドルビー・デジタル」は登録商標)、MLP、DTS(Digital Theater System:登録商標)、DTS-HD、又はリニアPCM(Pulse Code Modulation)等の方式で符号化されている。
各PGストリーム403A、403Bは映画の字幕を表す。ここで、二つのPGストリーム403A、403Bの間では字幕の言語が異なる。IGストリーム404は、表示装置103の画面131上に対話画面を構成するためのグラフィックス・ユーザインタフェース(GUI)用のグラフィックス部品及びその配置を表す。
エレメンタリ・ストリーム401-406はパケットID(PID)によって識別される。例えば、プライマリ・ビデオ・ストリーム401にはPIDとして16進数値0x1011が割り当てられる。プライマリ・オーディオ・ストリーム402A、402BにはPIDとして0x1100から0x111Fまでのいずれかの値が割り当てられる。PGストリーム403A、403BにはPIDとして0x1200から0x121Fまでのいずれかの値が割り当てられる。IGストリーム404にはPIDとして0x1400から0x141Fまでのいずれかの値が割り当てられる。セカンダリ・ビデオ・ストリーム405A、405BにはPIDとして0x1B00から0x1B1Fまでのいずれかの値が割り当てられる。セカンダリ・オーディオ・ストリーム406にはPIDとして0x1A00から0x1A1Fまでのいずれかの値が割り当てられる。
図5は、2D・AVストリーム・ファイル513内に多重化された各エレメンタリ・ストリーム501、504、507、510のパケットの配置を表す模式図である。まず、複数の映像フレーム501から成るビデオ・ストリーム501がPESパケット502の列に変換される。次に、各PESパケット502がTSパケット503に変換される。同様に、複数の音声フレーム504から成るオーディオ・ストリームがPESパケット505の列に変換された後、TSパケット506の列に変換される。PGストリーム507及びIGストリーム510も同様に、PESパケット508、511の列に変換された後、TSパケット509、512の列に変換される。最後に、これらのTSパケット503、506、509、512が1本のストリーム513に時分割で多重化される。こうして、2D・AVストリーム・ファイル513が構成される。
以下、ビデオ・ストリームを例に挙げて、図5に示されているエレメンタリ・ストリームのパケット化の詳細について説明する。
図6は、ビデオ・ストリーム600に含まれるピクチャ611-614、…、621-624を表示時間順に示す模式図である。各ピクチャ611-614、621-624は映像データの1フレーム又は1フィールドを表す。ビデオ・ストリーム600内では各ピクチャ611-614、621-624は、MPEG-2等、上記の動画圧縮符号化方式によって圧縮されている。
上記の符号化方式による各ピクチャの圧縮には、そのピクチャの空間方向及び時間方向での冗長性が利用される。ここで、空間方向での冗長性のみを利用するピクチャの符号化を「ピクチャ内符号化」という。一方、時間方向での冗長性、すなわち、表示順序の連続する複数のピクチャ間でのデータの近似性を利用するピクチャの符号化を「ピクチャ間予測符号化」という。ピクチャ間予測符号化では、まず、符号化対象のピクチャに対して、表示時間が前又は後である別のピクチャが参照ピクチャとして設定される。次に、符号化対象のピクチャとその参照ピクチャとの間で動きベクトルが検出され、それを利用して動き補償が行われる。更に、動き補償後のピクチャと符号化対象のピクチャとの間の差分値が求められ、その差分値から空間方向での冗長性が除去される。こうして、各ピクチャのデータ量が圧縮される。
図6を参照するに、ビデオ・ストリーム600に含まれるピクチャは一般に複数のGOP610、620に分割されている。ここで、「GOP」は、Iピクチャを先頭とする複数枚の連続するピクチャの列をいう。「Iピクチャ」は、ピクチャ内符号化によって圧縮されたピクチャをいう。GOPは一般に、Iピクチャの他にPピクチャ及びBピクチャを含む。「Pピクチャ」は、ピクチャ間予測符号化によって圧縮されたピクチャであって、表示時間がそれよりも前であるIピクチャ又は別のPピクチャが一枚、参照ピクチャとして利用されたものをいう。「Bピクチャ」は、ピクチャ間予測符号化によって圧縮されたピクチャであって、表示時間がそれよりも前又は後であるIピクチャ又はPピクチャが二枚、参照ピクチャとして利用されたものをいう。
図6に示されている例では各GOP610、620内のピクチャが以下の順で圧縮される。まず、各GOP610、620の先頭のピクチャがI0ピクチャ611、I7ピクチャ621に圧縮される。ここで、下付の数字は、各ピクチャに表示時間順に割り振られた通し番号を示す。次に、各GOP610、620の4番目のピクチャが、図6に矢印で示されているように、同じGOP内のI0ピクチャ611、I7ピクチャ621をそれぞれの参照ピクチャとして、P3ピクチャ614、P10ピクチャ624に圧縮される。続いて、第1GOP610の2、3番目のピクチャが、その前のI0ピクチャ611とその後のP3ピクチャ614とを参照ピクチャとして、それぞれ、B1ピクチャ612、B2ピクチャ613に圧縮される。同様に、第2GOP620の2、3番目のピクチャが、その前のI7ピクチャ621とその後のP10ピクチャ624とを参照ピクチャとして、それぞれ、B8ピクチャ622、B9ピクチャ623に圧縮される。第1GOP610のように、P3ピクチャ614に後続するピクチャが更に存在する場合、それらも同様に圧縮される。
このように、各GOPはその先頭にIピクチャを必ず含むので、GOPごとに各ピクチャが復号可能である。例えば第1GOP610では、まず、I0ピクチャ611が単独で復号される。次に、復号後のI0ピクチャ611を利用してP3ピクチャ614が復号される。続いて、復号後のI0ピクチャ611とP3ピクチャ614とを利用して、B1ピクチャ612及びB2ピクチャ613が復号される。こうして、ビデオ・ストリーム600はGOP単位でのランダム・アクセスが可能である。従って、ビデオ・ストリーム600の編集及び再生をGOP単位で実行することができる。
図7は、ビデオ・ストリーム700のデータ構造の詳細を示す模式図である。図7に示されているように、実際のビデオ・ストリーム700を構成する各GOP710、720では、図6に示されているGOPの実体610、620に加え、ヘッダが各ピクチャ611、612、…に個別に付与されている。このヘッダと各ピクチャの実体との組み合わせを「ビデオ・アクセスユニット」という。すなわち、各GOP710、720ではピクチャごとに一つのビデオ・アクセスユニット711、712、…が構成されている。各ピクチャはビデオ・アクセスユニット単位でビデオ・ストリーム700から読み出し可能である。
図7を参照するに、各GOP710、720の先頭のビデオ・アクセスユニット711はIピクチャ611の実体とヘッダとを含む。Iピクチャ611の実体は圧縮ピクチャ・データ711Eに格納されている。ヘッダは、アクセスユニット(AU)識別コード711A、シーケンス・ヘッダ711B、ピクチャ・ヘッダ711C、及び補足データ711Dを含む。AU識別コード711Aは、各ビデオ・アクセスユニットの先頭を示す所定の符号である。シーケンス・ヘッダ711BはGOPヘッダともいい、そのGOP710の全体で共通する情報、例えば、解像度、フレームレート、アスペクト比、及びビットレートを含む。ピクチャ・ヘッダ711Cは、符号化方式の種類等、Iピクチャ611の復号に必要な情報を含む。補足データ711Dは、Iピクチャ611の復号以外に関する付加的な情報、例えば、クローズド・キャプションを示す文字情報、及び、タイムコード情報を含む。各GOP710、720の二番目以降のビデオ・アクセスユニット712は、ヘッダがシーケンス・ヘッダ711Bを含まない点を除き、先頭のビデオ・アクセスユニット711と構造が等しい。ビデオ・アクセスユニット711、712の各部の具体的な内容は、ビデオ・ストリーム700の符号化方式ごとに異なる。例えばその符号化方式がMPEG-4 AVCであるとき、ビデオ・アクセスユニット711は複数のNALユニットから構成され、AU識別コード711A、シーケンス・ヘッダ711B、ピクチャ・ヘッダ711C、及び補足データ711Dはそれぞれ、AUデリミタ(Access Unit Delimiter)、SPS(シーケンス・パラメータ・セット)、PPS(ピクチャ・パラメータ・セット)、及びSEI(Supplemental Enhancement Information)に相当する。
図8は、PESパケット802へのビデオ・ストリーム801の格納方法の詳細を示す模式図である。ここで、実際のビデオ・ストリームでは、ピクチャが表示時間順ではなく符号化順に多重化されている。すなわち、図8に示されているように、ビデオ・ストリーム801を構成する各ビデオ・アクセスユニットには、先頭から順に、Iピクチャyy1、Pピクチャyy2、Bピクチャyy3、yy4、…が格納されている。Pピクチャyy2の符号化にはIピクチャyy1が参照ピクチャとして利用され、各Bピクチャyy3、yy4の符号化にはIピクチャyy1とPピクチャyy2とが参照ピクチャとして利用される。それらのビデオ・アクセスユニットが一つずつ、異なるPESパケット802に格納される。図8を参照するに、各PESパケット802はPESペイロード802PとPESヘッダ802Hとを含む。各ビデオ・アクセスユニットはPESペイロード802Pに格納される。一方、各PESヘッダ802Hは、同じPESパケット802のPESペイロード802Pに格納されたピクチャの表示時刻、すなわちPTS(Presentation Time-Stamp)、及び、そのピクチャの復号時刻、すなわちDTS(Decoding Time-Stamp)を含む。
図8に示されているビデオ・ストリーム801と同様に、図5に示されている他のエレメンタリ・ストリームも一連のPESパケットの各PESペイロードに格納される。更に、各PESパケットのPESヘッダは、そのPESパケットのPESペイロードに格納されたデータのPTSを含む。
図9は、図5に示されている2D・AVストリーム・ファイル513を構成するTSパケット901及びソースパケット902の形式を示す模式図である。TSパケット901は188Byte長のパケットであり、図9の(a)に示されているように、4Byte長のTSヘッダ901Hと184Byte長のTSペイロード901Pとから構成される。図5に示されている各エレメンタリ・ストリームが格納されたPESパケットはそれぞれ、一般に複数の部分に分割され、部分ごとに異なるTSパケット901のTSペイロード901Pに格納される。TSヘッダ901HはPIDを含む。そのPIDは、同じTSパケット901のTSペイロード901Pに格納されたデータからPESパケット802が復元されたとき、そのPESペイロード802Pに格納されたデータの属するエレメンタリ・ストリームを示す。2D・AVストリーム・ファイル513がBD-ROMディスク101に記録されるときは、図9の(b)に示されているように、各TSパケット901に4Byte長のヘッダ(TP_Extra_Header)902Hが更に付与される。そのヘッダ902Hは特にATS(Arrival_Time_Stamp)を含む。ATSは、そのTSパケット901が後述のシステム・ターゲット・デコーダ内のPIDフィルタへ転送され始めるべき時刻を示す。このヘッダ902HとTSパケット901との組み合わせから成る192Byte長のパケット902を「ソースパケット」という。このソースパケット902が2D・AVストリーム・ファイル513に書き込まれる。その結果、2D・AVストリーム・ファイル513には、図9の(c)に示されているように複数のソースパケット902が順番に並ぶ。各ソースパケット902には、2D・AVストリーム・ファイル513の先頭から順に、通し番号0、1、2、…が振られている。この通し番号を「SPN(ソースパケット・ナンバー)」という。
AVストリーム・ファイルに含まれるTSパケットの種類には、図4、5に示されているエレメンタリ・ストリームから変換されたもの以外にも、PAT(Program Association Table)、PMT(Program Map Table)、及びPCR(Program Clock Reference)がある。PCR、PMT、及びPATは欧州デジタル放送規格で定められたものであり、本来は、一つの番組を構成するパーシャル・トランスポート・ストリームを規定する役割を持つ。PCR、PMT、及びPATを利用することで、AVストリーム・ファイルも、そのパーシャル・トランスポート・ストリームと同様に規定される。具体的には、PATは、同じAVストリーム・ファイルに含まれるPMTのPIDを示す。PAT自身のPIDは0である。PMTは、同じAVストリーム・ファイルに含まれる、映像・音声・字幕等を表す各エレメンタリ・ストリームのPIDとその属性情報とを含む。PMTは更に、そのAVストリーム・ファイルに関する各種のディスクリプタ(記述子ともいう。)を含む。ディスクリプタには特に、そのAVストリーム・ファイルのコピーの許可/禁止を示すコピー・コントロール情報が含まれる。PCRは、そのパケットのATSに対応させるべきSTC(System Time Clock)の値を示す情報を含む。ここで、STCは、デコーダ内でPTS及びDTSの基準として利用されるクロックである。デコーダはPCRを利用して、ATSの基準であるATC(Arrival Time Clock)にSTCを同期させる。
図10は、PMT1010のデータ構造を示す模式図である。PMT1010は、先頭から順に、PMTヘッダ1001、複数のディスクリプタ1002、及び複数のストリーム情報1003を含む。PMTヘッダ1001は、そのPMT1010に含まれるデータの長さ等を示す。各ディスクリプタ1002は、そのPMT1010を含むAVストリーム・ファイルの全体に関するディスクリプタである。前述のコピー・コントロール情報はディスクリプタ1002の一つに含まれる。ストリーム情報1003は、そのAVストリーム・ファイルに含まれる各エレメンタリ・ストリームに関する情報であり、一つずつ異なるエレメンタリ・ストリームに割り当てられている。各ストリーム情報1003は、ストリーム・タイプ1003A、PID1003B、及びストリーム・ディスクリプタ1003Cを含む。ストリーム・タイプ1003Aは、そのエレメンタリ・ストリームの圧縮に利用されたコーデックの識別情報等を含む。PID1003Bは、そのエレメンタリ・ストリームのPIDを示す。ストリーム・ディスクリプタ1003Cは、そのエレメンタリ・ストリームの属性情報、例えばフレームレート及びアスペクト比を含む。
PCR、PMT、及びPATを利用することで、再生装置内のデコーダにAVストリーム・ファイルを、欧州デジタル放送規格に準拠のパーシャル・トランスポート・ストリームと同様に処理させることができる。それにより、BD-ROMディスク101用の再生装置と欧州デジタル放送規格に準拠の端末装置との間の互換性を確保することができる。
≪2Dクリップ情報ファイル≫
図11は、第1クリップ情報ファイル(00001.clpi)244Aのうち、2Dクリップ情報ファイルとして利用される部分のデータ構造を示す模式図である。2Dクリップ情報ファイルは一般にこのデータ構造を持つ。図11を参照するに、第1クリップ情報ファイル244Aは、クリップ情報1101、ストリーム属性情報1102、及びエントリ・マップ1103を含む。
クリップ情報1101は、図11に示されているように、システムレート1101A、再生開始時刻1101B、及び再生終了時刻1101Cを含む。システムレート1101Aは、第1AVストリーム・ファイル245A内の“TSパケット”が再生装置102内でリード・バッファからシステム・ターゲット・デコーダへ転送されるときの転送速度の最高値を示す。尚、リード・バッファとシステム・ターゲット・デコーダについては後述する。第1AVストリーム・ファイル245Aでは、TSパケットの転送速度がシステムレート以下に抑えられるように、ソースパケットのATSの間隔が設定されている。再生開始時刻1101Bは、第1AVストリーム・ファイル245Aの先頭のビデオ・アクセスユニットのPTS、例えば先頭の映像フレームのPTSを示す。再生終了時刻1101Cは、第1AVストリーム・ファイル245Aの終端のビデオ・アクセスユニットのPTSから所定量遅れたSTCの値、例えば終端の映像フレームのPTSに1フレーム当たりの再生時間を加えた値を示す。
図12は、ストリーム属性情報1102のデータ構造を示す模式図である。ストリーム属性情報1102は、図12に示されているように、第1AVストリーム・ファイル245Aに含まれる各エレメンタリ・ストリームのPID1201とその属性情報1202との間の対応表である。ここで、属性情報1202は、ビデオ・ストリーム、オーディオ・ストリーム、PGストリーム、及びIGストリームのそれぞれで異なる。例えば、プライマリ・ビデオ・ストリームのPID0x1011に対応付けられた属性情報1210は、そのビデオ・ストリームの圧縮に利用されたコーデックの種類1211、そのビデオ・ストリームを構成する各ピクチャの解像度1212、アスペクト比1213、及びフレームレート1214を含む。一方、プライマリ・オーディオ・ストリームのPID0x1101に対応付けられた属性情報1220は、そのオーディオ・ストリームの圧縮に利用されたコーデックの種類1221、そのオーディオ・ストリームに含まれるチャンネル数1222、言語1223、及びサンプリング周波数1224を含む。これらの属性情報1202は再生装置102により、デコーダの初期化に利用される。
図13の(a)は、エントリ・マップ1103のデータ構造を示す模式図である。エントリ・マップ1103は、図13の(a)に示されているように、第1AVストリーム・ファイル245A内のビデオ・ストリーム別に割り当てられたテーブル1300を含む。各テーブル1300にはその割り当て先のビデオ・ストリームのPIDが対応付けられている。各テーブル1300はエントリ・マップ・ヘッダ1301と複数のエントリ・ポイント1302とを含む。エントリ・マップ・ヘッダ1301は、そのテーブル1300に対応付けられたPIDと、そのテーブル1300に含まれるエントリ・ポイント1302の総数とを含む。エントリ・ポイント1302は、PTS1303とSPN1304との対を個別に異なるエントリ・ポイントID(EP_ID)1305に対応付ける。PTS1303は、各部分1300の割り当て先のビデオ・ストリームに含まれるいずれかのIピクチャのPTSに等しい。SPN1304は、そのIピクチャが格納されたソースパケット群の先頭のSPNに等しい。
図13の(b)は、第1AVストリーム・ファイル245Aに含まれるソースパケットのうち、エントリ・マップ1103によって各EP_ID1305に対応付けられているものを示す模式図である。再生装置102はエントリ・マップ1103を利用して、ビデオ・ストリームからの映像の再生期間中、任意の時点のシーンに対応する第1AVストリーム・ファイル245A内のSPNを特定できる。例えば、早送り再生及び巻戻し再生等の特殊再生では、再生装置102はエントリ・マップ1103から、各EP_ID1305に対応付けられたSPN1304のソースパケットを特定し、それらを選択的に抽出して復号する。それにより、Iピクチャが選択的に再生される。こうして、再生装置102は、第1AVストリーム・ファイル245A自体を解析することなく、特殊再生を効率的に処理できる。
≪2Dプレイリスト・ファイル≫
図14は、2Dプレイリスト・ファイル1400のデータ構造を示す模式図である。図2に示されている第1プレイリスト・ファイル243Aは、このデータ構造を持つ。2Dプレイリスト・ファイル1400は、2D・AVストリーム・ファイル1404の再生経路、すなわちその2D・AVストリーム・ファイル1404の復号されるべき部分P1、P2、P3、及びそれらの復号順を規定する。2Dプレイリスト・ファイル1400は特に各部分P1、P2、P3の範囲をPTSで規定する。規定されたPTSは、その2D・AVストリーム・ファイル1404に対応付けられたクリップ情報ファイル1403を利用してそのAVストリーム・ファイル1404内のSPNに変換される。その結果、各部分P1、P2、P3の範囲がSPNで特定される。尚、図14とは異なり、部分P1、P2、P3のいずれかが2D・AVストリーム・ファイル1404とは別のAVストリーム・ファイルの一部であってもよい。
図14に示されているように、2Dプレイリスト・ファイル1400はプレイアイテム(PI)情報1401を一つ以上含む。各プレイアイテム情報1401は固有のプレイアイテムIDで識別される。各プレイアイテム情報1401は、再生経路内の異なる再生区間を一対のPTSで規定する。例えば、第1プレイアイテム情報PI#1は第1再生区間を、その開始時刻を表すPTST1と、終了時刻を表すPTST2との対で規定する。開始時刻T1と終了時刻T2とはそれぞれ、2D・クリップ情報ファイル1403を利用して2D・AVストリーム・ファイル1404内のSPNA1、A2に変換される。その結果、その再生区間で復号されるべき部分P1の範囲が、その両端のSPNA1、A2で特定される。図14に示されているPI#1-3のように、複数のプレイアイテム情報1401が2Dプレイリスト・ファイル1400内に記述されているとき、その記述の順序が、対応する再生区間の再生経路内での順序を表す。ここで、各プレイアイテム情報1401によって規定される再生区間をつなぎ合わせた一連の再生経路を「メインパス」という。更に、メインパスを規定する一連のプレイアイテム情報PI#1-3も「メインパス」1405ということがある。
2Dプレイリスト・ファイル1400は更にエントリ・マーク1402を含む。エントリ・マーク1402は、メインパス1405のうち、実際に再生が開始されるべき時点を示す。エントリ・マーク1402は、プレイアイテム情報1401で規定される再生区間内に付与することができる。例えば、図14に示されているように、一つのプレイアイテム情報PI#1に対して複数のエントリ・マーク1402が設定されてもよい。エントリ・マーク1402は特に、頭出し再生において、その再生開始位置の検索に利用される。例えば、2Dプレイリスト・ファイル1400が映画タイトルの再生経路を規定するとき、エントリ・マーク1402は各チャプタの先頭に付与される。それにより、再生装置102はその映画タイトルをチャプタごとに再生できる。
図15は、プレイアイテム情報1500のデータ構造を示す模式図である。図15を参照するに、プレイアイテム情報1500は、参照クリップ情報1501、再生開始時刻1502、再生終了時刻1503、コネクション・コンディション1504、及びストリーム選択テーブル1505を含む。参照クリップ情報1501は、PTSからSPNへの変換に必要なクリップ情報ファイルを識別するための情報である。再生開始時刻1502と再生終了時刻1503とは、AVストリーム・ファイルの復号されるべき部分の先頭と末尾との各PTSを示す。再生装置102は、参照クリップ情報1501の示すクリップ情報ファイルからそのエントリ・マップを参照し、再生開始時刻1502及び再生終了時刻1503のそれぞれに対応するSPNを取得する。それにより、AVストリーム・ファイルから読み出されるべき部分を特定し、その部分に対して再生処理を行う。
コネクション・コンディション1504は、再生開始時刻1502と再生終了時刻1503とによって規定された再生区間での映像を、メインパス上で一つ前のプレイアイテム情報によって規定された再生区間での映像に接続するときの条件を規定する。コネクション・コンディション1504には、例えば「1」、「5」、「6」の三種類がある。コネクション・コンディション1504が「1」であるとき、そのプレイアイテム情報によって規定されるAVストリーム・ファイルの部分から再生される映像は、直前のプレイアイテム情報によって規定されるAVストリーム・ファイルの部分から再生される映像とは、必ずしもシームレスに接続されなくてもよい。一方、コネクション・コンディション1504が「5」又は「6」であるとき、それら両方の映像が必ずシームレスに接続されなければならない。
図16は、コネクション・コンディション1504が「5」又は「6」であるときに接続対象の各プレイアイテム情報によって規定される再生区間の間の関係を示す模式図である。コネクション・コンディション1504が「5」であるとき、図16の(a)に示されているように、2つのプレイアイテム情報PI#1、PI#2の間でSTCが途切れていても良い。すなわち、メインパス上で前に位置する第1プレイアイテム情報PI#1が規定するAVストリーム・ファイルの第1部分1601の終端のPTSTEと、後に位置する第2プレイアイテム情報PI#2が規定するAVストリーム・ファイルの第2部分1602の先頭のPTSTSとは不連続であってもよい。但し、いくつかの制約条件が満たされねばならない。例えば、第1部分1601に続けて第2部分1602をデコーダに供給したときでも、そのデコーダが復号処理をスムーズに継続できるように、各部分1601、1602が作成されていなければならない。更に、第1部分1601に含まれるオーディオ・ストリームの終端フレームを、第2部分1602に含まれるオーディオ・ストリームの先頭フレームと重複させなければならない。一方、コネクション・コンディション1504が「6」であるとき、図16の(b)に示されているように、第1部分1601と第2部分1602とは、デコーダの復号処理上、一連の部分として扱えるものでなければならない。すなわち、第1部分1601と第2部分1602との間ではSTCとATCとがいずれも連続でなければならない。
図15を再び参照するに、ストリーム選択テーブル1505は、再生開始時刻1502から再生終了時刻1503までの間に再生装置102内のデコーダによってAVストリーム・ファイルの中から選択可能なエレメンタリ・ストリームのリストを表す。ストリーム選択テーブル1505は特に複数のストリーム・エントリ1509を含む。各ストリーム・エントリ1509は、ストリーム選択番号1506、ストリーム・パス情報1507、及びストリーム識別情報1508を含む。ストリーム選択番号1506は各ストリーム・エントリ1509の通し番号であり、再生装置102によってエレメンタリ・ストリームの識別に利用される。ストリーム・パス情報1507は、選択対象のエレメンタリ・ストリームが属するAVストリーム・ファイルを示す情報である。例えば、ストリーム・パス情報1507が“メインパス”を示すとき、そのAVストリーム・ファイルは、参照クリップ情報1501の示すクリップ情報ファイルに対応するものである。一方、ストリーム・パス情報1507が“サブパスID=1”を示すとき、選択対象のエレメンタリ・ストリームが属するAVストリーム・ファイルは、サブパスID=1のサブパスに含まれるサブプレイアイテム情報の一つが規定するものである。ここで、そのサブプレイアイテム情報は、それの規定する再生区間が再生開始時刻1502から再生終了時刻1503までの間に含まれるものである。尚、サブパス及びサブプレイアイテム情報については次節で説明する。ストリーム識別情報1508は、ストリーム・パス情報1507によって特定されるAVストリーム・ファイルに多重化されているエレメンタリ・ストリームのPIDを示す。このPIDの示すエレメンタリ・ストリームが再生開始時刻1502から再生終了時刻1503までの間に選択可能である。尚、図15には示されていないが、ストリーム・エントリ1509には各エレメンタリ・ストリームの属性情報も記録されている。例えば、オーディオ・ストリーム、PGストリーム、及びIGストリームの各属性情報は言語の種類を示す。
図17は、再生経路がサブパスを含むときの2Dプレイリスト・ファイル1700のデータ構造を示す模式図である。2Dプレイリスト・ファイル1700は、図17に示されているように、メインパス1701に加えてサブパスを一つ以上規定してもよい。各サブパス1702、1703は、メインパス1701と並列な再生経路を示す。サブパス1702、1703は、2Dプレイリスト・ファイル1700に登録された順に通し番号が振られている。その通し番号はサブパスIDとして各サブパスの識別に利用される。メインパス1701が、各プレイアイテム情報#1-3の規定する再生区間をつなぎ合わせた一連の再生経路であるように、各サブパス1702、1703は、各サブプレイアイテム情報#1-3の規定する再生区間をつなぎ合わせた一連の再生経路である。サブプレイアイテム情報1702Aのデータ構造は、図15に示されているプレイアイテム情報1500のデータ構造と同様である。すなわち、各サブプレイアイテム情報1702Aは、参照クリップ情報、再生開始時刻、及び再生終了時刻を含む。サブプレイアイテム情報の再生開始時刻と再生終了時刻とはメインパス1701の再生時間と同じ時間軸で表される。例えば、プレイアイテム情報#2のストリーム選択テーブル1505に含まれるストリーム・エントリ1509において、ストリーム・パス情報1507が“サブパスID=0”を示し、ストリーム識別情報1508がPGストリーム#1を示すときを想定する。そのとき、サブパスID=0のサブパス1702では、プレイアイテム情報#2の再生区間に、サブプレイアイテム情報#2の参照クリップ情報が示すクリップ情報ファイルに対応するAVストリーム・ファイルの中から、PGストリーム#1が復号対象として選択される。
サブプレイアイテム情報は更に、SPコネクション・コンディションというフィールドを含む。SPコネクション・コンディションは、プレイアイテム情報のコネクション・コンディションと同じ意味を持つ。すなわち、SPコネクション・コンディションが「5」又は「6」であるとき、隣接する2つのサブプレイアイテム情報によって規定されるAVストリーム・ファイルの各部分は、コネクション・コンディションが「5」又は「6」であるときの上記の条件と同様な条件を満たされなければならない。
<2D再生装置の構成>
以下、再生装置102がBD-ROMディスク101から上記の2D映像コンテンツを再生するために必要な構成、すなわち2D再生装置として必要な構成について説明する。
図18は、2D再生装置1800の機能ブロック図である。図18を参照するに、2D再生装置1800は、BD-ROMドライブ1801、再生部1800A、及び制御部1800Bを含む。再生部1800Aは、リード・バッファ1802、システム・ターゲット・デコーダ1803、及びプレーン加算部1810を含む。制御部1800Bは、動的シナリオ・メモリ1804、静的シナリオ・メモリ1805、プログラム実行部1806、再生制御部1807、プレーヤ変数記憶部1808、及びユーザイベント処理部1809を含む。ここで、再生部1800Aと制御部1800Bとは互いに異なる集積回路に実装されている。その他に、両者が単一の集積回路に統合されていてもよい。
BD-ROMドライブ1801は、内部にBD-ROMディスク101が挿入されたとき、そのディスク101にレーザ光を照射してその反射光の変化を検出する。更に、その反射光の光量の変化から、ディスク101に記録されたデータを読み取る。具体的には、BD-ROMドライブ1801は光ピックアップ、すなわち光学ヘッドを備えている。その光学ヘッドは、半導体レーザ、コリメータ・レンズ、ビーム・スプリッタ、対物レンズ、集光レンズ、及び光検出器を含む。半導体レーザから出射された光ビームは、コリメータ・レンズ、ビーム・スプリッタ、及び対物レンズを順に通って、BD-ROMディスク101の記録層に集められる。集められた光ビームはその記録層で反射/回折される。その反射/回折光は、対物レンズ、ビーム・スプリッタ、及び集光レンズを通って光検出器に集められる。光検出器は、その集光量に応じたレベルの再生信号を生成する。更に、その再生信号からデータが復調される。
BD-ROMドライブ1801は、再生制御部1807からの要求に従ってBD-ROMディスク101からデータを読み出す。読み出されたデータのうち、AVストリーム・ファイルはリード・バッファ1802へ転送され、インデックス・ファイル、ムービーオブジェクト・ファイル、及びBD-Jオブジェクト・ファイル等の動的シナリオ情報は動的シナリオ・メモリ1804へ転送され、プレイリスト・ファイル及びクリップ情報ファイル、すなわち静的シナリオ情報は静的シナリオ・メモリ1805へ転送される。
リード・バッファ1802、動的シナリオ・メモリ1804、及び静的シナリオ・メモリ1805はいずれもバッファ・メモリである。リード・バッファ1802としては再生部1800A内のメモリ素子が利用され、動的シナリオ・メモリ1804及び静的シナリオ・メモリ1805としては制御部1800B内のメモリ素子が利用される。その他に、それらのバッファ・メモリ1802、1804、1805として、単一のメモリ素子の異なる領域が利用されてもよい。リード・バッファ1802はAVストリーム・ファイルを格納し、動的シナリオ・メモリ1804は動的シナリオ情報を格納し、静的シナリオ・メモリ1805は静的シナリオ情報を格納する。
システム・ターゲット・デコーダ1803は、リード・バッファ1802からAVストリーム・ファイルをソースパケット単位で読み出して多重分離処理を行い、更に分離された各エレメンタリ・ストリームに対して復号処理を行う。ここで、各エレメンタリ・ストリームの復号に必要な情報、例えばコーデックの種類及びストリームの属性は予め、再生制御部1807からシステム・ターゲット・デコーダ1803へ転送されている。システム・ターゲット・デコーダ1803は更に、復号後のプライマリ・ビデオ・ストリーム、セカンダリ・ビデオ・ストリーム、IGストリーム、及びPGストリームをそれぞれ、ビデオ・アクセスユニットごとに、主映像プレーン・データ、副映像プレーン・データ、IGプレーン・データ、及びPGプレーン・データとして送出する。一方、システム・ターゲット・デコーダ1803は、復号後のプライマリ・オーディオ・ストリームとセカンダリ・オーディオ・ストリームとをミキシングして表示装置103の内蔵スピーカ103A等の音声出力装置へ送出する。その他に、システム・ターゲット・デコーダ1803はプログラム実行部1806からグラフィックス・データを受信する。そのグラフィックス・データは、GUI用のメニュー等のグラフィックスを画面に表示するためのものであり、JPEG又はPNG等のラスタデータで表現されている。システム・ターゲット・デコーダ1803はそのグラフィックス・データを処理してイメージ・プレーン・データとして送出する。尚、システム・ターゲット・デコーダ1803の詳細については後述する。
ユーザイベント処理部1809は、リモコン105又は再生装置102のフロントパネルを通してユーザの操作を検出し、その操作内容に応じて、プログラム実行部1806又は再生制御部1807に処理を依頼する。例えばユーザがリモコン105のボタンを押下してポップアップ・メニューの表示を指示したとき、ユーザイベント処理部1809はその押下を検出してそのボタンを識別する。ユーザイベント処理部1809は更に、プログラム実行部1806に、そのボタンに対応するコマンドの実行、すなわちポップアップ・メニューの表示処理を依頼する。一方、例えばユーザがリモコン105の早送り又は巻戻しボタンを押下したとき、ユーザイベント処理部1809はその押下を検出してそのボタンを識別する。ユーザイベント処理部1809は更に、再生制御部1807に、現在再生中のプレイリストの早送り又は巻戻し処理を依頼する。
再生制御部1807は、AVストリーム・ファイル及びインデックス・ファイル等、各種のデータをBD-ROMディスク101から、リード・バッファ1802、動的シナリオ・メモリ1804、及び静的シナリオ・メモリ1805へ転送する処理を制御する。その制御には、図2に示されているディレクトリ/ファイル構造204を管理するファイルシステムが利用される。すなわち、再生制御部1807はファイル・オープン用のシステムコールを利用して、BD-ROMドライブ1801に各種のファイルを各バッファ・メモリ1802、1804、1805へ転送させる。ここで、ファイル・オープンとは次の一連の処理をいう。まず、システムコールによってファイルシステムに検索対象のファイル名が与えられ、そのファイル名がディレクトリ/ファイル構造204から検索される。その検索に成功したとき、再生制御部1807内のメモリには、まず、転送対象のファイルのファイル・エントリが転送され、そのメモリ内にFCB(File Control Block)が生成される。その後、転送対象のファイルのファイル・ハンドルがファイルシステムから再生制御部1807に返される。以後、再生制御部1807はそのファイル・ハンドルをBD-ROMドライブ1801に提示することにより、BD-ROMドライブ1801にその転送対象のファイルをBD-ROMディスク101から各バッファメモリ1802、1804、1805へ転送させることができる。
再生制御部1807は、BD-ROMドライブ1801とシステム・ターゲット・デコーダ1803とを制御して、AVストリーム・ファイルから映像データと音声データとを復号させる。具体的には、再生制御部1807はまず、プログラム実行部1806からの命令、又はユーザイベント処理部1809からの依頼に応じて、静的シナリオ・メモリ1805からプレイリスト・ファイルを読み出してその内容を解釈する。再生制御部1807は次に、その解釈された内容、特に再生経路に従って、BD-ROMドライブ1801とシステム・ターゲット・デコーダ1803とに再生対象のAVストリーム・ファイルを指定して、その読み出し処理及び復号処理を指示する。このようなプレイリスト・ファイルに基づく再生処理を「プレイリスト再生」という。その他に、再生制御部1807は、静的シナリオ情報を利用してプレーヤ変数記憶部1808に各種のプレーヤ変数を設定する。再生制御部1807は更に、それらのプレーヤ変数を参照して、システム・ターゲット・デコーダ1803に復号対象のエレメンタリ・ストリームを指定し、かつ、各エレメンタリ・ストリームの復号に必要な情報を提供する。
プレーヤ変数記憶部1808は、プレーヤ変数を記憶するためのレジスタ群である。プレーヤ変数の種類にはシステム・パラメータ(SPRM)と汎用のパラメータ(GPRM)とがある。SPRMは再生装置102の状態を示す。図19はSPRMの一覧表である。各SPRMには通し番号1901が振られ、各通し番号1901に変数値1802が個別に対応付けられている。主なSPRMの内容は以下のとおりである。ここで、括弧内の数字は通し番号1901を示す。
SPRM(0) : 言語コード
SPRM(1) : プライマリ・オーディオ・ストリーム番号
SPRM(2) : 字幕ストリーム番号
SPRM(3) : アングル番号
SPRM(4) : タイトル番号
SPRM(5) : チャプタ番号
SPRM(6) : プログラム番号
SPRM(7) : セル番号
SPRM(8) : 選択キー情報
SPRM(9) : ナビゲーション・タイマー
SPRM(10) : 再生時刻情報
SPRM(11) : カラオケ用ミキシングモード
SPRM(12) : パレンタル用国情報
SPRM(13) : パレンタル・レベル
SPRM(14) : プレーヤ設定値(ビデオ)
SPRM(15) : プレーヤ設定値(オーディオ)
SPRM(16) : オーディオ・ストリーム用言語コード
SPRM(17) : オーディオ・ストリーム用言語コード(拡張)
SPRM(18) : 字幕ストリーム用言語コード
SPRM(19) : 字幕ストリーム用言語コード(拡張)
SPRM(20) : プレーヤ・リージョン・コード
SPRM(21) : セカンダリ・ビデオ・ストリーム番号
SPRM(22) : セカンダリ・オーディオ・ストリーム番号
SPRM(23) : 再生状態
SPRM(24) : 予備
SPRM(25) : 予備
SPRM(26) : 予備
SPRM(27) : 予備
SPRM(28) : 予備
SPRM(29) : 予備
SPRM(30) : 予備
SPRM(31) : 予備
SPRM(1) : プライマリ・オーディオ・ストリーム番号
SPRM(2) : 字幕ストリーム番号
SPRM(3) : アングル番号
SPRM(4) : タイトル番号
SPRM(5) : チャプタ番号
SPRM(6) : プログラム番号
SPRM(7) : セル番号
SPRM(8) : 選択キー情報
SPRM(9) : ナビゲーション・タイマー
SPRM(10) : 再生時刻情報
SPRM(11) : カラオケ用ミキシングモード
SPRM(12) : パレンタル用国情報
SPRM(13) : パレンタル・レベル
SPRM(14) : プレーヤ設定値(ビデオ)
SPRM(15) : プレーヤ設定値(オーディオ)
SPRM(16) : オーディオ・ストリーム用言語コード
SPRM(17) : オーディオ・ストリーム用言語コード(拡張)
SPRM(18) : 字幕ストリーム用言語コード
SPRM(19) : 字幕ストリーム用言語コード(拡張)
SPRM(20) : プレーヤ・リージョン・コード
SPRM(21) : セカンダリ・ビデオ・ストリーム番号
SPRM(22) : セカンダリ・オーディオ・ストリーム番号
SPRM(23) : 再生状態
SPRM(24) : 予備
SPRM(25) : 予備
SPRM(26) : 予備
SPRM(27) : 予備
SPRM(28) : 予備
SPRM(29) : 予備
SPRM(30) : 予備
SPRM(31) : 予備
SPRM(10)は、復号処理中のピクチャのPTSを示し、そのピクチャが復号されて主映像プレーン・メモリに書き込まれる度に更新される。従って、SPRM(10)を参照すれば、現在の再生時点を知ることができる。
SPRM(16)のオーディオ・ストリーム用言語コード、及びSPRM(18)の字幕ストリーム用言語コードは、再生装置102のデフォルトの言語コードを示す。それらは再生装置102のOSD(オン・スクリーン・ディスプレイ)等を利用してユーザに変更させることもでき、プログラム実行部1806を通じてアプリケーション・プログラムに変更させることもできる。例えばSPRM(16)が「英語」を示しているとき、再生制御部1807はプレイリスト再生処理において、まず、プレイアイテム情報内のストリーム選択テーブルから、「英語」の言語コードを含むストリーム・エントリを検索する。再生制御部1807は次に、そのストリーム・エントリのストリーム識別情報からPIDを抽出してシステム・ターゲット・デコーダ1803に渡す。それにより、そのPIDのオーディオ・ストリームがシステム・ターゲット・デコーダ1803によって選択され、復号される。これらの処理は、ムービーオブジェクト・ファイル又はBD-Jオブジェクト・ファイルを利用して再生制御部1807に実行させることができる。
再生制御部1807は再生処理中、再生状態の変化に応じてプレーヤ変数を更新する。再生制御部1807は特に、SPRM(1)、SPRM(2)、SPRM(21)、及びSPRM(22)を更新する。それらは順に、処理中のオーディオ・ストリーム、字幕ストリーム、セカンダリ・ビデオ・ストリーム、及びセカンダリ・オーディオ・ストリームの各ストリーム選択番号を示す。例えば、プログラム実行部1806によってSPRM(1)が変更されたときを想定する。再生制御部1807はそのとき、まず、現時点で再生処理中のプレイアイテム情報内のストリーム選択テーブルから、変更後のSPRM(1)の示すストリーム選択番号に等しいストリーム選択番号を含むストリーム・エントリを検索する。再生制御部1807は次に、そのストリーム・エントリ内のストリーム識別情報からPIDを抽出してシステム・ターゲット・デコーダ1803に渡す。それにより、そのPIDのオーディオ・ストリームがシステム・ターゲット・デコーダ1803によって選択され、復号される。こうして、再生対象のオーディオ・ストリームが切り換えられる。同様に、再生対象の字幕及びセカンダリ・ビデオ・ストリームを切り換えることもできる。
プログラム実行部1806はプロセッサであり、ムービーオブジェクト・ファイル及びBD-Jオブジェクト・ファイルに格納されたプログラムを実行する。プログラム実行部1806は各プログラムに従って、特に次のような制御を行う:(1)再生制御部1807に対してプレイリスト再生処理を命令する;(2)メニュー用又はゲーム用のグラフィックス・データをPNG又はJPEGのラスタデータとして生成し、それをシステム・ターゲット・デコーダ1803へ転送して他の映像データに合成させる。これらの制御の具体的な内容はプログラムの設計を通じて比較的自由に設計することができる。すなわち、それらの制御内容は、BD-ROMディスク101のオーサリング工程のうち、ムービーオブジェクト・ファイル及びBD-Jオブジェクト・ファイルのプログラミング工程によって決まる。
プレーン加算部1810は、システム・ターゲット・デコーダ1803から、主映像プレーン・データ、副映像プレーン・データ、IGプレーン・データ、PGプレーン・データ、及びイメージ・プレーン・データを受信し、それらを互いに重畳して一つの映像フレーム又はフィールドに合成する。合成後の映像データは表示装置103へ送出され、その画面に表示される。
≪システム・ターゲット・デコーダ≫
図20は、システム・ターゲット・デコーダ1803の機能ブロック図である。図20を参照するに、システム・ターゲット・デコーダ1803は、ソース・デパケタイザ2010、ATCカウンタ2020、第1の27MHzクロック2030、PIDフィルタ2040、STCカウンタ(STC1)2050、第2の27MHzクロック2060、主映像デコーダ2070、副映像デコーダ2071、PGデコーダ2072、IGデコーダ2073、主音声デコーダ2074、副音声デコーダ2075、イメージ・プロセッサ2080、主映像プレーン・メモリ2090、副映像プレーン・メモリ2091、PGプレーン・メモリ2092、IGプレーン・メモリ2093、イメージ・プレーン・メモリ2094、及び音声ミキサ2095を含む。
ソース・デパケタイザ2010はリード・バッファ1802からソースパケットを読み出し、その中からTSパケットを取り出してPIDフィルタ2040へ送出する。ソース・デパケタイザ2010は更に、その送出の時刻を各ソースパケットのATSに応じて調整する。具体的には、ソース・デパケタイザ2010は、まず、ATCカウンタ2020が生成するATCの値を監視する。ここで、ATCの値はATCカウンタ2020により、第1の27MHzクロック2030のクロック信号のパルスに応じてインクリメントされる。ソース・デパケタイザ2010は次に、ATCの値がソースパケットのATSと一致した瞬間、そのソースパケットから取り出されたTSパケットを記録速度RTS1でPIDフィルタ2040へ転送する。
PIDフィルタ2040はまず、ソース・デパケタイザ2010から送出されたTSパケットのうち、そのPIDが、再生制御部1807から予め指定されたPIDに一致するものを選択する。PIDフィルタ2040は次に、選択されたTSパケットを、そのPIDに応じて各デコーダ2070-2075へ転送する。例えばPIDが0x1011であるとき、そのTSパケットは主映像デコーダ2070へ転送される。その他に、PIDが、0x1B00-0x1B1F、0x1100-0x111F、0x1A00-0x1A1F、0x1200-0x121F、及び、0x1400-0x141Fの各範囲に属するとき、対応するTSパケットはそれぞれ、副映像デコーダ2071、主音声デコーダ2074、副音声デコーダ2075、PGデコーダ2072、及びIGデコーダ2073へ転送される。
PIDフィルタ2040は更に、各TSパケットのPIDを利用して、そのTSパケットの中からPCRを検出する。PIDフィルタ2040はそのとき、STCカウンタ2050の値を所定値に設定する。ここで、STCカウンタ2050の値は第2の27MHzクロック2060のクロック信号のパルスに応じてインクリメントされる。また、STCカウンタ2050に設定されるべき値は予め、再生制御部1807からPIDフィルタ2040に指示されている。各デコーダ2070-2075はSTCカウンタ2050の値をSTCとして利用する。すなわち、PIDフィルタ2040から送出されたTSパケットに対する復号処理の時期を、そのTSパケットの示すPTS又はDTSに合わせる。
主映像デコーダ2070は、図20に示されているように、TB(Transport Stream Buffer)2001、MB(Multiplexing Buffer)2002、EB(Elementary Stream Buffer)2003、圧縮映像デコーダ(Dec)2004、及びDPB(Decoded Picture Buffer)2005を含む。TB2001、MB2002、EB2003、及び、DPB2005はいずれもバッファメモリであり、それぞれ主映像デコーダ2070に内蔵のメモリ素子の一領域を利用する。その他に、それらのいずれか又は全てが異なるメモリ素子に分離されていてもよい。TB2001は、PIDフィルタ2040から受信されたTSパケットをそのまま蓄積する。MB2002は、TB2001に蓄積されたTSパケットから復元されたPESパケットを蓄積する。尚、TB2001からMB2002へTSパケットが転送されるとき、そのTSパケットからTSヘッダが除去される。EB2003は、PESパケットから、符号化されたビデオ・アクセスユニットを抽出して格納する。そのビデオ・アクセスユニットには、圧縮ピクチャ、すなわち、Iピクチャ、Bピクチャ、及び、Pピクチャが格納されている。尚、MB2002からEB2003へデータが転送されるとき、そのPESパケットからPESヘッダが除去される。圧縮映像デコーダ2004は、MB2002内の各ビデオ・アクセスユニットを、元のTSパケットの示すDTSの時刻に復号する。ここで、そのビデオ・アクセスユニット内に格納された圧縮ピクチャの圧縮符号化方式、例えば、MPEG-2、MPEG-4 AVC、及びVC1、並びにストリーム属性に応じ、圧縮映像デコーダ2004は復号方法を切り換える。圧縮映像デコーダ2004は更に、復号後のピクチャ、すなわち映像フレーム又はフィールドをDPB2005へ転送する。DPB2005は復号後のピクチャを一時的に保持する。圧縮映像デコーダ2004は、Pピクチャ及びBピクチャを復号するとき、DPB2005に保持されている復号後のピクチャを参照する。DPB2005は更に、保持している各ピクチャを、元のTSパケットの示すPTSの時刻に主映像プレーン・メモリ2090へ書き込む。
副映像デコーダ2071は、主映像デコーダ2070と同様の構成を含む。副映像デコーダ2071はまず、PIDフィルタ2040から受信されたセカンダリ・ビデオ・ストリームのTSパケットを非圧縮のピクチャに復号する。副映像デコーダ2071は次に、そのTSパケットの示すPTSの時刻に非圧縮のピクチャを副映像プレーン・メモリ2091へ書き込む。
PGデコーダ2072は、PIDフィルタ2040から受信されたTSパケットを非圧縮のグラフィックス・データに復号し、そのTSパケットの示すPTSの時刻にPGプレーン・メモリ2092へ書き込む。
IGデコーダ2073は、PIDフィルタ2040から受信されたTSパケットを非圧縮のグラフィックス・データに復号し、そのTSパケットの示すPTSの時刻にIGプレーン・メモリ2093へ書き込む。
主音声デコーダ2074はまず、PIDフィルタ2040から受信されたTSパケットを内蔵のバッファに蓄える。主音声デコーダ2074は次に、そのバッファ内の各TSパケットからTSヘッダとPESヘッダとを除去し、残りのデータを非圧縮のLPCM音声データに復号する。主音声デコーダ2074は更にその音声データを、元のTSパケットの示すPTSの時刻に音声ミキサ2095へ送出する。主音声デコーダ2074は、TSパケットに含まれるプライマリ・オーディオ・ストリームの圧縮符号化方式、例えばAC-3又はDTS、及びストリーム属性に応じて、圧縮音声データの復号方法を切り換える。
副音声デコーダ2075は、主音声デコーダ2074と同様の構成を含む。副音声デコーダ2075はまず、PIDフィルタ2040から受信されたセカンダリ・オーディオ・ストリームのTSパケットを非圧縮のLPCM音声データに復号する。副音声デコーダ2075は次に、そのTSパケットの示すPTSの時刻に非圧縮のLPCM音声データを音声ミキサ2095へ送出する。副音声デコーダ2075は、TSパケットに含まれるセカンダリ・オーディオ・ストリームの圧縮符号化方式、例えばドルビー・デジタル・プラス、DTS-HD LBR、及びストリーム属性に応じて、圧縮音声データの復号方法を切り換える。
音声ミキサ2095は、主音声デコーダ2074と副音声デコーダ2075とのそれぞれから受信される非圧縮の音声データを用いてミキシング(音の重ね合わせ)を行う。音声ミキサ2095は更に、そのミキシングで得られた合成音を、表示装置103の内蔵スピーカ103A等へ送出する。
イメージ・プロセッサ2080は、プログラム実行部1806からグラフィックス・データ、すなわちPNG又はJPEGのラスタデータを受信する。イメージ・プロセッサ2080はそのとき、そのグラフィックス・データを適切に処理してイメージ・プレーン・メモリ2094へ書き込む。
<2D映像を表すAVストリーム・ファイルのディスク上での物理的な配置>
2D映像を表すAVストリーム・ファイルがBD-ROMディスク101上に記録されるとき、その2D映像がシームレスに再生されるように、そのAVストリーム・ファイルのそのディスク101上での物理的な配置が設計されなければならない。そのような物理的な配置について、以下、説明する。ここで、シームレスな再生とは、AVストリーム・ファイルから映像及び音声を、途切れさせることなく滑らかに再生することをいう。
AVストリーム・ファイルは、BD-ROMディスク101上にエクステントの集合として記録されている。ここで、一つのエクステント内では論理アドレスが連続している。一方、前述のとおり、BD-ROMディスク101では論理アドレスが物理アドレスと実質的に等しい。従って、一つのエクステント内では物理アドレスも実質上連続している。それ故、BD-ROMドライブ1801は一つのエクステントを、光ピックアップにシークを行わせることなく連続して読み出すことができる。
各エクステントは一般に、図2に示されているボリューム領域202B内で物理的に連続する複数のセクタに記録されている。それらのセクタは、STREAMディレクトリ領域のうち、AVストリーム・ファイルの記録領域に属する。従って、各エクステントの論理アドレスは、その記録領域内のファイル・エントリに記録されたアロケーション記述子から知ることができる。
図21は、BD-ROMディスク101上でのエクステントの物理的な配置を示す模式図である。図21を参照するに、AVストリーム・ファイル2100が、ディスク101のトラック202上では三つのエクステント2101A、2101B、2101Cに分割されて記録されている。図21を参照するに、各エクステント2101A-C自体は連続であるが、異なるエクステントの間は不連続である。それらのエクステント2101A-Cから映像がシームレスに再生されるには、それらのエクステント2101A-Cの物理的な配置が、以下に述べる条件を満たせばよい。
図21に示されている矢印群A1は再生経路を示す。それらの矢印群A1が示すように、AVストリーム・ファイル2100からの映像の再生では、各エクステント2101A-Cが順次、再生装置102に読み出される。先頭のエクステント2101Aの後端EAが読み出された時、BD-ROMドライブ1801は光ピックアップによる読み出し動作を一旦停止し、BD-ROMディスク101の回転速度を上げて、次のエクステント2101Bの先端TBを速やかに光ピックアップの位置まで移動させる。このように、光ピックアップに読み出し動作を一旦停止させて、その間に次の読み出し対象領域上へ光ピックアップを位置づけるための操作を「ジャンプ」という。図21には、再生経路A1上でジャンプが行われる期間、すなわち「ジャンプ期間」が再生経路A1内の凸部J1、J2で示されている。
ジャンプの種類には、BD-ROMディスク101の回転速度を上下させる操作の他に、トラック・ジャンプ及びフォーカス・ジャンプがある。トラック・ジャンプは、光ピックアップをディスクの半径方向に移動させる操作をいう。フォーカス・ジャンプは、BD-ROMディスク101が多層ディスクであるとき、光ピックアップの焦点を一つの記録層から別の記録層へ移動させる操作をいう。それらのジャンプは一般にシーク時間が長く、かつ、ジャンプによって読み出しがスキップされるセクタ数が大きいので、特に「ロングジャンプ」という。ジャンプ期間中、光ピックアップによる読み出し操作は停止する。従って、図21に示されているジャンプ期間J1、J2では、トラック202上の対応する部分G1、G2からデータは読み出されない。これらの部分G1、G2の各長さのように、ジャンプ期間中、読み出し操作がスキップされる部分の長さを「ジャンプ距離」という。ジャンプ距離は通常、その部分のセクタ数で表される。上記のロングジャンプは具体的には、ジャンプ距離が所定の閾値を超えるジャンプとして定義される。その閾値は、例えばBD-ROMの規格では、BD-ROMディスクの種類及びBD-ROMドライブの読み出し処理に関する性能により、40000セクタに規定されている。
ジャンプ期間中、BD-ROMドライブ1801はBD-ROMディスク101からデータを読み出すことができない。再生装置102がAVストリーム・ファイル2100から映像をシームレスに再生するには、ジャンプ期間中でもシステム・ターゲット・デコーダ1803が復号処理を継続し、かつ復号後の映像データの連続的な出力を維持できればよい。そのための工夫が、ディスク101上でのエクステントの物理的な配置には必要である。
図22は、図18に示されている2D再生装置内の再生処理系統を示す模式図である。その再生処理系統は、BD-ROMディスク101から読み出されたAVストリーム・ファイルを映像データVDと音声データADとに変換する。図22を参照するに、BD-ROMドライブ1801はBD-ROMディスク101からAVストリーム・ファイルをエクステント単位で読み出して、読み出し速度Rudでリード・バッファ1802に格納する。システム・ターゲット・デコーダ1803はリード・バッファ1802内の各エクステントからソースパケットを平均転送速度Rextで読み出して、映像データVDと音声データADとに復号する。尚、平均転送速度Rextは、図11に示されているシステムレート1101Aの192/188倍を超えない。
図23は、AVストリーム・ファイルの再生処理期間中、リード・バッファ1802に蓄積されるデータ量DAの推移を示すグラフである。そのグラフは、図21に示されている三つのエクステント2101A-Cから順番に映像が再生されるときのものである。
まず、先頭のエクステント2101AがBD-ROMディスク101からリード・バッファ1802へ読み出される。その読み出し期間PR1では蓄積データ量DAは、図23に矢印2301で示されているように、読み出し速度Rudと平均転送速度Rextとの間の差Rud-Rextに等しい速度で増加する。図21に示されているように、先頭のエクステント2101Aの後端EAが読み出された時、次のエクステント2101Bの先端TBまでジャンプJ1が行われる。そのジャンプ期間PRJでは、BD-ROMディスク101からのデータの読み出しが停止する。従って、図23に矢印2302で示されているように、蓄積データ量DAは平均転送速度Rextで減少する。ここで、読み出し期間PR1にリード・バッファ1802に蓄積されたデータ量、すなわち先頭のエクステント2101Aのサイズが、その読み出し期間PR1からジャンプ期間PRJにわたってリード・バッファ1802からシステム・ターゲット・デコーダ1803へ転送されるデータ量に等しい場合を想定する。その場合、図23に示されているように、蓄積データ量DAはジャンプ期間PRJの終了時に読み出し期間PR1の開始時での値まで戻る。図21に示されているように、ジャンプJ1に続いて次のエクステント2101Bの読み出しが開始される。その読み出し期間PR2では、図23に矢印2303で示されているように、蓄積データ量DAは再度、データ転送速度の差Rud-Rextに等しい速度で増加する。
実際には、BD-ROMドライブ1801は読み出し/転送動作を、図23の矢印2301、2303に示されているように連続的にではなく、断続的に行う。それにより、各エクステントの読み出し期間PR1、PR2に蓄積データ量DAがリード・バッファ1802の容量を超えないように、すなわちリード・バッファ1802がオーバーフローを生じないようにする。従って、図23の矢印2301、2303は、実際には階段状である増加を直線的な増加として近似的に表したものである。
先頭のエクステント2101Aと次のエクステント2101Bとから、ジャンプJ1にかかわらず、映像をシームレスに再生するには、ジャンプ期間PRJの全体で、リード・バッファ1802からシステム・ターゲット・デコーダ1803へのデータ供給を維持して、そのデコーダ1803の連続的な出力を確保する必要がある。ここで、図23から明らかなとおり、先頭のエクステント2101Aのサイズが少なくとも、その読み出し期間PR1からジャンプ期間PRJにわたってリード・バッファ1802からシステム・ターゲット・デコーダ1803へ転送されるデータ量に等しければ、ジャンプ期間PRJの途中で蓄積データ量DAが0まで達することはない。すなわち、リード・バッファ1802はアンダーフローを生じない。そうであれば、ジャンプ期間PRJ中、システム・ターゲット・デコーダ1803は映像データの連続的な出力を維持できるので、その映像データからは映像のシームレス再生が可能である。従って、映像のシームレス再生には、先頭のエクステント2101AのサイズSextが次式(1)を満たせばよい:
式(1)では、ジャンプ時間Tjumpはジャンプ期間PRJの長さを秒単位で表す。読み出し速度RudはBD-ROMディスク101からリード・バッファ1802へのデータの読み出し速度をビット/秒で表す。平均転送速度Rextは、各エクステントに含まれるソースパケットをリード・バッファ1802からシステム・ターゲット・デコーダ1803へ転送するときの平均転送速度をビット/秒で表す。尚、式(1)の二行目で平均転送速度Rextを数「8」で割っているのは、エクステントのサイズSextの単位をビットからバイトへ変換するためである。すなわち、エクステントのサイズSextはバイト単位で表される。関数CEIL()は、括弧内の数値の小数点以下の端数を切り上げる操作を意味する。以下、式(1)の右辺で表されるエクステントのサイズSextの下限値を「最小エクステント・サイズ」という。
平均転送速度Rextは、具体的には、ビット単位で表されたエクステントのサイズをエクステントATC時間で割ったときの値を利用して評価される。ここで、「ビット単位で表されたエクステントのサイズ」は、そのエクステント内のソースパケット数とソースパケット一つ当たりのバイト数(=192バイト)との積の8倍に等しい。「エクステントATC時間」は、そのエクステント内の各ソースパケットに付与されたATSの範囲、すなわち、そのエクステントの先頭のソースパケットのATSから次のエクステントの先頭のソースパケットのATSまでの時間間隔を表すATCの値として定義される。従って、エクステントATC時間は、そのエクステントに含まれるデータの全体をリード・バッファ1802からシステム・ターゲット・デコーダ1803へ転送するのに要する時間に等しい。
一方、リード・バッファ1802の容量は有限であることから、シームレス再生が可能なジャンプ時間Tjumpの最大値が制限される。すなわち、蓄積データ量DAがリード・バッファ1802の容量一杯であっても、次のエクステントまでのジャンプ距離が過大であるためにジャンプ時間Tjumpが長すぎれば、ジャンプ期間PRJ中に蓄積データ量DAが0に達し、リード・バッファ1802内のデータが枯渇する危険性がある。もしそうなれば、システム・ターゲット・デコーダ1803からの映像データの出力が途切れるので、シームレス再生が実現できない。以下、BD-ROMディスク101からリード・バッファ1802へのデータ供給が途絶えている状態で、蓄積データ量DAがリード・バッファ1802の容量一杯から0に到達するまでの時間、すなわち、シームレス再生を保証できるジャンプ時間Tjumpの最大値を「最大ジャンプ時間」という。
光ディスクの規格では通常、ジャンプ距離とジャンプ時間との間の関係が光ディスクドライブのアクセス・スピード等から決められている。図24は、BD-ROMディスクについて規定されたジャンプ距離Sjumpとジャンプ時間Tjumpとの間の関係の一例を示す表である。図24では、ジャンプ距離Sjumpはセクタ単位で表されている。ここで、1セクタ=2048バイトとする。図24に示されているように、ジャンプ距離Sjumpが0-10000セクタ、10001-20000セクタ、20001-40000セクタ、40001セクタ-1/10ストローク、及び1/10ストローク以上の各範囲に属するとき、ジャンプ時間Tjumpはそれぞれ、250m秒、300m秒、350m秒、700m秒、及び1400m秒である。最小エクステント・サイズは図24の規定に従って計算される。更に、その最小エクステント・サイズに基づき、AVストリーム・ファイルが複数のエクステントに分割されてBD-ROMディスク101上に配置される。そのようなBD-ROMディスク101であれば、再生装置102のBD-ROMドライブ1801は、図24の規定に従うことにより、そのBD-ROMディスク101から映像をシームレスに再生できる。
BD-ROMディスク101が多層ディスクであり、かつ読み出し元の記録層が別の記録層に切り換えられるとき、図24に規定されたジャンプ時間Tjumpに加えて、フォーカス・ジャンプ等、その記録層の切り換え操作に350m秒の時間が更に必要である。以下、この時間を「層切換時間」という。従って、連続して読み出されるべき二つのエクステントの間に層境界があるとき、それらのエクステント間のジャンプ距離Sjumpに対応するジャンプ時間Tjumpと層切換時間との和に基づいて、最小エクステント・サイズが決定される。
最大ジャンプ時間に対応する最大ジャンプ距離は、図24の規定と層切換時間とから決められる。例えば最大ジャンプ時間が700m秒である場合を想定する。その場合、最大ジャンプ距離は、連続する二つのエクステント間に層境界がないときは1/10ストローク(=約1.2GB)であり、層境界があるときは40000セクタ(=約78.1MB)である。
AVストリーム・ファイルの二つの異なる部分の一方から他方にわたって映像を再生するとき、各部分から再生される映像の間をシームレスに接続するには、再生経路上で前に位置する部分の終端のエクステントと、後に位置する部分の先頭のエクステントとの配置が次の条件を満たせばよい。まず、その終端のエクステントのサイズは少なくとも、その先頭エクステントまでのジャンプ距離から算出される最小エクステント・サイズに等しい。次に、そのジャンプ距離は最大ジャンプ距離を超えない。
図25は、AVストリーム・ファイルの三つの異なる部分2511-2513から順次、2D映像を連続再生するときの各エクステントの物理的な配置の一例を示す模式図である。図25を参照するに、プレイリスト・ファイル2500は、三つのプレイアイテム情報(PI#1-3)2501-2503を含む。各プレイアイテム情報2501-2503の規定する再生区間は、三つの異なる部分2511-2513のそれぞれの全体である。各部分2511-2513はBD-ROMディスク101のトラック202上に、複数のエクステント2521A、2521B、2522A、2522B、2523、…に分割されて記録されている。
先頭の部分2511の記録領域ではエクステント2521A、2521Bのサイズが少なくとも、それぞれに対する最小エクステント・サイズに等しい。ここで、先頭のエクステント2521Aに対する最小エクステント・サイズは、そのエクステント2521Aから次のエクステント2521Bまでのジャンプ距離G1から算出される。終端のエクステント2521Bに対する最小エクステント・サイズは、そのエクステント2521Bから二番目の部分2512の先頭のエクステント2522Aまでのジャンプ距離G2から算出される。更に、ジャンプ距離G1、G2はいずれも最大ジャンプ距離を超えない。二番目の部分2512の記録領域でも同様に、エクステント2522A、2522Bのサイズが少なくとも、それぞれに対する最小エクステント・サイズに等しく、各最小エクステント・サイズがエクステント間のジャンプ距離G3、G4から算出される。更に、ジャンプ距離G3、G4はいずれも最大ジャンプ距離を超えない。
各エクステントの配置をこのように設計することにより、いずれのジャンプ期間中でもリード・バッファ1802はアンダーフローを生じることなく、データをシステム・ターゲット・デコーダ1803に供給できる。従って、いずれのジャンプ期間中でも、システム・ターゲット・デコーダ1803は復号処理を継続し、かつ復号後の映像データの連続的な出力を維持できる。こうして、各部分2511-2513から2D映像をシームレスに再生することができる。
<3D映像の再生方法の原理>
3D映像の再生方法は、ホログラフィ技術を用いる方法と、視差映像を用いる方法との2つに大別される。
ホログラフィ技術を用いる方法の特徴は、現実の立体的な物体から人間の視覚に与えられる光学的な情報とほぼ全く同じ情報を視聴者の視覚に与えることにより、その視聴者に映像中の物体を立体的に見せる点にある。しかし、この方法を動画表示に利用する技術は理論上確立されてはいる。しかし、その動画表示に必要とされる、膨大な演算をリアルタイムに処理可能なコンピュータ、及び、1mmあたり数千本という超高解像度の表示装置はいずれも、現在の技術ではまだ、実現が非常に難しい。従って、この方法を商業用として実用化する目途は、現時点ではほとんど立っていない。
「視差映像」とは、一つのシーンを見る視聴者の各目に映る2D映像の対、すなわち、レフトビューとライトビューとの対をいう。視差映像を用いる方法の特徴は、一つのシーンのレフトビューとライトビューとを視聴者の各目だけに見えるように再生することにより、その視聴者にそのシーンを立体的に見せる点にある。
図26は、視差映像を用いる方法による3D映像(立体視映像)の再生原理を説明するための模式図である。図26の(a)は、視聴者2601が、顔の正面に置かれた立方体2602を見ている様子を上から見た図である。図26の(b)、(c)はそれぞれ、そのときに視聴者2601の左目2601L、右目2601Rに見える立方体2602の外観を2D映像として示す。図26の(b)、(c)を比較すれば明らかなとおり、各目に見える立方体2602の外観はわずかに異なる。この外観の差、すなわち両眼視差から、視聴者2601は立方体2602を立体的に認識できる。従って、視差映像を用いる方法では、まず、一つのシーン、例えば図26の(a)に示されている立方体2602に対し、視点が異なる左右の2D映像、例えば図26の(b)に示されている立方体2602のレフトビュー、及び図26の(c)に示されているそのライトビューを準備する。ここで、各視点の位置は視聴者2601の両眼視差から決定される。次に、各2D映像を視聴者2601のそれぞれの目だけに見えるように再生する。それにより、視聴者2601には、画面に再生されるそのシーン、すなわち立方体2602の映像が立体的に見える。このように、視差映像を用いる方法は、ホログラフィ技術を用いる方法とは異なり、高々二つの視点から見える2D映像を準備するだけでよい点で有利である。
視差映像を用いる方法については、それを具体化するための方式が多様に提案されている。それらの方式は、左右の2D映像を視聴者のそれぞれの目にいかにして見せるかという観点から、経時分離方式、レンチキュラーレンズを用いる方式、及び二色分離方式等に分けられる。
継時分離方式では、画面に左右の2D映像を一定時間ずつ交互に表示する一方、視聴者にシャッター眼鏡を通して画面を観察させる。ここで、シャッター眼鏡は、各レンズが例えば液晶パネルで形成されている。各レンズは、画面上の2D映像の切り換えに同期して交互に、光をその全体で一様に透過させ、又は遮断する。すなわち、各レンズは、視聴者の目を周期的に塞ぐシャッターとして機能する。より詳細に言えば、画面上に左映像が表示される期間では、シャッター眼鏡は、左側のレンズには光を透過させ、右側のレンズには光を遮断させる。逆に、画面上に右映像が表示されている期間では、シャッター眼鏡は、右側のレンズには光を透過させ、左側のレンズには光を遮断させる。それにより、視聴者の目には、左右の映像の残像が重なって一つの3D映像に見える。
経時分離方式では、上記のとおり、左右の映像を一定周期で交互に表示する。例えば2D映像の再生において1秒当たり24枚の映像フレームが表示されるとき、3D映像の再生では左右の映像を合わせて、1秒当たり48枚の映像フレームが表示される。従って、この方式には、画面の書き換えを速く実行できる表示装置が好適である。
レンチキュラーレンズを用いる方式では、左右の各映像フレームを、縦方向に細長い短冊形の小領域に分割し、一つの画面の中に左右の映像フレームの各小領域を横方向に交互に並べて同時に表示する。ここで、画面の表面はレンチキュラーレンズで覆われている。レンチキュラーレンズは、細長い蒲鉾レンズを複数平行に並べて一枚のシート状にしたものである。各蒲鉾レンズは画面の表面を縦方向に延びている。レンチキュラーレンズを通して上記左右の映像フレームを視聴者に見せるとき、左映像フレームの表示領域からの光は視聴者の左目だけに結像し、右映像フレームの表示領域からの光は右目だけに結像するようにできる。こうして、左右の目に映る映像間での両眼視差により、視聴者には3D映像が見える。尚、この方式では、レンチキュラーレンズに代えて、同様な機能を持つ液晶素子等の他の光学部品が利用されてもよい。その他に、例えば左映像フレームの表示領域には縦偏光のフィルタを設置し、右映像フレームの表示領域には横偏光のフィルタを設置してもよい。そのとき、視聴者には偏光眼鏡を通して画面を見させる。ここで、その偏光眼鏡では、左側のレンズに縦偏光フィルタが設置され、かつ右側のレンズに横偏光フィルタが設置されている。従って、左右の映像が視聴者のそれぞれの目だけに見えるので、視聴者に3D映像を見せることができる。
視差映像を用いる方法では、3D映像コンテンツが、初めから左右の映像の組み合わせで構成されている場合の他に、2D映像とデプスマップとの組み合わせで構成されていてもよい。その2D映像は、再生対象の3D映像から仮想的な2D画面への射影を表し、デプスマップは、その2D画面に対するその3D映像の各部の奥行きを画素単位で表す。3D映像コンテンツが2D映像とデプスマップとの組み合わせで構成されているとき、3D再生装置又は表示装置はまず、それらの組み合わせから左右の映像を構成し、次にそれらの映像から上記の方式のいずれかで3D映像を再現する。
図27は、2D映像2701とデプスマップ2702との組み合わせからレフトビュー2703Lとライトビュー2703Rとを構成する例を示す模式図である。図27を参照するに、2D映像2701では、背景2712の中に円板2711が表示されている。デプスマップ2702はその2D映像2701内の各部の奥行きを画素ごとに示す。そのデプスマップ2702によれば、2D映像2701のうち、円板2711の表示領域2721の奥行きが画面よりも手前であり、かつ、背景2712の表示領域2722の奥行きが画面よりも奥である。再生装置102内では視差映像生成部2700がまず、デプスマップ2702の示す各部の奥行きから2D映像2701内の各部の両眼視差を計算する。視差映像生成部2700は次に、2D映像2701内の各部の表示位置を、計算された両眼視差に応じて左右に移動させて、レフトビュー2703Lとライトビュー2703Rとを構成する。図27に示されている例では、視差映像生成部2700は、2D映像2701内の円板2711の表示位置に対し、レフトビュー2703L内の円板2731Lの表示位置をその両眼視差の半分S1だけ右に移動させ、ライトビュー2703R内の円板2731Rの表示位置をその両眼視差の半分S1だけ左に移動させる。それにより、視聴者には円板2711が画面よりも手前に見える。一方、視差映像生成部2700は、2D映像2701内の背景2712の表示位置に対し、レフトビュー2703L内の背景2732Lの表示位置をその両眼視差の半分S2だけ左に移動させ、ライトビュー2703R内の背景2732Rの表示位置をその両眼視差の半分S2だけ右に移動させる。それにより、視聴者には背景2712が画面よりも奥に見える。
視差映像を用いる方法による3D映像の再生システムは、映画館及び遊園地のアトラクション等で利用されるものについては既に確立され、一般的に使用されている。従って、その方法は、3D映像を再生可能なホームシアター・システムの実用化にも有効である。本発明の実施形態では、視差映像を用いる方法のうち、継時分離方式又は偏光眼鏡を用いた方式を想定する。但し、本発明はそれらの方式とは他の方式に対しても、それらが視差映像を用いている限り、適用可能である。それは、以下に述べる実施形態の説明から当業者には明らかであろう。
<3D映像コンテンツのデータ構造>
以下、図2に示されているBDMVディレクトリ242内のファイル群のうち、3D映像コンテンツの再生に関する各ファイルのデータ構造について説明する。ここで、そのデータ構造の基本部分は、図2-17に示されている2D映像コンテンツのデータ構造と同様である。従って、以下では、2D映像コンテンツのデータ構造からの拡張部分及び変更部分について説明し、基本部分については上記の説明を援用する。
≪インデックス・テーブルに記述された各オブジェクト≫
図28は、インデックス・テーブル310に記述された3D映像の再生に関するムービーオブジェクトMVO-3DとBD-JオブジェクトBDJO-3D、及び三種類のプレイリスト・ファイル243A-Cの間の関係を示す模式図である。第1プレイリスト・ファイル(00001.mpls)243Aは2Dプレイリスト・ファイルである。第2プレイリスト・ファイル(00002.mpls)243Bと第3プレイリスト・ファイル(00003.mpls)243Cとは3Dプレイリスト・ファイルである。インデックス・テーブル310では、項目「タイトル3」と項目「タイトル4」とが3D映像のタイトルに割り当てられている。項目「タイトル3」に対応付けられているムービーオブジェクトMVO-3Dは、第1プレイリスト・ファイル243Aを用いた2D映像の再生処理に関する命令群に加え、他の二つ243B、243Cのいずれかを用いた3D映像の再生処理に関する命令群を含む。項目「タイトル4」に対応付けられているBD-JオブジェクトBDJO-3Dでは、アプリケーション管理テーブルが、第1プレイリスト・ファイル243Aを用いた2D映像の再生処理に関するJavaアプリケーション・プログラムに加え、他の二つ243B、243Cのいずれかを用いた3D映像の再生処理に関するJavaアプリケーション・プログラムを規定する。
例えば、ユーザの操作によってタイトル3が選択されたとき、再生装置102はインデックス・テーブル310の項目「タイトル3」を参照してムービーオブジェクトMVO-3Dを呼び出して実行する。それにより、再生装置102はまず、次の四種類の判別処理を行う:(1)再生装置102自身が3D映像の再生に対応しているか否か、(2)ユーザが3D映像の再生を選択しているか否か、(3)表示装置103が3D映像の再生に対応しているか否か、及び(4)再生装置102の3D映像再生モードがL/Rモードとデプス・モードとのいずれであるか。ここで、「L/R(レフト/ライト)モード」とは、レフトビュー・ストリーム・ファイルとライトビュー・ストリーム・ファイルとの組み合わせから3D映像を再生するモードを意味し、「デプス・モード」とは、2D・AVストリーム・ファイルとデプスマップAVストリーム・ファイルとの組み合わせから3D映像を再生するモードを意味する。再生装置102は次に、それらの判別結果に応じて、いずれかのプレイリスト・ファイル243A-Cを再生対象として選択する。一方、再生装置102がインデックス・テーブル310の項目「タイトル4」を参照してBD-JオブジェクトBDJO-3Dを呼び出したとき、再生装置102はそのアプリケーション管理テーブルに従って各Javaアプリケーション・プログラムを実行する。それにより、再生装置102は、上記の判別と、その結果に応じたプレイリスト・ファイルの選択とを行う。
図29は、3D映像のタイトルが選択されたときに行われる、再生対象のプレイリスト・ファイルの選択処理のフローチャートである。図28に示されている例では、インデックス・テーブル310の項目「タイトル3」が参照されたときはムービーオブジェクトMVO-3Dに従ってその選択処理が実行される。一方、項目「タイトル4」が参照されたときは、BD-JオブジェクトBDJO-3Dに規定されたJavaアプリケーション・プログラムに従って、その選択処理が実行される。
ここで、その選択処理の前提として、図19に示されているSPRMが次の二種類のフラグを更に含むときを想定する:(A)「再生装置102が2D映像の再生のみに対応可能であるか、それとも3D映像の再生にも対応可能であるか」を識別するためのフラグ、及び、(B)「再生装置102の3D映像再生モードがL/Rモードとデプス・モードとのいずれであるか」を識別するためのフラグ。具体的には、SPRM(24)がフラグ(A)を含み、SPRM(25)がフラグ(B)を含むときを想定する。更に、各フラグの値が次の事項を示すことを想定する:SPRM(24)が「0」であるときは再生装置102が2D映像の再生のみに対応可能であり、「1」であるときは3D映像の再生にも対応可能である。SPRM(25)が「0」であるときは再生装置102の3D映像再生モードがL/Rモードであり、「1」であるときはデプス・モードである。
ステップS2901では、再生装置102はSPRM(24)の値をチェックする。その値が0であるとき、処理はステップS2905へ進む。その値が1であるとき、処理はステップS2902へ進む。
ステップS2902では、再生装置102は表示装置103にメニューを表示させて、ユーザに2D映像と3D映像とのいずれかの再生を選択させる。ユーザがリモコン105等を操作して、2D映像の再生を選択したとき、処理はステップS2905へ進み、3D映像の再生を選択したとき、処理はステップS2903へ進む。
ステップS2903では、再生装置102は、表示装置103が3D映像の再生に対応しているかチェックする。具体的には、再生装置102はHDMIケーブル122を通して表示装置103との間でCECメッセージを交換し、表示装置103が3D映像の再生に対応しているか否かを表示装置103に問い合わせる。表示装置103が3D映像の再生に対応していないとき、処理はステップS2905へ進み、対応しているとき、処理はステップS2904へ進む。
ステップS2904では、再生装置102はSPRM(25)の値をチェックする。その値が0であるとき、処理はステップS2906へ進む。その値が1であるとき、処理はステップS2907へ進む。
ステップS2905では、再生装置102は第1プレイリスト・ファイル243Aを再生対象として選択する。尚、そのとき、再生装置102は表示装置103に、3D映像の再生が選択されなかった理由を表示させてもよい。
ステップS2906では、再生装置102は第2プレイリスト・ファイル243Bを再生対象として選択する。
ステップS2907では、再生装置102は第3プレイリスト・ファイル243Cを再生対象として選択する。
≪3Dプレイリスト・ファイル≫
図30は、第1プレイリスト・ファイル243Aと第2プレイリスト・ファイル243Bとの各構造の一例を示す模式図である。第1AVクリップ群3001は第1AVストリーム・ファイル245A内の部分LCL1-3から成る。第2AVクリップ群3002は第2AVストリーム・ファイル245B内の部分RCL1-3から成る。第1プレイリスト・ファイル243Aのメインパス3003と第2プレイリスト・ファイル243Bのメインパス3004とはいずれも三つのプレイアイテム情報#1-3を含む。いずれのプレイアイテム情報#1-3も第1AVクリップ群3001の中に再生区間を規定する。第2プレイリスト・ファイル243Bは第1プレイリスト・ファイル243Aとは異なり、サブパス3005を更に含む。サブパス3005は三つのサブプレイアイテム情報#1-3を含み、各サブプレイアイテム情報#1-3は第2AVクリップ群3002の中に再生区間を規定する。サブプレイアイテム情報#1-3はプレイアイテム情報#1-3と一対一に対応する。各サブプレイアイテム情報の再生区間の長さは、対応するプレイアイテム情報の再生区間の長さに等しい。サブパス3005は更に、サブパス・タイプ3006を含む。ここで、「サブパス・タイプ」は、メインパスとサブパスとの間で再生処理が同期すべきか否かを示す。図30では、サブパス・タイプ3006の値が「3D・L/R」である。その値は、サブパス3005がL/Rモードでの3D映像の再生に利用されるべきものであり、特にライトビュー・ストリーム・ファイルの再生経路を規定することを示す。
図29に示されている選択処理によって第1プレイリスト・ファイル243Aが再生対象として選択されたとき、再生装置102はそのメインパス3003に従って第1AVクリップ群3001から2D映像を再生する。一方、第2プレイリスト・ファイル243Bが再生対象として選択されたとき、再生装置102は3D映像の再生をL/Rモードで実行する。再生装置102は特に、第2プレイリスト・ファイル243Bのメインパス3004に従って第1AVクリップ群3001からレフトビューを再生し、サブパス3005に従って第2AVクリップ群3002からライトビューを再生する。再生装置102はそのとき、サブパス・タイプ3006の値が「3D・L/R」であることを検出して、メインパス3004とサブパス3005との間で再生処理を同期させる。このように、L/Rモードでの3D映像の再生が行われる。ここで、第1AVクリップ群3001は、2D映像の再生とL/Rモードでの3D映像の再生とで共用される。
第2プレイリスト・ファイル243Bの各プレイアイテム情報には、図15に示されているストリーム選択テーブル1505の中に2D/レフトビュー・ストリームのストリーム・エントリとライトビュー・ストリームのストリーム・エントリとが追加されている。2D/レフトビュー・ストリームとライトビュー・ストリームとではストリーム・エントリ1509の内容、例えばフレームレート、解像度、ビデオフォーマットは共通である。尚、ストリーム・エントリ1509には、2D/レフトビュー・ストリームとライトビュー・ストリームとを識別するためのフラグが更に追加されていても良い。
図31は、第1プレイリスト・ファイル243Aと第3プレイリスト・ファイル243Cとの各構造の一例を示す模式図である。第1AVクリップ群3101は第1AVストリーム・ファイル245A内の部分LCL1-3から成る。第3AVクリップ群3102は第3AVストリーム・ファイル245C内の部分DCL1-3から成る。第1プレイリスト・ファイル243Aのメインパス3103と第3プレイリスト・ファイル243Cのメインパス3104とはいずれも三つのプレイアイテム情報#1-3を含む。いずれのプレイアイテム情報#1-3も第1AVクリップ群3101の中に再生区間を規定する。第3プレイリスト・ファイル243Cは第1プレイリスト・ファイル243Aとは異なり、サブパス3105を更に含む。サブパス3105は三つのサブプレイアイテム情報#1-3を含み、各サブプレイアイテム情報#1-3は第3AVクリップ群3102の中に再生区間を規定する。サブプレイアイテム情報#1-3はプレイアイテム情報#1-3と一対一に対応する。各サブプレイアイテム情報の再生区間の長さは、対応するプレイアイテム情報の再生区間の長さに等しい。サブパス3105では更に、サブパス・タイプ3106の値が「3D・デプス」である。その値は、サブパス3105がデプス・モードでの3D映像の再生に利用されるべきものであり、特にデプスマップAVストリーム・ファイルの再生経路を規定することを示す。
図29に示されている選択処理によって第1プレイリスト・ファイル243Aが再生対象として選択されたとき、再生装置102はそのメインパス3103に従って第1AVクリップ群3101から2D映像を再生する。一方、第3プレイリスト・ファイル243Cが再生対象として選択されたとき、再生装置102は3D映像の再生をデプス・モードで実行する。再生装置102は特に、第3プレイリスト・ファイル243Cのメインパス3104に従って第1AVクリップ群3101から2D映像を再生し、サブパス3105に従って第3AVクリップ群3102からデプスマップを再生する。再生装置102はそのとき、サブパス・タイプ3006の値が「3D・デプス」であることを検出して、メインパス3104とサブパス3105との間で再生処理を同期させる。再生装置102は更に、再生された2D映像とデプスマップとからレフトビューとライトビューとの対を生成する。こうして、デプス・モードでの3D映像の再生が行われる。ここで、第3AVクリップ群3102は第1AVクリップ群3101と組み合わされて利用される。
第3プレイリスト・ファイル243Cの各プレイアイテム情報には、図15に示されているストリーム選択テーブル1505の中にデプスマップ・ストリームのストリーム・エントリが追加されている。プライマリ・ビデオ・ストリームとデプスマップ・ストリームとではストリーム・エントリ1509の内容は共通である。ストリーム・エントリ1509には、プライマリ・ビデオ・ストリームとデプスマップ・ストリームとを識別するためのフラグが更に追加されていても良い。
図32は、第1プレイリスト・ファイル243Aと3Dプレイリスト・ファイル3200との各構造の別例を示す模式図である。第1AVクリップ群3201は、第1AVストリーム・ファイル245A内の部分LCL1-3から成る。第2AVクリップ群3202Rは第2AVストリーム・ファイル245B内の部分RCL1-3から成る。第3AVクリップ群3202Dは第3AVストリーム・ファイル245C内の部分DCL1-3から成る。第1プレイリスト・ファイル243Aのメインパス3103と3Dプレイリスト・ファイル3200のメインパス3204とはいずれも三つのプレイアイテム情報#1-3を含む。いずれのプレイアイテム情報#1-3も第1AVクリップ群3201の中に再生区間を規定する。3Dプレイリスト・ファイル3200は、第2プレイリスト・ファイル243Bと第3プレイリスト・ファイル243Cとのいずれとも異なり、サブパスを二種類含む。第1サブパス3205Rでは、サブパス・タイプ3206Rが「3D・L/R」であり、各サブプレイアイテム情報#1-3が第2AVクリップ群3202Rの中に再生区間を規定する。一方、第2サブパス3205Dでは、サブパス・タイプ3206Dが「3D・デプス」であり、各サブプレイアイテム情報#1-3が第3AVクリップ群3202Dの中に再生区間を規定する。各サブプレイアイテム情報#1-3はプレイアイテム情報#1-3と一対一に対応する。各サブプレイアイテム情報の再生区間の長さは、対応するプレイアイテム情報の再生区間の長さに等しい。
3Dプレイリスト・ファイル3200に従って3D映像が再生されるとき、再生対象のサブパスが二種類のサブパス3205R、3205Dの間で切り換えられることにより、再生装置102にその再生モードをL/Rモードとデプス・モードとの間で切り換えさせることができる。特にその切り換え処理は、第2プレイリスト・ファイル243Bと第3プレイリスト・ファイル243Cとの間での切り換え処理よりも速やかに実現可能である。
図32とは異なり、3Dプレイリスト・ファイルが、サブパス・タイプの等しいサブパスを複数含んでいてもよい。例えば、同じシーンに対する両眼視差の異なる3D映像が共通のレフトビューに対するライトビューの違いで表現されるとき、異なるライトビューごとに異なるライトビュー・ストリーム・ファイルがBD-ROMディスク101に記録される。すなわち、BD-ROMディスク101のSTREAMディレクトリには、一つのレフトビュー・ストリーム・ファイルに対して、ライトビュー・ストリーム・ファイルが二種類以上含まれていてもよい。その場合、3Dプレイリスト・ファイルには、サブパス・タイプが「3D・L/R」であるサブパスが複数設けられる。それらのサブパスは、各ライトビュー・ストリーム・ファイルの再生経路を個別に規定する。その他に、一つの2D・AVストリーム・ファイルに対して、デプスマップAVストリーム・ファイルが二種類以上含まれていてもよい。その場合、3Dプレイリスト・ファイルには、サブパス・タイプが「3D・デプス」であるサブパスが複数設けられる。それらのサブパスは、各デプスマップAVストリーム・ファイルの再生経路を個別に規定する。そのような3Dプレイリスト・ファイルに従って3D映像が再生されるとき、再生対象のサブパスが例えばユーザの操作に応じて速やかに切り換えられるので、3D映像を実質的に途切れさせることなく、その両眼視差を変化させることができる。それにより、ユーザに所望の両眼視差の3D映像を容易に選択させることができる。
≪3D映像の再生に利用されるAVストリーム・ファイル≫
図33の(a)、(b)はそれぞれ、第2AVストリーム・ファイル245B、第3AVストリーム・ファイル245Cに多重化されたエレメンタリ・ストリームを示す模式図である。図4に示されている第1AVストリーム・ファイル245Aとは異なり、第2AVストリーム・ファイル245Bと第3AVストリーム・ファイル245Cとはいずれもプライマリ・ビデオ・ストリーム3321、3331のみを含む。第2AVストリーム・ファイル245B内のプライマリ・ビデオ・ストリーム3321はライトビュー・ストリームを表し、第3AVストリーム・ファイル245C内のプライマリ・ビデオ・ストリーム3331はデプスマップ・ストリームを表す。従って、各プライマリ・ビデオ・ストリーム3321、3331には、レフトビュー・ストリームを表す第1AVストリーム・ファイル245A内のプライマリ・ビデオ・ストリームのPID=0x1011とは別のPID=0x1012、0x1013が割り当てられる。
図34は、レフトビュー・ストリーム3410に含まれるピクチャ3411-3414、…、及びライトビュー・ストリーム3420に含まれるピクチャ3421-3424、…を表示時間順に示す模式図である。各ピクチャ3411-3414、3421-3424は映像データの1フレーム又は1フィールドを表す。
図34を参照するに、レフトビュー・ストリーム3410内の各ピクチャ3411-3414はピクチャ間予測符号化で圧縮されている。その符号化方法は、図6に示されているビデオ・ストリーム600内の各ピクチャの符号化方法と全く同様である。具体的には、まず、GOPの先頭のピクチャがピクチャ内符号化でI0ピクチャ3411に圧縮される。ここで、下付の数字は、各ピクチャに表示時間順に割り振られた通し番号を示す。次に、4番目のピクチャが、図34に矢印で示されているように、I0ピクチャ3411を参照ピクチャとしてP3ピクチャ3414に圧縮される。続いて、2、3番目のピクチャが、その前のI0ピクチャ3411とその後のP3ピクチャ3414とを参照ピクチャとしてそれぞれ、Br1ピクチャ342、Br2ピクチャ3413に圧縮される。ここで、「Brピクチャ」とは、Bピクチャのうち、他のピクチャに対するピクチャ間予測符号化で参照ピクチャとして利用されるものをいう。
ライトビュー・ストリーム3420内の各ピクチャ3421-3424はピクチャ間予測符号化で圧縮されている。しかし、その符号化方法は、レフトビュー・ストリーム3410内の各ピクチャ3411-3414の符号化方法とは異なり、映像の時間方向での冗長性に加えて、左右の映像間の冗長性をも利用する。すなわち、各ピクチャ3421-3424の参照ピクチャが、図34に矢印で示されているように、同じストリーム3420からだけでなく、レフトビュー・ストリーム3410からも選択される。ライトビュー・ストリーム3420内の各ピクチャ3421-3424と、レフトビュー・ストリーム3410から選択されたその参照ピクチャとは表示時刻が実質的に等しい。すなわち、それぞれのピクチャが3D映像の同じシーンのライトビューとレフトビューとを表す。具体的には、まず、ライトビュー・ストリーム3420内の先頭のピクチャが、レフトビュー・ストリーム3410内のI0ピクチャ3411を参照ピクチャとしてP0ピクチャ3421に圧縮される。次に、4番目のピクチャが、P0ピクチャ3421とレフトビュー・ストリーム3410内のP3ピクチャ3414とを参照ピクチャとしてP3ピクチャ3424に圧縮される。続いて、2番目のピクチャが、P0ピクチャ3421とP3ピクチャ3424とに加えて、レフトビュー・ストリーム3410内のBr1ピクチャ3412を参照ピクチャとしてB1ピクチャに圧縮される。同様に、3番目のピクチャが、P0ピクチャ3421とP3ピクチャ3424とに加えて、レフトビュー・ストリーム3410内のBr2ピクチャ3413を参照ピクチャとしてB2ピクチャに圧縮される。
このような左右の映像間の相関関係を利用した動画圧縮符号化方式としては、MVC(Multiview Video Coding)と呼ばれるMPEG-4 AVC/H.264の修正規格が知られている。MVCは、ISO/IEC MPEGとITU-T VCEGとの共同プロジェクトであるJVT(Joint Video Team)によって2008年7月に策定されたものであり、複数の視点から見える映像をまとめて符号化するための規格である。MVCでは、映像間予測符号化に、映像の時間方向での類似性だけでなく、視点の異なる映像間の類似性も利用される。その予測符号化では、各視点から見た映像を個別に圧縮する予測符号化よりも映像の圧縮率が高い。
上記のとおり、ライトビュー・ストリーム3420内の各ピクチャの圧縮には、レフトビュー・ストリーム3410内の各ピクチャが参照ピクチャとして利用される。従って、レフトビュー・ストリーム3410とは異なり、ライトビュー・ストリーム3420を単独で復号することはできない。しかし、その反面、レフトビューとライトビューとの間の相関は高いので、ライトビュー・ストリーム3420内の各ピクチャは一般にレフトビュー・ストリーム3410内の各ピクチャよりも圧縮率が著しく高く、すなわちデータ量が著しく小さい。
デプスマップ・ストリーム内の各ピクチャは、図6に示されているビデオ・ストリーム600内の各ピクチャの符号化方法と全く同様なピクチャ間予測符号化で圧縮されている。ここで、その符号化方式はライトビュー・ストリームの符号化方式に等しい。例えば、ライトビュー・ストリームがMVCのフォーマットで符号化されているとき、デプスマップ・ストリームもMVCのフォーマットで符号化されている。その場合、ライトビュー・ストリームと同様、デプスマップ・ストリームを単独で復号することはできない。しかし、その反面、再生装置102は3D映像再生モードをL/Rモードとデプス・モードとの間で切り換えるとき、ライトビュー・ストリームとデプスマップ・ストリームとをスムーズに切り換えることができる。
以下、レフトビュー・ストリーム3410のように単独で復号可能であって平面視映像の再生に利用されるビデオ・ストリームを「ベースビュー・ストリーム」という。更に、ベースビュー・ストリームを含むAVストリーム・ファイルを「ベースビュー・ストリーム・ファイル」という。それに対し、ライトビュー・ストリーム3420及びデプスマップ・ストリームのように、その復号にベースビュー・ストリームを必要とし、そのベースビュー・ストリームと組み合わされて立体視映像の再生に利用されるビデオ・ストリームを「ディペンデントビュー・ストリーム」という。更に、ディペンデントビュー・ストリームを含むAVストリーム・ファイルを「ディペンデントビュー・ストリーム・ファイル」という。
図35は、ベースビュー・ストリーム3501とディペンデントビュー・ストリーム3502との各ピクチャに割り当てられたPTSとDTSとの間の関係を示す模式図である。図35を参照するに、両ビデオ・ストリーム3501、3502の間では、3D映像の同じフレーム又はフィールドの表示に利用される一対のピクチャに対し、同じPTS及び同じDTSが割り当てられている。例えば、3D映像の先頭のフレーム又はフィールドはベースビュー・ストリーム3501のI1ピクチャ3511とディペンデントビュー・ストリーム3502のP1ピクチャ3521との組み合わせから再現される。従って、それらのピクチャの対3511、3521では、PTSが等しく、かつ、DTSが等しい。ここで、下付の数字は、各ピクチャにDTSの順に割り振られた通し番号を示す。同様に、各ビデオ・ストリーム3501、3502の2番目のピクチャ、すなわちP2ピクチャ3512とP2ピクチャ3522とでは、PTSが等しく、かつDTSが等しい。各ビデオ・ストリーム3501、3502の3番目のピクチャ、すなわちBr3ピクチャ3513とB3ピクチャ3523とではPTSとDTSとがいずれも等しい。Br4ピクチャ3514とB4ピクチャ3524とでも同様である。
図7に示されているビデオ・ストリーム700のデータ構造と同様に、実際のベースビュー・ストリーム及びディペンデントビュー・ストリームのいずれを構成するGOPにおいても、ピクチャごとに一つのビデオ・アクセスユニットが構成されている。更に、互いに対を成すベースビュー・ストリームとディペンデントビュー・ストリームとの各GOPの先頭のビデオ・アクセスユニットの間では、シーケンス・ヘッダが、同じ解像度、同じフレームレート、及び同じアスペクト比を含む。特にそのフレームレートは、ベースビュー・ストリームが2D再生装置によって単独で復号されるときの値に等しい。
ベースビュー・ストリーム3501とディペンデントビュー・ストリーム3502との間で、PTSが等しく、かつDTSが等しいピクチャを含むビデオ・アクセスユニットの対を「3Dビデオ・アクセスユニット」という。図35に示されているようなPTSとDTSとの割り当てにより、3D再生装置のデコーダにベースビュー・ストリーム3501とディペンデントビュー・ストリーム3502とを3Dビデオ・アクセスユニット単位でパラレルに処理させることが容易にできる。それにより、3D映像の同じフレーム又はフィールドの表示に利用されるべき一対のピクチャがデコーダによって確実にパラレルに処理される。
図36は、レフトビュー・ストリーム、ライトビュー・ストリーム、及びデプスマップ・ストリーム内のビデオ・アクセスユニット3600のデータ構造を示す模式図である。図36を参照するに、ビデオ・アクセスユニット3600は、図7に示されているデータ構造に加え、復号スイッチ情報3601を更に含む。復号スイッチ情報3601は、特に補足データ711Dの中、すなわち、MPEG-4 AVCではSEIメッセージの中に格納されている。復号スイッチ情報3601は、3D再生装置のデコーダに復号対象のビデオ・アクセスユニットを容易に特定させるための情報である。ここで、3D再生装置のデコーダは後述のように、ベースビュー・ストリームとディペンデントビュー・ストリームとをビデオ・アクセスユニット単位で交互に復号する。そのとき、そのデコーダは一般に、各ビデオ・アクセスユニットに付与されたDTSの時刻に合わせて、次に復号すべきビデオ・アクセスユニットを特定する。しかし、デコーダの種類には、DTSを無視してビデオ・アクセスユニットを順次、復号し続けるものも多い。そのようなデコーダにとって、各ビデオ・アクセスユニットがDTSに加えて復号スイッチ情報3601を含むことは好ましい。
図36に示されているように、復号スイッチ情報3601は、次アクセスユニット・タイプ3602、次アクセスユニット・サイズ3603、及び復号カウンタ3604を含む。
次アクセスユニット・タイプ3602は、次に復号されるべきビデオ・アクセスユニットがベースビュー・ストリームとディペンデントビュー・ストリームとのいずれに属するのかを示す。例えば、次アクセスユニット・タイプ3602の値が「1」であるときは、次に復号されるべきビデオ・アクセスユニットはベースビュー・ストリームに属し、「2」であるときは、ディペンデントビュー・ストリームに属する。次アクセスユニット・タイプ3602の値が「0」であるときは、現在のビデオ・アクセスユニットが復号対象のストリームの終端に位置し、次に復号されるべきビデオ・アクセスユニットが存在しない。
次アクセスユニット・サイズ3603は、次に復号されるべきビデオ・アクセスユニットのサイズを示す。3D再生装置内のデコーダは次アクセスユニット・サイズ3603を参照することにより、ビデオ・アクセスユニットの構造自体を解析することなく、そのサイズを特定できる。従って、デコーダは、バッファからビデオ・アクセスユニットを容易に抽出できる。
復号カウンタ3604は、それの属するビデオ・アクセスユニットが復号される順番を示す。その順番は、ベースビュー・ストリーム内のIピクチャを含むビデオ・アクセスユニットから数えられる。図37は、ベースビュー・ストリーム3701とディペンデントビュー・ストリーム3702との各ピクチャに割り当てられた復号カウンタの値3604A、3604Bを示す模式図である。図37の(a)、(b)に示されているように、その値の割り当て方には二通りがある。
図37の(a)では、復号カウンタの値3604A、3604Bがベースビュー・ストリーム3701とディペンデントビュー・ストリーム3702との間で交互にインクリメントされる。例えば、ベースビュー・ストリーム3701内のIピクチャ3711に対して、復号カウンタの値3604Aとして「1」が割り当てられる。次に復号されるべきディペンデントビュー・ストリーム3702内のPピクチャ3721に対して、復号カウンタの値3604Bとして「2」が割り当てられる。更にその次に復号されるべきベースビュー・ストリーム3701内のPピクチャ3712に対して、復号カウンタの値3604Aとして「3」が割り当てられる。そのような割り当てにより、何らかの不具合が原因で3D再生装置内のデコーダがいずれかのビデオ・アクセスユニットを読み損なったときでも、それによって欠落したピクチャをデコーダは復号カウンタの値3604A、3604Bから直ちに特定できる。従って、デコーダはエラー処理を適切に、かつ迅速に実行できる。
図37の(a)の例では、ベースビュー・ストリーム3701の3番目のビデオ・アクセスユニットの読み込みにエラーが生じ、Brピクチャ3713が欠落している。しかし、デコーダは、ディペンデントビュー・ストリーム3702の2番目のビデオ・アクセスユニットに含まれるPピクチャ3722の復号処理において、そのビデオ・アクセスユニットの復号カウンタの値3604Bを読み出して保持している。従って、デコーダは、次に処理すべきビデオ・アクセスユニットの復号カウンタの値3604Aを予測できる。具体的には、そのPピクチャ3722を含むビデオ・アクセスユニット内の復号カウンタの値3604Bは「4」である。従って、次に読み込まれるべきビデオ・アクセスユニットの復号カウンタの値3604Aは「5」であると予測される。しかし、実際には、次に読み込まれたビデオ・アクセスユニットはベースビュー・ストリーム3701の4番目のビデオ・アクセスユニットであったので、その復号カウンタの値3604Aは「7」になっている。そのことから、デコーダは、ビデオ・アクセスユニットを一つ読み損ねたことを検出できる。従って、デコーダは「ディペンデントビュー・ストリーム3702の3番目のビデオ・アクセスユニットから抽出されたBピクチャ3723については、参照すべきBrピクチャ3713が欠落しているので復号処理をスキップする」といったエラー処理を実行できる。このように、デコーダは復号処理ごとに復号カウンタの値3604A、3604Bをチェックする。それにより、デコーダはビデオ・アクセスユニットの読み込みエラーを迅速に検出でき、かつ、適切なエラー処理を迅速に実行できる。その結果、再生映像へのノイズの混入を防止することができる。
図37の(b)では、復号カウンタの値3604C、3604Dがビデオ・ストリーム3701、3702ごとにインクリメントされる。従って、復号カウンタの値3604C、3604Dは、同じ3Dビデオ・アクセスユニット内の一対のピクチャ間で等しい。その場合、デコーダはベースビュー・ストリーム3701のビデオ・アクセスユニットを一つ復号した時点では、「その復号カウンタの値3604Cが、次に復号されるべきディペンデントビュー・ストリーム3702のビデオ・アクセスユニットの復号カウンタの値3604Dに等しい」と予測できる。一方、デコーダはディペンデントビュー・ストリーム3702のビデオ・アクセスユニットを一つ復号した時点では、「その復号カウンタの値3604Dに1を加えた値が、次に復号されるべきベースビュー・ストリーム3701のビデオ・アクセスユニットの復号カウンタの値3604Cに等しい」と予測できる。従って、デコーダはいずれの時点でも、復号カウンタの値3604C、3604Dからビデオ・アクセスユニットの読み込みエラーを迅速に検出でき、かつ、適切なエラー処理を迅速に実行できる。その結果、再生映像へのノイズの混入を防止することができる。
≪3D映像に利用されるクリップ情報ファイル≫
図38の(a)、(b)はそれぞれ、ベースビュー・クリップ情報ファイル3801、ディペンデントビュー・クリップ情報ファイル3802のデータ構造を示す模式図である。ここで、「ベースビュー・クリップ情報ファイル」は、ベースビュー・ストリーム・ファイルに対応付けられるべきクリップ情報ファイルであり、この実施形態では2D/レフトビュー・クリップ情報ファイルに相当する。「ディペンデントビュー・クリップ情報ファイル」は、ディペンデントビュー・ストリーム・ファイルに対応付けられるべきクリップ情報ファイルであり、この実施形態ではライトビュー・クリップ情報ファイル及びデプスマップ・クリップ情報ファイルに相当する。各クリップ情報ファイル3801、3802は、図11に示されている2Dクリップ情報ファイルと同様、クリップ情報3811、3821、ストリーム属性情報3812、3822、及びエントリ・マップ3813、3823を含む。それらのデータ構造は、図11-13に示されている2Dクリップ情報ファイル内のデータ構造に等しい。ベースビュー・クリップ情報ファイル3801は更に、3Dメタデータ3814を含む。その他に、ディペンデントビュー・クリップ情報ファイル3802のストリーム属性情報3822には条件が課せられ、エントリ・マップ3823には情報が追加されている。
≪3Dメタデータ≫
図39は、3Dメタデータ3814のデータ構造を示す模式図である。3Dメタデータ3814は、ベースビュー・ストリーム・ファイルに多重化されたPGストリーム、IGストリーム、及びセカンダリ・ビデオ・ストリームのそれぞれに対するクロッピング処理に利用される情報である。「クロッピング処理」とは、各ストリームから再生される2D映像に奥行き感を与えるための処理をいう。その処理では、各2D映像を水平方向に変位させることによって、レフトビューとライトビューとの対が生成される。そのときの変位量は、その2D映像に与えられるべき奥行き感を生み出す両眼視差に相当する。3Dメタデータ3814は特に、その変位量をピクセル数で表した値、すなわち「オフセット値」を含む。
図39の(a)を参照するに、3Dメタデータ3814は、PGストリーム、IGストリーム、及びセカンダリ・ビデオ・ストリームのPID別にテーブル3901を含む。各テーブル3901にはPTS3902とオフセット値3903との対が一般に複数記載されている。PTS3902は、PGストリーム、IGストリーム、及びセカンダリ・ビデオ・ストリーム内の一つのフレーム又はフィールドの表示時刻を示す。オフセット値3903は、そのPTS3902が割り当てられたフレーム又はフィールドに対するオフセット値を表す。オフセット値3903はマイナス値であってもよい。このPTS3902とオフセット値3903との対3904を「オフセット・エントリ」という。各オフセット・エントリの有効区間は、そのオフセット・エントリのPTSから次のオフセット・エントリのPTSまでである。図39の(a)の例では、オフセット・エントリ#1のPTSが180000であり、オフセット・エントリ#2のPTSが270000であり、オフセット・エントリ#3のPTSが360000である。その場合、図39の(b)に示されているように、オフセット・エントリ#1のオフセット値“+5”は、180000から270000までのSTCの範囲3904Aで有効であり、オフセット・エントリ#2のオフセット値“+3”は、270000から360000までのSTCの範囲3904Bで有効である。
≪ディペンデントビュー・ストリームに関するストリーム属性情報≫
図34の説明で述べたとおり、ディペンデントビュー・ストリームはベースビュー・ストリームを利用して圧縮される。従って、ディペンデントビュー・ストリームはベースビュー・ストリームとビデオ・ストリーム属性が等しく揃えられる。ここで、ベースビュー・ストリームに関するビデオ・ストリーム属性情報は、ベースビュー・クリップ情報ファイル3801のストリーム属性情報3812内でPID=0x1011に対応付けられている。ディペンデントビュー・ストリームに関するビデオ・ストリーム属性情報は、ディペンデントビュー・クリップ情報ファイル3802のストリーム属性情報3822内でPID=0x1012又は0x1013に対応付けられている。従って、それらのビデオ・ストリーム属性情報間では、図12に示されている各項目、すなわち、コーデック1211、解像度1212、アスペクト比1213、及び、フレームレート1214が一致する。コーデックの種類が一致していれば、ベースビュー・ストリームとディペンデントビュー・ストリームとのピクチャ間に符号化での参照関係が成立するので、各ピクチャを復号することができる。解像度、アスペクト比、及びフレームレートがいずれも一致していれば、左右の映像の画面表示を同期させることができる。それ故、それらの映像を3D映像として視聴者に違和感を与えることなく見せることができる。
≪ディペンデントビュー・ストリームに関するエントリ・マップ≫
図40の(a)は、図38の(b)に示されているディペンデントビュー・クリップ情報ファイル3802のエントリ・マップ3823のデータ構造を示す模式図である。図40の(a)を参照するに、エントリ・マップ3823は、ディペンデントビュー・ストリームに割り当てられたテーブル4001を含む。そのテーブル4001はエントリ・マップ・ヘッダ4011と複数のエントリ・ポイント4012とを含む。エントリ・マップ・ヘッダ4011は、そのテーブル4001に割り当てられたディペンデントビュー・ストリームのPID、すなわち0x1012又は0x1013を示す。各エントリ・ポイント4012は一対のPTS4013とSPN4014とを一つのEP_ID4016に対応付けている。そのPTS4013は、ディペンデントビュー・ストリームに含まれるいずれかのGOPの先頭のピクチャのPTSに等しい。SPN4014は、そのピクチャが格納されたソースパケット群の先頭のSPNに等しい。特に、エントリ・ポイント4012のPTS4013は、ベースビュー・クリップ情報ファイル3801のエントリ・マップ3813のうち、ベースビュー・ストリームに割り当てられたテーブル内のエントリ・ポイントのPTSに等しい。すなわち、同じ3Dビデオ・アクセスユニットに含まれる一対のピクチャの一方を含むソースパケット群の先頭にエントリ・ポイントが設定されているときは常に、他方を含むソースパケット群の先頭にもエントリ・ポイントが設定されている。
図41は、ベースビュー・ストリーム4110とディペンデントビュー・ストリーム4120とに設定されたエントリ・ポイントの例を示す模式図である。両ビデオ・ストリーム4110、4120では、先頭から数えて同じ順番のGOPが同じ再生期間の映像を表す。図41を参照するに、ベースビュー・ストリーム4110では、先頭のGOP#1、三番目のGOP#3、及び五番目のGOP#5の各先頭にエントリ・ポイント4101B、4103B、4105Bが設定されている。それに併せて、ディペンデントビュー・ストリーム4120でも、先頭のGOP#1、三番目のGOP#3、及び五番目のGOP#5の各先頭にエントリ・ポイント4101D、4103D、4105Dが設定されている。その場合、3D再生装置は例えばGOP#3から3D映像の飛び込み再生を開始するとき、対応するエントリ・ポイント4103B、4103Dから、再生されるべきソースパケット群の先頭のSPNを直ちに取得できる。こうして、3D映像の再生においても、飛び込み再生等、ビデオ・ストリームのランダムアクセスを要する処理の応答速度を向上することができる。
図40の(a)を再び参照するに、各エントリ・ポイント4012はエクステント開始フラグ4015を更に含む。エクステント開始フラグ4015は、ディペンデントビュー・ストリームが格納されたソースパケット群のうち、同じエントリ・ポイント4012のSPN4014で特定されるソースパケットが、BD-ROMディスク101上のエクステントのいずれかの先頭に位置するか否かを示す。図40の(b)は、エントリ・ポイントの示すSPNとBD-ROMディスク101上のエクステントとの間の関係を示す模式図である。例えば、EP_ID=0のエントリ・ポイントではエクステント開始フラグ4015の値が“1”である。その場合、同じエントリ・ポイントのSPN4014の値“3”は、ディスク101のトラック202上の第1エクステント4022の先頭に位置するソースパケットのSPNを示す。EP_ID=1のエントリ・ポイントではエクステント開始フラグ4015の値が“0”である。その場合、SPN4014の値“1500”は、第1エクステント4022の先頭以外の部分に記録されたソースパケットのSPNを示す。EP_ID=2のエントリポイントではエクステント開始フラグ4015の値が“1”である。その場合、SPN4014の値“3200”は、第2エクステント4023の先頭に位置するソースパケットのSPNを示す。従って、EP_ID=0、2の各エントリ・ポイントのSPN4014は、第1エクステント4022に含まれるソースパケットのSPNの範囲を示す。3D再生装置はその範囲の大きさから、第1エクステント4022のサイズを求めることができる。3D再生装置は更に、第1エクステント4022の読み出し処理において、ファイルシステムから第1エクステント4022の論理アドレスの範囲を求めなくても、BD-ROMドライブに読み出し対象の範囲を指定できる。それにより、3D再生装置はその読み出し処理を速やかに実行できる。エントリ・ポイント4012は更に、ディペンデントビュー・ストリームが格納されたソースパケット群のうち、BD-ROMディスク101上の各エクステントの先頭に位置するものには必ず設定される。従って、3D再生装置はいずれのエクステントの読み出し処理も速やかに実行できる。
同様なエクステント開始フラグは、ベースビュー・クリップ情報ファイル3801のエントリ・マップにおいても各エントリ・ポイントに含まれる。従って、3D再生装置はエクステント開始フラグ4015から、ベースビュー・ストリームが格納された各エクステントのサイズを取得できる。それ故、3D再生装置はBD-ROMディスク101からそれらのエクステントを速やかに読み出すことができる。
その他に、各エントリ・マップ・ヘッダ4011はエクステント開始タイプを含む。エクステント開始タイプは、BD-ROMディスク101のトラック202上で、ベースビュー・ストリームを格納しているエクステントと、ディペンデントビュー・ストリームを格納しているエクステントとのいずれが前に配置されているかを示す。従って、3D再生装置は、エクステント開始タイプを参照することにより、いずれのビデオ・ストリームを格納しているエクステントの読み出しをBD-ROMドライブに先に要求すべきかを簡単に判断できる。
<3D再生装置の構成>
以下、再生装置102がBD-ROMディスク101から上記の3D映像コンテンツを再生するために必要な構成、すなわち3D再生装置として必要な構成について説明する。その構成の基本部分は、図18-20に示されている2D再生装置の構成と同様である。従って、以下では、2D再生装置の構成からの拡張部分及び変更部分について説明し、基本部分については上記2D再生装置についての説明を援用する。また、2D映像の再生経路を規定する2Dプレイリスト・ファイルに従った2D映像の再生処理、すなわち2Dプレイリスト再生処理に利用される構成は、2D再生装置の構成と同様であるので、その詳細も上記2D再生装置についての説明を援用する。以下の説明では、3D映像の再生経路を規定する3Dプレイリスト・ファイルに従った3D映像の再生処理、すなわち3Dプレイリスト再生処理を想定する。
図42は、3D再生装置4200の機能ブロック図である。3D再生装置4200は、BD-ROMドライブ4201、再生部4200A、及び制御部4200Bを含む。再生部4200Aは、スイッチ4212、第1リード・バッファ4221、第2リード・バッファ4222、システム・ターゲット・デコーダ4203、及びプレーン加算部4210を含む。制御部4200Bは、動的シナリオ・メモリ4204、静的シナリオ・メモリ4205、プログラム実行部4206、再生制御部4207、プレーヤ変数記憶部4208、及びユーザイベント処理部4209を含む。再生部4200Aと制御部4200Bとは互いに異なる集積回路に実装されている。その他に、両者が単一の集積回路に統合されていてもよい。特に、動的シナリオ・メモリ4204、静的シナリオ・メモリ4205、プログラム実行部4206、及びユーザイベント処理部4209は、図18に示されている2D再生装置内のものと同様である。従って、それらの詳細については上記2D再生装置についての説明を援用する。
BD-ROMドライブ4201は、図18に示されている2D再生装置内のもの1801と同様な構成要素を含み、それらを利用することにより、再生制御部4207からの要求に従ってBD-ROMディスク101からデータを読み出す。そのデータのうち、AVストリーム・ファイルは、BD-ROMドライブ4201から第1リード・バッファ4221と第2リード・バッファ4222とのいずれかへ選択的に転送される。具体的には、まず、BD-ROMドライブ4201は再生制御部4207から、ベースビュー・ストリーム・ファイルとディペンデントビュー・ストリーム・ファイルとのそれぞれに対する読み出し要求をエクステント単位で交互に受ける。BD-ROMドライブ4201はそれらの要求に応じ、各AVストリーム・ファイルに属するエクステントを交互にスイッチ4212へ転送する。スイッチ4212はそれらのエクステントのうち、ベースビュー・ストリーム・ファイルに属するものを第1リード・バッファ4221へ送出し、ディペンデントビュー・ストリーム・ファイルに属するものを第2リード・バッファ4222へ送出する。このように、3D映像の再生では、ベースビュー・ストリーム・ファイルとディペンデントビュー・ストリーム・ファイルとの両方がパラレルに各リード・バッファ4221、4222へ転送されなければならない。従って、BD-ROMドライブ4201には2D再生装置内のBD-ROMドライブ1801以上のアクセス・スピードが求められる。
第1リード・バッファ4221と第2リード・バッファ4222とはいずれも、再生部4200A内のメモリ素子を利用したバッファ・メモリである。特に、単一のメモリ素子内の異なる領域が各リード・バッファ4221、4222として利用される。その他に、異なるメモリ素子が個別に各リード・バッファ4221、4222として利用されてもよい。第1リード・バッファ4221は、BD-ROMドライブ4201から転送されるベースビュー・ストリーム・ファイルを格納する。第2リード・バッファ4222は、BD-ROMドライブ4201から転送されるディペンデントビュー・ストリーム・ファイルを格納する。
再生制御部4207は、3Dプレイリスト再生処理をプログラム実行部4206等から命じられたとき、まず、静的シナリオ・メモリ4205に格納された3Dプレイリスト・ファイルを参照する。例えば図30、31に示されているように、3Dプレイリスト・ファイル243B、243Cはメインパス3004、3104とサブパス3005、3105とを規定する。再生制御部4207は次に、そのメインパス3004、3104の中からプレイアイテム情報#1-3を順番に読み出し、それらを利用してベースビュー・ストリーム・ファイルの部分LCL1-3を順番に特定する。それと並行して、再生制御部4207は更にサブパス3005、3105の中からサブプレイアイテム情報#1-3を順番に読み出し、それらを利用してディペンデントビュー・ストリーム・ファイルの部分RCL1-3、DCL1-3を順番に特定する。再生制御部4207はその後、静的シナリオ・メモリ4205にアクセスして、各部分に対応付けられたクリップ情報ファイルのうち、図13、40に示されているエントリ・マップ1103、3823を参照する。それにより、再生制御部4207は、エントリ・マップ・ヘッダ1301、4011に記述されたエクステント開始タイプから、再生開始地点のエクステントがベースビュー・ストリーム・ファイルとディペンデントビュー・ストリーム・ファイルとのいずれに属するかを判定する。その判定結果から、再生制御部4207はスイッチ4212の初期位置を決定する。再生制御部4207は続いて、BD-ROMドライブ4201に対し、その再生開始地点からベースビュー・ストリーム・ファイルとディペンデントビュー・ストリーム・ファイルとをエクステント単位で交互に読み出すように要求する。特に、両方のAVストリーム・ファイルのうち、上記の判定結果の示す方から先に読み出しが要求される。最初のエクステントの全体がBD-ROMドライブ4201からいずれかのリード・バッファ4221、4222へ転送されたとき、そのエクステントが更にそのリード・バッファ4221、4222からシステム・ターゲット・デコーダ4203へ転送される。それらの処理に加えて、再生制御部4207は、静的シナリオ・メモリ4205に格納されたベースビュー・クリップ情報ファイルの中から、図39に示されている3Dメタデータ3814を読み出してプレーン加算部4210へ転送する。
システム・ターゲット・デコーダ4203は、まず、第1リード・バッファ4221に格納されたベースビュー・ストリーム・ファイルと、第2リード・バッファ4222に格納されたディペンデントビュー・ストリーム・ファイルとから交互にソースパケットを読み出し、多重分離処理によってそれらから各エレメンタリ・ストリームを分離する。システム・ターゲット・デコーダ4203は次に、各エレメンタリ・ストリームに対して個別に復号処理を行う。システム・ターゲット・デコーダ4203は更に、復号後のベースビュー・ストリーム、ディペンデントビュー・ストリーム、セカンダリ・ビデオ・ストリーム、IGストリーム、及びPGストリームをそれぞれ、内蔵の専用メモリ、すなわち、2D/左映像プレーン・メモリ、右映像プレーン・メモリ、副映像プレーン・メモリ、IGプレーン・メモリ、及びPGプレーン・メモリに書き込む。システム・ターゲット・デコーダ4203の詳細については後述する。
プレーヤ変数記憶部4208は、2D再生装置内のものと同様に、図19に示されているSPRMを含む。しかし、図19では予備であったSPRM(24)-(32)のいずれか二つがそれぞれ、上記二種類のフラグ(A)、(B)を含む。具体的には、SPRM(24)がフラグ(A)を含み、SPRM(25)がフラグ(B)を含む。SPRM(24)が「0」であるときは再生装置102が2D映像の再生のみに対応可能であり、「1」であるときは3D映像の再生にも対応可能である。SPRM(25)が「0」であるときは再生装置102の3D映像再生モードがL/Rモードであり、「1」であるときはデプス・モードである。
プレーン加算部4210はシステム・ターゲット・デコーダ4203から、2D/左映像プレーン・データ、右映像プレーン・データ、副映像プレーン・データ、IGプレーン・データ、PGプレーン・データ、及びイメージ・プレーン・データを受信し、それらを互いに重畳して一つの映像フレーム又はフィールドに合成する。合成後の映像フレーム又はフィールドは表示装置103へ送出され、その画面に表示される。
図43は、プレーン加算部4210の機能ブロック図である。プレーン加算部4210は、視差映像生成部4320、スイッチ4310、四つの加算部4311-4314、及び四つのクロッピング処理部4321-4324を含む。
視差映像生成部4320は、システム・ターゲット・デコーダ4203から2D/左映像プレーン・データ4301と右映像プレーン・データ4302とを受ける。再生装置102の3D映像再生モードがL/Rモードであるとき、2D/左映像プレーン・データ4301はレフトビュー・ストリーム内の一つの映像フレーム又はフィールドを表し、右映像プレーン・データ4302はライトビュー・ストリーム内の一つの映像フレーム又はフィールドを表す。そのとき、視差映像生成部4320は2D/左映像プレーン・データ4301と右映像プレーン・データ4302とをそのままスイッチ4310へ送出する。一方、3D映像再生モードがデプス・モードであるとき、2D/左映像プレーン・データ4301は2Dビデオ・ストリーム内の一つの映像フレーム又はフィールドを表し、右映像プレーン・データ4302はその映像フレーム又はフィールドのデプスマップを表す。そのとき、視差映像生成部4320は、まず、そのデプスマップからその映像フレーム又はフィールド内の各部の両眼視差を計算する。視差映像生成部4320は次に、その映像フレーム又はフィールド内の各部の表示位置を、計算された両眼視差に応じて左右に移動させて、レフトビューとライトビューとのそれぞれを表す映像フレーム又はフィールドを構成する。視差映像生成部4320は更に、左右の映像フレーム又はフィールドを2D/左映像プレーン・データ4301と右映像プレーン・データ4302としてスイッチ4310へ送出する。
スイッチ4310は、PTSの等しい2D/左映像プレーン・データ4301と右映像プレーン・データ4302とをその順で第1加算部4311へ送出する。
第1加算部4311は、スイッチ4310からは2D/左映像プレーン・データ4301と右映像プレーン・データ4302とを交互に受ける。一方、第1クロッピング処理部4321からは、レフトビューとライトビューとを表す一対の副映像プレーン・データを交互に受ける。第1加算部4311は次に、2D/左映像プレーン・データ4301には、レフトビューを表す副映像プレーン・データを重畳し、右映像プレーン・データ4302には、ライトビューを表す副映像プレーン・データを重畳する。重畳後の左右の映像プレーン・データは交互に第2加算部4312へ送出される。
第2加算部4312は、第1加算部4311からは左右の映像プレーン・データを交互に受ける。一方、第2クロッピング処理部4322からは、レフトビューとライトビューとを表す一対のPGプレーン・データを交互に受ける。第2加算部4312は次に、レフトビューを表す映像プレーン・データには、レフトビューを表すPGプレーン・データを重畳し、ライトビューを表す映像プレーン・データには、ライトビューを表すPGプレーン・データを重畳する。重畳後の左右の映像プレーン・データは交互に第3加算部4313へ送出される。
第3加算部4313は、第2加算部4312からは左右の映像プレーン・データを交互に受ける。一方、第3クロッピング処理部4323からは、レフトビューとライトビューとを表す一対のIGプレーン・データを交互に受ける。第3加算部4313は次に、レフトビューを表す映像プレーン・データには、レフトビューを表すIGプレーン・データを重畳し、ライトビューを表す映像プレーン・データには、ライトビューを表すIGプレーン・データを重畳する。重畳後の左右の映像プレーン・データは交互に第4加算部4314へ送出される。
第4加算部4314は、第3加算部4313からは左右の映像プレーン・データを交互に受ける。一方、第4クロッピング処理部4324からは、レフトビューとライトビューとを表す一対のイメージ・プレーン・データを交互に受ける。第4加算部4314は次に、レフトビューを表す映像プレーン・データには、レフトビューを表すイメージ・プレーン・データを重畳し、ライトビューを表す映像プレーン・データには、ライトビューを表すイメージ・プレーン・データを重畳する。重畳後の左右の映像プレーン・データは交互に表示装置103へ送出される。
こうして、図43に矢印4300で示されているように、2D/左映像プレーン・データ4301、右映像プレーン・データ4302、副映像プレーン・データ4303、IGプレーン・データ4304、PGプレーン・データ4305、及びイメージ・プレーン・データ4306はその順で重畳される。それらの合成処理により、各プレーン・データの示す映像は表示装置103の画面上に、2D/左映像プレーン又は右映像プレーン、副映像プレーン、IGプレーン、PGプレーン、及びイメージ・プレーンの順に重ねられたように表示される。
第1クロッピング処理部4321は3Dメタデータ3814を利用して、副映像プレーン・データ4303に対してクロッピング処理を行う。それにより、その副映像プレーン・データ4303は、レフトビューとライトビューとを表す一対の副映像プレーン・データに変換されて交互に送出される。
第2クロッピング処理部4322は3Dメタデータ3814を利用して、PGプレーン・データ4304に対してクロッピング処理を行う。それにより、そのPGプレーン・データ4304は、レフトビューとライトビューとを表す一対のPGプレーン・データに変換されて交互に送出される。
第3クロッピング処理部4323は3Dメタデータ3814を利用して、IGプレーン・データ4305に対してクロッピング処理を行う。それにより、そのIGプレーン・データ4305は、レフトビューとライトビューとを表す一対のIGプレーン・データに変換されて交互に送出される。
図44は、第1クロッピング処理部4321-第3クロッピング処理部4323のそれぞれによるクロッピング処理を示す模式図である。図44では、第2クロッピング処理部4322によるPGプレーン・データ4304に対するクロッピング処理を例に挙げている。第2クロッピング処理部4322はまず、図39に示されている3Dメタデータ3814の中から、PGストリームのPID=0x1200に対応付けられたテーブル3901を検索する。第2クロッピング処理部4322は次に、そのテーブル3901の中から、現時点で有効なオフセット・エントリ3904を検索して、そのオフセット値3903を取得する。PGプレーン・データ4304を重畳すべき映像プレーン・データが2D/左映像プレーン・データ4301である場合、第2クロッピング処理部4322は、図44の(a)に示されているように、2D/左映像プレーン・データ4301の位置に対してPGプレーン・データ4304の位置を、取得されたオフセット値に等しいピクセル数4401Lだけ水平方向に変位させる。そのとき、そのオフセット値が正であればPGプレーン・データ4304は右に変位し、負であれば左に変位する。第2クロッピング処理部4322はその後、2D/左映像プレーン・データ4301の範囲からはみ出ているPGプレーン・データ4304の領域4402Lを除去し、残りの領域4403Lを2D/左映像プレーン・データ4301に重畳する。一方、重畳先の映像プレーン・データが右映像プレーン・データ4302である場合、第2クロッピング処理部4322は、図44の(b)に示されているように、右映像プレーン・データ4302の位置に対してPGプレーン・データ4304の位置を、オフセット値に等しいピクセル数4401Rだけ水平方向に変位させる。そのとき、図44の(a)に示されている場合とは逆に、そのオフセット値が正であればPGプレーン・データ4304は左に変位し、負であれば右に変位する。第2クロッピング処理部4322はその後、図44の(a)に示されている場合と同様に、右映像プレーン・データ4302の範囲からはみ出しているPGプレーン・データ4304の領域4402Rを除去し、残りの領域4403Rを右映像プレーン・データ4302に重畳する。第1クロッピング処理部4321は副映像プレーン・データ4303に対して同様にクロッピング処理を行い、第3クロッピング処理部4323はIGプレーン・データ4305に対して同様にクロッピング処理を行う。
図45は、図44に示されているクロッピング処理によって重畳されたレフトビューとライトビュー、及びそれらから視聴者に知覚される3D映像を示す模式図である。レフトビューでは、図45の(a)に示されているように、左映像プレーン4501Lに対してPGプレーン4502がオフセット値4401Lだけ右に変位しているので、PGプレーン4502の左側の領域4503Lが左映像プレーン4501Lに重なって見える。その結果、PGプレーン4502内の字幕の2D映像4504が、元の位置よりもオフセット値4401Lだけ右に変位して見える。ライトビューでは逆に、図45の(b)に示されているように、右映像プレーン4501Rに対してPGプレーン4502がオフセット値4401Rだけ左に変位しているので、PGプレーン4502の右側の領域4503Rが右映像プレーン4501Rに重なって見える。その結果、PGプレーン4502内の字幕の2D映像4504が、元の位置よりもオフセット値4401Rだけ左に変位して見える。その結果、図45の(c)に示されているように、視聴者4505には、字幕の3D映像4504が映像プレーン4506よりも手前に見える。このように、クリッピング処理を利用して、一つのプレーン・データから、レフトビューとライトビューとを表すプレーン・データの対を作成する。それにより、視差映像を再生することができる。すなわち、平面的なイメージに対して奥行き感を与えることができる。特に、視聴者にその平面的なイメージを画面から浮かび上がるように見せることができる。
図43を再び参照するに、イメージ・プレーン・データ4306は、プログラム実行部4206からシステム・ターゲット・デコーダ4203へ転送されたグラフィックス・データが、システム・ターゲット・デコーダ4203によって復号されたものである。そのグラフィックス・データはJPEG又はPNG等のラスタデータであり、メニュー等のGUI用グラフィックス部品を表す。第4クロッピング処理部4324はイメージ・プレーン・データ4306に対するクロッピング処理を他のクロッピング処理部4321-4323と同様に行う。但し、第4クロッピング処理部4324は他のクロッピング処理部4321-4323とは異なり、オフセット値を3Dメタデータ3814ではなく、プログラムAPI4330によって指定されたオフセット情報から読み出す。ここで、プログラムAPI4330はプログラム実行部4206によって実行される。それにより、グラフィックス・データの表すイメージの奥行きに相当するオフセット情報が算出されて、第4クロッピング処理部4324に渡される。
プレーン加算部4210は上記の処理の他に、四つの加算部4311-4314によって合成されたプレーン・データの出力形式を、表示装置103等、そのデータの出力先の装置による3D映像の表示方式に合わせて変換する。例えば、出力先の装置が経時分離方式を利用するとき、プレーン加算部4210は合成後のプレーン・データを一つの映像フレーム又はフィールドとして送出する。一方、出力先の装置がレンチキュラーレンズを利用するとき、プレーン加算部4210は内蔵のバッファ・メモリを利用して、左右の映像のプレーン・データを一つの映像フレーム又はフィールドに合成し、その後送出する。具体的には、プレーン加算部4210は、先に合成された左映像のプレーン・データを一旦、そのバッファ・メモリに格納して保持する。プレーン加算部4210は続いて、右映像のプレーン・データを合成して、バッファ・メモリに保持された左映像のプレーン・データと更に合成する。その合成では、左右の映像の各プレーン・データが縦方向に細長い短冊形の小領域に分割され、各小領域が一つのフレーム又はフィールドの中に横方向に交互に並べられて一つのフレーム又はフィールドに再構成される。こうして、左右の映像のプレーン・データが一つの映像フレーム又はフィールドに合成される。プレーン加算部4210はその合成後の映像フレーム又はフィールドを出力先の装置へ送出する。
≪システム・ターゲット・デコーダの構成≫
図46は、図42に示されているシステム・ターゲット・デコーダ4203の機能ブロック図である。図46に示されている構成要素は、図20に示されている2D再生装置のものとは次の二点で異なる:(1)リード・バッファから主映像デコーダへの入力系統が二重化されている点、及び(2)主映像デコーダが3D映像デコーダであって、ベースビュー・ストリームとディペンデントビュー・ストリームとを交互に復号できる点。一方、副映像デコーダ、IGデコーダ、PGデコーダ、主音声デコーダ、副音声デコーダ、音声ミキサ、イメージ・プロセッサ、及び各プレーン・メモリは、図20に示されている2D再生装置のものと同様である。従って、以下では、図46に示されている構成要素のうち、図20に示されているものとは異なるものについて説明し、同様なものの詳細については図20についての説明を援用する。
第1ソース・デパケタイザ4611は、第1リード・バッファ4221からソースパケットを読み出し、その中からTSパケットを取り出して第1PIDフィルタ4613へ送出する。第2ソース・デパケタイザ4612は、第2リード・バッファ4222からソースパケットを読み出し、その中からTSパケットを取り出して第2PIDフィルタ4614へ送出する。各ソース・デパケタイザ4611、4612は更に、各TSパケットの送出時刻を、各ソースパケットのATSに応じて調整する。その調整方法は、図20に示されているソース・デパケタイザ2010のものと同様であるので、その詳細については図20についての説明を援用する。
第1PIDフィルタ4613は、第1ソース・デパケタイザ4611から受信されたTSパケットのPIDを、再生制御部4207から予め指定されたPIDと比較する。両方のPIDが一致したとき、第1PIDフィルタ4613はそのTSパケットを、そのPIDに応じ、3D映像デコーダ4615内のTB(1)4601、副映像デコーダ、IGデコーダ、PGデコーダ、音声デコーダ、及び副音声デコーダのいずれかへ転送する。同様に、第2PIDフィルタ4614は、第2ソース・デパケタイザ4612から受信された各TSパケットを、そのPIDに応じて各デコーダへ転送する。ここで、図33に示されているように、ディペンデントビュー・ストリーム・ファイルは一般にディペンデントビュー・ストリームしか含まない。従って、3Dプレイリスト再生では、第2PIDフィルタ4614はTSパケットを主に3D映像デコーダ4615内のTB(2)4608へ転送する。
図46を参照するに、3D映像デコーダ4615は、TB(1)4601、MB(1)4602、EB(1)4603、TB(2)4608、MB(2)4609、EB(2)4610、バッファ・スイッチ4606、圧縮映像デコーダ4604、DPB4605、及びピクチャ・スイッチ4607を含む。TB(1)4601、MB(1)4602、EB(1)4603、TB(2)4608、MB(2)4609、EB(2)4610、及びDPB4605はいずれもバッファ・メモリである。各バッファ・メモリは、3D映像デコーダ4615に内蔵されたメモリ素子の一領域を利用する。その他に、それらのバッファ・メモリのいずれか又は全てが、異なるメモリ素子に分離されていてもよい。
TB(1)4601は、ベースビュー・ストリームを含むTSパケットを第1PIDフィルタ4613から受信して、そのまま蓄積する。MB(1)4602は、TB(1)4601に蓄積されたTSパケットからPESパケットを復元して蓄積する。そのとき、各TSパケットからTSヘッダが除去される。EB(1)4603は、MB(1)4602に蓄積されたPESパケットから、符号化されたビデオ・アクセスユニットを抽出して蓄積する。そのとき、各PESパケットからPESヘッダが除去される。
TB(2)4608は、ディペンデントビュー・ストリームを含むTSパケットを第2PIDフィルタ4614から受信して、そのまま蓄積する。MB(2)4609は、TB(2)4608に蓄積されたTSパケットからPESパケットを復元して蓄積する。そのとき、各TSパケットからTSヘッダが除去される。EB(2)4610は、MB(2)4609に蓄積されたPESパケットから、符号化されたビデオ・アクセスユニットを抽出して蓄積する。そのとき、各PESパケットからPESヘッダが除去される。
バッファ・スイッチ4606は、EB(1)4603とEB(2)4610とのそれぞれに蓄積されたビデオ・アクセスユニットを、元のTSパケットの示すDTSの時刻に圧縮映像デコーダ4604へ転送する。ここで、図35に示されているように、ベースビュー・ストリーム3501とディペンデントビュー・ストリーム3502との間では、同じ3Dビデオ・アクセスユニットに属する一対のピクチャのDTSが等しい。従って、バッファ・スイッチ4606は、EB(1)4603とEB(2)4610とのそれぞれに蓄積された、DTSの等しい一対のビデオ・アクセスユニットのうち、EB(1)4603に蓄積されたものを先に圧縮映像デコーダ4604へ転送する。その他に、バッファ・スイッチ4606は、図36に示されている、そのビデオ・アクセスユニット3600内の復号スイッチ情報3601を圧縮映像デコーダ4604から返してもらってもよい。その場合、バッファ・スイッチ4606はその復号スイッチ情報3601を使って、次に転送すべきビデオ・アクセスユニットをEB(1)4603とEB(2)4610とのいずれから転送すべきかを決定できる。
圧縮映像デコーダ4604は、バッファ・スイッチ4606から転送されたビデオ・アクセスユニットを復号する。ここで、そのビデオ・アクセスユニット内に格納された圧縮ピクチャの符号化形式、例えば、MPEG2、MPEG4AVC、及びVC1、並びにストリーム属性に応じて、圧縮映像デコーダ4604は復号方法を切り換える。圧縮映像デコーダ4604は更に、復号後のピクチャ、すなわち映像フレーム又はフィールドをDPB4605へ転送する。
DPB4605は、復号後のピクチャを一時的に保持する。圧縮映像デコーダ4604はPピクチャ及びBピクチャを復号するとき、DPB4605に保持されている復号後のピクチャを参照する。DPB4605は更に、保持している各ピクチャを、元のTSパケットの示すPTSの時刻にピクチャ・スイッチ4607へ転送する。
ピクチャ・スイッチ4607は、圧縮映像デコーダ4604から転送されたピクチャを2D/左映像プレーン・メモリ4620と右映像プレーン・メモリ4621とのいずれかに書き込む。そのピクチャが2D/レフトビュー・ストリームに属するとき、ピクチャ・スイッチ4607はそのピクチャを2D/左映像プレーン・メモリ4620に書き込み、ライトビュー・ストリームに属するとき、右映像プレーン・メモリ4621に書き込む。
<3D映像を表すAVストリーム・ファイルのディスク上での物理的な配置>
次に、3D映像を表すAVストリーム・ファイルの対、すなわち、ベースビュー・ストリーム・ファイルとディペンデントビュー・ストリーム・ファイルとをBD-ROMディスク101上に記録するとき、その3D映像のシームレス再生に有利な各AVストリーム・ファイルの物理的な配置について説明する。
3D再生装置は、3D映像の再生時、再生期間の一致するベースビュー・ストリーム・ファイルとディペンデントビュー・ストリーム・ファイルとをパラレルに処理しなければならない。図47は、両方のAVストリーム・ファイルに属するエクステントのディスク101上での配置を示す模式図である。
仮に図47の(a)のように、一つのベースビュー・ストリーム・ファイルの全体を一つのエクステント4701としてディスク101上に連続して記録し、その後に一つのディペンデントビュー・ストリーム・ファイルの全体を一つのエクステント4702として記録した場合を想定する。3D再生装置が両方のAVストリーム・ファイル4701、4702をパラレルに処理するとき、その処理に利用可能なバッファの容量は一般に限られている。従って、3D映像の再生経路は、図47の(a)に矢印(1)-(4)で示されているように、各エクステント4701、4702を一部ずつ交互に進む。それに伴い、図47の(a)に破線で示されているように、読み出し対象のエクステントが一方から他方へ切り替わる度にジャンプが生じる。特にそのジャンプの距離は各AVストリーム・ファイルの全体と同程度に長い。その結果、BD-ROMドライブによる各AVストリーム・ファイルの読み出し処理を3D映像デコーダによる復号処理に間に合わせることが難しいので、シームレス再生を確実に継続することが難しい。
実施形態1では、図47の(b)に示されているように、両方のAVストリーム・ファイルのエクステントがインターリーブ配置で記録される。具体的には、一つのベースビュー・ストリーム・ファイルが複数のエクステント4701A、4701B、…に分割され、一つのディペンデントビュー・ストリーム・ファイルが複数のエクステント4702A、4702B、…に分割される。更に、両方のAVストリーム・ファイルのエクステントが交互にディスク101上に配置される。その場合、3D映像の再生経路は、図47の(b)に矢印(1)-(4)で示されているように、各エクステント4701A、4701B、4702A、4702B、…を先頭から順番に進む。それにより、3D再生装置は、AVストリーム・ファイルの全体と同程度のジャンプを発生させることなく、両方のAVストリーム・ファイルをエクステント単位で交互に読み出すことができる。それは、3D映像のシームレス再生に有利である。
≪エクステント当たりの再生時間≫
エクステント当たりのビデオ・ストリームの再生時間は次に述べる条件を満たす。図48は、その再生時間と再生経路との間の関係を示す模式図である。
仮に図48の(a)のように、ベースビュー・ストリーム・ファイルのエクステント4801とディペンデントビュー・ストリーム・ファイルのエクステント4802とが隣接する場合を想定する。前者のエクステント4801に含まれるベースビュー・ストリームの再生時間は4秒間であり、後者のエクステント4802に含まれるディペンデントビュー・ストリームの再生時間は1秒間である。ここで、ディペンデントビュー・ストリームの復号に必要なベースビュー・ストリームの再生時間は、そのディペンデントビュー・ストリームの再生時間に等しい。従って、3D再生装置内のバッファ容量の節約には、3D映像の再生経路が、図48の(a)に矢印4810で示されているように、各AVストリーム・ファイルのエクステント4801、4802を交互に同じ再生時間ずつ、例えば1秒間ずつ進むことが好ましい。しかし、その場合、図48の(a)に破線で示されているように、ビデオ・ストリームの再生時間が長いエクステント4801の読み出しの途中でジャンプが生じる。
実施形態1では、図48の(b)に示されているように、再生期間の一致する各AVストリーム・ファイルの部分が、隣接する一対のエクステントに含まれる。特にそれらのエクステント間ではビデオ・ストリームの再生時間が等しい。具体的には、ベースビュー・ストリーム・ファイルの先頭のエクステント4801Aとディペンデントビュー・ストリーム・ファイルの先頭のエクステント4802Aとではビデオ・ストリームの再生時間が共に1秒間に等しく、各AVストリーム・ファイルの二番目のエクステント4801B、4802Bではビデオ・ストリームの再生時間が共に0.7秒間に等しい。このような配置に対しては3D映像の再生経路は、図48の(b)に矢印4820で示されているように、各エクステント4801A、4802A、4801B、4802B、…を先頭から順番に進む。更に、いずれのエクステントの読み出しの途中にもジャンプが生じない。従って、3D再生装置はジャンプを発生させることなく、各エクステントを連続して読み込むことができる。それは、3D映像のシームレス再生に更に有利である。
≪エクステントの先頭に含まれるべきピクチャ≫
ベースビュー・ストリーム・ファイルに属する各エクステントの先頭はベースビュー・ストリームのIピクチャを含み、ディペンデントビュー・ストリーム・ファイルに属する各エクステントの先頭はディペンデントビュー・ストリームのPピクチャを含む。そのPピクチャは、図34に示されているように、ベースビュー・ストリームのIピクチャを参照ピクチャとして圧縮されている。その場合、3D再生装置はクリップ情報ファイルのエントリ・ポイントを使って各エクステントのサイズを特定できる。従って、3D再生装置は、BD-ROMディスク101から両方のAVストリーム・ファイルのエクステントを交互に読み出す処理を簡単化できる。
≪エクステントの配置順と再生経路≫
図49は、2D/レフトビュー・ストリーム・ファイル、ライトビュー・ストリーム・ファイル、及び、デプスマップ・ストリーム・ファイルのそれぞれに属するエクステント群のBD-ROMディスク101上での配置を示す模式図である。各AVストリーム・ファイルは、図2に示されている三種類のAVストリーム・ファイル245A-245Cのそれぞれに相当する。図49を参照するに、それらのエクステント群は、図47の(b)に示されているものと同様に、インターリーブ配置で記録されている。具体的には、まず、2D/レフトビュー・ストリーム・ファイルは複数のエクステントL1、L2、L3、…に分割され、ライトビュー・ストリーム・ファイルは複数のエクステントR1、R2、R3、…に分割され、デプスマップ・ストリーム・ファイルは複数のエクステントD1、D2、D3、…に分割されている。以下、2D/レフトビュー・ストリーム・ファイルに属するエクステントL1、L2、L3、…を「レフトビュー・エクステント」といい、ライトビュー・ストリーム・ファイルに属するエクステントR1、R2、R3、…を「ライトビュー・エクステント」といい、デプスマップ・ストリーム・ファイルに属するエクステントD1、D2、D3、…を「デプスマップ・エクステント」という。レフトビュー・エクステントL1-3、ライトビュー・エクステントR1-3、及びデプスマップ・エクステントD1-3は一つずつ交互に配置されている。そのインターリーブ配置では更に、図48の(b)に示されているものと同様に、再生期間の一致する各AVストリーム・ファイルの部分が、連続する三つのエクステントに個別に含まれる。特にそれらのエクステント間ではビデオ・ストリームの再生時間が等しい。例えば、先頭のレフトビュー・エクステントL1、先頭のライトビュー・エクステントR1、及び先頭のデプスマップ・エクステントD1が連続して配置されている。各エクステントL1、R1、D1に含まれるAVストリーム・ファイルの部分は再生期間が一致し、かつビデオ・ストリームの再生時間が等しい。その次に連続する三つのエクステントL2、R2、D2も同様である。
図49に示されているように、連続する三つのエクステントごとに、すなわち、再生期間の一致するレフトビュー・エクステント、ライトビュー・エクステント、及びデプスマップ・エクステントの組み合わせごとに配置順が一定である。特にサイズの小さいエクステントから順に配置されている。例えば、先頭のライトビュー・エクステントR1に含まれるピクチャは、図34に示されているように、先頭のレフトビュー・エクステントL1に含まれるピクチャを参照ピクチャとして圧縮されている。一方、デプスマップの画素当たりのデータ量、すなわち奥行き値のビット数は一般に、2D/レフトビュー・ストリームに含まれるピクチャの画素当たりのデータ量、すなわち色座標値とα値とのビット数よりも小さい。更に、図4、33に示されているように、ベースビュー・ストリーム・ファイルはディペンデントビュー・ストリーム・ファイルとは異なり、プライマリ・ビデオ・ストリームの他にも、プライマリ・オーディオ・ストリーム等のエレメンタリ・ストリームを含む。従って、先頭のライトビュー・エクステントR1のサイズSext2[1]と先頭のデプスマップ・エクステントD1のサイズSext3[1]とはいずれも一般に、先頭のレフトビュー・エクステントL1のサイズSext1[1]よりも小さい:Sext2[1]≦Sext1[1]、Sext3[1]≦Sext1[1]。それ故、図49では、先頭のデプスマップ・エクステントD1、先頭のライトビュー・エクステントR1、及び先頭のレフトビュー・エクステントL1がその順で配置されている。次に連続する三つのエクステントD2、R2、L2の順序も同様である。
図49には、2D再生装置に2D映像を再生させるときの再生経路4901、3D再生装置に3D映像をL/Rモードで再生させるときの再生経路4902、及び3D再生装置に3D映像をデプス・モードで再生させるときの再生経路4903がそれぞれ示されている。
2D映像の再生経路4901はレフトビュー・エクステントのみを順に通る。例えば、まず、先頭のレフトビュー・エクステントL1が読み出され、その直後のデプスマップ・エクステントD2とライトビュー・エクステントR2との読み出しが最初のジャンプJ2D1によってスキップされる。続いて、二番目のレフトビュー・エクステントL2が読み出され、その直後のデプスマップ・エクステントD3とライトビュー・エクステントR3との読み出しが二回目のジャンプJ2D2によってスキップされる。
L/Rモードでの3D映像の再生経路4902はレフトビュー・エクステントとライトビュー・エクステントとを交互に通る。例えば、まず、先頭のライトビュー・エクステントR1と先頭のレフトビュー・エクステントL1とが連続して読み出される。それらのエクステントR1、L1間では最初のゼロ・セクタ遷移J01が生じる。
「ゼロ・セクタ遷移」とは、論理アドレスの連続する二つのエクステント間での光ピックアップの移動をいう。ゼロ・セクタ遷移期間では、光ピックアップの位置が、直前に読み出されたエクステントの後端から次の読み出し対象のエクステントの先頭まで移動するように、BD-ROMディスク101の回転が行われる。その間、光ピックアップは読み出し動作を一旦停止して待機する。尚、ゼロ・セクタ遷移期間には、各エクステントに後続する誤り訂正符号(ECC)の読み出しとそれを用いた誤り訂正とが行われる期間、すなわちECC訂正時間が含まれてもよい。ゼロ・セクタ遷移時間Tjump-0は二つのパラメータの和で評価される。一方のパラメータは実際のゼロ・セクタ遷移に要する時間を表し、光ピックアップの移動時間とECC訂正時間とに基づいて例えば20m秒以下の値に規定されている。但し、エクステントの読み出しが連続的に行われる期間では通常、ゼロ・セクタ遷移での光ピックアップの待機時間とECC訂正時間とはいずれも無視できるほど短いので、このパラメータは0とみなされてもよい。他方のパラメータを「マージン時間」という。マージン時間は、ベースビュー・エクステントとディペンデントビュー・エクステントとの一対が復号されるごとに各リード・バッファ4221、4222の蓄積データ量が少しずつ増加するように設定されている。マージン時間の詳細については後述する。
先頭のレフトビュー・エクステントL1の後端が読み出された時、最初のジャンプJLR1が生じて、その直後のデプスマップ・エクステントD2の読み出しがスキップされる。続いて、二番目のライトビュー・エクステントR2と二番目のレフトビュー・エクステントL2とが、二回目のゼロ・セクタ遷移J02を挟んで連続して読み出される。更に、二回目のジャンプJLR2によって二番目のデプスマップ・エクステントD3の読み出しがスキップされる。
デプス・モードでの3D映像の再生経路4903はレフトビュー・エクステントとデプスマップ・エクステントとを交互に通る。例えば、まず、先頭のデプスマップ・エクステントD1が読み出され、その直後のライトビュー・エクステントR1の読み出しが最初のジャンプJLD1によってスキップされる。続いて、先頭のレフトビュー・エクステントL1と二番目のデプスマップ・エクステントD2とが、最初のゼロ・セクタ遷移J01を挟んで連続して読み出され、その直後のライトビュー・エクステントR2の読み出しが二回目のジャンプJLD2によってスキップされる。
図49ではエクステント群がインターリーブ配置を構成しているので、3D映像の再生経路4902、4903は各エクステントをディスク101上の順序で進めばよい。従って、図47の(b)に示されている場合と同様に、3D再生装置はL/Rモードとデプス・モードとのいずれでも、ジャンプ距離をAVストリーム・ファイルの全体よりも十分に縮小できる。図49では更に、再生期間の一致する三種類のエクステントが連続して配置されている。従って、図48の(b)に示されている場合と同様に、3D再生装置はいずれのエクステントも、その読み出しの途中にジャンプを発生させることなく、連続して読み込むことができる。その上、連続する三つのエクステントごとに配置順が一定であるので、3D映像の再生経路4902、4903はいずれも一定のパターンの繰り返しで構成される。それにより、3D再生装置はL/Rモードとデプス・モードとのいずれでも、BD-ROMドライブに対するベースビュー・エクステントとディペンデントビュー・エクステントとの各読み出し要求を一定のパターンで繰り返すことができる。更に、再生期間の一致するベースビュー・エクステントとディペンデントビュー・エクステントとの各組み合わせでは、ディペンデントビュー・エクステントが先に読み出される。従って、その逆の場合よりも、3D再生装置はバッファの容量を削減できる。
BD-ROMディスク101が多層ディスクであるとき、図49に示されているように、AVストリーム・ファイルの一連の部分に属するエクステント群が二つの記録層にわたって配置されていてもよい。その場合、層境界はベースビュー・エクステントの直後に設定されるので、次の記録層では後続のエクステント群が、再生期間の一致するエクステントの組み合わせの先頭に配置されるべきディペンデントビュー・エクステントから順に並べられる。図49に示されている例では、層境界LBは三番目のレフトビュー・エクステントL3の直後に設定され、次の記録層では後続のエクステント群が、四番目のデプスマップ・エクステントD4から順に配置されている。その結果、各再生経路4901、4902、4903では、層境界LBを越えるためのジャンプJLYが、ゼロ・セクタ遷移J01、J02、…とも、他のジャンプJ2D1、J2D2、…、JLR1、JLR2、…、JLD1、JLD2、…とも区別されない。但し、ジャンプJLYでは他のジャンプとは異なり、ジャンプ時間が、図24に示されている規定によってジャンプ距離と対応付けられている値よりも層切換時間、すなわち350m秒だけ長い値で評価される。
≪飛び込み再生≫
図50は、図49に示されているインターリーブ配置のうち、n番目のエクステントの組み合わせDn、Rn、Lnに対して設定されたエントリ・ポイントと飛び込み再生時の再生経路とを示す模式図である。図50を参照するに、各エクステントDn、Rn、Lnにはエントリ・ポイントが四つずつ設定されている。各エクステントDn、Rn、Lnのエントリ・ポイントでは、図41に示されているものと同様に、先頭から数えられた順番が同じものの間でPTSが等しい。例えば、ライトビュー・エクステントRnの先頭のエントリ・ポイントEPR1はレフトビュー・エクステントLnの先頭のエントリ・ポイントEPL1とPTSが等しく、ライトビュー・エクステントRnの二番目のエントリ・ポイントEPR2はレフトビュー・エクステントLnの二番目のエントリ・ポイントEPL2とPTSが等しい。
図50には更に、ライトビュー・エクステントRnの三番目のエントリ・ポイントEPR3から3D映像の飛び込み再生を行うときに選択可能な二種類の再生経路5001、5002が示されている。いずれの再生経路5001、5002も、まず、ライトビュー・エクステントRn上を三番目のエントリ・ポイントEPR3から終端まで進む。第1再生経路5001では、ライトビュー・エクステントRnの終端からレフトビュー・エクステントLnの三番目のエントリ・ポイントEPL3までジャンプJEPが生じる。その後、第1再生経路5001はレフトビュー・エクステントLn上をその三番目のエントリ・ポイントEPL3から進む。一方、第2再生経路5002は、ライトビュー・エクステントRnの終端から連続してレフトビュー・エクステントLnの先頭へ進み、更にレフトビュー・エクステントLn上をそのまま進む。但し、レフトビュー・エクステントLnの先頭のエントリ・ポイントEPL1から三番目のエントリ・ポイントEPL3までの範囲に含まれるソースパケットは、復号されることなく破棄される。
二種類の再生経路5001、5002は、次のように選択される。まず、ジャンプJEPのジャンプ距離、すなわち、レフトビュー・エクステントLnの先頭のエントリ・ポイントEPL1から三番目のエントリ・ポイントEPL3までのセクタ数が、図38の(a)に示されているベースビュー・クリップ情報ファイル3801のエントリ・マップ3823から算出される。次に、図24に示されている規定に従って、そのジャンプ距離に対応するジャンプ時間Tjump-EPが、ジャンプJEPの最大ジャンプ時間として決定される。一方、BD-ROMドライブ4201がレフトビュー・エクステントLnを先頭のエントリ・ポイントEPL1から三番目のエントリ・ポイントEPL3まで第1リード・バッファ4221へ読み出すのに要する時間Tread-EPが、BD-ROMドライブ4201から第1リード・バッファ4221へのデータ転送速度に上記のセクタ数を乗じた値から算出される。続いて、その時間Tread-EPが上記のジャンプ時間Tjump-EPと比較される。前者の時間Tread-EPが後者の時間Tjump-EPよりも短いとき、すなわち、Tread-EP<Tjump-EP、第1再生経路5001が選択される。一方、前者の時間Tread-EPが後者の時間Tjump-EPよりも長いとき、すなわち、Tread-EP>Tjump-EP、第2再生経路5002が選択される。こうして、レフトビュー・エクステントLnの先頭のエントリ・ポイントEPL1から三番目のエントリ・ポイントEPL3までの範囲の復号処理が、可能な限り迅速にスキップされる。その結果、飛び込み再生時に、映像の再生が実際に開始されるまでの時間を短縮することができる。
≪3D再生装置内の再生処理系統のデータ転送速度≫
ここで、以下の説明の前提として、3D再生装置内の再生処理系統のデータ転送速度を定義する。図51は、図42に示されている3D再生装置内の再生処理系統を示す模式図である。その再生処理系統は、BD-ROMディスク101から読み出されたベースビュー・ストリーム・ファイルとディペンデントビュー・ストリーム・ファイルとを3D映像データVDと音声データADとに変換する。図51を参照するに、BD-ROMドライブ4201は両方のAVストリーム・ファイルをエクステント単位で交互に読み出し、第1リード・バッファ4221と第2リード・バッファ4222とへ交互に速度Rud-3D(ビット/秒)で格納する。この速度Rud-3Dを「3D映像読み出し速度」という。3D映像読み出し速度Rud-3Dは例えば72Mbpsである。システム・ターゲット・デコーダ4203は第1リード・バッファ4221からソースパケットを平均転送速度Rext1-3D(ビット/秒)で読み出す。この平均転送速度Rext1-3Dを「レフトビュー転送速度」という。レフトビュー転送速度Rext1-3Dは一般にエクステントごとに異なる。レフトビュー転送速度Rext1-3Dの最高値Rmax1-3Dは2D/レフトビュー・ストリーム・ファイルに対するシステムレートの192/188倍に等しい。一方、システム・ターゲット・デコーダ4203は第2リード・バッファ4222から、ライトビュー・ストリーム・ファイルの一部を含むソースパケットを第1平均転送速度Rext2(ビット/秒)で読み出し、デプスマップ・ストリーム・ファイルの一部を含むソースパケットを第2平均転送速度Rext3(ビット/秒)で読み出す。第1平均転送速度Rext2を「ライトビュー転送速度」といい、第2平均転送速度Rext3を「デプスマップ転送速度」という。いずれの転送速度Rext2、Rext3も一般にエクステントごとに異なる。ライトビュー転送速度Rext2の最高値Rmax2はライトビュー・ストリーム・ファイルに対するシステムレートの192/188倍と等しく、デプスマップ転送速度Rext3の最高値Rmax3はデプスマップ・ストリーム・ファイルに対するシステムレートの192/188倍に等しい。尚、システムレートは、図11、38に示されているように、クリップ情報ファイル内のクリップ情報に記述されている。BD-ROMドライブ4201によってディスク101から一つのエクステントを読み出している間、システム・ターゲット・デコーダ4203の復号処理に伴う各リード・バッファ4221、4222のアンダーフローを防ぐには、3D映像読み出し速度Rud-3Dは次式(2)のとおり、各転送速度の最高値Rmax1-3D、Rmax2、Rmax3以上であればよい:
図51に示されている3D再生装置内の再生処理系統は、BD-ROMディスク101から2D映像の再生処理系統としても利用可能である場合を更に想定する。2D映像の再生では、BD-ROMドライブ4201はレフトビュー・エクステントのみを第1リード・バッファ4221へ速度Rud-2D(ビット/秒)で格納する。この速度Rud-2Dを「2D映像読み出し速度」という。2D映像読み出し速度Rud-2Dは例えば54Mbpsである。システム・ターゲット・デコーダ4203は第1リード・バッファ4221からソースパケットを平均転送速度Rext1-2D(ビット/秒)で読み出す。この平均転送速度Rext1-2Dを「2D映像転送速度」という。2D映像転送速度Rext1-2Dは一般にエクステントごとに異なる。2D映像転送速度Rext1-2Dの最高値Rmax1-2Dは2D/レフトビュー・ストリーム・ファイルに対するシステムレートの192/188倍に等しい。BD-ROMドライブ4201によってディスク101から一つのエクステントを読み出している間、システム・ターゲット・デコーダ4203の復号処理に伴う第1リード・バッファ4221のアンダーフローを防ぐには、2D映像読み出し速度Rud-2Dは次式(3)のとおり、2D映像転送速度の最高値Rmax1-2Dよりも高ければよい:
≪2D映像のシームレス再生に必要なレフトビュー・エクステントの配置条件≫
図49に示されているように、2D映像の再生経路4901ではディペンデントビュー・エクステントD2、R2、D3、R3、…の記録領域ごとにジャンプJ2D1、J2D2、…が生じる。一方、第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へのデータ転送は継続される。従って、2D再生装置に2D映像をシームレスに再生させるには、エクステントの読み出しが停止する間にシステム・ターゲット・デコーダ4203へのデータ転送によって第1リード・バッファ4221がアンダーフローを生じないように、エクステントの読み出し期間中に十分なデータ量を第1リード・バッファ4221に蓄積させればよい。すなわち、図22-24を参照して説明したとおり、各ベースビュー・エクステントのサイズは少なくとも最小エクステント・サイズに等しく、ベースビュー・エクステントの間隔は最大ジャンプ距離より小さい。
図52は、図49に示されているエクステント群から2D再生装置が2D映像を再生するときの第1リード・バッファ4221の蓄積データ量DA1の推移を示すグラフである。まず、先頭のレフトビュー・エクステントL1がBD-ROMディスク101から第1リード・バッファ4221へ読み出される。その読み出し期間PR2D1では、図52に矢印5201で示されているように、蓄積データ量DA1は、2D映像読み出し速度Rud-2Dと2D映像転送速度Rext1-2D[1]との間の差Rud-2D-Rext1-2D[1]に等しい速度で増加する。先頭のレフトビュー・エクステントL1の後端が読み出された時、ジャンプJ2D1が生じる。そのジャンプ期間PJ2D1では、先頭のレフトビュー・エクステントL1の直後に位置する二つのエクステントD2、R2の読み出しがスキップされるので、BD-ROMディスク101からのデータの読み出しが停止する。従って、ジャンプ期間PJ2D1では、図52に矢印5202で示されているように、蓄積データ量DA1は2D映像転送速度Rext1-2D[1]で減少する。
ここで、読み出し期間PR2D1に第1リード・バッファ4221に蓄積されたデータ量、すなわち、先頭のレフトビュー・エクステントL1のサイズSext1[1]が、その読み出し期間PR2D1からジャンプ期間PJ2D1にわたって第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい場合を想定する。その場合、図52に示されているように、蓄積データ量DA1は、ジャンプ期間PJ2D1の終了時、読み出し期間PR2D1の開始時での値までしか下がらない。ジャンプJ2D1に続いて次のレフトビュー・エクステントL2の読み出しが開始される。その読み出し期間PR2D2では、図52に矢印5203で示されているように、蓄積データ量DA1は再度、データ転送速度の差Rud-2D-Rext1-2D[2]に等しい速度で増加する。
上記の蓄積データ量DA1の推移は、先頭の二つのレフトビュー・エクステントL1、L2に限らず、n番目と(n+1)番目とのレフトビュー・エクステントLn、L(n+1)(整数nは2以上である。)から2D映像を再生する場合でも同様である。従って、それらのレフトビュー・エクステントLn、L(n+1)から、その間のジャンプにかかわらず、2D映像をシームレスに再生するには、図23に示されている場合と同様、以下の二つの条件が満たされればよい。まず、n番目のレフトビュー・エクステントLnのサイズSext1[n]は少なくとも、次式(4)の右辺で表される最小エクステント・サイズに等しい:
式(4)では、ジャンプ時間Tjump-2D[n]はn番目のレフトビュー・エクステントLnの終端から(n+1)番目のレフトビュー・エクステントL(n+1)の先端までのジャンプ期間の長さを秒単位で表す。ジャンプ時間Tjump-2D[n]は二つのパラメータTJ[n]、TL[n]の和で決まる:Tjump-2D[n]=TJ[n]+TL[n]。第1パラメータTJ[n]は、図24に示されている規定によってn番目のレフトビュー・エクステントLnの終端から(n+1)番目のレフトビュー・エクステントL(n+1)の先端までのセクタ数、すなわちジャンプ距離と対応付けられている値を表す。第2パラメータTL[n]は、n番目のレフトビュー・エクステントLnと(n+1)番目のレフトビュー・エクステントL(n+1)との間に層境界LBがあるときは層切換時間、すなわち350m秒を表し、層境界LBがないときは0を表す。
次に、n番目と(n+1)番目とのレフトビュー・エクステントLn、L(n+1)の間隔は最大ジャンプ距離よりも小さければよい。最大ジャンプ距離は、図24に示されている規定によって上記のジャンプ時間Tjump-2D[n]と対応付けられている値に等しい。
≪L/Rモードでの3D映像のシームレス再生に必要なエクステントの配置条件≫
図49に示されているように、L/Rモードでの3D映像の再生経路4902ではライトビュー・エクステントR1、R2、…とレフトビュー・エクステントL1、L2、…とは交互に読み出される。従って、二つのリード・バッファ4221、4222の一方にエクステントが読み出されている間、他方にはエクステントは読み出されない。更にその再生経路4902ではデプスマップ・エクステントD2、D3、…の記録領域ごとにジャンプJLR1、JLR2、…が生じる。一方、各リード・バッファ4221、4222からシステム・ターゲット・デコーダ4203へのデータ転送は継続される。従って、3D再生装置に3D映像をシームレスに再生させるには、エクステントの読み出しが停止する間にシステム・ターゲット・デコーダ4203へのデータ転送によって各リード・バッファ4221、4222がアンダーフローを生じないように、エクステントの読み出し期間中に十分なデータ量を各リード・バッファ4221、4222に蓄積させればよい。
図53は、図49に示されているエクステント群から3D再生装置が3D映像をL/Rモードで再生するときでの各リード・バッファ4221、4222の蓄積データ量DA1、DA2の推移を示すグラフである。ここでは説明の便宜上、ライトビュー・エクステントとレフトビュー・エクステントとが先頭の対R1、L1から順に(n-1)番目の対R(n-1)、L(n-1)まで既に各リード・バッファ4221、4222に読み込まれ、かつ整数nが1より十分に大きい場合を想定する。その場合、両リード・バッファ4221、4222の蓄積データ量DA1、DA2は既にそれぞれの下限値UL1、UL2以上に維持されている。それらの下限値UL1、UL2を「バッファ余裕量」という。更に、ゼロ・セクタ遷移時間Tjump-0はマージン時間を含まない値、すなわち、実際のゼロ・セクタ遷移に要する時間のみで評価された規定値に等しい場合を想定する。バッファ余裕量UL1、UL2を確保するための方法については後述する。
図53の(c)に示されている再生経路5301に従い、まず、第(2n-1)読み出し期間PRRnにn番目のライトビュー・エクステントRnがBD-ROMディスク101から第2リード・バッファ4222へ読み出される。第(2n-1)読み出し期間PRRnでは、図53の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は、3D映像読み出し速度Rud-3Dとライトビュー転送速度Rext2[n]との間の差Rud-3D-Rext2[n]に等しい速度で増加する。一方、図53の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n]で減少する。
n番目のライトビュー・エクステントRnの後端が読み出された時、n回目のゼロ・セクタ遷移J0nが生じる。第nゼロ・セクタ遷移期間PJ0nでは、BD-ROMディスク101からのデータの読み出しが停止する。従って、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n-1]で減少し、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[n]で減少する。
第nゼロ・セクタ遷移期間PJ0nの終了時点から第2n読み出し期間PRLnが開始される。第2n読み出し期間PRLnではn番目のレフトビュー・エクステントLnがBD-ROMディスク101から第1リード・バッファ4221へ読み出される。従って、図53の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1は、3D映像読み出し速度Rud-3Dとレフトビュー転送速度Rext1-3D[n]との間の差Rud-3D-Rext1-3D[n]に等しい速度で増加する。一方、図53の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[n]で減少する。
n番目のレフトビュー・エクステントLnの後端が読み出された時、ジャンプJLRnが生じる。そのジャンプ期間PJLRnでは、n番目のレフトビュー・エクステントLnの直後に位置するデプスマップ・エクステントD(n+1)の読み出しがスキップされるので、BD-ROMディスク101からのデータの読み出しが停止する。従って、ジャンプ期間PJLRnでは、図53の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n]で減少する。一方、図53の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[n]で減少する。
第(2n-1)読み出し期間PRRnに第2リード・バッファ4222に蓄積されるデータ量、すなわちn番目のライトビュー・エクステントRnのサイズSext2[n]は少なくとも、第(2n-1)読み出し期間PRRnからジャンプ期間PJLRnにわたって第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい。従って、ジャンプ期間PJLRnの終了時、図53の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2が第2バッファ余裕量UL2を下回らない。
ジャンプ期間PJLRnの終了時点から第(2n+1)読み出し期間PRR(n+1)が開始される。第(2n+1)読み出し期間PRR(n+1)では、(n+1)番目のライトビュー・エクステントR(n+1)がBD-ROMディスク101から第2リード・バッファ4222へ読み出される。従って、図53の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は、3D映像読み出し速度Rud-3Dとライトビュー転送速度Rext2[n+1]との間の差Rud-3D-Rext2[n+1]に等しい速度で増加する。一方、図53の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n]で減少し続ける。
(n+1)番目のライトビュー・エクステントR(n+1)の後端が読み出された時、(n+1)回目のゼロ・セクタ遷移J0(n+1)が生じる。第(n+1)ゼロ・セクタ遷移期間PJ0(n+1)では、BD-ROMディスク101からのデータの読み出しが停止する。従って、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n]で減少し、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[n+1]で減少する。
第2n読み出し期間PRLnに第1リード・バッファ4221に蓄積されるデータ量、すなわち、n番目のレフトビュー・エクステントLnのサイズSext1[n]は少なくとも、第2n読み出し期間PRLnから第(n+1)ゼロ・セクタ遷移期間PJ0(n+1)にわたって第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい。従って、第(n+1)ゼロ・セクタ遷移期間PJ0(n+1)の終了時、図53の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1が第1バッファ余裕量UL1を下回らない。
第(n+1)ゼロ・セクタ遷移期間PJ0(n+1)の終了時点から第(2n+2)読み出し期間PRL(n+1)が開始される。第(2n+2)読み出し期間PRL(n+1)では(n+1)番目のレフトビュー・エクステントL(n+1)がBD-ROMディスク101から第1リード・バッファ4221へ読み出される。従って、図53の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1は、3D映像読み出し速度Rud-3Dとレフトビュー転送速度Rext1-3D[n+1]との間の差Rud-3D-Rext1-3D[n+1]に等しい速度で増加する。一方、図53の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[n+1]で減少し続ける。
上記の蓄積データ量DA1、DA2の推移は、(n+2)番目以降の各エクステントについても同様である。従って、ライトビュー・エクステントRn、R(n+1)、…とレフトビュー・エクステントLn、L(n+1)、…とから、それらの間のジャンプにかかわらず、3D映像をシームレスに再生するには、次の二つの条件式が満たされればよい。
第一に、n番目のレフトビュー・エクステントLnのサイズSext1[n]は少なくとも、第2n読み出し期間PRLnから第(n+1)ゼロ・セクタ遷移期間PJ0(n+1)にわたって第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい。ここで、第2n読み出し期間PRLnの長さは、n番目のレフトビュー・エクステントLnのサイズSext1[n]を3D映像読み出し速度Rud-3Dで割った値Sext1[n]/Rud-3Dに等しい。第(2n+1)読み出し期間PRR(n+1)の長さは、(n+1)番目のライトビュー・エクステントR(n+1)のサイズSext2[n+1]を3D映像読み出し速度Rud-3Dで割った値Sext2[n+1]/Rud-3Dに等しい。従って、n番目のレフトビュー・エクステントLnのサイズSext1[n]は少なくとも、次式(5)の右辺で表される最小エクステント・サイズに等しい:
第二に、n番目のライトビュー・エクステントRnのサイズSext2[n]は少なくとも、第(2n-1)読み出し期間PRRnから第nジャンプ期間PJLRnにわたって第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい。ここで、第(2n-1)読み出し期間PRRnの長さは、n番目のライトビュー・エクステントRnのサイズSext2[n]を3D映像読み出し速度Rud-3Dで割った値Sext2[n]/Rud-3Dに等しい。従って、n番目のライトビュー・エクステントRnのサイズSext2[n]は少なくとも、次式(6)の右辺で表される最小エクステント・サイズに等しい:
式(5)、(6)では、ジャンプ時間Tjump-3D[n]は、n番目のレフトビュー・エクステントLnの終端から(n+1)番目のライトビュー・エクステントR(n+1)の先端までのジャンプ期間PJLRnの長さを秒単位で表す。より詳細には、ジャンプ時間Tjump-3D[n]は二つのパラメータTJ[n]、TL[n]の和で決まる:Tjump-3D[n]=TJ[n]+TL[n]。第1パラメータTJ[n]は、図24に示されている規定によってn番目のレフトビュー・エクステントLnの終端から(n+1)番目のライトビュー・エクステントR(n+1)の先端までのセクタ数、すなわちジャンプ距離と対応付けられている値を表す。第2パラメータTL[n]は、n番目のレフトビュー・エクステントLnと(n+1)番目のライトビュー・エクステントR(n+1)との間に層境界LBがあるときは層切換時間、すなわち350m秒を表し、層境界LBがないときは0を表す。
≪デプス・モードでの3D映像のシームレス再生に必要なエクステントの配置条件≫
図49に示されているように、デプス・モードでの3D映像の再生経路4903ではデプスマップ・エクステントD1、D2、…とレフトビュー・エクステントL1、L2、…とは交互に読み出される。従って、二つのリード・バッファ4221、4222の一方にエクステントが読み出されている間、他方にはエクステントは読み出されない。更に、その再生経路4903ではライトビュー・エクステントR2、R3、…の記録領域ごとにジャンプJLD1、JLD2、…が生じる。一方、各リード・バッファ4221、4222からシステム・ターゲット・デコーダ4203へのデータ転送は継続される。従って、3D再生装置に3D映像をシームレスに再生させるには、エクステントの読み出しが停止する間にシステム・ターゲット・デコーダ4203へのデータ転送によって各リード・バッファ4221、4222がアンダーフローを生じないように、エクステントの読み出し期間中に十分なデータ量を各リード・バッファ4221、4222に蓄積させればよい。
図54は、図49に示されているエクステント群から3D再生装置が3D映像をデプス・モードで再生するときでの各リード・バッファ4221、4222の蓄積データ量DA1、DA2の推移を示すグラフである。ここでは説明の便宜上、デプスマップ・エクステントとレフトビュー・エクステントとが先頭の対D1、L1から順に(n-1)番目の対D(n-1)、L(n-1)まで既に各リード・バッファ4221、4222に読み込まれ、かつ整数nが1より十分に大きい場合を想定する。その場合、両リード・バッファ4221、4222の蓄積データ量DA1、DA2は既にそれぞれのバッファ余裕量UL1、UL2以上に維持されている。更に、ゼロ・セクタ遷移時間Tjump-0はマージン時間を含まない値、すなわち、実際のゼロ・セクタ遷移に要する時間のみで評価された規定値に等しい場合を想定する。
図54の(c)に示されている再生経路5401に従い、まず、第(2n-1)読み出し期間PRDnにn番目のデプスマップ・エクステントDnがBD-ROMディスク101から第2リード・バッファ4222へ読み出される。第(2n-1)読み出し期間PRDnでは、図54の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は、3D映像読み出し速度Rud-3Dとデプスマップ転送速度Rext3[n]との間の差Rud-3D-Rext3[n]に等しい速度で増加する。一方、図54の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n-1]で減少する。
n番目のデプスマップ・エクステントDnの後端が読み出された時、n回目のジャンプJLDnが生じる。第nジャンプ期間PJLDnでは、n番目のデプスマップ・エクステントDnの直後に位置するライトビュー・エクステントRnの読み出しがスキップされるので、BD-ROMディスク101からのデータの読み出しが停止する。従って、第nジャンプ期間PJLDnでは、図54の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n-1]で減少する。一方、図54の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はデプスマップ転送速度Rext3[n]で減少する。
第nジャンプ期間PJLDnの終了時点から第2n読み出し期間PRLnが開始される。第2n読み出し期間PRLnでは、n番目のレフトビュー・エクステントLnがBD-ROMディスク101から第1リード・バッファ4221へ読み出される。従って、図54の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1は、3D映像読み出し速度Rud-3Dとレフトビュー転送速度Rext1-3D[n]との間の差Rud-3D-Rext1-3D[n]に等しい速度で増加する。一方、図54の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はデプスマップ転送速度Rext3[n]で減少し続ける。
n番目のレフトビュー・エクステントLnの後端が読み出された時、n回目のゼロ・セクタ遷移J0nが生じる。第nゼロ・セクタ遷移期間PJ0nでは、BD-ROMディスク101からのデータの読み出しが停止する。従って、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n]で減少し、第2リード・バッファ4222の蓄積データ量DA2はデプスマップ転送速度Rext3[n]で減少する。
第(2n-1)読み出し期間PRDnに第2リード・バッファ4222に蓄積されるデータ量、すなわちn番目のデプスマップ・エクステントDnのサイズSext3[n]は少なくとも、第(2n-1)読み出し期間PRDnから第nゼロ・セクタ遷移期間PJ0nにわたって第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい。従って、第nゼロ・セクタ遷移期間PJ0nの終了時、図54の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2が第2バッファ余裕量UL2を下回らない。
第nゼロ・セクタ遷移期間PJ0nの終了時点から第(2n+1)読み出し期間PRD(n+1)が開始される。第(2n+1)読み出し期間PRD(n+1)では(n+1)番目のデプスマップ・エクステントD(n+1)がBD-ROMディスク101から第2リード・バッファ4222へ読み出される。従って、図54の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n]で減少し続ける。一方、図54の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は3D映像読み出し速度Rud-3Dとデプスマップ転送速度Rext3[n+1]との間の差Rud-3D-Rext3[n+1]に等しい速度で増加する。
(n+1)番目のデプスマップ・エクステントD(n+1)の後端が読み出された時、(n+1)回目のジャンプJLD(n+1)が生じる。第(n+1)ジャンプ期間PJLD(n+1)では、(n+1)番目のデプスマップ・エクステントD(n+1)の直後に位置するライトビュー・エクステントR(n+1)の読み出しがスキップされるので、BD-ROMディスク101からのデータの読み出しが停止する。従って、第(n+1)ジャンプ期間PJLD(n+1)では、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[n]で減少し、第2リード・バッファ4222の蓄積データ量DA2はデプスマップ転送速度Rext3[n+1]で減少する。
第(n+1)ジャンプ期間PJLD(n+1)の終了時点から第(2n+2)読み出し期間PRL(n+1)が開始される。第(2n+2)読み出し期間PRL(n+1)では、(n+1)番目のレフトビュー・エクステントL(n+1)がBD-ROMディスク101から第1リード・バッファ4221へ読み出される。従って、図54の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1は、3D映像読み出し速度Rud-3Dとレフトビュー転送速度Rext1-3D[n+1]との間の差Rud-3D-Rext1-3D[n+1]に等しい速度で増加する。一方、図54の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はデプスマップ転送速度Rext3[n+1]で減少し続ける。
第2n読み出し期間PRLnに第1リード・バッファ4221に蓄積されるデータ量、すなわちn番目のレフトビュー・エクステントLnのサイズSext1[n]は少なくとも、第2n読み出し期間PRLnから第(n+1)ジャンプ期間PJLD(n+1)にわたって第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい。従って、第(n+1)ジャンプ期間PJLD(n+1)の終了時、図54の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1が第1バッファ余裕量UL1を下回らない。
上記の蓄積データ量DA1、DA2の推移は、(n+2)番目以降の各エクステントについても同様である。従って、デプスマップ・エクステントDn、D(n+1)、…とレフトビュー・エクステントLn、L(n+1)、…とから、それらの間のジャンプにかかわらず、3D映像をシームレスに再生するには、次の二つの条件式が満たされればよい。
第一に、n番目のレフトビュー・エクステントLnのサイズSext1[n]は少なくとも、第2n読み出し期間PRLnから第(n+1)ジャンプ期間PJLD(n+1)にわたって第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい。ここで、第2n読み出し期間PRLnの長さは、n番目のレフトビュー・エクステントLnのサイズSext1[n]を3D映像読み出し速度Rud-3Dで割った値Sext1[n]/Rud-3Dに等しい。第(2n+1)読み出し期間PRD(n+1)の長さは、(n+1)番目のデプスマップ・エクステントD(n+1)のサイズSext3[n+1]を3D映像読み出し速度Rud-3Dで割った値Sext3[n+1]/Rud-3Dに等しい。従って、n番目のレフトビュー・エクステントLnのサイズSext1[n]は少なくとも、次式(7)の右辺で表される最小エクステント・サイズに等しい:
第二に、n番目のデプスマップ・エクステントDnのサイズSext3[n]は少なくとも、第(2n-1)読み出し期間PRDnから第nゼロ・セクタ遷移期間PJ0nにわたって第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へ転送されるデータ量に等しい。ここで、第(2n-1)読み出し期間PRDnの長さは、n番目のデプスマップ・エクステントDnのサイズSext3[n]を3D映像読み出し速度Rud-3Dで割った値Sext3[n]/Rud-3Dに等しい。従って、n番目のデプスマップ・エクステントDnのサイズSext3[n]は少なくとも、次式(8)の右辺で表される最小エクステント・サイズに等しい:
式(7)、(8)では、ジャンプ時間Tjump-3D[n]は、n番目のデプスマップ・エクステントDnの終端からn番目のレフトビュー・エクステントLnの先端までのジャンプ期間PJLDnの長さを秒単位で表す。より詳細には、ジャンプ時間Tjump-3D[n]は、図24に示されている規定によってn番目のデプスマップ・エクステントDnの終端からn番目のレフトビュー・エクステントLnの先端までのセクタ数、すなわちジャンプ距離と対応付けられている値に等しい。
ゼロ・セクタ遷移時間Tjump-0[n]は、n番目のレフトビュー・エクステントLnと(n+1)番目のデプスマップ・エクステントD(n+1)との間に層境界LBがないときは、実際のゼロ・セクタ遷移に要する時間のみで評価された規定値に等しい。一方、n番目のレフトビュー・エクステントLnと(n+1)番目のデプスマップ・エクステントD(n+1)との間に層境界LBがあるときは、ゼロ・セクタ遷移時間Tjump-0[n]は、その層境界LBを越えるためのジャンプ時間に置換される。そのジャンプ時間は、図24に示されている規定によってn番目のレフトビュー・エクステントLnと(n+1)番目のデプスマップ・エクステントD(n+1)との間のセクタ数に対応付けられている値よりも層切換時間、すなわち350m秒だけ長い。
図49に示されているエクステント群から、2D映像のシームレス再生、3D映像のL/Rモードでのシームレス再生、及び3D映像のデプス・モードでのシームレス再生のいずれも実現可能にするには、各エクステントのサイズは上記の式(4)-(8)を全て満たすように設計されればよい。特に2D/レフトビュー・ストリーム・ファイルの最小エクステント・サイズは、式(4)、(5)、及び(7)の右辺のうち、最大のものに等しい。
≪3D映像の再生にL/Rモードのみを利用するときのエクステントの配置条件≫
3D映像の再生にL/Rモードのみが利用されるときは、図49の配置からデプスマップ・エクステントが除去されてもよい。図55は、2D/レフトビュー・ストリーム・ファイルとライトビュー・ストリーム・ファイルとの二種類のみがBD-ROMディスク上に記録されたときにおける、各ファイルに属するエクステント群の配置を示す模式図である。図55を参照するに、それら二種類のエクステント群はインターリーブ配置で記録されている。そのインターリーブ配置では、再生期間の一致する各AVストリーム・ファイルの部分が、隣接する二つのエクステントに個別に含まれる。特にそれらのエクステント間ではビデオ・ストリームの再生時間が等しい。例えば、先頭のライトビュー・エクステントR1と先頭のレフトビュー・エクステントL1とは隣接し、それらの間では再生期間が一致し、かつビデオ・ストリームの再生時間が等しい。この配置についても、2D映像のシームレス再生と3D映像のシームレス再生との両立に必要な各エクステントのサイズに対する条件が、図49に示されている配置についてのものと同様に求められる。
まず、2D映像の再生処理では、図55に示されている再生経路5501に沿ってレフトビュー・エクステントL1、L2、…のみが読み出され、ライトビュー・エクステントR1、R2、…の読み出しはジャンプJ2D1、J2D2、…によってスキップされる。ここで、図55に示されているエクステント群は、図49に示されているエクステント群とは異なり、デプスマップ・エクステントを含まない。従って、2D映像の再生経路5501は、図49に示されている2D映像の再生経路4901とは、n番目と(n+1)番目とのレフトビュー・エクステントLn、L(n+1)(整数nは2以上である。)間のジャンプ距離が異なるだけである。従って、2D映像がシームレスに再生されるには、n番目のレフトビュー・エクステントLnのサイズSext1[n]が式(4)を満たせばよい。
次に、3D映像の再生処理では、図55に示されている再生経路5502に沿って、ライトビュー・エクステントR1、R2、…とレフトビュー・エクステントL1、L2、…とが先頭から順番に読み出される。図55に示されているエクステント群は、図49に示されているエクステント群とは異なり、デプスマップ・エクステントを含まない。従って、3D映像の再生経路5502では、図49に示されているL/Rモードでの3D映像の再生経路4902とは異なり、いずれのレフトビュー・エクステントの直後にもジャンプJLRnは生じることがなく、ゼロ・セクタ遷移J0nのみが生じる(n=1、2、…)。従って、3D映像がシームレスに再生されるには、n番目のレフトビュー・エクステントLnのサイズSext1[n]が上記の式(5)に代えて下記の式(9)を満たし、n番目のライトビュー・エクステントRnのサイズSext2[n]が上記の式(6)に代えて下記の式(10)を満たせばよい。ここで、式(9)、(10)はそれぞれ、式(5)、(6)においてジャンプ時間Tjump-3Dをゼロ・セクタ遷移時間Tjump-0に置き換えたものに等しい:
従って、2D/レフトビュー・ストリーム・ファイルの最小エクステント・サイズは、式(4)及び(9)の右辺のうち、最大のものに等しい。
尚、図55に示されている連続するエクステントがBD-ROMドライブ4201によって連続的に読み込まれるとき、式(9)と式(10)とにおけるゼロ・セクタ遷移時間Tjump-0[n]は0とみなされてもよい。すなわち、n番目のレフトビュー・エクステントLnのサイズSext1[n]とn番目のライトビュー・エクステントRnのサイズSext2[n]とは次式を満たせばよい:
≪リード・バッファの余裕量≫
図53、54に示されている両リード・バッファ4221、4222の蓄積データ量DA1、DA2の下限値UL1、UL2はそれぞれのバッファ余裕量を表す。「バッファ余裕量」とは、AVストリーム・ファイルの読み出し期間中、主に、読み出し対象の記録層の切り換え、及び他のファイルの読み出し処理の割り込みに起因するアンダーフローを防ぐために各リード・バッファ4221、4222に維持されるべき蓄積データ量の下限値をいう。ここで、他のファイルは図2に示されているAVストリーム・ファイル以外のファイル、例えば、ムービーオブジェクト・ファイル242B、BD-Jオブジェクト・ファイル246A、及びJARファイル247Aを含む。
図56は、L/Rモードでの3D映像の再生経路中に生じる層切り換えに伴うジャンプJLY、及びBD-Jオブジェクト・ファイル246Aの読み出し処理に伴うジャンプJBDJを示す模式図である。それらのジャンプJLY、JBDJに対して必要なバッファ余裕量UL1、UL2は以下のように計算される。
層切り換えに伴うジャンプJLYでは、最大ジャンプ時間Tjump-LYは、図24に示されている規定によってそのジャンプ距離、すなわち層境界LBの前後のエクステントLn、D(n+1)間のセクタ数に対応付けられている値と層切換時間との和に等しい。一方、式(2)よりレフトビュー転送速度Rext1-3Dは最高値Rmax1-3Dを超えない。従って、層切り換えに伴うジャンプ期間に第1リード・バッファ4221から消費されるデータ量は、レフトビュー転送速度の最高値Rmax1-3Dと最大ジャンプ時間Tjump-LYとの積を超えない。その積の値が第1バッファ余裕量UL1として決定される。すなわち、第1バッファ余裕量UL1は次式(11)で計算される:
例えば、最大ジャンプ距離が40000セクタであるとき、図24に示されている規定によれば、最大ジャンプ時間Tjump-LYは、層切換時間350m秒と合わせて700m秒である。従って、2D/レフトビュー・ストリーム・ファイルに対するシステムレートが48Mbpsであるとき、第1バッファ余裕量UL1は(48Mbps×192/188)×0.7秒=約4.09MBに等しい。
同様に、層切り換えに伴うジャンプ期間に第2リード・バッファ4222から消費されるデータ量の最大値、すなわちライトビュー転送速度の最大値Rmax2と最大ジャンプ時間Tjump-LYとの積が第2バッファ余裕量UL2として決定される。すなわち、第2バッファ余裕量UL2は次式(12)で計算される:
例えば、最大ジャンプ距離が40000セクタであり、すなわち最大ジャンプ時間Tjump-LYが700m秒であり、ライトビュー・ストリーム・ファイルに対するシステムレートが16Mbpsであるとき、第2バッファ余裕量UL2は(16Mbps×192/188)×0.7秒=約1.36MBに等しい。
AVストリーム・ファイルの読み出し期間にBD-Jオブジェクト・ファイル246Aの読み出し処理の割り込みが生じたとき、図56に示されているように、まず、最初のジャンプJBDJ1が生じる。それにより、読み出し対象の位置が(n-1)番目のレフトビュー・エクステントL(n-1)の記録領域からBD-Jオブジェクト・ファイル246Aの記録領域へ移動する。そのジャンプ時間TBDJは一定値、例えば900m秒に予め規定されている。次に、BD-Jオブジェクト・ファイル246Aが読み出される。その読み出しに要する時間は、そのファイル246Aに属するエクステントのバイト単位でのサイズSBDJの8倍を3D映像読み出し速度Rud-3Dで割った値8×SBDJ[n]/Rud-3Dに等しい。続いて、2回目のジャンプJBDJ2が生じる。それにより、読み出し対象の位置がBD-Jオブジェクト・ファイル246Aの記録領域から(n-1)番目のレフトビュー・エクステントL(n-1)の記録領域へ戻る。そのジャンプ時間TBDJは最初のジャンプ時間、例えば900m秒に等しい。計2回のジャンプJBDJ1、JBDJ2とBD-Jオブジェクト・ファイル246Aの読み出しとが行われる間、第1リード・バッファ4221にはデータが読み込まれない。従って、その期間に第1リード・バッファ4221から消費されるデータ量の最大値が第1バッファ余裕量UL1として決定される。すなわち、第1バッファ余裕量UL1は次式(13)で計算される:
同様に、2回のジャンプJBDJ1、JBDJ2とBD-Jオブジェクト・ファイル246Aの読み出しとが行われる間に第2リード・バッファ4222から消費されるデータ量の最大値が第2バッファ余裕量UL2として決定される。すなわち、第2バッファ余裕量UL2は次式(14)で計算される:
第1バッファ余裕量UL1は、式(11)、(13)の右辺で表される値のいずれか大きい方に設定される。第2バッファ余裕量UL2は、式(12)、(14)の右辺で表される値のいずれか大きい方に設定される。
≪マージン時間によるバッファ余裕量の確保≫
各バッファ余裕量UL1、UL2は、次に述べるように確保される。まず、式(5)-(8)に代入されるべきゼロ・セクタ遷移時間Tjump-0[n]にはマージン時間が追加される。マージン時間は例えば100m秒である。それにより、最小エクステント・サイズが拡大されるので、各リード・バッファ4421、4222の蓄積データ量DA1、DA2は、図53、54に示されている推移とは異なり、一対のベースビュー・エクステントとディペンデントビュー・エクステントとが復号されるごとに所定量ずつ増える。従って、ある程度の数のエクステントが各リード・バッファ4221、4222に読み込まれることにより、各バッファ余裕量UL1、UL2が確保される。
図57は、ゼロ・セクタ遷移時間にマージン時間が追加されたときにおける、各リード・バッファ4221、4222の蓄積データ量DA1、DA2の推移を示すグラフである。以下の説明では、図49に示されているエクステント群の先頭からL/Rモードで3D映像が再生される場合を想定する。その説明は、デプス・モードで3D映像が再生される場合にも、飛び込み再生によって任意のエクステントから3D映像が再生される場合にも、同様に当てはまる。
まず、第1読み出し期間PRR1に先頭のライトビュー・エクステントR1がBD-ROMディスク101から第2リード・バッファ4222へ読み出される。一方、システム・ターゲット・デコーダ4203は待機する。従って、第1読み出し期間PRR1では、図57の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は0から3D映像読み出し速度Rud-3Dで増加する。
先頭のライトビュー・エクステントR1の後端が読み出された時、最初のゼロ・セクタ遷移J01が生じる。第1ゼロ・セクタ遷移期間PJ01では、BD-ROMディスク101からのデータの読み出しが停止する。一方、システム・ターゲット・デコーダ4203は引き続いて待機する。従って、第1ゼロ・セクタ遷移期間PJ01では、第1リード・バッファ4221の蓄積データ量DA1と第2リード・バッファ4222の蓄積データ量DA2とはいずれも一定に維持される。
第1ゼロ・セクタ遷移期間PJ01の終了時点からは第2読み出し期間PRL1が開始される。第2読み出し期間PRL1では先頭のレフトビュー・エクステントL1がBD-ROMディスク101から第1リード・バッファ4221へ読み出される。一方、第2読み出し期間PRL1からはシステム・ターゲット・デコーダ4203は復号処理を開始する。従って、図57の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1は、3D映像読み出し速度Rud-3Dとレフトビュー転送速度Rext1-3D[1]との間の差Rud-3D-Rext1-3D[1]に等しい速度で0から増加する。一方、図57の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[1]で減少する。
先頭のレフトビュー・エクステントL1の後端が読み出された時、最初のジャンプJLR1が生じる。第1ジャンプ期間PJLR1では、先頭のレフトビュー・エクステントL1の直後に位置する二番目のデプスマップ・エクステントD2の読み出しがスキップされるので、BD-ROMディスク101からのデータの読み出しが停止する。従って、第1ジャンプ期間PJLR1では、図57の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[1]で減少する。一方、図57の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[1]で減少する。
第1読み出し期間PRR1に第2リード・バッファ4222に蓄積されるデータ量、すなわち先頭のライトビュー・エクステントR1のサイズSext2[1]は少なくとも、式(6)の右辺で表される最小エクステント・サイズに等しい。ここで、ゼロ・セクタ遷移時間Tjump-0[1]にはマージン時間、例えば100m秒が追加されている。更に、第1読み出し期間PRR1では第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へデータが転送されない。従って、先頭のライトビュー・エクステントR1のサイズSext2[1]は、第2読み出し期間PRL1から第1ジャンプ期間PJLR1にわたって第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へ転送されるデータ量よりも大きい。その結果、第1ジャンプ期間PJLR1の終了時、図57の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2が、0よりも大きい値DM2まで増える。その値DM2は、ライトビュー転送速度の最高値Rmax2にマージン時間、例えば100m秒を乗じた値で評価される:DM2=Rmax2×Tjump-0[1]。
第1ジャンプ期間PJLR1の終了時点からは第3読み出し期間PRR2が開始される。第3読み出し期間PRR2では二番目のライトビュー・エクステントR2がBD-ROMディスク101から第2リード・バッファ4222へ読み出される。従って、図57の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は、3D映像読み出し速度Rud-3Dとライトビュー転送速度Rext2[2]との間の差Rud-3D-Rext2[2]に等しい速度で増加する。一方、図57の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[1]で減少し続ける。
二番目のライトビュー・エクステントR2の後端が読み出された時、二回目のゼロ・セクタ遷移J02が生じる。第2ゼロ・セクタ遷移期間PJ02では、BD-ROMディスク101からのデータの読み出しが停止する。従って、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[2]で減少し、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[2]で減少する。
第2読み出し期間PRL1に第1リード・バッファ4221に蓄積されるデータ量、すなわち先頭のレフトビュー・エクステントL1のサイズSext1[1]は少なくとも、式(5)の右辺で表される最小エクステント・サイズに等しい。ここで、ゼロ・セクタ遷移時間Tjump-0[2]にはマージン時間、例えば100m秒が追加されている。従って、先頭のレフトビュー・エクステントL1のサイズSext1[1]は、第2読み出し期間PRL1から第2ゼロ・セクタ遷移期間PJ02にわたって第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へ転送されるデータ量よりも大きい。その結果、第2ゼロ・セクタ遷移期間PJ02の終了時、図57の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1が、0よりも大きい値DM1まで増える。その値DM1は、レフトビュー転送速度の最高値Rmax1-3Dにマージン時間、例えば100m秒を乗じた値で評価される:DM1=Rmax1-3D×Tjump-0[2]。
以上の過程の繰り返しにより、一対のレフトビュー・エクステントとライトビュー・エクステントとが各リード・バッファ4221、4222に読み込まれるごとに、各リード・バッファ4221、4222の蓄積データ量DA1、DA2が値DM1、DM2ずつ増える。従って、ある程度の数のエクステントが各リード・バッファ4221、4222に読み込まれたとき、各バッファ余裕量UL1、UL2が確保される。例えばマージン時間が100m秒であるとき、700m秒のジャンプに伴うアンダーフローの防止に必要なバッファ余裕量UL1、UL2が確保されるには、上記の過程が700m秒/100m秒=7回繰り返されればよい。
一方、大きなジャンプが生じない限り、各リード・バッファ4221、4222の蓄積データ量DA1、DA2は値DM1、DM2ずつ増え続ける。従って、各蓄積データ量DA1、DA2が所定の閾値を超えた場合、3D再生装置はBD-ROMドライブ4201に読み出し/転送動作を断続させる。それにより、3D映像読み出し速度Rud-3Dが低下するので、各蓄積データ量DA1、DA2の増加速度が抑えられる。こうして、各リード・バッファ4221、4222のオーバーフローを回避することができる。
≪リード・バッファの最小容量≫
AVストリーム・ファイルに属する各エクステントのBD-ROMディスク101上での配置が上記のように設計されているとき、各リード・バッファ4221、4222に必要な容量の最小値が次のように計算される。
3D映像を再生するとき、n番目のレフトビュー・エクステントLnを読み出すには、第1リード・バッファ4221の容量RB1[n]は、L/Rモードとデプス・モードとのいずれでも次式(15)を満たせばよい:
一方、L/Rモードで3D映像を再生するとき、n番目のライトビュー・エクステントRnを読み出すには、第2リード・バッファ4222の容量RB2LR[n]は次式(16)を満たせばよい:
ここで、ライトビュー・エクステントはいずれも、飛び込み再生によって最初に読み出される可能性を持つ。その場合、図57の(b)に示されているように、最初に読み出されるライトビュー・エクステントの全体が第2リード・バッファ4222に格納されるまでシステム・ターゲット・デコーダ4203は第2リード・バッファ4222からデータを読み出さない。従って、第2リード・バッファ4222の容量RB2LR[n]は第1リード・バッファ4221の容量RB1[n]とは異なり、「少なくともn番目のライトビュー・エクステントRnのサイズSext2[n]よりも大きい」という条件を更に満たす。
デプス・モードで3D映像を再生するとき、n番目のデプスマップ・エクステントDnを読み出すには、第2リード・バッファ4222の容量RB2LD[n]は次式(17)を満たせばよい:
ライトビュー・エクステントと同様、デプスマップ・エクステントはいずれも、飛び込み再生によって最初に読み出される可能性を持つ。従って、第2リード・バッファ4222の容量RB2LD[n]は更に、「少なくともn番目のデプスマップ・エクステントDnのサイズSext3[n]よりも大きい」という条件も満たす。
本発明の実施形態1によるBD-ROMディスク101では、ベースビュー・エクステントとディペンデントビュー・エクステントとの各サイズに対する下限値が式(4)、(5)、(6)の各右辺で明確に表される。その結果、BD-ROMディスク101から2D映像と3D映像とのいずれを再生するときにも、各リード・バッファ4221、4222のいずれにもアンダーフローを生じさせることなく、各容量を更に削減できるように、各エクステントのサイズを適切に設計することが容易である。
<変形例>
(1)本発明の実施形態1は、記録媒体に3D映像を格納するときのエクステントの配置に関する。しかし、本発明は、記録媒体に高フレームレートの映像を格納するときに利用されても良い。具体的には、例えば高フレームレートの映像を奇数番目のフレーム群と偶数番目のフレーム群とに分け、それぞれをベースビュー・ストリームとディペンデントビュー・ストリームとみなして、上記の実施形態1によるエクステントの配置で記録媒体に記録すればよい。通常のフレームレートでの映像再生のみが可能な再生装置は、その記録媒体からは奇数番目のフレーム群の映像を再生すればよい。一方、高フレームレートでの映像再生が可能な再生装置は、奇数番目のフレーム群のみの映像と両方のフレーム群の映像とを選択的に再生できる。こうして、高フレームレートの映像が格納された記録媒体に、通常のフレームレートでの映像再生のみが可能な再生装置に対する互換性を確保させることができる。
(2)本発明の実施形態1ではレフトビュー・ストリームがベースビュー・ストリームとして想定されている。しかし、ライトビュー・ストリームがベースビュー・ストリームであってもよい。その場合、レフトビュー・ストリームがディペンデントビュー・ストリームとして、ライトビュー・ストリームを利用して圧縮されてもよい。
(3)図22に示されているリード・バッファ1802からシステム・ターゲット・レコーダ1803へのデータの平均転送速度Rextが評価されるときにエクステントATC時間が正確に計算されることを目的として、各エクステントのサイズがソースパケット長のある一定の倍数に揃えられてもよい。更に、いずれかのエクステントがその倍数よりも多くのソースパケットを含むとき、その倍数を超えたソースパケット数とソースパケット一つ当たりの転送時間との積を、その倍数に相当するエクステントATC時間に加えた値が、そのエクステントのエクステントATC時間とみなされても良い。その他に、エクステントATC時間は、一つのエクステントの先頭のソースパケットのATSから同じエクステントの終端のソースパケットのATSまでの時間間隔にソースパケット一つ当たりの転送時間を加えた値で定義されてもよい。その場合、エクステントATC時間の計算には次のエクステントの参照が不要であるので、その計算を簡単化することができる。尚、上記のエクステントATC時間の計算では、ATSにラップアラウンドが発生することが考慮されなければならない。
(4)図35に示されているように、同じ3Dビデオ・アクセスユニットに属する一対のピクチャの間ではPTSとDTSとがそれぞれ等しい。その他に、それら一対のピクチャの一方に割り当てられたPTSとDTSとが、他方に割り当てられたものよりも所定量ずつ、例えば半周期ずつ遅れていてもよい。その場合、図43に示されているスイッチ4310は、2D/左映像プレーン・データ4301と右映像プレーン・データ4302とをPTSの順に第1加算部4311へ送出すればよい。更に、図46に示されているバッファ・スイッチ4606は、EB(1)4603とEB(2)4610とのそれぞれに蓄積されたビデオ・アクセスユニットを、元のTSパケットの示すDTSの時刻どおりに圧縮映像デコーダ4604へ転送すればよい。
(5)図38の(b)に示されているディペンデントビュー・クリップ情報ファイル3802のストリーム属性情報3821のうち、ディペンデントビュー・ストリームに関するビデオ・ストリーム属性情報に、そのストリームの復号にはベースビュー・ストリームの参照が必要であることを示すフラグが追加されてもよい。更に、そのベースビュー・ストリームを含むAVストリーム・ファイルの識別情報が併せて、そのビデオ・ストリーム属性情報に追加されてもよい。その場合、BD-ROMディスク101のオーサリング工程において、そのディスク101上に記録されるべきデータが規定のフォーマットどおりに作られているか否かを検証するとき、上記の追加情報を利用して、ベースビュー・ストリームとディペンデントビュー・ストリームとの間の対応関係の妥当性を判断することができる。
(6)図39に示されている3Dメタデータ3814は、その図に示されているPID別の設定とは異なり、例えばプレーン別に設定されても良い。それにより、3D再生装置は3Dメタデータの解析処理を簡単化できる。その他に、プレーンの合成処理に対する3D再生装置の性能を考慮して、オフセット・エントリの有効区間の長さに、例えば1秒間以上という条件が課せられてもよい。
(7)図40の(a)に示されている例では、各エントリ・ポイント4012にエクステント開始フラグ4015が新たに追加されている。その他に、アングル切り換えフラグ用に既に確保されている各エントリ・ポイント4012内の1ビット領域が、エクステント開始フラグ4015の領域として利用されてもよい。ここで、「アングル切り換えフラグ」は、AVストリーム・ファイルがマルチアングルの映像を表すとき、エントリ・ポイントがアングルの切り換え可能な位置に設定されているか否かを示すフラグである。その1ビット領域を「アングル切り換えフラグ」と「エクステント開始フラグ」とで併用することにより、エントリ・マップ3823の全体のビット量を削減することができる。その場合、その1ビット領域がいずれのフラグの領域として利用されているのかを示す別のフラグが、エントリ・マップ・ヘッダ4011に新たに追加されてもよい。3D再生装置はこのフラグをチェックすることにより、上記の1ビット領域のフラグを速やかに解釈できる。従って、3D再生装置はマルチアングルの映像の再生処理と3D映像の再生処理とを速やかに切り換えることができる。
(8)図40の(a)に示されている例とは異なり、AVストリーム・ファイルに属する各エクステントのサイズの決定に、エクステント開始フラグ4015とは別の情報が利用されてもよい。例えばそれらのエクステントのサイズのリストがメタデータとしてクリップ情報ファイルに格納されても良い。その他に、エントリ・マップ内のエントリ・ポイントと一対一に対応付けられた複数のビットが、エントリ・マップとは別に格納されてもよい。各ビットは、対応付けられたエントリ・ポイントがエクステントの先頭に設定されているときにのみ、「1」に設定される。
(9)図49に示されているインターリーブ配置では好ましくは、再生期間の一致する三種類のエクステントDn、Rn、Lnがいずれも同じエクステントATC時間を持つ。すなわち、それらのエクステント間では各エクステントの先頭のソースパケットから次のエクステントの先頭のソースパケットまでのATSの差が等しい(但し、その差の計算では、ATSにラップ・アラウンドが発生することが考慮されている)。その場合、ATCで計られる同じ時間内に、第1ソース・デパケタイザ4611はベースビュー・エクステントLn内の全てのソースパケットからTSパケットを取り出して第1PIDフィルタ4613へ送出し、第2ソース・デパケタイザ4612はディペンデントビュー・エクステントDn又はRn内の全てのソースパケットからTSパケットを取り出して第2PIDフィルタ4614へ送出する。従って、特に飛び込み再生時において、3D映像デコーダ4615はベースビュー・ストリームとディペンデントビュー・ストリームとの間でTSパケットの復号処理を容易に同期させることができる。
(10)図49に示されているエクステント群はデプスマップ・ストリームに代えて、異なるライトビュー・ストリームを二種類以上含んでもよい。その場合、各ストリームに属するエクステントは、図49に示されているインターリーブ配置と同様、BD-ROMディスク101のトラック上に交互に配置されればよい。更に、各エクステントのサイズは式(4)-(8)と同様な条件式を満たせばよい。具体的には以下のとおりである:
まず、共通のベースビュー・ストリームファイルに対し、第1から第NまでのN種類のディペンデントビュー・ストリームファイルが記録されている場合を想定する。ここで、整数Nは2以上である。その場合、BD-ROMディスク101上には複数のベースビュー・エクステントと、第(k-1)ディペンデントビュー・ストリームファイル(k=2、3、4、…、N+1)に属する複数の第(k-1)ディペンデントビュー・エクステントとが一つずつ交互に配置される。特に図49に示されているインターリーブ配置と同様に、n番目のベースビュー・エクステントと(n+1)番目のベースビュー・エクステントとの間にはn番目の第(k-1)ディペンデントビュー・エクステントが配置される。それらのエクステント群から映像をシームレスに再生するには、n番目(n=2、3、…)のベースビュー・エクステントのサイズSext1[n]とn番目の第(k-1)ディペンデントビュー・エクステントのサイズSextk[n]とが以下の条件式を満たせばよい。
2D映像の再生において、n番目(整数nは十分に大きい。)のベースビュー・エクステントから(n+1)番目のベースビュー・エクステントまでのジャンプが時間Tjump-2D[n]を要し、各ベースビュー・エクステントが第1リード・バッファ4221へ速度Rud-2Dで読み出され、かつ、第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へベースビュー・ストリームファイルが平均速度Rext1-2D[n]で転送されるとき、n番目のベースビュー・エクステントのサイズSext1[n]は式(18)を満たせばよい:
3D映像の再生において、n番目のベースビュー・エクステントからn番目の第(k-1)ディペンデントビュー・エクステントまでのジャンプが時間TFjump-k-3D[n]を要し、n番目の第(k-1)ディペンデントビュー・エクステントから(n+1)番目のベースビュー・エクステントまでのジャンプが時間TBjump-k-3D[n]を要し、各ベースビュー・エクステントが第1リード・バッファ4221へ速度Rud-3Dで読み出され、各第(k-1)ディペンデントビュー・エクステントが第2リード・バッファ4222へ速度Rud-3Dで読み出され、かつ、第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へベースビュー・ストリームファイルが平均速度Rext1-3D[n]で転送されるとき、n番目のベースビュー・エクステントのサイズSext1[n]は式(19)を満たせばよい:
3D映像の再生において更に、(n+1)番目のベースビュー・エクステントから(n+1)番目の第(k-1)ディペンデントビュー・エクステントまでのジャンプが時間TFjump-k-3D[n+1]を要し、かつ、第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へ第(k-1)ディペンデントビュー・ストリームファイルが平均速度Rextk-3D[n]で転送されるとき、n番目の第(k-1)ディペンデントビュー・エクステントのサイズSextk[n]は次式(20)を満たせばよい:
(11)図49に示されているエクステント群から3D映像を再生するとき、図57から容易に理解されるように、ある程度の数のエクステントが連続して各リード・バッファ4221、4222に読み込まれることによって、各バッファ余裕量UL1、UL2が確保される。従って、もし飛び込み再生の開始位置から層境界LBまでの間に配置されたエクステントが少なければ、層切り換えに伴うジャンプまでに各リード・バッファ4221、4222の蓄積データ量DA1、DA2が各バッファ余裕量UL1、UL2まで到達し得ない危険性が生じる。その危険性が回避されるには、層境界LBの直前に位置する所定数のエクステント群では飛び込み再生が禁止されればよい。
図58は、飛び込み再生禁止区間5801と第1リード・バッファ4221の蓄積データ量DA1の推移との間の関係を示す模式図である。図58の(a)を参照するに、デプスマップ・エクステント群D、ライトビュー・エクステント群R、及びレフトビュー・エクステント群Lが、図49に示されているものと同様に、層境界LBで隔てられた二つの記録層にわたってインターリーブ配置で記録されている。飛び込み再生禁止区間5801は、層境界LBの直前に連続して配置された所定数のエクステント群に対して設定される。飛び込み再生禁止区間5801では飛び込み再生が禁止される。図58の(a)に示されている例では、第1エントリ・ポイント5811は飛び込み再生禁止区間5801よりも前に位置するので、そこからの飛び込み再生は許可される。一方、第2エントリ・ポイント5812は飛び込み再生禁止区間5801の中に位置するので、そこからの飛び込み再生は禁止される。
図58の(b)は、第1エントリ・ポイント5811からの飛び込み再生時における第1リード・バッファ4221の蓄積データ量DA1の推移を示すグラフである。その飛び込み再生はL/Rモードで行われ、図58の(a)に示されている再生経路5810に従って、第1エントリ・ポイント5811から層境界LBまでの範囲に含まれるレフトビュー・エクステントLが第1リード・バッファ4221に読み込まれる。そのとき、図58の(b)に示されているように、レフトビュー・エクステントLが一つ処理される度に蓄積データ量DA1が増加する。特に、層境界LBの直前に位置するレフトビュー・エクステント5802が第1リード・バッファ4221に読み込まれた時、蓄積データ量DA1は第1バッファ余裕量UL1を超える。従って、その直後に生じるジャンプJLYの開始時点から、次のレフトビュー・エクステント5803の先端が読み出される時点まで、第1リード・バッファ4221はアンダーフローを生じない。第2リード・バッファ4222についても同様である。
以上のことから、飛び込み再生禁止区間5801の長さは、次の二つの条件を満たせばよい:(A)飛び込み再生禁止区間5801の先頭から層境界LBの直前までに配置されたレフトビュー・エクステントの数が、第1バッファ余裕量UL1をマージン時間で割った値を超え、かつ、(B)その区間の先頭から層境界LBの直前までに配置されたライトビュー・エクステントの数が、第2バッファ余裕量UL2をマージン時間で割った値を超える。
飛び込み再生禁止区間5801は3D再生装置に対して次のように指定される。まず、各エクステントの属するAVストリーム・ファイルに対応するクリップ情報ファイルにおいて、図40の(a)に示されているエントリ・マップ3823内の各エントリ・ポイント4012に飛び込み再生禁止マークが付加される。「飛び込み再生禁止マーク」はフラグであって、そのエントリ・ポイントの示すエクステント内の位置が飛び込み再生禁止区間5801に含まれるか否かを示す。3D再生装置がユーザ等によって3D映像の飛び込み再生を指示されたとき、図42に示されている再生制御部4207がクリップ情報ファイル内の飛び込み再生禁止マークを参照する。それにより、3D再生装置は、飛び込み再生の開始位置が飛び込み再生禁止区間5801に含まれるか否かを判別できる。尚、「飛び込み再生禁止マーク」は、図30に示されている3Dプレイリスト・ファイル243B内のプレイアイテム情報に含まれてもよい。3D再生装置は、3D映像の飛び込み再生が指示されたとき、再生制御部4207に3Dプレイリスト・ファイル内の飛び込み再生禁止マークを参照させることにより、飛び込み再生が許可されているか否かを判別できる。
(12)図49に示されているインターリーブ配置のエクステント群の中に、AVストリーム・ファイルとは別のファイルに属するエクステントが挿入されていてもよい。その別のファイルは、例えば図2に示されているムービーオブジェクト・ファイル242B、BD-Jオブジェクト・ファイル246A、及びJARファイル247Aのいずれでもよい。図59は、その場合のエクステント群の配置を示す模式図である。図59を参照するに、n番目のレフトビュー・エクステントLnと(n+1)番目のデプスマップ・エクステントD(n+1)との間に一つのエクステントExが挿入されている。そのエクステントExの属するファイルはいずれのAVストリーム・ファイルとも異なる。その場合、そのエクステントExの直前に連続して配置されたm組のエクステント群D(n-m+1)、R(n-m+1)、L(n-m+1)、D(n-m+2)、R(n-m+2)、L(n-m+2)、…、Dn、Rn、Lnの間には、AVストリーム・ファイル以外のファイルに属するエクステントの挿入が禁止される。ここで、連続する三種類のエクステントDk、Rk、Lk(k=1、2、3、…)を一組とする。更に、整数mは少なくとも、各バッファ余裕量UL1、UL2をマージン時間で割った値に等しい。それらm組のエクステント群が先頭から順に各リード・バッファ4221、4222に読み込まれた時、各蓄積データ量DA1、DA2は各バッファ余裕量UL1、UL2を超える。従って、その直後のジャンプによってエクステントExの読み出しがスキップされる間、各リード・バッファ4221、4222はアンダーフローを生じない。
ここで、図24に示されている規定では、ジャンプ距離が40000セクタを超えるとき、対応するジャンプ時間が著しく長くなる。そのような長いジャンプ時間に対しては、必要なバッファ容量が過大になりやすい。従って、エクステントExのサイズは、その前後に位置する二つのレフトビュー・エクステントLn、L(n+1)の間隔が40000セクタを超えない程度に設定されることが望ましい。
(13)図49に示されているエクステント群から3D映像を再生するとき、図57から容易に理解されるように、ある程度の数のエクステントが連続して各リード・バッファ4221、4222に読み込まれることによって、各バッファ余裕量UL1、UL2が確保される。従って、BD-ROMディスク101からのAVストリーム・ファイルの読み出しが開始された時点から所定数のエクステントが各リード・バッファ4221、4222に読み込まれるまでは、BD-Jオブジェクト・ファイル246A等、そのAVストリーム・ファイルとは別のファイルの読み出し処理の割り込みが禁止される。その他に、各リード・バッファ4221、4222の蓄積データ量DA1、DA2が監視され、いずれかがバッファ余裕量UL1、UL2を下回っている間、別のファイルの読み出し処理の割り込みが禁止されてもよい。
(14)図57に示されている例では、ある程度の数のエクステントが連続して各リード・バッファ4221、4222に読み込まれたときに、各バッファ余裕量UL1、UL2が確保される。その他に、以下に述べる方法によって、リード・バッファ4221、4222へのAVストリーム・ファイルの読み込みが開始された直後に各バッファ余裕量UL1、UL2が確保されてもよい。その方法は、BD-ROMドライブ4201にAVストリーム・ファイルの読み出しを開始させた直後、最初のディペンデントビュー・エクステントの読み出し期間に加え、最初のベースビュー・エクステントの読み出しが開始された時点から所定時間が経過するまで、システム・ターゲット・デコーダ4203に復号処理を待機させる。その待機期間中に各リード・バッファ4221、4222に十分なデータ量が蓄積されるように、上記の所定時間が設定される。それにより、二番目のベースビュー・エクステント、ディペンデントビュー・エクステントの読み出しが開始される時点では既に、各蓄積データ量DA1、DA2が各バッファ余裕量UL1、UL2に維持される。
図60は、図49に示されているエクステント群に対してその方法が利用されるときにおける各リード・バッファ4221、4222の蓄積データ量DA1、DA2の推移を示すグラフである。以下の説明では、そのエクステント群の先端からL/Rモードで3D映像が再生される場合を想定する。その説明は、デプス・モードで3D映像が再生される場合にも、飛び込み再生によって任意のエクステントから3D映像が再生される場合にも、同様に当てはまる。尚、各エクステントのサイズは既に、式(5)、(6)を満たすように決定されている。ここで、後述のとおり、式(5)、(6)に代入されるべきゼロ・セクタ遷移時間Tjump-0[・]にはマージン時間が含まれていなくてもよい。
まず、第1読み出し期間PRR1に、先頭のライトビュー・エクステントR1がBD-ROMディスク101から第2リード・バッファ4222へ読み出される。第1読み出し期間PRR1では、図60の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は0から3D映像読み出し速度Rud-3Dで増加する。
第1読み出し期間PRR1の終了時点からは第1ゼロ・セクタ遷移期間PJ01が開始される。第1ゼロ・セクタ遷移期間PJ01では、BD-ROMディスク101からのデータの読み出しが停止する。従って、いずれのリード・バッファ4221、4222の蓄積データ量DA1、DA2も一定に維持される。
第1ゼロ・セクタ遷移期間PJ01の終了時点からは第2読み出し期間PRL1が開始される。第2読み出し期間PRL1では先頭のレフトビュー・エクステントL1がBD-ROMディスク101から第1リード・バッファ4221へ読み出される。但し、第2読み出し期間PRL1の開始時点から所定時間dtが経過するまでは、システム・ターゲット・デコーダ4203は待機状態を継続する。従って、図60の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1は0から3D映像読み出し速度Rud-3Dで増加する。一方、図60の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は一定に維持される。
第2読み出し期間PRL1の開始時点から所定時間dtが経過した時、システム・ターゲット・デコーダ4203は起動し、各リード・バッファ4221、4222からソースパケットを読み出して復号し始める。従って、図60の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1の増加速度は3D映像読み出し速度Rud-3Dからレフトビュー転送速度Rext1-3D[1]だけ低減する。一方、図60の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[1]で減少する。
先頭のレフトビュー・エクステントL1の後端が読み出されたとき、その直後のデプスマップ・エクステントD2を越えて次のライトビュー・エクステントR2まで最初のジャンプJLR1が行われる。第1ジャンプ期間PJLR1ではBD-ROMディスク101からのデータの読み出しが停止する。従って、図60の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[1]で減少する。一方、図60の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[1]で減少し続ける。
図60の(b)では図57の(b)とは異なり、第2読み出し期間PRL1の開始時点から所定時間dtが経過するまで、第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へはデータが転送されない。すなわち、第2リード・バッファ4222の蓄積データ量DA2の減少する時間が所定時間dtだけ短縮される。その結果、第2読み出し期間PRL1から第1ジャンプ期間PJLR1にわたって第2リード・バッファ4222からシステム・ターゲット・デコーダ4203へ転送されるデータ量は、先頭のライトビュー・エクステントR1のサイズSext2[1]よりも第2バッファ余裕量UL2だけ小さい。従って、第1ジャンプ期間PJLR1の終了時、図60の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2が第2バッファ余裕量UL2を下回らない。
第1ジャンプ期間PJLR1の終了時点からは第3読み出し期間PRR2が開始される。第3読み出し期間PRR2では、二番目のライトビュー・エクステントR2がBD-ROMディスク101から第2リード・バッファ4222へ読み出される。従って、図60の(b)に示されているように、第2リード・バッファ4222の蓄積データ量DA2は、3D映像読み出し速度Rud-3Dとライトビュー転送速度Rext2[2]との間の差Rud-3D-Rext2[2]に等しい速度で増加する。一方、図60の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[1]で減少し続ける。
二番目のライトビュー・エクステントR2の後端が読み出された時、第2ゼロ・セクタ遷移期間PJ02が開始される。第2ゼロ・セクタ遷移期間PJ02では、BD-ROMディスク101からのデータの読み出しが停止する。従って、第1リード・バッファ4221の蓄積データ量DA1はレフトビュー転送速度Rext1-3D[1]で減少し、第2リード・バッファ4222の蓄積データ量DA2はライトビュー転送速度Rext2[2]で減少する。
図60の(b)では図57の(b)とは異なり、第2読み出し期間PRL1の開始時点から所定時間dtが経過するまで、第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へはデータが転送されない。すなわち、その転送時間が所定時間dtだけ短縮される。その結果、第2読み出し期間PRL1から第2ゼロ・セクタ遷移期間PJ02にわたって第1リード・バッファ4221からシステム・ターゲット・デコーダ4203へ転送されるデータ量は、先頭のレフトビュー・エクステントL1のサイズSext1[1]よりも第1バッファ余裕量UL1だけ小さい。従って、第2ゼロ・セクタ遷移期間PJ02の終了時、図60の(a)に示されているように、第1リード・バッファ4221の蓄積データ量DA1が第1バッファ余裕量UL1を下回らない。
第2ゼロ・セクタ遷移期間PJ02以降では、各リード・バッファ4221、4222の蓄積データ量DA1、DA2が、図53に示されている推移を示すように、各エクステントのサイズが設計されていればよい。すなわち、一つのエクステントが処理される度に、各リード・バッファ4221、4222の蓄積データ量DA1、DA2は各バッファ余裕量UL1、UL2に戻ればよい。従って、式(5)、(6)に代入されるべきゼロ・セクタ遷移時間Tjump-0[・]にはマージン時間が含まれていなくてもよい。
飛び込み再生では、最初に読み出されるエクステントは先頭のエクステントR1、L1に限らず、任意のエクステントRn、Lnであり得る(但し、飛び込み再生が禁止されている区間内のものは除く)。従って、以上のことから、所定時間dtは任意の整数nについて次式(21)、(22)を満たせばよい:
図60の(a)を参照するに、先頭のレフトビュー・エクステントL1の読み出し処理では、第1リード・バッファ4221の蓄積データ量DA1は第2読み出し期間PRL1の終了時点に最大値に達する。従って、n番目のレフトビュー・エクステントLnを読み出すには、第1リード・バッファ4221の容量RB1[n]は、式(15)に代えて、次式(23)を満たせばよい:
一方、図60の(b)を参照するに、先頭のライトビュー・エクステントR1の読み出し処理では、第2リード・バッファ4222の蓄積データ量DA2は少なくとも、先頭のライトビュー・エクステントR1のサイズに等しければよい。従って、n番目のライトビュー・エクステントRnを読み出すには、第2リード・バッファ4222の容量RB2[n]は上記の式(16)を満たせばよい。
《実施形態2》
以下、本発明の実施形態2として、本発明の実施形態1による記録媒体の記録装置及び記録方法について説明する。
その記録装置はいわゆるオーサリング装置と呼ばれるものである。オーサリング装置は通常、頒布用の映画コンテンツの制作スタジオに設置され、オーサリングスタッフによって使用される。記録装置はオーサリングスタッフの操作に従い、まず映画コンテンツを、MPEG規格に則った圧縮符号化方式のデジタル・ストリーム、すなわちAVストリーム・ファイルに変換する。記録装置は次にシナリオを生成する。シナリオは、映画コンテンツに含まれる各タイトルの再生方法を規定した情報であり、具体的には上記の動的シナリオ情報及び静的シナリオ情報を含む。記録装置は続いて、上記のデジタル・ストリーム及びシナリオから、BD-ROMディスク用のボリュームイメージ又はアップデートキットを生成する。記録装置は最後に、実施形態1によるエクステントの配置を利用して、ボリュームイメージを記録媒体に記録する。
図61は、その記録装置の内部構成を示すブロック図である。図61を参照するに、その記録装置は、ビデオエンコーダ6101、素材制作部6102、シナリオ生成部6103、BDプログラム制作部6104、多重化処理部6105、フォーマット処理部6106、及びデータベース部6107を含む。
データベース部6107は、記録装置に内蔵の不揮発性記憶装置であり、特にハードディスクドライブ(HDD)である。データベース部6107はその他に、記録装置に外付けされたHDDであってもよく、記録装置に内蔵の、又は外付けされた不揮発性半導体メモリ装置であってもよい。
ビデオエンコーダ6101は、非圧縮のビットマップ・データ等の映像データをオーサリングスタッフから受け付けて、それをMPEG4-AVC又はMPEG2等の圧縮符号化方式で圧縮する。それにより、主映像のデータはプライマリ・ビデオ・ストリームに変換され、副映像のデータはセカンダリ・ビデオ・ストリームに変換される。特に3D映像のデータは2D/レフトビュー・ストリームとライトビュー・ストリームとに変換される。ビデオエンコーダ6101は、図34に示されているように、2D/レフトビュー・ストリームをそれ自身のピクチャ間での予測符号化によってベースビュー・ストリームとして形成し、ライトビュー・ストリームを、それ自身のピクチャだけでなく、2D/レフトビュー・ストリームのピクチャとの間の予測符号化によってディペンデントビュー・ストリームとして形成する。尚、ライトビュー・ストリームがベースビュー・ストリームとして形成されてもよい。更に、レフトビュー・ストリームがディペンデントビュー・ストリームとして形成されてもよい。変換後の各ビデオ・ストリーム6111はデータベース部6107に保存される。
ビデオエンコーダ6101は更に、このピクチャ間予測符号化の処理過程の中で、左映像と右映像との間での各イメージの動きベクトルを検出し、それらから3D映像内の各イメージの奥行き情報を算出する。算出された各イメージの奥行き情報はフレーム奥行き情報6110に整理されてデータベース部6107に保存される。
図62は、ビデオエンコーダ6101による、左右の各ピクチャから奥行き情報を算出する処理を示す模式図である。
ビデオエンコーダ6101はまず、左右のピクチャ間の冗長性を利用して、各ピクチャを圧縮する。そのとき、ビデオエンコーダ6101は圧縮前の左右のピクチャを8×8又は16×16のピクセル・マトリクスごとに、すなわちマクロブロックごとに比較して、両ピクチャ間での各イメージの動きベクトルを検出する。具体的には、図62の(a)、(b)に示されているように、まず、左映像ピクチャ6201と右映像ピクチャ6202とはそれぞれ、マクロブロック6203のマトリクスに分割される。次に、両ピクチャ6201、6202間でイメージ・データがマクロブロック6203ごとに比較され、その結果から各イメージの動きベクトルが検出される。例えば「家」のイメージ6204を表す領域は両ピクチャ6201、6202間で実質的に等しい。従って、それらの領域からは動きベクトルが検出されない。一方、「球」のイメージ6205を表す領域は両ピクチャ6201、6202間で実質的に異なる。従って、それらの領域からは、「球」のイメージ6205の変位を表す動きベクトルが検出される。
ビデオエンコーダ6101は次に、検出された動きベクトルを各ピクチャ6201、6202の圧縮に利用する一方、各イメージ・データ6204、6205の表す映像の両眼視差の計算にも利用する。こうして得られた両眼視差から、ビデオエンコーダ6101は更に、「家」及び「球」のイメージ6204、6205等、各イメージの「奥行き」を算出する。各イメージの奥行きを表す情報は、例えば図62の(c)に示されているように、各ピクチャ6201、6202のマクロブロックのマトリクスと同じサイズのマトリクス6206に整理される。図61に示されているフレーム奥行き情報6110はこのマトリクス6206を含む。このマトリクス6206内のブロック6207は、各ピクチャ6201、6202内のマクロブロック6203と一対一に対応する。各ブロック6207は、対応するマクロブロック6203の表すイメージの奥行きを、例えば8ビットの深度で表す。図62に示されている例では、「球」のイメージ6205の奥行きが、マトリクス6206の領域6208内の各ブロックに記録される。その領域6208は、そのイメージ6205を表す各ピクチャ6201、6202内の領域の全体に対応する。
説明を図61に戻す。素材制作部6102は、ビデオ・ストリーム以外のエレメンタリ・ストリーム、例えば、オーディオ・ストリーム6112、PGストリーム6113、及びIGストリーム6114を作成してデータベース部6107に保存する。例えば、素材制作部6102は、オーサリングスタッフから非圧縮のLPCM音声データを受け付けて、それをAC-3等の圧縮符号化方式で符号化してオーディオ・ストリーム6112に変換する。素材制作部6102は、オーサリングスタッフから字幕情報ファイルを受け付けて、それに従ってPGストリーム6113を作成する。字幕情報ファイルは、字幕を表すイメージ・データ、その字幕の表示時期、及び、その字幕に加えられるべきフェードイン/フェードアウト等の視覚効果を規定する。素材制作部6102は、オーサリングスタッフからビットマップ・データとメニューファイルとを受け付けて、それらに従ってIGストリーム6114を作成する。ビットマップ・データはメニューのイメージを表す。メニューファイルは、そのメニューに配置される各ボタンの状態の遷移、及び各ボタンに加えられるべき視覚効果を規定する。
シナリオ生成部6103は、オーサリングスタッフからGUI経由で受け付けられた指示に従って、BD-ROMシナリオ・データ6115を作成して、データベース部6107に保存する。ここで、BD-ROMシナリオ・データ6115は、データベース部6107に保存された各エレメンタリ・ストリーム6111-6114の再生方法を規定するファイル群である。BD-ROMシナリオ・データ6115は、図2に示されているファイル群のうち、インデックス・ファイル242A、ムービーオブジェクト・ファイル242B、及びプレイリスト・ファイル243A-Cを含む。シナリオ生成部6103は更に、パラメータ・ファイル6116を作成して多重化処理部6105へ送出する。パラメータ・ファイル6116は、データベース部6107に保存されたエレメンタリ・ストリーム6111-6114のうち、各AVストリーム・ファイルに多重化されるべきストリームを規定する。
BDプログラム制作部6104は、オーサリングスタッフに対してBD-Jオブジェクト及びJavaアプリケーション・プログラムのプログラミング環境を提供する。BDプログラム制作部6104は、GUIを通じてユーザからの要求を受け付け、その要求に従って各プログラムのソースコードを作成する。BDプログラム制作部6104は更に、BD-JオブジェクトからBD-Jオブジェクト・ファイル246Aを作成し、Javaアプリケーション・プログラムをJARファイル247Aに圧縮する。それらのファイル246A、247Aはフォーマット処理部6106へ送出される。
ここで、BD-Jオブジェクトが次のようにプログラミングされる場合を想定する:BD-Jオブジェクトは、図42に示されているプログラム実行部4206にGUI用のグラフィックス・データをシステム・ターゲット・デコーダ4203へ送出させる。BD-Jオブジェクトは更に、システム・ターゲット・デコーダ4203にそのグラフィックス・データを、図43に示されているイメージ・プレーン・データ4306として処理させる。その場合、BDプログラム制作部6104は、データベース部6107に保存されたフレーム奥行き情報6110を利用して、BD-Jオブジェクトにイメージ・プレーン・データ4306に対するオフセット情報を設定してもよい。
多重化処理部6105は、パラメータ・ファイル6116に従い、データベース部6107に保存されている各エレメンタリ・ストリーム6111-6114をMPEG2-TS形式のストリーム・ファイルに多重化する。具体的には、図5に示されているように、各エレメンタリ・ストリーム6111-6114がソースパケット列に変換され、各列のソースパケットが一列にまとめられて一本のストリーム・ファイルを構成する。こうして、図2に示されているAVストリーム・ファイル245A-Cが作成される。
その処理と並行して、多重化処理部6105は、各AVストリーム・ファイル245A-Cに対応付けられるべきクリップ情報ファイルを以下の手順で作成する。まず、図13、40に示されているエントリ・マップ1103、3823が生成される。次に、AVストリーム・ファイルごとに、多重化されるべき各エレメンタリ・ストリームから、図12に示されているストリーム属性情報1102が抽出される。更に、図11、38に示されているように、エントリ・マップとストリーム属性情報との対が、各AVストリーム・ファイルを示すクリップ情報に対応付けられる。
フォーマット処理部6106は、データベース部6107に保存されたBD-ROMシナリオ・データ6115、BDプログラム制作部6104によって制作されたBD-Jオブジェクト・ファイル等のプログラムファイル群、及び、多重化処理部6105によって生成されたAVストリーム・ファイルとクリップ情報ファイルとから、図2に示されているディレクトリ構造204のBD-ROMディスクイメージ6120を作成する。そのディレクトリ構造204では、ファイルシステムとしてUDFが利用される。
フォーマット処理部6106は、AVストリーム・ファイルのファイル・エントリを作成するとき、対応するクリップ情報ファイルのエントリ・マップを参照する。それにより、各エントリ・ポイントのSPNが各アロケーション記述子の作成に利用される。特に3D映像のAVストリーム・ファイルのファイル・エントリでは、図49に示されているようにデプスマップ・エクステントから順に、三種類のエクステントが交互に配置されるように各アロケーション記述子が作成される。更に、各エクステントのサイズが式(4)-(8)を満たすように設計され、それに基づいて、各アロケーション記述子の表すべき論理アドレスの値が決定される。
フォーマット処理部6106はその他に、データベース部6107に保存されたフレーム奥行き情報6110を利用して、図39に示されている3Dメタデータ3814を、セカンダリ・ビデオ・ストリーム6111、PGストリーム6113、及びIGストリーム6114のそれぞれについて作成する。ここで、各ストリームの表す3D映像が、他のストリームの表す3D映像と同じ視方向に重なって表示されないように、左右の各映像フレーム内でのイメージ・データの配置が自動的に調整される。更に、各ストリームの表す3D映像の奥行きが互いに重ならないように、各映像フレームに対するオフセット値が自動的に調整される。
フォーマット処理部6106によって生成されたBD-ROMディスクイメージ6120はその後、BD-ROMプレス用データに変換される。更に、このデータはBD-ROMディスクの原盤に記録される。この原盤がプレス工程に利用されることにより、本発明の実施形態1によるBD-ROMディスク101の大量生産が実現可能になる。
<補足>
≪放送、通信回路を経由したデータ配信≫
本発明の実施形態1による記録媒体は、光ディスクの他、例えばSDメモリカードを含む可搬性半導体メモリ装置等、パッケージメディアとして利用可能なリムーバブルメディア全般を含む。また、実施形態1の説明では、予めデータが記録された光ディスク、すなわち、BD-ROM又はDVD-ROM等の既存の読み出し専用の光ディスクが例に挙げられている。しかし、本発明の実施形態はそれらに限定されない。例えば放送で、又はネットワーク経由で配信された3D映像のコンテンツを端末装置によって、BD-RE又はDVD-RAM等の既存の書き込み可能な光ディスクへ書き込むときに、実施形態1によるエクステントの配置が利用されてもよい。ここで、その端末装置は、再生装置に組み込まれていても、再生装置とは別の装置であってもよい。
≪半導体メモリカードの再生≫
本発明の実施形態1による記録媒体として、光ディスクに代えて半導体メモリカードを用いたときにおける、再生装置のデータ読み出し部について説明する。
再生装置のうち、光ディスクからデータを読み出す部分は、例えば光ディスクドライブによって構成される。それに対し、半導体メモリカードからデータを読み出す部分は、専用のインタフェース(I/F)で構成される。より詳細には、再生装置にカードスロットが設けられ、その内部に上記のI/Fが実装される。そのカードスロットに半導体メモリカードが挿入されるとき、そのI/Fを通してその半導体メモリカードが再生装置と電気的に接続される。更に、半導体メモリカードからデータがそのI/Fを通して再生装置に読み出される。
≪BD-ROMディスク上のデータに対する著作権保護技術≫
ここで、以降の補足事項の前提として、BD-ROMディスクに記録されているデータの著作権を保護するための仕組みについて説明する。
BD-ROMディスクに記録されたデータの一部が、例えば著作権の保護又はデータの秘匿性の向上の観点から暗号化されている場合がある。その暗号化データは例えば、ビデオ・ストリーム、オーディオ・ストリーム、またはその他のストリームを含む。その場合、暗号化データは以下のように解読される。
再生装置には予め、BD-ROMディスク上の暗号化データを解読するための「鍵」の生成に必要なデータの一部、すなわちデバイスキーが記憶されている。一方、BD-ROMディスクには、そのその「鍵」の生成に必要なデータの別の一部、すなわちMKB(メディアキーブロック)と、その「鍵」自体の暗号化データ、すなわち暗号化タイトルキーとが記録されている。デバイスキー、MKB、及び暗号化タイトルキーは互いに対応付けられ、更に、図2に示されているBD-ROMディスク101上のBCA201に書き込まれた特定の識別子、すなわちボリュームIDにも対応付けられている。デバイスキー、MKB、暗号化タイトルキー、及びボリュームIDの組み合わせが正しくなければ、暗号化データの解読はできない。すなわち、これらの組み合わせが正しい場合にのみ、上記の「鍵」、すなわちタイトルキーが生成される。具体的には、まず、デバイスキー、MKB、及びボリュームIDを利用して暗号化タイトルキーが復号される。それによってタイトルキーを導き出すことができたときのみ、そのタイトルキーを上記の「鍵」として用いて暗号化データを解読することができる。
BD-ROMディスク上の暗号化データを再生装置によって再生しようとしても、例えばそのBD-ROMディスク上の暗号化タイトルキー、MKB、及びボリュームIDに予め対応付けられたデバイスキーがその再生装置内に記憶されていなければ、その暗号化データを再生することができない。何故なら、その暗号化データの解読に必要な鍵、すなわちタイトルキーは、MKB、デバイスキー、及びボリュームIDの正しい組み合わせで暗号化タイトルキーを復号しなければ導き出せないからである。
BD-ROMディスクに記録されるべきビデオ・ストリームとオーディオ・ストリームとの少なくともいずれかの著作権を保護するには、まず、保護対象のストリームをタイトルキーで暗号化して、BD-ROMディスクに記録する。次に、MKB、デバイスキー、及びボリュームIDの組み合わせから鍵を生成し、その鍵で上記のタイトルキーを暗号化して暗号化タイトルキーに変換する。更に、MKB、ボリュームID、及び暗号化タイトルキーをBD-ROMディスクに記録する。そのBD-ROMディスクからは、上述の鍵の生成に利用されたデバイスキーを備えた再生装置でしか、暗号化されたビデオ・ストリーム及び/又はオーディオ・ストリームをデコーダで復号することはできない。こうして、BD-ROMディスクに記録されたデータの著作権を保護することができる。
以上に述べた、BD-ROMディスクにおけるデータの著作権保護の仕組みは、BD-ROMディスク以外にも適用可能である。例えば読み書き可能な半導体メモリ装置、特にSDカード等の可搬性半導体メモリカードにも適用可能である。
≪電子配信を利用した記録媒体へのデータ記録≫
電子配信を利用して本発明の実施形態1による再生装置へ3D映像のAVストリーム・ファイル等のデータ(以下、配信データという。)を伝達し、更にその再生装置にその配信データを半導体メモリカードに記録させる処理について、以下説明する。尚、以下の動作は、上記の再生装置に代えて、その処理に特化した端末装置によって行われてもよい。また、記録先の半導体メモリカードがSDメモリカードである場合を想定する。
再生装置は上記のとおり、カードスロットを備えている。そのカードスロットにはSDメモリカードが挿入されている。この状態で、再生装置はまず、ネットワーク上の配信サーバへ配信データの送信要求を送出する。このとき、再生装置はSDメモリカードからその識別情報を読み出して、その識別情報を送信要求と共に配信サーバへ送出する。ここで、SDメモリカードの識別情報は、例えばそのSDメモリカード固有の識別番号、より具体的にはそのSDメモリカードのシリアル番号である。この識別情報は上述のボリュームIDとして利用される。
配信サーバには配信データが格納されている。その配信データのうち、ビデオ・ストリーム及び/又はオーディオ・ストリーム等、暗号化による保護の必要なデータは、所定のタイトルキーを用いて暗号化されている。ここで、その暗号化データは同じタイトルキーで復号が可能である。
配信サーバは、再生装置と共通の秘密鍵としてデバイスキーを保持している。配信サーバは更に、SDメモリカードと共通のMKBを保持している。配信サーバは、再生装置から配信データの送信要求とSDメモリカードの識別情報とを受け付けたとき、まず、デバイスキー、MKB、及びその識別情報から鍵を生成し、その鍵でタイトルキーを暗号化して暗号化タイトルキーを生成する。
配信サーバは次に公開鍵情報を生成する。その公開鍵情報は、例えば、上述のMKB、暗号化タイトルキー、署名情報、SDメモリカードの識別番号、及びデバイスリストを含む。署名情報は、例えば公開鍵情報のハッシュ値を含む。デバイスリストは、無効にすべきデバイス、すなわち、配信データ中の暗号化データを不正に再生する危険性のあるデバイスのリストである。そのリストには、例えば、再生装置のデバイスキー、再生装置の識別番号、再生装置に内蔵のデコーダ等、各種部品の識別番号、又は機能(プログラム)が特定されている。
配信サーバは更に、配信データと公開鍵情報とを再生装置へ送出する。再生装置は、それらを受信して、カードスロット内の専用I/Fを通してSDメモリカードに記録する。
SDメモリカードに記録された配信データのうち、暗号化データは、例えば公開鍵情報を以下のように利用して復号される。まず、公開鍵情報の認証として次の三種類のチェック(1)-(3)が行われる。尚、それらはどのような順序で行われてもよい。
(1)公開鍵情報に含まれるSDメモリカードの識別情報が、カードスロットに挿入されているSDメモリカードに記憶されている識別番号と一致するか否か。
(2)公開鍵情報から算出されるハッシュ値が、署名情報に含まれるハッシュ値と一致するか否か。
(3)公開鍵情報の示すデバイスリストから当該再生装置が除外されているか否か。具体的には、デバイスリストから当該再生装置のデバイスキーが除外されているか否か。
上述のチェック(1)~(3)のいずれかの結果が否定的であるとき、再生装置は暗号化データの復号処理を中止する。逆に、上述のチェック(1)~(3)の全ての結果が肯定的であるとき、再生装置は公開鍵情報の正当性を認め、デバイスキー、MKB、及びSDメモリカードの識別情報を利用して、公開鍵情報内の暗号化タイトルキーをタイトルキーに復号する。再生装置は更に、そのタイトルキーを用いて暗号化データを、例えばビデオ・ストリーム及び/又はオーディオ・ストリームに復号する。
以上の仕組みには次の利点がある。電子配信時に既に、不正使用の危険性がある再生装置、部品、及び機能(プログラム)等が知られている場合、これらの識別情報がデバイスリストに列挙され、公開鍵情報の一部として配信される。一方、配信データを要求した再生装置は必ず、そのデバイスリスト内の識別情報を、その再生装置及びその部品等の識別情報と照合しなければならない。それにより、その再生装置又はその部品等がデバイスリストに示されていれば、たとえ、SDメモリカードの識別番号、MKB、暗号化タイトルキー、及びデバイスキーの組み合わせが正しくても、その再生装置は公開鍵情報を配信データ内の暗号化データの復号には利用できない。こうして、配信データの不正使用を効果的に抑制することができる。
半導体メモリカードの識別情報は、半導体メモリカード内の記録領域のうち、特に秘匿性の高い記録領域に格納することが望ましい。何故なら、万一、その識別情報、例えばSDメモリカードではそのシリアル番号が不正に改竄された場合、SDメモリカードの違法コピーが容易に実行可能になってしまうからである。すなわち、その改竄の結果、同一の識別情報を持つ半導体メモリカードが複数存在するようになれば、上述のチェック(1)では正規品と違法な複製品との識別ができなくなるからである。従って、半導体メモリカードの識別情報は秘匿性の高い記録領域に記録して、不正な改竄から保護されねばならない。
半導体メモリカード内にこのような秘匿性の高い記録領域を構成する手段は、例えば次のとおりである。まず、通常のデータ用の記録領域(以下、第1の記録領域と称す。)から電気的に分離された別の記録領域(以下、第2の記録領域と称す。)が設置される。次に、第2の記録領域へのアクセス専用の制御回路が半導体メモリカード内に設けられる。それにより、第2の記録領域へはその制御回路を介してのみアクセスが可能であるようにする。例えば、第2の記録領域には、暗号化されたデータのみが記録され、その暗号化されたデータを復号するための回路が制御回路内にのみ組み込まれる。それにより、第2の記録領域内のデータへのアクセスは、そのデータを制御回路に復号させなければ不可能である。その他に、第2の記録領域内の各データのアドレスを制御回路にのみ保持させてもよい。その場合、第2の記録領域内のデータのアドレスは制御回路にしか特定できない。
半導体メモリカードの識別情報が第2の記録領域に記録された場合、再生装置上で動作するアプリケーション・プログラムは、電子配信を利用して配信サーバからデータを取得して半導体メモリカードに記録する場合、次のような処理を行う。まず、そのアプリケーション・プログラムは、メモリカードI/Fを介して上記の制御回路に対し、第2の記録領域に記録された半導体メモリカードの識別情報へのアクセス要求を発行する。制御回路はその要求に応じて、まず、第2の記録領域からその識別情報を読み出す。制御回路は次に、メモリカードI/Fを介して上記のアプリケーション・プログラムへその識別情報を送る。そのアプリケーション・プログラムはその後、その識別情報と共に配信データの送信要求を配信サーバに送出する。アプリケーション・プログラムは更に、その要求に応じて配信サーバから受信される公開鍵情報と配信データとを、メモリカードI/Fを介して半導体メモリカード内の第1の記録領域に記録する。
尚、上記のアプリケーション・プログラムは、半導体メモリカード内の制御回路に対して上記のアクセス要求を発行する前に、そのアプリケーション・プログラム自体の改竄の有無をチェックすることが望ましい。そのチェックには、例えばX.509に準拠のデジタル証明書が利用されてもよい。また、配信データは上記のとおり、半導体メモリカード内の第1の記録領域に記録されればよく、その配信データへのアクセスは半導体メモリカード内の制御回路によって制御されなくてもよい。
≪リアルタイム・レコーディングへの適用≫
本発明の実施形態2では、AVストリーム・ファイル及びプレイリスト・ファイルは、オーサリングシステムにおけるプリレコーディング技術によってBD-ROMディスクに記録されてユーザに供給されることを前提とした。しかし、AVストリーム・ファイル及びプレイリスト・ファイルは、リアルタイム・レコーディングによって、BD-REディスク、BD-Rディスク、ハードディスク、又は半導体メモリカード等の書き込み可能な記録媒体(以下、BD-REディスク等と略す。)に記録されてユーザに供給されるものであってもよい。その場合、AVストリーム・ファイルは、アナログ入力信号を記録装置がリアルタイムで復号することによって得られたトランスポート・ストリームであってもよい。その他に、記録装置がデジタル入力したトランスポート・ストリームをパーシャル化することで得られるトランスポート・ストリームであってもよい。
リアルタイム・レコーディングを実行する記録装置は、ビデオエンコーダ、オーディオエンコーダ、マルチプレクサ、及びソースパケタイザを含む。ビデオエンコーダはビデオ信号を符号化してビデオ・ストリームに変換する。オーディオエンコーダはオーディオ信号を符号化してオーディオ・ストリームに変換する。マルチプレクサは、ビデオ・ストリームとオーディオ・ストリームとを多重化して、MPEG2-TS形式のデジタル・ストリームに変換する。ソースパケタイザは、MPEG2-TS形式のデジタル・ストリーム内のTSパケットをソースパケットに変換する。記録装置は各ソースパケットをAVストリーム・ファイルに格納して、BD-REディスク等に書き込む。
AVストリーム・ファイルの書き込み処理と並行して、記録装置の制御部はクリップ情報ファイルとプレイリスト・ファイルとをメモリ上で生成してBD-REディスク等に書き込む。具体的には、ユーザによって録画処理が要求されたとき、制御部はまず、AVストリーム・ファイルに合わせてクリップ情報ファイルを生成してBD-REディスク等に書き込む。その場合、外部から受信されるトランスポート・ストリームからビデオ・ストリーム内の一つのGOPの先頭が検出される度に、又は、ビデオエンコーダによってビデオ・ストリーム内の一つのGOPが生成される度に、制御部は、そのGOPの先頭に位置するIピクチャのPTSと、そのGOPの先頭が格納されたソースパケットのSPNとを取得する。制御部は更に、そのPTSとSPNとの対を一つのエントリ・ポイントとしてクリップ情報ファイルのエントリ・マップに追記する。ここで、そのエントリ・ポイントには「is_angle_changeフラグ」が追加される。is_angle_changeフラグは、そのGOPの先頭がIDRピクチャであるときは“オン”に設定され、そのGOPの先頭がIDRピクチャではないときは“オフ”に設定される。クリップ情報ファイル内には更に、ストリーム属性情報が記録対象のストリームの属性に従って設定される。こうして、AVストリーム・ファイルとクリップ情報ファイルとがBD-REディスク等に書き込まれた後、制御部はそのクリップ情報ファイル内のエントリ・マップを利用してプレイリスト・ファイルを生成し、BD-REディスク等に書き込む。
≪マネージド・コピー≫
本発明の実施形態1による再生装置は更に、マネージド・コピーによってBD-ROMディスク101上のデジタル・ストリームを他の記録媒体へ書き込んでもよい。「マネージド・コピー」とは、BD-ROMディスク等の読み出し専用記録媒体から書き込み可能な記録媒体へ、デジタル・ストリーム、プレイリスト・ファイル、クリップ情報ファイル、及びアプリケーション・プログラムをコピーすることを、サーバとの通信による認証が成功した場合にのみ許可するための技術をいう。その書き込み可能な記録媒体は、BD-R、BD-RE、DVD-R、DVD-RW、及びDVD-RAM等の書き込み可能な光ディスク、ハードディスク、並びに、SDメモリカード、メモリースティック(登録商標)、コンパクトフラッシュ(登録商標)、スマートメディア(登録商標)、及びマルチメディアカード(登録商標)等の可搬性半導体メモリ装置を含む。マネージド・コピーは、読み出し専用記録媒体に記録されたデータのバックアップ回数の制限、及びバックアップ処理に対する課金を可能にする。
BD-ROMディスクからBD-Rディスク又はBD-REディスクへのマネージド・コピーが行われる場合、両ディスクの記録容量が等しいときは、コピー元のディスクに記録されたビット・ストリームがそのまま、順番にコピーされればよい。
マネージド・コピーが異種の記録媒体間で行われるときはトランス・コードが必要である。「トランス・コード」とは、コピー元のディスクに記録されているデジタル・ストリームをコピー先の記録媒体のアプリケーション・フォーマットに適合させるための処理をいう。トランス・コードは、例えば、MPEG2-TS形式からMPEG2プログラム・ストリーム形式へ変換する処理、及び、ビデオ・ストリームとオーディオ・ストリームとのそれぞれに割り当てられているビットレートを低くして符号化し直す処理を含む。トランス・コードでは、上述のリアルタイム・レコーディングによって、AVストリーム・ファイル、クリップ情報ファイル、及びプレイリスト・ファイルが生成されねばならない。
≪データ構造の記述方法≫
本発明の実施形態1によるデータ構造のうち、「所定型の情報が複数存在する」という繰り返し構造は、for文に制御変数の初期値と繰り返し条件とを記述することによって定義される。また、「所定の条件が成立するときに所定の情報が定義される」というデータ構造は、if文にその条件と、その条件の成立時に設定されるべき変数とを記述することによって定義される。このように、実施形態1によるデータ構造は高級プログラミング言語によって記述される。従って、そのデータ構造は、「構文解析」、「最適化」、「資源割付」、及び「コード生成」といったコンパイラによる翻訳過程を経て、コンピュータによって読み取り可能なコードに変換され、記録媒体に記録される。高級プログラミング言語での記述により、そのデータ構造は、オブジェクト指向言語におけるクラス構造体のメソッド以外の部分、具体的には、そのクラス構造体における配列型のメンバー変数として扱われ、プログラムの一部を成す。すなわち、そのデータ構造は、プログラムと実質的に同等である。従って、そのデータ構造はコンピュータ関連の発明として保護を受けるべきである。
≪再生プログラムによるプレイリスト・ファイル、クリップ情報ファイルの管理≫
プレイリスト・ファイルとAVストリーム・ファイルとが記録媒体に記録されるとき、その記録媒体には再生プログラムが実行形式のファイルとして記録される。再生プログラムはコンピュータに、プレイリスト・ファイルに従ってAVストリーム・ファイルを再生させる。再生プログラムは記録媒体からコンピュータ内のメモリ装置にロードされた後、そのコンピュータによって実行される。そのロード処理はコンパイル処理又はリンク処理を含む。それらの処理により、再生プログラムはメモリ装置内では複数のセクションに分割される。それらのセクションは、textセクション、dataセクション、bssセクション、及びstackセクションを含む。textセクションは、再生プログラムのコード列、変数の初期値、及び書き換え不可のデータを含む。dataセクションは、初期値を持つ変数、及び書き換え可能なデータを含む。dataセクションは特に、記録媒体上に記録された、随時アクセスされるファイルを含む。bssセクションは、初期値を持たない変数を含む。bssセクション内のデータは、textセクション内のコードの示す命令に応じて参照される。コンパイル処理又はリンク処理では、コンピュータ内のRAMにbssセクション用の領域が確保される。stackセクションは、必要に応じて一時的に確保されるメモリ領域である。再生プログラムによる各処理ではローカル変数が一時的に使用される。stackセクションはそれらのローカル変数を含む。プログラムの実行が開始されるとき、bssセクション内の変数はゼロで初期化され、stackセクションには必要なメモリ領域が確保される。
プレイリスト・ファイル及びクリップ情報ファイルは上述のとおり、記録媒体上では既に、コンピュータによって読み取り可能なコードに変換されている。従って、それらのファイルは再生プログラムの実行時、textセクション内の「書き換え不可のデータ」、又はdataセクション内の「随時アクセスされるファイル」として管理される。すなわち、プレイリスト・ファイル及びクリップ情報ファイルは、再生プログラムの実行時にその構成要素の中に組み込まれる。それ故、プレイリスト・ファイル及びクリップ情報ファイルは再生プログラムにおいて、単なるデータの提示を超えた役割を果たす。
≪システムLSI≫
本発明の実施形態1による再生装置は、ミドルウェア、システムLSI、及びその他のハードウェアを含む。その再生装置は更に、ミドルウェアに対するインタフェース、ミドルウェアとシステムLSIとの間のインタフェース、ミドルウェアとその他のハードウェアとの間のインタフェース、及びユーザインタフェースを含む。それらの要素は、再生装置に組み込まれたときに互いに連携する。それにより、各要素に固有の機能が再生装置に提供される。ミドルウェアに対するインタフェース、及び、ミドルウェアとシステムLSIとの間のインタフェースが適切に定義されることにより、再生装置内のユーザインタフェース、ミドルウェア、及びシステムLSIのそれぞれの開発を、独立に、並列に、かつ効率良く進めることができる。尚、いずれのインタフェースについても、そのような適切な定義は一般に多様である。
本発明は立体視映像の再生技術に関し、上記のとおり、記録媒体上に記録されるベースビュー・エクステントとディペンデントビュー・エクステントとの各サイズに対して明確な下限を与える。このように、本発明は明らかに産業上利用可能である。
DA1 第1リード・バッファの蓄積データ量
DA2 第2リード・バッファの蓄積データ量
UL1 第1リード・バッファのバッファ余裕量
UL2 第2リード・バッファのバッファ余裕量
Dn n番目のデプスマップ・エクステント
Rn n番目のライトビュー・エクステント
Ln n番目のレフトビュー・エクステント
PRRn n番目のライトビュー・エクステントを読み出す期間
PJ0n n番目のライトビュー・エクステント直後のゼロ・セクタ遷移期間
PRLn n番目のレフトビュー・エクステントを読み出す期間
PJLRn n番目のレフトビュー・エクステント直後のジャンプ期間
J0n n番目のライトビュー・エクステント直後のゼロ・セクタ遷移
JLRn n番目のレフトビュー・エクステント直後のジャンプ
DA2 第2リード・バッファの蓄積データ量
UL1 第1リード・バッファのバッファ余裕量
UL2 第2リード・バッファのバッファ余裕量
Dn n番目のデプスマップ・エクステント
Rn n番目のライトビュー・エクステント
Ln n番目のレフトビュー・エクステント
PRRn n番目のライトビュー・エクステントを読み出す期間
PJ0n n番目のライトビュー・エクステント直後のゼロ・セクタ遷移期間
PRLn n番目のレフトビュー・エクステントを読み出す期間
PJLRn n番目のレフトビュー・エクステント直後のジャンプ期間
J0n n番目のライトビュー・エクステント直後のゼロ・セクタ遷移
JLRn n番目のレフトビュー・エクステント直後のジャンプ
Claims (4)
- 平面視映像の再生に利用されるベースビュー・ストリーム・ファイル、及び、
前記ベースビュー・ストリーム・ファイルと組み合わされて立体視映像の再生に利用されるディペンデントビュー・ストリーム・ファイル、
が記録された記録媒体であって、
前記記録媒体は、前記ベースビュー・ストリーム・ファイルに属する複数のベースビュー・エクステントと、前記ディペンデントビュー・ストリーム・ファイルに属する複数のディペンデントビュー・エクステントとが交互に配置された連続領域を含み、
各ベースビュー・エクステントのサイズは第1下限値と第2下限値とのいずれか大きい方を下限とし、
前記第1下限値は、平面視映像の再生時、各ベースビュー・エクステントから次のベースビュー・エクステントまでのジャンプ期間中に再生装置にバッファ・アンダーフローを生じさせないように決定され、
前記第2下限値は、立体視映像の再生時、各ベースビュー・エクステントの次のディペンデントビュー・エクステントの読み出し期間中に再生装置にバッファ・アンダーフローを生じさせないように決定され、
各ディペンデントビュー・エクステントのサイズは第3下限値を下限とし、
前記第3下限値は、立体視映像の再生時、各ディペンデントビュー・エクステントの次のベースビュー・エクステントの読み出し期間中に再生装置にバッファ・アンダーフローを生じさせないように決定されている、
記録媒体。 - 前記連続領域ではディペンデントビュー・エクステントが先頭に配置され、
n番目(整数nは1よりも大きい。)のベースビュー・エクステントがサイズSext1[n]を持ち、
第1リードバッファと第1デコーダとを含む第1再生装置による平面視映像の再生において、n番目のベースビュー・エクステントから(n+1)番目のベースビュー・エクステントまでのジャンプが時間Tjump-2D(n)を要し、各ベースビュー・エクステントが前記第1リードバッファへ速度Rud-2Dで読み出され、かつ、前記第1リードバッファから前記第1デコーダへ前記ベースビュー・ストリーム・ファイルが平均速度Rext1-2Dで転送されるとき、前記第1下限値は式(1)の右辺で表され、
n番目のベースビュー・エクステントの次に位置するn+1番目のディペンデントビュー・エクステントがサイズSext2[n+1]を持ち、
第2リードバッファ、第3リードバッファ、及び第2デコーダを含む第2再生装置による立体視映像の再生において、各ベースビュー・エクステントが前記第2リードバッファへ速度Rud-3Dで読み出され、各ディペンデントビュー・エクステントが前記第3リードバッファへ速度Rud-3Dで読み出され、かつ、前記第2リードバッファから前記第2デコーダへ前記ベースビュー・ストリーム・ファイルが平均速度Rext1-3Dで転送されるとき、前記第2下限値は式(2)の右辺で表され、
前記立体視映像の再生において、前記第3リードバッファから前記第2デコーダへ前記ディペンデントビュー・ストリーム・ファイルが平均速度Rext2-3Dで転送されるとき、前記第3下限値は式(3)の右辺で表される、
請求項1に記載の記録媒体:
- 記録媒体から映像を再生するための再生装置であって、
前記再生装置は、
前記記録媒体から、
平面視映像の再生に利用されるベースビュー・ストリーム・ファイル、及び、
前記ベースビュー・ストリーム・ファイルと組み合わされて立体視映像の再生に利用されるディペンデントビュー・ストリーム・ファイル、
を読み出す読出手段、
読み出された前記ベースビュー・ストリーム・ファイルと前記ディペンデントビュー・ストリーム・ファイルとからエクステントを分離する分離手段、
分離されたエクステントのうち、前記ベースビュー・ストリーム・ファイルに属するベースビュー・エクステントを格納する第1リードバッファ、
分離されたエクステントのうち、前記ディペンデントビュー・ストリーム・ファイルに属するディペンデントビュー・エクステントを格納する第2リードバッファ、並びに、
各リードバッファから、各エクステントに含まれる圧縮ピクチャの供給を受けて、前記圧縮ピクチャを復号するデコーダ、
を備え、
前記記録媒体は、複数のベースビュー・エクステントと複数のディペンデントビュー・エクステントとが交互に配置された連続領域を含み、
各ベースビュー・エクステントのサイズは第1下限値と第2下限値とのいずれか大きい方を下限とし、
前記第1下限値は、平面視映像の再生時、各ベースビュー・エクステントから次のベースビュー・エクステントまでのジャンプ期間中に前記第1リードバッファにアンダーフローを生じさせないように決定され、
前記第2下限値は、立体視映像の再生時、各ベースビュー・エクステントの次のディペンデントビュー・エクステントの読み出し期間中に前記第1リードバッファにアンダーフローを生じさせないように決定され、
各ディペンデントビュー・エクステントのサイズは第3下限値を下限とし、
前記第3下限値は、立体視映像の再生時、各ディペンデントビュー・エクステントの次のベースビュー・エクステントの読み出し期間中に前記第2リードバッファにアンダーフローを生じさせないように決定されている、
再生装置。 - 記録媒体から映像を再生するための再生装置に搭載される集積回路であって、
前記再生装置は、
前記記録媒体から、
平面視映像の再生に利用されるベースビュー・ストリーム・ファイル、及び、
前記ベースビュー・ストリーム・ファイルと組み合わされて立体視映像の再生に利用されるディペンデントビュー・ストリーム・ファイル、
を読み出す読出手段、
読み出された前記ベースビュー・ストリーム・ファイルと前記ディペンデントビュー・ストリーム・ファイルとからエクステントを分離する分離手段、
分離されたエクステントのうち、前記ベースビュー・ストリーム・ファイルに属するベースビュー・エクステントを格納する第1リードバッファ、並びに、
分離されたエクステントのうち、前記ディペンデントビュー・ストリーム・ファイルに属するディペンデントビュー・エクステントを格納する第2リードバッファ、
を備え、
前記集積回路は、
各リードバッファから、各エクステントに含まれる圧縮ピクチャの供給を受けて、前記圧縮ピクチャを復号するデコーダ、及び、
各リードバッファから前記デコーダへの圧縮ピクチャの供給を制御する制御手段、
を備え、
前記記録媒体は、複数のベースビュー・エクステントと複数のディペンデントビュー・エクステントとが交互に配置された連続領域を含み、
各ベースビュー・エクステントのサイズは、第1下限値と第2下限値とのいずれか大きい方の値を下限とし、
前記第1下限値は、平面視映像の再生時、各ベースビュー・エクステントから次のベースビュー・エクステントまでのジャンプ期間中に前記第1リードバッファにアンダーフローを生じさせないように決定され、
前記第2下限値は、立体視映像の再生時、各ベースビュー・エクステントの次のディペンデントビュー・エクステントの読み出し期間中に前記第1リードバッファにアンダーフローを生じさせないように決定され、
各ディペンデントビュー・エクステントのサイズは第3下限値を下限とし、
前記第3下限値は、立体視映像の再生時、各ディペンデントビュー・エクステントの次のベースビュー・エクステントの読み出し期間中に前記第2リードバッファにアンダーフローを生じさせないように決定されている、
集積回路。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14107908P | 2008-12-29 | 2008-12-29 | |
US61/141,079 | 2008-12-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010076846A1 true WO2010076846A1 (ja) | 2010-07-08 |
Family
ID=42284428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/006563 WO2010076846A1 (ja) | 2008-12-29 | 2009-12-02 | 記録媒体、再生装置、及び集積回路 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20100165083A1 (ja) |
WO (1) | WO2010076846A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011036888A1 (ja) * | 2009-09-25 | 2011-03-31 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110187701A1 (en) * | 2007-06-27 | 2011-08-04 | Thomson Licensing | 3D Projection System with Non-Integer Flash Rate |
JP2010263615A (ja) * | 2009-04-08 | 2010-11-18 | Sony Corp | 情報処理装置、情報処理方法、再生装置、再生方法 |
BRPI1004351A2 (pt) * | 2009-06-11 | 2020-06-23 | Panasonic Corporation | Dispositivo de reprodução, circuito integrado, meio de gravação. |
WO2010143439A1 (ja) * | 2009-06-12 | 2010-12-16 | パナソニック株式会社 | 再生装置、集積回路、記録媒体 |
WO2010146814A1 (ja) * | 2009-06-19 | 2010-12-23 | キヤノン株式会社 | 磁性キャリアの製造方法及びその製造方法を用いて製造した磁性キャリア |
US8428122B2 (en) | 2009-09-16 | 2013-04-23 | Broadcom Corporation | Method and system for frame buffer compression and memory resource reduction for 3D video |
JP2011114863A (ja) * | 2009-11-23 | 2011-06-09 | Samsung Electronics Co Ltd | 3D映像の提供方法、3D映像の変換方法、GUI提供方法及びこれを適用した3Dディスプレイ装置、そして3D映像の提供システム{Methodforproviding3Dimage、methodforconverting3Dimage、GUIprovidingmethodrelatedto3Dimageand3Ddisplayapparatusandsystemforproviding3Dimage} |
US20120120207A1 (en) * | 2009-12-28 | 2012-05-17 | Hiroaki Shimazaki | Image playback device and display device |
US9049431B2 (en) * | 2009-12-31 | 2015-06-02 | Cable Television Laboratories, Inc. | Method and system for generation of captions over stereoscopic 3D images |
US10462414B2 (en) | 2009-12-31 | 2019-10-29 | Cable Television Laboratories, Inc. | Method and system for generation of captions over stereoscopic 3D images |
EP2525579B1 (en) * | 2010-01-11 | 2019-03-06 | LG Electronics Inc. | Broadcasting receiver and method for displaying 3d images |
KR101819736B1 (ko) * | 2010-07-12 | 2018-02-28 | 코닌클리케 필립스 엔.브이. | 3d 비디오 방송에서의 보조 데이터 |
US8528017B2 (en) | 2010-07-20 | 2013-09-03 | Sony Corporation | Carriage of closed data through digital interface using packets |
JP5874399B2 (ja) * | 2012-01-05 | 2016-03-02 | 株式会社リコー | 処理装置 |
CN102595164A (zh) * | 2012-02-27 | 2012-07-18 | 中兴通讯股份有限公司 | 一种视频图像发送方法、装置及系统 |
US20130250040A1 (en) * | 2012-03-23 | 2013-09-26 | Broadcom Corporation | Capturing and Displaying Stereoscopic Panoramic Images |
US9348495B2 (en) | 2014-03-07 | 2016-05-24 | Sony Corporation | Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone |
JP6245103B2 (ja) * | 2014-07-28 | 2017-12-13 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
CN110312159B (zh) * | 2019-05-24 | 2022-03-11 | 深圳市朗强科技有限公司 | 一种信号接收装置、流媒体传输系统及流媒体传输方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11191895A (ja) * | 1996-12-04 | 1999-07-13 | Matsushita Electric Ind Co Ltd | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置 |
JP2000270347A (ja) * | 1999-03-17 | 2000-09-29 | Sharp Corp | 記録装置、及び該記録装置を用いた監視システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1286327C (zh) * | 1996-02-28 | 2006-11-22 | 松下电器产业株式会社 | 光盘重放装置及光盘记录装置 |
DE69841532D1 (de) * | 1997-08-29 | 2010-04-15 | Panasonic Corp | Optische Platte mit hierarchisch codiertem digitalen Videosignal, Wiedergabevorrichtung und Aufnahmevorrichtung für die optische Platte |
EP2605243B1 (en) * | 2008-09-17 | 2014-12-31 | Panasonic Corporation | Playback device |
-
2009
- 2009-12-02 WO PCT/JP2009/006563 patent/WO2010076846A1/ja active Application Filing
- 2009-12-29 US US12/648,519 patent/US20100165083A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11191895A (ja) * | 1996-12-04 | 1999-07-13 | Matsushita Electric Ind Co Ltd | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置 |
JP2000270347A (ja) * | 1999-03-17 | 2000-09-29 | Sharp Corp | 記録装置、及び該記録装置を用いた監視システム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011036888A1 (ja) * | 2009-09-25 | 2011-03-31 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
JP2011223605A (ja) * | 2009-09-25 | 2011-11-04 | Panasonic Corp | 記録媒体、及び再生装置 |
JP2011250416A (ja) * | 2009-09-25 | 2011-12-08 | Panasonic Corp | 半導体集積回路 |
JP4847631B2 (ja) * | 2009-09-25 | 2011-12-28 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
US8164619B2 (en) | 2009-09-25 | 2012-04-24 | Panasonic Corporation | Recording medium, playback device, and integrated circuit |
JPWO2011036888A1 (ja) * | 2009-09-25 | 2013-02-14 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
US8520056B2 (en) | 2009-09-25 | 2013-08-27 | Panasonic Corporation | Recording medium, playback device, and integrated circuit |
Also Published As
Publication number | Publication date |
---|---|
US20100165083A1 (en) | 2010-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5491414B2 (ja) | 記録媒体、再生装置、及び集積回路 | |
JP5351353B1 (ja) | 記録媒体、再生装置、及び集積回路 | |
WO2010076846A1 (ja) | 記録媒体、再生装置、及び集積回路 | |
JP5390485B2 (ja) | 半導体集積回路 | |
JP4642939B2 (ja) | 記録媒体、再生装置、及び集積回路 | |
US8045844B2 (en) | Recording medium, playback apparatus, and integrated circuit | |
WO2010089995A1 (ja) | 記録媒体、再生装置、及び集積回路 | |
WO2010095440A1 (ja) | 記録媒体、再生装置、及び集積回路 | |
JP4569935B2 (ja) | 記録媒体、再生装置、及び集積回路 | |
WO2010100875A1 (ja) | 記録媒体、再生装置、及び集積回路 | |
JP2011135597A (ja) | 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置 | |
WO2010098134A1 (ja) | 記録媒体、再生装置、及び集積回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09836186 Country of ref document: EP Kind code of ref document: A1 |
|
DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09836186 Country of ref document: EP Kind code of ref document: A1 |