WO2011125574A1 - 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2011125574A1
WO2011125574A1 PCT/JP2011/057536 JP2011057536W WO2011125574A1 WO 2011125574 A1 WO2011125574 A1 WO 2011125574A1 JP 2011057536 W JP2011057536 W JP 2011057536W WO 2011125574 A1 WO2011125574 A1 WO 2011125574A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
data
file
recording
Prior art date
Application number
PCT/JP2011/057536
Other languages
English (en)
French (fr)
Inventor
俊也 浜田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/636,135 priority Critical patent/US20130011124A1/en
Priority to KR1020127025412A priority patent/KR20130066569A/ko
Priority to CN2011800268715A priority patent/CN102918850A/zh
Priority to EP11765474.9A priority patent/EP2557801A4/en
Publication of WO2011125574A1 publication Critical patent/WO2011125574A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10592Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G11B2020/106113D video data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to an information processing apparatus, an information recording medium, an information processing method, and a program. More specifically, the present invention relates to an information processing apparatus, an information recording medium, an information processing method, and a program for executing data recording processing or data reproduction processing of a three-dimensional image (3D image) using a recording medium such as a disk or a flash memory. .
  • 3D images 3D images
  • video cameras and still cameras capable of recording 3D images (3D images), and the like
  • the 3D image is subjected to display processing using captured images from different viewpoints, that is, a left-eye image and a right-eye image. Therefore, when recording a three-dimensional image on a medium, it is necessary to record a set of images of a left-eye image and a right-eye image, and reproduction is performed using these one set of images during reproduction processing. It will be.
  • the Frame Sequential (Frame Sequential) method is an encoding method that records / transfers left-eye image (L image) and right-eye image (R image) frames alternately with L, R, L, R,... .
  • the side-by-side method is an encoding method in which an LR image is divided into left and right in one frame image and recorded / transferred.
  • the Top & Bottom method is an encoding method in which an LR image is divided into upper and lower parts in one frame image and recorded / transferred.
  • 3D content distributed by a broadcasting station for television broadcasting is a side-by-side format.
  • a recording method using a certain video camera is a frame sequential method.
  • information for discriminating each method, control information corresponding to each method, and attribute information may be recorded. Necessary. Further, at the time of reproduction, it is necessary to discriminate each method and reproduce it using control information and attribute information corresponding to each method.
  • video recording and playback standards for current media do not have these three-dimensional image method control information and attribute information recording areas.
  • BDMV and BDAV standards formats
  • These application standards are established as data recording / reproducing application standards mainly using BD (Blu-ray Disc (registered trademark)).
  • the BD standard is described in, for example, Patent Document 1 (Japanese Patent Laid-Open No. 2002-158972) and Patent Document 2 (Japanese Patent Laid-Open No. 2007-179671).
  • BDMV and BDAV are application standards for data recording / playback mainly using BD, but these standards are not limited to BD, but also for data recording / playback using other media other than BD, such as flash memory. Applicable.
  • BDMV is an application standard developed for BD-ROM in which, for example, movie content is recorded in advance, and is widely used mainly in non-rewritable BD-ROM such as package content.
  • the BDMV has a feature that it can store a navigation command and a BD-J as a program for controlling reproduction in accordance with a user operation on a disc and provide various interactive functions intended by the content creator. Another feature is that recording and playback can be performed using a menu screen composed of graphics and buttons.
  • the BDMV standard is an application standard for BD-ROM that mainly records movie content and the like. As described above, various content-specific controls are provided so that content can be recorded and reproduced according to the intention of the content creator. It is a specification that can record information and attribute information. Control information and attribute information necessary for recording and reproducing 3D images can also be recorded in accordance with the BDMV standard, and a BDMV standard compatible disc on which 3D content is recorded has already been provided to the user.
  • Non-Patent Document 1 http: // www. blu-raydisc. com / jp / Press / PressRelease. html].
  • This specification is an extended BDMV standard that allows 3D content to be stored in a BD-ROM that is a read-only medium, and is defined as “BD-ROM Part 3 ver. 2.4”.
  • BDAV is a standard developed for the purpose of applying to data recording / playback processing using a rewritable BD-RE type disc or a BD-R type disc that can be recorded only once.
  • BDAV is used, for example, when a video shot by a user with a video camera or the like is recorded on a BD-RE disc or a BD-R disc and played back. Alternatively, it is used for recording and reproducing a television broadcast on a video recorder or the like.
  • the BDAV standard enables easy data recording by the user, it is not suitable for recording and reproducing complicated control information. For example, compared with BDMV, there is a feature that there are few interactive functions and functions for realizing various controls for content recording / playback.
  • the BDMV standard for BD-ROM can record and reproduce 3D images, but the current BDAV standard defines a recording area for information necessary for recording and reproducing 3D image contents.
  • it is a data recording / reproducing application standard that uses a rewritable recording medium or a recording medium that can be recorded only once, and is not used for BD-ROM, and is also called BDMV standard BD-RE Part3 ver3.
  • a recording area for information necessary for recording and reproducing 3D image content is not defined.
  • the present invention has been made in view of the above-described situation, for example, and is an information processing apparatus that realizes recording of information necessary for recording and reproduction of a three-dimensional image, and reproduction of a three-dimensional image using the information,
  • An object is to provide an information recording medium, an information processing method, and a program.
  • An object is to provide an information processing apparatus, an information recording medium, an information processing method, and a program that enable reproduction.
  • the first aspect of the present invention is: A data processing unit for performing data recording processing on a recording medium;
  • the data processing unit In the data recording process on the recording medium, a process of recording the attribute information of the three-dimensional image included in the recording data as the attribute of the management data unit of each management information file in each of the hierarchized management information files,
  • the information processing apparatus records the attribute information including attribute information related to the encoding process of the three-dimensional image.
  • the data processing unit performs inter-image reference between the left-eye image (L image) and the right-eye image (R image) when the three-dimensional image is decoded.
  • An inter-image reference identification data indicating whether or not there is a possibility of being necessary is recorded as the attribute information in the management information file.
  • the data processing unit receives encoding mode identification data indicating whether or not an entropy encoding mode is used for encoding the three-dimensional image. As described above, the process of recording in the management information file is executed.
  • the processing using the entropy coding mode is CABAC (Context-based Adaptive Binary Arithmetic Coding).
  • the data processing unit further includes three-dimensional image configuration information indicating a coding method of the three-dimensional image included in the attribute information and recorded in the management information file. To do.
  • the data processing unit is (A) a clip information file set in association with a stream file that is a storage file of image data; (B) a playlist file having playback section designation information for the clip information file; The attribute information is recorded in each management information file of each management information file in each of the management information files shown in (a) to (b) above.
  • the second aspect of the present invention provides A data processing unit for performing data reproduction processing from a recording medium;
  • the data processing unit At the time of data reproduction processing from the recording medium, the attribute information of the encoded three-dimensional image recorded on the recording medium is sequentially read out from each of the hierarchized management information files, and is used as an attribute of the management data unit of each management information file.
  • There is an information processing apparatus that acquires attribute information related to a 3D image encoding process and performs a decoding process according to the acquired attribute information.
  • the data processing unit performs inter-image reference between the left-eye image (L image) and the right-eye image (R image) when the three-dimensional image is decoded.
  • Inter-image reference identification data indicating whether or not there is a possibility of being necessary is acquired from the attribute information, and the necessity of inter-image reference is determined according to the acquired inter-image reference identification data, and decoding processing is executed.
  • the data processing unit receives encoding mode identification data indicating whether or not an entropy encoding mode is used for encoding the three-dimensional image.
  • the decoding mode is determined according to the acquired coding mode identification data and the decoding process is executed.
  • the processing using the entropy coding mode is CABAC (Context-based Adaptive Binary Arithmetic Coding).
  • the attribute information includes 3D image configuration information indicating a 3D image encoding method
  • the data processing unit is based on the 3D image configuration information. Then, the encoding method of the three-dimensional image recorded on the recording medium is determined.
  • the attribute information is (A) a clip information file set in association with a stream file that is a storage file of image data; (B) a playlist file having playback section designation information for the clip information file; Recorded in each of the management information files shown in (a) to (b) above,
  • the data processing unit reads attribute information in units of management data from a management information file selected according to reproduction target data in the order of a playlist file and then a clip information file.
  • the third aspect of the present invention provides An information recording medium on which image data is recorded, A stream file storing 3D image data as content to be played, A management information file having a hierarchical configuration storing the management information of the content is included as recording data,
  • Each of the hierarchized management information files stores attribute information relating to encoding processing of the three-dimensional image data as attribute information of the three-dimensional image included in the recorded content
  • the playback device that plays back the content sequentially refers to the attribute information in accordance with the hierarchy of the management information file, so that the attribute relating to the encoding process of the three-dimensional image included in the recorded content of the information recording medium is managed in each management information file. It exists in an information recording medium having a configuration that can be analyzed as an attribute of a data unit.
  • the attribute information requires an inter-image reference between the left-eye image (L image) and the right-eye image (R image) when the three-dimensional image is decoded.
  • the inter-image reference identification data indicating whether or not there is a possibility that the inter-image reference is included, and the playback apparatus determines whether or not the inter-image reference is necessary according to the inter-image reference identification data, and can execute the decoding process.
  • the attribute information includes encoding mode identification data indicating whether an entropy encoding mode is used for encoding the three-dimensional image, and the reproduction The apparatus determines the decoding mode according to the encoding mode identification data and enables the decoding process.
  • the attribute information is (A) a clip information file set in association with a stream file that is a storage file of image data; (B) a playlist file having playback section designation information for the clip information file; Recorded in each of the management information files shown in (a) to (b) above,
  • the playback device reads the attribute information from the management information file selected according to the playback target data in the order of the playlist file and then the clip information file, and the three-dimensional image in units of data managed by each management information file
  • the attributes related to the encoding process can be analyzed.
  • the fourth aspect of the present invention provides An information processing method for performing a data recording process on a recording medium in an information processing device,
  • the data processing unit records the attribute information of the three-dimensional image included in the recording data as the attribute of the management data unit of each management information file in each of the hierarchized management information files during the data recording process on the recording medium.
  • the fifth aspect of the present invention provides An information processing method for executing data reproduction processing from a recording medium in an information processing device,
  • the data processing unit sequentially reads the attribute information of the encoded three-dimensional image recorded on the recording medium from each of the hierarchized management information files during data reproduction processing from the recording medium, and manages each management information file
  • attribute information related to a 3D image encoding process is acquired as an attribute of a data unit, and a decoding process is performed according to the acquired attribute information.
  • the sixth aspect of the present invention provides A program for executing a data recording process on a recording medium in an information processing device,
  • the data processing unit records the attribute information of the three-dimensional image included in the recording data as the attribute of the management data unit of each management information file in each management information file hierarchized. Let it run A program for executing a process of recording the attribute information including attribute information related to the encoding process of the three-dimensional image.
  • the seventh aspect of the present invention provides A program for executing data reproduction processing from a recording medium in an information processing device,
  • the data processing unit sequentially reads out the attribute information of the encoded three-dimensional image recorded on the recording medium from each of the hierarchized management information files during the data reproduction processing from the recording medium.
  • the attribute information related to the encoding process of the three-dimensional image is acquired as the attribute of the management data unit, and the decoding process is performed according to the acquired attribute information.
  • the program of the present invention is a program provided by, for example, a storage medium to an information processing apparatus or a computer system that can execute various program codes. By executing such a program by the program execution unit on the information processing apparatus or the computer system, processing according to the program is realized.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • a data recording / reproducing configuration is realized in which attribute information relating to encoding processing of a three-dimensional image recorded on a recording medium can be easily obtained.
  • the attribute information of the 3D image is recorded as an attribute of the management data unit of each management information file in each of the hierarchized management information files.
  • the attribute information to be recorded includes the attribute information related to the encoding process of the three-dimensional image. Specifically, an inter-image reference identification that indicates whether or not an inter-image reference between an image for the left eye (L image) and an image for the right eye (R image) may be required when decoding a three-dimensional image.
  • the playback apparatus can determine the encoding mode and perform correct decoding processing without analyzing playback target data.
  • FIG. 6 is a diagram illustrating the syntax of bdav].
  • Info file [info. [Fig. 10] Fig. 10 is a diagram illustrating the syntax of a maker private data area of bdav].
  • Info file [info. It is a figure which shows the example of a recording of the maker ID [maker_ID] recording area and the maker model code recording area of the maker private data area of bdav].
  • Info file [info. It is a figure explaining the three-dimensional image information recorded on the data block [data_block] recording area of the maker private data area of bdav].
  • Info file [info. It is a figure which shows the specific example of the three-dimensional image information recorded on the data block [data_block] recording area of the maker private data area of bdav].
  • ProgramInfo of a clip information file It is a figure explaining ProgramInfo of a clip information file, and a program sequence (program_sequence). It is a figure which shows the syntax of ProgramInfo of a clip information file. It is a figure which shows the syntax of CPI of a clip information file. It is a figure explaining EP map recorded on CPI of a clip information file. It is a figure explaining EP map recorded on CPI of a clip information file. It is a figure explaining the specific example of the three-dimensional image information (multiview_video_info) recorded on the data block [data_block] recording area in the maker private data area of a clip information file.
  • multiview_video_info three-dimensional image information
  • FIG. 10 is a diagram illustrating a flowchart for explaining a content recording processing sequence executed by the information processing apparatus.
  • FIG. 1 It is a figure which shows the flowchart explaining the recording / update process sequence of the three-dimensional image information with respect to the clip information file which an information processing apparatus performs. It is a figure which shows the flowchart explaining the recording / update process sequence of the frame 0 image identification flag as 3D image information with respect to the clip information file which an information processing apparatus performs, and a base image identification flag. It is a figure which shows the flowchart explaining the recording / update process sequence of the three-dimensional image information with respect to the play list file which an information processing apparatus performs. It is a figure which shows the flowchart explaining the additional recording process sequence of the content which information processing apparatus performs. FIG.
  • FIG. 10 is a diagram illustrating a flowchart for describing a content editing process sequence executed by the information processing apparatus.
  • FIG. 11 is a diagram illustrating a flowchart for explaining a content reproduction processing sequence executed by the information processing apparatus. It is a figure explaining the structural example of the information processing apparatus which concerns on one Example of this invention.
  • Example of recording 3D image information in a clip information file 4. Processing sequence executed by information processing apparatus 4-1.
  • Content recording processing sequence 4-2. Recording / update processing sequence of 3D image information for clip information file 4-3. Recording / updating process sequence of frame 0 image identification flag and base image identification flag as 3D image information for clip information file 4-4. Recording / updating process sequence of 3D image information for playlist file 4-5.
  • Content editing processing sequence 4-7. Content playback processing sequence Configuration example of information processing device
  • a provider of a 3D image that can be recorded on a recording medium for example, there are the following providers.
  • Broadcast content provided by a broadcaster such as a television station
  • Shooting content of a video camera
  • Net distribution content provided via a communication network such as the Internet
  • these three-dimensional image contents are recorded on a recording medium ( BD, flash memory, etc.).
  • the side-by-side method is an encoding method in which an LR image is divided into left and right in one frame image and recorded / transferred.
  • the L image means the left eye image
  • the R image means the right eye image.
  • the Top & Bottom system is an encoding system in which an LR image is divided into upper and lower parts in one frame image and recorded / transferred.
  • Frame Sequential (Frame Sequential) encoding is performed by alternately recording / transferring left-eye image (L image) and right-eye image (R image) frames in L, R, L, R,. It is a method.
  • a stream method with reference between views (1 or 2 streams) is a base view in which one of an L image and an R image is set as a reference image to be referred to in decoding processing, and the other is
  • This is a method set as a non-base view in which decoding is performed with reference to a reference image in decoding processing.
  • the arrows shown in the figure are arrows indicating images to be referred to when decoding each image.
  • the example shown in the figure is an example in which the L image is a base view and the R image is a non-base view.
  • the two-stream method without inter-view reference is a two-stream method in which the L image and the R image are respectively separate streams. Only the L image is referred to for decoding the L image, and for decoding the R image. This is a configuration that refers only to R images. This is a method in which the inter-view reference from L to R or R to L is unnecessary.
  • BDAV standard is a standard (format) for data recording and reproduction using a recording medium such as BD (Blu-ray Disc (registered trademark)), will be described.
  • BDMV Blu-ray Disc
  • BDAV Blu-ray Disc
  • BDMV is an application standard developed for BD-ROM in which, for example, movie content is recorded in advance.
  • BDAV is an application standard developed for use in rewritable BD-RE and BD-R that can be recorded only once.
  • BDAV directory which is a data recording configuration recorded on a medium according to the BDAV standard.
  • the BDAV standard described below corresponds to the BD-RE2.1 standard.
  • a directory [BDAV] is placed under the root [Root] directory.
  • a playlist file [xxxx. mpls] is set and the clip information directory [CLIPINF] has a clip information file [xxxx. clpi] is set, and the AV stream file [xxxx. m2ts] is set.
  • Info file [info. bdav] is a file according to the BDAV standard, a file for managing the entire disc, and a file having a playlist table.
  • the index file is a file that complies with the BDMV standard, and is a file that similarly manages the entire disc and that has a table of movie objects. Since a playlist file is specified from this movie object, the index file is a file that indirectly specifies a playlist. Also, the info file and the index file are common in that they are files that manage the entire disk. Therefore, when it is necessary to record various types of 3D data in the BDMV format, the information may be recorded in the index file instead of the info file, as in addition to the BDAV format described below.
  • Menu file [menu. tidx], [menu. [tdt1 / tdt2] stores thumbnail images of representative images of the respective AV stream files.
  • [Menu. tidx] stores thumbnail management information
  • [menu. [tdt1 / tdt2] stores thumbnail images.
  • the BDAV standard does not have a function for creating a menu having various information, and for example, is set to perform a simple menu display in which the first image of a video shot by the user is displayed as a thumbnail.
  • Menu file [menu. tidx], [menu. [tdt1 / tdt2] manages and stores thumbnail images for this purpose.
  • Mark file [mark. tidx], [mark. [tdt1 / tdt2] is a file that manages and stores a thumbnail image corresponding to a mark position that is index information set in an editing process or the like for a user's captured image (AV stream file).
  • [Mark. [tidx] stores thumbnail management information
  • [mark. [tdt1 / tdt2] stores thumbnail images.
  • a playlist file [xxxx. mpls] is set and the clip information directory [CLIPINF] has a clip information file [xxxx. clpi] and the clip AV stream file [xxxx. m2ts] is set.
  • the info file to clip information file are management information files applied to the reproduction of data stored in the clip AV stream file. These management information files are also called database files or databases.
  • the info file is a management information file for the recording data of the entire media. As described above, the playlist table is recorded in the info file.
  • a medium information recording medium
  • an info file is first read and a menu including a title is displayed according to the description information of the info file. The user can select a title on the menu and perform selective content reproduction.
  • [mpls] is a reproduction list that is provided corresponding to the title shown to the user and includes at least one reproduction path information (play item).
  • Each piece of playback path information (play item) is playback section designation information having a playback start point (IN point) and a playback end point (OUT point) for a clip.
  • the playback order of each playback section can be specified.
  • Clip information file [xxxx.x] recorded in the clip information directory [CLIPINF].
  • clpi] is an AV stream file [xxxx.x] recorded in the stream directory [STREAM].
  • the clip information file is a file in which information about a stream necessary for reproducing an actual stream is described.
  • AV stream file [xxxx .. recorded in the stream directory [STREAM].
  • clpi] and the AV stream file may be collectively referred to as a clip.
  • the info file to the clip information file are management information files applied to reproduction of data stored in the clip AV stream file.
  • This management information file has a hierarchical structure in which one or more playlist files are set below the info file, and one or more clip information files are set below the playlist file. That is, a plurality of different management information files are set in a hierarchy.
  • 3D image information is recorded in each of these hierarchized management information files, and when reproducing content from the media, the 3D image information is sequentially stored from these hierarchized management information files. Read and use.
  • the playback device reads 3D image information in the order of an info file, a playlist file, and a clip information file, and whether or not the playback target content includes the 3D image, or the encoding mode of the 3D image, etc. Obtain and use detailed information. This process will be described later.
  • FIG. 4 is a UML (Unified Modeling Language) diagram showing the relationship between a clip AV stream, clip information (Clip Information), clips, play items, playlists, and info files.
  • UML Unified Modeling Language
  • the playback device can first read the info file and display the menu information and the like based on the playlist file table included in the info.
  • the displayed menu presents a list such as a playlist corresponding to the content recorded on the disc, and the user can specify the title and play the content.
  • the content entity data is stored in a clip AV stream file.
  • the user designation information for the menu presented to the user based on the info file is a designation process of play list (PlayList) and reproduction path information (play item) in the play list.
  • the playlist has reproduction path information (play item) serving as reproduction section designation information.
  • the playback path information includes Main path (Main play item (PlayItem)) Sub path (Sub play item (SubPlayItem)) There are these two types. Each of these main path (main play item) and sub path (sub play item) is individually associated with one clip (Clip).
  • the main path (main play item) and the sub path (sub play item) have designation information of a playback start point (IN time) and a playback end point (OUT time).
  • the designation information of the reproduction start point (IN time) and the reproduction end point (OUT time) is used as reproduction section designation information of the content included in the clip AV stream file associated with the clip on a one-to-one basis.
  • the title designation information included in the menu presented to the user based on the information is used as the playlist or play item selection information, and the reproduction start set in the selected reproduction path information (play item) is started.
  • a playback section is determined according to the point (IN time) and the playback end point (OUT time), and a clip information file and a clip AV stream file which are clips are selected according to the determined playback section, and playback is executed.
  • One-to-one correspondence is made with the playlist, the playback path information (play item) included in the playlist, and the clip information file and clip information file whose playback start / end points are specified by the playback path information (play item).
  • the correspondence relationship with the clip AV stream file storing the reproduced content will be described with reference to FIG.
  • FIG. 5 shows a play list, playback path information (play item) included in the play list, and a clip information file and a clip information file whose playback start / end points are specified by the playback path information (play item).
  • the clip AV stream file (Clip AV stream) and the clip information file (Clip Information) that is the associated information are considered as one object, and these sets are referred to as a clip (Clip).
  • the playlist contains Main path (Main play item (PlayItem)) Sub path (Sub play item (SubPlayItem)) Is included. Each of these has designation information of a reproduction start point (IN time) and a reproduction end point (OUT time). As shown in FIG. 5, an arrow 11 from the main path (main play item (PlayItem)) and the sub path (sub play item (SubPlayItem)) to the clip information file (Clip Information) indicates a playback start point (IN time) and a playback end. Corresponds to point (OUT time) designation information.
  • the designation information of the reproduction start point (IN time) and the reproduction end point (OUT time) is used as reproduction section designation information of the content included in the clip AV stream file associated with the clip information file on a one-to-one basis. .
  • the configuration of the present invention records 3D image information, which is attribute information of a 3D image, in each of the hierarchical management information files.
  • 3D image information which is attribute information of a 3D image
  • attribute information in units of management data of each file is recorded.
  • BD Blu-ray Disc
  • flash memory can be used as a medium for recording a three-dimensional image.
  • the present invention is not limited to a specific recording medium, and can be applied to a recording / reproducing process using various media.
  • a BDAV standard format
  • a recording / playback format without definition of a recording area for information relating to a three-dimensional image.
  • the present invention is not limited to the BDAV standard. It is also applicable to other standards.
  • management information file is recorded as management information of the recorded content.
  • the management information file includes the following files.
  • (c) Clip information file The example described below is a processing example in which 3D image information is recorded in these database files and used during playback.
  • FIG. 6 shows an info file [info.info] defined as a management information file (database file) in the BDAV standard. bdav] syntax.
  • info file [info.info] defined as a management information file (database file) in the BDAV standard. bdav] syntax.
  • An information processing apparatus that performs data recording on a medium performs processing for generating and recording management information having syntax described below in content recording processing. Further, when the information processing apparatus changes the recorded content by executing processing such as editing of the recorded content, the management information is updated in accordance with the change.
  • an information processing apparatus that performs data reproduction from a medium on which content is recorded analyzes an encoded stream that is a content to be reproduced in accordance with the syntax, executes decoding processing, and generates reproduction data.
  • the info file [info. bdav] is mainly composed of the following three objects as shown in the figure.
  • UI information [UIAppInfoBDAV ()] 101
  • Playlist information [TableOfPlayLists ()]
  • Manufacturer private data area [MakersPrivateData ()] 103, These objects.
  • Info file [info. bdav] has playlist designation information.
  • UI information [UIAppInfoBDAV ()] 101 is an area in which information related to display of menu information including, for example, a content title is recorded.
  • the playlist information [TableOfPlayLists ()] 102 is an area in which playlist information for reproducing the content corresponding to the title is recorded.
  • the manufacturer private data area [MakersPrivateData ()] 103 is an area where a manufacturer who provides an information processing apparatus such as a playback device can record free information.
  • the manufacturer of the recording / reproducing apparatus is set as an area where information for a special application of each company executed in the recording / reproducing apparatus can be recorded freely.
  • [MakersPrivateData ()] 103 is set so that each manufacturer can individually insert private data.
  • the syntax of the maker private data area 103 is shown in FIG. As shown in FIG. 7, the maker private data area [MakersPrivateData ()] 103 includes: Manufacturer ID [maker_ID] recording area 111 Manufacturer model code [maker_model_code] recording area 112 Data block [data_block] recording area 113 These data recording areas are included.
  • the manufacturer ID [maker_ID] recording area 111 is a manufacturer identification information recording area in which the manufacturer private data is recorded. For example, when the recording / reproducing apparatus of company A executes content recording and records parameters to be applied to the application specific to the apparatus of company A, the ID set by company A is recorded, and actual data recording of manufacturer private data is performed. Processing for recording parameters in the area is performed.
  • the manufacturer model code [maker_model_code] recording area 112 is a code such as product identification information of an apparatus that records the manufacturer private data.
  • the data block [data_block] recording area 113 becomes the actual data recording area of the maker private data.
  • Data block [data_block] recording area 113 Three-dimensional image information (multiview_video_info) is recorded using these data recording areas.
  • the data block [data_block] recording area 113 various information unique to the manufacturer is recorded. As a part thereof, 3D image information (multiview_video_info) is recorded. According to each record information, a manufacturer ID [maker_ID], a manufacturer model code [maker_model_code], a data block [data_block], and these three sets can be set.
  • information recorded in the data block [data_block] recording area 113 is three-dimensional image information (multiview_video_info).
  • An example of a specific data recording mode is shown in FIG.
  • identification information as to whether or not the maker private data recorded in the data block is three-dimensional image information is recorded. For example, as shown in FIG. 8, when ID information [0x2000] corresponding to predefined three-dimensional image information (multiview_video_info) is recorded in the manufacturer ID [maker_ID] recording area 111, the following data blocks are recorded. It indicates that the recorded information is three-dimensional image information (multiview_video_info).
  • version information of the 3D image information recorded in the data block is recorded in the maker model code [maker_model_code] recording area 112.
  • [0x0100] is the version information of the three-dimensional image information.
  • FIG. 9 shows a specific example of the 3D image information (multiview_video_info) recorded in the data block [data_block] recording area 113 shown in FIG.
  • Flag information [Index_multiview_video_flag] 115 is recorded in the three-dimensional image information (multiview_video_info) as shown in FIG.
  • the flag information 115 is a flag that sets information about whether or not a 3D image is included in the set content under the BDAV directory (content to be managed by this info file) in the content recorded on the medium.
  • any information of flag 0/1 is set, and in the case of 0, only 2D content is included under the management target directory, and 3D content is not included. In the case of 1, there is a possibility that 3D content is included under the management target directory.
  • the playback device uses the info file to display a menu including the content title stored in the media, the content corresponding to each title is displayed based on the flag information.
  • Information about whether or not a three-dimensional image is included can be presented to the user.
  • Title A Includes 3D images
  • Title B 2D images
  • Title C Includes 3D images: Such a menu display is possible.
  • the playlist file is an info file [info. This is a file storing a playlist selected corresponding to the title selected from the title display menu using bdav].
  • info file This is a file storing a playlist selected corresponding to the title selected from the title display menu using bdav].
  • playback path information (play item) having playback section designation information having a playback start point (IN point) and a playback end point (OUT point) for a clip is stored in the playlist. is doing.
  • Each of these playlist files also includes an info file [info. Similar to bdav], a maker private data area is set. That is, this is an area where a manufacturer of an information processing apparatus such as a recording / reproducing device can record free information.
  • 3D image information (multiview_video_info) is recorded in the maker private data area of the playlist file.
  • the maker private data area of the playlist file is similar to the info file shown in FIG.
  • Manufacturer ID [maker_ID] recording area
  • Manufacturer model code [maker_model_code] recording area
  • Data block [data_block] recording area
  • multiview_video_info recorded in the data block [data_block] recording area in the maker private data area of the playlist file
  • the following information is recorded in the data block [data_block] recording area in the maker private data area of the playlist file.
  • 3D image flag [PlayList_multiview_video_flag] 121 3D image configuration information [PlayList_multiview_video_configuration] 122, Frame 0 image identification flag [PlayList_frame0_is_Left_flag] 123, Base image identification flag [PlayList_base_view_is_Left_flag] 124, Main path image identification flag [PlayList_MainPath_is_Left_flag] 125, Encoding mode identification flag [PlayList_use_entropy_coding_mode_flag] 126, Inter-image reference identification flag [PlayList_use_inter-view_prediction_flag] 127, These pieces of information are three-dimensional image information recorded in each playlist file.
  • the apparatus that performs content recording determines whether or not a 3D image is included in the recorded content, and the data block [data_block] recording area in the maker private data area of the playlist file in accordance with the determination information is shown in FIG.
  • the three-dimensional image information shown is recorded.
  • An apparatus that executes content reproduction can execute correct three-dimensional image reproduction by applying the information recorded in the playlist file.
  • An apparatus that executes content recording determines whether or not a recorded content includes a three-dimensional image, and records the flag according to the determination information.
  • An apparatus that performs content reproduction can identify whether or not a content to be reproduced using this playlist includes a three-dimensional image by referring to the value of the flag.
  • the 3D image configuration information 122 is set as an area for recording encoding mode information of a 3D image that is a content reproduced by the playlist.
  • the MVC encoding method with values 30 to 32 corresponds to the encoding method shown in FIG. In this case, the elementary stream is classified as 1 or 2, and the system stream is classified as 1 or 2.
  • the encoding method of values 40 to 41 corresponds to the encoding method shown in FIG. In this case, the elementary stream is classified as 2, and the system stream is classified as 1 or 2.
  • the device that performs content recording records the above value according to the encoding mode information.
  • a device that performs content reproduction can refer to the above values, identify the encoding mode of content to be reproduced using this playlist, and execute a decoding process corresponding to the identification information.
  • Frame 0 is an image for the left eye (L image)
  • Frame 1 is an image for the right eye (R image)
  • Frame 0 is right-eye image (R image)
  • Frame 1 is an image for the left eye (L image)
  • L images and R images are alternately displayed on the display device, and the shutter of the shutter-type glasses worn by the user is opened and closed in accordance with the display.
  • the L image is observed only by the user's left eye
  • the R image is observed only by the right eye, so that a correct sense of depth can be obtained.
  • a device that performs content recording records the above value according to frame information when the recorded content includes a three-dimensional image and the encoding mode is a frame sequential method.
  • a device that performs content playback refers to the above-mentioned values when correctly decoding content to be played back using this playlist, and accurately determines whether frame 0 is an L image or an R image. The correct reproduction display of the LR image can be performed.
  • reference encoding processing may be performed between the L image and the R image.
  • one of the LRs is used as a base view (basic image), and the other image is decoded by referring to the base view.
  • a device that performs content recording records the above values according to base view information when the recorded content includes a three-dimensional image and the encoding mode is the MVC encoding method (see FIG. 2 (4)). To do.
  • a device that performs content playback refers to the above value to determine which image the base view is LR and correctly decodes the LR image. Can be displayed.
  • the main path image identification flag 125 is the encoding method described with reference to FIG. 2 (5), that is, [independent stream (2 streams) without reference between views (not MVC)], this encoding.
  • This method records a flag used in the case of an independent 2 elementary stream / 2 system stream (2 clip AV stream).
  • the 3D image configuration information described with reference to FIG. 13 41: independent 2 elementary stream / 2 system stream (2 clip AV stream) Used for this setting.
  • the main path image identification flag 125 includes the following two paths set in the playlist, that is, Main path (main play item) Sub path (sub play item) Information for indicating whether each of these two paths corresponds to an L image or an R image is recorded.
  • the main path is a right-eye image (R image).
  • Value 3: The main path is a left-eye image (L image). Record this information. It should be noted that if the correspondence between the main path and the L / R is mixed in the playlist, or if the association information cannot be acquired, 0 (no information) is set.
  • An apparatus that performs content playback refers to the above values when decoding content to be played back using this playlist, and accurately determines which of the LR images the playback path is the main path and the sub path. And the LR image can be correctly decoded and displayed.
  • FIG. 17 shows one playlist 130.
  • the playlist 130 is Main path (main play item) 131, Sub path (sub play item) 132, have.
  • the main path (main play item) 131 holds a playback start point (IN_time) and a playback end point (OUT_time) for the clips a and 135, and plays back an AV stream associated with the clip a135.
  • the sub path (sub play item) 132 holds a reproduction start point (IN_time) and a reproduction end point (OUT_time) for the clips b and 136, and reproduces an AV stream associated with the clip b 136.
  • Pattern 1 The clip specified by the main path is an L image playback clip, The clip specified by the sub-path is an R image playback clip,
  • Pattern 2 The clip specified by the main path is an R image playback clip,
  • the clip specified by the sub path is an L image playback clip,
  • the main path image identification flag 125 shown in FIG. 16 is a flag indicating whether the main path is compatible with the L image or the R image, and the playback apparatus correctly decodes the LR image with reference to these pieces of information. Can be displayed.
  • the encoding mode identification flag 126 is an identification flag indicating whether or not an encoding process using an entropy encoding mode is being performed as an encoding process.
  • the encoding process using the entropy encoding mode specifically includes, for example, CABAC (Context-based Adaptive Binary Arithmetic Coding) This is an encoding process using.
  • an encoding process that does not use an entropy coding mode is, for example, CAVLC (Context-based Adaptive Variable Length Coding) This is an encoding process using.
  • CAVLC Context-based Adaptive Variable Length Coding
  • Value 1: The entropy coding mode is not used.
  • Value 2: There is a possibility of using an entropy coding mode. Record this information. If information about the video stream reproduced from the playlist cannot be acquired, 0 (no information) is set.
  • the encoding process applies the entropy encoding mode.
  • the above values are recorded depending on whether or not A device that performs content playback can know the encoding mode with reference to the above-described values and decode and display the LR image correctly when decoding content to be played back using this playlist.
  • the playback device may be a device that cannot perform decoding of CAVLC encoded data that is in the entropy coding mode.
  • the decoding / reproducing process of the three-dimensional image is stopped, and the two-dimensional image is reproduced by reproducing only the L image or only the R image. Can be executed. Without this flag, the playback device cannot identify whether or not it has been encoded in its own reproducible encoding mode, and thus starts the decoding process, resulting in a processing error.
  • encoded data used as playback content for one playlist is: Only encoded data without reference between the L and R images, Contains encoded data with a reference between L and R images, There are these encoded data. A flag that enables identification of these two types of data is set as the inter-image reference identification flag 127.
  • Inter-view reference may be included. These pieces of information are set. If information about the video stream reproduced from the playlist cannot be acquired, 0 (no information) is set.
  • a device that executes content recording when a recorded content includes a three-dimensional image and the encoding mode is the MVC encoding method (see FIG. 2 (4)), inter-view reference is executed in the encoding process. The above value is recorded depending on whether or not it exists.
  • a device that performs content playback can know the encoding mode with reference to the above-described values and decode and display the LR image correctly when decoding content to be played back using this playlist.
  • FIG. 20 is a diagram showing the syntax of the playlist file.
  • the playlist file is a file that stores a playlist selected corresponding to the title selected from the title display menu using the info file.
  • playback path information (play item) having playback section designation information having a playback start point (IN point) and a playback end point (OUT point) for a clip is stored in the playlist. is doing.
  • the playback path information includes Main path (Main play item (PlayItem)) Sub path (Sub play item (SubPlayItem)) There are these two types. Each of these main path (main play item) and sub path (sub play item) is individually associated with one clip (Clip).
  • Each of the main path (play item) and the sub path (sub play item) included in the playlist is set as a reproduction path for the L image and the R image.
  • Pattern 1 The clip specified by the main path is an L image playback clip, The clip specified by the sub-path is an R image playback clip, (B) Pattern 2
  • the clip specified by the main path is an R image playback clip,
  • the clip specified by the sub path is an L image playback clip,
  • An image is recorded with this pattern 1 or pattern 2 setting. As described above with reference to FIG. 13 and FIG. 16, this setting is recorded in the main path image identification flag [PlayList_MainPath_is_Left_flag] 125, and is identified with reference to this flag during reproduction. be able to.
  • a combination of a main path (play item) and a sub path (sub play item) set in a playlist is an L image and an R image that form a three-dimensional image. It is not always a combination.
  • the main path (play item) is a normal path for reproducing 2D image data.
  • the sub path (sub play item) is a playback path for audio data for post-recording.
  • main path and sub path include: Image playback paths for wide and telephoto images, An image playback path for each of the panoramic image and the partially enlarged image, a playback path for two images with different focus positions, Settings such as combinations of reproduction paths for different images are possible.
  • the main path (play item) is used as reproduction path information for main image data, but the usage form of the sub path (sub play item) is various. Accordingly, at the time of reproduction, it is necessary to perform reproduction by determining the usage mode of the sub-path.
  • 3D image information is recorded in reproduction path information (sub play item information) of a playlist file.
  • reproduction path information sub play item information
  • an area for recording the unique information of the main path (play item) and the sub path (sub play item) included in the playlist is set.
  • FIG. 21 shows the detailed syntax of the recording data in the sub path (sub play item) information recording area 142.
  • the sub path (sub play item) information recording area 142 includes: Sub path (sub play item) type information recording area 145 Is set.
  • the sub path (sub play item) is a sub path (sub play item) for reproducing one of the LR images constituting the three-dimensional image in the sub path (sub play item) type information recording area 145.
  • a sub-path usage type identification value for identifying whether or not is set is set. For example, the values shown in FIG.
  • the setting of the sub path usage type identification value is as follows.
  • Value 1: Playback path for audio stream
  • Value 2: One image playback path of the constituent image (LR image) of the three-dimensional image. Such a value is set.
  • An apparatus that executes content recording includes a three-dimensional image in recorded content, and the three-dimensional image has a main path (play item) and a sub path (sub play item) in one playlist, respectively, and an LR image reproduction path.
  • the sub-path is a reproduction path of one of the LR images constituting the three-dimensional image with reference to the above values.
  • only one sub path (sub play item) can be added to the main path (play item) in one playlist.
  • the sub path (sub play item) can be set on the whole or a part of the time axis of the main path (play item). At this time, the sub path (sub play item) may be set in such a manner as to cross the boundaries of a plurality of play items in the main path.
  • the clip information file [xxxxxxxx] recorded in the clip information directory [CLIPINF].
  • clpi] is an AV stream file [xxxx.x] recorded in the stream directory [STREAM].
  • m2ts] is set in a one-to-one correspondence.
  • the clip information file is a file in which information about a stream necessary for reproducing an actual stream is described.
  • a maker private data area is also set in the clip information file as in the playlist file and the info file. That is, this is an area where a manufacturer of an information processing apparatus such as a recording / reproducing device can record free information.
  • This example is an example in which 3D image information (multiview_video_info) is recorded in the maker private data area of the clip information file.
  • the syntax of the clip information file is shown in FIG.
  • the clip information file is composed of six objects as shown in FIG. They are, ClipInfo () 201, SequenceInfo () 202, ProgramInfo () 203, CPI () 204, ClipMark () 205, and MakersPrivateData () 206, It is.
  • ClipInfo () 201 records attribute information of the AV stream file corresponding to the clip information file.
  • the SequenceInfo () 202 will be described.
  • a time interval that does not include a discontinuity point (system time base discontinuity point) of STC (System Time Clock (reference time)) in the MPEG-2 transport stream is referred to as STC_sequence.
  • STC_sequence is: It is specified by the value of stc_id. The same STC value never appears in the same STC_sequence. Therefore, the same PTS (Presentation Time Stamp (time information for synchronous playback)) value in the same STC_sequence also never appears.
  • the system time base of Clip is divided into (N + 1) STC_sequences. SequenceInfo records the address of the place where STC discontinuity (system time base discontinuity) occurs.
  • ProgramInfo () 203 will be described. This will be described with reference to FIG. A playback section or a time section played back by a clip information file, and a playback section having the following characteristics is called a program sequence (program_sequence).
  • program_sequence The value of PCR_PID (Program Clock Reference Packet ID) does not change.
  • the number of video elementary streams does not change.
  • the PID value for each video stream and the encoding information defined by the VideoCodingInfo do not change.
  • the number of audio elementary streams does not change.
  • the PID value for each audio stream and the encoding information defined by the AudioCodingInfo do not change.
  • the program sequence has only one system time base at the same time, and has only one PMT (Program Map Table) at the same time.
  • the transport stream (TS) constituting the MPEG data includes a plurality of programs, and table information representing the relationship between the programs included in the stream and program elements such as video and audio streams constituting the programs.
  • the table information is called PSI (Program Specific Information) and includes a plurality of tables such as PAT (Program Association Table) and PMT (Program Map Table).
  • PAT describes the PID of the PMT corresponding to the program number
  • the PMT describes the video, audio, additional data, and PID of the PCR included in the corresponding program.
  • ProgramInfo records the address of the place where the program sequence (program_sequence) starts.
  • SPN_program_sequence_start indicates the address.
  • SPN is a source packet number.
  • the boundary of the program sequence (program_sequence) and the boundary of the STC_sequence do not necessarily match.
  • the play start point (IN_time) and the play end point (OUT_time) of the play item (PlayItem) need to be on the same STC_sequence, but there is no such limitation on the program sequence (program_sequence). . That is, in general, a play start point (IN_time) and a play end point (OUT_time) of a play item (PlayItem) may exist on different program sequences (program_sequence).
  • FIG. 25 is a diagram illustrating the syntax of ProgramInfo.
  • num_of_program_sequences indicates the number of program sequences (program_sequence) in the clip information file.
  • SPN_program_sequence_start [i] is a relative address where the program sequence starts on the AV stream file.
  • program_map_PID [i] indicates the PID of the PMT valid for the program sequence (program_sequence).
  • num_of_streams_in_ps [i] indicates the number of streams existing in the program sequence (program_sequence).
  • num_of_groups [i] indicates the number of stream combinations when the program sequence (program_sequence) is reproduced.
  • FIG. 26 is a diagram illustrating the syntax of CPI.
  • the CPI records data for associating time information in the AV stream with an address in the file. Specifically, an entry point map (EP map (EP_map)) 210 is recorded.
  • EP map EP_map
  • the EP map 210 will be described with reference to FIGS.
  • the EP map (EP_map) 210 is data included in the clip information file.
  • the EP map has, for example, I picture position detection information as reference data of MPEG data that is a point (entry point) at which random access can be started.
  • the I picture position detection process will be described with reference to FIG. FIG. 28A shows a clip AV stream, and each rectangle shows a 192-byte source packet. Each source packet is set with a time stamp and a playback processing time is defined.
  • the source packet No In FIG. 28 (B), the source packet No.
  • the detailed structure of (X1) is shown.
  • One source packet is composed of a TP_extra header and a transport packet, and the transport packet is composed of various types of header information and data of I-PICH ⁇ as an entity of MPEG data.
  • the clip information file shown in FIG. 28C includes an EP map as described above.
  • the EP map includes [PTS_EP start], [SPN_EP start], and [I_end_position_offset] data.
  • PTS_EP_start Time stamp (presentation time stamp) corresponding to the source packet including the sequence header.
  • SPN_EP_start Start address of source packet including sequence header.
  • I_end_position_offset Offset of source packet including end of I picture from source packet including sequence header
  • FIG. 28D shows the data relationship.
  • the configuration of data included in the source packet is defined, and each data of [PTS_EP start], [SPN_EP start], and [I_end_position_offset] shown in FIG.
  • the I picture position in the source packet is obtained based on these data.
  • the playback device can perform playback processing from an arbitrary position by obtaining the position of the I picture from the EP map.
  • ClipMark 205 is mark information about a clip, and is stored in ClipMark. This mark is set by the recorder (recording / reproducing apparatus 1), and is not set by the user.
  • MakersPrivateData () 206 in the syntax shown in FIG. Will be described.
  • a maker private data area is also set in the clip information file as in the playlist file and the info file. That is, this is an area where a manufacturer of an information processing apparatus such as a recording / reproducing device can record free information.
  • 3D image information (multiview_video_info) is recorded in the maker private data area of the clip information file.
  • the maker private data area of the clip information file is similar to the info file shown in FIG. Manufacturer ID [maker_ID] recording area Manufacturer model code [maker_model_code] recording area Data block [data_block] recording area These data recording areas are set.
  • 3D image information (multiview_video_info) recorded in the data block [data_block] recording area in the maker private data area of the clip information file will be described with reference to FIG.
  • the following information is recorded in the data block [data_block] recording area in the maker private data area of the clip information file.
  • Number of program sequences (number_of_program_sequences) 220 3D image flag [ClipInfo_multiview_video_flag] 221, 3D image configuration information [ClipInfo_multiview_video_configuration] 222, Frame 0 image identification flag [ClipInfo_frame0_is_Left_flag] 223, Base image identification flag [ClipInfo_base_view_is_Left_flag] 224, Clip corresponding image identification flag [ClipInfo_this_clip_is_Left_flag] 225, Encoding mode identification flag [ClipInfo_use_entropy_coding_mode_flag] 226, Inter-image reference identification flag [ClipInfo_use_inter-view_prediction_flag] 227, These pieces of information are recorded in each clip information file.
  • the number of program sequences (number_of_program_sequences) 220 is the number of program sequences included in the clip information file.
  • the clip information file includes one or more program sequences.
  • the program sequence is a content playback time section in which the number of video elementary streams and encoding information are not changed, and there is no large process switching. This corresponds to a divided playback section of all playback sections of the AV stream file associated with one-to-one. That is, a plurality of program sequences can be set between the reproduction start point (IN_time) and the reproduction end point (OUT_time) specified by the reproduction path (play item) of the playlist.
  • the 3D image flag 221 to the inter-image reference identification flag 227 shown in FIG. 29 are information for maintaining the 3D image information of the playlist file described above with reference to FIG. Such 3D image information is recorded in units of program sequences. Therefore, the three-dimensional image information corresponding to different program sequences may be different information.
  • An apparatus for recording content determines whether or not a 3D image is included in the recorded content, and program sequence units in a data block [data_block] recording area in the maker private data area of the clip information file according to the determination information Then, the various three-dimensional image information shown in FIG. 29 is recorded.
  • An apparatus that executes content playback can execute correct 3D image playback by applying the information recorded in the clip information file in units of program sequences.
  • these pieces of information are individually recorded in units of program sequences.
  • 3D image flag value 0: Only the 2D content is included in the reproduction target content of the clip information program sequence.
  • the 3D image flag value 1: The clip information program sequence is reproduced.
  • An apparatus that executes content recording determines whether or not a recorded content includes a three-dimensional image, and records the flag according to the determination information. This process is executed corresponding to each program sequence set in the clip information file.
  • An apparatus that performs content playback can identify whether or not a 3D image is included in a content in units of program sequences by referring to the flag value in units of program sequences in the clip information file.
  • the 3D image configuration information 222 is set as an area for recording encoding mode information of a 3D image that is a content reproduced by the clip information.
  • FIG. Value 3: side by side method
  • Value 4: top and bottom method (top and bottom)
  • Value 5: Frame sequential method (frame sequential)
  • Value 31: MVC encoded 2 elementary stream / 2 system stream (a clip includes one of two MVC encoded elementary streams)
  • Value 32: MVC encoded 1 elementary stream / 1 system stream
  • Value 40: Independent 2 elementary stream / 1 system stream (a clip includes two elementary streams encoded differently from MVC encoding)
  • Value 41: Independent 2 elementary stream / 2 system stream (a clip includes one of two elementary streams encoded differently from MVC encoding)
  • Such encoding configuration information is recorded.
  • the MVC encoding method with values 30 to 33 corresponds to the encoding method shown in FIG.
  • the elementary stream is classified as 1 or 2
  • the system stream is classified as 1 or 2.
  • the encoding method of values 40 to 41 corresponds to the encoding method shown in FIG.
  • the elementary stream is classified as 2, and the system stream is classified as 1 or 2.
  • the device that performs content recording records the above value according to the encoding mode information. This process is executed corresponding to each program sequence set in the clip information file. Note that each time the type of 3D content changes, a program sequence is divided and recorded, and three-dimensional image recording is executed with a setting that uses one program sequence as one encoding mode.
  • the device that executes content playback can execute the decoding process corresponding to the identification information by referring to the above value, identifying the encoding mode of the content to be played back using this clip information. It is possible to determine the encoding mode of the three-dimensional image in units of program sequences and execute decoding according to the mode.
  • the left-eye image (L image) and the right-eye image (R image) are set as alternating frames.
  • Frame 0 is an image for the left eye (L image)
  • Frame 1 is an image for the right eye (R image)
  • Frame 0 is right-eye image (R image)
  • Frame 1 is an image for the left eye (L image)
  • One of these combinations are possible.
  • a device that performs content recording records the above value according to frame information when the recorded content includes a three-dimensional image and the encoding mode is a frame sequential method. This process is executed corresponding to each program sequence set in the clip information file.
  • a device that performs content playback refers to the above-described value when correctly decoding content to be played back using this clip information, and accurately determines whether frame 0 is an L image or an R image. The correct reproduction display of the LR image can be performed.
  • the playback device can execute discrimination in accordance with the discrimination information by executing discrimination in units of program sequences.
  • reference encoding processing may be performed between the L image and the R image.
  • one of the LRs is used as a base view (basic image), and the other image is decoded by referring to the base view.
  • a device that performs content recording records the above values according to base view information when the recorded content includes a three-dimensional image and the encoding mode is the MVC encoding method (see FIG. 2 (4)). To do.
  • the recording process is executed in units of program sequences.
  • a device that performs content playback refers to the above value to determine which image the base view is LR and correctly decodes the LR image. Can be displayed. It is possible to acquire information in units of program sequences and switch processing.
  • the clip-corresponding image identification flag 225 is the encoding method described with reference to FIG. 2 (5), that is, [independent stream (2 streams) without reference between views (not MVC)], this encoding.
  • This method records a flag used in the case of an independent 2 elementary stream / 2 system stream (2 clip AV stream).
  • the 3D image configuration information described with reference to FIG. 31 41: Independent 2 elementary stream / 2 system stream (a clip includes two elementary streams encoded differently from MVC encoding) ) Used for this setting.
  • the clip corresponding image identification flag 225 is information indicating whether this clip is a clip corresponding to the left eye image (L image) or the right eye image (R image) constituting the three-dimensional image. It is. This information is set as information in units of program sequences.
  • the clip is a clip for the right eye image (R image), and the other clip in the pair is a clip for the left eye image (L image).
  • Value 3: The clip is a left-eye image (L image) -compatible clip, and the other pair of clips is a right-eye image (R image) -compatible clip.
  • the recording process is executed in units of program sequences.
  • An apparatus that performs content playback refers to the above values when decoding content to be played back using this clip information, and accurately determines which of the LR images the playback path is the main path and sub path. And the LR image can be correctly decoded and displayed. It is possible to acquire information in units of program sequences and switch processing.
  • the encoding mode identification flag 226 is an identification flag indicating whether or not an encoding process using an entropy coding mode is being performed as an encoding process.
  • the encoding process using the entropy coding mode entropy coding mode
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • an encoding process that does not use an entropy coding mode is, for example, CAVLC (Context-based Adaptive Variable Length Coding) This is an encoding process using.
  • Value 1: The entropy coding mode is not used.
  • Value 2: There is a possibility of using an entropy coding mode. Record this information. In addition, it is set to 0 (no information) when the information regarding the encoding of the encoding data corresponding to the program sequence of clip information cannot be acquired.
  • the encoding process applies the entropy encoding mode.
  • the above values are recorded depending on whether or not The recording process is executed in units of program sequences.
  • An apparatus that performs content reproduction can correctly decode and display an LR image by referring to the above-described values in the decoding process of content reproduced using the clip information. It is possible to acquire information in units of program sequences and switch processing.
  • the playback device may be a device that cannot perform decoding of CAVLC encoded data that is in the entropy coding mode.
  • the process of stopping the decoding / reproducing process of the three-dimensional image and reproducing the two-dimensional image by reproducing only the L image or only the R image is also possible. Can be executed. Without this flag, the playback device cannot identify whether or not it has been encoded in its own reproducible encoding mode, and thus starts the decoding process, resulting in a processing error.
  • the inter-image reference identification flag 227 is information indicating whether or not the encoding in which the inter-view reference is performed is performed when the 3D image configuration information described with reference to FIG. 31 is set to 30 to 32. is there. Even in the encoding process described with reference to FIG. 2 (4), that is, in the encoding process according to the setting of [view (view) inter-referenced stream (MVC)], the L image and the R image are actually used. There is also a case where the reference process between is not executed.
  • the encoded data that is the playback content corresponding to the program sequence of one clip information is Only encoded data without reference between the L and R images, Contains encoded data with a reference between L and R images, There are these encoded data. A flag that enables identification of these two types of data is set as the inter-image reference identification flag 227.
  • Inter-view reference may be included. These pieces of information are set. However, 0 (no information) is set when information about encoding of encoded data corresponding to a program sequence of clip information cannot be acquired.
  • a recorded content includes a three-dimensional image and the encoding mode is the MVC encoding method (see FIG. 2 (4))
  • inter-view reference is executed in the encoding process.
  • the above value is recorded depending on whether or not it exists.
  • An apparatus that performs content reproduction can correctly decode and display an LR image by referring to the above-described values in the decoding process of content reproduced using the clip information.
  • the data processing unit has a CPU having a program execution function. For example, a series of processing is executed according to a program recorded in the memory.
  • the information processing apparatus confirms the number of image (video) elementary streams of 3D image content acquired by, for example, shooting processing or input from the outside, and the number of transport streams.
  • these pieces of information are obtained from attribute information (metadata) set in the input data, or obtained by analyzing the input stream.
  • the elementary stream is a data stream immediately after image encoding
  • the transport stream is stream data in which data for synchronization with other data, for example, audio information, is set, such as a time stamp.
  • a process of generating an MPEG data file for example, an m2ts file) based on the transport stream obtained by multiplexing the above and recording it on the medium is executed.
  • the 3D image encoding method is predetermined according to the input source, such as a specific broadcasting station or a specific model device, for example, hold a table according to these input sources, It is good also as a structure which discriminate
  • step S102 it is determined whether the number of image (video) elementary streams is 1 or 2. If 1, the process proceeds to step S121, and if 2, the process proceeds to step S103. In step S103, it is determined whether the number of transport streams is 1 or 2. If 1, the process proceeds to step S121, and if 2, the process proceeds to step S111.
  • step S111 is a case where the L image and the R image constituting the three-dimensional image are set individually, that is, as two transport streams.
  • step S121 when the L image and the R image constituting the three-dimensional image are set as one transport stream.
  • step S111 is a process when the L image and the R image constituting the three-dimensional image are set individually, that is, as two transport streams.
  • step S111 the two input streams are analyzed, and the two input streams are recorded as separate AV stream files (MPEG-2 transport stream (m2ts) files) while creating an entry point map. That is, two clips are created.
  • the clip means a set of files including an AV stream file storing content entities and a clip information file as a management information file.
  • step S112 the following processing is performed for each m2ts file corresponding to two clips.
  • a program sequence indicating a 3D content portion is created.
  • the three-dimensional image flag [ClipInfo_multiview_video_flag] of the clip information file is set to [1] and recorded in the clip information file together with the entry point map (EP map).
  • program_sequence As described above, in the clip information file, information is recorded in units of program sequences (program_sequence) as playback division units in which clips are divided.
  • the program sequence has only one system time base at the same time, and has only one PMT (Program Map Table) at the same time.
  • the clip information file includes an entry point map (EP map) in which I picture position information as a playback start point in random playback or the like is recorded. ) Is recorded.
  • EP map entry point map
  • step S112 a clip information file is created for each clip corresponding to each LR image.
  • a process of recording 3D image information is performed. Details of this processing will be described later with reference to flowcharts shown in FIGS. 38 and 39.
  • step S113 reproduction path information (play item (PlayItem)) that refers to the position of a clip including 3D content is generated for the first clip.
  • Play item PlayItem
  • a clip corresponding to one of the LR images as a constituent stream of the three-dimensional image content is a first clip
  • a clip corresponding to the other image is a second clip.
  • reproduction path information (sub play item (SubPlayItem)) that refers to the position of the clip including the 3D content is generated for the second clip.
  • step S115 a playlist including a main path (play item (PlayItem)) and a sub path (sub play item (SubPlayItem)) is created. Furthermore, the 3D image flag [Playlist_multiview_video_flag] of the playlist file indicating that the playlist includes 3D image content is set to [1].
  • processing for setting a value corresponding to the recorded image is executed for the three-dimensional image information other than the three-dimensional image flag. This detailed processing will be described later with reference to the flowchart shown in FIG.
  • step S131 the info file is updated.
  • a process of setting a 3D image flag [Index_multiview_video_flag] indicating that 3D content is included in 3D image information recorded in the info file to [1] is performed.
  • step S121 is a process in the case where the L image and the R image constituting the three-dimensional image are set as one transport stream.
  • step S121 one input stream is analyzed, and the input stream is recorded as one AV stream file (MPEG-2 transport stream (m2ts) file) while creating an entry point map. That is, one clip is created.
  • a clip means a set of files consisting of an AV stream file storing content entities and a clip information file as a management information file.
  • step S122 the following processing is performed on the m2ts file corresponding to the clip.
  • a program sequence indicating a 3D content portion is created.
  • the three-dimensional image flag [ClipInfo_multiview_video_flag] of the clip information file is set to [1] and recorded in the clip information file together with the entry point map (EP map).
  • EP map entry point map
  • a process of recording 3D image information is performed. Details of this processing will be described later with reference to flowcharts shown in FIGS. 38 and 39.
  • step S123 reproduction path information (play item (PlayItem)) that refers to the position of the clip including the 3D content is generated for the clip.
  • play item Player
  • the clips are stored in one clip together with the LR image, the path information to be generated is only the main path (play item), and the sub path (sub play item) for the three-dimensional image is not generated.
  • step S124 a play list including a main path (play item (PlayItem)) is created. Furthermore, the 3D image flag [Playlist_multiview_video_flag] of the playlist file indicating that the playlist includes 3D image content is set to [1]. At the time of creating the playlist file, processing for setting a value corresponding to the recorded image is executed for the three-dimensional image information other than the three-dimensional image flag. This detailed processing will be described later with reference to the flowchart shown in FIG.
  • step S131 the info file is updated.
  • a process of setting a 3D image flag [Index_multiview_video_flag] indicating that 3D content is included in 3D image information recorded in the info file to [1] is performed.
  • step S151 a program sequence to be processed in a clip is selected.
  • step S152 it is determined whether or not the content corresponding to the selected program sequence includes 3D content. If included, the process proceeds to step S153. If not included, the process proceeds to step S154.
  • step S154 the process proceeds to step S154, and the 3D image flag [ClipInfo_multiview_video_flag] corresponding to the program sequence of the clip information file is set to [0]. That is, a flag indicating that a 3D image is not included in the content corresponding to the program sequence is set. Thereafter, the process proceeds to step S156.
  • step S152 determines whether the content corresponding to the selected program sequence includes 3D content. If it is determined in step S152 that the content corresponding to the selected program sequence includes 3D content, the process proceeds to step S153, and the 3D image flag [ClipInfo_multiview_video_flag] corresponding to the program sequence of the clip information file is set to [1]. set. That is, a flag indicating that a content corresponding to a program sequence includes a three-dimensional image is set.
  • step S155 another 3D image information recording process corresponding to the program sequence of the clip information file is executed. That is, the value setting process for the following three-dimensional image information described above with reference to FIG. 29 is performed.
  • 3D image configuration information [ClipInfo_multiview_video_configuration] Frame 0 image identification flag [ClipInfo_frame0_is_Left_flag] Base image identification flag [ClipInfo_base_view_is_Left_flag] Clip-compatible image identification flag [ClipInfo_this_Clip_is_Left_flag] Coding mode identification flag [ClipInfo_use_entropy_coding_mode_flag] Inter-image reference identification flag [ClipInfo_use_inter-view_prediction_flag] Processing for setting these set values according to the recording / update data is performed. Note that these pieces of information are set according to information such as the coding mode of the three-dimensional image to be recorded.
  • step S156 it is determined whether or not the processing for all the program sequences set in the clip has been completed. If there is an unfinished program sequence, the processing in step S151 and subsequent steps is executed for the unfinished program sequence. To do. If it is determined in step S156 that the processing has been completed for all the program sequences set for the clip, the processing is terminated.
  • step S161 a program sequence to be processed in a clip is selected.
  • step S162 3D image configuration information [ClipInfo_multiview_video_configuration] is acquired from the 3D image information corresponding to the selected program sequence, and it is determined whether or not the setting value is [5]. That is, it is determined whether or not the encoding method is a frame sequential method.
  • the frame 0 image identification flag is a value that is referred to only in the playback device when the frame sequential method is used, and in the recording process, the valid information is recorded only when the recorded image is the frame sequential method. .
  • step S162 if it is determined that the set value of the three-dimensional image configuration information is [5], the process proceeds to step S163. If it is determined that the set value is not [5], the process proceeds to step S167.
  • step S162 If it is determined in step S162 that the set value of the three-dimensional image configuration information is [5], in step S163, metadata in the image (video) elementary stream, for example, SEI (Supplemental Enhancement Information) or user data, is set. (user data) is analyzed to determine which of the L / R images the frame 0 image corresponds to.
  • SEI Supplemental Enhancement Information
  • user data is analyzed to determine which of the L / R images the frame 0 image corresponds to.
  • step S167 three-dimensional image configuration information [ClipInfo_multiview_video_configuration] is acquired from the three-dimensional image information corresponding to the selected program sequence, and it is determined whether or not the setting value is [30], [31], or [32]. To do. That is, it is determined whether or not the coding method is a coding method that may perform inter-view reference.
  • the base image identification flag [ClipInfo_base_view_is_Left_flag] is a value that is referred to only in the playback apparatus when the encoding method is likely to perform the inter-view reference. Only when the encoding method is likely to perform the reference, the valid information is recorded.
  • step S167 If it is determined in step S167 that the set value of the 3D image configuration information is [30], [31], or [32], the process proceeds to step S168, and is not [30], [31], or [32]. If so, the process proceeds to step S172.
  • step S167 If it is determined in step S167 that the set value of the three-dimensional image configuration information is [30], [31] or [32], metadata in the image (video) elementary stream, for example, SEI, in step S168. (Supplemental Enhancement Information) or user data (user data) is analyzed to determine which of the L / R images the base view image corresponds to.
  • SEI Supplemental Enhancement Information
  • user data user data
  • step S172 it is determined whether or not the processing for all of the program sequences set in the clip has been completed. If there is an unfinished program sequence, the processing from step S161 is executed on the unfinished program sequence. To do. If it is determined in step S172 that the processing for all the program sequences set in the clip has been completed, the processing ends.
  • step S181 it is determined whether or not the content corresponding to the playlist to be processed includes 3D content. If included, the process proceeds to step S182. If not included, the process proceeds to step S183.
  • step S183 the process proceeds to step S183, and the 3D image flag [PlayList_multiview_video_flag] of the playlist file is set to [0]. That is, a flag indicating that a 3D image is not included in the content corresponding to the playlist is set, and the process ends.
  • step S181 when it is determined in step S181 that the content corresponding to the processing target playlist includes 3D content, the process proceeds to step S182, and the 3D image flag [PlayList_multiview_video_flag] corresponding to the program sequence of the playlist file is set to [1]. Set to. That is, a flag indicating that the content corresponding to the playlist includes a three-dimensional image is set.
  • step S184 the recording process of the other three-dimensional image information of a play list file is performed. That is, the value setting process for the following three-dimensional image information described above with reference to FIG. 11 is performed.
  • 3D image configuration information [PlayList_multiview_video_configuration] Frame 0 image identification flag [PlayList_frame0_is_Left_flag] Base image identification flag [PlayList_base_view_is_Left_flag] Main path image identification flag [PlayList_MainPath_is_Left_flag] Encoding mode identification flag [PlayList_use_entropy_coding_mode_flag] Inter-image reference identification flag [PlayList_use_inter-view_prediction_flag] Processing for setting these set values according to the recording / update data is performed. Note that these pieces of information are set according to information such as the coding mode of the three-dimensional image to be recorded. After these processes, the process is terminated.
  • step S201 an instruction to execute additional recording of 3D content for an existing playlist is input.
  • instruction information from a user who additionally records a captured image is input.
  • step S202 The processing after step S202 is similar to the processing described above with reference to FIG.
  • the information processing apparatus checks the number of image (video) elementary streams of the 3D image content acquired by, for example, shooting processing or input from the outside, and the number of transport streams.
  • these pieces of information are acquired from attribute information (metadata) set in the input data or obtained by analyzing the input stream.
  • step S203 it is determined whether the number of image (video) elementary streams is 1 or 2. If 1, the process proceeds to step S121, and if 2, the process proceeds to step S204. In step S204, it is determined whether the number of transport streams is 1 or 2. If it is 1, the process proceeds to step S221. If it is 2, the process proceeds to step S211.
  • step S211 is a case where the L image and the R image constituting the three-dimensional image are set individually, that is, as two transport streams.
  • step S221 the L image and the R image constituting the three-dimensional image are set as one transport stream.
  • step S211 is a process when the L image and the R image constituting the three-dimensional image are set individually, that is, as two transport streams.
  • step S211 the two input streams are analyzed, and the two input streams are recorded as separate AV stream files (MPEG-2 transport stream (m2ts) files) while creating an entry point map. That is, two clips are created.
  • the clip means a set of files including an AV stream file storing content entities and a clip information file as a management information file.
  • step S212 the following processing is performed for each m2ts file corresponding to two clips.
  • a program sequence indicating a 3D content portion is created.
  • the three-dimensional image flag [ClipInfo_multiview_video_flag] of the clip information file is set to [1] and recorded in the clip information file together with the entry point map (EP map).
  • step S212 a clip information file is created for each clip corresponding to each LR image.
  • a process of recording 3D image information is performed. In this step, the processing described above with reference to the flowcharts shown in FIGS. 38 and 39 is executed.
  • step S213 The processes in the next steps S213 to S215 are processes related to the playlist file.
  • step S213 reproduction path information (play item (PlayItem)) that refers to the position of a clip including 3D content is generated for the first clip.
  • Play item PlayerItem
  • a clip corresponding to one of the LR images as a constituent stream of the three-dimensional image content is a first clip
  • a clip corresponding to the other image is a second clip.
  • step S214 reproduction path information (sub play item (SubPlayItem)) referring to the position of the clip including the 3D content is generated for the second clip.
  • step S215 a main path (play item (PlayItem)) and a sub path (sub play item (SubPlayItem)) are added to the play list to be added. Furthermore, the 3D image flag [Playlist_multiview_video_flag] of the playlist file indicating that the playlist includes 3D image content is set to [1]. At the time of updating the playlist file, processing for setting a value corresponding to the recorded image is executed for the three-dimensional three-dimensional image information other than the three-dimensional image flag. This detailed processing is as described above with reference to the flowchart shown in FIG.
  • step S231 a process of setting a 3D image flag [Index_multiview_video_flag] indicating that 3D content is included in 3D image information recorded in the info file to [1] is performed.
  • step S221 is a process in the case where the L image and the R image constituting the three-dimensional image are set as one transport stream.
  • step S221 one input stream is analyzed, and the input stream is recorded as one AV stream file (MPEG-2 transport stream (m2ts) file) while creating an entry point map. That is, one clip is created.
  • a clip means a set of files consisting of an AV stream file storing content entities and a clip information file as a management information file.
  • step S222 the following processing is performed on the m2ts file corresponding to the clip.
  • a program sequence indicating a 3D content portion is created.
  • the three-dimensional image flag [ClipInfo_multiview_video_flag] of the clip information file is set to [1] and recorded in the clip information file together with the entry point map (EP map).
  • EP map entry point map
  • a process of recording 3D image information is performed. Details of this processing are as described above with reference to the flowcharts shown in FIGS.
  • step S223 The processes in the next steps S223 to S224 are processes related to the playlist file.
  • reproduction path information (play item (PlayItem)) that refers to the position of the clip including the 3D content is generated for the clip.
  • the clips are stored in one clip together with the LR image, the path information to be generated is only the main path (play item), and the sub path (sub play item) for the three-dimensional image is not generated.
  • step S224 a main path (play item (PlayItem)) as reproduction path information corresponding to the additional recording content is created in the additional recording target playlist. Furthermore, the 3D image flag [Playlist_multiview_video_flag] of the playlist file indicating that the playlist includes 3D image content is set to [1]. Note that when the playlist file is updated, processing for setting a value corresponding to the recorded image is executed for 3D image information other than the 3D image flag. This detailed processing is as described above with reference to the flowchart shown in FIG.
  • step S231 a process of setting a 3D image flag [Index_multiview_video_flag] indicating that 3D content is included in 3D image information recorded in the info file to [1] is performed.
  • FIG. 42 is a flow for explaining a processing sequence when an editing process for deleting the three-dimensional image content recorded on the medium is performed.
  • step S301 a content deletion instruction input from the user is detected.
  • This content deletion is performed in a prescribed deletion unit. Specifically, it is executed in units of play items that are reproduction path information set in the playlist.
  • step S302 the designated portion of the clip (clip information file and AV stream file) referenced by the play item designated for deletion is deleted.
  • step S303 the play item designated to be deleted is deleted.
  • step S305 Proceed to
  • step S307 the set value of the 3D image flag [Playlist_multiview_video_flag] is set to [1] in all the playlists set under the directory (for example, the BDAV directory shown in FIG. 3) in which the editing target playlist is set. It is determined whether or not there is a play list. That is, it is determined whether or not there remains a playlist set with a flag indicating that a three-dimensional image is included. When it remains, it progresses to step S309, and when it does not remain, it progresses to step S308.
  • step S309 the setting value [1] of the three-dimensional image flag [Index_multiview_video_flag] of the info file of the directory including the playlist to be edited is maintained without change. That is, the value of the flag indicating that the content under the management of the info file includes a 3D image is maintained as it is.
  • the setting value [1] of the three-dimensional image flag [Index_multiview_video_flag] of the file is changed to [0]. That is, a flag value indicating that a 3D image is not included in the content managed by the info file is set.
  • step S401 the information processing apparatus detects a reproduction instruction input.
  • the content reproduction instruction is executed by, for example, a reproduction instruction input by the user on the initial display menu.
  • step S403 the processing after step S403 will be described.
  • step S403 the plane configuration inside the playback apparatus (player), that is, the playback processing configuration, is set to execute playback processing of a two-dimensional image, and further processing to set video output to output setting of a two-dimensional image is performed. .
  • step S404 a list of titles is displayed on the display unit, and playback of the titles (playlists) is started in response to user input. Alternatively, automatic title playback is started.
  • the title list display is performed using data held in the info file.
  • reproduction of the designated title is started. Note that, if the setting is made to reproduce the title-corresponding content defined in advance by default regardless of whether or not the user designates, the content is reproduced.
  • step S405 the content specified by the user or the content specified in advance is executed.
  • the 3D content is not included in the information file management content, 2D content playback processing is performed.
  • step S406 when the reproduction end instruction is not detected, the processing from step S404 is repeated, and the content reproduction is continued. If a playback end instruction is detected in step S406, the process ends.
  • step S411 the plane configuration inside the playback apparatus (player), that is, the playback processing configuration is set to execute the playback processing of the 3D image, and the video output is set to the output setting of the 3D image.
  • step S412 a list of titles is displayed, and playback of the titles (playlists) is started in response to user input. Alternatively, automatic title playback is started. Note that the title list display is performed using data held in the info file. When the user designates a specific title for the title list, reproduction of the designated title is started. Note that, if the setting is made to reproduce the title-corresponding content defined in advance by default regardless of whether or not the user designates, the content is reproduced.
  • step S413 the 3D image information set in the playlist file corresponding to the reproduction title is acquired. That is, the following information described above with reference to FIG. 3D image flag [PlayList_multiview_video_flag], 3D image configuration information [PlayList_multiview_video_configuration], Frame 0 image identification flag [PlayList_frame0_is_Left_flag], Base image identification flag [PlayList_base_view_is_Left_flag], Main path image identification flag [PlayList_MainPath_is_Left_flag], Encoding mode identification flag [PlayList_use_entropy_coding_mode_flag], Inter-image reference identification flag [PlayList_use_inter-view_prediction_flag],
  • the playback device first refers to the three-dimensional image flag [PlayList_multiview_video_flag] and the three-dimensional image configuration information [PlayList_multiview_video_configuration].
  • the reproduction device determines whether or not the encoded data can be reproduced and executed by the own device based on the three-dimensional image configuration information.
  • the encoding process using the entropy coding mode is, for example, CABAC (Context-based Adaptive Binary Arithmetic Coding) This is an encoding process using.
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • an encoding process that does not use an entropy coding mode is, for example, CAVLC (Context-based Adaptive Variable Length Coding) This is an encoding process using.
  • step S414 If it is determined in step S414 that the encoded data cannot be reproduced by the own apparatus, the process proceeds to step S415, and the reproduction process of the two-dimensional image is executed by applying the three-dimensional image.
  • This process is an exceptional process. For example, a reproduction process using only the L image as reproduction data is executed.
  • step S414 determines whether the encoded data can be reproduced by the own apparatus. If it is determined in step S414 that the encoded data can be reproduced by the own apparatus, the process proceeds to step S416, where the taste source image is reproduced.
  • the reproduction process is performed by referring to the 3D image information set in the playlist file and the clip information file and executing the optimum process corresponding to the reference information.
  • 3D image information is set for each program sequence, and when program sequence switching is executed, the reference 3D image information is also switched to execute processing.
  • step S417 when the reproduction end instruction is not detected, the processing from step S412 is repeated and the content reproduction is continued. If a playback end instruction is detected in step S417, the process ends.
  • the title list display process executed in step S404 or step S412 includes determination information based on a 3D image identification flag included in a management information file such as an info file or a playlist file, that is, a 3D image. It is good also as a structure which performs the process which displays the determination information of whether there is a possibility of being displayed on a display part.
  • the determination information based on the three-dimensional image identification flag of the info file is displayed and recorded on the recording medium.
  • Whether or not there is a possibility that a 3D image is included in the title unit of the content that has been displayed can be determined by displaying determination information based on the 3D image identification flag of the playlist file. By this display, the user can determine the presence or absence of a three-dimensional image for the entire medium or for each title.
  • FIG. 44 is a block diagram illustrating a configuration example of the information processing apparatus 400 according to an embodiment of the present invention.
  • the information processing apparatus 400 is an apparatus that performs at least one of data recording and data reproduction on the medium 410. Specifically, for example, a recording / reproducing apparatus, a player apparatus, a recorder apparatus, a video camera, a PC, or the like is used.
  • a disk type medium is shown as the medium 410, but the medium is not limited to the disk type medium, and may be a medium such as a flash memory.
  • the information processing apparatus 400 includes a data processing unit (recording / playback processing unit) 401, a memory 402, an input unit 403, an output unit 404, a media interface 405, and a local storage unit 406.
  • the data processing unit 401 has a CPU having a program execution function for executing various data processing programs. For example, an application program for performing data recording / playback processing is executed. For example, processing according to the flowcharts shown in FIGS. 37 to 43 is executed.
  • the memory 402 includes a RAM, a ROM, and the like, and is used as a storage area for application programs executed in the data processing unit 401.
  • the memory 402 is also used as an application parameter and work area, and is also used as a buffer area for media recording data.
  • the input unit 403 is, for example, a user operation unit, and various inputs such as data recording or reproduction instruction input are performed. Note that the input unit 403 includes a remote controller, and remote controller operation information can also be input.
  • the output unit 404 is an image or audio output unit configured by a display, a speaker, and the like.
  • the media interface 405 is an interface applied to data recording / playback processing using the media 410.
  • data is written to the medium 410, and data is read from the medium 410.
  • the local storage unit 406 is constituted by, for example, a hard disk. For example, it is used as a recording area for various data such as contents and programs.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • a data recording / reproducing configuration that enables easy acquisition of attribute information related to encoding processing of a three-dimensional image recorded on a recording medium is realized.
  • the attribute information of the 3D image is recorded as an attribute of the management data unit of each management information file in each of the hierarchized management information files.
  • the attribute information to be recorded includes the attribute information related to the encoding process of the three-dimensional image.
  • an inter-image reference identification that indicates whether or not an inter-image reference between an image for the left eye (L image) and an image for the right eye (R image) may be required when decoding a three-dimensional image.
  • the playback apparatus can determine the encoding mode and perform correct decoding processing without analyzing playback target data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

記録メディアに記録された3次元画像の符号化処理に関する属性情報を容易に取得可能としたデータ記録再生構成を実現する。3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する。記録する属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する。具体的には、3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データ、あるいは、3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを属性情報として記録する。この構成により、再生装置は再生対象データの解析を行うことなく符号化態様を判別して正しい復号処理を実行できる。

Description

情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
 本発明は、情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。さらに詳細には、ディスクやフラッシュメモリなどの記録メディアを利用した3次元画像(3D画像)のデータ記録処理またはデータ再生処理を実行する情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムに関する。
 昨今、3次元画像(3D画像)を表示可能としたテレビなどの表示装置や、3次元画像(3D画像)を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。3D画像は異なる視点からの撮影画像、すなわち左目用画像と右目用画像を利用して表示処理が行われる。従って、3次元画像をメディアに記録する場合は、左目用画像と右目用画像の1組の画像を記録することが必要となり、再生処理に際してはこれらの1組の画像を利用して再生を行うことになる。
 3次元画像データの記録あるいは転送に際して行われる符号化方式には様々な方式がある。例えば、代表的な方式として、
 フレームシーケンシャル(Frame Sequential)方式、
 サイドバイサイド(Side by Side)方式、
 トップアンドボトム(Top&Bottom)方式、
 これらの方式が知られている。
 フレームシーケンシャル(Frame Sequential)方式は、左目用画像(L画像)と右目用画像(R画像)のフレームをL、R、L、R、・・・と交互に記録/転送する符号化方式である。
 サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録/転送する符号化方式である。
 トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録/転送する符号化方式である。
 現行はこのような様々な方式が混在して利用されている。例えば、テレビ放送向けにある放送局が配信している3Dコンテンツはサイドバイサイド方式である。また、あるビデオカメラによる記録方式はフレームシーケンシャル方式である。このような多様な方式が混在している現状では、例えば録画再生機にデータを記録する場合、それぞれの方式を判別するための情報や各方式に対応した制御情報や属性情報を記録することが必要となる。また再生時には各方式を判別して各方式に応じた制御情報や属性情報を利用して再生することが必要となる。しかしながら、現行のメディアに対する映像記録や再生規格には、これら様々な3次元画像方式の制御情報や属性情報の記録領域が設定されていないものが存在するという問題がある。
 例えば、映像の記録再生アプリケーション規格(フォーマット)としてBDMVやBDAV規格(フォーマット)がある。これらのアプリケーション規格は、主にBD(Blu-ray Disc(登録商標))を利用したデータ記録再生アプリケーション規格として策定されたものである。なお、BD規格については例えば特許文献1(特開2002-158972号公報)、特許文献2(特開2007-179671号公報)に記載がある。なお、BDMVやBDAVは、主にBDを利用したデータ記録再生のアプリケーション規格であるが、これらの規格はBDに限らず、フラッシュメモリなど、その他のBD以外のメディアを利用したデータ記録再生にも適用可能である。
 BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格であり、主に、パッケージコンテンツ等の書き換え不能なBD-ROMで広く使われている。BDMVは、ユーザ操作に応じて再生を制御するプログラムとしてのナビコマンドやBD-Jをディスクに格納し、コンテンツ制作者が意図した様々なインタラクティブ機能を提供できるという特徴がある。またグラフィックスとボタンで構成したメニュー画面を利用した記録再生が出来るという特徴がある。
 BDMV規格は、上述のように主に映画コンテンツなどを予め記録したBD-ROM向けのアプリケーション規格であり、コンテンツ制作者の意図に従ったコンテンツの記録再生が可能なようにコンテンツ固有の様々な制御情報や属性情報を記録できる仕様となっている。3次元画像の記録再生に必用となる制御情報や属性情報についてもBDMV規格に従って記録可能であり、既に、3Dコンテンツの記録されたBDMV規格対応のディスクがユーザに提供されている。
 なお、2009年12月に、BDA(Blu-ray Disc Association)は、BD対応の3次元画像記録再生方式に関するブルーレイ3D(Blu-ray 3D)の仕様を最終決定したことを発表し、消費者が家庭で3D体験を楽しむ環境が整いつつある。この仕様については、非特許文献1[http://www.blu-raydisc.com/jp/Press/PressRelease.html]に記載がある。この仕様は、読み出し専用メディアであるBD-ROMに3Dコンテンツを格納可能とした拡張されたBDMV規格であり、「BD-ROM Part3 ver2.4」として規定されている。
 一方、BDAVは、主に書き換え可能なBD-RE型ディスクや、一回のみ記録可能なBD-R型ディスク等を利用したデータ記録再生処理に適用することを目的として開発された規格である。BDAVは、例えばユーザがビデオカメラなどで撮影した映像をBD-RE型ディスクやBD-R型ディスクに記録し再生する際に利用される。あるいは、ビデオレコーダなどにテレビ放送を記録し再生するために利用される。しかし、BDAV規格はユーザによる容易なデータの記録を可能とするため、複雑な制御情報の記録や再生には不向きであるという特徴がある。例えば、BDMVに比較するとインタラクティブ機能やコンテンツ記録再生のための多様な制御を実現するための機能が少ないという特徴がある。
 上述したようにBD-ROM向けのBDMV規格は3次元画像の記録再生が可能であるが、現行のBDAV規格は3次元画像コンテンツを記録し再生するために必要となる情報の記録領域が規定されていない。また、BD-ROM用途ではない、書き換え可能な記録媒体や一回のみ記録可能な記録媒体を利用したデータ記録再生アプリケーション規格であり、BDMV規格とも呼ばれるBD-RE Part3 ver3.xにおいても、BDAV規格と同様に、3次元画像コンテンツを記録し再生するために必要となる情報の記録領域が規定されていない。
 従って、3次元画像を撮影可能なカメラによって撮影された3次元画像データをBDAV規格で記録しても、3次元画像の再生に必要なデータが失われ、3次元画像の再生ができなくなる可能性がある。同様に、放送波として受信する3次元画像コンテンツをBDレコーダ等によりBDAV規格で記録しても3次元画像の再生に必要なデータが失われてしまい、3次元画像の再生ができなくなるという問題が発生する可能性があった。
特開2002-158972号公報 特開2007-179671号公報
http://www.blu-raydisc.com/jp/Press/PressRelease.html
 本発明は、例えば上述の状況に鑑みてなされたものであり、3次元画像の記録再生に必要となる情報の記録や、これらの情報を利用した3次元画像の再生を実現する情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
 さらに、本発明の一実施態様では、例えばBDAV規格等、3次元画像の記録再生に必用となる情報の記録領域が規定されていない規格を適用したデータ記録再生処理において、3次元画像の記録や再生を可能とする情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムを提供することを目的とする。
 本発明の第1の側面は、
 記録メディアに対するデータ記録処理を行うデータ処理部を有し、
 前記データ処理部は、
 記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
 前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装置にある。
 さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する。
 さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する。
 さらに、本発明の情報処理装置の一実施態様において、前記エントロピー符号化モードを利用した処理は、CABAC(Context-based Adaptive Binary Arithmetic Coding)である。
 さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、さらに、前記3次元画像の符号化方式を示す3次元画像構成情報を前記属性情報に含めて前記管理情報ファイルに記録する。
 さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、
 (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
 (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
 上記(a)~(b)に示す管理情報ファイルの各々に各管理情報ファイルの管理データ単位で前記属性情報を記録する。
 さらに、本発明の第2の側面は、
 記録メディアからのデータ再生処理を行うデータ処理部を有し、
 前記データ処理部は、
 記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理装置にある。
 さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報から取得し、取得した画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行する。
 さらに、本発明の情報処理装置の一実施態様において、前記データ処理部は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報から取得し、取得した符号化態様識別データに応じて復号態様を決定して復号処理を実行する。
 さらに、本発明の情報処理装置の一実施態様において、前記エントロピー符号化モードを利用した処理は、CABAC(Context-based Adaptive Binary Arithmetic Coding)である。
 さらに、本発明の情報処理装置の一実施態様において、前記属性情報は、3次元画像の符号化方式を示す3次元画像構成情報を含み、前記データ処理部は、前記3次元画像構成情報に基づいて、前記記録メディアに記録された3次元画像の符号化方式を判別する。
 さらに、本発明の情報処理装置の一実施態様において、前記属性情報は、
 (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
 (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
 上記(a)~(b)に示す管理情報ファイルの各々に記録され、
 前記データ処理部は、プレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから管理データ単位の属性情報を読み出す。
 さらに、本発明の第3の側面は、
 画像データを記録した情報記録媒体であり、
 再生対象となるコンテンツとして3次元画像データを格納したストリームファイルと、
 前記コンテンツの管理情報を格納した階層化構成を持つ管理情報ファイルを記録データとして有し、
 前記階層化された管理情報ファイルの各々は、記録コンテンツに含まれる3次元画像の属性情報として、前記3次元画像データの符号化処理に関する属性情報を格納し、
 前記コンテンツを再生する再生装置が、管理情報ファイルの階層に従って前記属性情報を順次参照することで、情報記録媒体の記録コンテンツに含まれる3次元画像の符号化処理に関する属性を各管理情報ファイルの管理データ単位の属性として解析可能とした構成を持つ情報記録媒体にある。
 さらに、本発明の情報記録媒体の一実施態様において、前記属性情報は、前記3次元画像の復号時に左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを含み、前記再生装置が、前記画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行可能とした。
 さらに、本発明の情報記録媒体の一実施態様において、前記属性情報は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを含み、前記再生装置が、前記符号化態様識別データに応じて復号態様を決定して復号処理を実行可能とした。
 さらに、本発明の情報記録媒体の一実施態様において、前記属性情報は、
 (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
 (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
 上記(a)~(b)に示す管理情報ファイルの各々に記録され、
 前記再生装置が、まずプレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから前記属性情報を読み出し、各管理情報ファイルの管理するデータ単位で3次元画像の符号化処理に関する属性を解析可能とした。
 さらに、本発明の第4の側面は、
 情報処理装置において記録メディアに対するデータ記録処理を実行する情報処理方法であり、
 データ処理部が、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
 前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装方法にある。
 さらに、本発明の第5の側面は、
 情報処理装置において記録メディアからのデータ再生処理を実行する情報処理方法であり、
 データ処理部が、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理方法にある。
 さらに、本発明の第6の側面は、
 情報処理装置において記録メディアに対するデータ記録処理を実行させるプログラムであり、
 データ処理部に、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行させ、
 前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する処理を実行させるプログラムにある。
 さらに、本発明の第7の側面は、
 情報処理装置において記録メディアからのデータ再生処理を実行させるプログラムであり、
 データ処理部に、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出させ、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得させて、取得した属性情報に従って復号処理を行わせるプログラムにある。
 なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本発明の一実施例によれば、記録メディアに記録された3次元画像の符号化処理に関する属性情報を容易に取得可能としたデータ記録再生構成を実現する。3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する。記録する属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する。具体的には、3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データ、あるいは、3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを属性情報として記録する。この構成により、再生装置は再生対象データの解析を行うことなく符号化態様を判別して正しい復号処理を実行できる。
3次元画像の符号化方式について説明する図である。 3次元画像の符号化方式について説明する図である。 BDAV規格に従ってメディアに記録されるデータ記録構成であるBDAVディレクトリについて説明する図である。 BDAV規格に含まれる管理情報であるデータベースファイル(インフォファイル[info.bdav])~クリップ情報ファイル)に基づくデータ管理構成について説明する図である。 プレイリストと再生パス情報(プレイアイテム)と、クリップ情報ファイルとクリップAVストリームファイルとの対応関係について説明する図である。 BDAV規格における管理情報ファイル(データベースファイル)として定義されているインフォファイル[info.bdav]のシンタクスを示す図である。 インフォファイル[info.bdav]のメーカプライベートデータ領域のシンタクスを説明する図である。 インフォファイル[info.bdav]のメーカプライベートデータ領域のメーカID[maker_ID]記録領域、メーカモデルコード記録領域の記録例を示す図である。 インフォファイル[info.bdav]のメーカプライベートデータ領域のデータブロック[data_block]記録領域に記録される3次元画像情報について説明する図である。 インフォファイル[info.bdav]のメーカプライベートデータ領域のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックのデータについて説明する図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 メインパスとサプパスの利用形態について説明する図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのメーカプライベートデータ領域内のデータブロックに記録されるデータの具体例を示す図である。 プレイリストファイルのシンタクスを示す図である。 サブパス(サブプレイアイテム)情報記録領域142の記録データの詳細シンタクスを示す図である。 プレイリストファイルのサブパス(サブプレイアイテム)情報記録領域の記録データの具体例について説明する図である。 クリップ情報ファイルのシンタクスを示す図である。 クリップ情報ファイルのProgramInfoと、プログラムシーケンス(program_sequence)について説明する図である。 クリップ情報ファイルのProgramInfoのシンタクスを示す図である。 クリップ情報ファイルのCPIのシンタクスを示す図である。 クリップ情報ファイルのCPIに記録されるEPマップについて説明する図である。 クリップ情報ファイルのCPIに記録されるEPマップについて説明する図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報(multiview_video_info)の具体例について説明する図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報の具体例を示す図である。 情報処理装置の実行するコンテンツの記録処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するクリップ情報ファイルに対する3次元画像情報の記録/更新処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するクリップ情報ファイルに対する3次元画像情報としてのフレーム0画像識別フラグと、ベース画像識別フラグの記録/更新処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するプレイリストファイルに対する3次元画像情報の記録/更新処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するコンテンツの追記処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するコンテンツの編集処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置の実行するコンテンツの再生処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る情報処理装置の構成例について説明する図である。
 以下、図面を参照しながら本発明の情報処理装置、情報記録媒体、および情報処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
 1.記録メディアを利用した記録再生処理の対象となる3次元画像のソースおよび3次元画像の符号化方式についての概要
 2.BDAV規格の概要
 3.3次元画像情報の記録処理、および記録された3次元画像情報を利用した再生処理について
 3-1.管理情報ファイル(データベースファイル)を利用した3次元画像情報の記録処理と利用処理について
 3-1-a.インフォファイルに3次元画像情報を記録する例
 3-1-b.プレイリストファイルに3次元画像情報を記録する例
 3-1-c.プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する例
 3-1-d.クリップ情報ファイルに3次元画像情報を記録する例
 4.情報処理装置の実行する処理シーケンスについて
 4-1.コンテンツの記録処理シーケンス
 4-2.クリップ情報ファイルに対する3次元画像情報の記録/更新処理シーケンス
 4-3.クリップ情報ファイルに対する3次元画像情報としてのフレーム0画像識別フラグと、ベース画像識別フラグの記録/更新処理シーケンス
 4-4.プレイリストファイルに対する3次元画像情報の記録/更新処理シーケンス
 4-5.コンテンツの追記処理シーケンス
 4-6.コンテンツの編集処理シーケンス
 4-7.コンテンツの再生処理シーケンス
 5.情報処理装置の構成例について
  [1.記録メディアを利用した記録再生処理の対象となる3次元画像のソースおよび3次元画像の符号化方式についての概要]
 まず、例えば、BD(Blu-ray Disc(登録商標))やフラッシュメモリ等、様々な記録メディアに記録可能な3次元画像の提供元としてのソース、および現在利用されている3次元画像の符号化方式についての概要を説明する。
 記録メディアに記録可能な3次元画像の提供主体としては例えば以下のような提供主体がある。
 (1)テレビ局等の放送事業者の提供する放送コンテンツ
 (2)ビデオカメラの撮影コンテンツ
 (3)インターネット等の通信ネットワークを介して提供されるネット配信コンテンツ
 例えばこれらの3次元画像コンテンツが記録メディア(BD、フラッシュメモリなど)に対する記録コンテンツとなる。
 3次元画像の記録あるいは転送処理に際しては、所定のフォーマットに従った符号化処理がなされる。3次元画像の符号化方式の例について説明する。
 図1、図2を参照して3次元画像の符号化方式の以下の5つの方式について説明する。
 (1)サイドバイサイド方式
 (2)トップアンドボトム方式
 (3)フレームシーケンシャル方式
 (4)ビュー間参照ありストリーム方式(1または2ストリーム)(MVC)
 (5)ビュー間参照なし2ストリーム方式
 (1)サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録/転送する符号化方式である。なお、L画像は左眼用画像、R画像は右眼用画像を意味する。
 (2)トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録/転送する符号化方式である。
 (3) フレームシーケンシャル(Frame Sequential)方式は、左目用画像(L画像)と右目用画像(R画像)のフレームをL、R、L、R、・・・と交互に記録/転送する符号化方式である。
 (4)ビュー間参照ありストリーム方式(1または2ストリーム)(MVC:Multi View Coding)は、L画像とR画像のいずれか一方を復号処理において参照される参照画像として設定したベースビュー、他方を復号処理において参照画像を参照して復号を行うノンベースビューとして設定した方式である。図に示す矢印は、各画像の復号に際して参照対象となる画像を示す矢印である。図に示す例は、L画像をベースビュー、R画像をノンベースビューとした例である。この方式では、L画像とR画像を各々個別のストリームとした2ストリーム方式と、L画像とR画像を混合した1つのストリームとして設定した1ストリーム方式がある。
 (5)ビュー間参照なし2ストリーム方式は、L画像とR画像を、各々個別のストリームとした2ストリーム方式であり、L画像の復号にはL画像のみを参照し、R画像の復号にはR画像のみを参照する構成であり。LからRまたはRからLのビュー間参照を不要とした方式である。
 3次元画像の符号化方式には、このように様々な符号化方式が存在し、放送コンテンツ、ビデオ記録コンテンツ等において利用される方式は統一されていないのが現状である。従って、3次元画像を例えばメディアに記録する場合には、これらの方式を判別可能な情報を記録するとともに、方式に応じた様々な制御情報や属性情報を記録することが必要となり、また再生時には、メディアに記録された3次元画像の符号化方式情報を読み取った方式に応じた復号処理を実行することが必要となる。
  [2.BDAV規格の概要]
 次に、例えばBD(Blu-ray Disc(登録商標))等の記録メディアを利用したデータ記録再生の規格(フォーマット)であるBDAV規格の概要について説明する。
 前述したように、主にBD(Blu-ray Disc(登録商標))を利用したデータ記録再生のアプリケーション規格としてBDMV規格およびBDAV規格がある。なお、これらの規格はBDに限らず、フラッシュメモリなど、その他のメディアを利用したデータ記録再生にも適用可能な規格である。
 BDMVは、例えば映画コンテンツなどを予め記録したBD-ROM向けに開発されたアプリケーション規格である。
 BDAVは書き換え可能なBD-REや、一回のみ記録可能なBD-Rで利用することを目的に開発されたアプリケーション規格である。
 図3を参照して、BDAV規格に従ってメディアに記録されるデータ記録構成であるBDAVディレクトリについて説明する。なお、BDAV規格にも様々なバージョンがあるが、以下において説明するBDAV規格はBD-RE2.1規格に対応したものである。図3に示すように、ルート[Root]ディレクトリの下に、ディレクトリ[BDAV]が置かれる。
 ディレクトリ[BDAV]の直下に、
 インフォファイル[info.bdav]、
 メニューファイル[menu.tidx],[menu.tdt1/tdt2]
 マークファイル[mark.tidx],[mark.tdt1/tdt2]
 が記録される。
 さらにBDAVディレクトリ[BDAV]の下位ディレクトリとして、
 プレイリストディレクトリ[PLAYLIST]、
 クリップ情報ディレクトリ[CLIPINF]、
 ストリームディレクトリ[STREAM]、
 が設定される。
 プレイリストディレクトリ[PLAYLIST]にプレイリストファイル[xxxxx.mpls]が設定され、クリップ情報ディレクトリ[CLIPINF]にクリップ情報ファイル[xxxxx.clpi]が設定され、ストリームディレクトリ[STREAM]にAVストリームファイル[xxxxx.m2ts]が設定される。
 インフォファイル[info.bdav]は、BDAV規格に従ったファイルであり、ディスク全体を管理するファイルであって、プレイリストのテーブルを持つファイルである。一方、インデックスファイルは、BDMV規格に従ったファイルであり、同様にディスク全体を管理するファイルであり、ムービーオブジェクトのテーブルをもつファイルである。このムービーオブジェクトからプレイリストファイルが指定されるため、インデックスファイルは、間接的にプレイリストを指定するファイルである。また、インフォファイルと、インデックスファイルはディスク全体を管理するファイルという点で共通である。そのため、BDMV形式で多種の3Dデータを記録する必要がある場合には、下記に述べるBDAV形式での追加と同様に、インフォファイルの代わりにインデックスファイルに記録すればよい。
 メニューファイル[menu.tidx],[menu.tdt1/tdt2]は、各AVストリームファイルの代表画のサムネイル画像を格納する。[menu.tidx]がサムネイル管理情報を格納し、[menu.tdt1/tdt2]がサムネイル画像を格納している。
 BDAV規格では、BDMV規格と違い、様々な情報を持つメニューの作成機能がなく、例えばユーザの撮影した映像の先頭画像をサムネイルとして表示する簡易的なメニュー表示を行う設定としている。メニューファイル[menu.tidx],[menu.tdt1/tdt2]はこのためのサムネイル画像を管理、格納している。
 マークファイル[mark.tidx],[mark.tdt1/tdt2]は、ユーザの撮影画像(AVストリームファイル)に対する編集処理などにおいて設定したインデックス情報であるマーク位置に対応するサムネイル画像を管理、格納しているファイルである。[mark.tidx]がサムネイル管理情報を格納し、[mark.tdt1/tdt2]がサムネイル画像を格納している。
 プレイリストディレクトリ[PLAYLIST]にプレイリストファイル[xxxxx.mpls]が設定され、クリップ情報ディレクトリ[CLIPINF]にクリップ情報ファイル[xxxxx.clpi]が設定され、ストリームディレクトリ[STREAM]にクリップAVストリームファイル[xxxxx.m2ts]が設定される。
 インフォファイル~クリップ情報ファイルはクリップAVストリームファイルに格納されたデータの再生に適用する管理情報ファイルである。これらの管理情報ファイルはデータベースファイル、またはデータベースとも呼ばれる。
 インフォファイルは、メディア全体の記録データについての管理情報ファイルである。インフォファイルには、上述したようにプレイリストのテーブルを記録している。メディア(情報記録媒体)を記録再生装置に装填した際にはまずインフォファイルが読み込まれ、インフォファイルの記述情報に従ってタイトルを含むメニューが表示される。ユーザはメニュー上のタイトルを選択して選択的なコンテンツ再生を行うことができる。
 プレイリストディレクトリ[PLAYLIST]に記録されるプレイリストファイル[xxxxx.mpls]は、ユーザに見せるタイトルに対応して設けられ、少なくとも1以上の再生パス情報(プレイアイテム)で構成される再生リストである。各再生パス情報(プレイアイテム)は、クリップに対する再生開始点(IN点)と再生終了点(OUT点)を持つ再生区間指定情報である。例えば複数のプレイリストの複数の再生パス情報(プレイアイテム)を時間軸上に並べることで、それぞれの再生区間の再生順序を指定することができる。
 クリップ情報ディレクトリ[CLIPINF]に記録されるクリップ情報ファイル[xxxxx.clpi]は、ストリームディレクトリ[STREAM]に記録されるAVストリームファイル[xxxxx.m2ts]に対応して設定される。クリップ情報ファイルは、実際のストリームを再生する上で必要となるストリームに関する情報が記載されたファイルである。
 ストリームディレクトリ[STREAM]に記録されるAVストリームファイル[xxxxx.m2ts]は、様々な符号化方式で符号化された画像データを含むストリームが格納されているファイルである。なお、AVストリームファイル[xxxxx.m2ts]はクリップAVストリームファイルとも呼ばれる。3次元画像データもこのAVストリームファイル(=クリップAVストリームファイル)内に格納される。
 なお、クリップ情報ディレクトリ[CLIPINF]に記録されるクリップ情報ファイル[xxxxx.clpi]と、AVストリームファイルを併せてクリップと総称する場合がある。
 上述したように、インフォファイル~クリップ情報ファイルはクリップAVストリームファイルに格納されたデータの再生に適用する管理情報ファイルである。この管理情報ファイルは、インフォファイルの下位に1以上のプレイリストファイル、プレイリストファイルの下位に1以上のクリップ情報ファイルが設定された階層構成を持つ。すなわち複数の異なる管理情報ファイルが階層化された設定となっている。本発明の構成では、これらの階層化された管理情報ファイルの各々に3次元画像情報を記録し、メディアからのコンテンツ再生時には、これらの階層化された管理情報ファイルから順次、3次元画像情報を読み取って利用する。
 再生装置は、例えば、インフォファイル、プレイリストファイル、クリップ情報ファイルの順で3次元画像情報を読み取って再生対象コンテンツに3次元画像が含まれるか否か、あるいは3次元画像の符号化態様等の詳細情報を取得して利用する。なお、この処理については後段において説明する。
 図4を参照して、BDAV規格に含まれる管理情報であるデータベースファイル(インフォファイル~クリップ情報ファイル)に基づくデータ管理構成について説明する。図4は、クリップAVストリーム、クリップ情報(Clip Information)、クリップ、プレイアイテム、プレイリスト、インフォファイルの関係を示すUML(Unified Modeling Language)図である。
 インフォファイルは、例えばBDAV対応コンテンツを記録したディスク等のメディアに一つのみ存在する。再生装置は、まず、インフォファイルを読み出して、インフォに含まれるプレイリストファイルのテーブルに基づいてメニュー情報等を表示させることができる。表示されたメニューには、ディスクに記録したコンテンツに対応するプレイリスト等のリストが提示され、ユーザは、タイトルを指定してコンテンツを再生することができる。なお、コンテンツ実体データはクリップAVストリームファイルに格納されている。
 インフォファイルに基づいてユーザに提示されるメニューに対するユーザの指定情報は、プレイリスト(PlayList)やプレイリスト内の再生パス情報(プレイアイテム)の指定処理となる。プレイリストは前述したように、再生区間指定情報となる再生パス情報(プレイアイテム)を有する。
 再生パス情報(プレイアイテム)には、
 メインパス(メインプレイアイテム(PlayItem))
 サブパス(サブプレイアイテム(SubPlayItem))
 これらの2種類が存在する。
 これらのメインパス(メインプレイアイテム)、サブパス(サブプレイアイテム)の各々は、個別にある1つのクリップ(Clip)に対応付けられている。
 メインパス(メインプレイアイテム)や、サブパス(サブプレイアイテム)は、再生開始点(IN time)と再生終了点(OUT time)の指定情報を持つ。これらの再生開始点(IN time)と再生終了点(OUT time)の指定情報は、クリップに1対1に対応付けられるクリップAVストリームファイルに含まれるコンテンツの再生区間指定情報として利用される。
 このように、インフォに基づいてユーザに提示されるメニューに含まれるタイトルの指定情報がプレイリストやプレイアイテムの選択情報として利用され、選択された再生パス情報(プレイアイテム)に設定された再生開始点(IN time)と再生終了点(OUT time)に従って再生区間が決定され、決定した再生区間に応じてクリップであるクリップ情報ファイルおよびクリップAVストリームファイルが選択され再生が実行される。図4に示す構造を定義することにより、クリップAVストリームファイルを変更することなく、任意の部分だけを再生する、非破壊の再生順序指定を行うことが可能となる。
 プレイリストと、プレイリストに含まれる再生パス情報(プレイアイテム)、さらに再生パス情報(プレイアイテム)によって再生開始/終了点を指定されるクリップ情報ファイル、クリップ情報ファイルと1対1に対応付けられた再生コンテンツを格納したクリップAVストリームファイルとの対応関係について、図5を参照して説明する。
 図5には、プレイリストと、プレイリストに含まれる再生パス情報(プレイアイテム)、さらに再生パス情報(プレイアイテム)によって再生開始/終了点を指定されるクリップ情報ファイル、クリップ情報ファイルを示している。なお、クリップAVストリームファイル(Clip AV stream)とその付属情報であるクリップ情報ファイル(Clip Informatoion)は、1つのオブジェクトと考え、これらのセットをクリップ(Clip)と称する。
 先に説明したように、プレイリストには、
 メインパス(メインプレイアイテム(PlayItem))
 サブパス(サブプレイアイテム(SubPlayItem))
 が含まれる。これらは、各々が再生開始点(IN time)と再生終了点(OUT time)の指定情報を持つ。図5に示す、メインパス(メインプレイアイテム(PlayItem))と、サブパス(サブプレイアイテム(SubPlayItem))からクリップ情報ファイル(Clip Informatoion)に向けた矢印11が再生開始点(IN time)と再生終了点(OUT time)の指定情報に対応する。
 これらの再生開始点(IN time)と再生終了点(OUT time)の指定情報は、クリップ情報ファイルに1対1に対応付けられるクリップAVストリームファイルに含まれるコンテンツの再生区間指定情報として利用される。
  [3.3次元画像情報の記録処理、および記録された3次元画像情報を利用した再生処理について]
 次に、3次元画像情報の記録処理、および記録された3次元画像情報を利用した再生処理について説明する。例えば、上述したBDAV規格など、既存のデータ記録再生規格(フォーマット)の多くは、3次元画像に関する属性情報を記録する領域を定義していないものが多い。このようなフォーマットに従って3次元画像を記録しても2次元画像と同様に記録され、再生時に通常の2次元画像として再生される可能性がある。以下では、このような問題を解決するために、記録メディアに3次元画像を記録する場合、記録画像が3次元画像であるか否かの情報や、3次元画像の符号化態様情報、さらに3次元画像の記録や再生に適用する制御情報等を含む様々な属性情報を記録し、再生時にこれらの属性情報を参照することで3次元画像を正しく再生可能とした構成について説明する。
 本発明の構成は、階層化された管理情報ファイルの各々に3次元画像の属性情報である3次元画像情報を記録する。各管理情報ファイルには各ファイルの管理データ単位の属性情報が記録される。メディアからのコンテンツ再生時には、これらの階層化された管理情報ファイルから順次、3次元画像情報を読み取って、各管理情報ファイルの管理データ単位の属性を認識することが可能となり、各データ単位で正しい3次元画像の復号、再生処理が実現される。
 なお、3次元画像を記録するメディアは、例えばBD(Blu-ray Disc(登録商標))やフラッシュメモリなど様々なメディアが利用可能である。本発明は特定の記録メディアに限らず、様々なメディアを利用した記録再生処理に適用できる。
 また、以下では、3次元画像に関する情報の記録領域の定義のない記録再生フォーマットとしてBDAV規格(フォーマット)を例として説明するが、これは一例であり、本発明は、BDAV規格に限らず、その他の規格に対しても適用可能である。
  (3-1.管理情報ファイル(データベースファイル)を利用した3次元画像情報の記録処理と利用処理について)
 まず、BD(Blu-ray Disc(登録商標))などのディスクやフラッシュメモリなど、様々な記録メディアを利用したコンテンツ記録再生において、管理情報ファイル(データベースファイル)に3次元画像情報を記録する処理と利用処理について説明する。
 先に説明したように、BDAV規格ではメディアに対するコンテンツ記録に際して、実体データとしてのコンテンツはAVストリームファイルに格納されて記録される。さらに、記録コンテンツの管理情報として管理情報ファイル(データベースファイル)が記録される。管理情報ファイル(データベースファイル)には以下のファイルが含まれる。
 (a)インフォファイル[info.bdav]
 (b)プレイリストファイル
 (c)クリップ情報ファイル
 以下において説明する例は、これらのデータベースファイルに3次元画像情報を記録し、再生時に利用する処理例である。
  (3-1-a.インフォファイルに3次元画像情報を記録する例)
 まず、インフォファイル[info.bdav])に3次元画像情報を記録する例について説明する。
 図6に、BDAV規格における管理情報ファイル(データベースファイル)として定義されているインフォファイル[info.bdav]のシンタクスを示す。
 なお、以下の説明では、BDAV規格で定義されている様々な管理情報についてのシンタクスについて図を参照して説明する。メディアへのデータ記録を実行する情報処理装置は、コンテンツ記録処理に際して以下において説明するシンタクスからなる管理情報を生成して記録する処理を行う。また、情報処理装置が、記録済みコンテンツの編集などの処理を実行して記録コンテンツを変更した場合も、変更に併せて管理情報の更新が実行されることになる。また、コンテンツを記録したメディアからデータ再生を実行する情報処理装置は、シンタクスに従って再生対象コンテンツである符号化ストリームを解析して復号処理を実行して再生データを生成する。
 なお、以下の各図に示すシンタクスには、左からシンタクス項目(Syntax)、ビット長(No.of bits)、およびそのタイプ・伝送順序を示すニーモニック(Mnemonic)を要素として示してある。
 図6に示すインフォファイル[info.bdav]は、図に示すように主として以下の3個のオブジェクトから構成される。
 UI情報[UIAppInfoBDAV()]101、
 プレイリスト情報[TableOfPlayLists()]102、
 メーカプライベートデータ領域[MakersPrivateData()]103、
 これらのオブジェクトである。
 インフォファイル[info.bdav]は、プレイリストの指定情報を持つ。
 上記情報中、UI情報[UIAppInfoBDAV()]101は、例えばコンテンツタイトル等を含むメニュー情報の表示に関する情報を記録した領域である。
 プレイリスト情報[TableOfPlayLists()]102はタイトルに対応するコンテンツを再生するためのプレイリスト情報を記録した領域である。
 メーカプライベートデータ領域[MakersPrivateData()]103は、例えば再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。例えば、記録再生装置のメーカが、記録再生装置において実行する各社の特別なアプリケーションのための情報などを自由に記録できる領域として設定されている。なお、[MakersPrivateData()]103は、各メーカが個別にプライベートデータを挿入できる設定となっている。
 メーカプライベートデータ領域103のシンタクスを図7に示す。
 図7に示すように、メーカプライベートデータ領域[MakersPrivateData()]103には、
 メーカID[maker_ID]記録領域111
 メーカモデルコード[maker_model_code]記録領域112
 データブロック[data_block]記録領域113
 これらのデータ記録領域が含まれる。
 まず、これらのデータ記録領域の一般的な利用形態について説明する。
 メーカID[maker_ID]記録領域111は、メーカプライベートデータを記録したメーカの識別情報記録領域である。例えばA社の記録再生装置がコンテンツ記録を実行してA社の装置固有のアプリケーションに適用するパラメータを記録する場合などには、A社の設定したIDを記録し、メーカプライベートデータの実データ記録領域にパラメータを記録する処理が行われる。
 メーカモデルコード[maker_model_code]記録領域112は、そのメーカプライベートデータを記録した装置の製品識別情報等のコードである。
 データブロック[data_block]記録領域113がメーカプライベートデータの実データ記録領域となる。   
 本実施例では、図7に示す
 メーカID[maker_ID]記録領域111
 メーカモデルコード[maker_model_code]記録領域112
 データブロック[data_block]記録領域113
 これらのデータ記録領域を利用して3次元画像情報(multiview_video_info)を記録する。
 なお、データブロック[data_block]記録領域113には、メーカ固有の様々な情報が記録される。その一部として3次元画像情報(multiview_video_info)が記録されることになる。
 各記録情報に応じて、メーカID[maker_ID]、メーカモデルコード[maker_model_code]、データブロック[data_block]、これらの3つのセットが設定可能となる。
 従って、データブロック[data_block]記録領域113に3次元画像についての属性情報や制御情報を記録する場合、まず、データブロック[data_block]記録領域113に記録された情報が、3次元画像情報(multiview_video_info)であるか否かについてのインデックス情報を、
 メーカID[maker_ID]記録領域111
 メーカモデルコード[maker_model_code]記録領域112
 これらのフィールドに記録する。具体的なデータ記録態様の一例を図8に示す。
 メーカID[maker_ID]記録領域111には、データブロックに記録されたメーカプライベートデータが3次元画像情報であるか否かの識別情報を記録する。
 例えば、図8に示すように、メーカID[maker_ID]記録領域111に、予め定義された3次元画像情報(multiview_video_info)に対応するID情報[0x2000]が記録されている場合、以下のデータブロックに記録された情報が3次元画像情報(multiview_video_info)であることを示す。
 また、メーカモデルコード[maker_model_code]記録領域112には、データブロックに記録された3次元画像情報のバージョン情報を記録する。図8に示す例では、[0x0100]が3次元画像情報のバージョン情報である。
 図7に示すデータブロック[data_block]記録領域113に記録される3次元画像情報(multiview_video_info)の具体例を図9に示す。
 3次元画像情報(multiview_video_info)には、図9に示すようにフラグ情報[Index_multiview_video_flag]115が記録される。
 フラグ情報115は、メディアに記録されたコンテンツにおけるBDAVディレクトリ下の設定コンテンツ(このインフォファイルによる管理対象コンテンツ)に3次元画像が含まれるか否かについての情報を設定したタフラグである。
 フラグ情報115の具体例を図10に示す。
 フラグの値=0:管理対象ディレクトリ下には2Dコンテンツのみ含まれ、3Dコンテンツは含まれない
 フラグの値=1:管理対象ディレクトリ下に3Dコンテンツが含まれている可能性がある。
 このようにフラグ=0/1のいずれかの情報が設定され、0の場合は、管理対象ディレクトリ下には2Dコンテンツのみ含まれ、3Dコンテンツは含まれない。1の場合は、管理対象ディレクトリ下に3Dコンテンツが含まれている可能性がある。
 これらの情報を判別可能としている。
 このようなフラグ情報をインフォファイルに含めることで、例えば再生装置はインフォファイルを利用して、メディアに格納されたコンテンツタイトルを含むメニュー表示を行う場合、フラグ情報に基づいて各タイトル対応のコンテンツに3次元画像が含まれるか否かの情報をユーザに提示することができる。
 例えば、
 タイトルA:3次元画像を含みます
 タイトルB:2次元画像です タイトルC:3次元画像を含みます
  :
 このようなメニュー表示が可能となる。
 なお、コンテンツ記録を行う装置は、記録コンテンツに3次元画像が含まれる場合、このフラグ=1にセットし、記録コンテンツに3次元画像が含まれない場合、このフラグ=0にセットしたインフォファイルを生成して記録する。なお、その後、記録データに対する編集や削除を行った場合、フラグの値は、クリップを確認して3Dコンテンツが消えていれば0にセットするといった更新処理を実行する。
  (3-1-b.プレイリストファイルに3次元画像情報を記録する例)
 次に、プレイリストファイルに3次元画像情報を記録する例について説明する。上述した例は、インフォファイル[info.bdav])のメーカプライベートデータ領域に3次元画像情報を記録する例について説明した。
 プレイリストファイルは、先に図4、図5を参照して説明したように、インフォファイル[info.bdav]を用いたタイトル表示メニューから選択されたタイトルに対応して選択されるプレイリストを格納したファイルである。図5を参照して説明したように、プレイリストには、クリップに対する再生開始点(IN点)と再生終了点(OUT点)を持つ再生区間指定情報を持つ再生パス情報(プレイアイテム)を格納している。
 メディアには複数のタイトル各々に対応付けられた複数のプレイリストファイルが存在する。これらプレイリストファイルの各々にも、インフォファイル[info.bdav]と同様、メーカプライベートデータ領域が設定されている。すなわち、例えば記録再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。
 本例は、このプレイリストファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する例である。
 なお、プレイリストファイルのメーカプライベートデータ領域にも、図7に示したインフォファイルと同様、
 メーカID[maker_ID]記録領域
 メーカモデルコード[maker_model_code]記録領域
 データブロック[data_block]記録領域
 これらのデータ記録領域が設定される。
 プレイリストファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する場合、プレイリストファイルのメーカID記録領域にはデータブロックに記録されたデータが3次元画像情報であるか否かの識別情報を記録する。同様にプレイリストファイルのメーカモデルコード[maker_model_code]記録領域には、データブロックに記録された3次元画像情報のバージョン情報を記録する。これらは図8を参照して説明したインフォファイルの場合と同様の記録構成である。
 次に、図11を参照してプレイリストファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報(multiview_video_info)の具体例について説明する。
 プレイリストファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域には、図11に示すように、以下の情報が記録される。
 3次元画像フラグ[PlayList_multiview_video_flag]121、
 3次元画像構成情報[PlayList_multiview_video_configuration]122、
 フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]123、
 ベース画像識別フラグ[PlayList_base_view_is_Left_flag]124、
 メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]125、
 符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]126、
 画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]127、
 これらの情報が、各プレイリストファイルに記録される3次元画像情報である。
 これらは各プレイリストファイルによって指定される再生対象コンテンツに関する管理情報であり、プレイリストファイルに含まれる再生パス情報(プレイアイテム)によって規定される再生指定区間のコンテンツに対応して設定される情報となる。
 従って再生対象コンテンツが異なるプレイリストファイルには異なる情報が記録される。
 コンテンツ記録を行う装置は、記録コンテンツに3次元画像が含まれるか否かを判別して、判別情報に応じてプレイリストファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に図11に示す3次元画像情報を記録する。
 コンテンツ再生を実行する装置は、このプレイリストファイルに記録された情報を適用することで正しい3次元画像再生を実行できる。
 図11に示すメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される各情報の詳細例について、図12以下を参照して説明する。
 (3次元画像フラグ[PlayList_multiview_video_flag]121)
 まず、3次元画像フラグ121の具体例について図12を参照して説明する。
 3次元画像フラグ121は、プレイリストの管理対象データに3次元画像が含まれる可能性があるか否かを示す3次元画像識別データである。図12に示すように、
 3次元画像フラグの値=0:このプレイリストの再生対象コンテンツには2Dコンテンツのみ含まれ、3Dコンテンツは含まれない
 3次元画像フラグの値=1:このプレイリストの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
 このようにフラグ=0/1のいずれかの情報を記録する。
 なお、本例では、プレイリストに含まれる再生パス(プレイアイテム)単位では3次元画像情報を持っていない例として説明しているが、プレイリストの下位区分であるプレイアイテム単位の情報としては、後述するクリップ情報ファイルのプログラムシーケンス(program_sequence)ごとに設定する3次元画像情報が利用できる。
 また、1つのプレイリストに対応する記録コンテンツが、プレイアイテム単位で2D画像と3D画像が混在する可能性がある。この場合は、フラグ設定は、以下の設定とする。
 3次元画像フラグの値=1:このプレイリストの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
 この設定とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれるか否かを判別して、判別情報に応じて上記のフラグを記録する。
 コンテンツ再生を実行する装置は、フラグの値を参照し、このプレイリストを利用して再生されるコンテンツに3次元画像が含まれるか否か識別できる。
 (3次元画像構成情報[PlayList_multiview_video_configuration]122)
 次に、3次元画像構成情報122の具体例について図13を参照して説明する。
 3次元画像構成情報122は、このプレイリストによって再生されるコンテンツである3次元画像の符号化態様情報を記録する領域として設定される。
 具体的には、図13に示すように以下の設定である。
 値=3:サイドバイサイド方式(side by side)
 値=4:トップアンドボトム方式(top and bottom)
 値=5:フレームシーケンシャル方式(frame sequential)
 値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
 値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
 値=32:MVC符号化1エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
 値=40:独立2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)(MVC符号化でない)
 値=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)(MVC符号化でない)
 このような符号化構成情報を記録する。
 なお、プレイリスト内の3Dコンテンツの種別を知ることができない場合、あるいは、プレイリスト内で、3Dコンテンツの種別が混在している場合は、20(no information)とする。
 値=3のサイドバイサイド方式は、図1(1)に示す符号化方式に対応する。
 値=4のトップアンドボトム方式は、図1(2)に示す符号化方式に対応する。
 値=5のフレームシーケンシャル方式は、図1(3)に示す符号化方式に対応する。
 値30~32のMVC符号化方式は、図2(4)に示す符号化方式に対応する。
 この場合は、エレメンタリストリームが1または2、システムストリームが1または2の場合に分類されている。
 値40~41の符号化方式は、図2(5)に示す符号化方式に対応する。
 この場合はエレメンタリストリームが2、システムストリームが1または2の場合に分類されている。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれる場合、その符号化態様情報に応じて上記の値を記録する。
 コンテンツ再生を実行する装置は、上記の値を参照し、このプレイリストを利用して再生されるコンテンツの符号化態様を識別して、識別情報に対応した復号処理を実行することができる。
  (フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]123)
 次に、フレーム0画像識別フラグ123の具体例について図14を参照して説明する。
 フレーム0画像識別フラグ123は、3次元画像の符号化方式がフレームシーケンシャル方式(図1(3)参照)の場合に記録され、再生時に利用される情報である。すなわち、図13を参照して説明した3次元画像構成情報=5の場合に利用される。
 図1(3)に示すようにフレームシーケンシャル方式の場合、左眼用画像(L画像)と右眼用画像(R画像)が交互のフレームとして設定される。
 例えば、
 フレーム0が左眼用画像(L画像)
 フレーム1が右眼用画像(R画像)
 あるいは、
 フレーム0が右眼用画像(R画像)
 フレーム1が左眼用画像(L画像)
 これらの組み合わせのいずれかとなる。
 再生する場合、例えば表示装置には、L画像とR画像が交互に表示され、その表示に合わせて例えば、ユーザの装着したシャッタ式メガネのシャッタの開閉が実行される。
 この処理によって、L画像はユーザの左眼のみによって観察され、R画像は右眼のみによって観察され正しい奥行き感を得ることができる。
 しかし、L画像とR画像の取り違えが発生すると、表示部にL画像が表示されているタイミングにシャッタ式メガネの右眼がオープンし、R画像が表示されているタイミングにシャッタ式メガネの左眼がオープンするといった全く逆の設定での表示処理がなされる可能性がある。このような表示制御が実行されてしまうと正しい立体感を持つ3次元画像の観察ができなくなる。
 このような事態を防止するための情報が、図14に示すフレーム0画像識別フラグ123である。すなわち、
 フレーム0が左眼用画像(L画像)であるか、
 フレーム0が右眼用画像(R画像)であるか、
 これらのいずれであるかの情報を記録する領域である。
 具体的には、例えば、図14に示すように、
 値=2:フレーム0が右眼用画像(R画像)である。
 値=3:フレーム0が左眼用画像(L画像)である。
 これらの情報を記録する。
 なお、プレイリスト内で、フレーム0とL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、フレームシーケンシャル方式である場合、フレーム情報に応じて上記の値を記録する。
 コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照し、フレーム0がL画像であるかR画像であるかを正確に判別してLR画像の正しい再生表示を行うことができる。
  (ベース画像識別フラグ[PlayList_base_view_is_Left_flag]124)
 次に、図15を参照して、ベース画像識別フラグ124の具体例について説明する。
 ベース画像識別フラグ124は、3次元画像の符号化方式がMVC符号化方式(図2(4)参照)の場合に記録され、再生時に利用される情報である。すなわち、図13を参照して説明した3次元画像構成情報=30~33の場合に利用される。
 図2(4)を参照して説明したMVC符号化方式ではL画像とR画像との間で参照符号化処理がなされる場合がある。ビュー間参照による符号化が行われた場合は、LRいずれかをベースビュー(基本画像)として、ベースビューを参照することで、他方の画像の復号が行われる。
 ベース画像識別フラグ124は、このベースビューがL画像であるかR画像であるかを示す値である。具体的には、例えば、図15に示すように、
 値=2:ベースビューは右眼用画像(R画像)である。
 値=3:ベースビューは左眼用画像(L画像)である。
 これらの情報を記録する。
 なお、プレイリスト内で、ベースビューとL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、ベースビュー情報に応じて上記の値を記録する。
 コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照しベースビューがLRいずれの画像であるかを判別してLR画像を正しく復号して表示することができる。
  (メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]125)
 次に、図16を参照して、メインパス画像識別フラグ125の具体例について説明する。
 メインパス画像識別フラグ125は、図2(5)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照なしの独立ストリーム(2ストリーム)(MVCではない)]、この符号化方式で、かつ、独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)の場合に利用されるフラグを記録する。
 具体的には、図13を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
 この設定の場合に利用される。
 このメインパス画像識別フラグ125は、プレイリストに設定される2つの以下のパス、すなわち、
 メインパス(メインプレイアイテム)
 サブパス(サブプレイアイテム)
 これらの2つのパスの各々がL画像、R画像のどちらに対応するかを示すための情報が記録される。
 具体的には、例えば、図16に示すように、
 値=2:メインパスは右眼用画像(R画像)である。
 値=3:メインパスは左眼用画像(L画像)である。
 これらの情報を記録する。
 なお、プレイリスト内で、メインパスとL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、図13を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)の場合、作成または更新するプレイリストの設定に応じて上記の値を記録する。
 コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照しメインパスとサブパスがそれぞれLR画像のいずれの画像の再生パスであるかを正確に判別可能となり、LR画像を正しく復号して表示することができる。
 メインパスとサプパスの利用形態について、図17を参照して説明する。
 図17には1つのプレイリスト130を示している。プレイリスト130は、
 メインパス(メインプレイアイテム)131、
 サブパス(サブプレイアイテム)132、
 を有している。
 メインパス(メインプレイアイテム)131は、クリップa,135に対する再生開始点(IN_time)と再生終了点(OUT_time)を保持し、クリップa135に対応付けられたAVストリームを再生する。
 サブパス(サブプレイアイテム)132は、クリップb,136に対する再生開始点(IN_time)と再生終了点(OUT_time)を保持し、クリップb136に対応付けられたAVストリームを再生する。
 このような設定の場合、メインパスとサブパスがLR画像のいずれに対応するかのパターンとして以下の2つのパターンがある。
 (a)パターン1
 メインパスによって指定されるクリップがL画像再生クリップ、
 サブパスによって指定されるクリップがR画像再生クリップ、
 (b)パターン2
 メインパスによって指定されるクリップがR画像再生クリップ、
 サブパスによって指定されるクリップがL画像再生クリップ、
 このパターン1またはパターン2がある。
 このような設定とすることで、L画像とR画像を1つのプレイリスト内のメインパス(メインプレイアイテム)131と、サブパス(サブプレイアイテム)132を利用して3次元画像再生を実行することができる。
 しかし、再生装置は、メインパスとサブパスがLR画像のどちらに対応するかを知らないと、正しい3次元画像表示が実行できない。図16に示すメインパス画像識別フラグ125は、メインパスがL画像対応であるかR画像対応であるかを示すフラグであり、再生装置は、これらの情報を参照してLR画像を正しく復号して表示することができる。
  (符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]126)
 次に、図18を参照して、符号化態様識別フラグ126の具体例について説明する。
 符号化態様識別フラグ126は、図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]、この符号化方式の場合に利用されるフラグを記録する。
 具体的には、図13を参照して説明した3次元画像構成情報=30~32の設定の場合に利用される。
 符号化態様識別フラグ126は、符号化処理としてエントロピー符号化モード(entropy coding mode)を使用した符号化処理を実行しているか否かを示す識別フラグである。
 なお、エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、具体的には、例えば、
 CABAC(Context-based Adaptive Binary Arithmetic Coding)
 を利用した符号化処理である。
 エントロピー符号化モード(entropy coding mode)を利用しない符号化処理とは、具体的には、例えば、
 CAVLC(Context-based Adaptive Variable Length Coding)
 を利用した符号化処理である。
 具体的には、例えば、図18に示すように、
 値=1:エントロピー符号化モード(entropy coding mode)を利用していない。
 値=2:エントロピー符号化モード(entropy coding mode)を利用している可能性がある。
 これらの情報を記録する。
 なお、プレイリストから再生されるビデオストリームについての情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、符号化処理がエントロピー符号化モードを適用しているか否かに応じて上記の値を記録する。
 コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
 なお、例えば、再生装置は、エントロピー符号化モード(entropy coding mode)であるCAVLC符号化データの復号を実行できない装置である場合がある。このような場合は、符号化態様識別フラグ126の設定情報に基づいて、3次元画像の復号再生処理を中止し、L画像のみまたはR画像のみの再生による2次元画像の再生を行うといった処理も実行できる。このフラグがないと、再生装置は自己の再生可能な符号化態様で符号化されているか否かを識別できないため、復号処理を開始してしまい、結果として処理エラーが発生してしまう。
  (画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]127)
 次に、図19を参照して、画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]127について説明する。
 画像間参照識別フラグ127も、図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]、この符号化方式の場合に利用されるフラグを記録する。
 具体的には、図13を参照して説明した3次元画像構成情報=30~32の設定の場合に利用される。
 画像間参照識別フラグ127は、図13を参照して説明した3次元画像構成情報=30~32の設定の場合にビュー間参照が実行された符号化が行われているか否かを示す情報である。図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]の設定に従った符号化処理においても、実際には、L画像とR画像との間の参照処理が実行されていない場合も存在する。
 具体的には、1つのプレイリストに対して再生コンテンツとして利用される符号化データが、
 L画像とR画像との間の参照がない符号化データのみ、
 L画像とR画像との間の参照がある符号化データが含まれる、
 これらの符号化データがある。
 これら2種類のデータの識別を可能としたフラグが画像間参照識別フラグ127として設定される。
 具体的には、例えば図19に示すように、
 値=1:ビュー間参照なし
 値=2:ビュー間参照が含まれる可能性がある
 これらの情報が設定される。
 なお、プレイリストから再生されるビデオストリームについての情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、符号化処理においてビュー間参照が実行されているか否かに応じて上記の値を記録する。
 コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
  (3-1-c.プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する例)
 次に、プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する例について説明する。
 図20は、プレイリストファイルのシンタクスを示す図である。プレイリストファイルは、先に図4、図5を参照して説明したように、インフォファイルを用いたタイトル表示メニューから選択されたタイトルに対応して選択されるプレイリストを格納したファイルである。図5を参照して説明したように、プレイリストには、クリップに対する再生開始点(IN点)と再生終了点(OUT点)を持つ再生区間指定情報を持つ再生パス情報(プレイアイテム)を格納している。
 再生パス情報(プレイアイテム)には、
 メインパス(メインプレイアイテム(PlayItem))
 サブパス(サブプレイアイテム(SubPlayItem))
 これらの2種類が存在する。
 これらのメインパス(メインプレイアイテム)、サブパス(サブプレイアイテム)の各々は、個別にある1つのクリップ(Clip)に対応付けられている。
 3次元画像の符号化態様が、図13を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)の場合、図16、図17を参照して説明したように、
 プレイリストに含まれるメインパス(プレイアイテム)とサブパス(サブプレイアイテム)の各々がL画像とR画像の再生パスとして設定される。
 すなわち、
 (a)パターン1
 メインパスによって指定されるクリップがL画像再生クリップ、
 サブパスによって指定されるクリップがR画像再生クリップ、
 (b)パターン2
 メインパスによって指定されるクリップがR画像再生クリップ、
 サブパスによって指定されるクリップがL画像再生クリップ、
 このパターン1またはパターン2の設定で画像が記録される。
 このいずれの設定で記録されたかについては、先に図13、図16を参照して説明したように、メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]125に記録され、再生時にはこのフラグを参照して識別することができる。
 しかし、例えばビデオカメラで画像を撮影しメディアに記録する場合、プレイリストに設定されるメインパス(プレイアイテム)とサブパス(サブプレイアイテム)の組み合わせが、3次元画像を構成するL画像とR画像の組み合わせであるとは限らない。
 例えば
 メインパス(プレイアイテム)を通常の2次元画像データの再生用のパス
 サブパス(サブプレイアイテム)をアフレコ用の音声データ用の再生パス
 このような設定とする場合もある。
 その他、メインパスとサブパスの利用形態としては、
 ワイド画像と望遠画像各々の画像再生パス、
 全景画像と、部分拡大画像各々の画像再生パス、 フォーカス位置の異なる2つの画像の再生パス、
 このような異なる画像の再生パスの組み合わせといった設定が可能である。
 このようにメインパス(プレイアイテム)は、メインの画像データ用の再生パス情報として利用されるが、サブパス(サブプレイアイテム)の利用形態はさまざまな形態となる。従って、再生時にはサブパスの利用形態を判別して再生を行うことが必要となる。
 このための情報として、プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する。
 図20に示すプレイリストファイルのシンタクスには、プレイリストに含まれるメインパス(プレイアイテム)とサブパス(サブプレイアイテム)の固有情報を記録する領域が設定される。
 メインパス(プレイアイテム)情報記録領域141、
 サブパス(サブプレイアイテム)情報記録領域142、
 これらの情報記録領域である。
 サブパス(サブプレイアイテム)情報記録領域142の記録データの詳細シンタクスを図21に示す。図21に示すように、サブパス(サブプレイアイテム)情報記録領域142には、
 サブパス(サブプレイアイテム)タイプ情報記録領域145
 が設定される。
 本処理例では、このサブパス(サブプレイアイテム)タイプ情報記録領域145にサブパス(サブプレイアイテム)が3次元画像を構成するLR画像のいずれか一方を再生するためのサブパス(サブプレイアイテム)であるか否かを識別するサブパス利用タイプ識別値を設定する。例えば、図22に示す値である。
 図22に示す例では、サブパス利用タイプ識別値の設定は以下の通りである。
 値=1:音声ストリーム用の再生パス
 値=2:3次元画像の構成画像(LR画像)の1方の画像再生パス
 このような値を設定する。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その3次元画像が、1つのプレイリスト内のメインパス(プレイアイテム)とサブパス(サブプレイアイテム)をそれぞれLR画像の再生パスとして利用する場合、上記の値(2)を記録する。
 コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照してサブパスが3次元画像を構成するLR画像の一方の画像の再生パスであることを確認してLR画像を正しく復号して表示することができる。
 なお、BDAV規格では、1つのプレイリスト内のメインパス(プレイアイテム)に対してサブパス(サブプレイアイテム)を一つのみ、付加することができる。サブパス(サブプレイアイテム)は、メインパス(プレイアイテム)の時間軸上、全体あるいは一部分にのみ設定することが出来る。その際、サブパス(サブプレイアイテム)はメインパス中の複数のプレイアイテムの境界をまたぐような形で設定しても良い。
  (3-1-d.クリップ情報ファイルに3次元画像情報を記録する例)
 次に、クリップ情報ファイルに3次元画像情報を記録する例について説明する。
 先に図3等を参照して説明したように、クリップ情報ディレクトリ[CLIPINF]に記録されるクリップ情報ファイル[xxxxx.clpi]は、ストリームディレクトリ[STREAM]に記録されるAVストリームファイル[xxxxx.m2ts]に対応して1対1の対応で設定される。クリップ情報ファイルは、実際のストリームを再生する上で必要となるストリームに関する情報が記載されたファイルである。
 先に、インフォファイルと、プレイリストファイルのメーカプライベートデータ領域に3次元画像情報を記録する例について説明した。
 クリップ情報ファイルにもプレイリストファイルやインフォファイルと同様、メーカプライベートデータ領域が設定される。すなわち、例えば記録再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。
 本例は、このクリップ情報ファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する例である。
 クリップ情報ファイルのシンタクスを図23に示す。クリップ情報ファイルは、図23に示すように6個のオブジェクトから構成される。それらは、
 ClipInfo()201、
 SequenceInfo()202、
 ProgramInfo()203、
 CPI()204、
 ClipMark()205、および
 MakersPrivateData()206、
 である。
 ClipInfo()201は、クリップ情報ファイルに対応するAVストリームファイルの属性情報を記録する。
 SequenceInfo()202について説明する。
 MPEG-2トランスポートストリームの中でSTC(System Time Clock(基準時間))の不連続点(システムタイムベースの不連続点)を含まない時間区間をSTC_sequenceと称し、Clipの中で、STC_sequenceは、stc_idの値によって特定される。同じSTC_sequenceの中で同じSTCの値は、決して現れない。従って、同じSTC_sequenceの中で同じPTS(Presentation Time Stamp(同期再生のための時間情報))の値もまた、決して現れない。AVストリームが、N(N>0)個のSTC不連続点を含む場合、Clipのシステムタイムベースは、(N+1)個のSTC_sequenceに分割される。
 SequenceInfoは、STCの不連続(システムタイムベースの不連続)が発生する場所のアドレスを記録する。
 ProgramInfo()203について説明する。図24を参照して説明する。クリップ情報ファイルによって再生される再生区間や時間区間であり、以下の特徴を持つ再生区間をプログラムシーケンス(program_sequence)と呼ぶ。
 PCR_PID(Program Clock Reference Packet ID)の値が変わらない。
 ビデオエレメンタリーストリームの数が変化しない。
 それぞれのビデオストリームについてのPIDの値とそのVideoCodingInfoによって定義される符号化情報が変化しない。
 オーディオエレメンタリーストリームの数が変化しない。
 それぞれのオーディオストリームについてのPIDの値とそのAudioCodingInfoによって定義される符号化情報が変化しない。
 プログラムシーケンス(program_sequence)は、同一の時刻において、ただ1つのシステムタイムベースを持ち、同一の時刻において、ただ1つのPMT(Program Map Table)を持つ。
 MPEGデータを構成するトランスポートストリーム(TS)は複数のプログラムを含み、ストリームに含まれているプログラムとそのプログラムを構成している映像や音声ストリームなどのプログラムの要素との関係を表すテーブル情報が複数規定されている。テーブル情報はPSI(Program Specific Information)と呼ばれ、PAT (Program Association Table)、PMT(Program Map Table)など複数のテーブルが含まれる。PATにはプログラム番号に対応したPMTのPIDなどが記述され、PMTには対応するプログラムに含まれる映像、音声、付加データおよびPCRのPIDが記述される。PATとPMTを参照することによりストリームの中から目的のプログラムを構成するTSパケットを取り出すことができる。
 ProgramInfo()は、プログラムシーケンス(program_sequence)が開始する場所のアドレスを記録する。SPN_program_sequence_startが、そのアドレスを示す。SPNはソースパケット番号である。
 なお、プログラムシーケンス(program_sequence)の境界と、STC_sequenceの境界は必ずしも一致しない。また、プレイアイテム(PlayItem)が有する再生開始点(IN_time)と再生終了点(OUT_time)は、同一のSTC_sequence上にある必要があるが、プログラムシーケンス(program_sequence)に対してはそのような制限はない。すなわち、一般には、あるプレイアイテム(PlayItem)が有する再生開始点(IN_time)と再生終了点(OUT_time)が、異なるプログラムシーケンス(program_sequence)上に存在する場合がある。
 図25は、ProgramInfoのシンタクスを示す図である。
 num_of_program_sequencesは、クリップ情報ファイル内のプログラムシーケンス(program_sequence)の数を示す。
 SPN_program_sequence_start[i]は、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスである。
 program_map_PID[i]は、プログラムシーケンス(program_sequence)に有効なPMTのPIDを示す。 num_of_streams_in_ps[i]は、プログラムシーケンス(program_sequence)に存在するストリームの数を示す。
 num_of_groups[i]は、プログラムシーケンス(program_sequence)が再生される際のストリームの組み合わせ数を示す。
 次に、図23に示したシンタクス中の
 CPI (Characteristic Point Information)204について説明する。図26は、CPIのシンタクスを示す図である。
 CPIは、AVストリームの中の時間情報とそのファイルの中のアドレスとを関連づけるためのデータを記録する。具体的には、エントリポイントマップ(EPマップ(EP_map))210を記録する。
 図27、図28を参照してEPマップ210について説明する。図27に示すように、EPマップ(EP_map)210は、クリップ情報ファイルに含まれるデータである。EPマップは、例えばランダムアクセス開始可能なポイント(エントリポイント)となるMPEGデータの基準データとしてのIピクチャ位置の検出情報を持つ。Iピクチャ位置の検出処理について図28参照して説明する。図28(A)はクリップAVストリームを示し、各矩形は192バイトソースパケットを示している。各ソースパケットにはタイムスタンプが設定され再生処理時間が規定されている。
 図28(B)に、ソースパケットNo.(X1)の詳細構成を示す。1つのソースパケットは、TP_extraヘッダとトランスポートパケットとによって構成され、トランスポートパケットには、各種のヘッダ情報と、MPEGデータの実体としてのI-PICH~のデータによって構成される。
 図28(C)に示すクリップ情報ファイルには、前述したようにEPマップが含まれる。EPマップには、図に示すように、[PTS_EP start]、[SPN_EP start]、[I_end_position_offset]の各データが含まれる。各データの意味は、以下の通りである。
 PTS_EP_start:シーケンスヘッダを含むsource packetに対応するタイムスタンプ(プレゼンテーションタイムスタンプ)。
 SPN_EP_start:シーケンスヘッダを含むsource packetの先頭アドレス。
 I_end_position_offset:シーケンスヘッダを含むsource packetから、Iピクチャの終わりを含むsource packetのオフセット
 これらのデータ関係を示すのが図28(D)である。
 すなわち、図28(B)に示すように、ソースパケットに含まれるデータの構成が規定されており、図28(C)に示す[PTS_EP start]、[SPN_EP start]、[I_end_position_offset]の各データをEPマップから求めることで、これらのデータに基づいて、ソースパケット中のIピクチャ位置が求められることになる。再生装置は、EPマップからIピクチャの位置を求めることで、任意の位置からの再生処理を行することができる。
 次に、図23に示したシンタクス中の
 ClipMark205について説明する。
 ClipMark205は、クリップについてのマーク情報であり、ClipMarkの中にストアされる。このマークは、記録器(記録再生装置1)によってセットされるものであり、ユーザによってセットされるものではない。
 次に、図23に示したシンタクス中の
 MakersPrivateData()206、
 について説明する。
 クリップ情報ファイルにもプレイリストファイルやインフォファイルと同様、メーカプライベートデータ領域が設定される。すなわち、例えば記録再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。
 本例は、このクリップ情報ファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する例である。
 なお、クリップ情報ファイルのメーカプライベートデータ領域にも、図7に示したインフォファイルと同様、
 メーカID[maker_ID]記録領域
 メーカモデルコード[maker_model_code]記録領域
 データブロック[data_block]記録領域
 これらのデータ記録領域が設定される。
 クリップ情報ファイルのメーカプライベートデータ領域に3次元画像情報(multiview_video_info)を記録する場合、クリップ情報ファイルのメーカID記録領域にはデータブロックに記録されたデータが3次元画像情報であるか否かの識別情報を記録する。同様にクリップ情報ファイルのメーカモデルコード[maker_model_code]記録領域には、データブロックに記録された3次元画像情報のバージョン情報を記録する。これらは図8を参照して説明したインフォファイルの場合と同様の記録構成である。
 図29を参照してクリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報(multiview_video_info)の具体例について説明する。
 クリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域には、図29に示すように、例えば以下の情報が記録される。
 プログラムシーケンス数(number_of_program_sequences)220
 3次元画像フラグ[ClipInfo_multiview_video_flag]221、
 3次元画像構成情報[ClipInfo_multiview_video_configuration]222、
 フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]223、
 ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]224、
 クリップ対応画像識別フラグ[ClipInfo_this_clip _is_Left_flag]225、
 符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]226、
 画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag]227、
 これらの情報が、各クリップ情報ファイルに記録される。
 プログラムシーケンス数(number_of_program_sequences)220は、クリップ情報ファイルに含まれるプログラムシーケンスの数である。クリップ情報ファイルには1以上のプログラムシーケンスが含まれる。プログラムシーケンスは、先に図24等を参照して説明したように、ビデオエレメンタリーストリームの数や符号化情報が不変等、大きな処理の切り替わりのないコンテンツ再生時間区間であり、クリップ情報ファイルに1対1に対応付けられたAVストリームファイルの全再生区間の分割再生区間に対応する。すなわち、プレイリストの再生パス(プレイアイテム)によって指定される再生開始点(IN_time)と再生終了点(OUT_time)間には複数のプログラムシーケンスが設定可能である。
 図29に示す3次元画像フラグ221~画像間参照識別フラグ227は、先に図11を参照して説明したプレイリストファイルの3次元画像情報とを維持する情報である。これらの3次元画像情報は、プログラムシーケンス単位で記録されることになる。
 従って異なるプログラムシーケンスに対応する3次元画像情報は異なる情報となる場合がある。
 コンテンツ記録を行う装置は、記録コンテンツに3次元画像が含まれるか否かを判別して、判別情報に応じてクリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域にプログラムシーケンス単位で、図29に示す各種の3次元画像情報を記録する。
 コンテンツ再生を実行する装置は、このクリップ情報ファイルに記録された情報をプログラムシーケンス単位で適用することで正しい3次元画像再生を実行できる。
 図29に示すクリップ情報ファイルのメーカプライベートデータ領域内のデータブロック[data_block]記録領域に記録される3次元画像情報、すなわち、3次元画像フラグ221~画像間参照識別フラグ227、これらの各情報の詳細例について、図30以下を参照して説明する。なお、前述したように、これらの情報はプログラムシーケンス単位で個別に記録される。
 (3次元画像フラグ[ClipInfo_multiview_video_flag]221)
 まず、3次元画像フラグ221の具体例について図30を参照して説明する。
 3次元画像フラグの値=0:このクリップ情報のプログラムシーケンスの再生対象コンテンツには2Dコンテンツのみ含まれ、3Dコンテンツは含まれない
 3次元画像フラグの値=1:このクリップ情報のプログラムシーケンスの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
 このようにフラグ=0/1のいずれかの情報を記録する。   
 なお、コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれるか否かを判別して、判別情報に応じて上記のフラグを記録する。この処理は、クリップ情報ファイルに設定されるプログラムシーケンス各々に対応して実行される。
 コンテンツ再生を実行する装置は、クリップ情報ファイルのプログラムシーケンス単位でフラグの値を参照し、プログラムシーケンス単位でコンテンツに3次元画像が含まれるか否か識別できる。
 (3次元画像構成情報[ClipInfo_multiview_video_configuration]222)
 次に、3次元画像構成情報222の具体例について図31を参照して説明する。
 3次元画像構成情報222は、このクリップ情報によって再生されるコンテンツである3次元画像の符号化態様情報を記録する領域として設定される。
 具体的には、図31に示すように以下の設定である。
 値=3:サイドバイサイド方式(side by side)
 値=4:トップアンドボトム方式(top and bottom)
 値=5:フレームシーケンシャル方式(frame sequential)
 値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(クリップはMVC符号化された2つのエレメンタリストリームを含む)
 値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化された2つのエレメンタリストリームの片方を含む)
 値=32:MVC符号化1エレメンタリストリーム/1システムストリーム
 値=40:独立2エレメンタリストリーム/1システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームを含む)
 値=41:独立2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームの片方を含む)
 このような符号化構成情報を記録する。
 ただし、プログラムシーケンス(program sequence)内で、3Dコンテンツの種別が混在している、あるいは、不明の場合は、20(no information)とする。
 値=3のサイドバイサイド方式は、図1(1)に示す符号化方式に対応する。
 値=4のトップアンドボトム方式は、図1(2)に示す符号化方式に対応する。
 値=5のフレームシーケンシャル方式は、図1(3)に示す符号化方式に対応する。
 値30~33のMVC符号化方式は、図2(4)に示す符号化方式に対応する。
 この場合は、エレメンタリストリームが1または2、システムストリームが1または2の場合に分類されている。
 値40~41の符号化方式は、図2(5)に示す符号化方式に対応する。
 この場合もエレメンタリストリームが2、システムストリームが1または2の場合に分類されている。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれる場合、その符号化態様情報に応じて上記の値を記録する。この処理は、クリップ情報ファイルに設定されるプログラムシーケンス各々に対応して実行される。
 なお、3Dコンテンツの種別が変化するごとにプログラムシーケンス(program sequence)を分けて記録し、1つのプログラムシーケンス(program sequence)を1つの符号化態様とした設定での3次元画像記録を実行する。   
 コンテンツ再生を実行する装置は、上記の値を参照し、このクリップ情報を利用して再生されるコンテンツの符号化態様を識別して、識別情報に対応した復号処理を実行することができる。プログラムシーケンス単位で3次元画像の符号化態様を判別し、その態様に応じた復号を実行することができる。
  (フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]223)
 次に、フレーム0画像識別フラグ223の具体例について図32を参照して説明する。
 フレーム0画像識別フラグ223は、3次元画像の符号化方式がフレームシーケンシャル方式(図1(3)参照)の場合に記録され、再生時に利用される情報である。すなわち、図31を参照して説明した3次元画像構成情報=5の場合に利用される。
 先に説明したように、図1(3)に示すようにフレームシーケンシャル方式の場合、左眼用画像(L画像)と右眼用画像(R画像)が交互のフレームとして設定される。
 例えば、
 フレーム0が左眼用画像(L画像)
 フレーム1が右眼用画像(R画像)
 あるいは、
 フレーム0が右眼用画像(R画像)
 フレーム1が左眼用画像(L画像)
 これらの組み合わせのいずれかとなる。
 L画像はユーザの左眼のみによって観察され、R画像は右眼のみによって観察されれば、正しい奥行き感を得ることができる。LR画像の表示シーケンスを正しく設定するための情報が、図32に示すフレーム0画像識別フラグ223である。
 具体的には、例えば、図32に示すように、
 値=2:フレーム0が右眼用画像(R画像)である。
 値=3:フレーム0が左眼用画像(L画像)である。
 これらの情報を記録する。
 ただし、フレーム0がL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、フレームシーケンシャル方式である場合、フレーム情報に応じて上記の値を記録する。この処理は、クリップ情報ファイルに設定されるプログラムシーケンス各々に対応して実行される。
 コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照し、フレーム0がL画像であるかR画像であるかを正確に判別してLR画像の正しい再生表示を行うことができる。再生装置は、プログラムシーケンス単位で判別を実行して判別情報に従った復号処理を実行することができる。
  (ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]224)
 次に、図33を参照して、ベース画像識別フラグ224の具体例について説明する。
 ベース画像識別フラグ224は、3次元画像の符号化方式がMVC符号化方式(図2(4)参照)の場合に記録され、再生時に利用される情報である。すなわち、図31を参照して説明した3次元画像構成情報=30~32の場合に利用される。
 図2(4)を参照して説明したMVC符号化方式ではL画像とR画像との間で参照符号化処理がなされる場合がある。ビュー間参照による符号化が行われた場合は、LRいずれかをベースビュー(基本画像)として、ベースビューを参照することで、他方の画像の復号が行われる。
 ベース画像識別フラグ224は、このベースビューがL画像であるかR画像であるかを示す値である。具体的には、例えば、図33に示すように、
 値=2:ベースビューは右眼用画像(R画像)である。
 値=3:ベースビューは左眼用画像(L画像)である。
 これらの情報を記録する。
 ただし、ベースビューがL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、ベースビュー情報に応じて上記の値を記録する。記録処理は、プログラムシーケンス単位で実行する。
 コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照しベースビューがLRいずれの画像であるかを判別してLR画像を正しく復号して表示することができる。プログラムシーケンス単位で情報を取得し処理を切り換えることが可能となる。
  (クリップ対応画像識別フラグ[ClipInfo_this_Clip_is_Left_flag]225)
 次に、図34を参照して、クリップ対応画像識別フラグ225の具体例について説明する。
 クリップ対応画像識別フラグ225は、図2(5)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照なしの独立ストリーム(2ストリーム)(MVCではない)]、この符号化方式で、かつ、独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)の場合に利用されるフラグを記録する。
 具体的には、図31を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームを含む)
 この設定の場合に利用される。
 このクリップ対応画像識別フラグ225は、このクリップが、3次元画像を構成する左眼用画像(L画像)対応のクリップであるか右眼用画像(R画像)対応のクリップであるかを示す情報である。なおこの情報はプログラムシーケンス単位の情報として設定される。
 具体的には、例えば、図34に示すように、
 値=2:当該クリップが右眼用画像(R画像)対応クリップであり、ペアになる他方のクリップが左眼用画像(L画像)対応クリップである。
 値=3:当該クリップが左眼用画像(L画像)対応クリップであり、ペアになる他方のクリップが右眼用画像(R画像)対応クリップである。
 すなわち、クリップ対応画像識別フラグ225は、値=3のとき、当該クリップがL画像(Left view)であり、ペアになるもう片方のクリップがR画像(Right view)であることを表す。また、値=2のとき、当該クリップがR画像(Right view)であり、ペアになるもう片方のクリップがL画像(Left view)であることを表す。
 なお、クリップのプログラムシーケンス対応のコンテンツがL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、図31を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリームの場合、作成または更新するクリップ情報の設定に応じて上記の値を記録する。記録処理は、プログラムシーケンス単位で実行する。
 コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照しメインパスとサブパスがそれぞれLR画像のいずれの画像の再生パスであるかを正確に判別可能となり、LR画像を正しく復号して表示することができる。プログラムシーケンス単位で情報を取得し処理を切り換えることが可能となる。
  (符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]226)
 次に、図35を参照して、符号化態様識別フラグ226の具体例について説明する。
 符号化態様識別フラグ226は、図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]、この符号化方式の場合に利用されるフラグを記録する。
 具体的には、図31を参照して説明した3次元画像構成情報=30~32の設定の場合に利用される。
 符号化態様識別フラグ226は、符号化処理としてエントロピー符号化モード(entropy coding mode)を使用した符号化処理を実行しているか否かを示す識別フラグである。
 なお、エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、先に説明したように、具体的には、例えば、
 CABAC(Context-based Adaptive Binary Arithmetic Coding)
 を利用した符号化処理である。
 エントロピー符号化モード(entropy coding mode)を利用しない符号化処理とは、具体的には、例えば、
 CAVLC(Context-based Adaptive Variable Length Coding)
 を利用した符号化処理である。
 具体的には、例えば、図35に示すように、
 値=1:エントロピー符号化モード(entropy coding mode)を利用していない。
 値=2:エントロピー符号化モード(entropy coding mode)を利用している可能性がある。
 これらの情報を記録する。
 なお、クリップ情報のプログラムシーケンス対応の符号化データの符号化に関する情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、符号化処理がエントロピー符号化モードを適用しているか否かに応じて上記の値を記録する。記録処理は、プログラムシーケンス単位で実行する。
 コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。プログラムシーケンス単位で情報を取得し処理を切り換えることが可能となる。
 なお、例えば、再生装置は、エントロピー符号化モード(entropy coding mode)であるCAVLC符号化データの復号を実行できない装置である場合がある。このような場合は、符号化態様識別フラグ226の設定情報に基づいて、3次元画像の復号再生処理を中止し、L画像のみまたはR画像のみの再生による2次元画像の再生を行うといった処理も実行できる。このフラグがないと、再生装置は自己の再生可能な符号化態様で符号化されているか否かを識別できないため、復号処理を開始してしまい、結果として処理エラーが発生してしまう。
  (画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag]227)
 次に、図36を参照して、画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag]227について説明する。
 画像間参照識別フラグ227も、図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]、この符号化方式の場合に利用されるフラグを記録する。
 具体的には、図31を参照して説明した3次元画像構成情報=30~32の設定の場合に利用される。
 画像間参照識別フラグ227は、図31を参照して説明した3次元画像構成情報=30~32の設定の場合にビュー間参照が実行された符号化が行われているか否かを示す情報である。図2(4)を参照して説明した符号化方式、すなわち、[ビュー(view)間参照ありストリーム(MVC)]の設定に従った符号化処理においても、実際には、L画像とR画像との間の参照処理が実行されていない場合も存在する。
 具体的には、1つのクリップ情報のプログラムシーケンス対応の再生コンテンツである符号化データが、
 L画像とR画像との間の参照がない符号化データのみ、
 L画像とR画像との間の参照がある符号化データが含まれる、
 これらの符号化データがある。
 これら2種類のデータの識別を可能としたフラグが画像間参照識別フラグ227として設定される。
 具体的には、例えば図36に示すように、
 値=1:ビュー間参照なし
 値=2:ビュー間参照が含まれる可能性がある
 これらの情報が設定される。
 ただし、クリップ情報のプログラムシーケンス対応の符号化データの符号化に関する情報を取得できない場合は、0(no information)とする。
 コンテンツ記録を実行する装置は、記録コンテンツに3次元画像が含まれ、その符号化態様が、MVC符号化方式(図2(4)参照)の場合、符号化処理においてビュー間参照が実行されているか否かに応じて上記の値を記録する。
 コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
  [4.情報処理装置の実行する処理シーケンスについて]
 次に、図37以下のフローチャートを参照して情報処理装置の実行する処理シーケンスについて説明する。なお、以下のフローにおいて説明する処理は、情報処理装置のデータ処理部において実行される。データ処理部はプログラム実行機能を持つCPUを有する。例えばメモリに記録されたプログラムに従って一連の処理が実行される。
  (4-1.コンテンツの記録処理シーケンス)
 まず、メディアに対するデータ記録処理シーケンスについて図37に示すフローチャートを参照して説明する。なお、この処理は、記録データが3次元画像コンテンツを含む場合の処理である。
 ステップS101~S103において、情報処理装置が例えば撮影処理により取得または外部から入力した3次元画像コンテンツの画像(ビデオ)エレメンタリストリームの数と、トランスポートストリーム数を確認する。これらの情報は、ステップS101において、入力データに設定された属性情報(メタデータ)等から取得する、あるいは入力ストリームの解析によって取得する。
 なお、エレメンタリストリームは、画像のエンコード直後のデータストリームであり、トランスポートストリームは、タイムスタンプ等、他のデータ、例えば音声情報等との同期用データを設定したストリームデータであり、エレメンタリストリームを多重化したトランスポートストリームに基づいてMPEGデータファイル(例えばm2tsファイル)を生成してメディアに記録する処理が実行される。
 3次元画像を記録する場合、L画像とR画像を個別のエレメンタリストリームとする場合と、1つのエレメンタリストリームとする場合がある。
 また、L画像とR画像が1つのエレメンタリストリームに設定されている場合は、その1つのエレメンタリストリームから1つのトランスポートストリームが生成される。L画像とR画像を個別のエレメンタリストリームに設定されている場合は、これら個別の2つのトランスポートストリームとする場合と、2つのエレメンタリストリームをまとめて1つのトランスポートストリームとする場合がある。これらは、例えば、先に図1、図2を参照して説明した符号化態様等によって決定される。
 なお、3次元画像の符号化方式が、例えば特定の放送局や特定の機種の装置等、入力ソースに応じて予め決まっている場合には、これらの入力ソースに応じたテーブル等を保持し、このテーブルを参照する処理によって入力データの態様を判別する構成としてもよい。
 ステップS102において、画像(ビデオ)エレメンタリストリームの数が1か2かを判定し、1である場合は、ステップS121に進み、2である場合は、ステップS103に進む。
 ステップS103では、トランスポートストリームの数が1か2かを判定し、1である場合は、ステップS121に進み、2である場合はステップS111に進む。
 ステップS111に進む場合は、3次元画像を構成するL画像とR画像とが個別の、すなわち2つのトランスポートストリームとして設定されている場合である。
 一方、ステップS121に進む場合は、3次元画像を構成するL画像とR画像とが1つのトランスポートストリームとして設定されている場合である。
 まず、ステップS111以下の処理について説明する。すなわち、3次元画像を構成するL画像とR画像とが個別の、すなわち2つのトランスポートストリームとして設定されている場合の処理である。
 ステップS111では、2本の入力ストリームを解析し、エントリポイントマップを作成しながら2本の入力ストリームを別々のAVストリームファイル(MPEG-2トランスポートストリーム(m2ts)ファイル)として記録する。すなわち、2つのクリップを作成する。なお、ここで、クリップとはコンテンツ実体を格納したAVストリームファイルと、管理情報ファイルとしてのクリップ情報ファイルからなる1組のファイルのセットを意味する。
 ステップS112では、2つのクリップ対応のm2tsファイル毎に以下の処理を行う。
 3Dコンテンツ部分を示すプログラムシーケンスを作成する。
 クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
 先に説明したように、クリップ情報ファイルには、クリップを区分した再生区分単位としてのプログラムシーケンス(program_sequence)単位で情報が記録される。プログラムシーケンスは、同一の時刻においてただ1つのシステムタイムベースを持ち、同一の時刻において、ただ1つのPMT(Program Map Table)を持つ。
 また、図23、図26~図28を参照して説明したようにクリップ情報ファイルには、例えばランダム再生等の際の再生開始点としてのIピクチャ位置情報等を記録したエントリポイントマップ(EPマップ)が記録される。
 ステップS112では、LR各画像対応のクリップの各々について、クリップ情報ファイルを作成する。なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。
 なお、この処理の詳細については、後段で図38および図39に示すフローチャートを参照して説明する。
 次のステップS113~S115の処理はプレイリストファイルに関する処理である。
 まず、ステップS113では、第1クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
 なお、3次元画像コンテンツの構成ストリームとしてのLR画像いずれかの画像対応のクリップを第1クリップとして、他方の画像対応のクリップを第2クリップとする。
 ステップS114では、第2クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(サブプレイアイテム(SubPlayItem))を生成する。
 ステップS115では、メインパス(プレイアイテム(PlayItem))とサブパス(サブプレイアイテム(SubPlayItem))から構成されるプレイリストを作成する。さらに、3次元画像コンテンツが含まれるプレイリストであることを示すプレイリストファイルの3次元画像フラグ[Playlist_multiview_video_flag]を[1]にセットする。
 なお、プレイリストファイルの作成時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理については、後段で図40に示すフローチャートを参照して説明する。
 最後に、ステップS131において、インフォファイルを更新する。この処理に際して、インフォファイルに記録される3次元画像情報に、3Dコンテンツが含まれることを示す3次元画像フラグ[Index_multiview_video_flag]を[1]にセットする処理を行う。
 次に、ステップS121以下の処理について説明する。すなわち、3次元画像を構成するL画像とR画像を併せて1つのトランスポートストリームとして設定されている場合の処理である。
 ステップS121では、1本の入力ストリームを解析し、エントリポイントマップを作成しながら入力ストリームを1つのAVストリームファイル(MPEG-2トランスポートストリーム(m2ts)ファイル)として記録する。すなわち、1つのクリップを作成する。クリップはコンテンツ実体を格納したAVストリームファイルと、管理情報ファイルとしてのクリップ情報ファイルからなる1組のファイルのセットを意味する。
 ステップS122では、クリップ対応のm2tsファイルに対して以下の処理を行う。
 3Dコンテンツ部分を示すプログラムシーケンスを作成する。
 クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
 なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。この処理の詳細については、後段で図38および図39に示すフローチャートを参照して説明する。
 次のステップS123~S124の処理はプレイリストファイルに関する処理である。
 まず、ステップS123では、クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
 なお、この場合、クリップはLR画像とも1つのクリップに格納されており、生成するパス情報はメインパス(プレイアイテム)のみであり、3次元画像用のサブパス(サブプレイアイテム)は生成されない。
 ステップS124では、メインパス(プレイアイテム(PlayItem))から構成されるプレイリストを作成する。さらに、3次元画像コンテンツが含まれるプレイリストであることを示すプレイリストファイルの3次元画像フラグ[Playlist_multiview_video_flag]を[1]にセットする。
 なお、プレイリストファイルの作成時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理については、後段で図40に示すフローチャートを参照して説明する。
 最後に、ステップS131において、インフォファイルを更新する。この処理に際して、インフォファイルに記録される3次元画像情報に、3Dコンテンツが含まれることを示す3次元画像フラグ[Index_multiview_video_flag]を[1]にセットする処理を行う。
  (4-2.クリップ情報ファイルに対する3次元画像情報の記録/更新処理シーケンス)
 次に、図38に示すフローチャートを参照して、クリップ情報ファイルの3次元画像情報の記録または更新処理シーケンスについて説明する。
 この処理は、図37に示すフロー中のステップS112、およびステップS122の詳細処理を示すフローである。
 まず、ステップS151において、クリップ内の処理対象とするプログラムシーケンスを選択する。
 次に、ステップS152において、選択したプログラムシーケンスに対応するコンテンツは3Dコンテンツを含むか否かを判定する。含む場合はステップS153に進み、含まない場合はステップS154に進む。
 含まない場合は、ステップS154に進み、クリップ情報ファイルのプログラムシーケンス対応の3次元画像フラグ[ClipInfo_multiview_video_flag]を[0]にセットする。すなわち、プログラムシーケンス対応のコンテンツには3次元画像が含まれないことを示すフラグを設定する。その後、ステップS156に進む。
 一方、ステップS152において、選択したプログラムシーケンスに対応するコンテンツは3Dコンテンツを含むと判定した場合は、ステップS153に進み、クリップ情報ファイルのプログラムシーケンス対応の3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする。すなわち、プログラムシーケンス対応のコンテンツには3次元画像が含まれることを示すフラグを設定する。
 さらに、ステップS155に進み、クリップ情報ファイルのプログラムシーケンス対応のその他の3次元画像情報の記録処理を実行する。すなわち、先に図29を参照して説明した以下の3次元画像情報についての値設定処理を行なう。
 3次元画像構成情報[ClipInfo_multiview_video_configuration]
 フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
 ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
 クリップ対応画像識別フラグ[ClipInfo_this_Clip_is_Left_flag]
 符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]
 画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag] 
 これらの設定値を記録/更新データに応じて設定する処理を行なう。
 なお、これらの情報は、記録する3次元画像の符号化態様等の情報に応じて設定することになる。
 これらの処理の後、ステップS156に進む。ステップS156では、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したか否かを判定し、未終了のプログラムシーケンスがある場合は、ステップS151以下の処理を未終了のプログラムシーケンスに対して実行する。
 ステップS156において、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したと判定した場合は、処理を終了する。
  (4-3.クリップ情報ファイルに対する3次元画像情報としてのフレーム0画像識別フラグと、ベース画像識別フラグの記録/更新処理シーケンス)
 次に、クリップ情報ファイルに記録される3次元画像情報中の以下の情報、すなわち、
 フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
 ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
 これらの情報の記録シーケンスについて図39に示すフローチャートを参照して説明する。
 まず、ステップS161において、クリップ内の処理対象とするプログラムシーケンスを選択する。
 次に、ステップS162において、選択したプログラムシーケンスに対応する3次元画像情報から、3次元画像構成情報[ClipInfo_multiview_video_configuration]を取得し、設定値が[5]であるか否かを判定する。すなわち、符号化方式がフレームシーケンシャル方式であるか否かを判定する。
 フレーム0画像識別フラグは、再生装置では、フレームシーケンシャル方式である場合にのみ参照される値であり、記録処理に際しても、記録画像がフレームシーケンシャル方式である場合にのみ有効情報の記録が実行される。
 ステップS162において、3次元画像構成情報の設定値が[5]であると判定した場合は、ステップS163に進み、[5]でないと判定した場合は、ステップS167に進む。
 ステップS162において、3次元画像構成情報の設定値が[5]であると判定した場合は、ステップS163において、画像(ビデオ)エレメンタリストリーム中のメタデータ、例えばSEI(Supplemental Enhancement Information)あるいはユーザデータ(user data)を解析し、フレーム0の画像がL/R画像のどちらに対応するかを判定する。
 ステップS164において、フレーム0の画像がL画像であると判定した場合は、ステップS166に進み、クリップ情報ファイルのプログラムシーケンス対応のフレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]の設定値を[3](フレーム0=L画像を示す)に設定する。
 一方、ステップS164において、フレーム0の画像がR画像であると判定した場合は、ステップS165に進み、クリップ情報ファイルのプログラムシーケンス対応のフレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]の設定値を[2](フレーム0=R画像を示す)に設定する。
 これらの処理の完了後に、ステップS167に進む。
 ステップS167では、選択したプログラムシーケンスに対応する3次元画像情報から、3次元画像構成情報[ClipInfo_multiview_video_configuration]を取得し、設定値が[30]または[31]または[32]であるか否かを判定する。すなわち、符号化方式がビュー間参照を実行している可能性のある符号化方式であるか否かを判定する。
 ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]は、再生装置では、ビュー間参照を実行している可能性のある符号化方式である場合にのみ参照される値であり、記録処理に際しても、記録画像がビュー間参照を実行している可能性のある符号化方式である場合にのみ有効情報の記録が実行される。
 ステップS167において、3次元画像構成情報の設定値が[30]または[31]または[32]であると判定した場合は、ステップS168に進み、[30]または[31]または[32]でないと判定した場合は、ステップS172に進む。
 ステップS167において、3次元画像構成情報の設定値が[30]または[31]または[32]であると判定した場合は、ステップS168において、画像(ビデオ)エレメンタリストリーム中のメタデータ、例えばSEI(Supplemental Enhancement Information)あるいはユーザデータ(user data)を解析し、ベースビューの画像がL/R画像のどちらに対応するかを判定する。
 ステップS169において、ベースビュー画像がL画像であると判定した場合は、ステップS171に進み、クリップ情報ファイルのプログラムシーケンス対応のベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]の設定値を[3](ベースビュー=L画像を示す)に設定する。
 一方、ステップS169において、ベースビュー画像がR画像であると判定した場合は、ステップS170に進み、クリップ情報ファイルのプログラムシーケンス対応のベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]の設定値を[2](ベースビュー=R画像を示す)に設定する。
 これらの処理の後、ステップS172に進む。ステップS172では、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したか否かを判定し、未終了のプログラムシーケンスがある場合は、ステップS161以下の処理を未終了のプログラムシーケンスに対して実行する。
 ステップS172において、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したと判定した場合は、処理を終了する。
  (4-4.プレイリストファイルに対する3次元画像情報の記録/更新処理シーケンス)
 次に、図40に示すフローチャートを参照して、プレイリストファイルの3次元画像情報の記録または更新処理シーケンスについて説明する。
 この処理は、図37に示すフロー中のステップS115、およびステップS124の詳細処理を示すフローである。
 まず、ステップS181において、処理対象としているプレイリストに対応するコンテンツが3Dコンテンツを含むか否かを判定する。含む場合はステップS182に進み、含まない場合はステップS183に進む。
 含まない場合は、ステップS183に進み、プレイリストファイルの3次元画像フラグ[PlayList_multiview_video_flag]を[0]にセットする。すなわち、プレイリスト対応のコンテンツには3次元画像が含まれないことを示すフラグを設定し、処理を終了する。
 一方、ステップS181において、処理対象のプレイリストに対応するコンテンツは3Dコンテンツを含むと判定した場合は、ステップS182に進み、プレイリストファイルのプログラムシーケンス対応の3次元画像フラグ[PlayList_multiview_video_flag]を[1]にセットする。すなわち、プレイリスト対応のコンテンツには3次元画像が含まれることを示すフラグを設定する。
 さらに、ステップS184に進み、プレイリストファイルのその他の3次元画像情報の記録処理を実行する。すなわち、先に図11を参照して説明した以下の3次元画像情報についての値設定処理を行なう。
 3次元画像構成情報[PlayList_multiview_video_configuration]
 フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]
 ベース画像識別フラグ[PlayList_base_view_is_Left_flag]
 メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]
 符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]
 画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]
 これらの設定値を記録/更新データに応じて設定する処理を行なう。
 なお、これらの情報は、記録する3次元画像の符号化態様等の情報に応じて設定することになる。
 これらの処理の後、処理を終了する。
  (4-5.コンテンツの追記処理シーケンス)
 次に、図41を参照して、3次元画像の追記処理のシーケンスについて説明する。
 すなわち、既にメディアに記録済みのコンテンツがあり、その記録済みコンテンツに対応するプレイリストがメディア上に存在する場合に、この既存プレイリストに対応する新たなコンテンツを追加記録する場合の処理シーケンスである。
 まず、ステップS201において、既存プレイリストに対する3Dコンテンツの追加記録の実行指示を入力する。例えばビデオカメラ等において、撮影画像の追加記録を行うユーザからの指示情報などを入力する。
 ステップS202以下の処理は、先に図37を参照して説明した処理と類似する処理となる。
 ステップS202~S204において、情報処理装置が例えば撮影処理により取得または外部から入力した3次元画像コンテンツの画像(ビデオ)エレメンタリストリームの数と、トランスポートストリーム数を確認する。これらの情報は、ステップS202において、入力データに設定された属性情報(メタデータ)等から取得する、あるいは入力ストリームの解析によって取得する。
 ステップS203において、画像(ビデオ)エレメンタリストリームの数が1か2かを判定し、1である場合は、ステップS121に進み、2である場合は、ステップS204に進む。
 ステップS204では、トランスポートストリームの数が1か2かを判定し、1である場合は、ステップS221に進み、2である場合はステップS211に進む。
 ステップS211に進む場合は、3次元画像を構成するL画像とR画像とが個別の、すなわち2つのトランスポートストリームとして設定されている場合である。
 一方、ステップS221に進む場合は、3次元画像を構成するL画像とR画像とが1つのトランスポートストリームとして設定されている場合である。
 まず、ステップS211以下の処理について説明する。すなわち、3次元画像を構成するL画像とR画像とが個別の、すなわち2つのトランスポートストリームとして設定されている場合の処理である。
 ステップS211では、2本の入力ストリームを解析し、エントリポイントマップを作成しながら2本の入力ストリームを別々のAVストリームファイル(MPEG-2トランスポートストリーム(m2ts)ファイル)として記録する。すなわち、2つのクリップを作成する。なお、ここで、クリップとはコンテンツ実体を格納したAVストリームファイルと、管理情報ファイルとしてのクリップ情報ファイルからなる1組のファイルのセットを意味する。
 ステップS212では、2つのクリップ対応のm2tsファイル毎に以下の処理を行う。
 3Dコンテンツ部分を示すプログラムシーケンスを作成する。
 クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
 ステップS212では、LR各画像対応のクリップの各々について、クリップ情報ファイルを作成する。なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。なお、このステップでは、先に図38および図39に示すフローチャートを参照して説明した処理が実行される。
 次のステップS213~S215の処理はプレイリストファイルに関する処理である。
 まず、ステップS213では、第1クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
 なお、3次元画像コンテンツの構成ストリームとしてのLR画像いずれかの画像対応のクリップを第1クリップとして、他方の画像対応のクリップを第2クリップとする。
 ステップS214では、第2クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(サブプレイアイテム(SubPlayItem))を生成する。
 ステップS215では、追記対象のプレイリストにメインパス(プレイアイテム(PlayItem))とサブパス(サブプレイアイテム(SubPlayItem))を追加する。さらに、3次元画像コンテンツが含まれるプレイリストであることを示すプレイリストファイルの3次元画像フラグ[Playlist_multiview_video_flag]を[1]にセットする。
 なお、プレイリストファイルの更新時には、3次元画像フラグ以外の3次元3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理は、先に図40に示すフローチャートを参照して説明した通りである。
 最後に、ステップS231において、インフォファイルを更新する。この処理に際して、インフォファイルに記録される3次元画像情報に、3Dコンテンツが含まれることを示す3次元画像フラグ[Index_multiview_video_flag]を[1]にセットする処理を行う。
 次に、ステップS221以下の処理について説明する。すなわち、3次元画像を構成するL画像とR画像を併せて1つのトランスポートストリームとして設定されている場合の処理である。
 ステップS221では、1本の入力ストリームを解析し、エントリポイントマップを作成しながら入力ストリームを1つのAVストリームファイル(MPEG-2トランスポートストリーム(m2ts)ファイル)として記録する。すなわち、1つのクリップを作成する。クリップはコンテンツ実体を格納したAVストリームファイルと、管理情報ファイルとしてのクリップ情報ファイルからなる1組のファイルのセットを意味する。
 ステップS222では、クリップ対応のm2tsファイルに対して以下の処理を行う。
 3Dコンテンツ部分を示すプログラムシーケンスを作成する。
 クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
 なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。この処理の詳細については、先に図38および図39に示すフローチャートを参照して説明した通りである。
 次のステップS223~S224の処理はプレイリストファイルに関する処理である。
 まず、ステップS223では、クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
 なお、この場合、クリップはLR画像とも1つのクリップに格納されており、生成するパス情報はメインパス(プレイアイテム)のみであり、3次元画像用のサブパス(サブプレイアイテム)は生成されない。
 ステップS224では、追記対象のプレイリストに、追記コンテンツに対応する再生パス情報としてのメインパス(プレイアイテム(PlayItem))を作成する。さらに、3次元画像コンテンツが含まれるプレイリストであることを示すプレイリストファイルの3次元画像フラグ[Playlist_multiview_video_flag]を[1]にセットする。
 なお、プレイリストファイルの更新時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理は、先に図40に示すフローチャートを参照して説明した通りである。
 最後に、ステップS231において、インフォファイルを更新する。この処理に際して、インフォファイルに記録される3次元画像情報に、3Dコンテンツが含まれることを示す3次元画像フラグ[Index_multiview_video_flag]を[1]にセットする処理を行う。
 (4-6.コンテンツの編集処理シーケンス)
 次に、情報処理装置の実行するデータ編集処理のシーケンスについて図42に示すフローチャートを参照して説明する。
 図42に示すフローは、メディアに記録済みの3次元画像コンテンツを削除する編集処理を行った場合の処理シーケンスを説明するフローである。
 まず、ステップS301において、ユーザからのコンテンツ削除指示入力を検出する。このコンテンツ削除は、規定の削除単位で行われることになる。具体的には、プレイリストに設定された再生パス情報であるプレイアイテム単位で実行される。
 ステップS302では、削除指定されたプレイアイテムが参照するクリップ(クリップ情報ファイルとAVストリームファイル)の指定部分を削除する。
 ステップS303では、削除指定されたプレイアイテムを削除する。
 次に、ステップS304において、プレイアイテム削除を実行したプレイリスト内に残存するプレイアイテムが参照するクリップに3次元画像フラグ[ClipInfo_multiview_video_flag]=1が設定されたプログラムシーケンスがあるか否かを判定する。すなわち、削除処理後にクリップ中に残存するプログラムシーケンスの3次元画像情報として、3次元画像が含まれていることを示す3次元画像フラグ=1を持つプログラムシーケンスがあるか否かを判定する。
 ある場合は、ステップS306に進み、編集対象のプレイリストの3次元画像フラグ[Playlist_multiview_video_flag]の設定値を[1]のまま維持する。すなわち、削除処理後のプレイリストの再生対象コンテンツに3次元画像が含まれていることを示す3次元画像フラグ=1をそのまま維持する。
 一方、ステップS304において、プレイアイテム削除を実行したプレイリスト内に残存するプレイアイテムが参照するクリップに3次元画像フラグ[ClipInfo_multiview_video_flag]=1が設定されたプログラムシーケンスがないと判定した場合は、ステップS305に進む。
 ステップS305では、編集対象のプレイリストの3次元画像フラグ[Playlist_multiview_video_flag]の設定値を[1]から[0]に変更する。すなわち、削除処理後のプレイリストの再生対象コンテンツに3次元画像が含まれていないことを示す3次元画像フラグ=0を設定する。
 その後、ステップS307において、編集対象プレイリストを設定したディレクトリ(例えば図3に示すBDAVディレクトリ)下に設定された全てのプレイリストの中に3次元画像フラグ[Playlist_multiview_video_flag]の設定値が[1]となっているプレイリストがあるか否かを判定する。すなわち、3次元画像を含むことを示すフラグを設定したプレイリストが残っているか否かを判定する。残っている場合は、ステップS309に進み、残っていない場合はステップS308に進む。
 残っていると判定した場合は、ステップS309において、編集対象のプレイリストを含むディレクトリのインフォファイルの3次元画像フラグ[Index_multiview_video_flag]の設定値[1]を変更せず維持する。すなわち、インフォファイルの管理下のコンテンツに3次元画像が含まれることを示すフラグの値をそのまま維持する。
 一方、ステップS307において、編集対象プレイリストを設定したディレクトリ下のプレイリストに3次元画像フラグ=1のプレイリストがないと判定した場合は、ステップS308において、編集対象のプレイリストを含むディレクトリのインフォファイルの3次元画像フラグ[Index_multiview_video_flag]の設定値[1]を[0]に変更する。すなわち、インフォファイルの管理下のコンテンツに3次元画像が含まれないことを示すフラグの値を設定する。
  (4-7.コンテンツの再生処理シーケンス)
 次に、図43に示すフローチャートを参照して、情報処理装置のコンテンツ再生処理シーケンスについて説明する。
 まず、ステップS401において、情報処理装置が再生指示入力を検出する。なお、コンテンツ再生指示は、例えば初期表示メニューに対するユーザによる再生指示入力等によって実行される。
 次に、情報処理装置はステップS402において、インフォファイルの3次元画像フラグ[Index_multiview_video_flag]=1であるか否かを判定する。
 3次元画像フラグ=1である場合は、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれていることを示す。この場合は、ステップS411に進む。
 一方、3次元画像フラグ=0である場合は、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれていないことを示す。この場合は、ステップS403に進む。
 まず、ステップS403以下の処理について説明する。すなわち3次元画像フラグ=0である場合であり、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれていない場合の処理である。
 この場合は、ステップS403において、再生装置(プレーヤ)内部のプレーン構成、すなわち再生処理構成を2次元画像の再生処理を実行する設定とし、さらにビデオ出力を2次元画像の出力設定とする処理を行う。
 次にステップS404において、表示部にタイトルのリストを表示し、ユーザの入力を受けてタイトル(プレイリスト)の再生を開始する。あるいはタイトルの自動再生を開始する。なお、タイトルリスト表示は、インフォファイルの持つデータを利用して行われる。タイトルリストに対してユーザが特定のタイトルを指定することで、その指定タイトルの再生が開始される。なお、ユーザの指定の有無に拘らず、予めデフォルトで規定されたタイトル対応コンテンツを再生する設定としている場合は、そのコンテンツが再生されることになる。
 次に、ステップS405において、ユーザによって指定されたコンテンツ、あるいは予め規定されたコンテンツの再生が実行される。この場合は、インフォファイル管理化のコンテンツに3Dコンテンツは含まれないため、2Dコンテンツの再生処理が行われる。
 ステップS406において、再生終了指示を検出しない場合は、ステップS404以下の処理が繰り返され、コンテンツ再生が継続される。ステップS406において、再生終了指示を検出した場合は、処理を終了する。
 次に、ステップS411以下の処理について説明する。すなわち3次元画像フラグ=1である場合であり、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれている場合の処理である。
 この場合は、ステップS411において、再生装置(プレーヤ)内部のプレーン構成、すなわち再生処理構成を3次元画像の再生処理を実行する設定とし、さらにビデオ出力を3次元画像の出力設定とする処理を行う。
 次にステップS412において、タイトルのリストを表示し、ユーザの入力を受けてタイトル(プレイリスト)の再生を開始する。あるいはタイトルの自動再生を開始する。なお、タイトルリスト表示は、インフォファイルの持つデータを利用して行われる。タイトルリストに対してユーザが特定のタイトルを指定することで、その指定タイトルの再生が開始される。なお、ユーザの指定の有無に拘らず、予めデフォルトで規定されたタイトル対応コンテンツを再生する設定としている場合は、そのコンテンツが再生されることになる。
 次にステップS413において、再生タイトルに対応するプレイリストファイルに設定された3次元画像情報を取得する。すなわち、先に、図11等を参照して説明した以下の情報である。
 3次元画像フラグ[PlayList_multiview_video_flag]、
 3次元画像構成情報[PlayList_multiview_video_configuration]、
 フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]、
 ベース画像識別フラグ[PlayList_base_view_is_Left_flag]、
 メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]、
 符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]、
 画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]、
 なお、再生装置は、まず、3次元画像フラグ[PlayList_multiview_video_flag]と、3次元画像構成情報[PlayList_multiview_video_configuration]、を参照する。
 3次元画像構成情報には、先に、図13を参照して説明した符号化態様情報が記録されている。再生装置は、まず、この3次元画像構成情報に基づいて、自装置で再生実行できる符号化データであるか否かを判定する。
 先に図13を参照して説明したように、3次元画像構成情報には、記録画像である3次元画像が以下のどの符号化態様で記録されているかの情報が設定されている。
 値=3:サイドバイサイド方式(side by side)
 値=4:トップアンドボトム方式(top and bottom)
 値=5:フレームシーケンシャル方式(frame sequential)
 値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
 値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
 値=32:MVC符号化1エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
 値=40:独立2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)(MVC符号化でない)
 値=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)(MVC符号化でない)
 再生装置は、この3次元画像構成情報に基づいて、自装置で再生実行できる符号化データであるか否かを判定する。
 なお、3次元画像構成情報=30~32の設定の場合には、さらに、符号化態様識別フラグを参照して自装置で再生実行できる符号化データであるか否かを判定する。
 すなわち、符号化態様識別フラグは、先に、図18を参照して説明したように、符号化処理としてエントロピー符号化モード(entropy coding mode)を使用した符号化処理を実行しているか否かを示す識別フラグである。
 エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、具体的には、例えば、
 CABAC(Context-based Adaptive Binary Arithmetic Coding)
 を利用した符号化処理である。
 エントロピー符号化モード(entropy coding mode)を利用しない符号化処理とは、具体的には、例えば、
 CAVLC(Context-based Adaptive Variable Length Coding)
 を利用した符号化処理である。
 再生装置は、3次元画像構成情報=30~32の設定の場合には、さらに、符号化態様識別フラグを参照して自装置で再生実行できる符号化データであるか否かを判定する。
 ステップS414において、自装置での再生処理が実行できない符号化データであると判定した場合は、ステップS415に進み、3次元画像を適用して2次元画像の再生処理を実行する。この処理は例外的な処理であり、例えばL画像のみを再生データとして利用した再生処理等が実行されることになる。
 一方、ステップS414において、自装置での再生処理を実行できる符号化データであると判定した場合は、ステップS416に進み、味源画像の再生処理を実行する。なお、この再生処理においては、プレイリストファイルおよびクリップ情報ファイルに設定された3次元画像情報を参照して、参照情報に対応する最適な処理を実行して再生処理を行うことになる。
 なお、クリップ情報ファイルにはプログラムシーケンス単位で3次元画像情報が設定されており、プログラムシーケンスの切り替えが実行される場合は、参照する3次元画像情報も切り替えて処理を実行する。
 ステップS417において、再生終了指示を検出しない場合は、ステップS412以下の処理が繰り返され、コンテンツ再生が継続される。ステップS417において、再生終了指示を検出した場合は、処理を終了する。
 なお、ステップS404やステップS412において実行するタイトルリストの表示処理に際しては、例えばインフォファイルやプレイリストファイル等の管理情報ファイルに含まれる3次元画像識別フラグに基づく判定情報、すなわち、3次元画像が含まれる可能性があるか否かの判定情報を表示部に表示する処理を行う構成としてもよい。
 例えば、記録メディア全体に格納されたコンテンツに3次元画像が含まれる可能性があるか否かの判定情報については、インフォファイルの3次元画像識別フラグに基づく判定情報を表示し、記録メディアに記録されたコンテンツのタイトル単位で3次元画像が含まれる可能性があるか否かについては、プレイリストファイルの3次元画像識別フラグに基づく判定情報を表示するといった処理が可能である。ユーザはこの表示により、メディア全体、あるいは各タイトル単位で3次元画像の有無を判定することができる。
  [5.情報処理装置の構成例について]
 次に、上述した記録再生処理を実行する情報処理装置の構成例について図44を参照して説明する。図44は、本発明の一実施例に係る情報処理装置400の構成例を示すブロック図である。情報処理装置400は、メディア410に対するデータ記録、またはデータ再生の少なくともいずれかの処理を行う装置である。具体的には例えば、記録再生装置、プレーヤ装置、レコーダ装置、ビデオカメラ、PCなどの装置である。
 なお、図44にはメディア410としてディスク型メディアを示しているが、メディアはディスク型メディアに限らず、フラッシュメモリなどのメディアでもよい。
 情報処理装置400は、図44に示すように、データ処理部(記録再生処理部)401、メモリ402、入力部403、出力部404、メディアインタフェース405、ローカル記憶部406を有する。
 データ処理部401は、様々なデータ処理プログラムを実行するプログラム実行機能を持つCPUを有する。例えばデータ記録再生処理を行うアプリケーションプログラムを実行する。例えば、図37~図43に示すフローチャートに従った処理等を実行する。
 メモリ402は、RAM,ROM等によって構成され、データ処理部401において実行するアプリケーションプログラムなどの格納領域として利用される。またメモリ402は、アプリケーション用のパラメータ、ワーク領域としても利用され、さらに、メディア記録データのバッファ領域などとしても利用される。
 入力部403は、例えばユーザの操作部であり、データ記録または再生指示の入力など、様々な入力が行われる。なお、入力部403にはリモコンも含まれ、リモコン操作情報の入力も可能である。出力部404は、ディスプレイ、スピーカ等によって構成される画像や音声の出力部である。
 メディアインタフェース405は、メディア410を利用したデータ記録、再生処理に適用されるインタフェースである。データ処理部401の要求に従って、データをメディア410に書き込み、またメディア410からのデータ読み取り処理などを行う。
 ローカル記憶部406は例えばハードディスクなどによって構成される。例えばコンテンツ他の各種データや、プログラムの記録領域として利用される。
 以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本発明の一実施例によれば、記録メディアに記録された3次元画像の符号化処理に関する属性情報を容易に取得可能としたデータ記録再生構成を実現する。3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する。記録する属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する。具体的には、3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データ、あるいは、3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを属性情報として記録する。この構成により、再生装置は再生対象データの解析を行うことなく符号化態様を判別して正しい復号処理を実行できる。
 101 UI情報[UIAppInfoBDAV()]
 102 プレイリスト情報[TableOfPlayLists()]
 103 メーカプライベートデータ領域[MakersPrivateData()]
 111 メーカID[maker_ID]記録領域
 112 メーカモデルコード[maker_model_code]記録領域
 113 データブロック[data_block]記録領域
 115 フラグ情報[Index_multiview_video_flag]
 121 3次元画像フラグ[PlayList_multiview_video_flag]
 122 次元画像構成情報[PlayList_multiview_video_configuration]
 123 フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]
 124 ベース画像識別フラグ[PlayList_base_view_is_Left_flag]
 125 メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]
 126 符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]
 127 画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]
 130 プレイリスト
 131 メインパス(メインプレイアイテム)
 132 サブパス(サブプレイアイテム)
 135 クリップa
 136 クリップb
 141 メインパス(プレイアイテム)情報記録領域
 142 サブパス(サブプレイアイテム)情報記録領域
 145 サブパス(サブプレイアイテム)タイプ情報記録領域
 201 ClipInfo
 202 SequenceInfo
 203 ProgramInfo
 204 CPI
 205 ClipMark
 206 MakersPrivateData
 210 EPマップ
 220 プログラムシーケンス数(number_of_program_sequences)
 221 3次元画像フラグ[ClipInfo_multiview_video_flag]
 222 3次元画像構成情報[ClipInfo_multiview_video_configuration]
 223 フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
 224 ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
 225 クリップ対応画像識別フラグ[ClipInfo_this_Clip_is_Left_flag]
 226 符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]
 227 画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag]
 400 情報処理装置
 401 データ処理部(記録再生処理部)
 402 メモリ
 403 入力部
 404 出力部
 405 メディアインタフェース
 406 ローカル記憶部
 410 メディア

Claims (20)

  1.  記録メディアに対するデータ記録処理を行うデータ処理部を有し、
     前記データ処理部は、
     記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
     前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装置。
  2.  前記データ処理部は、
     前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する請求項1に記載の情報処理装置。
  3.  前記データ処理部は、
     前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する請求項1に記載の情報処理装置。
  4.  前記エントロピー符号化モードを利用した処理は、CABAC(Context-based Adaptive Binary Arithmetic Coding)である請求項3に記載の情報処理装置。
  5.  前記データ処理部は、
     さらに、前記3次元画像の符号化方式を示す3次元画像構成情報を前記属性情報に含めて前記管理情報ファイルに記録する請求項1~4いずれかに記載の情報処理装置。
  6.  前記データ処理部は、
     (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
     (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
     上記(a)~(b)に示す管理情報ファイルの各々に各管理情報ファイルの管理データ単位で前記属性情報を記録する請求項1に記載の情報処理装置。
  7.  記録メディアからのデータ再生処理を行うデータ処理部を有し、
     前記データ処理部は、
     記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理装置。
  8.  前記データ処理部は、
     前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報から取得し、取得した画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行する請求項7に記載の情報処理装置。
  9.  前記データ処理部は、
     前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報から取得し、取得した符号化態様識別データに応じて復号態様を決定して復号処理を実行する請求項7に記載の情報処理装置。
  10.  前記エントロピー符号化モードを利用した処理は、CABAC(Context-based Adaptive Binary Arithmetic Coding)である請求項9に記載の情報処理装置。
  11.  前記属性情報は、3次元画像の符号化方式を示す3次元画像構成情報を含み、
     前記データ処理部は、
     前記3次元画像構成情報に基づいて、前記記録メディアに記録された3次元画像の符号化方式を判別する請求項7~10いずれかに記載の情報処理装置。
  12.  前記属性情報は、
     (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
     (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
     上記(a)~(b)に示す管理情報ファイルの各々に記録され、
     前記データ処理部は、
     プレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから管理データ単位の属性情報を読み出す請求項7に記載の情報処理装置。
  13.  画像データを記録した情報記録媒体であり、
     再生対象となるコンテンツとして3次元画像データを格納したストリームファイルと、
     前記コンテンツの管理情報を格納した階層化構成を持つ管理情報ファイルを記録データとして有し、
     前記階層化された管理情報ファイルの各々は、記録コンテンツに含まれる3次元画像の属性情報として、前記3次元画像データの符号化処理に関する属性情報を格納し、
     前記コンテンツを再生する再生装置が、管理情報ファイルの階層に従って前記属性情報を順次参照することで、情報記録媒体の記録コンテンツに含まれる3次元画像の符号化処理に関する属性を各管理情報ファイルの管理データ単位の属性として解析可能とした構成を持つ情報記録媒体。
  14.  前記属性情報は、前記3次元画像の復号時に左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを含み、
     前記再生装置が、前記画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行可能とした請求項13に記載の情報記録媒体。
  15.  前記属性情報は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを含み、
     前記再生装置が、前記符号化態様識別データに応じて復号態様を決定して復号処理を実行可能とした請求項13に記載の情報記録媒体。
  16.  前記属性情報は、
     (a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
     (b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
     上記(a)~(b)に示す管理情報ファイルの各々に記録され、
     前記再生装置が、まずプレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから前記属性情報を読み出し、各管理情報ファイルの管理するデータ単位で3次元画像の符号化処理に関する属性を解析可能とした請求項13~15いずれかに記載の情報記録媒体。
  17.  情報処理装置において記録メディアに対するデータ記録処理を実行する情報処理方法であり、
     データ処理部が、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
     前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装方法。
  18.  情報処理装置において記録メディアからのデータ再生処理を実行する情報処理方法であり、
     データ処理部が、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理方法。
  19.  情報処理装置において記録メディアに対するデータ記録処理を実行させるプログラムであり、
     データ処理部に、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行させ、
     前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する処理を実行させるプログラム。
  20.  情報処理装置において記録メディアからのデータ再生処理を実行させるプログラムであり、
     データ処理部に、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出させ、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得させて、取得した属性情報に従って復号処理を行わせるプログラム。
PCT/JP2011/057536 2010-04-08 2011-03-28 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム WO2011125574A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/636,135 US20130011124A1 (en) 2010-04-08 2011-03-28 Information processing device, information recording medium, information processing method, and program
KR1020127025412A KR20130066569A (ko) 2010-04-08 2011-03-28 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램
CN2011800268715A CN102918850A (zh) 2010-04-08 2011-03-28 信息处理装置、信息记录介质、信息处理方法以及程序
EP11765474.9A EP2557801A4 (en) 2010-04-08 2011-03-28 INFORMATION PROCESSING DEVICE, INFORMATION RECORDING MEDIUM, INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010089447A JP2011223247A (ja) 2010-04-08 2010-04-08 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2010-089447 2010-04-08

Publications (1)

Publication Number Publication Date
WO2011125574A1 true WO2011125574A1 (ja) 2011-10-13

Family

ID=44762525

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/057536 WO2011125574A1 (ja) 2010-04-08 2011-03-28 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Country Status (7)

Country Link
US (1) US20130011124A1 (ja)
EP (1) EP2557801A4 (ja)
JP (1) JP2011223247A (ja)
KR (1) KR20130066569A (ja)
CN (1) CN102918850A (ja)
TW (1) TW201206155A (ja)
WO (1) WO2011125574A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6127560B2 (ja) * 2013-02-13 2017-05-17 日産自動車株式会社 道路形状予測装置
CN104109535B (zh) * 2014-06-23 2016-03-02 中国石油化工股份有限公司 一种压裂液胶体保护剂及其应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158972A (ja) 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
WO2006025388A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法及び装置
JP2007179671A (ja) 2005-12-28 2007-07-12 Sony Corp データ構造および記録媒体
WO2009133714A1 (ja) * 2008-05-01 2009-11-05 パナソニック株式会社 立体視映像を再生するための光ディスク

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5295236B2 (ja) * 2008-06-18 2013-09-18 三菱電機株式会社 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置
JP4974984B2 (ja) * 2008-09-11 2012-07-11 三菱電機株式会社 映像記録装置及び方法
WO2010038409A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 再生装置、記録媒体、及び集積回路
EP2348747A4 (en) * 2008-11-18 2013-08-28 Panasonic Corp REPRODUCTION DEVICE, INTEGRATED CIRCUIT, AND REPRODUCTION METHOD WHEREAS SPECIALIZED REPRODUCTION
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158972A (ja) 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
WO2006025388A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法及び装置
JP2007179671A (ja) 2005-12-28 2007-07-12 Sony Corp データ構造および記録媒体
WO2009133714A1 (ja) * 2008-05-01 2009-11-05 パナソニック株式会社 立体視映像を再生するための光ディスク

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2557801A4

Also Published As

Publication number Publication date
JP2011223247A (ja) 2011-11-04
KR20130066569A (ko) 2013-06-20
CN102918850A (zh) 2013-02-06
EP2557801A4 (en) 2014-07-16
US20130011124A1 (en) 2013-01-10
EP2557801A1 (en) 2013-02-13
TW201206155A (en) 2012-02-01

Similar Documents

Publication Publication Date Title
JP5577805B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CA2816434C (en) Recording medium, playback device, recording device, playback method and recording method for editing recorded content while maintaining compatibility with old format
JP5601006B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP5494152B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2011125575A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP4984184B2 (ja) 再生装置および再生方法
WO2011125574A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP4984194B2 (ja) 記録方法
JP2010244635A (ja) 情報処理装置、情報処理方法、再生装置、再生方法、プログラム、および記録媒体
JP2010245916A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180026871.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11765474

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011765474

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13636135

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20127025412

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE