WO2011125574A1 - 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2011125574A1 WO2011125574A1 PCT/JP2011/057536 JP2011057536W WO2011125574A1 WO 2011125574 A1 WO2011125574 A1 WO 2011125574A1 JP 2011057536 W JP2011057536 W JP 2011057536W WO 2011125574 A1 WO2011125574 A1 WO 2011125574A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- image
- data
- file
- recording
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/329—Table of contents on a disc [VTOC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
- G11B2020/10611—3D video data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Definitions
- the present invention relates to an information processing apparatus, an information recording medium, an information processing method, and a program. More specifically, the present invention relates to an information processing apparatus, an information recording medium, an information processing method, and a program for executing data recording processing or data reproduction processing of a three-dimensional image (3D image) using a recording medium such as a disk or a flash memory. .
- 3D images 3D images
- video cameras and still cameras capable of recording 3D images (3D images), and the like
- the 3D image is subjected to display processing using captured images from different viewpoints, that is, a left-eye image and a right-eye image. Therefore, when recording a three-dimensional image on a medium, it is necessary to record a set of images of a left-eye image and a right-eye image, and reproduction is performed using these one set of images during reproduction processing. It will be.
- the Frame Sequential (Frame Sequential) method is an encoding method that records / transfers left-eye image (L image) and right-eye image (R image) frames alternately with L, R, L, R,... .
- the side-by-side method is an encoding method in which an LR image is divided into left and right in one frame image and recorded / transferred.
- the Top & Bottom method is an encoding method in which an LR image is divided into upper and lower parts in one frame image and recorded / transferred.
- 3D content distributed by a broadcasting station for television broadcasting is a side-by-side format.
- a recording method using a certain video camera is a frame sequential method.
- information for discriminating each method, control information corresponding to each method, and attribute information may be recorded. Necessary. Further, at the time of reproduction, it is necessary to discriminate each method and reproduce it using control information and attribute information corresponding to each method.
- video recording and playback standards for current media do not have these three-dimensional image method control information and attribute information recording areas.
- BDMV and BDAV standards formats
- These application standards are established as data recording / reproducing application standards mainly using BD (Blu-ray Disc (registered trademark)).
- the BD standard is described in, for example, Patent Document 1 (Japanese Patent Laid-Open No. 2002-158972) and Patent Document 2 (Japanese Patent Laid-Open No. 2007-179671).
- BDMV and BDAV are application standards for data recording / playback mainly using BD, but these standards are not limited to BD, but also for data recording / playback using other media other than BD, such as flash memory. Applicable.
- BDMV is an application standard developed for BD-ROM in which, for example, movie content is recorded in advance, and is widely used mainly in non-rewritable BD-ROM such as package content.
- the BDMV has a feature that it can store a navigation command and a BD-J as a program for controlling reproduction in accordance with a user operation on a disc and provide various interactive functions intended by the content creator. Another feature is that recording and playback can be performed using a menu screen composed of graphics and buttons.
- the BDMV standard is an application standard for BD-ROM that mainly records movie content and the like. As described above, various content-specific controls are provided so that content can be recorded and reproduced according to the intention of the content creator. It is a specification that can record information and attribute information. Control information and attribute information necessary for recording and reproducing 3D images can also be recorded in accordance with the BDMV standard, and a BDMV standard compatible disc on which 3D content is recorded has already been provided to the user.
- Non-Patent Document 1 http: // www. blu-raydisc. com / jp / Press / PressRelease. html].
- This specification is an extended BDMV standard that allows 3D content to be stored in a BD-ROM that is a read-only medium, and is defined as “BD-ROM Part 3 ver. 2.4”.
- BDAV is a standard developed for the purpose of applying to data recording / playback processing using a rewritable BD-RE type disc or a BD-R type disc that can be recorded only once.
- BDAV is used, for example, when a video shot by a user with a video camera or the like is recorded on a BD-RE disc or a BD-R disc and played back. Alternatively, it is used for recording and reproducing a television broadcast on a video recorder or the like.
- the BDAV standard enables easy data recording by the user, it is not suitable for recording and reproducing complicated control information. For example, compared with BDMV, there is a feature that there are few interactive functions and functions for realizing various controls for content recording / playback.
- the BDMV standard for BD-ROM can record and reproduce 3D images, but the current BDAV standard defines a recording area for information necessary for recording and reproducing 3D image contents.
- it is a data recording / reproducing application standard that uses a rewritable recording medium or a recording medium that can be recorded only once, and is not used for BD-ROM, and is also called BDMV standard BD-RE Part3 ver3.
- a recording area for information necessary for recording and reproducing 3D image content is not defined.
- the present invention has been made in view of the above-described situation, for example, and is an information processing apparatus that realizes recording of information necessary for recording and reproduction of a three-dimensional image, and reproduction of a three-dimensional image using the information,
- An object is to provide an information recording medium, an information processing method, and a program.
- An object is to provide an information processing apparatus, an information recording medium, an information processing method, and a program that enable reproduction.
- the first aspect of the present invention is: A data processing unit for performing data recording processing on a recording medium;
- the data processing unit In the data recording process on the recording medium, a process of recording the attribute information of the three-dimensional image included in the recording data as the attribute of the management data unit of each management information file in each of the hierarchized management information files,
- the information processing apparatus records the attribute information including attribute information related to the encoding process of the three-dimensional image.
- the data processing unit performs inter-image reference between the left-eye image (L image) and the right-eye image (R image) when the three-dimensional image is decoded.
- An inter-image reference identification data indicating whether or not there is a possibility of being necessary is recorded as the attribute information in the management information file.
- the data processing unit receives encoding mode identification data indicating whether or not an entropy encoding mode is used for encoding the three-dimensional image. As described above, the process of recording in the management information file is executed.
- the processing using the entropy coding mode is CABAC (Context-based Adaptive Binary Arithmetic Coding).
- the data processing unit further includes three-dimensional image configuration information indicating a coding method of the three-dimensional image included in the attribute information and recorded in the management information file. To do.
- the data processing unit is (A) a clip information file set in association with a stream file that is a storage file of image data; (B) a playlist file having playback section designation information for the clip information file; The attribute information is recorded in each management information file of each management information file in each of the management information files shown in (a) to (b) above.
- the second aspect of the present invention provides A data processing unit for performing data reproduction processing from a recording medium;
- the data processing unit At the time of data reproduction processing from the recording medium, the attribute information of the encoded three-dimensional image recorded on the recording medium is sequentially read out from each of the hierarchized management information files, and is used as an attribute of the management data unit of each management information file.
- There is an information processing apparatus that acquires attribute information related to a 3D image encoding process and performs a decoding process according to the acquired attribute information.
- the data processing unit performs inter-image reference between the left-eye image (L image) and the right-eye image (R image) when the three-dimensional image is decoded.
- Inter-image reference identification data indicating whether or not there is a possibility of being necessary is acquired from the attribute information, and the necessity of inter-image reference is determined according to the acquired inter-image reference identification data, and decoding processing is executed.
- the data processing unit receives encoding mode identification data indicating whether or not an entropy encoding mode is used for encoding the three-dimensional image.
- the decoding mode is determined according to the acquired coding mode identification data and the decoding process is executed.
- the processing using the entropy coding mode is CABAC (Context-based Adaptive Binary Arithmetic Coding).
- the attribute information includes 3D image configuration information indicating a 3D image encoding method
- the data processing unit is based on the 3D image configuration information. Then, the encoding method of the three-dimensional image recorded on the recording medium is determined.
- the attribute information is (A) a clip information file set in association with a stream file that is a storage file of image data; (B) a playlist file having playback section designation information for the clip information file; Recorded in each of the management information files shown in (a) to (b) above,
- the data processing unit reads attribute information in units of management data from a management information file selected according to reproduction target data in the order of a playlist file and then a clip information file.
- the third aspect of the present invention provides An information recording medium on which image data is recorded, A stream file storing 3D image data as content to be played, A management information file having a hierarchical configuration storing the management information of the content is included as recording data,
- Each of the hierarchized management information files stores attribute information relating to encoding processing of the three-dimensional image data as attribute information of the three-dimensional image included in the recorded content
- the playback device that plays back the content sequentially refers to the attribute information in accordance with the hierarchy of the management information file, so that the attribute relating to the encoding process of the three-dimensional image included in the recorded content of the information recording medium is managed in each management information file. It exists in an information recording medium having a configuration that can be analyzed as an attribute of a data unit.
- the attribute information requires an inter-image reference between the left-eye image (L image) and the right-eye image (R image) when the three-dimensional image is decoded.
- the inter-image reference identification data indicating whether or not there is a possibility that the inter-image reference is included, and the playback apparatus determines whether or not the inter-image reference is necessary according to the inter-image reference identification data, and can execute the decoding process.
- the attribute information includes encoding mode identification data indicating whether an entropy encoding mode is used for encoding the three-dimensional image, and the reproduction The apparatus determines the decoding mode according to the encoding mode identification data and enables the decoding process.
- the attribute information is (A) a clip information file set in association with a stream file that is a storage file of image data; (B) a playlist file having playback section designation information for the clip information file; Recorded in each of the management information files shown in (a) to (b) above,
- the playback device reads the attribute information from the management information file selected according to the playback target data in the order of the playlist file and then the clip information file, and the three-dimensional image in units of data managed by each management information file
- the attributes related to the encoding process can be analyzed.
- the fourth aspect of the present invention provides An information processing method for performing a data recording process on a recording medium in an information processing device,
- the data processing unit records the attribute information of the three-dimensional image included in the recording data as the attribute of the management data unit of each management information file in each of the hierarchized management information files during the data recording process on the recording medium.
- the fifth aspect of the present invention provides An information processing method for executing data reproduction processing from a recording medium in an information processing device,
- the data processing unit sequentially reads the attribute information of the encoded three-dimensional image recorded on the recording medium from each of the hierarchized management information files during data reproduction processing from the recording medium, and manages each management information file
- attribute information related to a 3D image encoding process is acquired as an attribute of a data unit, and a decoding process is performed according to the acquired attribute information.
- the sixth aspect of the present invention provides A program for executing a data recording process on a recording medium in an information processing device,
- the data processing unit records the attribute information of the three-dimensional image included in the recording data as the attribute of the management data unit of each management information file in each management information file hierarchized. Let it run A program for executing a process of recording the attribute information including attribute information related to the encoding process of the three-dimensional image.
- the seventh aspect of the present invention provides A program for executing data reproduction processing from a recording medium in an information processing device,
- the data processing unit sequentially reads out the attribute information of the encoded three-dimensional image recorded on the recording medium from each of the hierarchized management information files during the data reproduction processing from the recording medium.
- the attribute information related to the encoding process of the three-dimensional image is acquired as the attribute of the management data unit, and the decoding process is performed according to the acquired attribute information.
- the program of the present invention is a program provided by, for example, a storage medium to an information processing apparatus or a computer system that can execute various program codes. By executing such a program by the program execution unit on the information processing apparatus or the computer system, processing according to the program is realized.
- system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
- a data recording / reproducing configuration is realized in which attribute information relating to encoding processing of a three-dimensional image recorded on a recording medium can be easily obtained.
- the attribute information of the 3D image is recorded as an attribute of the management data unit of each management information file in each of the hierarchized management information files.
- the attribute information to be recorded includes the attribute information related to the encoding process of the three-dimensional image. Specifically, an inter-image reference identification that indicates whether or not an inter-image reference between an image for the left eye (L image) and an image for the right eye (R image) may be required when decoding a three-dimensional image.
- the playback apparatus can determine the encoding mode and perform correct decoding processing without analyzing playback target data.
- FIG. 6 is a diagram illustrating the syntax of bdav].
- Info file [info. [Fig. 10] Fig. 10 is a diagram illustrating the syntax of a maker private data area of bdav].
- Info file [info. It is a figure which shows the example of a recording of the maker ID [maker_ID] recording area and the maker model code recording area of the maker private data area of bdav].
- Info file [info. It is a figure explaining the three-dimensional image information recorded on the data block [data_block] recording area of the maker private data area of bdav].
- Info file [info. It is a figure which shows the specific example of the three-dimensional image information recorded on the data block [data_block] recording area of the maker private data area of bdav].
- ProgramInfo of a clip information file It is a figure explaining ProgramInfo of a clip information file, and a program sequence (program_sequence). It is a figure which shows the syntax of ProgramInfo of a clip information file. It is a figure which shows the syntax of CPI of a clip information file. It is a figure explaining EP map recorded on CPI of a clip information file. It is a figure explaining EP map recorded on CPI of a clip information file. It is a figure explaining the specific example of the three-dimensional image information (multiview_video_info) recorded on the data block [data_block] recording area in the maker private data area of a clip information file.
- multiview_video_info three-dimensional image information
- FIG. 10 is a diagram illustrating a flowchart for explaining a content recording processing sequence executed by the information processing apparatus.
- FIG. 1 It is a figure which shows the flowchart explaining the recording / update process sequence of the three-dimensional image information with respect to the clip information file which an information processing apparatus performs. It is a figure which shows the flowchart explaining the recording / update process sequence of the frame 0 image identification flag as 3D image information with respect to the clip information file which an information processing apparatus performs, and a base image identification flag. It is a figure which shows the flowchart explaining the recording / update process sequence of the three-dimensional image information with respect to the play list file which an information processing apparatus performs. It is a figure which shows the flowchart explaining the additional recording process sequence of the content which information processing apparatus performs. FIG.
- FIG. 10 is a diagram illustrating a flowchart for describing a content editing process sequence executed by the information processing apparatus.
- FIG. 11 is a diagram illustrating a flowchart for explaining a content reproduction processing sequence executed by the information processing apparatus. It is a figure explaining the structural example of the information processing apparatus which concerns on one Example of this invention.
- Example of recording 3D image information in a clip information file 4. Processing sequence executed by information processing apparatus 4-1.
- Content recording processing sequence 4-2. Recording / update processing sequence of 3D image information for clip information file 4-3. Recording / updating process sequence of frame 0 image identification flag and base image identification flag as 3D image information for clip information file 4-4. Recording / updating process sequence of 3D image information for playlist file 4-5.
- Content editing processing sequence 4-7. Content playback processing sequence Configuration example of information processing device
- a provider of a 3D image that can be recorded on a recording medium for example, there are the following providers.
- Broadcast content provided by a broadcaster such as a television station
- Shooting content of a video camera
- Net distribution content provided via a communication network such as the Internet
- these three-dimensional image contents are recorded on a recording medium ( BD, flash memory, etc.).
- the side-by-side method is an encoding method in which an LR image is divided into left and right in one frame image and recorded / transferred.
- the L image means the left eye image
- the R image means the right eye image.
- the Top & Bottom system is an encoding system in which an LR image is divided into upper and lower parts in one frame image and recorded / transferred.
- Frame Sequential (Frame Sequential) encoding is performed by alternately recording / transferring left-eye image (L image) and right-eye image (R image) frames in L, R, L, R,. It is a method.
- a stream method with reference between views (1 or 2 streams) is a base view in which one of an L image and an R image is set as a reference image to be referred to in decoding processing, and the other is
- This is a method set as a non-base view in which decoding is performed with reference to a reference image in decoding processing.
- the arrows shown in the figure are arrows indicating images to be referred to when decoding each image.
- the example shown in the figure is an example in which the L image is a base view and the R image is a non-base view.
- the two-stream method without inter-view reference is a two-stream method in which the L image and the R image are respectively separate streams. Only the L image is referred to for decoding the L image, and for decoding the R image. This is a configuration that refers only to R images. This is a method in which the inter-view reference from L to R or R to L is unnecessary.
- BDAV standard is a standard (format) for data recording and reproduction using a recording medium such as BD (Blu-ray Disc (registered trademark)), will be described.
- BDMV Blu-ray Disc
- BDAV Blu-ray Disc
- BDMV is an application standard developed for BD-ROM in which, for example, movie content is recorded in advance.
- BDAV is an application standard developed for use in rewritable BD-RE and BD-R that can be recorded only once.
- BDAV directory which is a data recording configuration recorded on a medium according to the BDAV standard.
- the BDAV standard described below corresponds to the BD-RE2.1 standard.
- a directory [BDAV] is placed under the root [Root] directory.
- a playlist file [xxxx. mpls] is set and the clip information directory [CLIPINF] has a clip information file [xxxx. clpi] is set, and the AV stream file [xxxx. m2ts] is set.
- Info file [info. bdav] is a file according to the BDAV standard, a file for managing the entire disc, and a file having a playlist table.
- the index file is a file that complies with the BDMV standard, and is a file that similarly manages the entire disc and that has a table of movie objects. Since a playlist file is specified from this movie object, the index file is a file that indirectly specifies a playlist. Also, the info file and the index file are common in that they are files that manage the entire disk. Therefore, when it is necessary to record various types of 3D data in the BDMV format, the information may be recorded in the index file instead of the info file, as in addition to the BDAV format described below.
- Menu file [menu. tidx], [menu. [tdt1 / tdt2] stores thumbnail images of representative images of the respective AV stream files.
- [Menu. tidx] stores thumbnail management information
- [menu. [tdt1 / tdt2] stores thumbnail images.
- the BDAV standard does not have a function for creating a menu having various information, and for example, is set to perform a simple menu display in which the first image of a video shot by the user is displayed as a thumbnail.
- Menu file [menu. tidx], [menu. [tdt1 / tdt2] manages and stores thumbnail images for this purpose.
- Mark file [mark. tidx], [mark. [tdt1 / tdt2] is a file that manages and stores a thumbnail image corresponding to a mark position that is index information set in an editing process or the like for a user's captured image (AV stream file).
- [Mark. [tidx] stores thumbnail management information
- [mark. [tdt1 / tdt2] stores thumbnail images.
- a playlist file [xxxx. mpls] is set and the clip information directory [CLIPINF] has a clip information file [xxxx. clpi] and the clip AV stream file [xxxx. m2ts] is set.
- the info file to clip information file are management information files applied to the reproduction of data stored in the clip AV stream file. These management information files are also called database files or databases.
- the info file is a management information file for the recording data of the entire media. As described above, the playlist table is recorded in the info file.
- a medium information recording medium
- an info file is first read and a menu including a title is displayed according to the description information of the info file. The user can select a title on the menu and perform selective content reproduction.
- [mpls] is a reproduction list that is provided corresponding to the title shown to the user and includes at least one reproduction path information (play item).
- Each piece of playback path information (play item) is playback section designation information having a playback start point (IN point) and a playback end point (OUT point) for a clip.
- the playback order of each playback section can be specified.
- Clip information file [xxxx.x] recorded in the clip information directory [CLIPINF].
- clpi] is an AV stream file [xxxx.x] recorded in the stream directory [STREAM].
- the clip information file is a file in which information about a stream necessary for reproducing an actual stream is described.
- AV stream file [xxxx .. recorded in the stream directory [STREAM].
- clpi] and the AV stream file may be collectively referred to as a clip.
- the info file to the clip information file are management information files applied to reproduction of data stored in the clip AV stream file.
- This management information file has a hierarchical structure in which one or more playlist files are set below the info file, and one or more clip information files are set below the playlist file. That is, a plurality of different management information files are set in a hierarchy.
- 3D image information is recorded in each of these hierarchized management information files, and when reproducing content from the media, the 3D image information is sequentially stored from these hierarchized management information files. Read and use.
- the playback device reads 3D image information in the order of an info file, a playlist file, and a clip information file, and whether or not the playback target content includes the 3D image, or the encoding mode of the 3D image, etc. Obtain and use detailed information. This process will be described later.
- FIG. 4 is a UML (Unified Modeling Language) diagram showing the relationship between a clip AV stream, clip information (Clip Information), clips, play items, playlists, and info files.
- UML Unified Modeling Language
- the playback device can first read the info file and display the menu information and the like based on the playlist file table included in the info.
- the displayed menu presents a list such as a playlist corresponding to the content recorded on the disc, and the user can specify the title and play the content.
- the content entity data is stored in a clip AV stream file.
- the user designation information for the menu presented to the user based on the info file is a designation process of play list (PlayList) and reproduction path information (play item) in the play list.
- the playlist has reproduction path information (play item) serving as reproduction section designation information.
- the playback path information includes Main path (Main play item (PlayItem)) Sub path (Sub play item (SubPlayItem)) There are these two types. Each of these main path (main play item) and sub path (sub play item) is individually associated with one clip (Clip).
- the main path (main play item) and the sub path (sub play item) have designation information of a playback start point (IN time) and a playback end point (OUT time).
- the designation information of the reproduction start point (IN time) and the reproduction end point (OUT time) is used as reproduction section designation information of the content included in the clip AV stream file associated with the clip on a one-to-one basis.
- the title designation information included in the menu presented to the user based on the information is used as the playlist or play item selection information, and the reproduction start set in the selected reproduction path information (play item) is started.
- a playback section is determined according to the point (IN time) and the playback end point (OUT time), and a clip information file and a clip AV stream file which are clips are selected according to the determined playback section, and playback is executed.
- One-to-one correspondence is made with the playlist, the playback path information (play item) included in the playlist, and the clip information file and clip information file whose playback start / end points are specified by the playback path information (play item).
- the correspondence relationship with the clip AV stream file storing the reproduced content will be described with reference to FIG.
- FIG. 5 shows a play list, playback path information (play item) included in the play list, and a clip information file and a clip information file whose playback start / end points are specified by the playback path information (play item).
- the clip AV stream file (Clip AV stream) and the clip information file (Clip Information) that is the associated information are considered as one object, and these sets are referred to as a clip (Clip).
- the playlist contains Main path (Main play item (PlayItem)) Sub path (Sub play item (SubPlayItem)) Is included. Each of these has designation information of a reproduction start point (IN time) and a reproduction end point (OUT time). As shown in FIG. 5, an arrow 11 from the main path (main play item (PlayItem)) and the sub path (sub play item (SubPlayItem)) to the clip information file (Clip Information) indicates a playback start point (IN time) and a playback end. Corresponds to point (OUT time) designation information.
- the designation information of the reproduction start point (IN time) and the reproduction end point (OUT time) is used as reproduction section designation information of the content included in the clip AV stream file associated with the clip information file on a one-to-one basis. .
- the configuration of the present invention records 3D image information, which is attribute information of a 3D image, in each of the hierarchical management information files.
- 3D image information which is attribute information of a 3D image
- attribute information in units of management data of each file is recorded.
- BD Blu-ray Disc
- flash memory can be used as a medium for recording a three-dimensional image.
- the present invention is not limited to a specific recording medium, and can be applied to a recording / reproducing process using various media.
- a BDAV standard format
- a recording / playback format without definition of a recording area for information relating to a three-dimensional image.
- the present invention is not limited to the BDAV standard. It is also applicable to other standards.
- management information file is recorded as management information of the recorded content.
- the management information file includes the following files.
- (c) Clip information file The example described below is a processing example in which 3D image information is recorded in these database files and used during playback.
- FIG. 6 shows an info file [info.info] defined as a management information file (database file) in the BDAV standard. bdav] syntax.
- info file [info.info] defined as a management information file (database file) in the BDAV standard. bdav] syntax.
- An information processing apparatus that performs data recording on a medium performs processing for generating and recording management information having syntax described below in content recording processing. Further, when the information processing apparatus changes the recorded content by executing processing such as editing of the recorded content, the management information is updated in accordance with the change.
- an information processing apparatus that performs data reproduction from a medium on which content is recorded analyzes an encoded stream that is a content to be reproduced in accordance with the syntax, executes decoding processing, and generates reproduction data.
- the info file [info. bdav] is mainly composed of the following three objects as shown in the figure.
- UI information [UIAppInfoBDAV ()] 101
- Playlist information [TableOfPlayLists ()]
- Manufacturer private data area [MakersPrivateData ()] 103, These objects.
- Info file [info. bdav] has playlist designation information.
- UI information [UIAppInfoBDAV ()] 101 is an area in which information related to display of menu information including, for example, a content title is recorded.
- the playlist information [TableOfPlayLists ()] 102 is an area in which playlist information for reproducing the content corresponding to the title is recorded.
- the manufacturer private data area [MakersPrivateData ()] 103 is an area where a manufacturer who provides an information processing apparatus such as a playback device can record free information.
- the manufacturer of the recording / reproducing apparatus is set as an area where information for a special application of each company executed in the recording / reproducing apparatus can be recorded freely.
- [MakersPrivateData ()] 103 is set so that each manufacturer can individually insert private data.
- the syntax of the maker private data area 103 is shown in FIG. As shown in FIG. 7, the maker private data area [MakersPrivateData ()] 103 includes: Manufacturer ID [maker_ID] recording area 111 Manufacturer model code [maker_model_code] recording area 112 Data block [data_block] recording area 113 These data recording areas are included.
- the manufacturer ID [maker_ID] recording area 111 is a manufacturer identification information recording area in which the manufacturer private data is recorded. For example, when the recording / reproducing apparatus of company A executes content recording and records parameters to be applied to the application specific to the apparatus of company A, the ID set by company A is recorded, and actual data recording of manufacturer private data is performed. Processing for recording parameters in the area is performed.
- the manufacturer model code [maker_model_code] recording area 112 is a code such as product identification information of an apparatus that records the manufacturer private data.
- the data block [data_block] recording area 113 becomes the actual data recording area of the maker private data.
- Data block [data_block] recording area 113 Three-dimensional image information (multiview_video_info) is recorded using these data recording areas.
- the data block [data_block] recording area 113 various information unique to the manufacturer is recorded. As a part thereof, 3D image information (multiview_video_info) is recorded. According to each record information, a manufacturer ID [maker_ID], a manufacturer model code [maker_model_code], a data block [data_block], and these three sets can be set.
- information recorded in the data block [data_block] recording area 113 is three-dimensional image information (multiview_video_info).
- An example of a specific data recording mode is shown in FIG.
- identification information as to whether or not the maker private data recorded in the data block is three-dimensional image information is recorded. For example, as shown in FIG. 8, when ID information [0x2000] corresponding to predefined three-dimensional image information (multiview_video_info) is recorded in the manufacturer ID [maker_ID] recording area 111, the following data blocks are recorded. It indicates that the recorded information is three-dimensional image information (multiview_video_info).
- version information of the 3D image information recorded in the data block is recorded in the maker model code [maker_model_code] recording area 112.
- [0x0100] is the version information of the three-dimensional image information.
- FIG. 9 shows a specific example of the 3D image information (multiview_video_info) recorded in the data block [data_block] recording area 113 shown in FIG.
- Flag information [Index_multiview_video_flag] 115 is recorded in the three-dimensional image information (multiview_video_info) as shown in FIG.
- the flag information 115 is a flag that sets information about whether or not a 3D image is included in the set content under the BDAV directory (content to be managed by this info file) in the content recorded on the medium.
- any information of flag 0/1 is set, and in the case of 0, only 2D content is included under the management target directory, and 3D content is not included. In the case of 1, there is a possibility that 3D content is included under the management target directory.
- the playback device uses the info file to display a menu including the content title stored in the media, the content corresponding to each title is displayed based on the flag information.
- Information about whether or not a three-dimensional image is included can be presented to the user.
- Title A Includes 3D images
- Title B 2D images
- Title C Includes 3D images: Such a menu display is possible.
- the playlist file is an info file [info. This is a file storing a playlist selected corresponding to the title selected from the title display menu using bdav].
- info file This is a file storing a playlist selected corresponding to the title selected from the title display menu using bdav].
- playback path information (play item) having playback section designation information having a playback start point (IN point) and a playback end point (OUT point) for a clip is stored in the playlist. is doing.
- Each of these playlist files also includes an info file [info. Similar to bdav], a maker private data area is set. That is, this is an area where a manufacturer of an information processing apparatus such as a recording / reproducing device can record free information.
- 3D image information (multiview_video_info) is recorded in the maker private data area of the playlist file.
- the maker private data area of the playlist file is similar to the info file shown in FIG.
- Manufacturer ID [maker_ID] recording area
- Manufacturer model code [maker_model_code] recording area
- Data block [data_block] recording area
- multiview_video_info recorded in the data block [data_block] recording area in the maker private data area of the playlist file
- the following information is recorded in the data block [data_block] recording area in the maker private data area of the playlist file.
- 3D image flag [PlayList_multiview_video_flag] 121 3D image configuration information [PlayList_multiview_video_configuration] 122, Frame 0 image identification flag [PlayList_frame0_is_Left_flag] 123, Base image identification flag [PlayList_base_view_is_Left_flag] 124, Main path image identification flag [PlayList_MainPath_is_Left_flag] 125, Encoding mode identification flag [PlayList_use_entropy_coding_mode_flag] 126, Inter-image reference identification flag [PlayList_use_inter-view_prediction_flag] 127, These pieces of information are three-dimensional image information recorded in each playlist file.
- the apparatus that performs content recording determines whether or not a 3D image is included in the recorded content, and the data block [data_block] recording area in the maker private data area of the playlist file in accordance with the determination information is shown in FIG.
- the three-dimensional image information shown is recorded.
- An apparatus that executes content reproduction can execute correct three-dimensional image reproduction by applying the information recorded in the playlist file.
- An apparatus that executes content recording determines whether or not a recorded content includes a three-dimensional image, and records the flag according to the determination information.
- An apparatus that performs content reproduction can identify whether or not a content to be reproduced using this playlist includes a three-dimensional image by referring to the value of the flag.
- the 3D image configuration information 122 is set as an area for recording encoding mode information of a 3D image that is a content reproduced by the playlist.
- the MVC encoding method with values 30 to 32 corresponds to the encoding method shown in FIG. In this case, the elementary stream is classified as 1 or 2, and the system stream is classified as 1 or 2.
- the encoding method of values 40 to 41 corresponds to the encoding method shown in FIG. In this case, the elementary stream is classified as 2, and the system stream is classified as 1 or 2.
- the device that performs content recording records the above value according to the encoding mode information.
- a device that performs content reproduction can refer to the above values, identify the encoding mode of content to be reproduced using this playlist, and execute a decoding process corresponding to the identification information.
- Frame 0 is an image for the left eye (L image)
- Frame 1 is an image for the right eye (R image)
- Frame 0 is right-eye image (R image)
- Frame 1 is an image for the left eye (L image)
- L images and R images are alternately displayed on the display device, and the shutter of the shutter-type glasses worn by the user is opened and closed in accordance with the display.
- the L image is observed only by the user's left eye
- the R image is observed only by the right eye, so that a correct sense of depth can be obtained.
- a device that performs content recording records the above value according to frame information when the recorded content includes a three-dimensional image and the encoding mode is a frame sequential method.
- a device that performs content playback refers to the above-mentioned values when correctly decoding content to be played back using this playlist, and accurately determines whether frame 0 is an L image or an R image. The correct reproduction display of the LR image can be performed.
- reference encoding processing may be performed between the L image and the R image.
- one of the LRs is used as a base view (basic image), and the other image is decoded by referring to the base view.
- a device that performs content recording records the above values according to base view information when the recorded content includes a three-dimensional image and the encoding mode is the MVC encoding method (see FIG. 2 (4)). To do.
- a device that performs content playback refers to the above value to determine which image the base view is LR and correctly decodes the LR image. Can be displayed.
- the main path image identification flag 125 is the encoding method described with reference to FIG. 2 (5), that is, [independent stream (2 streams) without reference between views (not MVC)], this encoding.
- This method records a flag used in the case of an independent 2 elementary stream / 2 system stream (2 clip AV stream).
- the 3D image configuration information described with reference to FIG. 13 41: independent 2 elementary stream / 2 system stream (2 clip AV stream) Used for this setting.
- the main path image identification flag 125 includes the following two paths set in the playlist, that is, Main path (main play item) Sub path (sub play item) Information for indicating whether each of these two paths corresponds to an L image or an R image is recorded.
- the main path is a right-eye image (R image).
- Value 3: The main path is a left-eye image (L image). Record this information. It should be noted that if the correspondence between the main path and the L / R is mixed in the playlist, or if the association information cannot be acquired, 0 (no information) is set.
- An apparatus that performs content playback refers to the above values when decoding content to be played back using this playlist, and accurately determines which of the LR images the playback path is the main path and the sub path. And the LR image can be correctly decoded and displayed.
- FIG. 17 shows one playlist 130.
- the playlist 130 is Main path (main play item) 131, Sub path (sub play item) 132, have.
- the main path (main play item) 131 holds a playback start point (IN_time) and a playback end point (OUT_time) for the clips a and 135, and plays back an AV stream associated with the clip a135.
- the sub path (sub play item) 132 holds a reproduction start point (IN_time) and a reproduction end point (OUT_time) for the clips b and 136, and reproduces an AV stream associated with the clip b 136.
- Pattern 1 The clip specified by the main path is an L image playback clip, The clip specified by the sub-path is an R image playback clip,
- Pattern 2 The clip specified by the main path is an R image playback clip,
- the clip specified by the sub path is an L image playback clip,
- the main path image identification flag 125 shown in FIG. 16 is a flag indicating whether the main path is compatible with the L image or the R image, and the playback apparatus correctly decodes the LR image with reference to these pieces of information. Can be displayed.
- the encoding mode identification flag 126 is an identification flag indicating whether or not an encoding process using an entropy encoding mode is being performed as an encoding process.
- the encoding process using the entropy encoding mode specifically includes, for example, CABAC (Context-based Adaptive Binary Arithmetic Coding) This is an encoding process using.
- an encoding process that does not use an entropy coding mode is, for example, CAVLC (Context-based Adaptive Variable Length Coding) This is an encoding process using.
- CAVLC Context-based Adaptive Variable Length Coding
- Value 1: The entropy coding mode is not used.
- Value 2: There is a possibility of using an entropy coding mode. Record this information. If information about the video stream reproduced from the playlist cannot be acquired, 0 (no information) is set.
- the encoding process applies the entropy encoding mode.
- the above values are recorded depending on whether or not A device that performs content playback can know the encoding mode with reference to the above-described values and decode and display the LR image correctly when decoding content to be played back using this playlist.
- the playback device may be a device that cannot perform decoding of CAVLC encoded data that is in the entropy coding mode.
- the decoding / reproducing process of the three-dimensional image is stopped, and the two-dimensional image is reproduced by reproducing only the L image or only the R image. Can be executed. Without this flag, the playback device cannot identify whether or not it has been encoded in its own reproducible encoding mode, and thus starts the decoding process, resulting in a processing error.
- encoded data used as playback content for one playlist is: Only encoded data without reference between the L and R images, Contains encoded data with a reference between L and R images, There are these encoded data. A flag that enables identification of these two types of data is set as the inter-image reference identification flag 127.
- Inter-view reference may be included. These pieces of information are set. If information about the video stream reproduced from the playlist cannot be acquired, 0 (no information) is set.
- a device that executes content recording when a recorded content includes a three-dimensional image and the encoding mode is the MVC encoding method (see FIG. 2 (4)), inter-view reference is executed in the encoding process. The above value is recorded depending on whether or not it exists.
- a device that performs content playback can know the encoding mode with reference to the above-described values and decode and display the LR image correctly when decoding content to be played back using this playlist.
- FIG. 20 is a diagram showing the syntax of the playlist file.
- the playlist file is a file that stores a playlist selected corresponding to the title selected from the title display menu using the info file.
- playback path information (play item) having playback section designation information having a playback start point (IN point) and a playback end point (OUT point) for a clip is stored in the playlist. is doing.
- the playback path information includes Main path (Main play item (PlayItem)) Sub path (Sub play item (SubPlayItem)) There are these two types. Each of these main path (main play item) and sub path (sub play item) is individually associated with one clip (Clip).
- Each of the main path (play item) and the sub path (sub play item) included in the playlist is set as a reproduction path for the L image and the R image.
- Pattern 1 The clip specified by the main path is an L image playback clip, The clip specified by the sub-path is an R image playback clip, (B) Pattern 2
- the clip specified by the main path is an R image playback clip,
- the clip specified by the sub path is an L image playback clip,
- An image is recorded with this pattern 1 or pattern 2 setting. As described above with reference to FIG. 13 and FIG. 16, this setting is recorded in the main path image identification flag [PlayList_MainPath_is_Left_flag] 125, and is identified with reference to this flag during reproduction. be able to.
- a combination of a main path (play item) and a sub path (sub play item) set in a playlist is an L image and an R image that form a three-dimensional image. It is not always a combination.
- the main path (play item) is a normal path for reproducing 2D image data.
- the sub path (sub play item) is a playback path for audio data for post-recording.
- main path and sub path include: Image playback paths for wide and telephoto images, An image playback path for each of the panoramic image and the partially enlarged image, a playback path for two images with different focus positions, Settings such as combinations of reproduction paths for different images are possible.
- the main path (play item) is used as reproduction path information for main image data, but the usage form of the sub path (sub play item) is various. Accordingly, at the time of reproduction, it is necessary to perform reproduction by determining the usage mode of the sub-path.
- 3D image information is recorded in reproduction path information (sub play item information) of a playlist file.
- reproduction path information sub play item information
- an area for recording the unique information of the main path (play item) and the sub path (sub play item) included in the playlist is set.
- FIG. 21 shows the detailed syntax of the recording data in the sub path (sub play item) information recording area 142.
- the sub path (sub play item) information recording area 142 includes: Sub path (sub play item) type information recording area 145 Is set.
- the sub path (sub play item) is a sub path (sub play item) for reproducing one of the LR images constituting the three-dimensional image in the sub path (sub play item) type information recording area 145.
- a sub-path usage type identification value for identifying whether or not is set is set. For example, the values shown in FIG.
- the setting of the sub path usage type identification value is as follows.
- Value 1: Playback path for audio stream
- Value 2: One image playback path of the constituent image (LR image) of the three-dimensional image. Such a value is set.
- An apparatus that executes content recording includes a three-dimensional image in recorded content, and the three-dimensional image has a main path (play item) and a sub path (sub play item) in one playlist, respectively, and an LR image reproduction path.
- the sub-path is a reproduction path of one of the LR images constituting the three-dimensional image with reference to the above values.
- only one sub path (sub play item) can be added to the main path (play item) in one playlist.
- the sub path (sub play item) can be set on the whole or a part of the time axis of the main path (play item). At this time, the sub path (sub play item) may be set in such a manner as to cross the boundaries of a plurality of play items in the main path.
- the clip information file [xxxxxxxx] recorded in the clip information directory [CLIPINF].
- clpi] is an AV stream file [xxxx.x] recorded in the stream directory [STREAM].
- m2ts] is set in a one-to-one correspondence.
- the clip information file is a file in which information about a stream necessary for reproducing an actual stream is described.
- a maker private data area is also set in the clip information file as in the playlist file and the info file. That is, this is an area where a manufacturer of an information processing apparatus such as a recording / reproducing device can record free information.
- This example is an example in which 3D image information (multiview_video_info) is recorded in the maker private data area of the clip information file.
- the syntax of the clip information file is shown in FIG.
- the clip information file is composed of six objects as shown in FIG. They are, ClipInfo () 201, SequenceInfo () 202, ProgramInfo () 203, CPI () 204, ClipMark () 205, and MakersPrivateData () 206, It is.
- ClipInfo () 201 records attribute information of the AV stream file corresponding to the clip information file.
- the SequenceInfo () 202 will be described.
- a time interval that does not include a discontinuity point (system time base discontinuity point) of STC (System Time Clock (reference time)) in the MPEG-2 transport stream is referred to as STC_sequence.
- STC_sequence is: It is specified by the value of stc_id. The same STC value never appears in the same STC_sequence. Therefore, the same PTS (Presentation Time Stamp (time information for synchronous playback)) value in the same STC_sequence also never appears.
- the system time base of Clip is divided into (N + 1) STC_sequences. SequenceInfo records the address of the place where STC discontinuity (system time base discontinuity) occurs.
- ProgramInfo () 203 will be described. This will be described with reference to FIG. A playback section or a time section played back by a clip information file, and a playback section having the following characteristics is called a program sequence (program_sequence).
- program_sequence The value of PCR_PID (Program Clock Reference Packet ID) does not change.
- the number of video elementary streams does not change.
- the PID value for each video stream and the encoding information defined by the VideoCodingInfo do not change.
- the number of audio elementary streams does not change.
- the PID value for each audio stream and the encoding information defined by the AudioCodingInfo do not change.
- the program sequence has only one system time base at the same time, and has only one PMT (Program Map Table) at the same time.
- the transport stream (TS) constituting the MPEG data includes a plurality of programs, and table information representing the relationship between the programs included in the stream and program elements such as video and audio streams constituting the programs.
- the table information is called PSI (Program Specific Information) and includes a plurality of tables such as PAT (Program Association Table) and PMT (Program Map Table).
- PAT describes the PID of the PMT corresponding to the program number
- the PMT describes the video, audio, additional data, and PID of the PCR included in the corresponding program.
- ProgramInfo records the address of the place where the program sequence (program_sequence) starts.
- SPN_program_sequence_start indicates the address.
- SPN is a source packet number.
- the boundary of the program sequence (program_sequence) and the boundary of the STC_sequence do not necessarily match.
- the play start point (IN_time) and the play end point (OUT_time) of the play item (PlayItem) need to be on the same STC_sequence, but there is no such limitation on the program sequence (program_sequence). . That is, in general, a play start point (IN_time) and a play end point (OUT_time) of a play item (PlayItem) may exist on different program sequences (program_sequence).
- FIG. 25 is a diagram illustrating the syntax of ProgramInfo.
- num_of_program_sequences indicates the number of program sequences (program_sequence) in the clip information file.
- SPN_program_sequence_start [i] is a relative address where the program sequence starts on the AV stream file.
- program_map_PID [i] indicates the PID of the PMT valid for the program sequence (program_sequence).
- num_of_streams_in_ps [i] indicates the number of streams existing in the program sequence (program_sequence).
- num_of_groups [i] indicates the number of stream combinations when the program sequence (program_sequence) is reproduced.
- FIG. 26 is a diagram illustrating the syntax of CPI.
- the CPI records data for associating time information in the AV stream with an address in the file. Specifically, an entry point map (EP map (EP_map)) 210 is recorded.
- EP map EP_map
- the EP map 210 will be described with reference to FIGS.
- the EP map (EP_map) 210 is data included in the clip information file.
- the EP map has, for example, I picture position detection information as reference data of MPEG data that is a point (entry point) at which random access can be started.
- the I picture position detection process will be described with reference to FIG. FIG. 28A shows a clip AV stream, and each rectangle shows a 192-byte source packet. Each source packet is set with a time stamp and a playback processing time is defined.
- the source packet No In FIG. 28 (B), the source packet No.
- the detailed structure of (X1) is shown.
- One source packet is composed of a TP_extra header and a transport packet, and the transport packet is composed of various types of header information and data of I-PICH ⁇ as an entity of MPEG data.
- the clip information file shown in FIG. 28C includes an EP map as described above.
- the EP map includes [PTS_EP start], [SPN_EP start], and [I_end_position_offset] data.
- PTS_EP_start Time stamp (presentation time stamp) corresponding to the source packet including the sequence header.
- SPN_EP_start Start address of source packet including sequence header.
- I_end_position_offset Offset of source packet including end of I picture from source packet including sequence header
- FIG. 28D shows the data relationship.
- the configuration of data included in the source packet is defined, and each data of [PTS_EP start], [SPN_EP start], and [I_end_position_offset] shown in FIG.
- the I picture position in the source packet is obtained based on these data.
- the playback device can perform playback processing from an arbitrary position by obtaining the position of the I picture from the EP map.
- ClipMark 205 is mark information about a clip, and is stored in ClipMark. This mark is set by the recorder (recording / reproducing apparatus 1), and is not set by the user.
- MakersPrivateData () 206 in the syntax shown in FIG. Will be described.
- a maker private data area is also set in the clip information file as in the playlist file and the info file. That is, this is an area where a manufacturer of an information processing apparatus such as a recording / reproducing device can record free information.
- 3D image information (multiview_video_info) is recorded in the maker private data area of the clip information file.
- the maker private data area of the clip information file is similar to the info file shown in FIG. Manufacturer ID [maker_ID] recording area Manufacturer model code [maker_model_code] recording area Data block [data_block] recording area These data recording areas are set.
- 3D image information (multiview_video_info) recorded in the data block [data_block] recording area in the maker private data area of the clip information file will be described with reference to FIG.
- the following information is recorded in the data block [data_block] recording area in the maker private data area of the clip information file.
- Number of program sequences (number_of_program_sequences) 220 3D image flag [ClipInfo_multiview_video_flag] 221, 3D image configuration information [ClipInfo_multiview_video_configuration] 222, Frame 0 image identification flag [ClipInfo_frame0_is_Left_flag] 223, Base image identification flag [ClipInfo_base_view_is_Left_flag] 224, Clip corresponding image identification flag [ClipInfo_this_clip_is_Left_flag] 225, Encoding mode identification flag [ClipInfo_use_entropy_coding_mode_flag] 226, Inter-image reference identification flag [ClipInfo_use_inter-view_prediction_flag] 227, These pieces of information are recorded in each clip information file.
- the number of program sequences (number_of_program_sequences) 220 is the number of program sequences included in the clip information file.
- the clip information file includes one or more program sequences.
- the program sequence is a content playback time section in which the number of video elementary streams and encoding information are not changed, and there is no large process switching. This corresponds to a divided playback section of all playback sections of the AV stream file associated with one-to-one. That is, a plurality of program sequences can be set between the reproduction start point (IN_time) and the reproduction end point (OUT_time) specified by the reproduction path (play item) of the playlist.
- the 3D image flag 221 to the inter-image reference identification flag 227 shown in FIG. 29 are information for maintaining the 3D image information of the playlist file described above with reference to FIG. Such 3D image information is recorded in units of program sequences. Therefore, the three-dimensional image information corresponding to different program sequences may be different information.
- An apparatus for recording content determines whether or not a 3D image is included in the recorded content, and program sequence units in a data block [data_block] recording area in the maker private data area of the clip information file according to the determination information Then, the various three-dimensional image information shown in FIG. 29 is recorded.
- An apparatus that executes content playback can execute correct 3D image playback by applying the information recorded in the clip information file in units of program sequences.
- these pieces of information are individually recorded in units of program sequences.
- 3D image flag value 0: Only the 2D content is included in the reproduction target content of the clip information program sequence.
- the 3D image flag value 1: The clip information program sequence is reproduced.
- An apparatus that executes content recording determines whether or not a recorded content includes a three-dimensional image, and records the flag according to the determination information. This process is executed corresponding to each program sequence set in the clip information file.
- An apparatus that performs content playback can identify whether or not a 3D image is included in a content in units of program sequences by referring to the flag value in units of program sequences in the clip information file.
- the 3D image configuration information 222 is set as an area for recording encoding mode information of a 3D image that is a content reproduced by the clip information.
- FIG. Value 3: side by side method
- Value 4: top and bottom method (top and bottom)
- Value 5: Frame sequential method (frame sequential)
- Value 31: MVC encoded 2 elementary stream / 2 system stream (a clip includes one of two MVC encoded elementary streams)
- Value 32: MVC encoded 1 elementary stream / 1 system stream
- Value 40: Independent 2 elementary stream / 1 system stream (a clip includes two elementary streams encoded differently from MVC encoding)
- Value 41: Independent 2 elementary stream / 2 system stream (a clip includes one of two elementary streams encoded differently from MVC encoding)
- Such encoding configuration information is recorded.
- the MVC encoding method with values 30 to 33 corresponds to the encoding method shown in FIG.
- the elementary stream is classified as 1 or 2
- the system stream is classified as 1 or 2.
- the encoding method of values 40 to 41 corresponds to the encoding method shown in FIG.
- the elementary stream is classified as 2, and the system stream is classified as 1 or 2.
- the device that performs content recording records the above value according to the encoding mode information. This process is executed corresponding to each program sequence set in the clip information file. Note that each time the type of 3D content changes, a program sequence is divided and recorded, and three-dimensional image recording is executed with a setting that uses one program sequence as one encoding mode.
- the device that executes content playback can execute the decoding process corresponding to the identification information by referring to the above value, identifying the encoding mode of the content to be played back using this clip information. It is possible to determine the encoding mode of the three-dimensional image in units of program sequences and execute decoding according to the mode.
- the left-eye image (L image) and the right-eye image (R image) are set as alternating frames.
- Frame 0 is an image for the left eye (L image)
- Frame 1 is an image for the right eye (R image)
- Frame 0 is right-eye image (R image)
- Frame 1 is an image for the left eye (L image)
- One of these combinations are possible.
- a device that performs content recording records the above value according to frame information when the recorded content includes a three-dimensional image and the encoding mode is a frame sequential method. This process is executed corresponding to each program sequence set in the clip information file.
- a device that performs content playback refers to the above-described value when correctly decoding content to be played back using this clip information, and accurately determines whether frame 0 is an L image or an R image. The correct reproduction display of the LR image can be performed.
- the playback device can execute discrimination in accordance with the discrimination information by executing discrimination in units of program sequences.
- reference encoding processing may be performed between the L image and the R image.
- one of the LRs is used as a base view (basic image), and the other image is decoded by referring to the base view.
- a device that performs content recording records the above values according to base view information when the recorded content includes a three-dimensional image and the encoding mode is the MVC encoding method (see FIG. 2 (4)). To do.
- the recording process is executed in units of program sequences.
- a device that performs content playback refers to the above value to determine which image the base view is LR and correctly decodes the LR image. Can be displayed. It is possible to acquire information in units of program sequences and switch processing.
- the clip-corresponding image identification flag 225 is the encoding method described with reference to FIG. 2 (5), that is, [independent stream (2 streams) without reference between views (not MVC)], this encoding.
- This method records a flag used in the case of an independent 2 elementary stream / 2 system stream (2 clip AV stream).
- the 3D image configuration information described with reference to FIG. 31 41: Independent 2 elementary stream / 2 system stream (a clip includes two elementary streams encoded differently from MVC encoding) ) Used for this setting.
- the clip corresponding image identification flag 225 is information indicating whether this clip is a clip corresponding to the left eye image (L image) or the right eye image (R image) constituting the three-dimensional image. It is. This information is set as information in units of program sequences.
- the clip is a clip for the right eye image (R image), and the other clip in the pair is a clip for the left eye image (L image).
- Value 3: The clip is a left-eye image (L image) -compatible clip, and the other pair of clips is a right-eye image (R image) -compatible clip.
- the recording process is executed in units of program sequences.
- An apparatus that performs content playback refers to the above values when decoding content to be played back using this clip information, and accurately determines which of the LR images the playback path is the main path and sub path. And the LR image can be correctly decoded and displayed. It is possible to acquire information in units of program sequences and switch processing.
- the encoding mode identification flag 226 is an identification flag indicating whether or not an encoding process using an entropy coding mode is being performed as an encoding process.
- the encoding process using the entropy coding mode entropy coding mode
- CABAC Context-based Adaptive Binary Arithmetic Coding
- an encoding process that does not use an entropy coding mode is, for example, CAVLC (Context-based Adaptive Variable Length Coding) This is an encoding process using.
- Value 1: The entropy coding mode is not used.
- Value 2: There is a possibility of using an entropy coding mode. Record this information. In addition, it is set to 0 (no information) when the information regarding the encoding of the encoding data corresponding to the program sequence of clip information cannot be acquired.
- the encoding process applies the entropy encoding mode.
- the above values are recorded depending on whether or not The recording process is executed in units of program sequences.
- An apparatus that performs content reproduction can correctly decode and display an LR image by referring to the above-described values in the decoding process of content reproduced using the clip information. It is possible to acquire information in units of program sequences and switch processing.
- the playback device may be a device that cannot perform decoding of CAVLC encoded data that is in the entropy coding mode.
- the process of stopping the decoding / reproducing process of the three-dimensional image and reproducing the two-dimensional image by reproducing only the L image or only the R image is also possible. Can be executed. Without this flag, the playback device cannot identify whether or not it has been encoded in its own reproducible encoding mode, and thus starts the decoding process, resulting in a processing error.
- the inter-image reference identification flag 227 is information indicating whether or not the encoding in which the inter-view reference is performed is performed when the 3D image configuration information described with reference to FIG. 31 is set to 30 to 32. is there. Even in the encoding process described with reference to FIG. 2 (4), that is, in the encoding process according to the setting of [view (view) inter-referenced stream (MVC)], the L image and the R image are actually used. There is also a case where the reference process between is not executed.
- the encoded data that is the playback content corresponding to the program sequence of one clip information is Only encoded data without reference between the L and R images, Contains encoded data with a reference between L and R images, There are these encoded data. A flag that enables identification of these two types of data is set as the inter-image reference identification flag 227.
- Inter-view reference may be included. These pieces of information are set. However, 0 (no information) is set when information about encoding of encoded data corresponding to a program sequence of clip information cannot be acquired.
- a recorded content includes a three-dimensional image and the encoding mode is the MVC encoding method (see FIG. 2 (4))
- inter-view reference is executed in the encoding process.
- the above value is recorded depending on whether or not it exists.
- An apparatus that performs content reproduction can correctly decode and display an LR image by referring to the above-described values in the decoding process of content reproduced using the clip information.
- the data processing unit has a CPU having a program execution function. For example, a series of processing is executed according to a program recorded in the memory.
- the information processing apparatus confirms the number of image (video) elementary streams of 3D image content acquired by, for example, shooting processing or input from the outside, and the number of transport streams.
- these pieces of information are obtained from attribute information (metadata) set in the input data, or obtained by analyzing the input stream.
- the elementary stream is a data stream immediately after image encoding
- the transport stream is stream data in which data for synchronization with other data, for example, audio information, is set, such as a time stamp.
- a process of generating an MPEG data file for example, an m2ts file) based on the transport stream obtained by multiplexing the above and recording it on the medium is executed.
- the 3D image encoding method is predetermined according to the input source, such as a specific broadcasting station or a specific model device, for example, hold a table according to these input sources, It is good also as a structure which discriminate
- step S102 it is determined whether the number of image (video) elementary streams is 1 or 2. If 1, the process proceeds to step S121, and if 2, the process proceeds to step S103. In step S103, it is determined whether the number of transport streams is 1 or 2. If 1, the process proceeds to step S121, and if 2, the process proceeds to step S111.
- step S111 is a case where the L image and the R image constituting the three-dimensional image are set individually, that is, as two transport streams.
- step S121 when the L image and the R image constituting the three-dimensional image are set as one transport stream.
- step S111 is a process when the L image and the R image constituting the three-dimensional image are set individually, that is, as two transport streams.
- step S111 the two input streams are analyzed, and the two input streams are recorded as separate AV stream files (MPEG-2 transport stream (m2ts) files) while creating an entry point map. That is, two clips are created.
- the clip means a set of files including an AV stream file storing content entities and a clip information file as a management information file.
- step S112 the following processing is performed for each m2ts file corresponding to two clips.
- a program sequence indicating a 3D content portion is created.
- the three-dimensional image flag [ClipInfo_multiview_video_flag] of the clip information file is set to [1] and recorded in the clip information file together with the entry point map (EP map).
- program_sequence As described above, in the clip information file, information is recorded in units of program sequences (program_sequence) as playback division units in which clips are divided.
- the program sequence has only one system time base at the same time, and has only one PMT (Program Map Table) at the same time.
- the clip information file includes an entry point map (EP map) in which I picture position information as a playback start point in random playback or the like is recorded. ) Is recorded.
- EP map entry point map
- step S112 a clip information file is created for each clip corresponding to each LR image.
- a process of recording 3D image information is performed. Details of this processing will be described later with reference to flowcharts shown in FIGS. 38 and 39.
- step S113 reproduction path information (play item (PlayItem)) that refers to the position of a clip including 3D content is generated for the first clip.
- Play item PlayItem
- a clip corresponding to one of the LR images as a constituent stream of the three-dimensional image content is a first clip
- a clip corresponding to the other image is a second clip.
- reproduction path information (sub play item (SubPlayItem)) that refers to the position of the clip including the 3D content is generated for the second clip.
- step S115 a playlist including a main path (play item (PlayItem)) and a sub path (sub play item (SubPlayItem)) is created. Furthermore, the 3D image flag [Playlist_multiview_video_flag] of the playlist file indicating that the playlist includes 3D image content is set to [1].
- processing for setting a value corresponding to the recorded image is executed for the three-dimensional image information other than the three-dimensional image flag. This detailed processing will be described later with reference to the flowchart shown in FIG.
- step S131 the info file is updated.
- a process of setting a 3D image flag [Index_multiview_video_flag] indicating that 3D content is included in 3D image information recorded in the info file to [1] is performed.
- step S121 is a process in the case where the L image and the R image constituting the three-dimensional image are set as one transport stream.
- step S121 one input stream is analyzed, and the input stream is recorded as one AV stream file (MPEG-2 transport stream (m2ts) file) while creating an entry point map. That is, one clip is created.
- a clip means a set of files consisting of an AV stream file storing content entities and a clip information file as a management information file.
- step S122 the following processing is performed on the m2ts file corresponding to the clip.
- a program sequence indicating a 3D content portion is created.
- the three-dimensional image flag [ClipInfo_multiview_video_flag] of the clip information file is set to [1] and recorded in the clip information file together with the entry point map (EP map).
- EP map entry point map
- a process of recording 3D image information is performed. Details of this processing will be described later with reference to flowcharts shown in FIGS. 38 and 39.
- step S123 reproduction path information (play item (PlayItem)) that refers to the position of the clip including the 3D content is generated for the clip.
- play item Player
- the clips are stored in one clip together with the LR image, the path information to be generated is only the main path (play item), and the sub path (sub play item) for the three-dimensional image is not generated.
- step S124 a play list including a main path (play item (PlayItem)) is created. Furthermore, the 3D image flag [Playlist_multiview_video_flag] of the playlist file indicating that the playlist includes 3D image content is set to [1]. At the time of creating the playlist file, processing for setting a value corresponding to the recorded image is executed for the three-dimensional image information other than the three-dimensional image flag. This detailed processing will be described later with reference to the flowchart shown in FIG.
- step S131 the info file is updated.
- a process of setting a 3D image flag [Index_multiview_video_flag] indicating that 3D content is included in 3D image information recorded in the info file to [1] is performed.
- step S151 a program sequence to be processed in a clip is selected.
- step S152 it is determined whether or not the content corresponding to the selected program sequence includes 3D content. If included, the process proceeds to step S153. If not included, the process proceeds to step S154.
- step S154 the process proceeds to step S154, and the 3D image flag [ClipInfo_multiview_video_flag] corresponding to the program sequence of the clip information file is set to [0]. That is, a flag indicating that a 3D image is not included in the content corresponding to the program sequence is set. Thereafter, the process proceeds to step S156.
- step S152 determines whether the content corresponding to the selected program sequence includes 3D content. If it is determined in step S152 that the content corresponding to the selected program sequence includes 3D content, the process proceeds to step S153, and the 3D image flag [ClipInfo_multiview_video_flag] corresponding to the program sequence of the clip information file is set to [1]. set. That is, a flag indicating that a content corresponding to a program sequence includes a three-dimensional image is set.
- step S155 another 3D image information recording process corresponding to the program sequence of the clip information file is executed. That is, the value setting process for the following three-dimensional image information described above with reference to FIG. 29 is performed.
- 3D image configuration information [ClipInfo_multiview_video_configuration] Frame 0 image identification flag [ClipInfo_frame0_is_Left_flag] Base image identification flag [ClipInfo_base_view_is_Left_flag] Clip-compatible image identification flag [ClipInfo_this_Clip_is_Left_flag] Coding mode identification flag [ClipInfo_use_entropy_coding_mode_flag] Inter-image reference identification flag [ClipInfo_use_inter-view_prediction_flag] Processing for setting these set values according to the recording / update data is performed. Note that these pieces of information are set according to information such as the coding mode of the three-dimensional image to be recorded.
- step S156 it is determined whether or not the processing for all the program sequences set in the clip has been completed. If there is an unfinished program sequence, the processing in step S151 and subsequent steps is executed for the unfinished program sequence. To do. If it is determined in step S156 that the processing has been completed for all the program sequences set for the clip, the processing is terminated.
- step S161 a program sequence to be processed in a clip is selected.
- step S162 3D image configuration information [ClipInfo_multiview_video_configuration] is acquired from the 3D image information corresponding to the selected program sequence, and it is determined whether or not the setting value is [5]. That is, it is determined whether or not the encoding method is a frame sequential method.
- the frame 0 image identification flag is a value that is referred to only in the playback device when the frame sequential method is used, and in the recording process, the valid information is recorded only when the recorded image is the frame sequential method. .
- step S162 if it is determined that the set value of the three-dimensional image configuration information is [5], the process proceeds to step S163. If it is determined that the set value is not [5], the process proceeds to step S167.
- step S162 If it is determined in step S162 that the set value of the three-dimensional image configuration information is [5], in step S163, metadata in the image (video) elementary stream, for example, SEI (Supplemental Enhancement Information) or user data, is set. (user data) is analyzed to determine which of the L / R images the frame 0 image corresponds to.
- SEI Supplemental Enhancement Information
- user data is analyzed to determine which of the L / R images the frame 0 image corresponds to.
- step S167 three-dimensional image configuration information [ClipInfo_multiview_video_configuration] is acquired from the three-dimensional image information corresponding to the selected program sequence, and it is determined whether or not the setting value is [30], [31], or [32]. To do. That is, it is determined whether or not the coding method is a coding method that may perform inter-view reference.
- the base image identification flag [ClipInfo_base_view_is_Left_flag] is a value that is referred to only in the playback apparatus when the encoding method is likely to perform the inter-view reference. Only when the encoding method is likely to perform the reference, the valid information is recorded.
- step S167 If it is determined in step S167 that the set value of the 3D image configuration information is [30], [31], or [32], the process proceeds to step S168, and is not [30], [31], or [32]. If so, the process proceeds to step S172.
- step S167 If it is determined in step S167 that the set value of the three-dimensional image configuration information is [30], [31] or [32], metadata in the image (video) elementary stream, for example, SEI, in step S168. (Supplemental Enhancement Information) or user data (user data) is analyzed to determine which of the L / R images the base view image corresponds to.
- SEI Supplemental Enhancement Information
- user data user data
- step S172 it is determined whether or not the processing for all of the program sequences set in the clip has been completed. If there is an unfinished program sequence, the processing from step S161 is executed on the unfinished program sequence. To do. If it is determined in step S172 that the processing for all the program sequences set in the clip has been completed, the processing ends.
- step S181 it is determined whether or not the content corresponding to the playlist to be processed includes 3D content. If included, the process proceeds to step S182. If not included, the process proceeds to step S183.
- step S183 the process proceeds to step S183, and the 3D image flag [PlayList_multiview_video_flag] of the playlist file is set to [0]. That is, a flag indicating that a 3D image is not included in the content corresponding to the playlist is set, and the process ends.
- step S181 when it is determined in step S181 that the content corresponding to the processing target playlist includes 3D content, the process proceeds to step S182, and the 3D image flag [PlayList_multiview_video_flag] corresponding to the program sequence of the playlist file is set to [1]. Set to. That is, a flag indicating that the content corresponding to the playlist includes a three-dimensional image is set.
- step S184 the recording process of the other three-dimensional image information of a play list file is performed. That is, the value setting process for the following three-dimensional image information described above with reference to FIG. 11 is performed.
- 3D image configuration information [PlayList_multiview_video_configuration] Frame 0 image identification flag [PlayList_frame0_is_Left_flag] Base image identification flag [PlayList_base_view_is_Left_flag] Main path image identification flag [PlayList_MainPath_is_Left_flag] Encoding mode identification flag [PlayList_use_entropy_coding_mode_flag] Inter-image reference identification flag [PlayList_use_inter-view_prediction_flag] Processing for setting these set values according to the recording / update data is performed. Note that these pieces of information are set according to information such as the coding mode of the three-dimensional image to be recorded. After these processes, the process is terminated.
- step S201 an instruction to execute additional recording of 3D content for an existing playlist is input.
- instruction information from a user who additionally records a captured image is input.
- step S202 The processing after step S202 is similar to the processing described above with reference to FIG.
- the information processing apparatus checks the number of image (video) elementary streams of the 3D image content acquired by, for example, shooting processing or input from the outside, and the number of transport streams.
- these pieces of information are acquired from attribute information (metadata) set in the input data or obtained by analyzing the input stream.
- step S203 it is determined whether the number of image (video) elementary streams is 1 or 2. If 1, the process proceeds to step S121, and if 2, the process proceeds to step S204. In step S204, it is determined whether the number of transport streams is 1 or 2. If it is 1, the process proceeds to step S221. If it is 2, the process proceeds to step S211.
- step S211 is a case where the L image and the R image constituting the three-dimensional image are set individually, that is, as two transport streams.
- step S221 the L image and the R image constituting the three-dimensional image are set as one transport stream.
- step S211 is a process when the L image and the R image constituting the three-dimensional image are set individually, that is, as two transport streams.
- step S211 the two input streams are analyzed, and the two input streams are recorded as separate AV stream files (MPEG-2 transport stream (m2ts) files) while creating an entry point map. That is, two clips are created.
- the clip means a set of files including an AV stream file storing content entities and a clip information file as a management information file.
- step S212 the following processing is performed for each m2ts file corresponding to two clips.
- a program sequence indicating a 3D content portion is created.
- the three-dimensional image flag [ClipInfo_multiview_video_flag] of the clip information file is set to [1] and recorded in the clip information file together with the entry point map (EP map).
- step S212 a clip information file is created for each clip corresponding to each LR image.
- a process of recording 3D image information is performed. In this step, the processing described above with reference to the flowcharts shown in FIGS. 38 and 39 is executed.
- step S213 The processes in the next steps S213 to S215 are processes related to the playlist file.
- step S213 reproduction path information (play item (PlayItem)) that refers to the position of a clip including 3D content is generated for the first clip.
- Play item PlayerItem
- a clip corresponding to one of the LR images as a constituent stream of the three-dimensional image content is a first clip
- a clip corresponding to the other image is a second clip.
- step S214 reproduction path information (sub play item (SubPlayItem)) referring to the position of the clip including the 3D content is generated for the second clip.
- step S215 a main path (play item (PlayItem)) and a sub path (sub play item (SubPlayItem)) are added to the play list to be added. Furthermore, the 3D image flag [Playlist_multiview_video_flag] of the playlist file indicating that the playlist includes 3D image content is set to [1]. At the time of updating the playlist file, processing for setting a value corresponding to the recorded image is executed for the three-dimensional three-dimensional image information other than the three-dimensional image flag. This detailed processing is as described above with reference to the flowchart shown in FIG.
- step S231 a process of setting a 3D image flag [Index_multiview_video_flag] indicating that 3D content is included in 3D image information recorded in the info file to [1] is performed.
- step S221 is a process in the case where the L image and the R image constituting the three-dimensional image are set as one transport stream.
- step S221 one input stream is analyzed, and the input stream is recorded as one AV stream file (MPEG-2 transport stream (m2ts) file) while creating an entry point map. That is, one clip is created.
- a clip means a set of files consisting of an AV stream file storing content entities and a clip information file as a management information file.
- step S222 the following processing is performed on the m2ts file corresponding to the clip.
- a program sequence indicating a 3D content portion is created.
- the three-dimensional image flag [ClipInfo_multiview_video_flag] of the clip information file is set to [1] and recorded in the clip information file together with the entry point map (EP map).
- EP map entry point map
- a process of recording 3D image information is performed. Details of this processing are as described above with reference to the flowcharts shown in FIGS.
- step S223 The processes in the next steps S223 to S224 are processes related to the playlist file.
- reproduction path information (play item (PlayItem)) that refers to the position of the clip including the 3D content is generated for the clip.
- the clips are stored in one clip together with the LR image, the path information to be generated is only the main path (play item), and the sub path (sub play item) for the three-dimensional image is not generated.
- step S224 a main path (play item (PlayItem)) as reproduction path information corresponding to the additional recording content is created in the additional recording target playlist. Furthermore, the 3D image flag [Playlist_multiview_video_flag] of the playlist file indicating that the playlist includes 3D image content is set to [1]. Note that when the playlist file is updated, processing for setting a value corresponding to the recorded image is executed for 3D image information other than the 3D image flag. This detailed processing is as described above with reference to the flowchart shown in FIG.
- step S231 a process of setting a 3D image flag [Index_multiview_video_flag] indicating that 3D content is included in 3D image information recorded in the info file to [1] is performed.
- FIG. 42 is a flow for explaining a processing sequence when an editing process for deleting the three-dimensional image content recorded on the medium is performed.
- step S301 a content deletion instruction input from the user is detected.
- This content deletion is performed in a prescribed deletion unit. Specifically, it is executed in units of play items that are reproduction path information set in the playlist.
- step S302 the designated portion of the clip (clip information file and AV stream file) referenced by the play item designated for deletion is deleted.
- step S303 the play item designated to be deleted is deleted.
- step S305 Proceed to
- step S307 the set value of the 3D image flag [Playlist_multiview_video_flag] is set to [1] in all the playlists set under the directory (for example, the BDAV directory shown in FIG. 3) in which the editing target playlist is set. It is determined whether or not there is a play list. That is, it is determined whether or not there remains a playlist set with a flag indicating that a three-dimensional image is included. When it remains, it progresses to step S309, and when it does not remain, it progresses to step S308.
- step S309 the setting value [1] of the three-dimensional image flag [Index_multiview_video_flag] of the info file of the directory including the playlist to be edited is maintained without change. That is, the value of the flag indicating that the content under the management of the info file includes a 3D image is maintained as it is.
- the setting value [1] of the three-dimensional image flag [Index_multiview_video_flag] of the file is changed to [0]. That is, a flag value indicating that a 3D image is not included in the content managed by the info file is set.
- step S401 the information processing apparatus detects a reproduction instruction input.
- the content reproduction instruction is executed by, for example, a reproduction instruction input by the user on the initial display menu.
- step S403 the processing after step S403 will be described.
- step S403 the plane configuration inside the playback apparatus (player), that is, the playback processing configuration, is set to execute playback processing of a two-dimensional image, and further processing to set video output to output setting of a two-dimensional image is performed. .
- step S404 a list of titles is displayed on the display unit, and playback of the titles (playlists) is started in response to user input. Alternatively, automatic title playback is started.
- the title list display is performed using data held in the info file.
- reproduction of the designated title is started. Note that, if the setting is made to reproduce the title-corresponding content defined in advance by default regardless of whether or not the user designates, the content is reproduced.
- step S405 the content specified by the user or the content specified in advance is executed.
- the 3D content is not included in the information file management content, 2D content playback processing is performed.
- step S406 when the reproduction end instruction is not detected, the processing from step S404 is repeated, and the content reproduction is continued. If a playback end instruction is detected in step S406, the process ends.
- step S411 the plane configuration inside the playback apparatus (player), that is, the playback processing configuration is set to execute the playback processing of the 3D image, and the video output is set to the output setting of the 3D image.
- step S412 a list of titles is displayed, and playback of the titles (playlists) is started in response to user input. Alternatively, automatic title playback is started. Note that the title list display is performed using data held in the info file. When the user designates a specific title for the title list, reproduction of the designated title is started. Note that, if the setting is made to reproduce the title-corresponding content defined in advance by default regardless of whether or not the user designates, the content is reproduced.
- step S413 the 3D image information set in the playlist file corresponding to the reproduction title is acquired. That is, the following information described above with reference to FIG. 3D image flag [PlayList_multiview_video_flag], 3D image configuration information [PlayList_multiview_video_configuration], Frame 0 image identification flag [PlayList_frame0_is_Left_flag], Base image identification flag [PlayList_base_view_is_Left_flag], Main path image identification flag [PlayList_MainPath_is_Left_flag], Encoding mode identification flag [PlayList_use_entropy_coding_mode_flag], Inter-image reference identification flag [PlayList_use_inter-view_prediction_flag],
- the playback device first refers to the three-dimensional image flag [PlayList_multiview_video_flag] and the three-dimensional image configuration information [PlayList_multiview_video_configuration].
- the reproduction device determines whether or not the encoded data can be reproduced and executed by the own device based on the three-dimensional image configuration information.
- the encoding process using the entropy coding mode is, for example, CABAC (Context-based Adaptive Binary Arithmetic Coding) This is an encoding process using.
- CABAC Context-based Adaptive Binary Arithmetic Coding
- an encoding process that does not use an entropy coding mode is, for example, CAVLC (Context-based Adaptive Variable Length Coding) This is an encoding process using.
- step S414 If it is determined in step S414 that the encoded data cannot be reproduced by the own apparatus, the process proceeds to step S415, and the reproduction process of the two-dimensional image is executed by applying the three-dimensional image.
- This process is an exceptional process. For example, a reproduction process using only the L image as reproduction data is executed.
- step S414 determines whether the encoded data can be reproduced by the own apparatus. If it is determined in step S414 that the encoded data can be reproduced by the own apparatus, the process proceeds to step S416, where the taste source image is reproduced.
- the reproduction process is performed by referring to the 3D image information set in the playlist file and the clip information file and executing the optimum process corresponding to the reference information.
- 3D image information is set for each program sequence, and when program sequence switching is executed, the reference 3D image information is also switched to execute processing.
- step S417 when the reproduction end instruction is not detected, the processing from step S412 is repeated and the content reproduction is continued. If a playback end instruction is detected in step S417, the process ends.
- the title list display process executed in step S404 or step S412 includes determination information based on a 3D image identification flag included in a management information file such as an info file or a playlist file, that is, a 3D image. It is good also as a structure which performs the process which displays the determination information of whether there is a possibility of being displayed on a display part.
- the determination information based on the three-dimensional image identification flag of the info file is displayed and recorded on the recording medium.
- Whether or not there is a possibility that a 3D image is included in the title unit of the content that has been displayed can be determined by displaying determination information based on the 3D image identification flag of the playlist file. By this display, the user can determine the presence or absence of a three-dimensional image for the entire medium or for each title.
- FIG. 44 is a block diagram illustrating a configuration example of the information processing apparatus 400 according to an embodiment of the present invention.
- the information processing apparatus 400 is an apparatus that performs at least one of data recording and data reproduction on the medium 410. Specifically, for example, a recording / reproducing apparatus, a player apparatus, a recorder apparatus, a video camera, a PC, or the like is used.
- a disk type medium is shown as the medium 410, but the medium is not limited to the disk type medium, and may be a medium such as a flash memory.
- the information processing apparatus 400 includes a data processing unit (recording / playback processing unit) 401, a memory 402, an input unit 403, an output unit 404, a media interface 405, and a local storage unit 406.
- the data processing unit 401 has a CPU having a program execution function for executing various data processing programs. For example, an application program for performing data recording / playback processing is executed. For example, processing according to the flowcharts shown in FIGS. 37 to 43 is executed.
- the memory 402 includes a RAM, a ROM, and the like, and is used as a storage area for application programs executed in the data processing unit 401.
- the memory 402 is also used as an application parameter and work area, and is also used as a buffer area for media recording data.
- the input unit 403 is, for example, a user operation unit, and various inputs such as data recording or reproduction instruction input are performed. Note that the input unit 403 includes a remote controller, and remote controller operation information can also be input.
- the output unit 404 is an image or audio output unit configured by a display, a speaker, and the like.
- the media interface 405 is an interface applied to data recording / playback processing using the media 410.
- data is written to the medium 410, and data is read from the medium 410.
- the local storage unit 406 is constituted by, for example, a hard disk. For example, it is used as a recording area for various data such as contents and programs.
- the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
- the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
- the program can be recorded in advance on a recording medium.
- the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
- the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
- the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
- a data recording / reproducing configuration that enables easy acquisition of attribute information related to encoding processing of a three-dimensional image recorded on a recording medium is realized.
- the attribute information of the 3D image is recorded as an attribute of the management data unit of each management information file in each of the hierarchized management information files.
- the attribute information to be recorded includes the attribute information related to the encoding process of the three-dimensional image.
- an inter-image reference identification that indicates whether or not an inter-image reference between an image for the left eye (L image) and an image for the right eye (R image) may be required when decoding a three-dimensional image.
- the playback apparatus can determine the encoding mode and perform correct decoding processing without analyzing playback target data.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
フレームシーケンシャル(Frame Sequential)方式、
サイドバイサイド(Side by Side)方式、
トップアンドボトム(Top&Bottom)方式、
これらの方式が知られている。
サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録/転送する符号化方式である。
トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録/転送する符号化方式である。
記録メディアに対するデータ記録処理を行うデータ処理部を有し、
前記データ処理部は、
記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装置にある。
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)~(b)に示す管理情報ファイルの各々に各管理情報ファイルの管理データ単位で前記属性情報を記録する。
記録メディアからのデータ再生処理を行うデータ処理部を有し、
前記データ処理部は、
記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理装置にある。
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)~(b)に示す管理情報ファイルの各々に記録され、
前記データ処理部は、プレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから管理データ単位の属性情報を読み出す。
画像データを記録した情報記録媒体であり、
再生対象となるコンテンツとして3次元画像データを格納したストリームファイルと、
前記コンテンツの管理情報を格納した階層化構成を持つ管理情報ファイルを記録データとして有し、
前記階層化された管理情報ファイルの各々は、記録コンテンツに含まれる3次元画像の属性情報として、前記3次元画像データの符号化処理に関する属性情報を格納し、
前記コンテンツを再生する再生装置が、管理情報ファイルの階層に従って前記属性情報を順次参照することで、情報記録媒体の記録コンテンツに含まれる3次元画像の符号化処理に関する属性を各管理情報ファイルの管理データ単位の属性として解析可能とした構成を持つ情報記録媒体にある。
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)~(b)に示す管理情報ファイルの各々に記録され、
前記再生装置が、まずプレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから前記属性情報を読み出し、各管理情報ファイルの管理するデータ単位で3次元画像の符号化処理に関する属性を解析可能とした。
情報処理装置において記録メディアに対するデータ記録処理を実行する情報処理方法であり、
データ処理部が、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装方法にある。
情報処理装置において記録メディアからのデータ再生処理を実行する情報処理方法であり、
データ処理部が、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理方法にある。
情報処理装置において記録メディアに対するデータ記録処理を実行させるプログラムであり、
データ処理部に、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行させ、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する処理を実行させるプログラムにある。
情報処理装置において記録メディアからのデータ再生処理を実行させるプログラムであり、
データ処理部に、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出させ、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得させて、取得した属性情報に従って復号処理を行わせるプログラムにある。
1.記録メディアを利用した記録再生処理の対象となる3次元画像のソースおよび3次元画像の符号化方式についての概要
2.BDAV規格の概要
3.3次元画像情報の記録処理、および記録された3次元画像情報を利用した再生処理について
3-1.管理情報ファイル(データベースファイル)を利用した3次元画像情報の記録処理と利用処理について
3-1-a.インフォファイルに3次元画像情報を記録する例
3-1-b.プレイリストファイルに3次元画像情報を記録する例
3-1-c.プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する例
3-1-d.クリップ情報ファイルに3次元画像情報を記録する例
4.情報処理装置の実行する処理シーケンスについて
4-1.コンテンツの記録処理シーケンス
4-2.クリップ情報ファイルに対する3次元画像情報の記録/更新処理シーケンス
4-3.クリップ情報ファイルに対する3次元画像情報としてのフレーム0画像識別フラグと、ベース画像識別フラグの記録/更新処理シーケンス
4-4.プレイリストファイルに対する3次元画像情報の記録/更新処理シーケンス
4-5.コンテンツの追記処理シーケンス
4-6.コンテンツの編集処理シーケンス
4-7.コンテンツの再生処理シーケンス
5.情報処理装置の構成例について
まず、例えば、BD(Blu-ray Disc(登録商標))やフラッシュメモリ等、様々な記録メディアに記録可能な3次元画像の提供元としてのソース、および現在利用されている3次元画像の符号化方式についての概要を説明する。
(1)テレビ局等の放送事業者の提供する放送コンテンツ
(2)ビデオカメラの撮影コンテンツ
(3)インターネット等の通信ネットワークを介して提供されるネット配信コンテンツ
例えばこれらの3次元画像コンテンツが記録メディア(BD、フラッシュメモリなど)に対する記録コンテンツとなる。
図1、図2を参照して3次元画像の符号化方式の以下の5つの方式について説明する。
(1)サイドバイサイド方式
(2)トップアンドボトム方式
(3)フレームシーケンシャル方式
(4)ビュー間参照ありストリーム方式(1または2ストリーム)(MVC)
(5)ビュー間参照なし2ストリーム方式
(2)トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録/転送する符号化方式である。
(3) フレームシーケンシャル(Frame Sequential)方式は、左目用画像(L画像)と右目用画像(R画像)のフレームをL、R、L、R、・・・と交互に記録/転送する符号化方式である。
次に、例えばBD(Blu-ray Disc(登録商標))等の記録メディアを利用したデータ記録再生の規格(フォーマット)であるBDAV規格の概要について説明する。
BDAVは書き換え可能なBD-REや、一回のみ記録可能なBD-Rで利用することを目的に開発されたアプリケーション規格である。
インフォファイル[info.bdav]、
メニューファイル[menu.tidx],[menu.tdt1/tdt2]
マークファイル[mark.tidx],[mark.tdt1/tdt2]
が記録される。
さらにBDAVディレクトリ[BDAV]の下位ディレクトリとして、
プレイリストディレクトリ[PLAYLIST]、
クリップ情報ディレクトリ[CLIPINF]、
ストリームディレクトリ[STREAM]、
が設定される。
BDAV規格では、BDMV規格と違い、様々な情報を持つメニューの作成機能がなく、例えばユーザの撮影した映像の先頭画像をサムネイルとして表示する簡易的なメニュー表示を行う設定としている。メニューファイル[menu.tidx],[menu.tdt1/tdt2]はこのためのサムネイル画像を管理、格納している。
メインパス(メインプレイアイテム(PlayItem))
サブパス(サブプレイアイテム(SubPlayItem))
これらの2種類が存在する。
これらのメインパス(メインプレイアイテム)、サブパス(サブプレイアイテム)の各々は、個別にある1つのクリップ(Clip)に対応付けられている。
メインパス(メインプレイアイテム(PlayItem))
サブパス(サブプレイアイテム(SubPlayItem))
が含まれる。これらは、各々が再生開始点(IN time)と再生終了点(OUT time)の指定情報を持つ。図5に示す、メインパス(メインプレイアイテム(PlayItem))と、サブパス(サブプレイアイテム(SubPlayItem))からクリップ情報ファイル(Clip Informatoion)に向けた矢印11が再生開始点(IN time)と再生終了点(OUT time)の指定情報に対応する。
次に、3次元画像情報の記録処理、および記録された3次元画像情報を利用した再生処理について説明する。例えば、上述したBDAV規格など、既存のデータ記録再生規格(フォーマット)の多くは、3次元画像に関する属性情報を記録する領域を定義していないものが多い。このようなフォーマットに従って3次元画像を記録しても2次元画像と同様に記録され、再生時に通常の2次元画像として再生される可能性がある。以下では、このような問題を解決するために、記録メディアに3次元画像を記録する場合、記録画像が3次元画像であるか否かの情報や、3次元画像の符号化態様情報、さらに3次元画像の記録や再生に適用する制御情報等を含む様々な属性情報を記録し、再生時にこれらの属性情報を参照することで3次元画像を正しく再生可能とした構成について説明する。
また、以下では、3次元画像に関する情報の記録領域の定義のない記録再生フォーマットとしてBDAV規格(フォーマット)を例として説明するが、これは一例であり、本発明は、BDAV規格に限らず、その他の規格に対しても適用可能である。
まず、BD(Blu-ray Disc(登録商標))などのディスクやフラッシュメモリなど、様々な記録メディアを利用したコンテンツ記録再生において、管理情報ファイル(データベースファイル)に3次元画像情報を記録する処理と利用処理について説明する。
(a)インフォファイル[info.bdav]
(b)プレイリストファイル
(c)クリップ情報ファイル
以下において説明する例は、これらのデータベースファイルに3次元画像情報を記録し、再生時に利用する処理例である。
まず、インフォファイル[info.bdav])に3次元画像情報を記録する例について説明する。
なお、以下の説明では、BDAV規格で定義されている様々な管理情報についてのシンタクスについて図を参照して説明する。メディアへのデータ記録を実行する情報処理装置は、コンテンツ記録処理に際して以下において説明するシンタクスからなる管理情報を生成して記録する処理を行う。また、情報処理装置が、記録済みコンテンツの編集などの処理を実行して記録コンテンツを変更した場合も、変更に併せて管理情報の更新が実行されることになる。また、コンテンツを記録したメディアからデータ再生を実行する情報処理装置は、シンタクスに従って再生対象コンテンツである符号化ストリームを解析して復号処理を実行して再生データを生成する。
図6に示すインフォファイル[info.bdav]は、図に示すように主として以下の3個のオブジェクトから構成される。
UI情報[UIAppInfoBDAV()]101、
プレイリスト情報[TableOfPlayLists()]102、
メーカプライベートデータ領域[MakersPrivateData()]103、
これらのオブジェクトである。
上記情報中、UI情報[UIAppInfoBDAV()]101は、例えばコンテンツタイトル等を含むメニュー情報の表示に関する情報を記録した領域である。
プレイリスト情報[TableOfPlayLists()]102はタイトルに対応するコンテンツを再生するためのプレイリスト情報を記録した領域である。
図7に示すように、メーカプライベートデータ領域[MakersPrivateData()]103には、
メーカID[maker_ID]記録領域111
メーカモデルコード[maker_model_code]記録領域112
データブロック[data_block]記録領域113
これらのデータ記録領域が含まれる。
メーカID[maker_ID]記録領域111は、メーカプライベートデータを記録したメーカの識別情報記録領域である。例えばA社の記録再生装置がコンテンツ記録を実行してA社の装置固有のアプリケーションに適用するパラメータを記録する場合などには、A社の設定したIDを記録し、メーカプライベートデータの実データ記録領域にパラメータを記録する処理が行われる。
メーカモデルコード[maker_model_code]記録領域112は、そのメーカプライベートデータを記録した装置の製品識別情報等のコードである。
データブロック[data_block]記録領域113がメーカプライベートデータの実データ記録領域となる。
メーカID[maker_ID]記録領域111
メーカモデルコード[maker_model_code]記録領域112
データブロック[data_block]記録領域113
これらのデータ記録領域を利用して3次元画像情報(multiview_video_info)を記録する。
各記録情報に応じて、メーカID[maker_ID]、メーカモデルコード[maker_model_code]、データブロック[data_block]、これらの3つのセットが設定可能となる。
メーカID[maker_ID]記録領域111
メーカモデルコード[maker_model_code]記録領域112
これらのフィールドに記録する。具体的なデータ記録態様の一例を図8に示す。
例えば、図8に示すように、メーカID[maker_ID]記録領域111に、予め定義された3次元画像情報(multiview_video_info)に対応するID情報[0x2000]が記録されている場合、以下のデータブロックに記録された情報が3次元画像情報(multiview_video_info)であることを示す。
フラグ情報115は、メディアに記録されたコンテンツにおけるBDAVディレクトリ下の設定コンテンツ(このインフォファイルによる管理対象コンテンツ)に3次元画像が含まれるか否かについての情報を設定したタフラグである。
フラグの値=0:管理対象ディレクトリ下には2Dコンテンツのみ含まれ、3Dコンテンツは含まれない
フラグの値=1:管理対象ディレクトリ下に3Dコンテンツが含まれている可能性がある。
これらの情報を判別可能としている。
タイトルA:3次元画像を含みます
タイトルB:2次元画像です タイトルC:3次元画像を含みます
:
このようなメニュー表示が可能となる。
次に、プレイリストファイルに3次元画像情報を記録する例について説明する。上述した例は、インフォファイル[info.bdav])のメーカプライベートデータ領域に3次元画像情報を記録する例について説明した。
なお、プレイリストファイルのメーカプライベートデータ領域にも、図7に示したインフォファイルと同様、
メーカID[maker_ID]記録領域
メーカモデルコード[maker_model_code]記録領域
データブロック[data_block]記録領域
これらのデータ記録領域が設定される。
3次元画像フラグ[PlayList_multiview_video_flag]121、
3次元画像構成情報[PlayList_multiview_video_configuration]122、
フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]123、
ベース画像識別フラグ[PlayList_base_view_is_Left_flag]124、
メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]125、
符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]126、
画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]127、
これらの情報が、各プレイリストファイルに記録される3次元画像情報である。
従って再生対象コンテンツが異なるプレイリストファイルには異なる情報が記録される。
コンテンツ再生を実行する装置は、このプレイリストファイルに記録された情報を適用することで正しい3次元画像再生を実行できる。
(3次元画像フラグ[PlayList_multiview_video_flag]121)
まず、3次元画像フラグ121の具体例について図12を参照して説明する。
3次元画像フラグの値=0:このプレイリストの再生対象コンテンツには2Dコンテンツのみ含まれ、3Dコンテンツは含まれない
3次元画像フラグの値=1:このプレイリストの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
このようにフラグ=0/1のいずれかの情報を記録する。
3次元画像フラグの値=1:このプレイリストの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
この設定とする。
コンテンツ再生を実行する装置は、フラグの値を参照し、このプレイリストを利用して再生されるコンテンツに3次元画像が含まれるか否か識別できる。
次に、3次元画像構成情報122の具体例について図13を参照して説明する。
3次元画像構成情報122は、このプレイリストによって再生されるコンテンツである3次元画像の符号化態様情報を記録する領域として設定される。
値=3:サイドバイサイド方式(side by side)
値=4:トップアンドボトム方式(top and bottom)
値=5:フレームシーケンシャル方式(frame sequential)
値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
値=32:MVC符号化1エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
値=40:独立2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)(MVC符号化でない)
値=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)(MVC符号化でない)
このような符号化構成情報を記録する。
なお、プレイリスト内の3Dコンテンツの種別を知ることができない場合、あるいは、プレイリスト内で、3Dコンテンツの種別が混在している場合は、20(no information)とする。
値=4のトップアンドボトム方式は、図1(2)に示す符号化方式に対応する。
値=5のフレームシーケンシャル方式は、図1(3)に示す符号化方式に対応する。
値30~32のMVC符号化方式は、図2(4)に示す符号化方式に対応する。
この場合は、エレメンタリストリームが1または2、システムストリームが1または2の場合に分類されている。
値40~41の符号化方式は、図2(5)に示す符号化方式に対応する。
この場合はエレメンタリストリームが2、システムストリームが1または2の場合に分類されている。
コンテンツ再生を実行する装置は、上記の値を参照し、このプレイリストを利用して再生されるコンテンツの符号化態様を識別して、識別情報に対応した復号処理を実行することができる。
次に、フレーム0画像識別フラグ123の具体例について図14を参照して説明する。
図1(3)に示すようにフレームシーケンシャル方式の場合、左眼用画像(L画像)と右眼用画像(R画像)が交互のフレームとして設定される。
フレーム0が左眼用画像(L画像)
フレーム1が右眼用画像(R画像)
あるいは、
フレーム0が右眼用画像(R画像)
フレーム1が左眼用画像(L画像)
これらの組み合わせのいずれかとなる。
再生する場合、例えば表示装置には、L画像とR画像が交互に表示され、その表示に合わせて例えば、ユーザの装着したシャッタ式メガネのシャッタの開閉が実行される。
この処理によって、L画像はユーザの左眼のみによって観察され、R画像は右眼のみによって観察され正しい奥行き感を得ることができる。
フレーム0が左眼用画像(L画像)であるか、
フレーム0が右眼用画像(R画像)であるか、
これらのいずれであるかの情報を記録する領域である。
具体的には、例えば、図14に示すように、
値=2:フレーム0が右眼用画像(R画像)である。
値=3:フレーム0が左眼用画像(L画像)である。
これらの情報を記録する。
なお、プレイリスト内で、フレーム0とL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照し、フレーム0がL画像であるかR画像であるかを正確に判別してLR画像の正しい再生表示を行うことができる。
次に、図15を参照して、ベース画像識別フラグ124の具体例について説明する。
値=2:ベースビューは右眼用画像(R画像)である。
値=3:ベースビューは左眼用画像(L画像)である。
これらの情報を記録する。
なお、プレイリスト内で、ベースビューとL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照しベースビューがLRいずれの画像であるかを判別してLR画像を正しく復号して表示することができる。
次に、図16を参照して、メインパス画像識別フラグ125の具体例について説明する。
具体的には、図13を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
この設定の場合に利用される。
メインパス(メインプレイアイテム)
サブパス(サブプレイアイテム)
これらの2つのパスの各々がL画像、R画像のどちらに対応するかを示すための情報が記録される。
値=2:メインパスは右眼用画像(R画像)である。
値=3:メインパスは左眼用画像(L画像)である。
これらの情報を記録する。
なお、プレイリスト内で、メインパスとL/Rの対応付けが混在している場合、あるいは、対応付けの情報を取得できない場合は、0(no information)とする。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照しメインパスとサブパスがそれぞれLR画像のいずれの画像の再生パスであるかを正確に判別可能となり、LR画像を正しく復号して表示することができる。
図17には1つのプレイリスト130を示している。プレイリスト130は、
メインパス(メインプレイアイテム)131、
サブパス(サブプレイアイテム)132、
を有している。
サブパス(サブプレイアイテム)132は、クリップb,136に対する再生開始点(IN_time)と再生終了点(OUT_time)を保持し、クリップb136に対応付けられたAVストリームを再生する。
(a)パターン1
メインパスによって指定されるクリップがL画像再生クリップ、
サブパスによって指定されるクリップがR画像再生クリップ、
(b)パターン2
メインパスによって指定されるクリップがR画像再生クリップ、
サブパスによって指定されるクリップがL画像再生クリップ、
このような設定とすることで、L画像とR画像を1つのプレイリスト内のメインパス(メインプレイアイテム)131と、サブパス(サブプレイアイテム)132を利用して3次元画像再生を実行することができる。
次に、図18を参照して、符号化態様識別フラグ126の具体例について説明する。
具体的には、図13を参照して説明した3次元画像構成情報=30~32の設定の場合に利用される。
なお、エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、具体的には、例えば、
CABAC(Context-based Adaptive Binary Arithmetic Coding)
を利用した符号化処理である。
CAVLC(Context-based Adaptive Variable Length Coding)
を利用した符号化処理である。
値=1:エントロピー符号化モード(entropy coding mode)を利用していない。
値=2:エントロピー符号化モード(entropy coding mode)を利用している可能性がある。
これらの情報を記録する。
なお、プレイリストから再生されるビデオストリームについての情報を取得できない場合は、0(no information)とする。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
次に、図19を参照して、画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]127について説明する。
具体的には、図13を参照して説明した3次元画像構成情報=30~32の設定の場合に利用される。
L画像とR画像との間の参照がない符号化データのみ、
L画像とR画像との間の参照がある符号化データが含まれる、
これらの符号化データがある。
これら2種類のデータの識別を可能としたフラグが画像間参照識別フラグ127として設定される。
値=1:ビュー間参照なし
値=2:ビュー間参照が含まれる可能性がある
これらの情報が設定される。
なお、プレイリストから再生されるビデオストリームについての情報を取得できない場合は、0(no information)とする。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
次に、プレイリストファイルの再生パス情報(サブプレイアイテム情報)に3次元画像情報を記録する例について説明する。
メインパス(メインプレイアイテム(PlayItem))
サブパス(サブプレイアイテム(SubPlayItem))
これらの2種類が存在する。
これらのメインパス(メインプレイアイテム)、サブパス(サブプレイアイテム)の各々は、個別にある1つのクリップ(Clip)に対応付けられている。
プレイリストに含まれるメインパス(プレイアイテム)とサブパス(サブプレイアイテム)の各々がL画像とR画像の再生パスとして設定される。
(a)パターン1
メインパスによって指定されるクリップがL画像再生クリップ、
サブパスによって指定されるクリップがR画像再生クリップ、
(b)パターン2
メインパスによって指定されるクリップがR画像再生クリップ、
サブパスによって指定されるクリップがL画像再生クリップ、
このパターン1またはパターン2の設定で画像が記録される。
このいずれの設定で記録されたかについては、先に図13、図16を参照して説明したように、メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]125に記録され、再生時にはこのフラグを参照して識別することができる。
メインパス(プレイアイテム)を通常の2次元画像データの再生用のパス
サブパス(サブプレイアイテム)をアフレコ用の音声データ用の再生パス
このような設定とする場合もある。
ワイド画像と望遠画像各々の画像再生パス、
全景画像と、部分拡大画像各々の画像再生パス、 フォーカス位置の異なる2つの画像の再生パス、
このような異なる画像の再生パスの組み合わせといった設定が可能である。
図20に示すプレイリストファイルのシンタクスには、プレイリストに含まれるメインパス(プレイアイテム)とサブパス(サブプレイアイテム)の固有情報を記録する領域が設定される。
メインパス(プレイアイテム)情報記録領域141、
サブパス(サブプレイアイテム)情報記録領域142、
これらの情報記録領域である。
サブパス(サブプレイアイテム)タイプ情報記録領域145
が設定される。
値=1:音声ストリーム用の再生パス
値=2:3次元画像の構成画像(LR画像)の1方の画像再生パス
このような値を設定する。
コンテンツ再生を実行する装置は、このプレイリストを利用して再生されるコンテンツの復号処理に際して、上記の値を参照してサブパスが3次元画像を構成するLR画像の一方の画像の再生パスであることを確認してLR画像を正しく復号して表示することができる。
次に、クリップ情報ファイルに3次元画像情報を記録する例について説明する。
先に図3等を参照して説明したように、クリップ情報ディレクトリ[CLIPINF]に記録されるクリップ情報ファイル[xxxxx.clpi]は、ストリームディレクトリ[STREAM]に記録されるAVストリームファイル[xxxxx.m2ts]に対応して1対1の対応で設定される。クリップ情報ファイルは、実際のストリームを再生する上で必要となるストリームに関する情報が記載されたファイルである。
クリップ情報ファイルにもプレイリストファイルやインフォファイルと同様、メーカプライベートデータ領域が設定される。すなわち、例えば記録再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。
ClipInfo()201、
SequenceInfo()202、
ProgramInfo()203、
CPI()204、
ClipMark()205、および
MakersPrivateData()206、
である。
SequenceInfo()202について説明する。
MPEG-2トランスポートストリームの中でSTC(System Time Clock(基準時間))の不連続点(システムタイムベースの不連続点)を含まない時間区間をSTC_sequenceと称し、Clipの中で、STC_sequenceは、stc_idの値によって特定される。同じSTC_sequenceの中で同じSTCの値は、決して現れない。従って、同じSTC_sequenceの中で同じPTS(Presentation Time Stamp(同期再生のための時間情報))の値もまた、決して現れない。AVストリームが、N(N>0)個のSTC不連続点を含む場合、Clipのシステムタイムベースは、(N+1)個のSTC_sequenceに分割される。
SequenceInfoは、STCの不連続(システムタイムベースの不連続)が発生する場所のアドレスを記録する。
PCR_PID(Program Clock Reference Packet ID)の値が変わらない。
ビデオエレメンタリーストリームの数が変化しない。
それぞれのビデオストリームについてのPIDの値とそのVideoCodingInfoによって定義される符号化情報が変化しない。
オーディオエレメンタリーストリームの数が変化しない。
それぞれのオーディオストリームについてのPIDの値とそのAudioCodingInfoによって定義される符号化情報が変化しない。
MPEGデータを構成するトランスポートストリーム(TS)は複数のプログラムを含み、ストリームに含まれているプログラムとそのプログラムを構成している映像や音声ストリームなどのプログラムの要素との関係を表すテーブル情報が複数規定されている。テーブル情報はPSI(Program Specific Information)と呼ばれ、PAT (Program Association Table)、PMT(Program Map Table)など複数のテーブルが含まれる。PATにはプログラム番号に対応したPMTのPIDなどが記述され、PMTには対応するプログラムに含まれる映像、音声、付加データおよびPCRのPIDが記述される。PATとPMTを参照することによりストリームの中から目的のプログラムを構成するTSパケットを取り出すことができる。
num_of_program_sequencesは、クリップ情報ファイル内のプログラムシーケンス(program_sequence)の数を示す。
SPN_program_sequence_start[i]は、AVストリームファイル上でプログラムシーケンスが開始する場所の相対アドレスである。
num_of_groups[i]は、プログラムシーケンス(program_sequence)が再生される際のストリームの組み合わせ数を示す。
CPI (Characteristic Point Information)204について説明する。図26は、CPIのシンタクスを示す図である。
CPIは、AVストリームの中の時間情報とそのファイルの中のアドレスとを関連づけるためのデータを記録する。具体的には、エントリポイントマップ(EPマップ(EP_map))210を記録する。
PTS_EP_start:シーケンスヘッダを含むsource packetに対応するタイムスタンプ(プレゼンテーションタイムスタンプ)。
SPN_EP_start:シーケンスヘッダを含むsource packetの先頭アドレス。
I_end_position_offset:シーケンスヘッダを含むsource packetから、Iピクチャの終わりを含むsource packetのオフセット
これらのデータ関係を示すのが図28(D)である。
ClipMark205について説明する。
ClipMark205は、クリップについてのマーク情報であり、ClipMarkの中にストアされる。このマークは、記録器(記録再生装置1)によってセットされるものであり、ユーザによってセットされるものではない。
MakersPrivateData()206、
について説明する。
クリップ情報ファイルにもプレイリストファイルやインフォファイルと同様、メーカプライベートデータ領域が設定される。すなわち、例えば記録再生機器等の情報処理装置の提供メーカが自由な情報を記録できる領域である。
なお、クリップ情報ファイルのメーカプライベートデータ領域にも、図7に示したインフォファイルと同様、
メーカID[maker_ID]記録領域
メーカモデルコード[maker_model_code]記録領域
データブロック[data_block]記録領域
これらのデータ記録領域が設定される。
プログラムシーケンス数(number_of_program_sequences)220
3次元画像フラグ[ClipInfo_multiview_video_flag]221、
3次元画像構成情報[ClipInfo_multiview_video_configuration]222、
フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]223、
ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]224、
クリップ対応画像識別フラグ[ClipInfo_this_clip _is_Left_flag]225、
符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]226、
画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag]227、
これらの情報が、各クリップ情報ファイルに記録される。
従って異なるプログラムシーケンスに対応する3次元画像情報は異なる情報となる場合がある。
コンテンツ再生を実行する装置は、このクリップ情報ファイルに記録された情報をプログラムシーケンス単位で適用することで正しい3次元画像再生を実行できる。
まず、3次元画像フラグ221の具体例について図30を参照して説明する。
3次元画像フラグの値=1:このクリップ情報のプログラムシーケンスの再生対象コンテンツには3Dコンテンツが含まれている可能性がある。
このようにフラグ=0/1のいずれかの情報を記録する。
コンテンツ再生を実行する装置は、クリップ情報ファイルのプログラムシーケンス単位でフラグの値を参照し、プログラムシーケンス単位でコンテンツに3次元画像が含まれるか否か識別できる。
次に、3次元画像構成情報222の具体例について図31を参照して説明する。
3次元画像構成情報222は、このクリップ情報によって再生されるコンテンツである3次元画像の符号化態様情報を記録する領域として設定される。
値=3:サイドバイサイド方式(side by side)
値=4:トップアンドボトム方式(top and bottom)
値=5:フレームシーケンシャル方式(frame sequential)
値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(クリップはMVC符号化された2つのエレメンタリストリームを含む)
値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化された2つのエレメンタリストリームの片方を含む)
値=32:MVC符号化1エレメンタリストリーム/1システムストリーム
値=40:独立2エレメンタリストリーム/1システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームを含む)
値=41:独立2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームの片方を含む)
このような符号化構成情報を記録する。
値=4のトップアンドボトム方式は、図1(2)に示す符号化方式に対応する。
値=5のフレームシーケンシャル方式は、図1(3)に示す符号化方式に対応する。
値30~33のMVC符号化方式は、図2(4)に示す符号化方式に対応する。
この場合は、エレメンタリストリームが1または2、システムストリームが1または2の場合に分類されている。
値40~41の符号化方式は、図2(5)に示す符号化方式に対応する。
この場合もエレメンタリストリームが2、システムストリームが1または2の場合に分類されている。
なお、3Dコンテンツの種別が変化するごとにプログラムシーケンス(program sequence)を分けて記録し、1つのプログラムシーケンス(program sequence)を1つの符号化態様とした設定での3次元画像記録を実行する。
次に、フレーム0画像識別フラグ223の具体例について図32を参照して説明する。
先に説明したように、図1(3)に示すようにフレームシーケンシャル方式の場合、左眼用画像(L画像)と右眼用画像(R画像)が交互のフレームとして設定される。
例えば、
フレーム0が左眼用画像(L画像)
フレーム1が右眼用画像(R画像)
あるいは、
フレーム0が右眼用画像(R画像)
フレーム1が左眼用画像(L画像)
これらの組み合わせのいずれかとなる。
具体的には、例えば、図32に示すように、
値=2:フレーム0が右眼用画像(R画像)である。
値=3:フレーム0が左眼用画像(L画像)である。
これらの情報を記録する。
ただし、フレーム0がL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照し、フレーム0がL画像であるかR画像であるかを正確に判別してLR画像の正しい再生表示を行うことができる。再生装置は、プログラムシーケンス単位で判別を実行して判別情報に従った復号処理を実行することができる。
次に、図33を参照して、ベース画像識別フラグ224の具体例について説明する。
値=2:ベースビューは右眼用画像(R画像)である。
値=3:ベースビューは左眼用画像(L画像)である。
これらの情報を記録する。
ただし、ベースビューがL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
次に、図34を参照して、クリップ対応画像識別フラグ225の具体例について説明する。
具体的には、図31を参照して説明した3次元画像構成情報=41:独立2エレメンタリストリーム/2システムストリーム(クリップはMVC符号化と異なる符号化のなされた2つのエレメンタリストリームを含む)
この設定の場合に利用される。
値=2:当該クリップが右眼用画像(R画像)対応クリップであり、ペアになる他方のクリップが左眼用画像(L画像)対応クリップである。
値=3:当該クリップが左眼用画像(L画像)対応クリップであり、ペアになる他方のクリップが右眼用画像(R画像)対応クリップである。
なお、クリップのプログラムシーケンス対応のコンテンツがL/Rのどちらに対応するか、その情報を取得できない場合は、0(no information)とする。
次に、図35を参照して、符号化態様識別フラグ226の具体例について説明する。
具体的には、図31を参照して説明した3次元画像構成情報=30~32の設定の場合に利用される。
なお、エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、先に説明したように、具体的には、例えば、
CABAC(Context-based Adaptive Binary Arithmetic Coding)
を利用した符号化処理である。
エントロピー符号化モード(entropy coding mode)を利用しない符号化処理とは、具体的には、例えば、
CAVLC(Context-based Adaptive Variable Length Coding)
を利用した符号化処理である。
値=1:エントロピー符号化モード(entropy coding mode)を利用していない。
値=2:エントロピー符号化モード(entropy coding mode)を利用している可能性がある。
これらの情報を記録する。
なお、クリップ情報のプログラムシーケンス対応の符号化データの符号化に関する情報を取得できない場合は、0(no information)とする。
コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。プログラムシーケンス単位で情報を取得し処理を切り換えることが可能となる。
次に、図36を参照して、画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag]227について説明する。
具体的には、図31を参照して説明した3次元画像構成情報=30~32の設定の場合に利用される。
L画像とR画像との間の参照がない符号化データのみ、
L画像とR画像との間の参照がある符号化データが含まれる、
これらの符号化データがある。
これら2種類のデータの識別を可能としたフラグが画像間参照識別フラグ227として設定される。
値=1:ビュー間参照なし
値=2:ビュー間参照が含まれる可能性がある
これらの情報が設定される。
ただし、クリップ情報のプログラムシーケンス対応の符号化データの符号化に関する情報を取得できない場合は、0(no information)とする。
コンテンツ再生を実行する装置は、このクリップ情報を利用して再生されるコンテンツの復号処理に際して、上記の値を参照して符号化態様を知り、LR画像を正しく復号して表示することができる。
次に、図37以下のフローチャートを参照して情報処理装置の実行する処理シーケンスについて説明する。なお、以下のフローにおいて説明する処理は、情報処理装置のデータ処理部において実行される。データ処理部はプログラム実行機能を持つCPUを有する。例えばメモリに記録されたプログラムに従って一連の処理が実行される。
まず、メディアに対するデータ記録処理シーケンスについて図37に示すフローチャートを参照して説明する。なお、この処理は、記録データが3次元画像コンテンツを含む場合の処理である。
また、L画像とR画像が1つのエレメンタリストリームに設定されている場合は、その1つのエレメンタリストリームから1つのトランスポートストリームが生成される。L画像とR画像を個別のエレメンタリストリームに設定されている場合は、これら個別の2つのトランスポートストリームとする場合と、2つのエレメンタリストリームをまとめて1つのトランスポートストリームとする場合がある。これらは、例えば、先に図1、図2を参照して説明した符号化態様等によって決定される。
ステップS103では、トランスポートストリームの数が1か2かを判定し、1である場合は、ステップS121に進み、2である場合はステップS111に進む。
一方、ステップS121に進む場合は、3次元画像を構成するL画像とR画像とが1つのトランスポートストリームとして設定されている場合である。
3Dコンテンツ部分を示すプログラムシーケンスを作成する。
クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
なお、この処理の詳細については、後段で図38および図39に示すフローチャートを参照して説明する。
まず、ステップS113では、第1クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
なお、3次元画像コンテンツの構成ストリームとしてのLR画像いずれかの画像対応のクリップを第1クリップとして、他方の画像対応のクリップを第2クリップとする。
なお、プレイリストファイルの作成時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理については、後段で図40に示すフローチャートを参照して説明する。
3Dコンテンツ部分を示すプログラムシーケンスを作成する。
クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。この処理の詳細については、後段で図38および図39に示すフローチャートを参照して説明する。
まず、ステップS123では、クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
なお、この場合、クリップはLR画像とも1つのクリップに格納されており、生成するパス情報はメインパス(プレイアイテム)のみであり、3次元画像用のサブパス(サブプレイアイテム)は生成されない。
なお、プレイリストファイルの作成時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理については、後段で図40に示すフローチャートを参照して説明する。
次に、図38に示すフローチャートを参照して、クリップ情報ファイルの3次元画像情報の記録または更新処理シーケンスについて説明する。
この処理は、図37に示すフロー中のステップS112、およびステップS122の詳細処理を示すフローである。
次に、ステップS152において、選択したプログラムシーケンスに対応するコンテンツは3Dコンテンツを含むか否かを判定する。含む場合はステップS153に進み、含まない場合はステップS154に進む。
3次元画像構成情報[ClipInfo_multiview_video_configuration]
フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
クリップ対応画像識別フラグ[ClipInfo_this_Clip_is_Left_flag]
符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]
画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag]
これらの設定値を記録/更新データに応じて設定する処理を行なう。
なお、これらの情報は、記録する3次元画像の符号化態様等の情報に応じて設定することになる。
ステップS156において、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したと判定した場合は、処理を終了する。
次に、クリップ情報ファイルに記録される3次元画像情報中の以下の情報、すなわち、
フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
これらの情報の記録シーケンスについて図39に示すフローチャートを参照して説明する。
次に、ステップS162において、選択したプログラムシーケンスに対応する3次元画像情報から、3次元画像構成情報[ClipInfo_multiview_video_configuration]を取得し、設定値が[5]であるか否かを判定する。すなわち、符号化方式がフレームシーケンシャル方式であるか否かを判定する。
ステップS167では、選択したプログラムシーケンスに対応する3次元画像情報から、3次元画像構成情報[ClipInfo_multiview_video_configuration]を取得し、設定値が[30]または[31]または[32]であるか否かを判定する。すなわち、符号化方式がビュー間参照を実行している可能性のある符号化方式であるか否かを判定する。
ステップS172において、クリップに設定されたプログラムシーケンスの全てに対する処理が終了したと判定した場合は、処理を終了する。
次に、図40に示すフローチャートを参照して、プレイリストファイルの3次元画像情報の記録または更新処理シーケンスについて説明する。
この処理は、図37に示すフロー中のステップS115、およびステップS124の詳細処理を示すフローである。
3次元画像構成情報[PlayList_multiview_video_configuration]
フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]
ベース画像識別フラグ[PlayList_base_view_is_Left_flag]
メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]
符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]
画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]
これらの設定値を記録/更新データに応じて設定する処理を行なう。
なお、これらの情報は、記録する3次元画像の符号化態様等の情報に応じて設定することになる。
これらの処理の後、処理を終了する。
次に、図41を参照して、3次元画像の追記処理のシーケンスについて説明する。
すなわち、既にメディアに記録済みのコンテンツがあり、その記録済みコンテンツに対応するプレイリストがメディア上に存在する場合に、この既存プレイリストに対応する新たなコンテンツを追加記録する場合の処理シーケンスである。
ステップS202~S204において、情報処理装置が例えば撮影処理により取得または外部から入力した3次元画像コンテンツの画像(ビデオ)エレメンタリストリームの数と、トランスポートストリーム数を確認する。これらの情報は、ステップS202において、入力データに設定された属性情報(メタデータ)等から取得する、あるいは入力ストリームの解析によって取得する。
ステップS204では、トランスポートストリームの数が1か2かを判定し、1である場合は、ステップS221に進み、2である場合はステップS211に進む。
一方、ステップS221に進む場合は、3次元画像を構成するL画像とR画像とが1つのトランスポートストリームとして設定されている場合である。
3Dコンテンツ部分を示すプログラムシーケンスを作成する。
クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
まず、ステップS213では、第1クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
なお、3次元画像コンテンツの構成ストリームとしてのLR画像いずれかの画像対応のクリップを第1クリップとして、他方の画像対応のクリップを第2クリップとする。
なお、プレイリストファイルの更新時には、3次元画像フラグ以外の3次元3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理は、先に図40に示すフローチャートを参照して説明した通りである。
3Dコンテンツ部分を示すプログラムシーケンスを作成する。
クリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットし、エントリポイントマップ(EPマップ)とともにクリップ情報ファイルに記録する。
なお、この処理に際しては、プログラムシーケンス単位でクリップ情報ファイルの3次元画像フラグ[ClipInfo_multiview_video_flag]を[1]にセットする他、3次元画像情報を記録する処理を行う。この処理の詳細については、先に図38および図39に示すフローチャートを参照して説明した通りである。
まず、ステップS223では、クリップに対して、3Dコンテンツが含まれるクリップの位置を参照する再生パス情報(プレイアイテム(PlayItem))を生成する。
なお、この場合、クリップはLR画像とも1つのクリップに格納されており、生成するパス情報はメインパス(プレイアイテム)のみであり、3次元画像用のサブパス(サブプレイアイテム)は生成されない。
なお、プレイリストファイルの更新時には、3次元画像フラグ以外の3次元画像情報についても記録画像に応じた値を設定する処理を実行する。この詳細処理は、先に図40に示すフローチャートを参照して説明した通りである。
次に、情報処理装置の実行するデータ編集処理のシーケンスについて図42に示すフローチャートを参照して説明する。
図42に示すフローは、メディアに記録済みの3次元画像コンテンツを削除する編集処理を行った場合の処理シーケンスを説明するフローである。
ステップS303では、削除指定されたプレイアイテムを削除する。
次に、図43に示すフローチャートを参照して、情報処理装置のコンテンツ再生処理シーケンスについて説明する。
まず、ステップS401において、情報処理装置が再生指示入力を検出する。なお、コンテンツ再生指示は、例えば初期表示メニューに対するユーザによる再生指示入力等によって実行される。
一方、3次元画像フラグ=0である場合は、インフォファイルが管理対象としているコンテンツ中に3次元画像が含まれていないことを示す。この場合は、ステップS403に進む。
3次元画像フラグ[PlayList_multiview_video_flag]、
3次元画像構成情報[PlayList_multiview_video_configuration]、
フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]、
ベース画像識別フラグ[PlayList_base_view_is_Left_flag]、
メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]、
符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]、
画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]、
値=3:サイドバイサイド方式(side by side)
値=4:トップアンドボトム方式(top and bottom)
値=5:フレームシーケンシャル方式(frame sequential)
値=30:MVC符号化2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
値=31:MVC符号化2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)
値=32:MVC符号化1エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)
値=40:独立2エレメンタリストリーム/1システムストリーム(1クリップAVストリーム)(MVC符号化でない)
値=41:独立2エレメンタリストリーム/2システムストリーム(2クリップAVストリーム)(MVC符号化でない)
なお、3次元画像構成情報=30~32の設定の場合には、さらに、符号化態様識別フラグを参照して自装置で再生実行できる符号化データであるか否かを判定する。
すなわち、符号化態様識別フラグは、先に、図18を参照して説明したように、符号化処理としてエントロピー符号化モード(entropy coding mode)を使用した符号化処理を実行しているか否かを示す識別フラグである。
エントロピー符号化モード(entropy coding mode)を利用した符号化処理とは、具体的には、例えば、
CABAC(Context-based Adaptive Binary Arithmetic Coding)
を利用した符号化処理である。
エントロピー符号化モード(entropy coding mode)を利用しない符号化処理とは、具体的には、例えば、
CAVLC(Context-based Adaptive Variable Length Coding)
を利用した符号化処理である。
次に、上述した記録再生処理を実行する情報処理装置の構成例について図44を参照して説明する。図44は、本発明の一実施例に係る情報処理装置400の構成例を示すブロック図である。情報処理装置400は、メディア410に対するデータ記録、またはデータ再生の少なくともいずれかの処理を行う装置である。具体的には例えば、記録再生装置、プレーヤ装置、レコーダ装置、ビデオカメラ、PCなどの装置である。
102 プレイリスト情報[TableOfPlayLists()]
103 メーカプライベートデータ領域[MakersPrivateData()]
111 メーカID[maker_ID]記録領域
112 メーカモデルコード[maker_model_code]記録領域
113 データブロック[data_block]記録領域
115 フラグ情報[Index_multiview_video_flag]
121 3次元画像フラグ[PlayList_multiview_video_flag]
122 次元画像構成情報[PlayList_multiview_video_configuration]
123 フレーム0画像識別フラグ[PlayList_frame0_is_Left_flag]
124 ベース画像識別フラグ[PlayList_base_view_is_Left_flag]
125 メインパス画像識別フラグ[PlayList_MainPath_is_Left_flag]
126 符号化態様識別フラグ[PlayList_use_entropy_coding_mode_flag]
127 画像間参照識別フラグ[PlayList_use_inter-view_prediction_flag]
130 プレイリスト
131 メインパス(メインプレイアイテム)
132 サブパス(サブプレイアイテム)
135 クリップa
136 クリップb
141 メインパス(プレイアイテム)情報記録領域
142 サブパス(サブプレイアイテム)情報記録領域
145 サブパス(サブプレイアイテム)タイプ情報記録領域
201 ClipInfo
202 SequenceInfo
203 ProgramInfo
204 CPI
205 ClipMark
206 MakersPrivateData
210 EPマップ
220 プログラムシーケンス数(number_of_program_sequences)
221 3次元画像フラグ[ClipInfo_multiview_video_flag]
222 3次元画像構成情報[ClipInfo_multiview_video_configuration]
223 フレーム0画像識別フラグ[ClipInfo_frame0_is_Left_flag]
224 ベース画像識別フラグ[ClipInfo_base_view_is_Left_flag]
225 クリップ対応画像識別フラグ[ClipInfo_this_Clip_is_Left_flag]
226 符号化態様識別フラグ[ClipInfo_use_entropy_coding_mode_flag]
227 画像間参照識別フラグ[ClipInfo_use_inter-view_prediction_flag]
400 情報処理装置
401 データ処理部(記録再生処理部)
402 メモリ
403 入力部
404 出力部
405 メディアインタフェース
406 ローカル記憶部
410 メディア
Claims (20)
- 記録メディアに対するデータ記録処理を行うデータ処理部を有し、
前記データ処理部は、
記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装置。 - 前記データ処理部は、
前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報として前記管理情報ファイルに記録する処理を実行する請求項1に記載の情報処理装置。 - 前記エントロピー符号化モードを利用した処理は、CABAC(Context-based Adaptive Binary Arithmetic Coding)である請求項3に記載の情報処理装置。
- 前記データ処理部は、
さらに、前記3次元画像の符号化方式を示す3次元画像構成情報を前記属性情報に含めて前記管理情報ファイルに記録する請求項1~4いずれかに記載の情報処理装置。 - 前記データ処理部は、
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)~(b)に示す管理情報ファイルの各々に各管理情報ファイルの管理データ単位で前記属性情報を記録する請求項1に記載の情報処理装置。 - 記録メディアからのデータ再生処理を行うデータ処理部を有し、
前記データ処理部は、
記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理装置。 - 前記データ処理部は、
前記3次元画像の復号時に、左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを前記属性情報から取得し、取得した画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行する請求項7に記載の情報処理装置。 - 前記データ処理部は、
前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを前記属性情報から取得し、取得した符号化態様識別データに応じて復号態様を決定して復号処理を実行する請求項7に記載の情報処理装置。 - 前記エントロピー符号化モードを利用した処理は、CABAC(Context-based Adaptive Binary Arithmetic Coding)である請求項9に記載の情報処理装置。
- 前記属性情報は、3次元画像の符号化方式を示す3次元画像構成情報を含み、
前記データ処理部は、
前記3次元画像構成情報に基づいて、前記記録メディアに記録された3次元画像の符号化方式を判別する請求項7~10いずれかに記載の情報処理装置。 - 前記属性情報は、
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)~(b)に示す管理情報ファイルの各々に記録され、
前記データ処理部は、
プレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから管理データ単位の属性情報を読み出す請求項7に記載の情報処理装置。 - 画像データを記録した情報記録媒体であり、
再生対象となるコンテンツとして3次元画像データを格納したストリームファイルと、
前記コンテンツの管理情報を格納した階層化構成を持つ管理情報ファイルを記録データとして有し、
前記階層化された管理情報ファイルの各々は、記録コンテンツに含まれる3次元画像の属性情報として、前記3次元画像データの符号化処理に関する属性情報を格納し、
前記コンテンツを再生する再生装置が、管理情報ファイルの階層に従って前記属性情報を順次参照することで、情報記録媒体の記録コンテンツに含まれる3次元画像の符号化処理に関する属性を各管理情報ファイルの管理データ単位の属性として解析可能とした構成を持つ情報記録媒体。 - 前記属性情報は、前記3次元画像の復号時に左眼用画像(L画像)と右眼用画像(R画像)の画像間参照が必要となる可能性があるか否かを示す画像間参照識別データを含み、
前記再生装置が、前記画像間参照識別データに従って画像間参照の要否を判定して復号処理を実行可能とした請求項13に記載の情報記録媒体。 - 前記属性情報は、前記3次元画像の符号化にエントロピー符号化モードを使用しているか否かを示す符号化態様識別データを含み、
前記再生装置が、前記符号化態様識別データに応じて復号態様を決定して復号処理を実行可能とした請求項13に記載の情報記録媒体。 - 前記属性情報は、
(a)画像データの格納ファイルであるストリームファイルに対応付けて設定されるクリップ情報ファイル、
(b)前記クリップ情報ファイルに対する再生区間指定情報を持つプレイリストファイル、
上記(a)~(b)に示す管理情報ファイルの各々に記録され、
前記再生装置が、まずプレイリストファイル、次にクリップ情報ファイルの順で再生対象データに応じて選択される管理情報ファイルから前記属性情報を読み出し、各管理情報ファイルの管理するデータ単位で3次元画像の符号化処理に関する属性を解析可能とした請求項13~15いずれかに記載の情報記録媒体。 - 情報処理装置において記録メディアに対するデータ記録処理を実行する情報処理方法であり、
データ処理部が、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行し、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する情報処理装方法。 - 情報処理装置において記録メディアからのデータ再生処理を実行する情報処理方法であり、
データ処理部が、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出し、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得し、取得した属性情報に従って復号処理を行う情報処理方法。 - 情報処理装置において記録メディアに対するデータ記録処理を実行させるプログラムであり、
データ処理部に、記録メディアに対するデータ記録処理に際して、記録データに含まれる3次元画像の属性情報を階層化された管理情報ファイルの各々に各管理情報ファイルの管理データ単位の属性として記録する処理を実行させ、
前記属性情報に3次元画像の符号化処理に関する属性情報を含めて記録する処理を実行させるプログラム。 - 情報処理装置において記録メディアからのデータ再生処理を実行させるプログラムであり、
データ処理部に、記録メディアからのデータ再生処理に際して、記録メディアに記録された符号化された3次元画像の属性情報を階層化された管理情報ファイルの各々から順次読み出させ、各管理情報ファイルの管理データ単位の属性として3次元画像の符号化処理に関する属性情報を取得させて、取得した属性情報に従って復号処理を行わせるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/636,135 US20130011124A1 (en) | 2010-04-08 | 2011-03-28 | Information processing device, information recording medium, information processing method, and program |
KR1020127025412A KR20130066569A (ko) | 2010-04-08 | 2011-03-28 | 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 및 프로그램 |
CN2011800268715A CN102918850A (zh) | 2010-04-08 | 2011-03-28 | 信息处理装置、信息记录介质、信息处理方法以及程序 |
EP11765474.9A EP2557801A4 (en) | 2010-04-08 | 2011-03-28 | INFORMATION PROCESSING DEVICE, INFORMATION RECORDING MEDIUM, INFORMATION PROCESSING METHOD, AND PROGRAM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010089447A JP2011223247A (ja) | 2010-04-08 | 2010-04-08 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
JP2010-089447 | 2010-04-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011125574A1 true WO2011125574A1 (ja) | 2011-10-13 |
Family
ID=44762525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/057536 WO2011125574A1 (ja) | 2010-04-08 | 2011-03-28 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20130011124A1 (ja) |
EP (1) | EP2557801A4 (ja) |
JP (1) | JP2011223247A (ja) |
KR (1) | KR20130066569A (ja) |
CN (1) | CN102918850A (ja) |
TW (1) | TW201206155A (ja) |
WO (1) | WO2011125574A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6127560B2 (ja) * | 2013-02-13 | 2017-05-17 | 日産自動車株式会社 | 道路形状予測装置 |
CN104109535B (zh) * | 2014-06-23 | 2016-03-02 | 中国石油化工股份有限公司 | 一种压裂液胶体保护剂及其应用 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002158972A (ja) | 2000-04-21 | 2002-05-31 | Sony Corp | 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体 |
WO2006025388A1 (ja) * | 2004-08-31 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | 動画像符号化方法及び装置 |
JP2007179671A (ja) | 2005-12-28 | 2007-07-12 | Sony Corp | データ構造および記録媒体 |
WO2009133714A1 (ja) * | 2008-05-01 | 2009-11-05 | パナソニック株式会社 | 立体視映像を再生するための光ディスク |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5295236B2 (ja) * | 2008-06-18 | 2013-09-18 | 三菱電機株式会社 | 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置 |
JP4974984B2 (ja) * | 2008-09-11 | 2012-07-11 | 三菱電機株式会社 | 映像記録装置及び方法 |
WO2010038409A1 (ja) * | 2008-09-30 | 2010-04-08 | パナソニック株式会社 | 再生装置、記録媒体、及び集積回路 |
EP2348747A4 (en) * | 2008-11-18 | 2013-08-28 | Panasonic Corp | REPRODUCTION DEVICE, INTEGRATED CIRCUIT, AND REPRODUCTION METHOD WHEREAS SPECIALIZED REPRODUCTION |
US9124874B2 (en) * | 2009-06-05 | 2015-09-01 | Qualcomm Incorporated | Encoding of three-dimensional conversion information with two-dimensional video sequence |
-
2010
- 2010-04-08 JP JP2010089447A patent/JP2011223247A/ja active Pending
-
2011
- 2011-03-17 TW TW100109206A patent/TW201206155A/zh unknown
- 2011-03-28 CN CN2011800268715A patent/CN102918850A/zh active Pending
- 2011-03-28 WO PCT/JP2011/057536 patent/WO2011125574A1/ja active Application Filing
- 2011-03-28 US US13/636,135 patent/US20130011124A1/en not_active Abandoned
- 2011-03-28 EP EP11765474.9A patent/EP2557801A4/en not_active Withdrawn
- 2011-03-28 KR KR1020127025412A patent/KR20130066569A/ko not_active Application Discontinuation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002158972A (ja) | 2000-04-21 | 2002-05-31 | Sony Corp | 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体 |
WO2006025388A1 (ja) * | 2004-08-31 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | 動画像符号化方法及び装置 |
JP2007179671A (ja) | 2005-12-28 | 2007-07-12 | Sony Corp | データ構造および記録媒体 |
WO2009133714A1 (ja) * | 2008-05-01 | 2009-11-05 | パナソニック株式会社 | 立体視映像を再生するための光ディスク |
Non-Patent Citations (1)
Title |
---|
See also references of EP2557801A4 |
Also Published As
Publication number | Publication date |
---|---|
JP2011223247A (ja) | 2011-11-04 |
KR20130066569A (ko) | 2013-06-20 |
CN102918850A (zh) | 2013-02-06 |
EP2557801A4 (en) | 2014-07-16 |
US20130011124A1 (en) | 2013-01-10 |
EP2557801A1 (en) | 2013-02-13 |
TW201206155A (en) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5577805B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
CA2816434C (en) | Recording medium, playback device, recording device, playback method and recording method for editing recorded content while maintaining compatibility with old format | |
JP5601006B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP5494152B2 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
WO2011125575A1 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP4984184B2 (ja) | 再生装置および再生方法 | |
WO2011125574A1 (ja) | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム | |
JP4984194B2 (ja) | 記録方法 | |
JP2010244635A (ja) | 情報処理装置、情報処理方法、再生装置、再生方法、プログラム、および記録媒体 | |
JP2010245916A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201180026871.5 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11765474 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011765474 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13636135 Country of ref document: US |
|
ENP | Entry into the national phase |
Ref document number: 20127025412 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |