WO2011083626A1 - 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2011083626A1 WO2011083626A1 PCT/JP2010/070105 JP2010070105W WO2011083626A1 WO 2011083626 A1 WO2011083626 A1 WO 2011083626A1 JP 2010070105 W JP2010070105 W JP 2010070105W WO 2011083626 A1 WO2011083626 A1 WO 2011083626A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- file
- image
- information
- processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/309—Table of contents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
Definitions
- the present invention relates to an image processing apparatus, an information recording medium, an image processing method, and a program. More specifically, the present invention relates to an image processing apparatus, an information recording medium, an image processing method, and a program for recording and reproducing an image for displaying a three-dimensional image (3D image).
- a so-called three-dimensional image (also referred to as a 3D image or a stereo image)
- images taken from different viewpoints that is, a left-eye image and a right-eye image are required.
- a three-dimensional image can be displayed by using the captured images from these different viewpoints.
- 3D images There are various display methods for 3D images (3D images). For example, a display method corresponding to a passive spectacle method that separates images to be observed by the left and right eyes with a polarizing filter or a color filter, or an image to be observed by alternately opening and closing the liquid crystal shutter on the left and right is temporally alternated between the left and right eyes. There is a display method corresponding to the active eyeglasses method. In either display method, a left-eye image and a right-eye image are used.
- image data such as still images and moving images taken by a camera is encoded according to various encoding (compression) formats when recording on media or when transmitting data. That is, the data amount is reduced or recorded or transmitted.
- FIG. 10 of cited document 1 Japanese Patent Application Laid-Open No. 2004-334833 describes a format example used for recording processing of a three-dimensional still image.
- MP4 is a storage file format of compressed moving image data in the MPEG (Moving Picture Experts Group) 4 format.
- MP4 is a standard defined in ISO / IEC14496.
- MP4 can store not only MPEG-4 format videos, but also MPEG-2 and MPEG-1 movies, audio such as AAC and MP3, still images such as JPEG and PNG, and other formats. Format.
- encoded data of various formats can be stored in the MP4 file.
- MP4 an area for recording management information on the format and type of the encoded data stored in the MP4 file is set.
- management information confirmation processing in the MP4 file is executed.
- the current MP4 format management information rules include an information storage area for identifying whether an image stored in an MP4 file is a three-dimensional (3D) image or a two-dimensional (2D) image. There is a problem that it is not prescribed.
- the stored image is a three-dimensional (3D) image from the management information of the MP4 file
- Whether it is a dimensional (2D) image cannot be identified. Therefore, if the image is not actually acquired and analyzed or reproduced, it cannot be determined whether it is 3D image data or 2D image data. As a result, for example, a situation occurs in which the 3D image data is erroneously displayed on a display device that does not have a 3D image display function.
- the reproduction devices and display devices have a configuration capable of image reproduction or display corresponding to only a part of the methods. Therefore, it is not possible to confirm whether or not the image is a three-dimensional image that can be reproduced or displayed on the own apparatus only with management information according to the current MP4 format. That is, only the management information of the current MP4 file is data that can be processed by the device if the image data is acquired and the data structure is confirmed, or if playback or display processing is not actually executed. There is a problem that it cannot be confirmed whether or not.
- the present invention has been made in view of the above-described problems, for example, and the file management information according to the MP4 format includes a 3D image in the image data stored in the MP4 file, or 3 3D image management information such as a 3D image method is recorded.
- This configuration makes it possible for the playback device and display device to determine whether the stored data is a 3D image or a 2D image before acquiring actual data from the MP4 file, and confirms the 3D image method, etc. It is an object of the present invention to provide an image processing apparatus, an information recording medium, an image processing method, and a program that can prevent the erroneous reproduction process and display process from being performed and can perform the correct reproduction process. is there.
- the present invention provides various data processing executed in the reproduction processing of data stored in the MP4 file, for example, various three-dimensional image display processing as well as various different categories of data processing such as decryption processing of encrypted data.
- Processing apparatus, information recording medium, and image processing method capable of surely providing information necessary for each data processing by layering and recording information to be applied to MP4 file management information It is intended to provide a program.
- the first aspect of the present invention is: An encoding unit for performing encoding processing of image data; A file generation unit for generating an encoded data storage file including encoded data generated by the encoding unit and management information of the encoded data; The file generator Data configuration information in which information to be applied to data processing at the time of reproduction processing of the encoded data is set for each category of data processing is generated, and data configuration information for a plurality of category units is hierarchized and recorded in the management information It is in an image processing apparatus that generates a file.
- At least one of the data units in the category unit is whether or not 3D image data is included in the stored image data of the generated file of the file generating unit. This is 3D image management information that can be discriminated.
- At least one of the category unit data configuration information is a three-dimensional image recording of three-dimensional image data included in stored image data of a generated file of the file generating unit. This is three-dimensional image management information that enables a method to be discriminated.
- At least one of the category unit data configuration information is a three-dimensional image recording of three-dimensional image data included in stored image data of a generated file of the file generating unit.
- Method is (A) Frame sequential method, (B) Side-by-side method, (C) Top and bottom method, This is 3D image management information that makes it possible to determine which of the above methods (a) to (c) is 3D image data.
- At least one of the data units in the category unit is encryption mode information of stored image data of a generation file of the file generation unit
- the file generation unit Generates a file recorded in the management information by hierarchizing the first data configuration information including the encryption mode information and the second data configuration information including the 3D image management information.
- the file generation unit is configured to execute generation of an MP4 file, and the data configuration information is layered and recorded below the AV codec box of the MP4 file. Generate a file.
- the file generation unit generates a file in which a scheme information box including the data configuration information is hierarchized and recorded below the AV codec box of the MP4 file.
- the file generation unit sets the scheme information box in units of track data or segment data that is segment data of image data stored in an MP4 file. Process to record.
- the second aspect of the present invention provides A file analysis unit that analyzes encoded data of image data and an encoded data storage file including management information of the encoded data; A data processing unit that executes data processing of a plurality of different categories when reproducing the image data stored in the file;
- the file management information has a configuration in which data configuration information necessary for execution of each process is hierarchized and recorded in units of data processing categories.
- the file analysis unit acquires hierarchical data configuration information of the file management information,
- the data processing unit is in an image processing apparatus that executes data processing of a plurality of different categories by applying the data configuration information acquired by the file analysis unit.
- At least one of the category unit data configuration information can determine whether or not the stored image data of the file includes three-dimensional image data. This is dimensional image management information.
- At least one of the data units in the category unit can determine a 3D image recording method of 3D image data included in the stored image data of the file. 3D image management information.
- At least one of the category unit data configuration information includes a 3D image recording method of 3D image data included in the stored image data of the file, (A) Frame sequential method, (B) Side-by-side method, (C) Top and bottom method, This is 3D image management information that makes it possible to determine which of the above methods (a) to (c) is 3D image data.
- At least one of the data units in the category unit is encryption mode information of stored image data of a generated file of the file generating unit
- the file analyzing unit Acquires from the management information first data configuration information including encryption mode information and second data configuration information including 3D image management information.
- the file is an MP4 file
- the file analysis unit stores each data from a scheme information box recorded hierarchically below the AV codec box of the MP4 file. Acquires data configuration information for each processing category.
- the file analysis unit obtains the scheme information box in units of track data or sampled segment data that is segment data of image data stored in an MP4 file. .
- the third aspect of the present invention provides An information recording medium that records encoded data of image data and an MP4 file including management information of the encoded data
- the management information is a configuration in which data configuration information in which information applied to data processing at the time of reproduction processing of the encoded data is set in units of data processing categories is layered and recorded,
- an apparatus for reading and playing MP4 files it is possible to sequentially acquire hierarchical data configuration information and apply the acquired data configuration information to execute a plurality of different categories of data processing.
- the information recording medium In the information recording medium.
- the fourth aspect of the present invention provides An image processing method executed in an image processing apparatus, An encoding processing step in which an encoding unit executes encoding processing of image data;
- a file generation unit has a file generation step of generating an encoded data storage file including encoded data generated by the encoding unit and management information of the encoded data;
- the file generation step includes Data configuration information in which information to be applied to data processing at the time of reproduction processing of the encoded data is set for each category of data processing is generated, and data configuration information for a plurality of category units is hierarchized and recorded in the management information
- An image processing method includes a step of generating a file.
- the fifth aspect of the present invention provides An image processing method executed in an image processing apparatus, A file analysis step for analyzing an encoded data storage file including encoded data of image data and management information of the encoded data;
- the data processing unit has a data processing step for executing data processing of a plurality of different categories when reproducing the image data stored in the file,
- the file management information has a configuration in which data configuration information necessary for execution of each process is hierarchized and recorded in units of data processing categories.
- the file analysis step includes a step of acquiring hierarchical data configuration information of the management information of the file,
- the data processing step is an image processing method including a step of executing data processing of a plurality of different categories by applying the data configuration information acquired by the file analysis unit.
- the sixth aspect of the present invention provides A program for executing image processing in an image processing apparatus; An encoding process step for causing the encoding unit to execute an encoding process of the image data; A file generation step of causing the file generation unit to generate an encoded data storage file including the encoded data generated by the encoding unit and management information of the encoded data;
- the file generation step includes Data configuration information in which information to be applied to data processing at the time of reproduction processing of the encoded data is set for each category of data processing is generated, and data configuration information for a plurality of category units is hierarchized and recorded in the management information
- a program that includes the step of generating a file.
- the seventh aspect of the present invention provides A program for executing image processing in an image processing apparatus; A file analysis step for causing the file analysis unit to analyze the encoded data of the image data and the encoded data storage file including the management information of the encoded data; A data processing step for causing the data processing unit to execute a plurality of different categories of data processing in the reproduction processing of the image data stored in the file;
- the file management information has a configuration in which data configuration information necessary for execution of each process is hierarchized and recorded in units of data processing categories.
- the file analysis step includes a step of acquiring hierarchical data configuration information of the management information of the file,
- the data processing step is in a program including a step of executing data processing of a plurality of different categories by applying the data configuration information acquired by the file analysis unit.
- the program of the present invention is a program that can be provided by, for example, a storage medium or a communication medium that is provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
- a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
- system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
- various different categories such as various data processing executed in the reproduction processing of data stored in the MP4 file, for example, three-dimensional image display processing and decryption processing of encrypted data, etc.
- the information to be applied to the data processing is layered and recorded in the management information of the MP4 file.
- various information necessary for each of different categories of data processing required for reproduction of data stored in the MP4 file for example, display processing of encrypted three-dimensional image data, is stored in the MP4 file. It is possible to obtain the file management information without fail, and smooth data reproduction processing is possible.
- MP4 is a storage file format for encoded data in the MPEG (Moving Picture Experts Group) 4 format, and is defined in ISO / IEC 14496.
- MP4 can store not only MPEG-4 video but also MPEG-2 and MPEG-1 video, audio such as AAC and MP3, and still images such as JPEG and PNG. Has a configuration.
- FIG. 1 is a diagram showing a configuration example of an MP4 file 100 that stores AV (Audio Video) data including general image and audio data.
- the MP4 file 100 has the following boxes as shown in FIG. (1) File type box (ftyp) 101, (2) Profile box (uuid (PROF)) 102, (3) Movie box (moov) 103, (4) Actual data box (mdat) 104, With these boxes.
- the file type box (ftyp) 101 includes recording information about the file type.
- Actual image data and audio data to be played back are stored in (4) actual data box (mdat) 104.
- Each information of (1) to (3) that is, a file type box (ftyp) 101, (2) profile box (uuid (PROF)) 102, (3) movie box (moov) 103, Management information such as index information and attribute information of actual data is stored.
- the attribute information includes information to be applied to the decryption process (decompression process) of the actual data stored in the actual data box (mdat) 104. If the actual data is encrypted, information applied to the decryption process is also recorded.
- management data is recorded in the movie box (moov) 103 in units of tracks, which are the division data of the actual data stored in the actual data box (mdat) 104.
- the track include a video track corresponding to image data, an audio track corresponding to audio data, and the like. It is possible to set a first audio track that supports Japanese, a second audio track that supports English, and the like. Also, subdivided track settings such as a first video track and a second video track corresponding to different images are possible.
- the movie box (moov) 103 shown in FIG. 1 only one track box 111 storing metadata corresponding to one track (trak (video track)) is shown. A representative example is shown. Actually, the movie box (moov) 103 stores boxes of the same format as the track box 111 shown in FIG. 1 according to the number of tracks.
- track box 111 metadata corresponding to data in units of tracks set as a divided area of actual data is recorded.
- a sample description box (stsd) 112 is stored, and an AV codec box (avc1) 113 is further subordinate thereto.
- An area obtained by further dividing the track is a sample, and one track is set by one or more samples. That is, the actual data is composed of one or more tracks, and one track is further composed of one or more samples.
- FIG. 1 shows one sample description box (stsd) 112 in the track box 111.
- a track box always has one sample description box (stsd).
- the lower box of the sample description box (stsd) 112 is an AV codec box (avc1) 113
- the AV codec box (avc1) 113 is a codec detailed information of sample-corresponding real data, that is, a sample that is an element of real data. Detailed information (codec information) necessary for the decoding / reproduction process is recorded.
- the AV codec box (avc1) 113 can record not only information related to the MP4 decryption process but also information related to the encryption mode, for example.
- An apparatus for reading and reproducing an MP4 file from a medium such as a DVD, or an apparatus for receiving and reproducing an MP4 file via a communication means is an MP4 file management information having the configuration shown in FIG.
- the management information stored in at least one of “ftyp” 101, profile box (uuid (PROF)), and movie box (moov) 103 is read, and the details of the actual data stored in the actual data box (mdat) 104 are confirmed. .
- Detailed codec information is acquired for each track and sample by this management information confirmation process, and a decoding process according to the information is executed. By such processing, MP4 data decoding and reproduction processing can be performed.
- the management information of the current MP4 format includes information for identifying whether the image stored in the MP4 file is a three-dimensional (3D) image or a two-dimensional (2D) image.
- the area for recording is not defined.
- an apparatus that reads an MP4 file from a recording medium and reproduces it or an apparatus that receives and reproduces an MP4 file via communication means does not store the data stored in the MP4 file unless the image is actually acquired and analyzed or reproduced. It is impossible to grasp whether it is 3D image data or 2D image data. As a result, for example, a situation occurs in which the 3D image data is erroneously displayed on a display device that does not have a 3D image display function. Further, as described above, it is impossible to confirm whether or not the current management information is a three-dimensional image that can be reproduced or displayed on the own apparatus.
- Example in which 3D image identification information is recorded in a profile box (uuid (PROF)) (Example 1)
- Example 2 Embodiment in which 3D image identification information is recorded in AV codec box (avc1) (embodiment 2)
- Example 3D image identification information is recorded using a scheme information box (sinf) defined as an extended configuration of the AV codec box (avc1) (third embodiment)
- a scheme information box sinf
- FIG. 2 is a diagram showing the structure of the upper 16 bits (0001h to 0010h) of the video management flag (video_attribute_flag) included in the profile box (uuid (PROF)) proposed in the present embodiment. Note that (h) means hexadecimal notation.
- the first half (0001h to 0004h) of data is a field already defined in the conventional MP4, and is defined as the following data area, for example.
- 0001h IDR (Instantaneous Decoder Refresh) frame interval information
- 0002h Information on presence / absence of recovery point SEI message, These are information applied to MP4 decoding.
- 0004h is a reserved area.
- the image data stored in the actual data box (mdat) (see FIG. 1) of the MP4 file in the latter half of the upper 16 bits (0001h to 0010h) of the video management flag (video_attribute_flag) includes a three-dimensional image. Whether or not information is stored.
- the following three-dimensional image identification information is stored as shown in FIG. 0008h: stereo video flag 201, 0010h: Mixed stereo video flag 202, Each of these flags is set as 3D image identification information.
- each flag value There are three patterns of image data stored in the MP4 file as shown in FIG.
- All the image data stored in the MP4 file is a three-dimensional image (stereo image).
- All the image data stored in the MP4 file is a two-dimensional image.
- the image data stored in the MP4 file is a mixed data of a three-dimensional image (stereo image) and a two-dimensional image.
- All the image data stored in the MP4 file is a three-dimensional image (stereo image). It is determined that
- the setting of the stereo video flag 201 and the mixed stereo video flag 202 provided in the video management flag (video_attribute_flag) of the profile box (uuid (PROF)) of the MP4 file is confirmed. Only, the three-dimensional image information of the image data stored in the MP4 file can be obtained. Specifically, it is possible to check which type of image data stored in the MP4 file is as follows. (Type a) consists of only a three-dimensional image, (Type b) Consists of only two-dimensional images, (Type c) Mixed data of a 3D image and a 2D image. Each of these types can be discriminated.
- bit value setting example shown in FIG. 3 is merely an example, and the reverse bit value setting may be used, and various settings such as the bit value setting capable of distinguishing each type described above are possible.
- the stereo video flag 201 and the mixed stereo video flag 202 set in the profile box uuid (PROF)
- the 3D image information of the stored data of the MP4 file can be acquired. It becomes. Therefore, for example, it is possible to prevent a situation in which 3D image data is erroneously displayed on a display device that does not have a 3D image display function.
- the AV codec box (avc1) is set below the sample description box (stsd) lower than the track box 111 lower than the movie box (moov). Box.
- the AV codec box (avc1) is a box in which codec information and the like of a sample that is segmented data obtained by dividing the actual data stored in the actual data box (mdat) is recorded.
- all codec information of the samples included in the track is set in the AV codec box (avc1).
- One or a plurality of AV codec boxes (avc1) can be set below the sample description box (stsd).
- the contents are the same, there is no need to set multiple items. In other words, the number of samples and the number of AV codec boxes do not need to match, and even if there are a plurality of samples, a setting with one AV codec box is possible.
- FIG. 4 shows a data configuration example of the AV codec box (avc1) according to the present embodiment.
- the information in the data area 301 shown in FIG. 4 is a codec information storage area already defined in the conventional MP4 file format.
- the following information boxes are set.
- AVCCConfigurationBox MPEG4BitRateBox MPEG4ExtensionDescriptorBox In these boxes, information necessary for decoding the MP4 encoded data, that is, codec information is recorded.
- codec information is commonly used for both a two-dimensional image and a three-dimensional image.
- Stereo Video Description Box 302 Add
- the stereo video information box 302 includes information about whether or not a 3D image is included in the image data stored in the actual data box (mdat) (see FIG. 1) of the MP4 file, Detailed information about the three-dimensional image data is recorded.
- the detailed information includes, for example, 3D image display method information.
- a method corresponding to a passive spectacle method that separates an image to be observed by the left and right eyes using a polarizing filter or a color filter, or an image to be observed by alternately opening and closing the liquid crystal shutter on the left and right is temporally alternated between the left and right eyes.
- the active spectacle method that is separated into two.
- the recording format of the recording data stored in the MP4 file differs depending on each display method.
- the stereo video information box 302 also includes information on which format the image data stored in the actual data box (mdat) (see FIG. 1) of the MP4 file corresponds to.
- a recording method of 3D image data for example, Frame Sequential (Frame Sequential) system, Side-by-side (Side by Side) method, Top-and-bottom method, and so on.
- Frame Sequential Framework Sequential
- Side-by-side Side by Side
- Top-and-bottom Top-and-bottom method
- the frame sequential method is a method in which the frames of the left-eye image (L image) and the right-eye image (R image) are alternately recorded as L, R, L, R,.
- the side-by-side method is a method in which an LR image is divided and recorded on the left and right sides in one frame image.
- the top-and-bottom method is a method in which an LR image is divided and recorded in one frame image.
- Three-dimensional image detailed information used for three-dimensional image reproduction and display processing, such as these image recording methods, is recorded in the stereo video information box 302.
- a device that attempts to acquire and play an MP4 file via a recording medium or communication means is set in the AV codec box (avc1) before actually acquiring an image from the actual data box (mdat) of the MP4 file.
- the 3D image information in the stereo video information box 302 it is possible to reproduce a 3D image such as what recording method or display method the 3D image data of the stored data of the MP4 file is. It is possible to acquire detailed information applied to the display process.
- the data stored in the MP4 file is stored after confirming that the data can be processed by the own device. It is possible to start the decoding and reproduction processing by taking out, and it is possible to eliminate the execution of useless processing.
- an example of the recording format of the detailed 3D image information described below is an example using a format substantially similar to the existing frame configuration information (Frame Packing Arrangement SEI).
- a specific data setting example of frame configuration information (Frame Packing Arrangement SEI) which is an example of detailed 3D image information recorded in the stereo video information box 302 will be described below.
- the following recording method of a three-dimensional image that is, (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], An example of setting frame configuration information corresponding to these different three-dimensional image recording methods will be described.
- FIGS. A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B],
- FIG. 5 is a diagram for explaining a data restoration process and a reproduction process method according to (a) frame sequential method [FS: Frame Sequential].
- FIG. 5 shows a decoded image frame 321 and a display image frame 322 obtained as a result of MP4 decoding.
- a left-eye image (L image) and a right-eye image (R image) are recorded alternately as LLRLRLR. Therefore, the image obtained from the MP4 decoding result.
- the display image frame 322 is used as an L image and an R image.
- FIG. 6 is a diagram for explaining a data restoration process and a reproduction process method according to (b) side-by-side method [SbS: Side by Side].
- MP4 decoding result image 331 Unpack L image (frame 0) 332, Unpack R image (frame 1) 333, L image for display (frame 0) 334, R image for display (frame 1) 335, These image data are shown.
- a left-eye image (L image) and a right-eye image (R image) are divided into regions divided into left and right of one image frame.
- unpacking processing is executed from this image to generate an unpacked L image (frame 0) 332 and an unpacked R image (frame 1) 333.
- decompression processing is executed to generate a display L image (frame 0) 334 and a display R image (frame 1) 335. In this way, frame 0 and frame 1 are set as a set of image frames.
- FIG. 7 is a diagram for explaining a data restoration process and a reproduction process method in accordance with (c) top-and-bottom method [T & B: Top & Bottom].
- MP4 decoding result image 341 Unpack L image (frame 0) 342, Unpack R image (frame 1) 343, L image for display (frame 0) 344, R image for display (frame 1) 345, These image data are shown.
- a left-eye image (L image) and a right-eye image (R image) are divided into upper and lower regions of one image frame.
- unpacking processing is executed from this image to generate an unpacked L image (frame 0) 342 and an unpacked R image (frame 1) 343.
- decompression processing is executed to generate a display L image (frame 0) 344 and a display R image (frame 1) 345.
- frame 0 and frame 1 are set as a set of image frames.
- an apparatus that reproduces and displays a three-dimensional image needs to perform processing according to the three-dimensional image method.
- detailed information for identifying which method the image stored in the MP4 file is a three-dimensional image is displayed in the stereo video information box 302 as frame configuration information (Frame Packing Arrangement SEI). Record as.
- FIG. 8 and FIG. 9 are diagrams showing data setting examples when the three-dimensional image stored in the MP4 file corresponds to the following three types of methods.
- A Frame sequential method [FS]
- B Side-by-side method [SbS]
- C Top and bottom method [T & B]
- FS Frame sequential method
- SbS Side-by-side method
- T & B Top and bottom method
- Frame packing arrangement cancellation flag (frame_packing_arrangement_cancel_flag) When this flag is 1, it indicates that frame configuration information is not used.
- this frame In the case of frame configuration information as three-dimensional image information recorded in the stereo video information box 302, this frame is used in any of the frame sequential method [FS], side-by-side method [SbS], and top-and-bottom method [T & B]. Set to 0 indicating that configuration information is to be used. Note that (b) of [0b] means binary notation.
- 5-point sampling flag (quincux_sampling_flag) When this flag is 1, it indicates that the sampling points of the image frame are set to 5 points of 3 ⁇ 3 pixels.
- This flag is mainly used as information indicating the sampling position in the decoding process. In the case of frame configuration information as three-dimensional image information recorded in the stereo video information box 302, this flag is used in any of the frame sequential method [FS], side-by-side method [SbS], and top-and-bottom method [T & B]. Is set to 0.
- Content description type (content_interpretation_type)
- the value of this field is 0-2.
- 2 frame configuration information for a three-dimensional (stereo) image, set values when frame 0 is a right eye frame and frame 1 is a left eye frame
- These contents description type information is recorded.
- this flag is used in any of the frame sequential method [FS], side-by-side method [SbS], and top-and-bottom method [T & B]. Is set to 1.
- Spatial flipping flag (spatial_fliping_flag) Spatial flip flag (frame0_flipped_flag) These flags store information as to whether or not a frame is configured by connecting in the image frame configuration direction, for example, the horizontal direction or the vertical direction. This flag setting is used to determine the mode of up-conversion (extension processing) of a two-dimensional image. In the case of frame configuration information as three-dimensional image information recorded in the stereo video information box 302, these flags are not used, and these flag values are set to zero.
- Field view flag (field_views_flag) Information about the mode of frame interleaving processing is recorded. In the case of frame configuration information as 3D image information to be recorded in the stereo video information box 302, this flag is not used and this flag value is set to zero.
- Frame packing arrangement reserve byte (frame_packing_arrangement_reserved_byte) Frame packing arrangement repetition byte (frame_packing_arrangement_repetition_period) Frame packing arrangement extension byte (frame_packing_arrangement_extension_flag) These fields are recording fields for reserve, repeated data, and extended data. In the case of frame configuration information as three-dimensional image information recorded in the stereo video information box 302, these flags are not used, and these flag values are set to zero.
- FIG. 9 also shows the following three recording types of 3D images: (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], It is a figure which shows the example of a setting of the frame structure (Frame Packing Arrangement SEI) information corresponding to these three formats.
- FS Frame sequential method
- SB Side-by-side method
- T & B Top and bottom method
- Frame 0 self-contained flag (frame0_self_contained_flag)
- Frame 1 self-contained flag (frame1_self_contained_flag)
- Frame 0 grid position X (Frame0_grid_position_x) Frame 0 grid position Y (Frame0_grid_position_y) Frame 1 grid position X (Frame1_grid_position_x) Frame 1 grid position Y (Frame1_grid_position_y)
- N / A invalid value in the frame sequential method [FS], side-by-side method [SbS], top-and-bottom method [T & B]
- the frame configuration (Frame Packing Arrangement SEI) information in the stereo video information box 302 includes: (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], Set values of frame configuration information (Frame Packing Arrangement SEI) corresponding to each of these methods are set.
- the device that performs playback and display of the 3D image determines which method the image stored in the MP4 file is a 3D image according to. Can be identified. That is, for example, by referring to the setting values of the frame configuration information (Frame Packing Arrangement SEI) described with reference to FIGS. 8 and 9, the image stored in the MP4 file is a three-dimensional image according to which method. This makes it possible to identify the image, and it is possible to generate, reproduce and display correct three-dimensional image display data by executing restoration processing corresponding to the stored image method.
- the frame configuration information Frama SEI
- FS Frame sequential method
- SB Side-by-side method
- T & B Top and bottom method
- the configuration is not limited to the frame configuration information (Frame Packing Arrangement SEI) described with reference to FIGS. 8 and 9, and the detailed configuration of the 3D image is generated in another format and recorded in the AV codec box (avc1). Also good.
- the AV codec box (avc1) is set below the sample description box (stsd) lower than the track box 111 lower than the movie box (moov). Box.
- the AV codec box (avc1) is a box in which codec information of a sample, which is data obtained by dividing the actual data stored in the actual data box (mdat), is recorded.
- all codec information of the samples included in the track is set in the AV codec box (avc1).
- One or a plurality of AV codec boxes (avc1) can be set below the sample description box (stsd).
- the contents are the same, there is no need to set multiple items. In other words, the number of samples and the number of AV codec boxes do not need to match, and even if there are a plurality of samples, a setting with one AV codec box is possible.
- detailed 3D image information is recorded in the AV codec box (avc1).
- detailed 3D image information is recorded using a scheme information box (sinf) defined as an extended configuration of the AV codec box (avc1).
- a scheme information box (sinf) is defined as an area for recording configuration information.
- a scheme information box (sinf) is defined as an area for recording the encryption mode information.
- the current specification of ISO / IEC 14496 which specifies the MP4 file format, specifies that one scheme information box (sinf) for storing data configuration information can be set below the AV codec box (avc1). is doing.
- the playback apparatus refers to the scheme information box (sinf) set in the AV codec box (avc1) to obtain information necessary for decrypting the encrypted data. It becomes possible.
- this scheme information box is used. That is, a scheme information box that stores data configuration information about a three-dimensional (stereo) image is defined.
- a scheme information box that stores data configuration information about a three-dimensional (stereo) image is defined.
- FIG. 10 an example of storing data configuration information about a three-dimensional (stereo) image, that is, three-dimensional image detailed information, in a scheme information box (sinf) will be described.
- the scheme information box (sinf) in which the detailed information of the 3D image is recorded is not set, and the AV codec box (avc1) in the MP4 file is, for example, FIG. ),
- AVC data configuration information box [AVCCConfigurationBox] 402 codec information necessary for the MP4 data decoding process is recorded.
- the AV codec box (avc1) 401 shown in FIG. 10B is set as an AV codec box 405 including the 3D image information scheme information box 410 shown in FIG. To do.
- the code (4CC: four-character-code) corresponding to the box name of the AV codec box (avc1) 401 that does not include the 3D image information scheme information box shown in FIG. 10B is [avc1].
- the AV codec box 405 including the 3D image information scheme information box 410 shown in FIG. 10C indicates that a code (4CC: four-character-code) corresponding to the box name includes information regarding stereo video data [ stev]. That is, it is possible to determine that the AV codec box 405 includes the 3D image information scheme information box 410 from the box name (4CC).
- the box name (4CC) corresponds to the file name of the AV codec box 405, and the playback apparatus can determine from the file name that the AV codec box includes a 3D image information scheme information box.
- the 3D image information scheme information box 410 Format information box (frma) 411, Scheme type box (SchemeTypeBox) 412, Scheme detailed information box (SchemeInformationBox) 413, With each of these boxes.
- the scheme type box (SchemeTypeBox) 412 information indicating the type of the scheme information box 410 is recorded.
- the scheme information box 410 is a scheme information box that stores detailed information of a three-dimensional image. Therefore, the scheme type box (SchemeTypeBox) 412 is a scheme information box that stores three-dimensional image detailed information. The type information shown is recorded.
- SchemeInformationBox Detailed information of a specific three-dimensional image is recorded in a scheme detailed information box (SchemeInformationBox) 413.
- the three-dimensional image detailed information stored in the scheme detailed information box (SchemeInformationBox) 413 includes information similar to the frame configuration information (Frame Packing Arrangement SEI) described in the second embodiment.
- Information necessary for executing playback and display processing of a three-dimensional image is recorded. Specifically, for example, (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], Detailed three-dimensional image information corresponding to each of these methods is recorded.
- the apparatus that reproduces and displays the 3D image receives the 3D image detailed information from the scheme detailed information box (SchemeInformationBox) 413 of the 3D image information scheme information box 410 set as lower information of the AV codec box (avc1). By acquiring, it is possible to identify which method the image stored in the MP4 file is a three-dimensional image.
- the playback device refers to the recording information in the scheme detailed information box (SchemeInformationBox) 413 of the 3D image information scheme information box 410 and executes restoration processing corresponding to the stored image method to obtain correct 3D image display data. It can be generated, played back and displayed.
- FIG. (C) AV codec box 405 including a 3D image information scheme information box 410;
- the data (c) is an AV codec box 405 having the same configuration as the data of FIG. 10 (c).
- the playback apparatus When the actual data stored in the MP4 file is a three-dimensional image and is further encrypted, the playback apparatus not only provides the first data configuration information (three-dimensional image detailed information) but also the second data configuration information. (Encryption information) is required.
- the individual data configuration information is set as an individual scheme information box, and these are hierarchized and recorded.
- a plurality of scheme information boxes are hierarchized (nested) and stored in the AV codec box. That is, as shown in the AV codec box (encv) 407 shown in FIG. (1) a first scheme information box (sinf) 410 for storing data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image; (2) a second scheme information box (sinf) 420 for storing data configuration information (encryption mode information) about encryption processing; These two scheme information boxes are hierarchized, that is, set in a nested state and stored in the AV codec box.
- the first scheme information box (sinf) 410 storing data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image is encrypted.
- the box is set at a lower level of the format information box (frma) of the second scheme information box (sinf) 420 storing the data configuration information (encryption mode information) about the process.
- the code (4CC: four-character-code) corresponding to the box name of the AV codec box (avc1) 401 not including the three-dimensional image information scheme information box shown in FIG. 10B is [avc1].
- the AV codec box 405 including the 3D image information scheme information box 410 shown in FIG. 11 (c) indicates that a code (4CC: four-character-code) corresponding to the box name includes information on stereo video data [stev. ].
- an AV codec box 407 having an encryption information scheme information box 420 including a three-dimensional image information scheme information box 410 shown in FIG. 11D as a nesting is a code (4CC: four-character-code) corresponding to the box name. ) Is set as [encv] indicating that information related to the encrypted video data is included. As a result, it is possible to determine that the AV codec box 405 includes the encryption information scheme information box 420 from the box name (4CC).
- the first scheme information box (sinf) 410 stores data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image.
- the first scheme information box (sinf) 410 is a box similar to that described above with reference to FIG. Format information box (frma) 411, Scheme type box (SchemeTypeBox) 412, Scheme detailed information box (SchemeInformationBox) 413, With each of these boxes.
- the scheme type box (SchemeTypeBox) 412 information indicating the type of the scheme information box 410 is recorded.
- the scheme information box 410 is a scheme information box that stores detailed information of a three-dimensional image. Therefore, the scheme type box (SchemeTypeBox) 412 is a scheme information box that stores detailed information of a three-dimensional image. Is recorded.
- SchemeInformationBox Detailed information of a specific three-dimensional image is recorded in a scheme detailed information box (SchemeInformationBox) 413.
- the three-dimensional image detailed information stored in the scheme detailed information box (SchemeInformationBox) 413 includes information similar to the frame configuration information (Frame Packing Arrangement SEI) described in the second embodiment. That is, for example, (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], Detailed 3D image information corresponding to each of these methods is recorded.
- the playback apparatus refers to the detailed information of the 3D image stored in the actual data box (mdat) of the MP4 file by referring to the detailed information of the 3D image stored in the first scheme information box (sinf) 410. Can be obtained.
- the second scheme information box (sinf) 420 stores data configuration information (encryption mode information) regarding the encryption process.
- the second scheme information box (sinf) 420 is Format information box (frma) 421, Scheme type box (SchemeTypeBox) 422, Scheme detailed information box (SchemeInformationBox) 423, With each of these boxes.
- the format information box (frma) 421 uses the first scheme information box (sinf) 410 storing data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image as lower-layer data, that is, a nested state. keeping. Furthermore, format information is recorded.
- data_format 'stev' Such format information is recorded.
- scheme type box (SchemeTypeBox) 422 information indicating the type of the scheme information box 420 is recorded.
- the scheme information box 420 is a scheme information box that stores detailed information about the encryption process
- the scheme type box (SchemeTypeBox) 422 indicates that the scheme information box stores encrypted detailed information. The information shown is recorded.
- scheme detailed information box (SchemeInformationBox) 423 detailed information of specific encryption processing is recorded.
- the encryption information stored in the scheme detailed information box (SchemeInformationBox) 423 stores information necessary for decrypting the encrypted data in the playback device.
- the playback device refers to the encryption mode information stored in the second scheme information box (sinf) 420 and obtains information necessary for the decryption processing of the data stored in the actual data box (mdat) of the MP4 file. Can be obtained.
- a scheme information box corresponding to the data configuration information is set, and these are recorded in the AV codec box as a hierarchical configuration (nested).
- scheme information box for storing data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image
- a second scheme information box for storing data configuration information (encryption mode information) about encryption processing
- scheme information boxes set in, for example, three or more hierarchies for various data configuration information related to actual data stored in the MP4 file.
- hierarchical (nested) configuration of scheme information boxes as in this embodiment, any number of various data configuration information and data conversion information required for playback and display processing can be set and recorded as management information It becomes possible to do.
- the playback device can play back and display the actual data stored in the MP4 file without error by acquiring these management information.
- FIG. 12 is a flowchart illustrating the image data recording processing sequence.
- FIG. 13 is a flowchart for explaining the image data reproduction processing sequence.
- the image data recording processing sequence will be described with reference to the flowchart shown in FIG.
- the process according to the flowchart shown in FIG. 12 is executed in an imaging apparatus such as a camera that executes a process of taking an image and recording it on a recording medium.
- the processing is executed under the control of a control unit such as a CPU provided in the imaging apparatus.
- the process of each step of the flowchart shown in FIG. 12 will be described.
- step S101 for example, it is determined whether or not the data acquired by the photographing process and scheduled to be recorded on the recording medium includes three-dimensional image data.
- step S101 if the three-dimensional image data is included in the data scheduled to be recorded on the medium, the determination in step S101 is Yes and the process proceeds to step S102.
- step S102 3D image identification information is recorded in the profile box of the MP4 file.
- This process is described in [[3-1. (1) Processing corresponding to an embodiment (embodiment 1) in which 3D image identification information is recorded in a profile box (uuid (PROF)). That is, the process described with reference to FIGS.
- Stereo video flag 201 Mixed stereo video flag (Mixed stereo video flag) 202
- the flag values shown in FIG. 3 are set in accordance with the type of scheduled recording data.
- step S103 the method of 3D image data scheduled to be recorded is determined.
- three types A, B, and C are discriminated. These correspond to, for example, the following three types described in the second and third embodiments.
- step S103 determines whether the determination in step S103 is determined to be method A. If the determination in step S103 is determined to be method A, the process proceeds to step S104, and detailed 3D image information corresponding to method A is recorded in the AV codec box of the MP4 file. If the determination in step S103 is determined to be method B, the process proceeds to step S105, and detailed 3D image information corresponding to method B is recorded in the AV codec box of the MP4 file. If the determination in step S103 is determined to be system C, the process proceeds to step S106, and detailed 3D image information corresponding to system C is recorded in the AV codec box of the MP4 file.
- steps S104 to S106 corresponds to the processing in the second embodiment or the third embodiment described above. That is, the above-mentioned [3-2. (2) Embodiment in which 3D image detailed information is recorded in AV codec box (avc1) (embodiment 2)], or [3-3. (3) Embodiment in which detailed information on three-dimensional images is recorded using scheme information box (sinf) defined as an extended configuration of AV codec box (avc1) (third embodiment)], which corresponds to these processes. In addition, it is good also as a structure which performs either the process of Example 2, or the process of Example 3, and it is good also as a structure which performs both.
- the AV codec box is a box storing codec information set below the sample description box (stsd) lower than the track box lower than the movie box (moov). It is.
- the stereo video information box 302 (see FIG. 4) is set in the AV codec box, and for example, refer to FIGS.
- the frame configuration information as the detailed 3D image information described above is recorded.
- different data is recorded according to the three-dimensional image method.
- the scheme information box is set as described with reference to FIGS. 10 and 11, and the three-dimensional image detailed information is recorded in the scheme information box. Also in this case, different data is recorded according to the method of the three-dimensional image.
- step S107 After completion of the processes in steps S104 to S106, the process proceeds to step S107, where the MP4 file is completed and the recording process for the medium is executed.
- step S101 If it is determined in step S101 that the acquired data does not include 3D image data, the determination in step S101 is No and the process proceeds to step S110.
- step S110 2D image identification information is recorded in the profile box of the MP4 file.
- the flow shown in FIG. 12 has been described as an example of the MP4 file creation process in the data recording process for the recording medium. However, when an MP4 file is generated as communication data, the MP4 file creation process is performed in the same processing sequence. Good.
- the setting example has been described in which both the 3D image identification information of the profile box of the first embodiment and the 3D image detailed information of the AV codec box of the second or third embodiment are read.
- a configuration may be adopted in which only the three-dimensional image identification information of the profile box of the first embodiment is read and used, or only the three-dimensional image detailed information of the AV codec box of the second or third embodiment is read and used. It is good also as composition which performs.
- the processing according to the flowchart shown in FIG. 13 is executed in a playback device that executes processing on, for example, an MP4 file read from a recording medium or an MP4 file received as communication data.
- the processing is executed under the control of a control unit such as a CPU provided in the playback apparatus.
- the process of each step of the flowchart shown in FIG. 13 will be described.
- step S201 MP4 file profile box (PROF) information is acquired.
- This process is described in [[3-1. (1) Processing corresponding to an embodiment (embodiment 1) in which 3D image identification information is recorded in a profile box (uuid (PROF)). In other words, this is a process of acquiring the profile box (PROF) information of the MP4 file described with reference to FIGS.
- Stereo video flag 201 the following flags shown in FIG. Stereo video flag 201, Mixed stereo video flag (Mixed stereo video flag) 202, Read the value of each of these flags.
- step S202 If it is determined in step S202 that the three-dimensional image data is not included by reading the flag as the three-dimensional image identification information of the profile box in step S201, the process proceeds to step S210 to acquire the two-dimensional image data from the MP4 file. Playback and display.
- step S203 information on the AV codec box of the MP4 file is acquired.
- This process is performed as described in [3-2. (2) Embodiment in which 3D image detailed information is recorded in AV codec box (avc1) (embodiment 2)], or [3-3. (3) Embodiment in which detailed information on three-dimensional image is recorded using scheme information box (sinf) defined as extended configuration of AV codec box (avc1) (third embodiment)], processing for reading these recorded data
- scheme information box sinf
- the stereo video information box 302 (see FIG. 4) is set in the AV codec box.
- frame configuration information as the three-dimensional image detailed information described with reference to FIGS. 8 and 9 is recorded.
- step S203 3D image detailed information is read from the stereo video information box 302 (see FIG. 4).
- the scheme information box is recorded as lower data of the AV codec box as described with reference to FIGS. Read the detailed 3D image information from the scheme information box.
- step S204 it is determined whether the reproduction scheduled data is the method A, B, or C.
- step S205 the image corresponding to the method A is decoded (decoding and restoring processing), and reproduction and display processing are executed. If it is determined that the image data is 3D image data corresponding to the method B, the process proceeds to step S206, where the image corresponding to the method B is decoded (decoding and restoring processing), and reproduction and display processing are executed. If it is determined that the image data is 3D image data corresponding to the method C, the process proceeds to step S207, where the image corresponding to the method C is decoded (decoding and restoring processing), and reproduction and display processing are executed.
- the image processing apparatus can determine whether or not the data stored in the MP4 file includes a 3D image, and if the 3D image data is included, the recording is performed.
- the playback method can be acquired from a profile box or AV codec box as management information in the MP4 file. Accordingly, it is possible to check whether or not the MP4 file is reproducible 3D image data before acquiring and analyzing or reproducing the actual data of the MP4 file. Only when it is determined, actual data is acquired, and correct decoding and reproduction processing can be executed according to processing according to the method.
- the three-dimensional image identification information of the profile box of the first embodiment and the three-dimensional image of the AV codec box of the second or third embodiment are used.
- a process for recording only the three-dimensional image identification information of the profile box of the first embodiment may be performed, or the AV of the second or third embodiment may be used.
- a configuration in which only the detailed information of the three-dimensional image of the codec box is recorded may be performed.
- FIG. 14 shows a configuration example of an imaging apparatus 500 as an embodiment of the image processing apparatus of the present invention.
- the imaging apparatus 500 has a function of capturing images from different viewpoints applied to 3D image display, and has a configuration capable of switching between capturing a 2D image and a 3D image according to a user mode setting.
- the imaging unit 501 has a plurality of lens units set at different positions, for example, and can simultaneously capture images from different viewpoints.
- the three-dimensional image shooting mode is set, an image shot through a plurality of lens units is input.
- setting the two-dimensional image shooting mode only an image shot through one lens unit is input.
- An image signal processing unit 502 performs signal processing of captured image data such as white balance adjustment.
- the data encoding unit 503 generates an MP4 file.
- the preprocessing unit 511 performs preprocessing according to each method. Specifically, for example, each method described with reference to FIGS. 5 to 7, that is, (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], According to each of these methods, an MP4 decoding image is generated from the captured image. For example, when recording data is generated according to the side-by-side method [SbS] shown in FIG.
- the captured images correspond to the display L image (frame 0) 334 and the display R image (frame 1) 335 shown on the right side of FIG.
- an image frame corresponding to the MP4 decoding result image 331 shown on the left side of FIG. 6 is generated.
- This data is input to the encoding unit 512 and an encoding process according to the MP4 format is executed. Further, the file generation unit 513 executes the recording process for the profile box of the 3D image identification information and the recording process for the AV codec box of the detailed 3D image information described in the first to third embodiments. Create an MP4 file.
- the file generation unit 513 generates an MP4 file that is an encoded data storage file including encoded data of the image data generated by the encoding unit 512 and management information of the encoded data.
- the file generation unit 513 records 3D image identification information indicating whether or not 3D image data is included in the image data stored in the file in the profile box of the MP4 file.
- the process of recording the 3D image identification information in the profile box of the MP4 file corresponds to the process described above with reference to the first embodiment.
- the file generation unit 513 records detailed 3D image information that enables determination of the 3D image format in the AV codec box.
- the process of recording the detailed 3D image information in the AV codec box corresponds to the process described above with reference to the second and third embodiments.
- the file generation unit 513 when executing processing corresponding to the third embodiment, includes scheme information including data configuration information in which information to be applied to data processing at the time of reproduction processing of encoded data is set for each category of data processing A box is generated, and a plurality of category unit scheme information boxes are hierarchized to generate a file recorded in the management information.
- the file generation unit 513 performs a process of recording the detailed three-dimensional image information in units of track data or segment data that is the segment data of the image data stored in the MP4 file.
- the MP4 file generated by the data encoding unit 503 is provided to the recording unit 504 and recorded on a recording medium 530 such as a flash memory, HDD, or DVD.
- a recording medium 530 such as a flash memory, HDD, or DVD.
- the MP4 file generated in the data encoding unit 503 is provided to the communication unit 505 and is packetized and subjected to transmission processing.
- the MP4 file including the encoded data of the image data and the management information of the encoded data is recorded on the recording medium 530 by this data recording process.
- the management information included in the MP4 file includes 3D image identification information indicating whether or not 3D image data is included in the image data, and detailed 3D image information capable of determining the 3D image format. Therefore, an apparatus that reads and reproduces an MP4 file from the recording medium 530 can determine the reproducibility of the apparatus by referring to the management information.
- an MP4 file including management information having a hierarchical configuration of the scheme information box of the third embodiment described above is recorded. That is, the MP4 file management information recorded on the recording medium 530 has a structure in which data configuration information in which information applied to data processing at the time of reproduction processing of encoded data is set in units of data processing is layered and recorded. Become. An apparatus that reads and reproduces an MP4 file from such a recording medium 530, which is such an information recording medium, sequentially acquires hierarchical data configuration information and applies the acquired data configuration information to a plurality of different categories of data processing. Can be executed.
- the MP4 file recorded on the recording medium 530 such as a flash memory, HDD, or DVD is read via the playback unit 506 and provided to the data decoding unit 507.
- the MP4 file received via the communication unit 505 is also provided to the data decoding unit 507.
- the file analysis unit 521 of the data decryption unit 507 first receives the management information of the received MP4 file, that is, the file type box (ftyp), profile box (uuid (PROF)), movie box described above with reference to FIG. (Moov), the management information recorded in each of these boxes is acquired.
- the profile box includes a three-dimensional image in the image data stored in the actual data box (mdat) of the MP4 file.
- the three-dimensional image identification information shown is recorded. This is the information described with reference to FIGS.
- the AV codec box below the movie box (moov) is stored in the three-dimensional image detailed information, that is, the actual data box (mdat) of the MP4 file.
- the obtained image data is three-dimensional image data
- detailed information regarding the recording and reproduction method of the three-dimensional image data is recorded. This is the information described with reference to FIGS.
- the file analysis unit 521 performs, for example, a track unit or a sample unit of segment data that is segment data of image data stored in the MP4 file. Get information.
- the file analysis unit 521 of the data decoding unit 507 analyzes the management information in the MP4 file and determines whether or not the 3D image is included in the image data stored in the actual data box (mdat) of the MP4 file. If a 3D image is included, the method is confirmed.
- the MP4 file is provided to the decoding unit 522 together with the confirmation information. If it is determined from the MP4 file analysis result of the file analysis unit 521 that the stored data of the MP4 file does not correspond to a method that can be reproduced by the imaging apparatus 500, the subsequent process, that is, the decoding process or the like is not executed. These processing controls are executed by the control unit 570 according to a program stored in the memory 571. The control unit 570 determines the reproducibility of the apparatus by applying the 3D image management information of the MP4 file, and performs control to start the decoding process of the image data in the decoding unit 522 after determining that the reproducibility is possible.
- the decoding unit 522 Based on the MP4 file analysis result of the file analysis unit 521, when it is determined that the stored data of the MP4 file corresponds to a method that can be reproduced by the imaging apparatus 500, the decoding unit 522 performs a decoding (telecode) process of the MP4 data. Be started. Further, the three-dimensional image method information and the decoding result are provided to the display information generation unit 523.
- the display information generation unit 523 performs image restoration processing according to each method (FIGS. 5 to 5) depending on which of the following methods the 3D image method information, that is, the MP4 file storage data corresponds to, for example: 7).
- the display image generated by the data decoding unit 507 is provided to the display unit 550 and image display is performed.
- the display information generation unit 523 is a data processing unit that generates a left-eye image and a right-eye image for application to 3D image display, such as a data processing unit that performs decryption processing of encrypted data.
- the data processing unit executes various categories of data processing.
- the display information generation unit 523 is configured by a data processing unit that executes data processing of a plurality of different categories that is executed when the image data stored in the MP4 file is played back.
- the file analysis unit 521 acquires the hierarchical data configuration information of the management information of the MP4 file. Then, the decoding unit 522 and the display information generation unit 523 execute data processing for a plurality of different categories by applying the information included in the scheme information box from the category unit data configuration information acquired by the file analysis unit 521.
- control of the processing of each of these components is executed by the control unit 570.
- the control unit 580 executes control such as photographing processing data recording processing, communication data generation, data transmission / reception processing, data reproduction processing, and display processing in accordance with a program stored in the memory 571 in advance.
- processing control according to the processing sequence described above with reference to the flowchart of FIG. 12 is executed, and in data reproduction processing, it has been described with reference to the flowchart of FIG. Process control according to the process sequence is executed.
- the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
- the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
- the program can be recorded in advance on a recording medium.
- the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
- the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
- the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
- various data processing executed in the reproduction processing of data stored in the MP4 file for example, three-dimensional image display processing, decryption of encrypted data, etc.
- Information to be applied to various different categories of data processing such as processing is layered and recorded in MP4 file management information.
- various information necessary for each of different categories of data processing required for reproduction of data stored in the MP4 file for example, display processing of encrypted three-dimensional image data, is stored in the MP4 file. It is possible to obtain the file management information with certainty, and smooth data reproduction processing is possible.
Abstract
Description
MP4は、MPEG(Moving Picture Experts Group)4形式の圧縮動画データの格納ファイル形式である。MP4はISO/IEC14496に規定された規格である。MP4はMPEG-4形式の動画のみならず、MPEG-2やMPEG-1の動画、AACやMP3などの音声、JPEGやPNGなどの静止画など、様々な形式の画像および音声データを格納可能としたフォーマットである。
すなわち、現行のMP4ファイルの管理情報のみでは、画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置にある。
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)~(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である。
画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置にある。
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)~(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である。
画像データの符号化データと、該符号化データの管理情報を含むMP4ファイルを記録した情報記録媒体であり、
前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
MP4ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体にある。
画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法にある。
画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラムにある。
画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラムにある。
1.MP4ファイルフォーマットの基本構成について
2.3次元画像管理情報をMP4ファイルの管理情報中に記録する構成について
2A.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)
2B.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)
2C.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)
3.画像処理装置の実行する画像処理シーケンスについて
4.本発明の画像処理装置の構成例について
まず、図1を参照して現行のMP4ファイルフォーマットの基本構成について説明する。前述したように、MP4は、MPEG(Moving Picture Experts Group)4形式の符号化データの格納ファイル形式であり、ISO/IEC14496に規定されている。MP4はMPEG-4形式の動画のみならず、MPEG-2やMPEG-1の動画、AACやMP3などの音声、JPEGやPNGなどの静止画など、様々な形式の画像および音声データを格納可能な構成を持つ。
(1)ファイルタイプボックス(ftyp)101、
(2)プロファイルボックス(uuid(PROF))102、
(3)ムービーボックス(moov)103、
(4)実データボックス(mdat)104、
これらのボックスを有する。
(2)プロファイルボックス(uuid(PROF))102には、例えば、フレームレートなどのファイル情報が記録される。
(3)ムービーボックス(moov)103には、格納データの管理情報(メタデータ)が記録される。
(4)実データボックス(mdat)104には、符号化された(圧縮)画像や音声データなど実データが記録される。
トラックは、例えば、画像データに対応するビデオトラック、音声データに対応するオーディオトラック等がある。なお、日本語対応の第1オーディオトラック、英語対応の第2オーディオトラックなどの設定も可能である。また、異なる画像に対応する第1ビデオトラック、第2ビデオトラック等、細分化したトラック設定も可能である。
トラックボックス111内には、サンプルディスクリプションボックス(stsd)112、さらにその下位にAVコーデックボックス(avc1)113が格納される。
すなわち実データは1以上のトラックによって構成され、1トラックはさらに1以上のサンプルによって構成される。
以下では、上述した問題を解決する構成として、3次元画像についての管理情報をMP4ファイルの管理情報中に記録する複数の実施例について、以下説明する。
以下に示す3つの実施例について、順次説明する。
(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)
(2)AVコーデックボックス(avc1)に3次元画像識別情報を記録する実施例(実施例2)
(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像識別情報を記録する実施例(実施例3)
なお、これらの各実施例は単独の構成としても実施可能であるが、複数の実施例を組み合わせて利用する構成も可能である。
まず、図2を参照してプロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例について説明する。
0001h:IDR(Instantaneous Decoder Refresh)フレーム間隔情報、
0002h:リカバリポイントSEIメッセージの有無情報、
これらはMP4の復号に適用する情報である。
0004h~はリザーブ領域である。
0008h:ステレオビデオフラグ(stereo video flag)201、
0010h:ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグを3次元画像識別情報として設定する。
MP4ファイルに格納される画像データの態様としては、図3に示すように3パターンある。
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
(b)MP4ファイルに格納された画像データが全て2次元画像
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
これらの3パターンである。
従って、図3に示す
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
この(a)の場合にのみ、ビット値=1となる。
また、
(b)MP4ファイルに格納された画像データが全て2次元画像
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
これら(b),(c)の場合はビット値=0となる。
従って、図3に示す
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
この(c)の場合にのみビット値=1となる。
また、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
(b)MP4ファイルに格納された画像データが全て2次元画像
これら(a),(b)の場合には、ビット値=0となる。
(ケース1)
ステレオビデオフラグ=1、ミックスステレオビデオフラグ=0、
この場合は、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=0、
この場合は、
(b)MP4ファイルに格納された画像データが全て2次元画像
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=1、
この場合は、
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
であると判定する。
(タイプa)3次元画像のみから構成されている、
(タイプb)2次元画像のみから構成されている、
(タイプc)3次元画像と2次元画像の混在データである、
これらの各タイプを判別することが可能となる。
次に、図4を参照してAVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例について説明する。
AVコーデックボックス(avc1)は、先に説明したように、実データボックス(mdat)に格納される実データを区分した区分データであるサンプルのコーデック情報等が記録されるボックスである。
AVCConfigurationBox
MPEG4BitRateBox
MPEG4ExtentionDescriptorBox
これらのボックスにはMP4符号化データの復号処理に必要となる情報、すなわちコーデック情報が記録される。これらのコーデック情報は2次元画像にも3次元画像に共通に利用される。
ステレオビデオ情報ボックス(Stereo Video Description Box)302
を追加する。
ステレオビデオ情報ボックス302には、MP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データに3次元画像が含まれるか否かの情報や、3次元画像が含まれる場合、その3次元画像データに関する詳細情報を記録する。詳細情報には例えば3次元画像の表示方式情報などが含まれる。
ステレオビデオ情報ボックス302には、MP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データがいずれの方式に対応した記録データであるかについての情報も含まれる。
フレームシーケンシャル(Frame Sequential)方式、
サイドバイサイド(Side by Side)方式、
トップアンドボトム(Top&Bottom)方式、
などがある。
サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録した方式である。
トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録した方式である。
これらの画像記録方式など、3次元画像の再生や表示処理に利用される3次元画像詳細情報がステレオビデオ情報ボックス302に記録される。
Advanced Video Coding(MPEG4-AVC)を規定したISO/IEC14496においては、既に通常のコーデック情報として、再生用の各画像フレームを構築するためのフレーム構成情報(Frame Packing Arangement SEI)を規定している。
なお、以下の例では、3次元画像の以下の記録方式、すなわち、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これら、異なる3次元画像の記録方式に対応するフレーム構成情報の設定例について説明する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
図5にはMP4のデコード結果として得られるデコード画像フレーム321と、表示画像フレーム322を示している。
フレームシーケンシャル方式では左目用画像(L画像)と、右目用画像(R画像)がLRLRLR・・・と交互に記録される。従って、MP4デコード結果から得られる画像は。表示画像フレーム322としてのL画像、R画像として利用される。
図6には、
MP4デコード結果画像331、
アンパックL画像(フレーム0)332、
アンパックR画像(フレーム1)333、
表示用L画像(フレーム0)334、
表示用R画像(フレーム1)335、
これらの画像データを示している。
この画像から、まず、アンパック処理を実行して、アンパックL画像(フレーム0)332、アンパックR画像(フレーム1)333を生成する。さらに、伸張処理(アップコンバート)を実行して表示用L画像(フレーム0)334と、表示用R画像(フレーム1)335を生成する。
このようにフレーム0,フレーム1が1組の画像フレームとして設定される、
図7には、
MP4デコード結果画像341、
アンパックL画像(フレーム0)342、
アンパックR画像(フレーム1)343、
表示用L画像(フレーム0)344、
表示用R画像(フレーム1)345、
これらの画像データを示している。
この画像から、まず、アンパック処理を実行して、アンパックL画像(フレーム0)342、アンパックR画像(フレーム1)343を生成する。さらに、伸張処理(アップコンバート)を実行して表示用L画像(フレーム0)344と、表示用R画像(フレーム1)345を生成する。
トップアンドボトム方式でも、フレーム0,フレーム1が1組の画像フレームとして設定される、
図8、図9は、MP4ファイルに格納された3次元画像が以下の3種類の方式に対応する場合のデータ設定例を示す図である。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応するフレーム構成(Frame Packing Arrangement SEI)情報のデータ設定例である。
フレームパッキングアレンジメントキャンセルフラグ
(frame_packing_arrangement_cancel_flag)
このフラグが1の場合、フレーム構成情報を使用しないことを示す。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフレーム構成情報を使用することを示す0を設定する。なお、[0b]の(b)は、2進数の表記であることを意味している。
(quincux_sampling_flag)
このフラグが1の場合、画像フレームのサンプリングポイントが3×3画素の5点に設定されていることを示す。
このフラグは主に復号処理におけるサンプリング位置を示す情報として用いられる。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフラグは0に設定する。
(content_interpretation_type)
このフィールドの値としては例えば0~2の各値をとり、
0=フレーム相互の関係がない場合の設定値、
1=3次元(ステレオ)画像用のフレーム構成情報であり、フレーム0が左目用フレーム、フレーム1が右目用フレームである場合の設定値、
2=3次元(ステレオ)画像用のフレーム構成情報であり、フレーム0が右目用フレーム、フレーム1が左目用フレームである場合の設定値、
これらのコンテンツ説明タイプ情報が記録される。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフラグは1に設定する。
(spatial_fliping_flag)
スペーシャルフリップフラグ
(frame0_flipped_flag)
これらのフラグは、画像フレームの構成方向、例えば水平方向または垂直方向に連結してフレームを構成するかの情報を格納する。
このフラグ設定は2次元画像のアップコンバート(伸張処理)の態様を決定するために用いられる。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は0に設定する。
(field_views_flag)
フレームのインターリービング処理の態様についての情報が記録される。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、このフラグは利用せず、このフラグ値は0に設定する。
(frame_packing_arrangement_reserved_byte)
フレームパッキングアレンジメントリピテーションバイト
(frame_packing_arrangement_repetition_period)
フレームパッキングアレンジメントエクステンションバイト
(frame_packing_arrangement_extension_flag)
これらのフィールドは、リザーブ、繰り返しデータ、拡張データの記録フィールドである。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は0に設定する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの3つの形式に対応するフレーム構成(Frame Packing Arrangement SEI)情報の設定例を示す図である。
(frame_packing_arrangement_type)
このフィールドには、3次元画像のタイプによって異なる値を設定する。
例えば、
(a)フレームシーケンシャル方式[FS]=000101b(5)、
(b)サイドバイサイド方式[SbS]=0000011b(3)、
(c)トップアンドボトム方式[T&B]=0000100b(4)、
再生装置は、このフィールドの設定値に基づいて、トラックに格納された3次元画像が、どの方式の3次元画像データであるかを判別することができる。すなわち、トラックに格納された3次元画像が、フレームシーケンシャル方式[FS]、サイバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式の3次元画像データであるかについて判別することが可能となる。
(current_frame_is_frame0_flag)
このフィールドにはMP4デコード結果として得られる現フレームがフレーム0に対応するフレームであるか否かの情報が記録される。
3次元画像がL画像,R画像,L画像,R画像フレームの繰り返しとして記録される「(a)フレームシーケンシャル方式[FS]」の場合は、デコード結果として得られるフレーム単位で左目用画像(L画像)であるか右目用画像(R画像)であるかを判別することが必要となる。
従って、(a)フレームシーケンシャル方式[FS]の場合は、このフィールドに、
右目用画像(R画像)=0、
左目用画像(L画像)=1、
例えば上記の値を設定する。
(frame0_self_contained_flag)
フレーム1セルフコンテインドフラグ
(frame1_self_contained_flag)
これらはフレーム0,1の設定されたフレーム間で相互のフレームを参照すべきである場合にフラグの値として1を設定する。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においてもこの情報は不要であり、このフラグの値は0に設定する。
(frame0_grid_position_x)
フレーム0グリッドポジションY
(frame0_grid_position_y)
フレーム1グリッドポジションX
(frame1_grid_position_x)
フレーム1グリッドポジションY
(frame1_grid_position_y)
これらは画像フレームの構成処理に際して参照する画素位置を示すためのデータフィールドである。
例えば、図6、図7を参照して説明したサイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]ではすべてフラグ値=0を設定する。これは、フレーム0,1とも(X,Y)=(0,0)で指定される左上端の座標位置に参照位置が設定されていることを示している。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応するフレーム構成情報(Frame Packing Arrangement SEI)の設定値がそれぞれ設定される。
すなわち、例えば図8、図9を参照して説明したフレーム構成情報(Frame Packing Arrangement SEI)の設定値を参照することで、MP4ファイルに格納された画像がどの方式に従った3次元画像であるかを識別可能となり、格納画像の方式に対応した復元処理を実行して正しい3次元画像表示用データを生成して再生、表示することが可能となる。
また、自装置の実行可能な3次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス(mdat)104(図1参照)に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報を記録した例について説明したが、その他の方式に従った情報を記録する構成としてもよい。また、図8、図9を参照して説明したフレーム構成情報(Frame Packing Arrangement SEI)に限らず、その他の形式で3次元画像詳細情報を作成してAVコーデックボックス(avc1)に記録する構成としてもよい。
次に、図10以下を参照してMP4ファイルのAVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例について説明する。
AVコーデックボックス(avc1)は、先に説明したように、実データボックス(mdat)に格納される実データを区分したデータであるサンプルのコーデック情報等が記録されるボックスである。
例えばMP4格納データが暗号化データである場合、再生装置はAVコーデックボックス(avc1)内に設定されたスキーム情報ボックス(sinf)を参照することで、暗号化データの復号に必要となる情報を得ることが可能となる。
図10を参照して、3次元(ステレオ)画像についてのデータ構成情報、すなわち3次元画像詳細情報をスキーム情報ボックス(sinf)に格納する例について説明する。
(a)MP4ファイル400、
(b)AVコーデックボックス(avc1)401、
(c)3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405、
これらのデータ構成を示している。
図10(c)に示す3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405は、ボックス名に相当するコード(4CC:four-character-code)をステレオビデオデータに関する情報を含むことを示す[stev]に変更する。すなわち、ボックス名(4CC)から3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405であることが判別可能となる。なお、ボックス名(4CC)はAVコーデックボックス405のファイル名に対応しており、再生装置は、ファイル名から3次元画像情報スキーム情報ボックスを含むAVコーデックボックスであることを判別できる。
フォーマット情報ボックス(frma)411、
スキームタイプボックス(SchemeTypeBox)412、
スキーム詳細情報ボックス(SchemeInformationBox)413、
これらの各ボックスを有する。
data_format='avc1'
このようなフォーマット情報が記録される。
具体的には、例えば、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報が記録される。
また、自装置の実行可能な3次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス(mdat)104(図1参照)に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
(c)3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405、
(d)3次元画像情報スキーム情報ボックス410を入れ子として階層化して設定した暗号化情報スキーム情報ボックス420を持つAVコーデックボックス407、
これらのデータ構成を示している。
(c)のデータは、図10(c)のデータと同じ構成を持つAVコーデックボックス405である。
図11に示す例では、これらの個別のデータ構成情報を個別のスキーム情報ボックスとして設定して、これらを階層化して記録する構成としている。
すなわち、図11(d)に示すAVコーデックボックス(encv)407に示すように、
(1)3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する第1のスキーム情報ボックス(sinf)410、
(2)暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する第2のスキーム情報ボックス(sinf)420、
これら2つのスキーム情報ボックスを階層化、すなわち入れ子状態に設定してAVコーデックボックスに格納している。
第1のスキーム情報ボックス(sinf)410は、先に図10を参照して説明したと同様のボックス、すなわち、
フォーマット情報ボックス(frma)411、
スキームタイプボックス(SchemeTypeBox)412、
スキーム詳細情報ボックス(SchemeInformationBox)413、
これらの各ボックスを有する。
data_format='avc1'
このようなフォーマット情報が記録される。
すなわち、例えば、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報を記録する。
第2のスキーム情報ボックス(sinf)420は、
フォーマット情報ボックス(frma)421、
スキームタイプボックス(SchemeTypeBox)422、
スキーム詳細情報ボックス(SchemeInformationBox)423、
これらの各ボックスを有する。
さらに、フォーマット情報を記録している。この例では、3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納した第1のスキーム情報ボックス(sinf)410を格納していることを示すフォーマットデータとして、
data_format='stev'
このようなフォーマット情報が記録される。
このようなデータ構成情報記録処理を行うことで、MP4ファイルに格納された実データの再生、表示処理に必要となる全ての情報をAVコーデックボックスから取得することが可能となる。
(1)3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する第1のスキーム情報ボックス(sinf)410、
(2)暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する第2のスキーム情報ボックス(sinf)420、
これら2つの異なるデータ構成情報に対応するスキーム情報ボックスを階層化、すなわち入れ子状態に設定してAVコーデックボックスに格納した例である。
次に、本発明の一実施例に係る画像処理装置の実行する画像処理シーケンスについて、図12、図13に示すフローチャートを参照して説明する。
図12は、画像データの記録処理シーケンスを説明するフローチャートである。
図13は、画像データの再生処理シーケンスを説明するフローチャートである。
この図12に示すフローチャートに従った処理は、例えば画像を撮影し記録メディアに記録する処理を実行するカメラ等の撮像装置において実行される。例えば撮像装置に備えられたCPU等の制御部の制御の下で実行される処理である。
図12に示すフローチャートの各ステップの処理について説明する。
ステップS101において、メディアへの記録予定データに3次元画像データが含まれる場合は、ステップS101の判定はYesとなり、ステップS102に進む。
この処理は、先に説明した[[3-1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明した処理である。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値として、記録予定データの種類に応じて図3に示すフラグの値を設定する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する。
また、ステップS103の判定が方式Bと判定された場合は、ステップS105に進み、MP4ファイルのAVコーデックボックスに方式Bに対応する3次元画像詳細情報を記録する。
また、ステップS103の判定が方式Cと判定された場合は、ステップS106に進み、MP4ファイルのAVコーデックボックスに方式Cに対応する3次元画像詳細情報を記録する。
すなわち、前述の[3-2.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]、または、[3-3.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]、これらの処理に対応する。
なお、実施例2の処理または実施例3の処理のいずれかを実行する構成としてもよいし、両者を実行する構成としてもよい。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値として、記録予定データが2次元画像データのみであることを示すフラグの値を設定する。その後、ステップS107に進み、MP4ファイルを完成させて、メディアに対する記録処理を実行する。
この図13に示すフローチャートに従った処理は、例えば記録メディアから読み取ったMP4ファイル、あるいは通信データとして受信したMP4ファイルに対する処理を実行する再生装置において実行される。例えば再生装置に備えられたCPU等の制御部の制御の下に実行される処理である。
図13に示すフローチャートの各ステップの処理について説明する。
この処理は、先に説明した[[3-1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明したMP4ファイルのプロファイルボックス(PROF)の情報を取得する処理である。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値を読み取る。
(ケース1)
ステレオビデオフラグ=1、ミックスステレオビデオフラグ=0、
この場合は、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=0、
この場合は、
(b)MP4ファイルに格納された画像データが全て2次元画像
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=1、
この場合は、
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
であると判定する。
ステップS203では、MP4ファイルのAVコーデックボックスの情報を取得する。
この処理は、前述の[3-2.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]、または、[3-3.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]、これらの記録データを読み取る処理に対応する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらのいずれの方式に従ったデータであるかを判別することが可能となる。
方式Bに対応する3次元画像データであると判定した場合は、ステップS206に進み、方式Bに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
方式Cに対応する3次元画像データであると判定した場合は、ステップS207に進み、方式Cに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
従って、MP4ファイルの実データを取得して解析、あるいは再生処理を実行する前に、自装置の再生可能な3次元画像データであるか否かを確認することが可能となり、再生可能であると判定した場合にのみ実データを取得し、方式に応じた処理に従って、正しいデコード、再生処理を実行することが可能となる。
次に、本発明の画像処理装置の構成例について図14を参照して説明する。図14に示すのは本発明の画像処理装置の一実施例としての撮像装置500の構成例である。撮像装置500は、3次元画像表示に適用する異なる視点からの画像を撮影する機能を持ち、ユーザのモード設定により、2次元画像と3次元画像の撮影を切り替え可能な構成を持つ。
データ符号化部503は、MP4ファイルを生成する。入力データが3次元画像である場合は、前処理部511において各方式に従って前処理を実行する。具体的には、例えば図5~図7を参照して説明した各方式、すなわち、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に従って、撮影画像からMP4デコード用画像を生成する。例えば、図6に示すサイドバイサイド方式[SbS]に従って記録データを生成する場合、撮影画像は図6の右側に示す表示用L画像(フレーム0)334と、表示用R画像(フレーム1)335に対応する2つの画像であり、これらの画像を適用して図6の左側に示すMP4デコード結果画像331に対応する画像フレームを生成する。
ファイル生成部513は、MP4ファイル生成に際して、ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報をMP4ファイルのプロファイルボックスに記録する。
3次元画像識別情報をMP4ファイルのプロファイルボックスに記録する処理は先に実施例1を参照して説明した処理に対応する。
3次元画像詳細情報をAVコーデックボックスに記録する処理は先に実施例2,3を参照して説明した処理に対応する。
なお、ファイル生成部513は、MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で3次元画像詳細情報を記録する処理を行う
あるいは、データ符号化部503において生成したMP4ファイルは、通信部505に提供され、パケット化されて送信処理が行われる。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に従って、左目用画像(L画像)、右目用画像(R画像)をせいせいする。
データ復号部507の生成した表示用画像は表示部550に提供されて、画像表示が行われる。
101 ファイルタイプボックス(ftyp)
102 プロファイルボックス(uuid(prof))
103 ムービーボックス(moov)
104 実データボックス(mdat)
111 トラックボックス(trak)
112 サンプルディスクリプションボックス(stsd)
113 AVコーデックボックス
201 ステレオビデオフラグ(stereo video flag)
202 ミックスステレオビデオフラグ(Mixed stereo video flag)
301 データ領域
302 ステレオビデオ情報ボックス(Stereo Video Description Box)
321 デコード画像フレーム
322 表示画像フレーム
331 MP4デコード結果画像
332 アンパックL画像(フレーム0)
333 アンパックR画像(フレーム1)
334 表示用L画像(フレーム0)
335 表示用R画像(フレーム1)
341 MP4デコード結果画像
342 アンパックL画像(フレーム0)
343 アンパックR画像(フレーム1)
344 表示用L画像(フレーム0)
345 表示用R画像(フレーム1)
400 MP4ファイル
401 AVコーデックボックス(avc1)
402 AVCデータ構成情報ボックス[AVCConfigurationBox]
405 AVコーデックボックス
407 AVコーデックボックス(encv)
410 3次元画像情報スキーム情報ボックス
411 フォーマット情報ボックス(frma)
412 スキームタイプボックス(SchemeTypeBox)
413 スキーム詳細情報ボックス(SchemeInformationBox)
420 暗号化情報スキーム情報ボックス
421 フォーマット情報ボックス(frma)
422 スキームタイプボックス(SchemeTypeBox)
423 スキーム詳細情報ボックス(SchemeInformationBox)
500 撮像装置
501 撮像部
502 画像信号処理部
503 データ符号化部
504 記録部
505 通信部
506 再生部
507 データ復号部
511 前処理部
512 エンコード部
513 ファイル生成部
521 ファイル解析部
522 デコード部
523 表示情報生成部
530 記録メディア
550 表示部
570 制御部
571 メモリ
Claims (20)
- 画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置。 - 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに3次元画像データが含まれるか否かを判別可能とした3次元画像管理情報である請求項1に記載の画像処理装置。
- 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式を判別可能とした3次元画像管理情報である請求項1に記載の画像処理装置。
- 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式が、
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)~(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である請求項3に記載の画像処理装置。 - 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
前記ファイル生成部は、
暗号化態様情報を含む第1のデータ構成情報と、3次元画像管理情報を含む第2のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する請求項2~4いずれかに記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルの生成を実行する構成であり、MP4ファイルのAVコーデックボックスの下位に前記データ構成情報を階層化して記録したファイルを生成する請求項1~5いずれかに記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルのAVコーデックボックスの下位に前記データ構成情報を含むスキーム情報ボックスを階層化して記録したファイルを生成する請求項6に記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを設定して記録する処理を行う請求項7に記載の画像処理装置。 - 画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置。 - 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに3次元画像データが含まれるか否かを判別可能とした3次元画像管理情報である請求項9に記載の画像処理装置。
- 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式を判別可能とした3次元画像管理情報である請求項9に記載の画像処理装置。
- 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式が、
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)~(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である請求項11に記載の画像処理装置。 - 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
前記ファイル解析部は、
暗号化態様情報を含む第1のデータ構成情報と、3次元画像管理情報を含む第2のデータ構成情報を前記管理情報から取得する請求項10~12いずれかに記載の画像処理装置。 - 前記ファイルは、MP4ファイルであり、
前記ファイル解析部は、
MP4ファイルのAVコーデックボックスの下位に階層化して記録されたスキーム情報ボックスから各データ処理カテゴリ単位のデータ構成情報を取得する請求項9~13いずれかに記載の画像処理装置。 - 前記ファイル解析部は、
MP4ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを取得する請求項14に記載の画像処理装置。 - 画像データの符号化データと、該符号化データの管理情報を含むMP4ファイルを記録した情報記録媒体であり、
前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
MP4ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体。 - 画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法。 - 画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラム。 - 画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/519,854 US20120288257A1 (en) | 2010-01-08 | 2010-11-11 | Image processing device, information recording medium, image processing method, and program |
RU2012127394/08A RU2012127394A (ru) | 2010-01-08 | 2010-11-11 | Устройство обработки изображения, носитель записи информации, способ обработки изображения и программа |
EP10842141A EP2523461A1 (en) | 2010-01-08 | 2010-11-11 | Image processing device, information recording medium, image processing method, and program |
BR112012016306A BR112012016306A2 (pt) | 2010-01-08 | 2010-11-11 | "dispositivo de processamento de imagem, mídia de gravação de informação, método para processamento de imagem, e, programa para fazer com que um dispositivo de processamento de imagem execute um processo de imagem". |
CN2010800632726A CN102742281A (zh) | 2010-01-08 | 2010-11-11 | 图像处理装置、信息记录介质、图像处理方法和程序 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-003275 | 2010-01-08 | ||
JP2010003275A JP2011142586A (ja) | 2010-01-08 | 2010-01-08 | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011083626A1 true WO2011083626A1 (ja) | 2011-07-14 |
Family
ID=44305366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/070105 WO2011083626A1 (ja) | 2010-01-08 | 2010-11-11 | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20120288257A1 (ja) |
EP (1) | EP2523461A1 (ja) |
JP (1) | JP2011142586A (ja) |
CN (1) | CN102742281A (ja) |
BR (1) | BR112012016306A2 (ja) |
RU (1) | RU2012127394A (ja) |
WO (1) | WO2011083626A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102780897A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种单文件视频素材支持3d技术的方法 |
CN103391452A (zh) * | 2012-05-07 | 2013-11-13 | 山东沃飞电子科技有限公司 | 三维内容显示的方法、装置和系统 |
CN103428463A (zh) * | 2012-05-19 | 2013-12-04 | 腾讯科技(深圳)有限公司 | 3d视频源存储方法和装置及3d视频播放方法和装置 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5772291B2 (ja) | 2011-06-28 | 2015-09-02 | 日産自動車株式会社 | スピニング加工方法 |
EP2579591A1 (en) * | 2011-10-04 | 2013-04-10 | Thomson Licensing | Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium |
CN102780896A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种流媒体素材支持3d技术的方法 |
CA2904424C (en) * | 2013-07-19 | 2018-05-22 | Mediatek Inc. | Method and apparatus of camera parameter signaling in 3d video coding |
WO2015053758A1 (en) * | 2013-10-09 | 2015-04-16 | Hewlett-Packard Development Company, L.P. | Displaying multivariate data in multiple dimensions |
JP6411862B2 (ja) * | 2013-11-15 | 2018-10-24 | パナソニック株式会社 | ファイル生成方法およびファイル生成装置 |
JP6508206B2 (ja) * | 2014-07-01 | 2019-05-08 | ソニー株式会社 | 情報処理装置および方法 |
US10511767B2 (en) | 2015-08-05 | 2019-12-17 | Sony Corporation | Information processing device, information processing method, and program |
US10389999B2 (en) * | 2016-02-17 | 2019-08-20 | Qualcomm Incorporated | Storage of virtual reality video in media files |
US10951871B2 (en) * | 2016-12-28 | 2021-03-16 | Sony Corporation | Generation device, identification information generation method, reproduction device, and image reproduction related to stereo packing of projected frames |
JP2019054417A (ja) * | 2017-09-15 | 2019-04-04 | ソニー株式会社 | 画像処理装置およびファイル生成装置 |
JP7310816B2 (ja) | 2018-07-06 | 2023-07-19 | ソニーグループ株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
US10630976B2 (en) * | 2018-08-17 | 2020-04-21 | Qualcomm Incorporated | Display refresh blocks determination for video coding |
CN115211105A (zh) * | 2020-03-09 | 2022-10-18 | 索尼集团公司 | 文件处理设备、文件处理方法和程序 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295091A (ja) * | 2003-03-07 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 暗号化装置、逆暗号化装置およびデータ再生装置 |
JP2008022532A (ja) * | 2006-06-16 | 2008-01-31 | Casio Comput Co Ltd | 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置 |
WO2008054100A1 (en) * | 2006-11-01 | 2008-05-08 | Electronics And Telecommunications Research Institute | Method and apparatus for decoding metadata used for playing stereoscopic contents |
WO2009048216A1 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1613078A1 (en) * | 2003-03-07 | 2006-01-04 | Matsushita Electric Industrial Co., Ltd. | Encryption device, decryption device, and data reproduction device |
JP4755565B2 (ja) * | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
US20080252719A1 (en) * | 2007-04-13 | 2008-10-16 | Samsung Electronics Co., Ltd. | Apparatus, method, and system for generating stereo-scopic image file based on media standards |
US8400497B2 (en) * | 2007-09-07 | 2013-03-19 | Samsung Electronics Co., Ltd | Method and apparatus for generating stereoscopic file |
-
2010
- 2010-01-08 JP JP2010003275A patent/JP2011142586A/ja active Pending
- 2010-11-11 RU RU2012127394/08A patent/RU2012127394A/ru unknown
- 2010-11-11 WO PCT/JP2010/070105 patent/WO2011083626A1/ja active Application Filing
- 2010-11-11 CN CN2010800632726A patent/CN102742281A/zh active Pending
- 2010-11-11 EP EP10842141A patent/EP2523461A1/en not_active Withdrawn
- 2010-11-11 BR BR112012016306A patent/BR112012016306A2/pt not_active IP Right Cessation
- 2010-11-11 US US13/519,854 patent/US20120288257A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295091A (ja) * | 2003-03-07 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 暗号化装置、逆暗号化装置およびデータ再生装置 |
JP2008022532A (ja) * | 2006-06-16 | 2008-01-31 | Casio Comput Co Ltd | 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置 |
WO2008054100A1 (en) * | 2006-11-01 | 2008-05-08 | Electronics And Telecommunications Research Institute | Method and apparatus for decoding metadata used for playing stereoscopic contents |
WO2009048216A1 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103391452A (zh) * | 2012-05-07 | 2013-11-13 | 山东沃飞电子科技有限公司 | 三维内容显示的方法、装置和系统 |
CN103428463A (zh) * | 2012-05-19 | 2013-12-04 | 腾讯科技(深圳)有限公司 | 3d视频源存储方法和装置及3d视频播放方法和装置 |
CN103428463B (zh) * | 2012-05-19 | 2016-10-12 | 腾讯科技(深圳)有限公司 | 3d视频源存储方法和装置及3d视频播放方法和装置 |
CN102780897A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种单文件视频素材支持3d技术的方法 |
Also Published As
Publication number | Publication date |
---|---|
US20120288257A1 (en) | 2012-11-15 |
RU2012127394A (ru) | 2014-01-10 |
CN102742281A (zh) | 2012-10-17 |
JP2011142586A (ja) | 2011-07-21 |
BR112012016306A2 (pt) | 2019-09-24 |
EP2523461A1 (en) | 2012-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011083626A1 (ja) | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム | |
WO2011083625A1 (ja) | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム | |
US20230421794A1 (en) | Description of image composition with hevc still image file format | |
KR102406887B1 (ko) | 시간 설정형 미디어 데이터를 발생시키는 방법, 디바이스, 및 컴퓨터 프로그램 | |
US8259162B2 (en) | Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image | |
CN102047668B (zh) | 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备 | |
TWI727180B (zh) | 用於傳輸媒體內容之方法、裝置及電腦程式 | |
JP7133038B2 (ja) | メディアコンテンツを送信する方法、装置及びコンピュータプログラム | |
JP5483205B2 (ja) | メディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体 | |
US9007434B2 (en) | Entry points for 3D trickplay | |
GB2567624A (en) | Method, device and computer program for transmitting media content | |
JP2009124719A (ja) | 画像データ生成装置および画像データ再生装置 | |
JP5158727B2 (ja) | 2d映像及び3d立体映像を含む映像ファイルの生成及び再生を行うためのコンピュータ読み取り可能な記録媒体及び方法並びに装置 | |
KR101591085B1 (ko) | 영상 파일 생성 및 재생 장치 및 방법 | |
KR101390810B1 (ko) | 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치 | |
KR101396350B1 (ko) | 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치 | |
KR101630720B1 (ko) | 3d 비디오 소스 저장 방법 및 장치와 3d 비디오 재생 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201080063272.6 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10842141 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13519854 Country of ref document: US Ref document number: 2010842141 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 5799/DELNP/2012 Country of ref document: IN Ref document number: 2012127394 Country of ref document: RU |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REG | Reference to national code |
Ref country code: BR Ref legal event code: B01A Ref document number: 112012016306 Country of ref document: BR |
|
ENP | Entry into the national phase |
Ref document number: 112012016306 Country of ref document: BR Kind code of ref document: A2 Effective date: 20120629 |