WO2011083626A1 - 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2011083626A1
WO2011083626A1 PCT/JP2010/070105 JP2010070105W WO2011083626A1 WO 2011083626 A1 WO2011083626 A1 WO 2011083626A1 JP 2010070105 W JP2010070105 W JP 2010070105W WO 2011083626 A1 WO2011083626 A1 WO 2011083626A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
file
image
information
processing
Prior art date
Application number
PCT/JP2010/070105
Other languages
English (en)
French (fr)
Inventor
充 勝股
平林 光浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/519,854 priority Critical patent/US20120288257A1/en
Priority to RU2012127394/08A priority patent/RU2012127394A/ru
Priority to EP10842141A priority patent/EP2523461A1/en
Priority to BR112012016306A priority patent/BR112012016306A2/pt
Priority to CN2010800632726A priority patent/CN102742281A/zh
Publication of WO2011083626A1 publication Critical patent/WO2011083626A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/309Table of contents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention relates to an image processing apparatus, an information recording medium, an image processing method, and a program. More specifically, the present invention relates to an image processing apparatus, an information recording medium, an image processing method, and a program for recording and reproducing an image for displaying a three-dimensional image (3D image).
  • a so-called three-dimensional image (also referred to as a 3D image or a stereo image)
  • images taken from different viewpoints that is, a left-eye image and a right-eye image are required.
  • a three-dimensional image can be displayed by using the captured images from these different viewpoints.
  • 3D images There are various display methods for 3D images (3D images). For example, a display method corresponding to a passive spectacle method that separates images to be observed by the left and right eyes with a polarizing filter or a color filter, or an image to be observed by alternately opening and closing the liquid crystal shutter on the left and right is temporally alternated between the left and right eyes. There is a display method corresponding to the active eyeglasses method. In either display method, a left-eye image and a right-eye image are used.
  • image data such as still images and moving images taken by a camera is encoded according to various encoding (compression) formats when recording on media or when transmitting data. That is, the data amount is reduced or recorded or transmitted.
  • FIG. 10 of cited document 1 Japanese Patent Application Laid-Open No. 2004-334833 describes a format example used for recording processing of a three-dimensional still image.
  • MP4 is a storage file format of compressed moving image data in the MPEG (Moving Picture Experts Group) 4 format.
  • MP4 is a standard defined in ISO / IEC14496.
  • MP4 can store not only MPEG-4 format videos, but also MPEG-2 and MPEG-1 movies, audio such as AAC and MP3, still images such as JPEG and PNG, and other formats. Format.
  • encoded data of various formats can be stored in the MP4 file.
  • MP4 an area for recording management information on the format and type of the encoded data stored in the MP4 file is set.
  • management information confirmation processing in the MP4 file is executed.
  • the current MP4 format management information rules include an information storage area for identifying whether an image stored in an MP4 file is a three-dimensional (3D) image or a two-dimensional (2D) image. There is a problem that it is not prescribed.
  • the stored image is a three-dimensional (3D) image from the management information of the MP4 file
  • Whether it is a dimensional (2D) image cannot be identified. Therefore, if the image is not actually acquired and analyzed or reproduced, it cannot be determined whether it is 3D image data or 2D image data. As a result, for example, a situation occurs in which the 3D image data is erroneously displayed on a display device that does not have a 3D image display function.
  • the reproduction devices and display devices have a configuration capable of image reproduction or display corresponding to only a part of the methods. Therefore, it is not possible to confirm whether or not the image is a three-dimensional image that can be reproduced or displayed on the own apparatus only with management information according to the current MP4 format. That is, only the management information of the current MP4 file is data that can be processed by the device if the image data is acquired and the data structure is confirmed, or if playback or display processing is not actually executed. There is a problem that it cannot be confirmed whether or not.
  • the present invention has been made in view of the above-described problems, for example, and the file management information according to the MP4 format includes a 3D image in the image data stored in the MP4 file, or 3 3D image management information such as a 3D image method is recorded.
  • This configuration makes it possible for the playback device and display device to determine whether the stored data is a 3D image or a 2D image before acquiring actual data from the MP4 file, and confirms the 3D image method, etc. It is an object of the present invention to provide an image processing apparatus, an information recording medium, an image processing method, and a program that can prevent the erroneous reproduction process and display process from being performed and can perform the correct reproduction process. is there.
  • the present invention provides various data processing executed in the reproduction processing of data stored in the MP4 file, for example, various three-dimensional image display processing as well as various different categories of data processing such as decryption processing of encrypted data.
  • Processing apparatus, information recording medium, and image processing method capable of surely providing information necessary for each data processing by layering and recording information to be applied to MP4 file management information It is intended to provide a program.
  • the first aspect of the present invention is: An encoding unit for performing encoding processing of image data; A file generation unit for generating an encoded data storage file including encoded data generated by the encoding unit and management information of the encoded data; The file generator Data configuration information in which information to be applied to data processing at the time of reproduction processing of the encoded data is set for each category of data processing is generated, and data configuration information for a plurality of category units is hierarchized and recorded in the management information It is in an image processing apparatus that generates a file.
  • At least one of the data units in the category unit is whether or not 3D image data is included in the stored image data of the generated file of the file generating unit. This is 3D image management information that can be discriminated.
  • At least one of the category unit data configuration information is a three-dimensional image recording of three-dimensional image data included in stored image data of a generated file of the file generating unit. This is three-dimensional image management information that enables a method to be discriminated.
  • At least one of the category unit data configuration information is a three-dimensional image recording of three-dimensional image data included in stored image data of a generated file of the file generating unit.
  • Method is (A) Frame sequential method, (B) Side-by-side method, (C) Top and bottom method, This is 3D image management information that makes it possible to determine which of the above methods (a) to (c) is 3D image data.
  • At least one of the data units in the category unit is encryption mode information of stored image data of a generation file of the file generation unit
  • the file generation unit Generates a file recorded in the management information by hierarchizing the first data configuration information including the encryption mode information and the second data configuration information including the 3D image management information.
  • the file generation unit is configured to execute generation of an MP4 file, and the data configuration information is layered and recorded below the AV codec box of the MP4 file. Generate a file.
  • the file generation unit generates a file in which a scheme information box including the data configuration information is hierarchized and recorded below the AV codec box of the MP4 file.
  • the file generation unit sets the scheme information box in units of track data or segment data that is segment data of image data stored in an MP4 file. Process to record.
  • the second aspect of the present invention provides A file analysis unit that analyzes encoded data of image data and an encoded data storage file including management information of the encoded data; A data processing unit that executes data processing of a plurality of different categories when reproducing the image data stored in the file;
  • the file management information has a configuration in which data configuration information necessary for execution of each process is hierarchized and recorded in units of data processing categories.
  • the file analysis unit acquires hierarchical data configuration information of the file management information,
  • the data processing unit is in an image processing apparatus that executes data processing of a plurality of different categories by applying the data configuration information acquired by the file analysis unit.
  • At least one of the category unit data configuration information can determine whether or not the stored image data of the file includes three-dimensional image data. This is dimensional image management information.
  • At least one of the data units in the category unit can determine a 3D image recording method of 3D image data included in the stored image data of the file. 3D image management information.
  • At least one of the category unit data configuration information includes a 3D image recording method of 3D image data included in the stored image data of the file, (A) Frame sequential method, (B) Side-by-side method, (C) Top and bottom method, This is 3D image management information that makes it possible to determine which of the above methods (a) to (c) is 3D image data.
  • At least one of the data units in the category unit is encryption mode information of stored image data of a generated file of the file generating unit
  • the file analyzing unit Acquires from the management information first data configuration information including encryption mode information and second data configuration information including 3D image management information.
  • the file is an MP4 file
  • the file analysis unit stores each data from a scheme information box recorded hierarchically below the AV codec box of the MP4 file. Acquires data configuration information for each processing category.
  • the file analysis unit obtains the scheme information box in units of track data or sampled segment data that is segment data of image data stored in an MP4 file. .
  • the third aspect of the present invention provides An information recording medium that records encoded data of image data and an MP4 file including management information of the encoded data
  • the management information is a configuration in which data configuration information in which information applied to data processing at the time of reproduction processing of the encoded data is set in units of data processing categories is layered and recorded,
  • an apparatus for reading and playing MP4 files it is possible to sequentially acquire hierarchical data configuration information and apply the acquired data configuration information to execute a plurality of different categories of data processing.
  • the information recording medium In the information recording medium.
  • the fourth aspect of the present invention provides An image processing method executed in an image processing apparatus, An encoding processing step in which an encoding unit executes encoding processing of image data;
  • a file generation unit has a file generation step of generating an encoded data storage file including encoded data generated by the encoding unit and management information of the encoded data;
  • the file generation step includes Data configuration information in which information to be applied to data processing at the time of reproduction processing of the encoded data is set for each category of data processing is generated, and data configuration information for a plurality of category units is hierarchized and recorded in the management information
  • An image processing method includes a step of generating a file.
  • the fifth aspect of the present invention provides An image processing method executed in an image processing apparatus, A file analysis step for analyzing an encoded data storage file including encoded data of image data and management information of the encoded data;
  • the data processing unit has a data processing step for executing data processing of a plurality of different categories when reproducing the image data stored in the file,
  • the file management information has a configuration in which data configuration information necessary for execution of each process is hierarchized and recorded in units of data processing categories.
  • the file analysis step includes a step of acquiring hierarchical data configuration information of the management information of the file,
  • the data processing step is an image processing method including a step of executing data processing of a plurality of different categories by applying the data configuration information acquired by the file analysis unit.
  • the sixth aspect of the present invention provides A program for executing image processing in an image processing apparatus; An encoding process step for causing the encoding unit to execute an encoding process of the image data; A file generation step of causing the file generation unit to generate an encoded data storage file including the encoded data generated by the encoding unit and management information of the encoded data;
  • the file generation step includes Data configuration information in which information to be applied to data processing at the time of reproduction processing of the encoded data is set for each category of data processing is generated, and data configuration information for a plurality of category units is hierarchized and recorded in the management information
  • a program that includes the step of generating a file.
  • the seventh aspect of the present invention provides A program for executing image processing in an image processing apparatus; A file analysis step for causing the file analysis unit to analyze the encoded data of the image data and the encoded data storage file including the management information of the encoded data; A data processing step for causing the data processing unit to execute a plurality of different categories of data processing in the reproduction processing of the image data stored in the file;
  • the file management information has a configuration in which data configuration information necessary for execution of each process is hierarchized and recorded in units of data processing categories.
  • the file analysis step includes a step of acquiring hierarchical data configuration information of the management information of the file,
  • the data processing step is in a program including a step of executing data processing of a plurality of different categories by applying the data configuration information acquired by the file analysis unit.
  • the program of the present invention is a program that can be provided by, for example, a storage medium or a communication medium that is provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • various different categories such as various data processing executed in the reproduction processing of data stored in the MP4 file, for example, three-dimensional image display processing and decryption processing of encrypted data, etc.
  • the information to be applied to the data processing is layered and recorded in the management information of the MP4 file.
  • various information necessary for each of different categories of data processing required for reproduction of data stored in the MP4 file for example, display processing of encrypted three-dimensional image data, is stored in the MP4 file. It is possible to obtain the file management information without fail, and smooth data reproduction processing is possible.
  • MP4 is a storage file format for encoded data in the MPEG (Moving Picture Experts Group) 4 format, and is defined in ISO / IEC 14496.
  • MP4 can store not only MPEG-4 video but also MPEG-2 and MPEG-1 video, audio such as AAC and MP3, and still images such as JPEG and PNG. Has a configuration.
  • FIG. 1 is a diagram showing a configuration example of an MP4 file 100 that stores AV (Audio Video) data including general image and audio data.
  • the MP4 file 100 has the following boxes as shown in FIG. (1) File type box (ftyp) 101, (2) Profile box (uuid (PROF)) 102, (3) Movie box (moov) 103, (4) Actual data box (mdat) 104, With these boxes.
  • the file type box (ftyp) 101 includes recording information about the file type.
  • Actual image data and audio data to be played back are stored in (4) actual data box (mdat) 104.
  • Each information of (1) to (3) that is, a file type box (ftyp) 101, (2) profile box (uuid (PROF)) 102, (3) movie box (moov) 103, Management information such as index information and attribute information of actual data is stored.
  • the attribute information includes information to be applied to the decryption process (decompression process) of the actual data stored in the actual data box (mdat) 104. If the actual data is encrypted, information applied to the decryption process is also recorded.
  • management data is recorded in the movie box (moov) 103 in units of tracks, which are the division data of the actual data stored in the actual data box (mdat) 104.
  • the track include a video track corresponding to image data, an audio track corresponding to audio data, and the like. It is possible to set a first audio track that supports Japanese, a second audio track that supports English, and the like. Also, subdivided track settings such as a first video track and a second video track corresponding to different images are possible.
  • the movie box (moov) 103 shown in FIG. 1 only one track box 111 storing metadata corresponding to one track (trak (video track)) is shown. A representative example is shown. Actually, the movie box (moov) 103 stores boxes of the same format as the track box 111 shown in FIG. 1 according to the number of tracks.
  • track box 111 metadata corresponding to data in units of tracks set as a divided area of actual data is recorded.
  • a sample description box (stsd) 112 is stored, and an AV codec box (avc1) 113 is further subordinate thereto.
  • An area obtained by further dividing the track is a sample, and one track is set by one or more samples. That is, the actual data is composed of one or more tracks, and one track is further composed of one or more samples.
  • FIG. 1 shows one sample description box (stsd) 112 in the track box 111.
  • a track box always has one sample description box (stsd).
  • the lower box of the sample description box (stsd) 112 is an AV codec box (avc1) 113
  • the AV codec box (avc1) 113 is a codec detailed information of sample-corresponding real data, that is, a sample that is an element of real data. Detailed information (codec information) necessary for the decoding / reproduction process is recorded.
  • the AV codec box (avc1) 113 can record not only information related to the MP4 decryption process but also information related to the encryption mode, for example.
  • An apparatus for reading and reproducing an MP4 file from a medium such as a DVD, or an apparatus for receiving and reproducing an MP4 file via a communication means is an MP4 file management information having the configuration shown in FIG.
  • the management information stored in at least one of “ftyp” 101, profile box (uuid (PROF)), and movie box (moov) 103 is read, and the details of the actual data stored in the actual data box (mdat) 104 are confirmed. .
  • Detailed codec information is acquired for each track and sample by this management information confirmation process, and a decoding process according to the information is executed. By such processing, MP4 data decoding and reproduction processing can be performed.
  • the management information of the current MP4 format includes information for identifying whether the image stored in the MP4 file is a three-dimensional (3D) image or a two-dimensional (2D) image.
  • the area for recording is not defined.
  • an apparatus that reads an MP4 file from a recording medium and reproduces it or an apparatus that receives and reproduces an MP4 file via communication means does not store the data stored in the MP4 file unless the image is actually acquired and analyzed or reproduced. It is impossible to grasp whether it is 3D image data or 2D image data. As a result, for example, a situation occurs in which the 3D image data is erroneously displayed on a display device that does not have a 3D image display function. Further, as described above, it is impossible to confirm whether or not the current management information is a three-dimensional image that can be reproduced or displayed on the own apparatus.
  • Example in which 3D image identification information is recorded in a profile box (uuid (PROF)) (Example 1)
  • Example 2 Embodiment in which 3D image identification information is recorded in AV codec box (avc1) (embodiment 2)
  • Example 3D image identification information is recorded using a scheme information box (sinf) defined as an extended configuration of the AV codec box (avc1) (third embodiment)
  • a scheme information box sinf
  • FIG. 2 is a diagram showing the structure of the upper 16 bits (0001h to 0010h) of the video management flag (video_attribute_flag) included in the profile box (uuid (PROF)) proposed in the present embodiment. Note that (h) means hexadecimal notation.
  • the first half (0001h to 0004h) of data is a field already defined in the conventional MP4, and is defined as the following data area, for example.
  • 0001h IDR (Instantaneous Decoder Refresh) frame interval information
  • 0002h Information on presence / absence of recovery point SEI message, These are information applied to MP4 decoding.
  • 0004h is a reserved area.
  • the image data stored in the actual data box (mdat) (see FIG. 1) of the MP4 file in the latter half of the upper 16 bits (0001h to 0010h) of the video management flag (video_attribute_flag) includes a three-dimensional image. Whether or not information is stored.
  • the following three-dimensional image identification information is stored as shown in FIG. 0008h: stereo video flag 201, 0010h: Mixed stereo video flag 202, Each of these flags is set as 3D image identification information.
  • each flag value There are three patterns of image data stored in the MP4 file as shown in FIG.
  • All the image data stored in the MP4 file is a three-dimensional image (stereo image).
  • All the image data stored in the MP4 file is a two-dimensional image.
  • the image data stored in the MP4 file is a mixed data of a three-dimensional image (stereo image) and a two-dimensional image.
  • All the image data stored in the MP4 file is a three-dimensional image (stereo image). It is determined that
  • the setting of the stereo video flag 201 and the mixed stereo video flag 202 provided in the video management flag (video_attribute_flag) of the profile box (uuid (PROF)) of the MP4 file is confirmed. Only, the three-dimensional image information of the image data stored in the MP4 file can be obtained. Specifically, it is possible to check which type of image data stored in the MP4 file is as follows. (Type a) consists of only a three-dimensional image, (Type b) Consists of only two-dimensional images, (Type c) Mixed data of a 3D image and a 2D image. Each of these types can be discriminated.
  • bit value setting example shown in FIG. 3 is merely an example, and the reverse bit value setting may be used, and various settings such as the bit value setting capable of distinguishing each type described above are possible.
  • the stereo video flag 201 and the mixed stereo video flag 202 set in the profile box uuid (PROF)
  • the 3D image information of the stored data of the MP4 file can be acquired. It becomes. Therefore, for example, it is possible to prevent a situation in which 3D image data is erroneously displayed on a display device that does not have a 3D image display function.
  • the AV codec box (avc1) is set below the sample description box (stsd) lower than the track box 111 lower than the movie box (moov). Box.
  • the AV codec box (avc1) is a box in which codec information and the like of a sample that is segmented data obtained by dividing the actual data stored in the actual data box (mdat) is recorded.
  • all codec information of the samples included in the track is set in the AV codec box (avc1).
  • One or a plurality of AV codec boxes (avc1) can be set below the sample description box (stsd).
  • the contents are the same, there is no need to set multiple items. In other words, the number of samples and the number of AV codec boxes do not need to match, and even if there are a plurality of samples, a setting with one AV codec box is possible.
  • FIG. 4 shows a data configuration example of the AV codec box (avc1) according to the present embodiment.
  • the information in the data area 301 shown in FIG. 4 is a codec information storage area already defined in the conventional MP4 file format.
  • the following information boxes are set.
  • AVCCConfigurationBox MPEG4BitRateBox MPEG4ExtensionDescriptorBox In these boxes, information necessary for decoding the MP4 encoded data, that is, codec information is recorded.
  • codec information is commonly used for both a two-dimensional image and a three-dimensional image.
  • Stereo Video Description Box 302 Add
  • the stereo video information box 302 includes information about whether or not a 3D image is included in the image data stored in the actual data box (mdat) (see FIG. 1) of the MP4 file, Detailed information about the three-dimensional image data is recorded.
  • the detailed information includes, for example, 3D image display method information.
  • a method corresponding to a passive spectacle method that separates an image to be observed by the left and right eyes using a polarizing filter or a color filter, or an image to be observed by alternately opening and closing the liquid crystal shutter on the left and right is temporally alternated between the left and right eyes.
  • the active spectacle method that is separated into two.
  • the recording format of the recording data stored in the MP4 file differs depending on each display method.
  • the stereo video information box 302 also includes information on which format the image data stored in the actual data box (mdat) (see FIG. 1) of the MP4 file corresponds to.
  • a recording method of 3D image data for example, Frame Sequential (Frame Sequential) system, Side-by-side (Side by Side) method, Top-and-bottom method, and so on.
  • Frame Sequential Framework Sequential
  • Side-by-side Side by Side
  • Top-and-bottom Top-and-bottom method
  • the frame sequential method is a method in which the frames of the left-eye image (L image) and the right-eye image (R image) are alternately recorded as L, R, L, R,.
  • the side-by-side method is a method in which an LR image is divided and recorded on the left and right sides in one frame image.
  • the top-and-bottom method is a method in which an LR image is divided and recorded in one frame image.
  • Three-dimensional image detailed information used for three-dimensional image reproduction and display processing, such as these image recording methods, is recorded in the stereo video information box 302.
  • a device that attempts to acquire and play an MP4 file via a recording medium or communication means is set in the AV codec box (avc1) before actually acquiring an image from the actual data box (mdat) of the MP4 file.
  • the 3D image information in the stereo video information box 302 it is possible to reproduce a 3D image such as what recording method or display method the 3D image data of the stored data of the MP4 file is. It is possible to acquire detailed information applied to the display process.
  • the data stored in the MP4 file is stored after confirming that the data can be processed by the own device. It is possible to start the decoding and reproduction processing by taking out, and it is possible to eliminate the execution of useless processing.
  • an example of the recording format of the detailed 3D image information described below is an example using a format substantially similar to the existing frame configuration information (Frame Packing Arrangement SEI).
  • a specific data setting example of frame configuration information (Frame Packing Arrangement SEI) which is an example of detailed 3D image information recorded in the stereo video information box 302 will be described below.
  • the following recording method of a three-dimensional image that is, (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], An example of setting frame configuration information corresponding to these different three-dimensional image recording methods will be described.
  • FIGS. A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B],
  • FIG. 5 is a diagram for explaining a data restoration process and a reproduction process method according to (a) frame sequential method [FS: Frame Sequential].
  • FIG. 5 shows a decoded image frame 321 and a display image frame 322 obtained as a result of MP4 decoding.
  • a left-eye image (L image) and a right-eye image (R image) are recorded alternately as LLRLRLR. Therefore, the image obtained from the MP4 decoding result.
  • the display image frame 322 is used as an L image and an R image.
  • FIG. 6 is a diagram for explaining a data restoration process and a reproduction process method according to (b) side-by-side method [SbS: Side by Side].
  • MP4 decoding result image 331 Unpack L image (frame 0) 332, Unpack R image (frame 1) 333, L image for display (frame 0) 334, R image for display (frame 1) 335, These image data are shown.
  • a left-eye image (L image) and a right-eye image (R image) are divided into regions divided into left and right of one image frame.
  • unpacking processing is executed from this image to generate an unpacked L image (frame 0) 332 and an unpacked R image (frame 1) 333.
  • decompression processing is executed to generate a display L image (frame 0) 334 and a display R image (frame 1) 335. In this way, frame 0 and frame 1 are set as a set of image frames.
  • FIG. 7 is a diagram for explaining a data restoration process and a reproduction process method in accordance with (c) top-and-bottom method [T & B: Top & Bottom].
  • MP4 decoding result image 341 Unpack L image (frame 0) 342, Unpack R image (frame 1) 343, L image for display (frame 0) 344, R image for display (frame 1) 345, These image data are shown.
  • a left-eye image (L image) and a right-eye image (R image) are divided into upper and lower regions of one image frame.
  • unpacking processing is executed from this image to generate an unpacked L image (frame 0) 342 and an unpacked R image (frame 1) 343.
  • decompression processing is executed to generate a display L image (frame 0) 344 and a display R image (frame 1) 345.
  • frame 0 and frame 1 are set as a set of image frames.
  • an apparatus that reproduces and displays a three-dimensional image needs to perform processing according to the three-dimensional image method.
  • detailed information for identifying which method the image stored in the MP4 file is a three-dimensional image is displayed in the stereo video information box 302 as frame configuration information (Frame Packing Arrangement SEI). Record as.
  • FIG. 8 and FIG. 9 are diagrams showing data setting examples when the three-dimensional image stored in the MP4 file corresponds to the following three types of methods.
  • A Frame sequential method [FS]
  • B Side-by-side method [SbS]
  • C Top and bottom method [T & B]
  • FS Frame sequential method
  • SbS Side-by-side method
  • T & B Top and bottom method
  • Frame packing arrangement cancellation flag (frame_packing_arrangement_cancel_flag) When this flag is 1, it indicates that frame configuration information is not used.
  • this frame In the case of frame configuration information as three-dimensional image information recorded in the stereo video information box 302, this frame is used in any of the frame sequential method [FS], side-by-side method [SbS], and top-and-bottom method [T & B]. Set to 0 indicating that configuration information is to be used. Note that (b) of [0b] means binary notation.
  • 5-point sampling flag (quincux_sampling_flag) When this flag is 1, it indicates that the sampling points of the image frame are set to 5 points of 3 ⁇ 3 pixels.
  • This flag is mainly used as information indicating the sampling position in the decoding process. In the case of frame configuration information as three-dimensional image information recorded in the stereo video information box 302, this flag is used in any of the frame sequential method [FS], side-by-side method [SbS], and top-and-bottom method [T & B]. Is set to 0.
  • Content description type (content_interpretation_type)
  • the value of this field is 0-2.
  • 2 frame configuration information for a three-dimensional (stereo) image, set values when frame 0 is a right eye frame and frame 1 is a left eye frame
  • These contents description type information is recorded.
  • this flag is used in any of the frame sequential method [FS], side-by-side method [SbS], and top-and-bottom method [T & B]. Is set to 1.
  • Spatial flipping flag (spatial_fliping_flag) Spatial flip flag (frame0_flipped_flag) These flags store information as to whether or not a frame is configured by connecting in the image frame configuration direction, for example, the horizontal direction or the vertical direction. This flag setting is used to determine the mode of up-conversion (extension processing) of a two-dimensional image. In the case of frame configuration information as three-dimensional image information recorded in the stereo video information box 302, these flags are not used, and these flag values are set to zero.
  • Field view flag (field_views_flag) Information about the mode of frame interleaving processing is recorded. In the case of frame configuration information as 3D image information to be recorded in the stereo video information box 302, this flag is not used and this flag value is set to zero.
  • Frame packing arrangement reserve byte (frame_packing_arrangement_reserved_byte) Frame packing arrangement repetition byte (frame_packing_arrangement_repetition_period) Frame packing arrangement extension byte (frame_packing_arrangement_extension_flag) These fields are recording fields for reserve, repeated data, and extended data. In the case of frame configuration information as three-dimensional image information recorded in the stereo video information box 302, these flags are not used, and these flag values are set to zero.
  • FIG. 9 also shows the following three recording types of 3D images: (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], It is a figure which shows the example of a setting of the frame structure (Frame Packing Arrangement SEI) information corresponding to these three formats.
  • FS Frame sequential method
  • SB Side-by-side method
  • T & B Top and bottom method
  • Frame 0 self-contained flag (frame0_self_contained_flag)
  • Frame 1 self-contained flag (frame1_self_contained_flag)
  • Frame 0 grid position X (Frame0_grid_position_x) Frame 0 grid position Y (Frame0_grid_position_y) Frame 1 grid position X (Frame1_grid_position_x) Frame 1 grid position Y (Frame1_grid_position_y)
  • N / A invalid value in the frame sequential method [FS], side-by-side method [SbS], top-and-bottom method [T & B]
  • the frame configuration (Frame Packing Arrangement SEI) information in the stereo video information box 302 includes: (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], Set values of frame configuration information (Frame Packing Arrangement SEI) corresponding to each of these methods are set.
  • the device that performs playback and display of the 3D image determines which method the image stored in the MP4 file is a 3D image according to. Can be identified. That is, for example, by referring to the setting values of the frame configuration information (Frame Packing Arrangement SEI) described with reference to FIGS. 8 and 9, the image stored in the MP4 file is a three-dimensional image according to which method. This makes it possible to identify the image, and it is possible to generate, reproduce and display correct three-dimensional image display data by executing restoration processing corresponding to the stored image method.
  • the frame configuration information Frama SEI
  • FS Frame sequential method
  • SB Side-by-side method
  • T & B Top and bottom method
  • the configuration is not limited to the frame configuration information (Frame Packing Arrangement SEI) described with reference to FIGS. 8 and 9, and the detailed configuration of the 3D image is generated in another format and recorded in the AV codec box (avc1). Also good.
  • the AV codec box (avc1) is set below the sample description box (stsd) lower than the track box 111 lower than the movie box (moov). Box.
  • the AV codec box (avc1) is a box in which codec information of a sample, which is data obtained by dividing the actual data stored in the actual data box (mdat), is recorded.
  • all codec information of the samples included in the track is set in the AV codec box (avc1).
  • One or a plurality of AV codec boxes (avc1) can be set below the sample description box (stsd).
  • the contents are the same, there is no need to set multiple items. In other words, the number of samples and the number of AV codec boxes do not need to match, and even if there are a plurality of samples, a setting with one AV codec box is possible.
  • detailed 3D image information is recorded in the AV codec box (avc1).
  • detailed 3D image information is recorded using a scheme information box (sinf) defined as an extended configuration of the AV codec box (avc1).
  • a scheme information box (sinf) is defined as an area for recording configuration information.
  • a scheme information box (sinf) is defined as an area for recording the encryption mode information.
  • the current specification of ISO / IEC 14496 which specifies the MP4 file format, specifies that one scheme information box (sinf) for storing data configuration information can be set below the AV codec box (avc1). is doing.
  • the playback apparatus refers to the scheme information box (sinf) set in the AV codec box (avc1) to obtain information necessary for decrypting the encrypted data. It becomes possible.
  • this scheme information box is used. That is, a scheme information box that stores data configuration information about a three-dimensional (stereo) image is defined.
  • a scheme information box that stores data configuration information about a three-dimensional (stereo) image is defined.
  • FIG. 10 an example of storing data configuration information about a three-dimensional (stereo) image, that is, three-dimensional image detailed information, in a scheme information box (sinf) will be described.
  • the scheme information box (sinf) in which the detailed information of the 3D image is recorded is not set, and the AV codec box (avc1) in the MP4 file is, for example, FIG. ),
  • AVC data configuration information box [AVCCConfigurationBox] 402 codec information necessary for the MP4 data decoding process is recorded.
  • the AV codec box (avc1) 401 shown in FIG. 10B is set as an AV codec box 405 including the 3D image information scheme information box 410 shown in FIG. To do.
  • the code (4CC: four-character-code) corresponding to the box name of the AV codec box (avc1) 401 that does not include the 3D image information scheme information box shown in FIG. 10B is [avc1].
  • the AV codec box 405 including the 3D image information scheme information box 410 shown in FIG. 10C indicates that a code (4CC: four-character-code) corresponding to the box name includes information regarding stereo video data [ stev]. That is, it is possible to determine that the AV codec box 405 includes the 3D image information scheme information box 410 from the box name (4CC).
  • the box name (4CC) corresponds to the file name of the AV codec box 405, and the playback apparatus can determine from the file name that the AV codec box includes a 3D image information scheme information box.
  • the 3D image information scheme information box 410 Format information box (frma) 411, Scheme type box (SchemeTypeBox) 412, Scheme detailed information box (SchemeInformationBox) 413, With each of these boxes.
  • the scheme type box (SchemeTypeBox) 412 information indicating the type of the scheme information box 410 is recorded.
  • the scheme information box 410 is a scheme information box that stores detailed information of a three-dimensional image. Therefore, the scheme type box (SchemeTypeBox) 412 is a scheme information box that stores three-dimensional image detailed information. The type information shown is recorded.
  • SchemeInformationBox Detailed information of a specific three-dimensional image is recorded in a scheme detailed information box (SchemeInformationBox) 413.
  • the three-dimensional image detailed information stored in the scheme detailed information box (SchemeInformationBox) 413 includes information similar to the frame configuration information (Frame Packing Arrangement SEI) described in the second embodiment.
  • Information necessary for executing playback and display processing of a three-dimensional image is recorded. Specifically, for example, (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], Detailed three-dimensional image information corresponding to each of these methods is recorded.
  • the apparatus that reproduces and displays the 3D image receives the 3D image detailed information from the scheme detailed information box (SchemeInformationBox) 413 of the 3D image information scheme information box 410 set as lower information of the AV codec box (avc1). By acquiring, it is possible to identify which method the image stored in the MP4 file is a three-dimensional image.
  • the playback device refers to the recording information in the scheme detailed information box (SchemeInformationBox) 413 of the 3D image information scheme information box 410 and executes restoration processing corresponding to the stored image method to obtain correct 3D image display data. It can be generated, played back and displayed.
  • FIG. (C) AV codec box 405 including a 3D image information scheme information box 410;
  • the data (c) is an AV codec box 405 having the same configuration as the data of FIG. 10 (c).
  • the playback apparatus When the actual data stored in the MP4 file is a three-dimensional image and is further encrypted, the playback apparatus not only provides the first data configuration information (three-dimensional image detailed information) but also the second data configuration information. (Encryption information) is required.
  • the individual data configuration information is set as an individual scheme information box, and these are hierarchized and recorded.
  • a plurality of scheme information boxes are hierarchized (nested) and stored in the AV codec box. That is, as shown in the AV codec box (encv) 407 shown in FIG. (1) a first scheme information box (sinf) 410 for storing data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image; (2) a second scheme information box (sinf) 420 for storing data configuration information (encryption mode information) about encryption processing; These two scheme information boxes are hierarchized, that is, set in a nested state and stored in the AV codec box.
  • the first scheme information box (sinf) 410 storing data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image is encrypted.
  • the box is set at a lower level of the format information box (frma) of the second scheme information box (sinf) 420 storing the data configuration information (encryption mode information) about the process.
  • the code (4CC: four-character-code) corresponding to the box name of the AV codec box (avc1) 401 not including the three-dimensional image information scheme information box shown in FIG. 10B is [avc1].
  • the AV codec box 405 including the 3D image information scheme information box 410 shown in FIG. 11 (c) indicates that a code (4CC: four-character-code) corresponding to the box name includes information on stereo video data [stev. ].
  • an AV codec box 407 having an encryption information scheme information box 420 including a three-dimensional image information scheme information box 410 shown in FIG. 11D as a nesting is a code (4CC: four-character-code) corresponding to the box name. ) Is set as [encv] indicating that information related to the encrypted video data is included. As a result, it is possible to determine that the AV codec box 405 includes the encryption information scheme information box 420 from the box name (4CC).
  • the first scheme information box (sinf) 410 stores data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image.
  • the first scheme information box (sinf) 410 is a box similar to that described above with reference to FIG. Format information box (frma) 411, Scheme type box (SchemeTypeBox) 412, Scheme detailed information box (SchemeInformationBox) 413, With each of these boxes.
  • the scheme type box (SchemeTypeBox) 412 information indicating the type of the scheme information box 410 is recorded.
  • the scheme information box 410 is a scheme information box that stores detailed information of a three-dimensional image. Therefore, the scheme type box (SchemeTypeBox) 412 is a scheme information box that stores detailed information of a three-dimensional image. Is recorded.
  • SchemeInformationBox Detailed information of a specific three-dimensional image is recorded in a scheme detailed information box (SchemeInformationBox) 413.
  • the three-dimensional image detailed information stored in the scheme detailed information box (SchemeInformationBox) 413 includes information similar to the frame configuration information (Frame Packing Arrangement SEI) described in the second embodiment. That is, for example, (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], Detailed 3D image information corresponding to each of these methods is recorded.
  • the playback apparatus refers to the detailed information of the 3D image stored in the actual data box (mdat) of the MP4 file by referring to the detailed information of the 3D image stored in the first scheme information box (sinf) 410. Can be obtained.
  • the second scheme information box (sinf) 420 stores data configuration information (encryption mode information) regarding the encryption process.
  • the second scheme information box (sinf) 420 is Format information box (frma) 421, Scheme type box (SchemeTypeBox) 422, Scheme detailed information box (SchemeInformationBox) 423, With each of these boxes.
  • the format information box (frma) 421 uses the first scheme information box (sinf) 410 storing data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image as lower-layer data, that is, a nested state. keeping. Furthermore, format information is recorded.
  • data_format 'stev' Such format information is recorded.
  • scheme type box (SchemeTypeBox) 422 information indicating the type of the scheme information box 420 is recorded.
  • the scheme information box 420 is a scheme information box that stores detailed information about the encryption process
  • the scheme type box (SchemeTypeBox) 422 indicates that the scheme information box stores encrypted detailed information. The information shown is recorded.
  • scheme detailed information box (SchemeInformationBox) 423 detailed information of specific encryption processing is recorded.
  • the encryption information stored in the scheme detailed information box (SchemeInformationBox) 423 stores information necessary for decrypting the encrypted data in the playback device.
  • the playback device refers to the encryption mode information stored in the second scheme information box (sinf) 420 and obtains information necessary for the decryption processing of the data stored in the actual data box (mdat) of the MP4 file. Can be obtained.
  • a scheme information box corresponding to the data configuration information is set, and these are recorded in the AV codec box as a hierarchical configuration (nested).
  • scheme information box for storing data configuration information (three-dimensional image detailed information) about a three-dimensional (stereo) image
  • a second scheme information box for storing data configuration information (encryption mode information) about encryption processing
  • scheme information boxes set in, for example, three or more hierarchies for various data configuration information related to actual data stored in the MP4 file.
  • hierarchical (nested) configuration of scheme information boxes as in this embodiment, any number of various data configuration information and data conversion information required for playback and display processing can be set and recorded as management information It becomes possible to do.
  • the playback device can play back and display the actual data stored in the MP4 file without error by acquiring these management information.
  • FIG. 12 is a flowchart illustrating the image data recording processing sequence.
  • FIG. 13 is a flowchart for explaining the image data reproduction processing sequence.
  • the image data recording processing sequence will be described with reference to the flowchart shown in FIG.
  • the process according to the flowchart shown in FIG. 12 is executed in an imaging apparatus such as a camera that executes a process of taking an image and recording it on a recording medium.
  • the processing is executed under the control of a control unit such as a CPU provided in the imaging apparatus.
  • the process of each step of the flowchart shown in FIG. 12 will be described.
  • step S101 for example, it is determined whether or not the data acquired by the photographing process and scheduled to be recorded on the recording medium includes three-dimensional image data.
  • step S101 if the three-dimensional image data is included in the data scheduled to be recorded on the medium, the determination in step S101 is Yes and the process proceeds to step S102.
  • step S102 3D image identification information is recorded in the profile box of the MP4 file.
  • This process is described in [[3-1. (1) Processing corresponding to an embodiment (embodiment 1) in which 3D image identification information is recorded in a profile box (uuid (PROF)). That is, the process described with reference to FIGS.
  • Stereo video flag 201 Mixed stereo video flag (Mixed stereo video flag) 202
  • the flag values shown in FIG. 3 are set in accordance with the type of scheduled recording data.
  • step S103 the method of 3D image data scheduled to be recorded is determined.
  • three types A, B, and C are discriminated. These correspond to, for example, the following three types described in the second and third embodiments.
  • step S103 determines whether the determination in step S103 is determined to be method A. If the determination in step S103 is determined to be method A, the process proceeds to step S104, and detailed 3D image information corresponding to method A is recorded in the AV codec box of the MP4 file. If the determination in step S103 is determined to be method B, the process proceeds to step S105, and detailed 3D image information corresponding to method B is recorded in the AV codec box of the MP4 file. If the determination in step S103 is determined to be system C, the process proceeds to step S106, and detailed 3D image information corresponding to system C is recorded in the AV codec box of the MP4 file.
  • steps S104 to S106 corresponds to the processing in the second embodiment or the third embodiment described above. That is, the above-mentioned [3-2. (2) Embodiment in which 3D image detailed information is recorded in AV codec box (avc1) (embodiment 2)], or [3-3. (3) Embodiment in which detailed information on three-dimensional images is recorded using scheme information box (sinf) defined as an extended configuration of AV codec box (avc1) (third embodiment)], which corresponds to these processes. In addition, it is good also as a structure which performs either the process of Example 2, or the process of Example 3, and it is good also as a structure which performs both.
  • the AV codec box is a box storing codec information set below the sample description box (stsd) lower than the track box lower than the movie box (moov). It is.
  • the stereo video information box 302 (see FIG. 4) is set in the AV codec box, and for example, refer to FIGS.
  • the frame configuration information as the detailed 3D image information described above is recorded.
  • different data is recorded according to the three-dimensional image method.
  • the scheme information box is set as described with reference to FIGS. 10 and 11, and the three-dimensional image detailed information is recorded in the scheme information box. Also in this case, different data is recorded according to the method of the three-dimensional image.
  • step S107 After completion of the processes in steps S104 to S106, the process proceeds to step S107, where the MP4 file is completed and the recording process for the medium is executed.
  • step S101 If it is determined in step S101 that the acquired data does not include 3D image data, the determination in step S101 is No and the process proceeds to step S110.
  • step S110 2D image identification information is recorded in the profile box of the MP4 file.
  • the flow shown in FIG. 12 has been described as an example of the MP4 file creation process in the data recording process for the recording medium. However, when an MP4 file is generated as communication data, the MP4 file creation process is performed in the same processing sequence. Good.
  • the setting example has been described in which both the 3D image identification information of the profile box of the first embodiment and the 3D image detailed information of the AV codec box of the second or third embodiment are read.
  • a configuration may be adopted in which only the three-dimensional image identification information of the profile box of the first embodiment is read and used, or only the three-dimensional image detailed information of the AV codec box of the second or third embodiment is read and used. It is good also as composition which performs.
  • the processing according to the flowchart shown in FIG. 13 is executed in a playback device that executes processing on, for example, an MP4 file read from a recording medium or an MP4 file received as communication data.
  • the processing is executed under the control of a control unit such as a CPU provided in the playback apparatus.
  • the process of each step of the flowchart shown in FIG. 13 will be described.
  • step S201 MP4 file profile box (PROF) information is acquired.
  • This process is described in [[3-1. (1) Processing corresponding to an embodiment (embodiment 1) in which 3D image identification information is recorded in a profile box (uuid (PROF)). In other words, this is a process of acquiring the profile box (PROF) information of the MP4 file described with reference to FIGS.
  • Stereo video flag 201 the following flags shown in FIG. Stereo video flag 201, Mixed stereo video flag (Mixed stereo video flag) 202, Read the value of each of these flags.
  • step S202 If it is determined in step S202 that the three-dimensional image data is not included by reading the flag as the three-dimensional image identification information of the profile box in step S201, the process proceeds to step S210 to acquire the two-dimensional image data from the MP4 file. Playback and display.
  • step S203 information on the AV codec box of the MP4 file is acquired.
  • This process is performed as described in [3-2. (2) Embodiment in which 3D image detailed information is recorded in AV codec box (avc1) (embodiment 2)], or [3-3. (3) Embodiment in which detailed information on three-dimensional image is recorded using scheme information box (sinf) defined as extended configuration of AV codec box (avc1) (third embodiment)], processing for reading these recorded data
  • scheme information box sinf
  • the stereo video information box 302 (see FIG. 4) is set in the AV codec box.
  • frame configuration information as the three-dimensional image detailed information described with reference to FIGS. 8 and 9 is recorded.
  • step S203 3D image detailed information is read from the stereo video information box 302 (see FIG. 4).
  • the scheme information box is recorded as lower data of the AV codec box as described with reference to FIGS. Read the detailed 3D image information from the scheme information box.
  • step S204 it is determined whether the reproduction scheduled data is the method A, B, or C.
  • step S205 the image corresponding to the method A is decoded (decoding and restoring processing), and reproduction and display processing are executed. If it is determined that the image data is 3D image data corresponding to the method B, the process proceeds to step S206, where the image corresponding to the method B is decoded (decoding and restoring processing), and reproduction and display processing are executed. If it is determined that the image data is 3D image data corresponding to the method C, the process proceeds to step S207, where the image corresponding to the method C is decoded (decoding and restoring processing), and reproduction and display processing are executed.
  • the image processing apparatus can determine whether or not the data stored in the MP4 file includes a 3D image, and if the 3D image data is included, the recording is performed.
  • the playback method can be acquired from a profile box or AV codec box as management information in the MP4 file. Accordingly, it is possible to check whether or not the MP4 file is reproducible 3D image data before acquiring and analyzing or reproducing the actual data of the MP4 file. Only when it is determined, actual data is acquired, and correct decoding and reproduction processing can be executed according to processing according to the method.
  • the three-dimensional image identification information of the profile box of the first embodiment and the three-dimensional image of the AV codec box of the second or third embodiment are used.
  • a process for recording only the three-dimensional image identification information of the profile box of the first embodiment may be performed, or the AV of the second or third embodiment may be used.
  • a configuration in which only the detailed information of the three-dimensional image of the codec box is recorded may be performed.
  • FIG. 14 shows a configuration example of an imaging apparatus 500 as an embodiment of the image processing apparatus of the present invention.
  • the imaging apparatus 500 has a function of capturing images from different viewpoints applied to 3D image display, and has a configuration capable of switching between capturing a 2D image and a 3D image according to a user mode setting.
  • the imaging unit 501 has a plurality of lens units set at different positions, for example, and can simultaneously capture images from different viewpoints.
  • the three-dimensional image shooting mode is set, an image shot through a plurality of lens units is input.
  • setting the two-dimensional image shooting mode only an image shot through one lens unit is input.
  • An image signal processing unit 502 performs signal processing of captured image data such as white balance adjustment.
  • the data encoding unit 503 generates an MP4 file.
  • the preprocessing unit 511 performs preprocessing according to each method. Specifically, for example, each method described with reference to FIGS. 5 to 7, that is, (A) Frame sequential method [FS], (B) Side-by-side method [SbS], (C) Top and bottom method [T & B], According to each of these methods, an MP4 decoding image is generated from the captured image. For example, when recording data is generated according to the side-by-side method [SbS] shown in FIG.
  • the captured images correspond to the display L image (frame 0) 334 and the display R image (frame 1) 335 shown on the right side of FIG.
  • an image frame corresponding to the MP4 decoding result image 331 shown on the left side of FIG. 6 is generated.
  • This data is input to the encoding unit 512 and an encoding process according to the MP4 format is executed. Further, the file generation unit 513 executes the recording process for the profile box of the 3D image identification information and the recording process for the AV codec box of the detailed 3D image information described in the first to third embodiments. Create an MP4 file.
  • the file generation unit 513 generates an MP4 file that is an encoded data storage file including encoded data of the image data generated by the encoding unit 512 and management information of the encoded data.
  • the file generation unit 513 records 3D image identification information indicating whether or not 3D image data is included in the image data stored in the file in the profile box of the MP4 file.
  • the process of recording the 3D image identification information in the profile box of the MP4 file corresponds to the process described above with reference to the first embodiment.
  • the file generation unit 513 records detailed 3D image information that enables determination of the 3D image format in the AV codec box.
  • the process of recording the detailed 3D image information in the AV codec box corresponds to the process described above with reference to the second and third embodiments.
  • the file generation unit 513 when executing processing corresponding to the third embodiment, includes scheme information including data configuration information in which information to be applied to data processing at the time of reproduction processing of encoded data is set for each category of data processing A box is generated, and a plurality of category unit scheme information boxes are hierarchized to generate a file recorded in the management information.
  • the file generation unit 513 performs a process of recording the detailed three-dimensional image information in units of track data or segment data that is the segment data of the image data stored in the MP4 file.
  • the MP4 file generated by the data encoding unit 503 is provided to the recording unit 504 and recorded on a recording medium 530 such as a flash memory, HDD, or DVD.
  • a recording medium 530 such as a flash memory, HDD, or DVD.
  • the MP4 file generated in the data encoding unit 503 is provided to the communication unit 505 and is packetized and subjected to transmission processing.
  • the MP4 file including the encoded data of the image data and the management information of the encoded data is recorded on the recording medium 530 by this data recording process.
  • the management information included in the MP4 file includes 3D image identification information indicating whether or not 3D image data is included in the image data, and detailed 3D image information capable of determining the 3D image format. Therefore, an apparatus that reads and reproduces an MP4 file from the recording medium 530 can determine the reproducibility of the apparatus by referring to the management information.
  • an MP4 file including management information having a hierarchical configuration of the scheme information box of the third embodiment described above is recorded. That is, the MP4 file management information recorded on the recording medium 530 has a structure in which data configuration information in which information applied to data processing at the time of reproduction processing of encoded data is set in units of data processing is layered and recorded. Become. An apparatus that reads and reproduces an MP4 file from such a recording medium 530, which is such an information recording medium, sequentially acquires hierarchical data configuration information and applies the acquired data configuration information to a plurality of different categories of data processing. Can be executed.
  • the MP4 file recorded on the recording medium 530 such as a flash memory, HDD, or DVD is read via the playback unit 506 and provided to the data decoding unit 507.
  • the MP4 file received via the communication unit 505 is also provided to the data decoding unit 507.
  • the file analysis unit 521 of the data decryption unit 507 first receives the management information of the received MP4 file, that is, the file type box (ftyp), profile box (uuid (PROF)), movie box described above with reference to FIG. (Moov), the management information recorded in each of these boxes is acquired.
  • the profile box includes a three-dimensional image in the image data stored in the actual data box (mdat) of the MP4 file.
  • the three-dimensional image identification information shown is recorded. This is the information described with reference to FIGS.
  • the AV codec box below the movie box (moov) is stored in the three-dimensional image detailed information, that is, the actual data box (mdat) of the MP4 file.
  • the obtained image data is three-dimensional image data
  • detailed information regarding the recording and reproduction method of the three-dimensional image data is recorded. This is the information described with reference to FIGS.
  • the file analysis unit 521 performs, for example, a track unit or a sample unit of segment data that is segment data of image data stored in the MP4 file. Get information.
  • the file analysis unit 521 of the data decoding unit 507 analyzes the management information in the MP4 file and determines whether or not the 3D image is included in the image data stored in the actual data box (mdat) of the MP4 file. If a 3D image is included, the method is confirmed.
  • the MP4 file is provided to the decoding unit 522 together with the confirmation information. If it is determined from the MP4 file analysis result of the file analysis unit 521 that the stored data of the MP4 file does not correspond to a method that can be reproduced by the imaging apparatus 500, the subsequent process, that is, the decoding process or the like is not executed. These processing controls are executed by the control unit 570 according to a program stored in the memory 571. The control unit 570 determines the reproducibility of the apparatus by applying the 3D image management information of the MP4 file, and performs control to start the decoding process of the image data in the decoding unit 522 after determining that the reproducibility is possible.
  • the decoding unit 522 Based on the MP4 file analysis result of the file analysis unit 521, when it is determined that the stored data of the MP4 file corresponds to a method that can be reproduced by the imaging apparatus 500, the decoding unit 522 performs a decoding (telecode) process of the MP4 data. Be started. Further, the three-dimensional image method information and the decoding result are provided to the display information generation unit 523.
  • the display information generation unit 523 performs image restoration processing according to each method (FIGS. 5 to 5) depending on which of the following methods the 3D image method information, that is, the MP4 file storage data corresponds to, for example: 7).
  • the display image generated by the data decoding unit 507 is provided to the display unit 550 and image display is performed.
  • the display information generation unit 523 is a data processing unit that generates a left-eye image and a right-eye image for application to 3D image display, such as a data processing unit that performs decryption processing of encrypted data.
  • the data processing unit executes various categories of data processing.
  • the display information generation unit 523 is configured by a data processing unit that executes data processing of a plurality of different categories that is executed when the image data stored in the MP4 file is played back.
  • the file analysis unit 521 acquires the hierarchical data configuration information of the management information of the MP4 file. Then, the decoding unit 522 and the display information generation unit 523 execute data processing for a plurality of different categories by applying the information included in the scheme information box from the category unit data configuration information acquired by the file analysis unit 521.
  • control of the processing of each of these components is executed by the control unit 570.
  • the control unit 580 executes control such as photographing processing data recording processing, communication data generation, data transmission / reception processing, data reproduction processing, and display processing in accordance with a program stored in the memory 571 in advance.
  • processing control according to the processing sequence described above with reference to the flowchart of FIG. 12 is executed, and in data reproduction processing, it has been described with reference to the flowchart of FIG. Process control according to the process sequence is executed.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • various data processing executed in the reproduction processing of data stored in the MP4 file for example, three-dimensional image display processing, decryption of encrypted data, etc.
  • Information to be applied to various different categories of data processing such as processing is layered and recorded in MP4 file management information.
  • various information necessary for each of different categories of data processing required for reproduction of data stored in the MP4 file for example, display processing of encrypted three-dimensional image data, is stored in the MP4 file. It is possible to obtain the file management information with certainty, and smooth data reproduction processing is possible.

Abstract

MP4ファイルの格納データに対するデータ処理に必要となる情報をMP4ファイルの管理情報から取得可能とする構成を提供する。MP4ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば3次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をMP4ファイルの管理情報中に階層化して記録する構成とした。この構成により、MP4ファイルに格納されたデータの再生、例えば暗号化された3次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、MP4ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。

Description

画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
 本発明は、画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムに関する。さらに詳細には、3次元画像(3D画像)表示用の画像の記録や再生を行う画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムに関する。
 立体視可能な画像、いわゆる3次元画像(3D画像またはステレオ画像とも呼ばれる)を生成するためには、異なる視点から撮影した画像、すなわち左目用画像と右目用画像が必要となる。これらの異なる視点からの撮影画像を利用することで3次元画像の表示が可能となる。
 3次元画像(3D画像)の表示方式には様々な方式がある。例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応した表示方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応した表示方式などがある。いずれの表示方式においても、左目用画像と右目用画像が利用される。
 3次元画像(3D画像)に限らず、カメラによって撮影された静止画や動画等の画像データはメディアに対する記録処理に際して、あるいはデータ送信に際して様々な符号化(圧縮)フォーマットに従って符号化される。すなわちデータ量を削減して記録あるいは送信される。
 符号化フォーマットには、例えば静止画符号化フォーマットを規定したJPEGや、主に動画を対象とした符号化フォーマットであるMPEGなど様々な規格がある。例えば引用文献1(特開2004-334833)の図10には、3次元静止画画像の記録処理に用いるフォーマット例が記載されている。
 昨今は、HD(High Definition)画像など高精細画像の利用が進み、圧縮率の高い符号化方式が利用されている。それらの符号化データの格納ファイル形式の1つの方式としてMP4ファイルフォーマット(ISO/IEC 14496-14)(以下、MP4という)がある。
 MP4は、MPEG(Moving Picture Experts Group)4形式の圧縮動画データの格納ファイル形式である。MP4はISO/IEC14496に規定された規格である。MP4はMPEG-4形式の動画のみならず、MPEG-2やMPEG-1の動画、AACやMP3などの音声、JPEGやPNGなどの静止画など、様々な形式の画像および音声データを格納可能としたフォーマットである。
 このようにMP4ファイルには様々な形式の符号化データを格納可能であり、MP4では、MP4ファイルに格納した符号化データの形式や種類についての管理情報を記録する領域が設定されている。符号化データの復号処理を行なう場合には、MP4ファイル内の管理情報の確認処理が実行される。
 しかし、現行のMP4フォーマットの管理情報規定には、MP4ファイルに格納された画像が3次元(3D)画像であるのか、2次元(2D)画像であるかを識別するための情報の格納領域が規定されていないという問題がある。
 MP4ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介して受信して再生しようとする装置は、MP4ファイルの管理情報から格納画像が3次元(3D)画像であるのか、2次元(2D)画像であるかを識別することができない。従って、実際に画像を取得し解析または再生しなければ3次元画像データであるか2次元画データであるかが把握できない。結果として例えば3次元画像の表示機能を持たない表示装置に3次元画像データが誤って表示されてしまうといった事態が発生する。
 また、上述したように3次元画像の表示方式には様々な方式があるが、再生装置や表示装置の多くは、一部の方式のみに対応した画像再生または表示が可能な構成を持つ。従って、現行のMP4フォーマットに従った管理情報のみでは、自装置において再生または表示可能な3次元画像であるか否かについての確認もできない。
 すなわち、現行のMP4ファイルの管理情報のみでは、画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
特開2004-334833号公報
 本発明は、例えば、上述の問題点に鑑みてなされたものであり、MP4フォーマットに従ったファイルの管理情報中に、MP4ファイルに格納された画像データに3次元画像が含まれるか、あるいは3次元画像の方式等の3次元画像管理情報を記録する。この構成により、再生装置や表示装置において、MP4ファイルから実データを取得する以前に格納データが3次元画像であるか2次元画像であるかを把握可能とし、さらに3次元画像の方式等を確認することを可能として、誤った再生処理や表示処理を防止し、正しい再生処理を実行可能とした画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムを提供することを目的とするものである。
 また、本発明は、MP4ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば上記の3次元画像表示処理の他、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をMP4ファイルの管理情報中に階層化して記録することで、各データ処理に必要となる情報を確実に提供することを可能とした画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムを提供することを目的とするものである。
 本発明の第1の側面は、
 画像データの符号化処理を実行するエンコード部と、
 前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
 前記ファイル生成部は、
 前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置にある。
 さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに3次元画像データが含まれるか否かを判別可能とした3次元画像管理情報である。
 さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式を判別可能とした3次元画像管理情報である。
 さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式が、
 (a)フレームシーケンシャル方式、
 (b)サイドバイサイド方式、
 (c)トップアンドボトム方式、
 上記(a)~(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である。
 さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、前記ファイル生成部は、暗号化態様情報を含む第1のデータ構成情報と、3次元画像管理情報を含む第2のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する。
 さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、MP4ファイルの生成を実行する構成であり、MP4ファイルのAVコーデックボックスの下位に前記データ構成情報を階層化して記録したファイルを生成する。
 さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、MP4ファイルのAVコーデックボックスの下位に前記データ構成情報を含むスキーム情報ボックスを階層化して記録したファイルを生成する。
 さらに、本発明の画像処理装置の一実施態様において、前記ファイル生成部は、MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを設定して記録する処理を行う。
 さらに、本発明の第2の側面は、
 画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
 前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
 前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
 前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
 前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置にある。
 さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに3次元画像データが含まれるか否かを判別可能とした3次元画像管理情報である。
 さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式を判別可能とした3次元画像管理情報である。
 さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式が、
 (a)フレームシーケンシャル方式、
 (b)サイドバイサイド方式、
 (c)トップアンドボトム方式、
 上記(a)~(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である。
 さらに、本発明の画像処理装置の一実施態様において、前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、前記ファイル解析部は、暗号化態様情報を含む第1のデータ構成情報と、3次元画像管理情報を含む第2のデータ構成情報を前記管理情報から取得する。
 さらに、本発明の画像処理装置の一実施態様において、前記ファイルは、MP4ファイルであり、前記ファイル解析部は、MP4ファイルのAVコーデックボックスの下位に階層化して記録されたスキーム情報ボックスから各データ処理カテゴリ単位のデータ構成情報を取得する。
 さらに、本発明の画像処理装置の一実施態様において、前記ファイル解析部は、MP4ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを取得する。
 さらに、本発明の第3の側面は、
 画像データの符号化データと、該符号化データの管理情報を含むMP4ファイルを記録した情報記録媒体であり、
 前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
 MP4ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体にある。
 さらに、本発明の第4の側面は、
 画像処理装置において実行する画像処理方法であり、
 エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
 ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
 前記ファイル生成ステップは、
 前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法にある。
 さらに、本発明の第5の側面は、
 画像処理装置において実行する画像処理方法であり、
 ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
 データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
 前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
 前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
 前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法にある。
 さらに、本発明の第6の側面は、
 画像処理装置において画像処理を実行させるプログラムであり、
 エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
 ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
 前記ファイル生成ステップは、
 前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラムにある。
 さらに、本発明の第7の側面は、
 画像処理装置において画像処理を実行させるプログラムであり、
 ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
 データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
 前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
 前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
 前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラムにある。
 なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本発明の一実施例の構成によれば、MP4ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば3次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をMP4ファイルの管理情報中に階層化して記録する構成とした。この構成により、MP4ファイルに格納されたデータの再生、例えば暗号化された3次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、MP4ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
MP4ファイルフォーマットの基本構成について説明する図である。 MP4ファイルのプロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例について説明する図である。 MP4ファイルのプロファイルボックス(uuid(PROF))に記録する3次元画像識別情報の具体的なフラグの設定例について説明する図である。 MP4ファイルのAVコーデックボックス(avc1)に3次元画像識別情報を記録する実施例について説明する図である。 フレームシーケンシャル方式[FS:Frame Sequential]に従ったデータ復元処理と再生処理方法を説明する図である。 サイドバイサイド方式[SbS:Side by Side]に従ったデータ復元処理と再生処理方法を説明する図である。 トップアンドボトム方式[T&B:Top&Bottom]に従ったデータ復元処理と再生処理方法を説明する図である。 AVコーデックボックス内に設定するステレオビデオ情報ボックスに記録する3次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する図である。 AVコーデックボックス内に設定するステレオビデオ情報ボックスに記録する3次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する図である。 MP4ファイルのAVコーデックボックスの拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像識別情報を記録する実施例について説明する図である。 MP4ファイルのAVコーデックボックスの拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像識別情報を記録する実施例について説明する図である。 本発明の画像処理装置の実行する画像データの記録処理シーケンスを説明するフローチャートを示す図である。 本発明の画像処理装置の実行する画像データの再生処理シーケンスを説明するフローチャートを示す図である。 本発明の画像処理装置の構成例について説明する図である。
 以下、図面を参照しながら、本発明の画像処理装置、情報記録媒体、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
 1.MP4ファイルフォーマットの基本構成について
 2.3次元画像管理情報をMP4ファイルの管理情報中に記録する構成について
 2A.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)
 2B.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)
 2C.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)
 3.画像処理装置の実行する画像処理シーケンスについて
 4.本発明の画像処理装置の構成例について
  [1.MP4ファイルフォーマットの基本構成について]
 まず、図1を参照して現行のMP4ファイルフォーマットの基本構成について説明する。前述したように、MP4は、MPEG(Moving Picture Experts Group)4形式の符号化データの格納ファイル形式であり、ISO/IEC14496に規定されている。MP4はMPEG-4形式の動画のみならず、MPEG-2やMPEG-1の動画、AACやMP3などの音声、JPEGやPNGなどの静止画など、様々な形式の画像および音声データを格納可能な構成を持つ。
 ISO/IEC14496に規定されたMP4ファイルフォーマットは、オブジェクト指向のデータ構造を有する。各オブジェクトはボックス(box)と呼ばれる。図1は一般的な画像および音声データからなるAV(Audio Video)データを格納したMP4ファイル100の構成例を示す図である。MP4ファイル100は、図1に示すように以下の各ボックスを有する。
 (1)ファイルタイプボックス(ftyp)101、
 (2)プロファイルボックス(uuid(PROF))102、
 (3)ムービーボックス(moov)103、
 (4)実データボックス(mdat)104、
 これらのボックスを有する。
 (1)ファイルタイプボックス(ftyp)101には、ファイルタイプについての記録情報が含まれる。
 (2)プロファイルボックス(uuid(PROF))102には、例えば、フレームレートなどのファイル情報が記録される。
 (3)ムービーボックス(moov)103には、格納データの管理情報(メタデータ)が記録される。
 (4)実データボックス(mdat)104には、符号化された(圧縮)画像や音声データなど実データが記録される。
 実際の再生対象となる画像データや音声データは、(4)実データボックス(mdat)104に格納される。(1)~(3)の各情報、すなわち、ファイルタイプボックス(ftyp)101、(2)プロファイルボックス(uuid(PROF))102、(3)ムービーボックス(moov)103、これらの各ボックスには、実データの索引情報や属性情報等の管理情報が格納される。なお、属性情報には実データボックス(mdat)104に格納される実データの復号処理(伸張処理)に適用するための情報などが含まれる。また実データが暗号化されている場合は、その復号処理に適用する情報等も記録される。
 なお、ムービーボックス(moov)103には、実データボックス(mdat)104に格納された実データの区分データであるトラック単位で管理データ(メタデータ)が記録される。
 トラックは、例えば、画像データに対応するビデオトラック、音声データに対応するオーディオトラック等がある。なお、日本語対応の第1オーディオトラック、英語対応の第2オーディオトラックなどの設定も可能である。また、異なる画像に対応する第1ビデオトラック、第2ビデオトラック等、細分化したトラック設定も可能である。
 なお、図1に示すムービーボックス(moov)103には、1つのトラック(trak(video track))に対応するメタデータを格納した1つのトラックボックス111のみを示しているが、これはトラックボックスの代表例を示したものである。実際には、ムービーボックス(moov)103には、図1に示すトラックボックス111と同じ形式のボックスがトラック数に応じて格納される。
 トラックボックス111には実データの区分領域として設定されるトラック単位のデータ対応のメタデータが記録される。
 トラックボックス111内には、サンプルディスクリプションボックス(stsd)112、さらにその下位にAVコーデックボックス(avc1)113が格納される。
 トラックをさらに区分した領域がサンプルであり、1以上のサンプルによって1つのトラックが設定される。
 すなわち実データは1以上のトラックによって構成され、1トラックはさらに1以上のサンプルによって構成される。
 図1には、トラックボックス111の中に1つのサンプルディスクリプションボックス(stsd)112を示している。トラックボックスには必ず1つのサンプルディスクリプションボックス(stsd)が存在する。
 サンプルディスクリプションボックス(stsd)112の下位ボックスが、AVコーデックボックス(avc1)113であり、AVコーデックボックス(avc1)113にサンプル対応の実データのコーデック詳細情報、すなわち、実データの要素であるサンプルの復号再生処理に必要とする詳細情報(コーデック情報)が記録される。なお、このAVコーデックボックス(avc1)113には、MP4の復号処理に関する情報のみならず、例えば暗号化態様に関する情報などの記録も可能である。
 MP4ファイルをDVD等のメディアから読み出して再生する装置、あるいはMP4ファイルを、通信手段を介して受信して再生する装置は図1に示す構成を持つMP4ファイルの管理情報、すなわち、ファイルタイプボックス(ftyp)101、プロファイルボックス(uuid(PROF))、ムービーボックス(moov)103の少なくともいずれかに格納された管理情報を読み取り、実データボックス(mdat)104に格納された実データの詳細について確認する。この管理情報の確認処理によってトラックおよびサンプル単位で詳細なコーデック情報を取得して、その情報に従った復号処理を実行する。このような処理によりMP4データの復号および再生処理を行うことができる。
 しかし、前述したように、現行のMP4フォーマットの管理情報には、MP4ファイルに格納された画像が3次元(3D)画像であるのか、2次元(2D)画像であるかを識別するための情報を記録する領域が規定されていない。
 従って、MP4ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介して受信して再生しようとする装置は、実際に画像を取得し解析または再生しなければMP4ファイルの格納データが3次元画像データであるのか2次元画データであるのかを把握できない。結果として例えば3次元画像の表示機能を持たない表示装置に3次元画像データが誤って表示されてしまうといった事態が発生する。また、前述したように現行の管理情報のみでは自装置において再生または表示可能な3次元画像であるか否かについての確認もできない。
 このように現行のMP4のフォーマットを利用した場合、MP4ファイルに格納された画像が3次元画像である場合、実際に実データボックス(mdat)104から画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
  [2.3次元画像管理情報をMP4ファイルの管理情報中に記録する構成について]
 以下では、上述した問題を解決する構成として、3次元画像についての管理情報をMP4ファイルの管理情報中に記録する複数の実施例について、以下説明する。
 以下に示す3つの実施例について、順次説明する。
 (1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)
 (2)AVコーデックボックス(avc1)に3次元画像識別情報を記録する実施例(実施例2)
 (3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像識別情報を記録する実施例(実施例3)
 なお、これらの各実施例は単独の構成としても実施可能であるが、複数の実施例を組み合わせて利用する構成も可能である。
  [2A.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]
 まず、図2を参照してプロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例について説明する。
 図2は、本実施例で提案するプロファイルボックス(uuid(PROF))に含まれるビデオ管理フラグ(video_attribute_flag)の上位16ビット(0001h~0010h)の構成を示す図である。なお(h)は16進数の表記であることを意味している。
 図2に示すビデオ管理フラグ(video_attribute_flag)の上位16ビット中、前半(0001h~0004h)のデータは、従来のMP4において既に規定されているフィールドであり、例えば以下のデータ領域として規定されている。
 0001h:IDR(Instantaneous Decoder Refresh)フレーム間隔情報、
 0002h:リカバリポイントSEIメッセージの有無情報、
 これらはMP4の復号に適用する情報である。
 0004h~はリザーブ領域である。
 本実施例では、ビデオ管理フラグ(video_attribute_flag)の上位16ビット(0001h~0010h)の後半部にMP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データが3次元画像を含むか否かの情報を格納する。
 具体的には、図2に示すように以下の3次元画像識別情報を格納する。
 0008h:ステレオビデオフラグ(stereo video flag)201、
 0010h:ミックスステレオビデオフラグ(Mixed stereo video flag)202、
 これらの各フラグを3次元画像識別情報として設定する。
 各フラグの値の具体的な内容について図3を参照して説明する。
 MP4ファイルに格納される画像データの態様としては、図3に示すように3パターンある。
 (a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
 (b)MP4ファイルに格納された画像データが全て2次元画像
 (c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
 これらの3パターンである。
 ステレオビデオフラグ201は、MP4ファイルに格納されたすべての画像データに3次元画像が含まれる場合はビット値=1、含まれない場合はビット値=0との設定とする。
 従って、図3に示す
 (a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
 この(a)の場合にのみ、ビット値=1となる。
 また、
 (b)MP4ファイルに格納された画像データが全て2次元画像
 (c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
 これら(b),(c)の場合はビット値=0となる。
 一方、ミックスステレオビデオフラグ202は、MP4ファイルに格納された画像データが3次元画像と2次元画像の混在データである場合はビット値=1、それ以外は、ビット値=0との設定とする。
 従って、図3に示す
 (c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
 この(c)の場合にのみビット値=1となる。
 また、
 (a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
 (b)MP4ファイルに格納された画像データが全て2次元画像
 これら(a),(b)の場合には、ビット値=0となる。
 これらのフラグ設定により、以下のデータ識別が可能となる。
 (ケース1)
 ステレオビデオフラグ=1、ミックスステレオビデオフラグ=0、
 この場合は、
 (a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
 であると判定する。
 (ケース2)
 ステレオビデオフラグ=0、ミックスステレオビデオフラグ=0、
 この場合は、
 (b)MP4ファイルに格納された画像データが全て2次元画像
 であると判定する。
 (ケース3)
 ステレオビデオフラグ=0、ミックスステレオビデオフラグ=1、
 この場合は、
 (c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
 であると判定する。
 このように、本実施例の構成により、MP4ファイルのプロファイルボックス(uuid(PROF))のビデオ管理フラグ(video_attribute_flag)に設けられたステレオビデオフラグ201と、ミックスステレオビデオフラグ202のフラグ設定を確認するのみで、MP4ファイルに格納された画像データの3次元画像情報を得ることができる。具体的には、MP4ファイルに格納された画像データが下記のいずれのタイプであるかを確認することが可能となる。
 (タイプa)3次元画像のみから構成されている、
 (タイプb)2次元画像のみから構成されている、
 (タイプc)3次元画像と2次元画像の混在データである、
 これらの各タイプを判別することが可能となる。
 なお、図3に示すビット値の設定例は一例であり、この逆のビット値の設定としてもよく、上記の各タイプの判別が可能なビット値設定とする様々な設定が可能である。
 MP4ファイルを記録メディアから読み出して再生しようとする装置、あるいは通信手段を介してMP4ファイルを受信して再生しようとする装置は、MP4ファイルの実データボックス(mdat)から実際に画像を取得する以前にプロファイルボックス(uuid(PROF))内に設定されたステレオビデオフラグ201と、ミックスステレオビデオフラグ202のフラグ設定を確認することで、MP4ファイルの格納データの3次元画像情報を取得することが可能となる。従って、例えば3次元画像の表示機能を持たない表示装置に3次元画像データが誤って表示されてしまうといった事態を防止できる。
  [2B.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]
 次に、図4を参照してAVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例について説明する。
 なお、先に図1を参照して説明したように、AVコーデックボックス(avc1)は、ムービーボックス(moov)の下位のトラックボックス111のさらに下位のサンプルディスクリプションボックス(stsd)の下位に設定されるボックスである。
 AVコーデックボックス(avc1)は、先に説明したように、実データボックス(mdat)に格納される実データを区分した区分データであるサンプルのコーデック情報等が記録されるボックスである。
 なお、この場合はトラックに含まれるサンプルの全てのコーデック情報がAVコーデックボックス(avc1)に設定されることになる。サンプルディスクリプションボックス(stsd)の下位には1または複数のAVコーデックボックス(avc1)の設定が可能である。ただし、内容が同じ場合は複数設定する必要はない。つまり、サンプル数とAVコーデックボックスの数は一致する必要はなく、サンプル数が複数でもAVコーデックボックスを1つとする設定などが可能である。
 本実施例2では、このAVコーデックボックス(avc1)に3次元画像詳細情報を記録する。図4に、本実施例に係るAVコーデックボックス(avc1)のデータ構成例を示す。
 図4に示すデータ領域301の情報は、従来のMP4ファイルフォーマットに既に規定されているコーデック情報格納領域である。このデータ領域301には、以下の各情報ボックスが設定される。
 AVCConfigurationBox
 MPEG4BitRateBox
 MPEG4ExtentionDescriptorBox
 これらのボックスにはMP4符号化データの復号処理に必要となる情報、すなわちコーデック情報が記録される。これらのコーデック情報は2次元画像にも3次元画像に共通に利用される。
 本実施例では、これら既存のコーデック情報ボックスに加え、図4に示すように、
 ステレオビデオ情報ボックス(Stereo Video Description Box)302
 を追加する。
 ステレオビデオ情報ボックス302には、MP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データに3次元画像が含まれるか否かの情報や、3次元画像が含まれる場合、その3次元画像データに関する詳細情報を記録する。詳細情報には例えば3次元画像の表示方式情報などが含まれる。
 前述したように、3次元画像(3D画像)の表示方式には様々な方式がある。例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応した方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応した方式などがある。例えばこれらの各表示方式に応じて、MP4ファイルに格納される記録データの記録形式も異なってくる。
 ステレオビデオ情報ボックス302には、MP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データがいずれの方式に対応した記録データであるかについての情報も含まれる。
 なお、3次元画像データの記録方式としては、例えば、
 フレームシーケンシャル(Frame Sequential)方式、
 サイドバイサイド(Side by Side)方式、
 トップアンドボトム(Top&Bottom)方式、
 などがある。
 フレームシーケンシャル(Frame Sequential)方式は、左目用画像(L画像)と右目用画像(R画像)のフレームをL、R、L、R、・・・と交互に記録した方式である。
 サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録した方式である。
 トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録した方式である。
 これらの画像記録方式など、3次元画像の再生や表示処理に利用される3次元画像詳細情報がステレオビデオ情報ボックス302に記録される。
 MP4ファイルを記録メディアまたは通信手段等を介して取得して再生しようとする装置は、MP4ファイルの実データボックス(mdat)から実際に画像を取得する以前に、AVコーデックボックス(avc1)に設定されたステレオビデオ情報ボックス302の3次元画像情報を取得することで、MP4ファイルの格納データの3次元画像データがどのような記録方式や表示方式に対応したデータであるか等の3次元画像の再生や表示処理に適用する詳細情報を取得することが可能となる。
 従って、例えば3次元画像の表示機能を持たない表示装置に3次元画像データが誤って表示されてしまうといった事態を防止できる。また、自装置において再生または表示可能な3次元画像であるか否かについての確認も可能となるので、自装置が処理可能なデータであることの確認を行った後に、MP4ファイルの格納データを取り出して復号、再生処理を開始することが可能となり、無駄な処理の実行を排除することが可能となる。
 AVコーデックボックス(avc1)に対する3次元画像詳細情報の記録形式としては様々な設定が可能であるが、以下、その一例について説明する。
 Advanced Video Coding(MPEG4-AVC)を規定したISO/IEC14496においては、既に通常のコーデック情報として、再生用の各画像フレームを構築するためのフレーム構成情報(Frame Packing Arangement SEI)を規定している。
 以下、説明する3次元画像詳細情報の記録形式の一例は、この既存のフレーム構成情報(Frame Packing Arrangement SEI)とほぼ同様の形式を用いた例である。
 ステレオビデオ情報ボックス302に記録する3次元画像詳細情報の一例であるフレーム構成情報(Frame Packing Arrangement SEI)の具体的なデータ設定例について、以下説明する。
 なお、以下の例では、3次元画像の以下の記録方式、すなわち、
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これら、異なる3次元画像の記録方式に対応するフレーム構成情報の設定例について説明する。
 3次元画像詳細情報の設定例の説明の前に、まず図5~図7を参照して以下の3次元画像のデータ復元処理と再生処理方法について説明する。
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 図5は、(a)フレームシーケンシャル方式[FS:Frame Sequential]に従ったデータ復元処理と再生処理方法を説明する図である。
 図5にはMP4のデコード結果として得られるデコード画像フレーム321と、表示画像フレーム322を示している。
 フレームシーケンシャル方式では左目用画像(L画像)と、右目用画像(R画像)がLRLRLR・・・と交互に記録される。従って、MP4デコード結果から得られる画像は。表示画像フレーム322としてのL画像、R画像として利用される。
 図6は、(b)サイドバイサイド方式[SbS:Side by Side]に従ったデータ復元処理と再生処理方法を説明する図である。
 図6には、
 MP4デコード結果画像331、
 アンパックL画像(フレーム0)332、
 アンパックR画像(フレーム1)333、
 表示用L画像(フレーム0)334、
 表示用R画像(フレーム1)335、
 これらの画像データを示している。
 サイドバイサイド方式[SbS:Side by Side]では、MP4デコード結果画像331に示すように、左目用画像(L画像)と、右目用画像(R画像)が1つの画像フレームの左右に区分された領域に格納される。
 この画像から、まず、アンパック処理を実行して、アンパックL画像(フレーム0)332、アンパックR画像(フレーム1)333を生成する。さらに、伸張処理(アップコンバート)を実行して表示用L画像(フレーム0)334と、表示用R画像(フレーム1)335を生成する。
 このようにフレーム0,フレーム1が1組の画像フレームとして設定される、
 図7は、(c)トップアンドボトム方式[T&B:Top&Bottom]に従ったデータ復元処理と再生処理方法を説明する図である。
 図7には、
 MP4デコード結果画像341、
 アンパックL画像(フレーム0)342、
 アンパックR画像(フレーム1)343、
 表示用L画像(フレーム0)344、
 表示用R画像(フレーム1)345、
 これらの画像データを示している。
 トップアンドボトム方式[T&B:Top&Bottom]では、MP4デコード結果画像341に示すように、左目用画像(L画像)と、右目用画像(R画像)が1つの画像フレームの上下に区分された領域に格納される。
 この画像から、まず、アンパック処理を実行して、アンパックL画像(フレーム0)342、アンパックR画像(フレーム1)343を生成する。さらに、伸張処理(アップコンバート)を実行して表示用L画像(フレーム0)344と、表示用R画像(フレーム1)345を生成する。
 トップアンドボトム方式でも、フレーム0,フレーム1が1組の画像フレームとして設定される、
 このように、3次元画像の再生、表示を実行する装置では3次元画像の方式に従った処理を行うことが必要である。本実施例の構成では、MP4ファイルに格納された画像がどの方式に従った3次元画像であるかを識別するための詳細情報をステレオビデオ情報ボックス302内にフレーム構成情報(Frame Packing Arrangement SEI)として記録する。
 図8、図9を参照して、AVコーデックボックス内に設定するステレオビデオ情報ボックス302に記録する3次元画像詳細情報としてのフレーム構成情報のデータ設定例について説明する。
 図8、図9は、MP4ファイルに格納された3次元画像が以下の3種類の方式に対応する場合のデータ設定例を示す図である。
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの各方式に対応するフレーム構成(Frame Packing Arrangement SEI)情報のデータ設定例である。
 以下、図8に示す3次元画像詳細情報としてのフレーム構成情報の各データについて説明する。
 フレームパッキングアレンジメントキャンセルフラグ
 (frame_packing_arrangement_cancel_flag)
 このフラグが1の場合、フレーム構成情報を使用しないことを示す。
 ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフレーム構成情報を使用することを示す0を設定する。なお、[0b]の(b)は、2進数の表記であることを意味している。
 5点系サンプリングフラグ
 (quincux_sampling_flag)
 このフラグが1の場合、画像フレームのサンプリングポイントが3×3画素の5点に設定されていることを示す。
 このフラグは主に復号処理におけるサンプリング位置を示す情報として用いられる。
 ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフラグは0に設定する。
 コンテンツ説明タイプ
 (content_interpretation_type)
 このフィールドの値としては例えば0~2の各値をとり、
 0=フレーム相互の関係がない場合の設定値、
 1=3次元(ステレオ)画像用のフレーム構成情報であり、フレーム0が左目用フレーム、フレーム1が右目用フレームである場合の設定値、
 2=3次元(ステレオ)画像用のフレーム構成情報であり、フレーム0が右目用フレーム、フレーム1が左目用フレームである場合の設定値、
 これらのコンテンツ説明タイプ情報が記録される。
 ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフラグは1に設定する。
 スペーシャルフリッピングフラグ
 (spatial_fliping_flag)
 スペーシャルフリップフラグ
 (frame0_flipped_flag)
 これらのフラグは、画像フレームの構成方向、例えば水平方向または垂直方向に連結してフレームを構成するかの情報を格納する。
 このフラグ設定は2次元画像のアップコンバート(伸張処理)の態様を決定するために用いられる。
 ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は0に設定する。
 フィールドビューフラグ
 (field_views_flag)
 フレームのインターリービング処理の態様についての情報が記録される。
 ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、このフラグは利用せず、このフラグ値は0に設定する。
 フレームパッキングアレンジメントリザーブバイト
 (frame_packing_arrangement_reserved_byte)
 フレームパッキングアレンジメントリピテーションバイト
 (frame_packing_arrangement_repetition_period)
 フレームパッキングアレンジメントエクステンションバイト
 (frame_packing_arrangement_extension_flag)
 これらのフィールドは、リザーブ、繰り返しデータ、拡張データの記録フィールドである。
 ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は0に設定する。
 図9も、以下の3次元画像の3つの記録タイプ、
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの3つの形式に対応するフレーム構成(Frame Packing Arrangement SEI)情報の設定例を示す図である。
 フレーム構成タイプ
 (frame_packing_arrangement_type)
 このフィールドには、3次元画像のタイプによって異なる値を設定する。
 例えば、
 (a)フレームシーケンシャル方式[FS]=000101b(5)、
 (b)サイドバイサイド方式[SbS]=0000011b(3)、
 (c)トップアンドボトム方式[T&B]=0000100b(4)、
 再生装置は、このフィールドの設定値に基づいて、トラックに格納された3次元画像が、どの方式の3次元画像データであるかを判別することができる。すなわち、トラックに格納された3次元画像が、フレームシーケンシャル方式[FS]、サイバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式の3次元画像データであるかについて判別することが可能となる。
 現フレーム=フレーム0フラグ
 (current_frame_is_frame0_flag)
 このフィールドにはMP4デコード結果として得られる現フレームがフレーム0に対応するフレームであるか否かの情報が記録される。
 3次元画像がL画像,R画像,L画像,R画像フレームの繰り返しとして記録される「(a)フレームシーケンシャル方式[FS]」の場合は、デコード結果として得られるフレーム単位で左目用画像(L画像)であるか右目用画像(R画像)であるかを判別することが必要となる。
 従って、(a)フレームシーケンシャル方式[FS]の場合は、このフィールドに、
 右目用画像(R画像)=0、
 左目用画像(L画像)=1、
 例えば上記の値を設定する。
 その他の方式、(b)サイドバイサイド方式[SbS]と、(c)トップアンドボトム方式[T&B]の各方式では、図6、図7を参照して説明したようにMP4デコード結果として得られるフレームに基づいて、左目用画像(L画像=フレーム0)と右目用画像(R画像=フレーム1)の双方を生成するので、MP4デコード結果に対する判別処理は不要となるので、このフィールドの値は0に設定する。
 フレーム0セルフコンテインドフラグ
 (frame0_self_contained_flag)
 フレーム1セルフコンテインドフラグ
 (frame1_self_contained_flag)
 これらはフレーム0,1の設定されたフレーム間で相互のフレームを参照すべきである場合にフラグの値として1を設定する。
 ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においてもこの情報は不要であり、このフラグの値は0に設定する。
 フレーム0グリッドポジションX
 (frame0_grid_position_x)
 フレーム0グリッドポジションY
 (frame0_grid_position_y)
 フレーム1グリッドポジションX
 (frame1_grid_position_x)
 フレーム1グリッドポジションY
 (frame1_grid_position_y)
 これらは画像フレームの構成処理に際して参照する画素位置を示すためのデータフィールドである。
 ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合は、フレームシーケンシャル方式[FS]ではN/A(無効値)、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]ではフラグ値=0を設定する。
 例えば、図6、図7を参照して説明したサイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]ではすべてフラグ値=0を設定する。これは、フレーム0,1とも(X,Y)=(0,0)で指定される左上端の座標位置に参照位置が設定されていることを示している。
 図8、図9を参照して説明したように、ステレオビデオ情報ボックス302内のフレーム構成(Frame Packing Arrangement SEI)情報には、
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの各方式に対応するフレーム構成情報(Frame Packing Arrangement SEI)の設定値がそれぞれ設定される。
 3次元画像の再生、表示を実行する装置は、ステレオビデオ情報ボックス302内の3次元画像詳細情報を参照することで、MP4ファイルに格納された画像がどの方式に従った3次元画像であるかを識別することが可能となる。
 すなわち、例えば図8、図9を参照して説明したフレーム構成情報(Frame Packing Arrangement SEI)の設定値を参照することで、MP4ファイルに格納された画像がどの方式に従った3次元画像であるかを識別可能となり、格納画像の方式に対応した復元処理を実行して正しい3次元画像表示用データを生成して再生、表示することが可能となる。
 従って、例えば3次元画像の表示機能を持たない表示装置に3次元画像データが誤って表示されてしまうといった事態を防止できる。
 また、自装置の実行可能な3次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス(mdat)104(図1参照)に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
 なお、上記実施例では、
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの各方式に対応する3次元画像詳細情報を記録した例について説明したが、その他の方式に従った情報を記録する構成としてもよい。また、図8、図9を参照して説明したフレーム構成情報(Frame Packing Arrangement SEI)に限らず、その他の形式で3次元画像詳細情報を作成してAVコーデックボックス(avc1)に記録する構成としてもよい。
  [2C.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]
 次に、図10以下を参照してMP4ファイルのAVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例について説明する。
 なお、先に図1を参照して説明したように、AVコーデックボックス(avc1)は、ムービーボックス(moov)の下位のトラックボックス111のさらに下位のサンプルディスクリプションボックス(stsd)の下位に設定されるボックスである。
 AVコーデックボックス(avc1)は、先に説明したように、実データボックス(mdat)に格納される実データを区分したデータであるサンプルのコーデック情報等が記録されるボックスである。
 なお、この場合はトラックに含まれるサンプルの全てのコーデック情報がAVコーデックボックス(avc1)に設定されることになる。サンプルディスクリプションボックス(stsd)の下位には1または複数のAVコーデックボックス(avc1)の設定が可能である。ただし、内容が同じ場合は複数設定する必要はない。つまり、サンプル数とAVコーデックボックスの数は一致する必要はなく、サンプル数が複数でもAVコーデックボックスを1つとする設定などが可能である。
 本実施例3では、実施例2と同様、このAVコーデックボックス(avc1)に3次元画像詳細情報を記録する。ただし、本実施例3ではAVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する。
 MP4のファイルフォーマットを規定するISO/IEC14496では、MP4に格納されるデータが例えば暗号化データとして格納されるなど、MP4ファイルの格納データが何らかの変換データとして記録されている場合、そのデータについてのデータ構成情報を記録するための領域としてスキーム情報ボックス(sinf)を規定している。例えば、MP4ファイルの格納データが暗号化された変換データとして記録されている場合、その暗号化態様情報を記録するための領域としてスキーム情報ボックス(sinf)を規定している。
 なお、MP4のファイルフォーマットを規定するISO/IEC14496の現行規定においては、データ構成情報を格納するスキーム情報ボックス(sinf)は、AVコーデックボックス(avc1)の下位に1つ設定することができると規定している。
 例えばMP4格納データが暗号化データである場合、再生装置はAVコーデックボックス(avc1)内に設定されたスキーム情報ボックス(sinf)を参照することで、暗号化データの復号に必要となる情報を得ることが可能となる。
 本実施例では、このスキーム情報ボックスを利用する。すなわち、3次元(ステレオ)画像についてのデータ構成情報を格納したスキーム情報ボックスを定義する。
 図10を参照して、3次元(ステレオ)画像についてのデータ構成情報、すなわち3次元画像詳細情報をスキーム情報ボックス(sinf)に格納する例について説明する。
 図10には、
 (a)MP4ファイル400、
 (b)AVコーデックボックス(avc1)401、
 (c)3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405、
 これらのデータ構成を示している。
 例えばMP4ファイル400に3次元画像が含まれない場合、3次元画像詳細情報を記録したスキーム情報ボックス(sinf)は設定されず、MP4ファイル内のAVコーデックボックス(avc1)は、例えば図10(b)に示すようなAVコーデックボックス(avc1)401、すなわちAVCデータ構成情報を格納したAVCデータ構成情報ボックス[AVCConfigurationBox]402のみを有するデータ構成となる。AVCデータ構成情報ボックス[AVCConfigurationBox]402には、MP4データの復号処理に必要となるコーデック情報が記録される。
 MP4ファイルに3次元画像が含まれる場合、図10(b)に示すAVコーデックボックス(avc1)401は、図10(c)に示す3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405として設定する。
 なお、図10(b)に示す3次元画像情報スキーム情報ボックスを含まないAVコーデックボックス(avc1)401のボックス名に相当するコード(4CC:four-character-code)は[avc1]であるが、
 図10(c)に示す3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405は、ボックス名に相当するコード(4CC:four-character-code)をステレオビデオデータに関する情報を含むことを示す[stev]に変更する。すなわち、ボックス名(4CC)から3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405であることが判別可能となる。なお、ボックス名(4CC)はAVコーデックボックス405のファイル名に対応しており、再生装置は、ファイル名から3次元画像情報スキーム情報ボックスを含むAVコーデックボックスであることを判別できる。
 3次元画像情報スキーム情報ボックス410は、
 フォーマット情報ボックス(frma)411、
 スキームタイプボックス(SchemeTypeBox)412、
 スキーム詳細情報ボックス(SchemeInformationBox)413、
 これらの各ボックスを有する。
 フォーマット情報ボックス(frma)411はフォーマット情報を記録している、例えばAVCフォーマットに従ったデータであることを示す場合、
 data_format='avc1'
 このようなフォーマット情報が記録される。
 スキームタイプボックス(SchemeTypeBox)412には、このスキーム情報ボックス410のタイプを示す情報が記録される。本例では、スキーム情報ボックス410は3次元画像の詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス(SchemeTypeBox)412には、3次元画像詳細情報を格納したスキーム情報ボックスであることを示すタイプ情報が記録される。
 スキーム詳細情報ボックス(SchemeInformationBox)413には、具体的な3次元画像の詳細情報が記録される。スキーム詳細情報ボックス(SchemeInformationBox)413に格納される3次元画像詳細情報は、先の実施例2において説明したフレーム構成情報(Frame Packing Arrangement SEI)と同様の情報を含むものである。3次元画像の再生、表示処理を実行する際に必要となる情報が記録されている。
 具体的には、例えば、
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの各方式に対応する3次元画像詳細情報が記録される。
 3次元画像の再生、表示を実行する装置は、AVコーデックボックス(avc1)の下位情報として設定された3次元画像情報スキーム情報ボックス410のスキーム詳細情報ボックス(SchemeInformationBox)413から3次元画像詳細情報を取得することで、MP4ファイルに格納された画像がどの方式に従った3次元画像であるかを識別することが可能となる。再生装置は、3次元画像情報スキーム情報ボックス410のスキーム詳細情報ボックス(SchemeInformationBox)413の記録情報を参照して、格納画像の方式に対応した復元処理を実行して正しい3次元画像表示用データを生成して再生、表示することが可能となる。
 従って、例えば3次元画像の表示機能を持たない表示装置に3次元画像データが誤って表示されてしまうといった事態を防止できる。
 また、自装置の実行可能な3次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス(mdat)104(図1参照)に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
 次に、図11を参照して、MP4ファイルの実データボックス(mdat)に格納されたデータが3次元画像データであり、さらに暗号化データでもある場合のスキーム情報ボックスの利用構成について説明する。
 図11には、
 (c)3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405、
 (d)3次元画像情報スキーム情報ボックス410を入れ子として階層化して設定した暗号化情報スキーム情報ボックス420を持つAVコーデックボックス407、
 これらのデータ構成を示している。
 (c)のデータは、図10(c)のデータと同じ構成を持つAVコーデックボックス405である。
 MP4ファイルに格納された実データが3次元画像であり、さらに暗号化されている場合、再生装置は、第1のデータ構成情報(3次元画像詳細情報)のみならず、第2のデータ構成情報(暗号化情報)が必要となる。
 図11に示す例では、これらの個別のデータ構成情報を個別のスキーム情報ボックスとして設定して、これらを階層化して記録する構成としている。
 図11に示す例では、複数のスキーム情報ボックス(sinf)を階層化(入れ子状態)してAVコーデックボックスに格納している。
 すなわち、図11(d)に示すAVコーデックボックス(encv)407に示すように、
 (1)3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する第1のスキーム情報ボックス(sinf)410、
 (2)暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する第2のスキーム情報ボックス(sinf)420、
 これら2つのスキーム情報ボックスを階層化、すなわち入れ子状態に設定してAVコーデックボックスに格納している。
 本実施例では、図11(d)に示すように、3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納した第1のスキーム情報ボックス(sinf)410を、暗号化処理についてのデータ構成情報(暗号化態様情報)を格納した第2のスキーム情報ボックス(sinf)420のフォーマット情報ボックス(frma)の下位に設定したボックスとしている。
 なお、図10(b)に示す3次元画像情報スキーム情報ボックスを含まないAVコーデックボックス(avc1)401のボックス名に相当するコード(4CC:four-character-code)は[avc1]であり、図11(c)に示す3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405は、ボックス名に相当するコード(4CC:four-character-code)がステレオビデオデータに関する情報を含むことを示す[stev]である。
 さらに、図11(d)に示す3次元画像情報スキーム情報ボックス410を入れ子として含む暗号化情報スキーム情報ボックス420を持つAVコーデックボックス407は、ボックス名に相当するコード(4CC:four-character-code)を暗号化ビデオデータに関する情報を含むことを示す[encv]として設定する。これにより、ボックス名(4CC)から暗号化情報スキーム情報ボックス420を含むAVコーデックボックス405であることが判別可能となる。
 第1のスキーム情報ボックス(sinf)410には、3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する。
 第1のスキーム情報ボックス(sinf)410は、先に図10を参照して説明したと同様のボックス、すなわち、
 フォーマット情報ボックス(frma)411、
 スキームタイプボックス(SchemeTypeBox)412、
 スキーム詳細情報ボックス(SchemeInformationBox)413、
 これらの各ボックスを有する。
 フォーマット情報ボックス(frma)411はフォーマット情報を記録している、例えばAVCフォーマットに従ったデータであることを示す場合、
 data_format='avc1'
 このようなフォーマット情報が記録される。
 スキームタイプボックス(SchemeTypeBox)412には、このスキーム情報ボックス410のタイプを示す情報が記録される。本例では、スキーム情報ボックス410は3次元画像の詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス(SchemeTypeBox)412には、3次元画像の詳細情報を格納したスキーム情報ボックスであることを示すタイプ情報が記録される。
 スキーム詳細情報ボックス(SchemeInformationBox)413には、具体的な3次元画像の詳細情報が記録される。スキーム詳細情報ボックス(SchemeInformationBox)413に格納される3次元画像詳細情報は、先の実施例2において説明したフレーム構成情報(Frame Packing Arrangement SEI)と同様の情報を含むものである。
 すなわち、例えば、
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの各方式に対応する3次元画像詳細情報を記録する。
 再生装置は、この第1のスキーム情報ボックス(sinf)410に格納された3次元画像詳細情報を参照することで、MP4ファイルの実データボックス(mdat)に格納された3次元画像の詳細情報を得ることが可能となる。
 また、第2のスキーム情報ボックス(sinf)420には、暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する。
 第2のスキーム情報ボックス(sinf)420は、
 フォーマット情報ボックス(frma)421、
 スキームタイプボックス(SchemeTypeBox)422、
 スキーム詳細情報ボックス(SchemeInformationBox)423、
 これらの各ボックスを有する。
 フォーマット情報ボックス(frma)421は、3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納した第1のスキーム情報ボックス(sinf)410を下位階層のデータ、すなわち入れ子状態として保持している。
 さらに、フォーマット情報を記録している。この例では、3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納した第1のスキーム情報ボックス(sinf)410を格納していることを示すフォーマットデータとして、
 data_format='stev'
 このようなフォーマット情報が記録される。
 スキームタイプボックス(SchemeTypeBox)422には、このスキーム情報ボックス420のタイプを示す情報が記録される。本例では、スキーム情報ボックス420は暗号化処理についての詳細情報を格納したスキーム情報ボックスであるので、スキームタイプボックス(SchemeTypeBox)422には、暗号化詳細情報を格納したスキーム情報ボックスであることを示す情報が記録される。
 スキーム詳細情報ボックス(SchemeInformationBox)423には、具体的な暗号化処理の詳細情報が記録される。スキーム詳細情報ボックス(SchemeInformationBox)423に格納される暗号化情報は、再生装置において暗号化データを復号するために必要となる情報が記録される。
 再生装置は、この第2のスキーム情報ボックス(sinf)420に格納された暗号化態様情報を参照して、MP4ファイルの実データボックス(mdat)に格納されたデータの復号処理に必要な情報を得ることが可能となる。
 再生処理や表示処理を行う場合に、異なるデータ構成情報、すなわち3次元画像情報や暗号化情報等のように、異なるデータ構成情報が必要となる場合、図11(d)に示すようにそれぞれのデータ構成情報に対応するスキーム情報ボックスを設定し、これらを階層化構成(入れ子)としてAVコーデックボックス内に記録する。
 このようなデータ構成情報記録処理を行うことで、MP4ファイルに格納された実データの再生、表示処理に必要となる全ての情報をAVコーデックボックスから取得することが可能となる。
 なお、図11を参照して説明した例は、以下の2つのスキーム情報ボックス、すなわち、
 (1)3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する第1のスキーム情報ボックス(sinf)410、
 (2)暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する第2のスキーム情報ボックス(sinf)420、
 これら2つの異なるデータ構成情報に対応するスキーム情報ボックスを階層化、すなわち入れ子状態に設定してAVコーデックボックスに格納した例である。
 この他にもMP4ファイルに格納した実データに関する様々なデータ構成情報について、例えば3以上の複数階層に設定した多数のスキーム情報ボックスを設定することが可能である。本実施例のようにスキーム情報ボックスの階層化(入れ子)構成を用いることで、再生、表示処理の際に必要となる様々なデータ構成情報やデータ変換情報をいくつでも設定して管理情報として記録することが可能となる。
 再生装置は、これらの管理情報を取得することで、MP4ファイルに格納された実データを誤りなく再生、表示することが可能となる。
  [3.画像処理装置の実行する画像処理シーケンスについて]
 次に、本発明の一実施例に係る画像処理装置の実行する画像処理シーケンスについて、図12、図13に示すフローチャートを参照して説明する。
 図12は、画像データの記録処理シーケンスを説明するフローチャートである。
 図13は、画像データの再生処理シーケンスを説明するフローチャートである。
 まず、図12に示すフローチャートを参照して画像データの記録処理シーケンスについて説明する。
 この図12に示すフローチャートに従った処理は、例えば画像を撮影し記録メディアに記録する処理を実行するカメラ等の撮像装置において実行される。例えば撮像装置に備えられたCPU等の制御部の制御の下で実行される処理である。
 図12に示すフローチャートの各ステップの処理について説明する。
 ステップS101において、例えば撮影処理によって取得され記録メディアに記録する予定のデータが3次元画像データを含むか否かを判定する。
 ステップS101において、メディアへの記録予定データに3次元画像データが含まれる場合は、ステップS101の判定はYesとなり、ステップS102に進む。
 ステップS102では、MP4ファイルのプロファイルボックスに3次元画像識別情報を記録する。
 この処理は、先に説明した[[3-1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明した処理である。
 図2を参照して説明した以下のフラグ、すなわち、
 ステレオビデオフラグ(stereo video flag)201、
 ミックスステレオビデオフラグ(Mixed stereo video flag)202、
 これらの各フラグの値として、記録予定データの種類に応じて図3に示すフラグの値を設定する。
 次に、ステップS103において、記録予定の3次元画像データの方式を判定する。なお、このフローでは、A、B、Cの3タイプについて判別する例としている。これらは、例えば、先の実施例2,3において説明した以下の3タイプに対応する。
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの各方式に対応する。
 ステップS103の判定が方式Aと判定された場合は、ステップS104に進み、MP4ファイルのAVコーデックボックスに方式Aに対応する3次元画像詳細情報を記録する。
 また、ステップS103の判定が方式Bと判定された場合は、ステップS105に進み、MP4ファイルのAVコーデックボックスに方式Bに対応する3次元画像詳細情報を記録する。
 また、ステップS103の判定が方式Cと判定された場合は、ステップS106に進み、MP4ファイルのAVコーデックボックスに方式Cに対応する3次元画像詳細情報を記録する。
 このステップS104~S106の処理は、先に説明した実施例2または実施例3の処理に対応する。
 すなわち、前述の[3-2.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]、または、[3-3.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]、これらの処理に対応する。
 なお、実施例2の処理または実施例3の処理のいずれかを実行する構成としてもよいし、両者を実行する構成としてもよい。
 なお、AVコーデックボックスは図1を参照して説明したように、ムービーボックス(moov)の下位のトラックボックスのさらに下位のサンプルディスクリプションボックス(stsd)の下位に設定されるコーデック情報を格納したボックスである。
 実施例2の処理では、図4~図9を参照して説明したように、AVコーデックボックスにステレオビデオ情報ボックス302(図4参照)を設定し、ここに、例えば図8、図9を参照して説明した3次元画像詳細情報としてのフレーム構成情報を記録する。図8、図9を参照して説明したように、3次元画像の方式に応じて異なるデータが記録される。
 また、実施例3の処理を行う場合は、図10、図11を参照して説明したようにスキーム情報ボックスを設定して、スキーム情報ボックス内に3次元画像詳細情報を記録する。この場合も3次元画像の方式に応じて異なるデータが記録される。
 これらステップS104~S106の処理の完了後、ステップS107に進み、MP4ファイルを完成させて、メディアに対する記録処理を実行する。
 なお、ステップS101において、取得データに3次元画像データを含まないと判定した場合は、ステップS101の判定はNoの判定となり、ステップS110に進む。ステップS110では、MP4ファイルのプロファイルボックスに2次元画像識別情報を記録する。
 この処理は、先に説明した[[3-1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明した処理である。すなわち、図2に示す、以下のフラグ、
 ステレオビデオフラグ(stereo video flag)201、
 ミックスステレオビデオフラグ(Mixed stereo video flag)202、
 これらの各フラグの値として、記録予定データが2次元画像データのみであることを示すフラグの値を設定する。その後、ステップS107に進み、MP4ファイルを完成させて、メディアに対する記録処理を実行する。
 なお、図12に示すフローは、記録メディアに対するデータ記録処理におけるMP4ファイルの作成処理例として説明したが、通信データとしてMP4ファイルを生成する場合も同様の処理シーケンスでMP4ファイルの作成処理を行えばよい。
 また、図12に示すフローでは、前述の実施例1のプロファイルボックスの3次元画像識別情報と、実施例2または3のAVコーデックボックスの3次元画像詳細情報の双方を読み取る設定例として説明したが、実施例1のプロファイルボックスの3次元画像識別情報のみを読み取って利用する処理を行う構成としてもよいし、実施例2または3のAVコーデックボックスの3次元画像詳細情報のみを読み取って利用する処理を行う構成としてもよい。
 次に、図13に示すフローチャートを参照して画像データの再生処理シーケンスについて説明する。
 この図13に示すフローチャートに従った処理は、例えば記録メディアから読み取ったMP4ファイル、あるいは通信データとして受信したMP4ファイルに対する処理を実行する再生装置において実行される。例えば再生装置に備えられたCPU等の制御部の制御の下に実行される処理である。
 図13に示すフローチャートの各ステップの処理について説明する。
 まず、ステップS201においてMP4ファイルのプロファイルボックス(PROF)の情報を取得する。
 この処理は、先に説明した[[3-1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明したMP4ファイルのプロファイルボックス(PROF)の情報を取得する処理である。
 具体的には、図2に示す以下のフラグ、すなわち、
 ステレオビデオフラグ(stereo video flag)201、
 ミックスステレオビデオフラグ(Mixed stereo video flag)202、
 これらの各フラグの値を読み取る。
 先に図3を参照して説明したように、フラグ設定値により、以下のデータ識別が可能となる。
 (ケース1)
 ステレオビデオフラグ=1、ミックスステレオビデオフラグ=0、
 この場合は、
 (a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
 であると判定する。
 (ケース2)
 ステレオビデオフラグ=0、ミックスステレオビデオフラグ=0、
 この場合は、
 (b)MP4ファイルに格納された画像データが全て2次元画像
 であると判定する。
 (ケース3)
 ステレオビデオフラグ=0、ミックスステレオビデオフラグ=1、
 この場合は、
 (c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
 であると判定する。
 ステップS201におけるプロファイルボックスの3次元画像識別情報としてのフラグ読み取りにより、ステップS202において、3次元画像データが含まれないと判定した場合は、ステップS210に進み、MP4ファイルから2次元画像データを取得して再生、表示を実行する。
 一方、ステップS202において、3次元画像データが含まれると判定した場合は、ステップS203に進む。
 ステップS203では、MP4ファイルのAVコーデックボックスの情報を取得する。
 この処理は、前述の[3-2.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]、または、[3-3.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]、これらの記録データを読み取る処理に対応する。
 例えば、実施例2に対応する3次元情報記録処理が行われている場合、図4~図9を参照して説明したように、AVコーデックボックスにステレオビデオ情報ボックス302(図4参照)が設定され、ここに、例えば図8、図9を参照して説明した3次元画像詳細情報としてのフレーム構成情報が記録されている。ステップS203では、このステレオビデオ情報ボックス302(図4参照)から3次元画像詳細情報を読み取る。
 例えば、例えば図8、図9を参照して説明した3次元画像詳細情報としてのフレーム構成情報の設定値を読み取ることで、再生予定データが、
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらのいずれの方式に従ったデータであるかを判別することが可能となる。
 また、実施例3に対応する3次元情報記録処理が行われている場合、図10、図11を参照して説明したようにスキーム情報ボックスがAVコーデックボックスの下位データとして記録されており、このスキーム情報ボックスから3次元画像詳細情報を読み取る。
 少なくとも実施例2または実施例3のいずれかの方式に従って記録された3次元画像詳細情報を取得して、再生予定データの3次元画像方式を確認することが可能となる。この確認により、ステップS204の方式判定処理を実行する。すなわち、AVコーデックボックスから取得した3次元画像詳細情報に基づいて、ステップS204において、再生予定データが方式A,B,Cのいずれであるかを判定する。
 方式Aに対応する3次元画像データであると判定した場合は、ステップS205に進み、方式Aに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
 方式Bに対応する3次元画像データであると判定した場合は、ステップS206に進み、方式Bに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
 方式Cに対応する3次元画像データであると判定した場合は、ステップS207に進み、方式Cに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
 このように、本発明に従った処理を行うことで、画像処理装置は、MP4ファイルに格納されたデータに3次元画像が含まれるか否か、さらに3次元画像データが含まれる場合、その記録再生方式について、MP4ファイル内の管理情報としてのプロファイルボックスやAVコーデックボックスから取得することが可能となる。
 従って、MP4ファイルの実データを取得して解析、あるいは再生処理を実行する前に、自装置の再生可能な3次元画像データであるか否かを確認することが可能となり、再生可能であると判定した場合にのみ実データを取得し、方式に応じた処理に従って、正しいデコード、再生処理を実行することが可能となる。
 なお、図13に示すフローでは、前述の実施例1~3において説明したMP4ファイルにおいて、実施例1のプロファイルボックスの3次元画像識別情報と、実施例2または3のAVコーデックボックスの3次元画像詳細情報の双方を記録したMP4ファイルを生成する例として説明したが、実施例1のプロファイルボックスの3次元画像識別情報のみを記録する処理を行う構成としてもよいし、実施例2または3のAVコーデックボックスの3次元画像詳細情報のみを記録する処理を行う構成としてもよい。
  [4.本発明の画像処理装置の構成例について]
 次に、本発明の画像処理装置の構成例について図14を参照して説明する。図14に示すのは本発明の画像処理装置の一実施例としての撮像装置500の構成例である。撮像装置500は、3次元画像表示に適用する異なる視点からの画像を撮影する機能を持ち、ユーザのモード設定により、2次元画像と3次元画像の撮影を切り替え可能な構成を持つ。
 撮像部501は、例えば異なる位置に設定された複数のレンズ部を有し、同時に異なる視点からの画像を撮影可能な構成である。3次元画像撮影モードの設定時には、複数のレンズ部を介して撮影した画像を入力する。2次元画像撮影モードの設定時には、1つのレンズ部を介して撮影した画像のみを入力する。
 画像信号処理部502はホワイトバランス調整などの撮影画像データの信号処理を実行する。
 データ符号化部503は、MP4ファイルを生成する。入力データが3次元画像である場合は、前処理部511において各方式に従って前処理を実行する。具体的には、例えば図5~図7を参照して説明した各方式、すなわち、
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの各方式に従って、撮影画像からMP4デコード用画像を生成する。例えば、図6に示すサイドバイサイド方式[SbS]に従って記録データを生成する場合、撮影画像は図6の右側に示す表示用L画像(フレーム0)334と、表示用R画像(フレーム1)335に対応する2つの画像であり、これらの画像を適用して図6の左側に示すMP4デコード結果画像331に対応する画像フレームを生成する。
 このデータをエンコード部512に入力してMP4フォーマットに従った符号化(エンコード)処理を実行する。さらに、ファイル生成部513は、先に実施例1~実施例3において説明した3次元画像識別情報のプロファイルボックスに対する記録処理や、3次元画像詳細情報のAVコーデックボックスに対する記録処理等を実行してMP4ファイルを生成する。
 ファイル生成部513は、エンコード部512の生成した画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルであるMP4ファイルを生成する。
 ファイル生成部513は、MP4ファイル生成に際して、ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報をMP4ファイルのプロファイルボックスに記録する。
 3次元画像識別情報をMP4ファイルのプロファイルボックスに記録する処理は先に実施例1を参照して説明した処理に対応する。
 また、ファイル生成部513は、ファイル格納画像データに3次元画像データが含まれる場合、3次元画像の方式を判別可能とする3次元画像詳細情報をAVコーデックボックスに記録する。
 3次元画像詳細情報をAVコーデックボックスに記録する処理は先に実施例2,3を参照して説明した処理に対応する。
 例えば、実施例3に対応する処理を実行する場合、ファイル生成部513は、符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を含むスキーム情報ボックスを生成し、複数のカテゴリ単位のスキーム情報ボックスを階層化して管理情報中に記録したファイルを生成する。
 なお、ファイル生成部513は、MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で3次元画像詳細情報を記録する処理を行う
 データ符号化部503において生成したMP4ファイルは、記録部504に提供され、フラッシュメモリやHDD、DVD等の記録メディア530に記録される。
 あるいは、データ符号化部503において生成したMP4ファイルは、通信部505に提供され、パケット化されて送信処理が行われる。
 なお、このデータ記録処理によって記録メディア530には、画像データの符号化データと、符号化データの管理情報を含むMP4ファイルが記録される。MP4ファイルに含まれる管理情報には、画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報や、3次元画像の方式を判別可能な3次元画像詳細情報が含まれる。従って、この記録メディア530からMP4ファイルを読み取り再生する装置は、管理情報を参照して自装置における再生可能性を判定することが可能となる。
 例えば、記録メディア530には、先に説明した実施例3のスキーム情報ボックスの階層化構成を持つ管理情報が含まれるMP4ファイルが記録される。すなわち、記録メディア530に記録されるMP4ファィルの管理情報は、符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成となる。このような情報記録媒体である記録メディア530からMP4ファイルを読み取り再生する装置は、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することが可能となる。
 次に、記録メディア530に記録されたMP4ファイル、あるいは通信部505を介して受信したMP4ファイルの再生処理について説明する。フラッシュメモリやHDD、DVD等の記録メディア530に記録されたMP4ファイルは、再生部506を介して読み取られてデータ復号部507に提供される。同様に、通信部505を介して受信したMP4ファイルもデータ復号部507に提供される。
 データ復号部507のファイル解析部521は、まず受領したMP4ファイルの管理情報、すなわち、先に図1を参照して説明したファイルタイプボックス(ftyp)、プロファイルボックス(uuid(PROF))、ムービーボックス(moov)、これらの各ボックスに記録された管理情報を取得する。
 先に実施例1を参照して説明したように、プロファイルボックス(uuid(PROF))にはMP4ファイルの実データボックス(mdat)に格納された画像データに3次元画像が含まれるか否かを示す3次元画像識別情報が記録されている。図2、図3を参照して説明した情報である。
 また、実施例2,3を参照して説明したように、ムービーボックス(moov)の下位にあるAVコーデックボックスには、3次元画像詳細情報、すなわち、MP4ファイルの実データボックス(mdat)に格納された画像データが3次元画像データである場合、その3次元画像データの記録、再生方式に関する詳細情報が記録されている。これは、図4~図11を参照して説明した情報である。例えば実施例2,3の構成が利用されたMP4ファイルの解析を行う場合、ファイル解析部521は、例えばMP4ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で情報を取得する。
 データ復号部507のファイル解析部521は、これらMP4ファイル内の管理情報を解析してMP4ファイルの実データボックス(mdat)に格納された画像データに3次元画像が含まれるか否か、さらに、3次元画像が含まれる場合、その方式について確認する。
 その後、確認情報とともに、MP4ファイルはデコード部522に提供される。なお、ファイル解析部521のMP4ファイル解析結果から、MP4ファイルの格納データが撮像装置500において再生可能な方式に対応しないと判断された場合は、その後の処理、すなわちデコード処理等は実行されない。これらの処理制御は制御部570においてメモリ571に格納されたプログラムに従って実行される。制御部570は、MP4ファイルの3次元画像管理情報を適用して自装置における再生可能性を判定し、再生可能と判定した後にデコード部522における画像データの復号処理を開始させる制御を行う。
 ファイル解析部521のMP4ファイル解析結果に基づいて、MP4ファイルの格納データが撮像装置500において再生可能な方式に対応すると判断された場合は、デコード部522において、MP4データの復号(テコード)処理が開始される。さらに、3次元画像方式情報、およびデコード結果が表示情報生成部523に提供される。
 表示情報生成部523は、3次元画像方式情報、すなわち、MP4ファイル格納データが、例えば、下記のいずれの方式に対応するかに応じて、各方式に従った画像の復元処理(図5~図7参照)を実行する。
 (a)フレームシーケンシャル方式[FS]、
 (b)サイドバイサイド方式[SbS]、
 (c)トップアンドボトム方式[T&B]、
 これらの各方式に従って、左目用画像(L画像)、右目用画像(R画像)をせいせいする。
 データ復号部507の生成した表示用画像は表示部550に提供されて、画像表示が行われる。
 なお、表示情報生成部523は、3次元画像表示に適用するための左目用画像と右目用画像の生成を行うデータ処理部のた、例えば暗号化データの復号処理を実行するデータ処理部など、様々なカテゴリのデータ処理を実行するデータ処理部によって構成される。表示情報生成部523は、MP4ファイルに格納された画像データの再生処理に際して実行される複数の異なるカテゴリのデータ処理を実行するデータ処理部によって構成される。
 先に説明した実施例3の階層化されたスキーム情報ボックスを持つ管理情報を含むMP4ファイルを利用した処理では、ファイル解析部521は、MP4ファイルの管理情報の階層化されたデータ構成情報を取得し、デコード部522や表示情報生成部523は、ファイル解析部521の取得したカテゴリ単位のデータ構成情報からなスキーム情報ボックスに含まれる情報を適用して複数の異なるカテゴリのデータ処理を実行する。
 なお、これらの各構成部の処理の制御は制御部570において実行される。制御部580はメモリ571に予め格納されたプログラムに従って、撮影処理データ記録処理、通信データの生成、データ送受信処理、データ再生処理、表示処理等の制御を実行する。データ記録あるいはデータ送信処理に際しては、先に図12のフローチャートを参照して説明した処理シーケンスに従った処理制御を実行し、データ再生処理に際しては、先に図13のフローチャートを参照して説明した処理シーケンスに従った処理制御を実行する。
 以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本発明の一実施例の構成によれば、MP4ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば3次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をMP4ファイルの管理情報中に階層化して記録する構成とした。この構成により、MP4ファイルに格納されたデータの再生、例えば暗号化された3次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、MP4ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
 100 MP4ファイル
 101 ファイルタイプボックス(ftyp)
 102 プロファイルボックス(uuid(prof))
 103 ムービーボックス(moov)
 104 実データボックス(mdat)
 111 トラックボックス(trak)
 112 サンプルディスクリプションボックス(stsd)
 113 AVコーデックボックス
 201 ステレオビデオフラグ(stereo video flag)
 202 ミックスステレオビデオフラグ(Mixed stereo video flag)
 301 データ領域
 302 ステレオビデオ情報ボックス(Stereo Video Description Box)
 321 デコード画像フレーム
 322 表示画像フレーム
 331 MP4デコード結果画像
 332 アンパックL画像(フレーム0)
 333 アンパックR画像(フレーム1)
 334 表示用L画像(フレーム0)
 335 表示用R画像(フレーム1)
 341 MP4デコード結果画像
 342 アンパックL画像(フレーム0)
 343 アンパックR画像(フレーム1)
 344 表示用L画像(フレーム0)
 345 表示用R画像(フレーム1)
 400 MP4ファイル
 401 AVコーデックボックス(avc1)
 402 AVCデータ構成情報ボックス[AVCConfigurationBox]
 405 AVコーデックボックス
 407 AVコーデックボックス(encv)
 410 3次元画像情報スキーム情報ボックス
 411 フォーマット情報ボックス(frma)
 412 スキームタイプボックス(SchemeTypeBox)
 413 スキーム詳細情報ボックス(SchemeInformationBox)
 420 暗号化情報スキーム情報ボックス
 421 フォーマット情報ボックス(frma)
 422 スキームタイプボックス(SchemeTypeBox)
 423 スキーム詳細情報ボックス(SchemeInformationBox)
 500 撮像装置
 501 撮像部
 502 画像信号処理部
 503 データ符号化部
 504 記録部
 505 通信部
 506 再生部
 507 データ復号部
 511 前処理部
 512 エンコード部
 513 ファイル生成部
 521 ファイル解析部
 522 デコード部
 523 表示情報生成部
 530 記録メディア
 550 表示部
 570 制御部
 571 メモリ

Claims (20)

  1.  画像データの符号化処理を実行するエンコード部と、
     前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
     前記ファイル生成部は、
     前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置。
  2.  前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに3次元画像データが含まれるか否かを判別可能とした3次元画像管理情報である請求項1に記載の画像処理装置。
  3.  前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式を判別可能とした3次元画像管理情報である請求項1に記載の画像処理装置。
  4.  前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式が、
     (a)フレームシーケンシャル方式、
     (b)サイドバイサイド方式、
     (c)トップアンドボトム方式、
     上記(a)~(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である請求項3に記載の画像処理装置。
  5.  前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
     前記ファイル生成部は、
     暗号化態様情報を含む第1のデータ構成情報と、3次元画像管理情報を含む第2のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する請求項2~4いずれかに記載の画像処理装置。
  6.  前記ファイル生成部は、
     MP4ファイルの生成を実行する構成であり、MP4ファイルのAVコーデックボックスの下位に前記データ構成情報を階層化して記録したファイルを生成する請求項1~5いずれかに記載の画像処理装置。
  7.  前記ファイル生成部は、
     MP4ファイルのAVコーデックボックスの下位に前記データ構成情報を含むスキーム情報ボックスを階層化して記録したファイルを生成する請求項6に記載の画像処理装置。
  8.  前記ファイル生成部は、
     MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを設定して記録する処理を行う請求項7に記載の画像処理装置。
  9.  画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
     前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
     前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
     前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
     前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置。
  10.  前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに3次元画像データが含まれるか否かを判別可能とした3次元画像管理情報である請求項9に記載の画像処理装置。
  11.  前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式を判別可能とした3次元画像管理情報である請求項9に記載の画像処理装置。
  12.  前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式が、
     (a)フレームシーケンシャル方式、
     (b)サイドバイサイド方式、
     (c)トップアンドボトム方式、
     上記(a)~(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である請求項11に記載の画像処理装置。
  13.  前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
     前記ファイル解析部は、
     暗号化態様情報を含む第1のデータ構成情報と、3次元画像管理情報を含む第2のデータ構成情報を前記管理情報から取得する請求項10~12いずれかに記載の画像処理装置。
  14.  前記ファイルは、MP4ファイルであり、
     前記ファイル解析部は、
     MP4ファイルのAVコーデックボックスの下位に階層化して記録されたスキーム情報ボックスから各データ処理カテゴリ単位のデータ構成情報を取得する請求項9~13いずれかに記載の画像処理装置。
  15.  前記ファイル解析部は、
     MP4ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを取得する請求項14に記載の画像処理装置。
  16.  画像データの符号化データと、該符号化データの管理情報を含むMP4ファイルを記録した情報記録媒体であり、
     前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
     MP4ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体。
  17.  画像処理装置において実行する画像処理方法であり、
     エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
     ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
     前記ファイル生成ステップは、
     前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法。
  18.  画像処理装置において実行する画像処理方法であり、
     ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
     データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
     前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
     前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
     前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法。
  19.  画像処理装置において画像処理を実行させるプログラムであり、
     エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
     ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
     前記ファイル生成ステップは、
     前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラム。
  20.  画像処理装置において画像処理を実行させるプログラムであり、
     ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
     データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
     前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
     前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
     前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラム。
PCT/JP2010/070105 2010-01-08 2010-11-11 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム WO2011083626A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/519,854 US20120288257A1 (en) 2010-01-08 2010-11-11 Image processing device, information recording medium, image processing method, and program
RU2012127394/08A RU2012127394A (ru) 2010-01-08 2010-11-11 Устройство обработки изображения, носитель записи информации, способ обработки изображения и программа
EP10842141A EP2523461A1 (en) 2010-01-08 2010-11-11 Image processing device, information recording medium, image processing method, and program
BR112012016306A BR112012016306A2 (pt) 2010-01-08 2010-11-11 "dispositivo de processamento de imagem, mídia de gravação de informação, método para processamento de imagem, e, programa para fazer com que um dispositivo de processamento de imagem execute um processo de imagem".
CN2010800632726A CN102742281A (zh) 2010-01-08 2010-11-11 图像处理装置、信息记录介质、图像处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-003275 2010-01-08
JP2010003275A JP2011142586A (ja) 2010-01-08 2010-01-08 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2011083626A1 true WO2011083626A1 (ja) 2011-07-14

Family

ID=44305366

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/070105 WO2011083626A1 (ja) 2010-01-08 2010-11-11 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム

Country Status (7)

Country Link
US (1) US20120288257A1 (ja)
EP (1) EP2523461A1 (ja)
JP (1) JP2011142586A (ja)
CN (1) CN102742281A (ja)
BR (1) BR112012016306A2 (ja)
RU (1) RU2012127394A (ja)
WO (1) WO2011083626A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780897A (zh) * 2012-05-31 2012-11-14 新奥特(北京)视频技术有限公司 一种单文件视频素材支持3d技术的方法
CN103391452A (zh) * 2012-05-07 2013-11-13 山东沃飞电子科技有限公司 三维内容显示的方法、装置和系统
CN103428463A (zh) * 2012-05-19 2013-12-04 腾讯科技(深圳)有限公司 3d视频源存储方法和装置及3d视频播放方法和装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772291B2 (ja) 2011-06-28 2015-09-02 日産自動車株式会社 スピニング加工方法
EP2579591A1 (en) * 2011-10-04 2013-04-10 Thomson Licensing Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium
CN102780896A (zh) * 2012-05-31 2012-11-14 新奥特(北京)视频技术有限公司 一种流媒体素材支持3d技术的方法
CA2904424C (en) * 2013-07-19 2018-05-22 Mediatek Inc. Method and apparatus of camera parameter signaling in 3d video coding
WO2015053758A1 (en) * 2013-10-09 2015-04-16 Hewlett-Packard Development Company, L.P. Displaying multivariate data in multiple dimensions
JP6411862B2 (ja) * 2013-11-15 2018-10-24 パナソニック株式会社 ファイル生成方法およびファイル生成装置
JP6508206B2 (ja) * 2014-07-01 2019-05-08 ソニー株式会社 情報処理装置および方法
US10511767B2 (en) 2015-08-05 2019-12-17 Sony Corporation Information processing device, information processing method, and program
US10389999B2 (en) * 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
US10951871B2 (en) * 2016-12-28 2021-03-16 Sony Corporation Generation device, identification information generation method, reproduction device, and image reproduction related to stereo packing of projected frames
JP2019054417A (ja) * 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
JP7310816B2 (ja) 2018-07-06 2023-07-19 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
US10630976B2 (en) * 2018-08-17 2020-04-21 Qualcomm Incorporated Display refresh blocks determination for video coding
CN115211105A (zh) * 2020-03-09 2022-10-18 索尼集团公司 文件处理设备、文件处理方法和程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295091A (ja) * 2003-03-07 2004-10-21 Matsushita Electric Ind Co Ltd 暗号化装置、逆暗号化装置およびデータ再生装置
JP2008022532A (ja) * 2006-06-16 2008-01-31 Casio Comput Co Ltd 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
WO2009048216A1 (en) * 2007-10-10 2009-04-16 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1613078A1 (en) * 2003-03-07 2006-01-04 Matsushita Electric Industrial Co., Ltd. Encryption device, decryption device, and data reproduction device
JP4755565B2 (ja) * 2006-10-17 2011-08-24 シャープ株式会社 立体画像処理装置
US20080252719A1 (en) * 2007-04-13 2008-10-16 Samsung Electronics Co., Ltd. Apparatus, method, and system for generating stereo-scopic image file based on media standards
US8400497B2 (en) * 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004295091A (ja) * 2003-03-07 2004-10-21 Matsushita Electric Ind Co Ltd 暗号化装置、逆暗号化装置およびデータ再生装置
JP2008022532A (ja) * 2006-06-16 2008-01-31 Casio Comput Co Ltd 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
WO2009048216A1 (en) * 2007-10-10 2009-04-16 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391452A (zh) * 2012-05-07 2013-11-13 山东沃飞电子科技有限公司 三维内容显示的方法、装置和系统
CN103428463A (zh) * 2012-05-19 2013-12-04 腾讯科技(深圳)有限公司 3d视频源存储方法和装置及3d视频播放方法和装置
CN103428463B (zh) * 2012-05-19 2016-10-12 腾讯科技(深圳)有限公司 3d视频源存储方法和装置及3d视频播放方法和装置
CN102780897A (zh) * 2012-05-31 2012-11-14 新奥特(北京)视频技术有限公司 一种单文件视频素材支持3d技术的方法

Also Published As

Publication number Publication date
US20120288257A1 (en) 2012-11-15
RU2012127394A (ru) 2014-01-10
CN102742281A (zh) 2012-10-17
JP2011142586A (ja) 2011-07-21
BR112012016306A2 (pt) 2019-09-24
EP2523461A1 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
WO2011083626A1 (ja) 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
WO2011083625A1 (ja) 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
US20230421794A1 (en) Description of image composition with hevc still image file format
KR102406887B1 (ko) 시간 설정형 미디어 데이터를 발생시키는 방법, 디바이스, 및 컴퓨터 프로그램
US8259162B2 (en) Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image
CN102047668B (zh) 通过使用照相机参数产生立体图像数据流的方法和设备以及通过使用照相机参数恢复立体图像的方法和设备
TWI727180B (zh) 用於傳輸媒體內容之方法、裝置及電腦程式
JP7133038B2 (ja) メディアコンテンツを送信する方法、装置及びコンピュータプログラム
JP5483205B2 (ja) メディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体
US9007434B2 (en) Entry points for 3D trickplay
GB2567624A (en) Method, device and computer program for transmitting media content
JP2009124719A (ja) 画像データ生成装置および画像データ再生装置
JP5158727B2 (ja) 2d映像及び3d立体映像を含む映像ファイルの生成及び再生を行うためのコンピュータ読み取り可能な記録媒体及び方法並びに装置
KR101591085B1 (ko) 영상 파일 생성 및 재생 장치 및 방법
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치
KR101396350B1 (ko) 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치
KR101630720B1 (ko) 3d 비디오 소스 저장 방법 및 장치와 3d 비디오 재생 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080063272.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10842141

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13519854

Country of ref document: US

Ref document number: 2010842141

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 5799/DELNP/2012

Country of ref document: IN

Ref document number: 2012127394

Country of ref document: RU

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012016306

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012016306

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120629