WO2011129242A1 - データ構造、画像処理装置、画像処理方法、およびプログラム - Google Patents

データ構造、画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2011129242A1
WO2011129242A1 PCT/JP2011/058705 JP2011058705W WO2011129242A1 WO 2011129242 A1 WO2011129242 A1 WO 2011129242A1 JP 2011058705 W JP2011058705 W JP 2011058705W WO 2011129242 A1 WO2011129242 A1 WO 2011129242A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax
image size
data
maximum
Prior art date
Application number
PCT/JP2011/058705
Other languages
English (en)
French (fr)
Inventor
卓 牛木
緒形　昌美
孝文 森藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP11768763.2A priority Critical patent/EP2560399A4/en
Priority to CN201180018055XA priority patent/CN102835120A/zh
Priority to KR1020127026099A priority patent/KR20130057974A/ko
Priority to BR112012025583A priority patent/BR112012025583A2/pt
Priority to US13/635,030 priority patent/US20130038703A1/en
Publication of WO2011129242A1 publication Critical patent/WO2011129242A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available

Definitions

  • the present invention relates to a data structure, an image processing apparatus, an image processing method, and a program, and in particular, a data structure, an image processing apparatus, an image processing method, and a program that can appropriately process video data of 3D content.
  • a data structure an image processing apparatus, an image processing method, and a program that can appropriately process video data of 3D content.
  • 2D images are the mainstream content for movies and the like, but recently, 3D images have attracted attention, and various techniques have been proposed for 3D image display devices and 3D image encoding and decoding methods. (For example, see Patent Documents 1 and 2).
  • the 3D image is composed of a left-eye image that is viewed with the left eye and a right-eye image that is viewed with the right eye, and a predetermined parallax is set between the left-eye image and the right-eye image, so that the viewer can view the image three-dimensionally. Perceive.
  • Information on the maximum and minimum parallax values (parallax information) set in the left-eye image and the right-eye image of the 3D image can be detected from the provided left-eye image and right-eye image, but the 3D content It may be provided as metadata (additional information).
  • additional information since the information on the maximum value and the minimum value of the parallax changes depending on the image size, if the 3D content acquisition side cannot accurately grasp the parallax information when the image size is appropriate, It cannot be processed.
  • the present invention has been made in view of such circumstances, and makes it possible to appropriately process video data of 3D content.
  • the data structure according to the first aspect of the present invention includes image data of a 3D image, a reference image size that is a predetermined image size serving as a reference in the 3D image, and a maximum parallax and a minimum parallax at the reference image size. including.
  • image data of a 3D image a reference image size that is a predetermined image size serving as a reference in the 3D image, and a maximum parallax and a minimum parallax at the reference image size are included. ing.
  • the image processing apparatus provides 3D image data, a reference image size that is a predetermined image size as a reference in the 3D image, and a maximum parallax and a minimum at the reference image size.
  • An acquisition unit that acquires content data including parallax
  • a detection unit that detects an image size based on image data of the 3D image acquired by the acquisition unit, an image size of the detected image data, and a reference image size
  • the parallax calculation means for calculating the maximum parallax and the minimum parallax corresponding to the image size of the acquired image data, and the acquisition means acquired based on the calculated maximum parallax and minimum parallax Processing means for performing predetermined image processing on the image data.
  • the image processing method includes 3D image data, a reference image size that is a predetermined image size as a reference in the 3D image, and a maximum parallax and a minimum at the reference image size.
  • the content data including parallax is acquired, the image size of the acquired 3D image data is detected, and the acquired image data and the reference image size are not the same, the acquired image data is detected.
  • the program according to the second aspect of the present invention provides a computer with image data of a 3D image, a reference image size that is a predetermined image size as a reference in the 3D image, a maximum parallax at the reference image size, and
  • the content data including the minimum parallax is acquired, the image size of the acquired 3D image data is detected, and acquired when the image size of the detected image data and the reference image size are not the same
  • Processing including calculating a maximum parallax and a minimum parallax corresponding to an image size of the image data, and performing predetermined image processing on the acquired image data based on the calculated maximum parallax and minimum parallax. It is for execution.
  • the image data of the 3D image, the reference image size that is a predetermined image size as a reference in the 3D image, and the content including the maximum parallax and the minimum parallax at the reference image size When the data is acquired, the image size of the acquired 3D image image data is detected, and the image size of the detected image data and the reference image size are not the same, the image size of the acquired image data corresponds to the image size Maximum parallax and minimum parallax are calculated, and predetermined image processing is performed on the acquired image data based on the calculated maximum parallax and minimum parallax.
  • the data structure according to the third aspect of the present invention includes 3D image data, and maximum parallax and minimum parallax when the image size is the image data of the 3D image.
  • 3D image data and the maximum parallax and the minimum parallax at the image size based on the 3D image data are included.
  • the image processing apparatus is an acquisition unit that acquires image data of a 3D image, and content data including a maximum parallax and a minimum parallax when the image size is based on the image data of the 3D image, An enlargement / reduction means for enlarging or reducing the image size of the image data of the 3D image acquired by the acquisition means at a predetermined enlargement / reduction ratio, and a maximum parallax and a minimum parallax in the image data of the image size after the enlargement or reduction Calculation means for calculating, and output means for outputting the maximum parallax and the minimum parallax updated to the calculation result together with the image data after enlargement or reduction.
  • the image processing method acquires image data of a 3D image, and content data including maximum parallax and minimum parallax when the image size is based on the image data of the 3D image.
  • the image size of the image data of the 3D image is enlarged or reduced at a predetermined enlargement / reduction ratio, the maximum parallax and the minimum parallax in the image data of the image size after the enlargement or reduction are calculated, and the maximum updated in the calculation result
  • the program according to the fourth aspect of the present invention is obtained by causing a computer to acquire image data of a 3D image and content data including a maximum parallax and a minimum parallax when the image size is based on the image data of the 3D image.
  • the image size of the image data of the 3D image is enlarged or reduced at a predetermined enlargement / reduction ratio, the maximum parallax and the minimum parallax in the image data of the image size after the enlargement or reduction are calculated, and updated to the calculation result
  • This is to execute processing including a step of outputting the maximum parallax and the minimum parallax together with the image data after enlargement or reduction.
  • image data of a 3D image, and content data including the maximum parallax and the minimum parallax at the image size based on the image data of the 3D image are acquired, and the acquired image data of the 3D image Is enlarged or reduced at a predetermined enlargement / reduction ratio, the maximum parallax and the minimum parallax in the image data of the image size after enlargement or reduction are calculated, and the updated maximum parallax and minimum parallax are enlarged.
  • it is output together with the reduced image data.
  • program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • the image processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • video data of 3D content can be appropriately processed.
  • FIG. 10 is a diagram illustrating another example of an extension area of an MPEG4 box.
  • FIG. 10 is a diagram illustrating still another example of the extension area of the MPEG4 box.
  • FIG. 10 is a block diagram which shows the structural example of one Embodiment of the reproducing
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a recording apparatus to which the present invention is applied.
  • 1 includes a video encoder 11, an audio encoder 12, a multiplexing unit 13, and a recording control unit 14.
  • the recording device 10 encodes the content data of the 3D content and records the encoded content data on a recording medium 20 such as a BDROM (Blu-Ray (registered trademark) “Disc” Read “Only” Memory).
  • the content data includes image data of 3D images (hereinafter referred to as 3D video data) and audio data corresponding to the image data, and the 3D video data includes image data of the left eye image and image data of the right eye image.
  • the content data includes information on the parallax set for the left-eye image and the right-eye image as additional information.
  • the video encoder 11 of the recording apparatus 10 encodes 3D video data input from the outside using an encoding method such as MPEG2 (Moving Picture Experts Group phase 2), MPEG4, or AVC (Advanced Video Coding).
  • the video encoder 11 supplies the multiplexing unit 13 with a video stream that is an ES (Elementary Stream) obtained as a result of encoding.
  • the audio encoder 12 encodes audio data corresponding to 3D video data input from the outside using an encoding method such as MPEG, and supplies the resulting audio stream, which is an ES, to the multiplexing unit 13.
  • the multiplexing unit 13 multiplexes the video stream supplied from the video encoder 11 and the audio stream supplied from the audio encoder 12, and supplies the resulting multiplexed stream to the recording control unit 14.
  • the recording control unit 14 records the multiplexed stream supplied from the multiplexing unit 13 on the recording medium 20.
  • the recording control unit 14 also has a predetermined image size (hereinafter referred to as a reference image size) that is a reference in the 3D image recorded on the recording medium 20, and a maximum parallax value (maximum parallax) at the image size. ) And the minimum value (minimum parallax) are recorded in the recording medium 20 as definition files.
  • the maximum value (maximum parallax) and the minimum value (minimum parallax) of parallax are also referred to as maximum parallax / minimum parallax.
  • the image size of the 3D video data recorded on the recording medium 20 and the reference image size basically match, but do not necessarily match. That is, the maximum parallax / minimum parallax of the additional information is the maximum and minimum parallax values at the reference image size. Therefore, when the image size of the 3D video data recorded on the recording medium 20 is not the reference image size, the maximum parallax / minimum parallax of the 3D video data is different from the maximum parallax / minimum parallax recorded as the definition file. .
  • the maximum parallax and the minimum parallax are “+72” and “ ⁇ 48”, respectively.
  • the image size of the 3D video data recorded on the recording medium 20 may be “1920 ⁇ 1080”.
  • the maximum parallax / minimum parallax and the reference image size are input from, for example, an operation input unit (not shown) and supplied to the recording control unit 14.
  • the “reference image size and the maximum parallax / minimum parallax” are recorded on the recording medium 20 as additional information (metadata).
  • the correct processing using can be performed.
  • FIG. 2 is a flowchart for explaining recording processing by the recording apparatus 10 of FIG. This recording process is started when, for example, additional information, 3D video data, and audio data are input.
  • step S10 the recording control unit 14 causes the recording medium 20 to record “reference image size and maximum parallax / minimum parallax” as additional information input from the outside as a definition file.
  • step S11 the video encoder 11 encodes 3D video data input from the outside using an encoding method such as MPEG2, MPEG4, or AVC. Then, the video encoder 11 supplies a video stream obtained as a result of encoding to the multiplexing unit 13.
  • an encoding method such as MPEG2, MPEG4, or AVC.
  • step S12 the audio encoder 12 encodes audio data corresponding to 3D video data input from the outside using an encoding method such as MPEG, and supplies the resulting audio stream to the multiplexing unit 13.
  • step S13 the multiplexing unit 13 multiplexes the video stream from the video encoder 11 and the audio stream from the audio encoder 12, and supplies the resulting multiplexed stream to the recording control unit 14.
  • step S14 the recording control unit 14 records the multiplexed stream supplied from the multiplexing unit 13 on the recording medium 20 on the recording medium, and ends the process.
  • FIG. 3 is a diagram showing a hierarchical structure of data recorded on the recording medium 20.
  • the hierarchy of data recorded on the recording medium 20 includes an ES layer C such as an audio stream and a video stream, a layer B which is a system layer of a multiplexed stream, It is composed of layer A and the like.
  • the additional information is SEI (Supplemental Enhancement Information), or SPS (Sequence Parameter Set) or PPS (Picture Parameter Set). Recorded as part.
  • the encoding method is MPEG2, it is recorded as a video sequence (Video (Sequence) or extension and user data (extension_and_user_data).
  • additional information can be made variable in one video stream.
  • the “reference image size and maximum parallax / minimum parallax” can be changed for each video stream.
  • the additional information when additional information is recorded in layer B, the additional information includes a TS (Transport Stream) private packet, a PS (Program Stream) private pack, and a box included in MPEG4 configuration (Config) information. It is recorded in the extended area.
  • TS Transport Stream
  • PS Program Stream
  • Config MPEG4 configuration
  • the extension area of the MPEG4 box in which the additional information is recorded is provided, for example, in the Private Extension box (uuid in FIG. 4) immediately after the ftyp box located at the top of the file, as shown in FIG.
  • a playback device that plays back 3D video data recorded on the recording medium 20 can acquire “reference image size and maximum parallax / minimum parallax” before the decoding process. “Reference image size and maximum parallax / minimum parallax” are invariant in the file.
  • the Private Extension box includes information indicating whether the codec type, bit rate, frame size, aspect ratio, and the image is a 2D image or a 3D image, in addition to “reference image size and maximum parallax / minimum parallax”. Etc. are described.
  • the extension area of the MPEG4 box in which the additional information is recorded may be provided in the track information (trak) area (stsd in FIG. 5) in the moov box, as shown in FIG.
  • the video stream includes information indicating the additional information area of the reference destination, and the playback device acquires “reference image size and maximum parallax / minimum parallax” based on the information. Therefore, in this case, the “reference image size and maximum parallax / minimum parallax” can be made variable in the video stream.
  • the accessibility is poor compared to the case of FIG.
  • the extension area of the MPEG4 box in which the additional information is recorded may be provided in the mdat box as shown in FIG. That is, the additional information may be recorded as one media stream (side info.stream).
  • the video stream and the additional information are synchronized with time information, the “reference image size and the maximum parallax / minimum parallax” can be changed every moment.
  • the moov box and the mdat box are arranged in order after the ftyp box, but the arrangement of the moov box and the mdat box is not limited to this.
  • FIG. 7 is a block diagram showing a configuration example of an embodiment of a playback apparatus to which the present invention is applied.
  • the playback device 50 plays back 3D video data and corresponding audio data recorded on the recording medium 20 together with additional information, and appropriately displays a 3D image based on the additional information.
  • the reading unit 51 of the playback device 50 reads additional information including “reference image size and maximum parallax / minimum parallax” recorded in the recording medium 20 and supplies the additional information to the 3D image processing unit 54.
  • the reading unit 51 reads the multiplexed stream recorded on the recording medium 20 and supplies the multiplexed stream to the separation unit 52.
  • the separating unit 52 separates the multiplexed stream supplied from the reading unit 51 into a video stream and an audio stream. Then, the separation unit 52 supplies the video stream to the video decoder 53 and supplies the audio stream to the audio decoder 55.
  • the video decoder 53 decodes the video stream supplied from the separation unit 52 by a method corresponding to the encoding method in the video encoder 11 of FIG. 1 and supplies the 3D video data obtained as a result to the 3D image processing unit 54. .
  • the 3D image processing unit 54 performs predetermined image processing on the 3D video data supplied from the video decoder 53 as necessary. In the present embodiment, it is assumed that the 3D image processing unit 54 performs a process of adjusting the depth position of the caption to be displayed superimposed on the 3D image. The 3D image processing unit 54 outputs the processed 3D video data to the display unit 61.
  • the image area in which the caption is displayed may be given from the outside, or may be uniquely detected in the 3D image processing unit 54.
  • a method for detecting an area where captions are displayed for example, the process proposed in Japanese Patent Application Laid-Open No. 2008-166988 (a process for detecting an area that does not change for a predetermined time as a caption area) proposed by the present applicant is adopted. be able to.
  • the audio decoder 55 decodes the audio stream supplied from the separation unit 52 by a method corresponding to the encoding method in the audio encoder 12 of FIG. 1, and supplies the audio data obtained as a result to the speaker 62.
  • the display unit 61 displays the left-eye image and the right-eye image corresponding to the video data supplied from the 3D image processing unit 54, for example, in a time division manner.
  • the viewer wears glasses with shutters synchronized with switching between the left-eye image and the right-eye image, sees the left-eye image only with the left eye, and sees the right-eye image with only the right eye. Thereby, the viewer can perceive a 3D image in three dimensions.
  • Speaker 62 outputs sound corresponding to the audio data supplied from audio decoder 55.
  • FIG. 8 is a block diagram illustrating a detailed configuration example of the 3D image processing unit 54 of FIG.
  • the 3D image processing unit 54 includes an image size detection unit 71, a maximum / minimum parallax calculation unit 72, and a caption adjustment unit 73.
  • the image size detection unit 71 detects the image size from the 3D video data supplied from the reading unit 51. Since the image size detected here is the image size displayed on the display unit 61, it is hereinafter referred to as a display image size.
  • the display image size can be recognized, for example, by counting a signal representing the effective period of the image.
  • the image size detection unit 71 supplies the display image size of the detection result to the maximum / minimum parallax calculation unit 72.
  • the maximum / minimum parallax calculation unit 72 acquires the “reference image size and maximum parallax / minimum parallax” supplied from the reading unit 51 and the display image size supplied from the image size detection unit 71.
  • the maximum / minimum parallax calculation unit 72 compares the supplied display image size with the “reference image size” of the additional information, and when the display image size and the reference image size are different sizes, The maximum parallax / minimum parallax is calculated.
  • the maximum / minimum parallax calculation unit 72 supplies the maximum parallax / minimum parallax in the display image size as the calculation result to the caption adjustment unit 73.
  • the “maximum parallax / minimum parallax” of the acquired additional information is supplied to the caption adjustment unit 73 as it is as the maximum parallax / minimum parallax in the display image size.
  • the caption adjustment unit 73 adjusts the depth position of the caption displayed superimposed on the 3D image according to the maximum parallax / minimum parallax in the display image size. That is, the caption adjustment unit 73 adjusts the caption so that it is slightly before the depth position determined by the maximum parallax of the display image size (most closest to the viewer).
  • FIG. 9 is a flowchart for explaining the playback process by the playback device 50. This reproduction process is started, for example, when the viewer instructs the reproduction of the 3D content recorded on the recording medium 20.
  • step S ⁇ b> 31 the reading unit 51 reads “reference image size and maximum parallax / minimum parallax” recorded as additional information on the recording medium 20 and supplies the read information to the 3D image processing unit 54.
  • step S32 the playback device 50 reads and decodes the multiplexed stream of 3D content recorded on the recording medium 20. That is, the reading unit 51 reads a multiplexed stream of 3D content from the recording medium 20 and supplies the multiplexed stream to the separation unit 52, and the separation unit 52 separates the multiplexed stream into a video stream and an audio stream.
  • the video decoder 53 decodes the video stream by a method corresponding to the encoding method of the recording device 10, and supplies 3D video data obtained as a result to the 3D image processing unit 54.
  • the audio decoder 55 decodes the audio stream by a method corresponding to the encoding method of the recording apparatus 10 and supplies the audio data obtained as a result to the speaker 62.
  • step S 33 the image size detection unit 71 detects the image size (display image size) from the 3D video data supplied from the reading unit 51 and supplies the detected image size to the maximum / minimum parallax calculation unit 72.
  • step S 34 the maximum / minimum parallax calculation unit 72 determines whether the “display image size” detected by the image size detection unit 71 is the same as the “reference image size” supplied from the reading unit 51. To do.
  • step S34 If it is determined in step S34 that the “display image size” and the “reference image size” are not the same, the process proceeds to step S35, and the maximum / minimum parallax calculation unit 72 determines the maximum parallax / minimum parallax in the display image size. Is calculated and supplied to the caption adjustment unit 73.
  • step S34 determines whether the “display image size” and the “reference image size” are the same. If it is determined in step S34 that the “display image size” and the “reference image size” are the same, the process proceeds to step S36.
  • step S 36 the maximum / minimum parallax calculation unit 72 supplies the “reference image size” of the additional information supplied from the reading unit 51 as it is to the caption adjustment unit 73 as the maximum parallax / minimum parallax in the display image size.
  • step S37 the caption adjustment unit 73 adjusts the depth position of the caption superimposed on the 3D image according to the maximum parallax / minimum parallax in the display image size, and outputs the adjusted 3D video data to the display unit 61. To do.
  • step S37 the audio decoder 55 outputs audio data corresponding to the 3D video data, and the process ends.
  • the “reference image size and maximum parallax / minimum parallax” of the 3D content is recorded as additional information on the recording medium 20.
  • the playback device 50 can easily know the accurate maximum parallax / minimum parallax of the read 3D video data by reading the additional information and comparing it with the image size of the 3D video data obtained by decoding. And predetermined signal processing can be appropriately performed based on the accurate maximum parallax / minimum parallax of 3D video data.
  • the 3D content multiplexed stream and the additional information (metadata) are provided from the content provider side to the content viewer side via the recording medium 20 .
  • the 3D content may be provided by transmission via a network such as satellite broadcasting, cable TV, or the Internet.
  • the image size of the 3D content is enlarged or reduced during the transmission path from the transmission from the content providing side to the reception by the content viewer.
  • the image size of the transmitted 3D video data and the “reference image size” transmitted as additional information are different.
  • the maximum parallax / minimum parallax in the image size of the received 3D video data can be immediately and accurately known from the “reference image size and maximum parallax / minimum parallax” of the additional information, Image processing based on accurate maximum parallax / minimum parallax can be appropriately performed.
  • the “reference image size and the maximum parallax / minimum parallax” recorded or transmitted as additional information are described as being fixed even when the image size of the 3D content is enlarged or reduced.
  • the “maximum parallax / minimum parallax” of the additional information may be updated according to the enlargement or reduction of the image size.
  • the “reference image size” can be omitted because it always matches the image size of the 3D video data to be recorded or transmitted.
  • FIG. 10 is a functional block diagram of a data conversion apparatus (image processing apparatus) that converts the image size of 3D video data and updates the information on the maximum parallax / minimum parallax.
  • description of audio data is omitted.
  • 10 includes an acquisition unit 81, an image enlargement / reduction unit 82, a maximum / minimum parallax update unit 83, and an output unit 84.
  • the acquisition unit 81 acquires 3D video data input from the outside and “maximum parallax / minimum parallax” as additional information.
  • the acquisition unit 81 supplies the 3D video data to the image enlargement / reduction unit 82 and supplies “maximum parallax / minimum parallax” to the maximum / minimum parallax update unit 83.
  • the image enlargement / reduction unit 82 executes a process of enlarging or reducing the image size of the supplied 3D video data in accordance with an enlargement / reduction ratio input and supplied by an operation input unit (not shown).
  • the image enlargement / reduction unit 82 supplies the processed 3D video data to the output unit 84.
  • the maximum / minimum parallax update unit 83 enlarges or reduces the “maximum parallax / minimum parallax” supplied from the acquisition unit 81 based on the enlargement / reduction ratio supplied from the operation input unit or the like. Is updated to “maximum parallax / minimum parallax” corresponding to the processed image. Then, the maximum / minimum parallax update unit 83 supplies the updated “maximum parallax / minimum parallax” to the output unit 84.
  • the output unit 84 multiplexes or outputs the 3D video data supplied from the image enlargement / reduction unit 82 and “maximum parallax / minimum parallax” as additional information by time division or the like.
  • the enlargement / reduction ratio is not input by the operation input unit or the like, but may be a predetermined value.
  • the acquisition unit 81 acquires, for example, 3D video data having an image size of “720 ⁇ 480” and additional information in which “+ 72 / ⁇ 48” is described as “maximum parallax / minimum parallax”.
  • the 3D video data acquired by the acquisition unit 81 is supplied to the image enlargement / reduction unit 82, and the additional information is supplied to the maximum / minimum parallax update unit 83.
  • the image enlargement / reduction unit 82 is supplied with an enlargement / reduction rate input by a predetermined user in the operation input unit or the like. Here, for example, “1920/720” is supplied.
  • the image enlargement / reduction unit 82 executes a process for enlarging the image size of the 3D video data from “720 ⁇ 480” to “1920 ⁇ 1080”, and the processed 3D Video data is supplied to the output unit 84.
  • processing of the image enlargement / reduction unit 82 and the processing of the maximum / reduction parallax update unit 83 can be executed in parallel.
  • the output unit 84 adds 3D video data having an image size of “1920 ⁇ 1080” supplied from the image enlargement / reduction unit 82 and “+ 192 / ⁇ 128” as “maximum parallax / minimum parallax”. Output information.
  • the data conversion device 80 may be arranged at any stage before the output section on the content providing side, in the middle of the transmission path, or after the input section on the content acquisition side.
  • FIG. 11 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a storage unit 208 or a ROM (Read Only Memory) 202 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable medium 211.
  • a removable medium 211 can be provided as so-called package software.
  • examples of the removable medium 211 include a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable medium 211 as described above via the drive 210, or can be downloaded to the computer via the communication network or the broadcast network, and installed in the built-in storage unit 208. That is, the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the computer has a CPU (Central Processing Unit) 201 built in, and an input / output interface 205 is connected to the CPU 201 via a bus 204.
  • CPU Central Processing Unit
  • the CPU 201 executes a program stored in the ROM 202 according to a command input by the user operating the input unit 206 or the like via the input / output interface 205. Alternatively, the CPU 201 loads a program stored in the storage unit 208 into a RAM (Random Access Memory) 203 and executes it.
  • a RAM Random Access Memory
  • the CPU 201 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 201 outputs the processing result as necessary, for example, via the input / output interface 205, from the output unit 207, transmitted from the communication unit 209, and further recorded in the storage unit 208.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order according to the order described in the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • a two-viewpoint 3D image having two viewpoints has been described as a 3D image, but the present invention can be similarly applied to a multi-viewpoint 3D image having three or more viewpoints.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　本発明は、３Ｄコンテンツのビデオデータを適切に処理することができるようにするデータ構造、画像処理装置、画像処理方法、およびプログラムに関する。　取得される３Ｄコンテンツのコンテンツデータには、３Ｄ画像のビデオデータと、その３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差の情報が含まれる。画サイズ検出部７１は、３Ｄ画像のビデオデータの画像サイズを検出する。最大／最小視差算出部７２は、検出された３Ｄビデオデータの画像サイズと「基準画サイズ」とが同一ではない場合に、３Ｄビデオデータの画像サイズに対応する最大視差および最小視差を算出する。字幕調整部７３は、算出された最大視差および最小視差に基づく所定の画像処理、例えば、字幕の奥行位置を調整する処理を行う。本発明は、例えば、取得された３Ｄ画像の画像データを処理する画像処理装置に適用できる。

Description

データ構造、画像処理装置、画像処理方法、およびプログラム
　本発明は、データ構造、画像処理装置、画像処理方法、およびプログラムに関し、特に、３Ｄコンテンツのビデオデータを適切に処理することができるようにするデータ構造、画像処理装置、画像処理方法、およびプログラムに関する。
　映画等のコンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めており、３Ｄ画像の表示装置や、３Ｄ画像の符号化と復号の方法について様々な技術が提案されている（例えば、特許文献１，２参照）。
　３Ｄ画像は、左目で視認する左目用画像と右目で視認する右目用画像により構成され、左目用画像と右目用画像に所定の視差が設定されていることにより、視聴者は画像を立体的に知覚する。
特開平１０－３２７４３０号公報 特開２００８－１８２６６９号公報
　３Ｄ画像の左目用画像と右目用画像に設定されている視差の最大値および最小値の情報（視差情報）は、提供される左目用画像と右目用画像から検出することもできるが、３Ｄコンテンツのメタデータ（付加情報）として提供することも考えられる。この場合、視差の最大値および最小値の情報は画像サイズに応じて変わるため、３Ｄコンテンツの取得側で、画像サイズがいくつのときの視差情報であるのかを正確に把握できなければ、適切な処理はできない。
　本発明は、このような状況に鑑みてなされたものであり、３Ｄコンテンツのビデオデータを適切に処理することができるようにするものである。
　本発明の第１の側面のデータ構造は、３Ｄ画像の画像データと、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差とを含む。
　本発明の第１の側面においては、３Ｄ画像の画像データと、３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差とが含まれている。
　本発明の第２の側面の画像処理装置は、３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得する取得手段と、前記取得手段により取得された前記３Ｄ画像の画像データによる画像サイズを検出する検出手段と、検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出する視差算出手段と、算出された前記最大視差および最小視差に基づき、前記取得手段により取得された前記画像データに対して所定の画像処理を行う処理手段とを備える。
　本発明の第２の側面の画像処理方法は、３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得し、取得された前記３Ｄ画像の画像データによる画像サイズを検出し、検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出し、算出された前記最大視差および最小視差に基づき、取得された前記画像データに対して所定の画像処理を行うステップを含む。
　本発明の第２の側面のプログラムは、コンピュータに、３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得させ、取得された前記３Ｄ画像の画像データによる画像サイズを検出し、検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出し、算出された前記最大視差および最小視差に基づき、取得された前記画像データに対して所定の画像処理を行うステップを含む処理を実行させるためのものである。
　本発明の第２の側面においては、３Ｄ画像の画像データ、並びに、３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータが取得され、取得された３Ｄ画像の画像データによる画像サイズが検出され、検出された画像データの画像サイズと基準画サイズが同一ではない場合に、取得された画像データの画像サイズに対応する最大視差および最小視差が算出され、算出された最大視差および最小視差に基づき、取得された画像データに対して所定の画像処理が行われる。
　本発明の第３の側面のデータ構造は、３Ｄ画像の画像データと、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差とを含む。
　本発明の第３の側面においては、３Ｄ画像の画像データと、３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差とが含まれている。
　本発明の第４の側面の画像処理装置は、３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得する取得手段と、前記取得手段により取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小する拡大縮小手段と、拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出する算出手段と、算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力する出力手段とを備える。
　本発明の第４の側面の画像処理方法は、３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得し、取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小し、拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出し、算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力するステップを含む。
　本発明の第４の側面のプログラムは、コンピュータに、３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得させ、取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小し、拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出し、算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力させるステップを含む処理を実行させるためのものである。
　本発明の第４の側面においては、３Ｄ画像の画像データ、並びに、３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータが取得され、取得された３Ｄ画像の画像データの画像サイズが、所定の拡大縮小率で拡大または縮小され、拡大または縮小後の画像サイズの画像データにおける最大視差および最小視差が算出され、算出結果に更新された最大視差および最小視差が、拡大または縮小後の画像データとともに出力される。
　なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本発明の第１乃至第４の側面によれば、３Ｄコンテンツのビデオデータを適切に処理することができるようにする。
本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。 図１の記録装置による記録処理を説明するフローチャートである 記録媒体に記録されるデータの階層構造を示す図である。 MPEG4のボックスの拡張領域の例を示す図である。 MPEG4のボックスの拡張領域の他の例を示す図である。 MPEG4のボックスの拡張領域のさらに他の例を示す図である。 本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。 ３Ｄ画像処理部の詳細構成例を示すブロック図である。 図７の再生装置による再生処理を説明するフローチャートである。 本発明を適用したデータ変換装置の一実施の形態の構成例を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本発明を適用した一実施の形態＞
［記録装置の構成例］
　図１は、本発明を適用した記録装置の一実施の形態の構成例を示すブロック図である。
　図１の記録装置１０は、ビデオエンコーダ１１、オーディオエンコーダ１２、多重化部１３、および記録制御部１４により構成される。
　記録装置１０は、３Ｄコンテンツのコンテンツデータを符号化して、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２０に記録させる。コンテンツデータは、３Ｄ画像の画像データ（以下、３Ｄビデオデータという。）、その画像データに対応する音声データを含み、３Ｄビデオデータは左目用画像の画像データと右目用画像の画像データとからなる。また、コンテンツデータには、左目用画像と右目用画像に設定されている視差の情報が付加情報として含まれる。
　記録装置１０のビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるES（Elementary Stream）であるビデオストリームを多重化部１３に供給する。
　オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるESであるオーディオストリームを多重化部１３に供給する。
　多重化部１３は、ビデオエンコーダ１１から供給されるビデオストリームと、オーディオエンコーダ１２から供給されるオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
　記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録させる。また、記録制御部１４は、記録媒体２０に記録される３Ｄ画像において基準となる所定の画像サイズ（以下、基準画サイズと称する。）と、その画像サイズのときの視差の最大値（最大視差）および最小値（最小視差）を定義ファイルとして記録媒体２０に記録させる。なお、視差の最大値（最大視差）と最小値（最小視差）を、以下では、最大視差／最小視差とも記述する。
　ここで、記録媒体２０に記録される３Ｄビデオデータの画像サイズと基準画サイズは、基本的には一致するが、必ずしも一致しなくてもよい。即ち、付加情報の最大視差／最小視差は、あくまで基準画サイズのときの視差の最大値および最小値である。従って、記録媒体２０に記録される３Ｄビデオデータの画像サイズが基準画サイズでない場合には、３Ｄビデオデータの最大視差／最小視差は、定義ファイルとして記録されている最大視差／最小視差とは異なる。
　例えば、基準画サイズ＝「７２０×４８０」、最大視差＝「＋７２」、および最小視差＝「－４８」が、定義ファイルとして記録される場合には、基準画サイズが「７２０×４８０」であるときの最大視差と最小視差がそれぞれ「＋７２」および「－４８」であることを表す。この場合、記録媒体２０に記録される３Ｄビデオデータの画像サイズが「１９２０×１０８０」であってもよい。
　なお、最大視差／最小視差および基準画サイズは、例えば、図示せぬ操作入力部等から入力され、記録制御部１４に供給される。
　以上のように構成される記録装置１０では、「基準画サイズと最大視差／最小視差」が、付加情報（メタデータ）として記録媒体２０に記録されるので、再生時に「最大視差／最小視差」を用いた正しい処理を行うことができる。
［記録装置の処理の説明］
　図２は、図１の記録装置１０による記録処理を説明するフローチャートである。この記録処理は、例えば、付加情報、３Ｄビデオデータ、およびオーディオデータが入力されたとき、開始される。
　ステップＳ１０において、記録制御部１４は、外部から入力された付加情報としての「基準画サイズと最大視差／最小視差」を定義ファイルとして記録媒体２０に記録させる。
　ステップＳ１１において、ビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2，MPEG4，AVC等の符号化方式で符号化する。そして、ビデオエンコーダ１１は、符号化の結果得られるビデオストリームを多重化部１３に供給する。
　ステップＳ１２において、オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるオーディオストリームを多重化部１３に供給する。
　ステップＳ１３において、多重化部１３は、ビデオエンコーダ１１からのビデオストリームとオーディオエンコーダ１２からのオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。
　ステップＳ１４において、記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録媒体に記録させ、処理を終了する。
[付加情報のデータ構造]
　図３は、記録媒体２０に記録されるデータの階層構造を示す図である。
　図３に示すように、記録媒体２０に記録されるデータの階層は、オーディオストリームやビデオストリーム等のESのレイヤＣ、多重化ストリームのシステムレイヤであるレイヤＢ、記録媒体２０に唯一の情報のレイヤＡ等により構成される。
　上述した例では、付加情報としての「基準画サイズと最大視差／最小視差」が記録媒体２０に唯一の定義ファイルとして、即ち、レイヤＡに記録されるように説明した。しかしながら、「基準画サイズと最大視差／最小視差」は、レイヤＢやレイヤＣに記録されるようにすることもできる。
　例えば、レイヤＣにおいて付加情報が記録される場合、符号化方式がAVCであれば、付加情報は、SEI（Supplemental Enhancement Information）として、または、SPS（Sequence Parameter Set）やPPS（Picture Parameter Set）の一部として記録される。また、符号化方式がMPEG2であれば、ビデオシーケンス（Video Sequence）やエクステンションアンドユーザデータ（extension_and_user_data）として記録される。
　この場合、１つのビデオストリーム内で付加情報を可変にすることができる。「基準画サイズと最大視差／最小視差」はビデオストリームごとに変えることができる。
　一方、レイヤＢにおいて付加情報が記録される場合、付加情報は、TS（Transport Stream）のプライベートパケット、PS（Program Stream）のプライベートパック、MPEG4のコンフィグレーション（Config）情報に含まれるボックス（Box）の拡張領域等に記録される。
　付加情報が記録されるMPEG4のボックスの拡張領域は、例えば、図４に示すように、ファイルの先頭に位置するftypボックスの直後のPrivate Extension ボックス(図４中uuid）に設けられる。この場合、記録媒体２０に記録された３Ｄビデオデータを再生する再生装置は、復号処理の前に「基準画サイズと最大視差／最小視差」を取得することができる。「基準画サイズと最大視差／最小視差」はファイル内で不変である。
　なお、Private Extension ボックスには、「基準画サイズと最大視差／最小視差」のほか、コーデックの種類、ビットレート、フレームサイズ、アスペクト比、画像が２Ｄ画像であるか３Ｄ画像であるかを示す情報等が記述される。
　また、付加情報が記録されるMPEG4のボックスの拡張領域は、図５に示すように、moovボックス内のトラック情報（trak）の領域（図５中stsd）に設けられるようにしてもよい。この場合、ビデオストリームに参照先の付加情報の領域を表す情報が含まれており、再生装置は、その情報に基づいて、「基準画サイズと最大視差／最小視差」を取得する。従って、この場合、ビデオストリーム内で「基準画サイズと最大視差／最小視差」を可変にすることができる。但し、図４の場合に比べてアクセス性は悪い。
　さらに、付加情報が記録されるMPEG4のボックスの拡張領域は、図６に示すように、mdatボックス内に設けられるようにしてもよい。即ち、付加情報が１つのメディアストリーム（side info.stream）として記録されるようにしてもよい。この場合、ビデオストリームと付加情報は時間情報で同期するため、「基準画サイズと最大視差／最小視差」を時々刻々と変化させることができる。
　なお、図４乃至図６の例では、ftypボックスの後に、moov ボックス、mdat ボックスが順に配置されているが、moov ボックスとmdat ボックスの配置はこれに限定されない。
＜本発明を適用した再生装置の実施の形態＞
[再生装置の構成例]
　図７は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。
　図７の再生装置５０は、読出部５１、分離部５２、ビデオデコーダ５３、３Ｄ画像処理部５４、およびオーディオデコーダ５５により構成される。再生装置５０は、記録媒体２０に記録されている３Ｄビデオデータとそれに対応する音声データを付加情報とともに再生し、付加情報に基づいて、適切に３Ｄ画像を表示させる。
　具体的には、再生装置５０の読出部５１は、記録媒体２０に記録されている「基準画サイズと最大視差／最小視差」を含む付加情報を読み出し、３Ｄ画像処理部５４に供給する。また、読出部５１は、記録媒体２０に記録されている多重化ストリームを読み出し、分離部５２に供給する。
　分離部５２は、読出部５１から供給される多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、分離部５２は、ビデオストリームをビデオデコーダ５３に供給し、オーディオストリームをオーディオデコーダ５５に供給する。
　ビデオデコーダ５３は、分離部５２から供給されるビデオストリームを、図１のビデオエンコーダ１１における符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを３Ｄ画像処理部５４に供給する。
　３Ｄ画像処理部５４は、ビデオデコーダ５３から供給される３Ｄビデオデータに対し、必要に応じて所定の画像処理を行う。本実施の形態では、３Ｄ画像処理部５４は、３Ｄ画像に重畳表示する字幕の奥行位置の調整を行う処理を実行するものとする。３Ｄ画像処理部５４は、処理後の３Ｄビデオデータを表示部６１に出力する。
　なお、字幕が表示される画像領域は、外部より与えられてもよいし、３Ｄ画像処理部５４内で独自に検出してもよい。字幕が表示される領域を検出する方法としては、例えば、本出願人により先に提案されている特開２００８－１６６９８８の処理（所定時間変化しない領域を字幕領域として検出する処理）などを採用することができる。
　オーディオデコーダ５５は、分離部５２から供給されるオーディオストリームを、図１のオーディオエンコーダ１２における符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
　表示部６１は、３Ｄ画像処理部５４から供給されるビデオデータに対応する左目用画像と右目用画像を、例えば時分割で表示する。このとき、視聴者は、例えば、左目用画像と右目用画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用画像を左目だけで見て、右目用画像を右目だけで見る。これにより、視聴者は、３Ｄ画像を立体的に知覚することができる。
　スピーカ６２は、オーディオデコーダ５５から供給されるオーディオデータに対応する音声を出力する。
［３Ｄ画像処理部５４の詳細構成例］
　図８は、図７の３Ｄ画像処理部５４の詳細構成例を示すブロック図である。
　３Ｄ画像処理部５４は、画サイズ検出部７１、最大／最小視差算出部７２、および字幕調整部７３により構成される。
　画サイズ検出部７１は、読出部５１から供給される３Ｄビデオデータから、その画像サイズを検出する。ここで検出される画像サイズは、表示部６１に表示される画像サイズであるので、以下では、表示画サイズと称する。表示画サイズは、例えば、画像の有効期間を表す信号をカウントすることによって認識することができる。画サイズ検出部７１は、検出結果の表示画サイズを最大／最小視差算出部７２に供給する。
　最大／最小視差算出部７２は、読出部５１から供給される「基準画サイズと最大視差／最小視差」を取得するとともに、画サイズ検出部７１から供給される表示画サイズを取得する。
　そして、最大／最小視差算出部７２は、供給される表示画サイズを、付加情報の「基準画サイズ」と比較して、表示画サイズと基準画サイズが異なるサイズである場合、表示画サイズにおける最大視差／最小視差を算出する。
　例えば、「基準画サイズ、最大視差、最小視差」がそれぞれ「７２０×４８０、＋７２、－４８」であり、「表示画サイズ」が「１９２０×１０８０」である場合、最大／最小視差算出部７２は、表示画サイズにおける最大視差／最小視差を、次のように算出する。
　最大視差＝＋７２×（１９２０／７２０）＝＋１９２
　最小視差＝－４８×（１９２０／７２０）＝－１２８
　最大／最小視差算出部７２は、算出結果としての表示画サイズにおける最大視差／最小視差を字幕調整部７３に供給する。なお、表示画サイズと基準画サイズが一致する場合には、取得した付加情報の「最大視差／最小視差」がそのまま、表示画サイズにおける最大視差／最小視差として字幕調整部７３に供給される。
　字幕調整部７３は、３Ｄ画像に重畳表示される字幕の奥行位置を、表示画サイズにおける最大視差／最小視差に応じて調整する。即ち、字幕調整部７３では、字幕が表示画サイズの最大視差で決定される奥行位置の少し手前（視聴者から見て最も手前）にくるように調整される。
[再生装置の処理の説明]
　図９は、再生装置５０による再生処理を説明するフローチャートである。この再生処理は、例えば、記録媒体２０に記録されている３Ｄコンテンツの再生が視聴者により指示されたとき開始される。
　ステップＳ３１において、読出部５１は、記録媒体２０に付加情報として記録されている「基準画サイズと最大視差／最小視差」を読み出し、３Ｄ画像処理部５４に供給する。
　ステップＳ３２において、再生装置５０は、記録媒体２０に記録されている３Ｄコンテンツの多重化ストリームを読み出し、復号する。即ち、読出部５１が、記録媒体２０から３Ｄコンテンツの多重化ストリームを読み出し、分離部５２に供給し、分離部５２は、多重化ストリームをビデオストリームとオーディオストリームに分離する。ビデオデコーダ５３は、ビデオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを３Ｄ画像処理部５４に供給する。オーディオデコーダ５５は、オーディオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。
　ステップＳ３３において、画サイズ検出部７１は、読出部５１から供給される３Ｄビデオデータから、その画像サイズ（表示画サイズ）を検出し、最大／最小視差算出部７２に供給する。そして、ステップＳ３４において、最大／最小視差算出部７２は、画サイズ検出部７１で検出された「表示画サイズ」と、読出部５１から供給された「基準画サイズ」が同一であるかを判定する。
　ステップＳ３４で、「表示画サイズ」と「基準画サイズ」が同一ではないと判定された場合、処理はステップＳ３５に進み、最大／最小視差算出部７２は、表示画サイズにおける最大視差／最小視差を算出して、字幕調整部７３に供給する。
　一方、ステップＳ３４で、「表示画サイズ」と「基準画サイズ」が同一であると判定された場合、処理はステップＳ３６に進む。ステップＳ３６では、最大／最小視差算出部７２は、読出部５１から供給された付加情報の「基準画サイズ」をそのまま、表示画サイズにおける最大視差／最小視差として字幕調整部７３に供給する。
　ステップＳ３７において、字幕調整部７３は、３Ｄ画像に重畳表示される字幕の奥行位置を、表示画サイズにおける最大視差／最小視差に応じて調整し、調整後の３Ｄビデオデータを表示部６１に出力する。また、ステップＳ３７では、オーディオデコーダ５５が３Ｄビデオデータに対応するオーディオデータを出力し、処理は終了する。
　以上のように、記録媒体２０には３Ｄコンテンツの多重化ストリームに加えて、その３Ｄコンテンツの「基準画サイズと最大視差／最小視差」が付加情報として記録されている。再生装置５０は、その付加情報を読み出し、復号により得られた３Ｄビデオデータの画サイズと比較することで、読み出した３Ｄビデオデータの正確な最大視差／最小視差を簡単に知ることができる。そして、３Ｄビデオデータの正確な最大視差／最小視差に基づいて、所定の信号処理を適切に行うことができる。
　本実施の形態では、所定の信号処理として、字幕の奥行位置を調整する処理を行う例について説明したが、最大視差／最小視差に基づく処理は、これに限定されるものではない。
　上述した例では、３Ｄコンテンツの多重化ストリームおよび付加情報（メタデータ）が、記録媒体２０を介して、コンテンツ提供者側からコンテンツ視聴者側に提供される例について説明した。しかし、３Ｄコンテンツは、例えば、衛星放送、ケーブルTV、インターネットなどのネットワークを介した伝送により提供される場合もある。そして、コンテンツ提供側から送信されてから、コンテンツ視聴者が受信するまでの伝送経路の途中で、３Ｄコンテンツの画サイズの拡大または縮小が行われる場合も考えられる。この場合、伝送されてくる３Ｄビデオデータの画像サイズと、付加情報として伝送されてくる「基準画サイズ」は異なるものとなる。このような場合であっても、付加情報の「基準画サイズと最大視差／最小視差」から、受信した３Ｄビデオデータの画像サイズにおける最大視差／最小視差を即座にかつ正確に知ることができ、正確な最大視差／最小視差に基づいた画像処理を適切に行うことができる。
＜その他の実施の形態＞
　なお、上述した例では、３Ｄコンテンツの画像サイズの拡大または縮小が行われた場合でも、付加情報として記録または伝送される「基準画サイズと最大視差／最小視差」は固定のものとして説明した。しかしながら、画像サイズの拡大または縮小に応じて付加情報の「最大視差／最小視差」を更新するようにしてもよい。この場合、「基準画サイズ」は、記録または伝送される３Ｄビデオデータの画像サイズと必ず一致するので、省略することができる。
［データ変換装置の構成例］
　図１０は、３Ｄビデオデータの画像サイズを変換するとともに、最大視差／最小視差の情報も更新するデータ変換装置（画像処理装置）の機能ブロック図である。なお、図１０において、オーディオデータについての説明は省略する。
　図１０のデータ変換装置８０は、取得部８１、画像拡大縮小部８２、最大／最小視差更新部８３、および出力部８４により構成される。
　取得部８１は、外部から入力される３Ｄビデオデータと、付加情報としての「最大視差／最小視差」を取得する。取得部８１は、３Ｄビデオデータを画像拡大縮小部８２に供給し、「最大視差／最小視差」を最大／最小視差更新部８３に供給する。
　画像拡大縮小部８２は、供給される３Ｄビデオデータの画像サイズを、図示せぬ操作入力部等で入力されて供給される拡大縮小率に従って、拡大または縮小する処理を実行する。画像拡大縮小部８２は、処理後の３Ｄビデオデータを出力部８４に供給する。
　最大／最小視差更新部８３は、取得部８１から供給される「最大視差／最小視差」を、操作入力部等から供給される拡大縮小率に基づいて、画像拡大縮小部８２が拡大または縮小処理を実行した処理後の画像に対応する「最大視差／最小視差」に更新する。そして、最大／最小視差更新部８３は、更新後の「最大視差／最小視差」を出力部８４に供給する。
　出力部８４は、画像拡大縮小部８２から供給される３Ｄビデオデータと、付加情報としての「最大視差／最小視差」を、多重化して、または時分割などにより出力する。
　なお、拡大縮小率は、操作入力部等で入力されるものでなく、予め決定されている値でもよい。
　データ変換装置８０の動作について、具体的な例を挙げて説明する。
　最初に、取得部８１は、例えば、画像サイズが「７２０×４８０」である３Ｄビデオデータと、「最大視差／最小視差」として「＋７２／－４８」が記述されている付加情報を取得する。取得部８１が取得した３Ｄビデオデータは画像拡大縮小部８２に供給され、付加情報は最大／最小視差更新部８３に供給される。
　画像拡大縮小部８２には、操作入力部等において所定のユーザによって入力された拡大縮小率が供給される。ここでは、例えば、「１９２０／７２０」が供給されたものとする。
　画像拡大縮小部８２は、供給された拡大縮小率に基づいて、３Ｄビデオデータに対し、その画像サイズを「７２０×４８０」から「１９２０×１０８０」に拡大する処理を実行し、処理後の３Ｄビデオデータを出力部８４に供給する。
　最大／縮小視差更新部８３は、操作入力部等から供給された拡大縮小率、即ち、「１９２０／７２０」に従って、付加情報の「最大視差／最小視差」を更新する。具体的には、最大／縮小視差更新部８３は、
　最大視差＝＋７２×（１９２０／７２０）＝＋１９２
　最小視差＝－４８×（１９２０／７２０＝－１２８
を計算することにより、更新後の「最大視差／最小視差」として「＋１９２／－１２８」を求める。そして、最大／縮小視差更新部８３は、更新後の「最大視差／最小視差」＝「＋１９２／－１２８」を出力部８４に供給する。
　なお、画像拡大縮小部８２の処理と、最大／縮小視差更新部８３の処理は、並行して実行することができる。
　出力部８４は、画像拡大縮小部８２から供給された画像サイズが「１９２０×１０８０」である３Ｄビデオデータと、その「最大視差／最小視差」として「＋１９２／－１２８」が記述されている付加情報を出力する。
　このデータ変換装置８０は、コンテンツ提供側の出力部の前段、伝送経路の途中、および、コンテンツ取得側の入力部の後段のいずれに配置されていてもよい。
[本発明を適用したコンピュータの説明]
　上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。
　コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
　CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
　これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
　なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　上述した実施の形態は、３Ｄ画像として、視点の数が２個である２視点の３Ｄ画像について説明したが、視点の数が３以上の多視点の３Ｄ画像についても同様に適用できる。
　なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　２０　記録媒体，　５０　再生装置，　５１　読出部，　５４　３Ｄ画像処理部，　７１　画サイズ検出部，　７２　最大／最小視差算出部，　７３　字幕調整部，　８０　データ変換装置，　８１　取得部，　８２　画像拡大縮小部，　８３　最大／最小視差更新部，　８４　出力部

Claims (9)

  1. 　３Ｄ画像の画像データと、
    　前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差と
    　を含むデータ構造。
  2. 　３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得する取得手段と、
    　前記取得手段により取得された前記３Ｄ画像の画像データによる画像サイズを検出する検出手段と、
    　検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出する視差算出手段と、
    　算出された前記最大視差および最小視差に基づき、前記取得手段により取得された前記画像データに対して所定の画像処理を行う処理手段と
    　を備える画像処理装置。
  3. 　前記視差算出手段は、取得された前記基準画サイズのときの最大視差および最小視差に、検出された前記画像データの画像サイズと前記基準画サイズの比率を乗算することで、前記画像データの画像サイズに対応する最大視差および最小視差を算出する
    　請求項２に記載の画像処理装置。
  4. 　３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得し、
    　取得された前記３Ｄ画像の画像データによる画像サイズを検出し、
    　検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出し、
    　算出された前記最大視差および最小視差に基づき、取得された前記画像データに対して所定の画像処理を行う
    　ステップを含む画像処理方法。
  5. 　コンピュータに、
    　３Ｄ画像の画像データ、並びに、前記３Ｄ画像において基準となる所定の画像サイズである基準画サイズと、その基準画サイズのときの最大視差および最小視差を含むコンテンツデータを取得させ、
    　取得された前記３Ｄ画像の画像データによる画像サイズを検出し、
    　検出された前記画像データの画像サイズと前記基準画サイズが同一ではない場合に、取得された前記画像データの画像サイズに対応する最大視差および最小視差を算出し、
    　算出された前記最大視差および最小視差に基づき、取得された前記画像データに対して所定の画像処理を行う
    　ステップを含む処理を実行させるためのプログラム。
  6. 　３Ｄ画像の画像データと、
    　前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差と
    　を含むデータ構造。
  7. 　３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得する取得手段と、
    　前記取得手段により取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小する拡大縮小手段と、
    　拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出する算出手段と、
    　算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力する出力手段と
    　を備える画像処理装置。
  8. 　３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得し、
    　取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小し、
    　拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出し、
    　算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力する
    　ステップを含む画像処理方法。
  9. 　コンピュータに、
    　３Ｄ画像の画像データ、並びに、前記３Ｄ画像の画像データによる画像サイズのときの最大視差および最小視差を含むコンテンツデータを取得させ、
    　取得された前記３Ｄ画像の画像データの画像サイズを、所定の拡大縮小率で拡大または縮小し、
    　拡大または縮小後の画像サイズの前記画像データにおける最大視差および最小視差を算出し、
    　算出結果に更新された前記最大視差および最小視差を、拡大または縮小後の前記画像データとともに出力させる
    　ステップを含む処理を実行させるためのプログラム。
PCT/JP2011/058705 2010-04-14 2011-04-06 データ構造、画像処理装置、画像処理方法、およびプログラム WO2011129242A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP11768763.2A EP2560399A4 (en) 2010-04-14 2011-04-06 DATA STRUCTURE, IMAGE PROCESSING, PICTURE PROCESSING AND PROGRAM
CN201180018055XA CN102835120A (zh) 2010-04-14 2011-04-06 数据结构、图像处理设备、图像处理方法和程序
KR1020127026099A KR20130057974A (ko) 2010-04-14 2011-04-06 데이터 구조, 화상 처리 장치, 화상 처리 방법 및 프로그램
BR112012025583A BR112012025583A2 (pt) 2010-04-14 2011-04-06 estrutura de dados, aparelho e método de processamento de imagem, e, meio de gravação
US13/635,030 US20130038703A1 (en) 2010-04-14 2011-04-06 Data structure, image processing apparatus, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-092815 2010-04-14
JP2010092815A JP2011223481A (ja) 2010-04-14 2010-04-14 データ構造、画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2011129242A1 true WO2011129242A1 (ja) 2011-10-20

Family

ID=44798618

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/058705 WO2011129242A1 (ja) 2010-04-14 2011-04-06 データ構造、画像処理装置、画像処理方法、およびプログラム

Country Status (7)

Country Link
US (1) US20130038703A1 (ja)
EP (1) EP2560399A4 (ja)
JP (1) JP2011223481A (ja)
KR (1) KR20130057974A (ja)
CN (1) CN102835120A (ja)
BR (1) BR112012025583A2 (ja)
WO (1) WO2011129242A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067730A (zh) * 2011-10-21 2013-04-24 株式会社东芝 视频处理装置、视频处理方法以及视频显示装置
WO2013121823A1 (ja) * 2012-02-16 2013-08-22 ソニー株式会社 送信装置、送信方法および受信装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011228862A (ja) * 2010-04-16 2011-11-10 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
KR20140048783A (ko) * 2012-10-09 2014-04-24 한국전자통신연구원 깊이정보값을 공유하여 움직임 정보를 유도하는 방법 및 장치
CN105872517A (zh) * 2015-12-28 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实调整视差的方法及装置
CN106254846B (zh) * 2015-12-30 2018-06-29 深圳超多维科技有限公司 一种图像视差调整方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10327430A (ja) 1997-05-27 1998-12-08 Sanyo Electric Co Ltd ディジタル立体放送によるテロップ表示装置
JP2004007396A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP2008166988A (ja) 2006-12-27 2008-07-17 Sony Corp 情報処理装置および方法、並びにプログラム
JP2008182669A (ja) 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
EP1489857B1 (en) * 2002-03-27 2011-12-14 Sanyo Electric Co., Ltd. 3-dimensional image processing method and device
WO2004021151A2 (en) * 2002-08-30 2004-03-11 Orasee Corp. Multi-dimensional image system for digital image input and output
EP1587329B1 (en) * 2003-01-20 2015-04-15 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
JP2006165795A (ja) * 2004-12-03 2006-06-22 Canon Inc 画像形成装置およびその方法
TWI331872B (en) * 2006-12-29 2010-10-11 Quanta Comp Inc Method for displaying stereoscopic image
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10327430A (ja) 1997-05-27 1998-12-08 Sanyo Electric Co Ltd ディジタル立体放送によるテロップ表示装置
JP2004007396A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP2008182669A (ja) 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP2008166988A (ja) 2006-12-27 2008-07-17 Sony Corp 情報処理装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2560399A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067730A (zh) * 2011-10-21 2013-04-24 株式会社东芝 视频处理装置、视频处理方法以及视频显示装置
JP2013090272A (ja) * 2011-10-21 2013-05-13 Toshiba Corp 映像処理装置、映像処理方法および映像表示装置
WO2013121823A1 (ja) * 2012-02-16 2013-08-22 ソニー株式会社 送信装置、送信方法および受信装置
JPWO2013121823A1 (ja) * 2012-02-16 2015-05-11 ソニー株式会社 送信装置、送信方法および受信装置
US9596449B2 (en) 2012-02-16 2017-03-14 Sony Corporation Transmitting apparatus, transmitting method, and receiving apparatus
JP2017099000A (ja) * 2012-02-16 2017-06-01 ソニー株式会社 受信装置および受信方法
US9860511B2 (en) 2012-02-16 2018-01-02 Sony Corporation Transmitting apparatus, transmitting method, and receiving apparatus

Also Published As

Publication number Publication date
EP2560399A4 (en) 2013-10-30
CN102835120A (zh) 2012-12-19
BR112012025583A2 (pt) 2016-06-21
US20130038703A1 (en) 2013-02-14
EP2560399A1 (en) 2013-02-20
KR20130057974A (ko) 2013-06-03
JP2011223481A (ja) 2011-11-04

Similar Documents

Publication Publication Date Title
US8259162B2 (en) Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image
US9918069B2 (en) Method and device for overlaying 3D graphics over 3D video
US9219911B2 (en) Image processing apparatus, image processing method, and program
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US9191645B2 (en) Stereoscopic video and audio recording method, stereoscopic video and audio reproducing method, stereoscopic video and audio recording apparatus, stereoscopic video and audio reproducing apparatus, and stereoscopic video and audio recording medium
US9118895B2 (en) Data structure, image processing apparatus, image processing method, and program
WO2011129242A1 (ja) データ構造、画像処理装置、画像処理方法、およびプログラム
US20130271657A1 (en) Receiving apparatus for providing hybrid service, and hybrid service providing method thereof
JP5483205B2 (ja) メディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体
JP5387399B2 (ja) 情報処理装置および情報処理方法
US9549167B2 (en) Data structure, image processing apparatus and method, and program
JP2011138354A (ja) 情報処理装置および情報処理方法
JP2011216965A (ja) 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
WO2014109321A1 (ja) 送信装置、送信方法、受信装置および受信方法
US8675050B2 (en) Data structure, recording apparatus and method, playback apparatus and method, and program
WO2013153523A2 (en) Depth signaling data

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180018055.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11768763

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13635030

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011768763

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20127026099

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 8650/DELNP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012025583

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012025583

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20121005